之前和儿子看了几次西游记的舞台剧，为了让他对故事的来龙去脉有更完整的印象，答应了和他一起看孙悟空动画片。当然不是白龙马，蹄朝西，而是更久远的 1961 年首映的国产动画《大闹天宫》，至少那时的动画是真的为了做好动画，没有商业目的，看完即走不卖周边可以放心食用。找到了 [大闹天宫(影迷修复版)].The.Monkey.King.(Fan.Restored.Edition).1965.DVDRip.x264.AC3-CMCT.mkv (1.46GB) ，虽然已经是修复版，但画质仍然是比较感人。于是自己也有了这次动画的修复经历。
修复使用的是 Real-ESRGAN 这个库，它基于 PyTorch 实现，用于对图像进行超分辨率成像 (super-resolution) 。根据作者 xinntao 的介绍，
Real-ESRGAN 的目标是开发出实用的图像/视频修复算法。我们在 ESRGAN 的基础上使用纯合成的数据来进行训练，以使其能被应用于实际的图片修复的场景（顾名思义：Real-ESRGAN）。
ESRGAN 的作者也是同一人，属于自我进化了。另外作者还提供了论文和详细的 PPT 介绍。这次我用到的是专门针对动漫视频制作了模型的 RealESRGAN AnimeVideo-v3 ，介绍页面中作者已经提供了编译好的各平台可执行文件以及使用步骤，此处就不重复粘贴具体命令了，只对大致过程和遇到的问题说明一下。
从超分辨率成像的描述可以看出，Real-ESRGAN 的核心是对图像进行“修复”。那么对视频文件如何处理呢？思路和把大象关进冰箱是一样的，总共分三步：
- 利用 FFmpeg 把视频中的每一帧图像都抽取出来，类似把视频解压缩成图像。开头提到的《大闹天宫》视频变成了 170,977 张 720*512 的图片文件，总大小 14.33GB。
- 使用编译好的可执行文件 realesrgan-ncnn-vulkan 对每帧图片进行增强。我选择的是默认 2 倍分辨率，于是得到了同样数量的 1440*1024 的图片文件，总大小 171.79GB。
- 利用 FFmpeg 把增强后的图像文件合并成视频文件，类似把图片打包成视频。最后修复好的两倍分辨率高清版视频是 2.42GB，libx264 编码格式。这里要注意两点：
- 把图像打包成视频，要使用原始视频文件的fps，即每秒的帧数，也是利用FFmpeg的到。开头提到的《大闹天宫》是25 fps，由此也能推断出视频长度是 170977/25/60≈114分钟。
- 常见的 mp4 格式只支持 hard subtitles （硬字幕，也等于不支持字幕），也就是把字幕直接合并到每帧图像上，播放时就不能开关或切换字幕了。所以此处我选用了 mkv 格式，一并把原来的简体和繁体中文两种字幕拷贝到了新的视频中，播放时可以按需切换或关闭。具体命令是
ffmpeg -i out_frames/frame%08d.jpg -i dntg.mkv -map 0:v:0 -map 1:a:0 -map 1:s -c:a copy -c:s copy -c:v libx264 -r 25 -pix_fmt yuv420p output_w_audio.mkv，大致意思是视频按照 libx264 格式每秒 25 帧合并，音频从dntg.mkv文件中直接拷贝，字幕也是从 dntg.mkv 文件中拷贝所有可用字幕。可参考 FFmepg 的 -map 参数。
下面是美猴王孙悟空出场时一帧图像的对比，左侧是原视频中的图像，右侧是修复后视频中的图像。可以看出效果还是很不错的。
GitHub 介绍中可看到作者 xinntao 是在腾讯工作，在腾讯视频上还能找到已经修复的一些动画片，有《爱探险的朵拉》，《巴布工程师》等。仅在动画领域就可以使小朋友的童年回忆变得更美好一些，在此对作者表示感谢。
最后儿子问，孙悟空七十二变的本领是怎么学来的？他表示有兴趣学习……