媒体成电

　　编者按：2021年12月2日出版的《中国科学报》第3版头条以《人工智能助力电影“旧貌换新颜”》为题，就数字电影技术采访才了我校信息与通信工程学院教授陈建文，全文如下：

　　近日，曾陪伴一代人成长的经典动画片《天书奇谭》，经过4K技术修复后登陆院线。修复版本画面更清晰流畅，声音效果也愈加优质饱满。而这焕然一新的《天书奇谭》不仅让“80后”们重温了儿时记忆，也让小观众们感受到了国产动漫的国风之美。

　　《天书奇谭》的“旧貌”换“新颜”离不开4K修复技术。其中，K指的是电影画面的分辨率。K数越高，清晰度越高，效果越好。2012年，传统电影胶片在世界范围内全面停产，标志着电影跨入全数字时代。此后的电影大多由数字摄影机拍摄，可以直接通过“4K”数字放映机放映。

　　为了让经典电影不因技术被淘汰，为后人学习和了解，戛纳、柏林、威尼斯等国际各大著名影展纷纷增设旧片修复展映单元，上海国际电影节也从2014年开始推出“经典修复”单元。此后的事实证明，4K修复对于电影行业来说不仅具有艺术价值，还颇具商业价值。例如，4K修复3D版《哈利·波特与魔法石》在中国内地重映，助推该片成为哈利·波特系列里第二部全球票房突破10亿美元的影片。

　　虽然观众最直观的感受是电影画面清晰度与声音清晰度的变化，但4K修复所包含的技术远不止于此。

多项技术保驾护航

　　在数字电影之前，电影通过胶片拍摄而成。尽管胶片材料从早期易燃的硝酸片基，发展到后来的醋酸片基、涤纶片基，却始终无法克服胶片保存难的缺点。外界温度与湿度的变化都对胶片影响很大，很难保证一直存储在理想的环境里。而且，在搬运移动、使用播映等过程中也很容易造成损伤。所以，随着时间的推移，电影胶片往往会出现污垢、掉色、划痕、抖动、模糊、闪烁等各种问题。

　　因此，想要完整地修复一部影片，修复工作就要囊括胶片清洗、数字扫描、色彩校正、声音和图像合成等几个环节，分为物理修复、数字修复和艺术修复三大步骤。

　　“物理修复是对原始胶片本身的修复，通常由专业修复胶片的师傅负责，通过洗印、修补等使胶片具备扫描的条件，是电影修复的基础工作；数字修复将胶片转为磁带，再存储为序列帧文件，随后借助计算机进行数字化修复；艺术修复则需要遵循艺术上的考量，根据导演阐述、摄影阐述等进行复原。”电子科技大学信息与通信工程学院教授陈建文在接受《中国科学报》采访时说。

　　虽然在修复过程中，很多工作还需人工完成，例如，声音修复时很难依靠外部仪器，需要依靠听觉敏锐的技术人员为其复原，但修复工作中重要的一环——数字修复却需要科技支持。“它需要将老片转化为数字化视频内容，再通过各种数字技术逐帧进行视频降噪、消除抖动刮痕、提高清晰度、协调音效、还原色彩等各个方面的处理。”陈建文表示，“数字修复也是整个修复过程的重头戏。”

　　阿里巴巴达摩院城市大脑实验室（以下简称城市大脑实验室）负责人华先胜进一步解释道：“数字修复时，特别需要解决帧间连续性问题，比如25帧每秒的视频能否平滑变换到60帧每秒。色彩上则要解决色彩失真、过亮、过暗、色域变换等问题，尤其是人脸、字幕等特殊对象，人们往往对它们特别关注，因此需要特别对待。”

　　“此外，除了保证画面清晰外，修复师还要遵循艺术上的考量，根据导演阐述、摄影阐述等进行复原，达到‘修旧如旧’的目的。这就需要修复师在充分理解影片场景的基础上，协调声音、画面、色彩、光影变化等各方面因素，最大程度还原其艺术价值，甚至需要进行二次创作，对修复师要求极高。”陈建文补充道。如此修复后，影片的分辨率可达4K高清标准，细节呈现更为细腻，光影变化更为流畅。

　　要解决这些难点，修复影片的研究人员除了与胶片持有方合作、获取真实数据和反馈意见外，还要在算法模型上下一番苦功。陈建文的团队就曾为了提升修复质量，提出了一种空间次幂变分正则项设计方法，根据图像局部区域内容，自适应优化正则项形式，可生成极高质量的超高清重构视频。城市大脑实验室也曾在CVPR2021上发表了GPEN 模型，主要解决老电影中人脸质量退化问题。“数据加模型创新，是解决这类问题的利器。”华先胜表示。

人工智能来助力

　　在4K修复出现之前，曾经有过2K修复。“2K修复过程完全依靠人工，手动去完成纠正偏色、去除画面上斑驳噪点等工作，这就导致修复进程非常缓慢。对于复杂的影片，一个修复师一天只能修24帧，也就是一秒。”陈建文表示，4K修复对修复质量提出了更高的要求，也提升了工作量，其工作量是2K修复的4倍。

　　“如果仍只采用人工修复的话，修复周期将成倍增加。因此人工智能（AI）被引入修复领域，使得修复效果和效率显著提升，极大地促进了4K修复技术的发展。”陈建文举例说，比如，AI可以使用神经网络来预测缺失的像素，从而将电影从原始的较低的分辨率转换为4K高分辨率的画面，也可以利用AI算法实现上色等需求。此外，图像去噪、锐化、去划痕、智能填补等技术都可以很好地将老片修复成4K高清影片。

　　“其中，基于生成对抗网络（GAN）的算法在图像恢复方面具有巨大潜力，已经受到工业界的广泛关注。仅就技术而言，无论是超分辨率算法还是GAN网络模型，其底层都是基于卷积神经网络，只是针对不同的应用场景不断地调整使用卷积神经网络的方式。不同的团队针对这些技术的用法都会有自己的创新，让其更适用于自己面向的场景。”陈建文表示。

　　不过，华先胜认为：“标准化的AI修复方案很难在形态各异的低质量视频上达到理想的效果，导致AI不能充分发挥其优势。因此，在不同行业、不同场景下，要采用差异化产品形态。”同时，他也认为，AI修复技术在某些特定的技术领域及技术问题上确实有较大突破，但是在一些特定场景、高难细节、对效率效果要求极高的地方，以及效果自动评估等，产品技术还在发展中，尤其是在涉及艺术创作和审美的问题上，还有很多工作要和业界的专家学者来共同探索。

　　城市大脑实验室就曾在修复一部抗战题材的黑白影片时遇到过对细节的高要求。“黑白影片中，八路军的衣服没有颜色，在修复时需要重新上色。而新创作的抗战影片中他们的军服皆为灰色，实际上，那些军服的颜色应该是土黄色。因为当时并没有条件做染色，而棉花在经过氧化后会泛出黄色。”华先胜回忆说，因此在修复时，他们将军服的颜色处理为土黄色。

　　现如今，4K电影修复技术大多采用了AI初修与人工精修结合的“4K+AI”复合工作方式，既保证“有的放矢”，又可以极大提升修复效率。

仍有难点要解决

　　当下，城市大脑实验室将目光聚焦在4K修复新技术方向，首先是分场景、分数据类型的超分辨率与画质提升，从而在特定场景先验信息的背景下达到更加理想的增强效果；其次，是在色彩领域的智能调色、校色，基于不同色域、不同采集方式的输入数据，可以智能化地对齐其色彩与曝光信息，达到基础调色的目标。此外，他们还为专业修复师提供了可编辑、可调参、可实时预览的工具平台，并将增强修复能力与直播相结合，从而实时让直播内容达到后期人工精修的品质，服务于更广泛的业务场景。

　　而随着显示器分辨率的不断攀升，8K修复技术正迎头赶上。“当使用4K数字放映机将图像投射在大屏幕上时，现场观众能够看到更加细致入微的影片细节部分，以及微妙的光影和色彩变换。而8K修复相比于4K修复能体现更多的精细度。如今国际上流行8K修复，特别是一些风光片，35毫米、65毫米、70毫米胶片和P4胶片的修复基本上都已采用8K修复技术。所以在4K修复的基础上， 目前的修复技术仍有很大的进步空间。”陈建文说。

　　报道链接：https://news.sciencenet.cn/dz/dznews_photo.aspx?t=&id=36998