好奇心日报

好奇驱动你的世界

打开
智能
  • Top 15
  • 超像素技术
  • Google

警匪片里常见的把模糊照片清晰放大的技术,被 Google 变成了真的

用到了像素合成技术。

警匪、谍战片里常会出现这样一个镜头。一组探员在监控视频里发现嫌疑人的身影,但抓拍镜头太模糊无法辨认,此时往往会有技术人员敲几下键盘就能把那张模糊的照片清晰放大,从而看清楚被抓拍人的样子。

这技术现在被 Google 变成了真的。

上周,Google Brain 在 arxiv 上发表论文谈如何用“像素递归超分辨率“(Pixel Recursive Super Resolution)技术实现上述影视作品里的场景,把一张 8x8 像素的超低分辨率照片变成相对清晰、可以辨认清楚人物的照片。

这个过程具体分两步进行。

第一步是通过“调节网络”(conditioning network)试图为低分辨率照片与其他高像素照片分辨率进行匹配,Google 会将高像素照片缩小到 8x8 分辨率。

第一列是 8x8 像素照片;第二列是 Google Brain 合成的照片;第三列是参考对象。图片来自:Google

接着 Google 通过“优先网络”(prior network),将高像素照片中的细节合成添加到低像素图片中。

比如识别人脸时,Google 会加入毛发和皮肤细节。原照片顶部被识别出有棕色像素,优先网络会将其识别为眉毛,因此当原照片被最终清晰放大时,这块区域会被棕色眉毛形状色块填满。

Google Brain 表示,它们的超分辨率技术实际测试时,10% 的人认为人像照片是真人拍摄而非电脑合成放大,Google 觉得这一比例达到 50% 时意味着技术相对完美了。当对另一组卧室照片进行测试时,28% 的人以为那是真的。

这是另一组 Google 提供的测试结果。“Ours” 一列是 Google 合成的照片,“Ground Truth” 一列是参考对象。图片来自:Google

Google 用的超分辨率技术在 1990 年代就已经在图像处理领域开展研究。但本质上,这种技术不是将照片真实、清晰地放大,而是通过神经网络将它们以尽可能接近真实的对照片进行合成、放大。除此之外,类似可以把模糊照片变清楚的技术还有滤波器


题图来自:Pixabay

  • Top 15
  • 超像素技术
  • Google