@ 2016.08.24 , 18:01
23

大热剧《硅谷》启发谷歌:用神经网络压缩文件

[-]

虽然这不是剧中的发散式压缩算法解决方案(middle-out compression),但是也仅次于这个了。

谷歌的研究者们正在研究一种用人工智能神经网络将图片文件压缩得更小却不会牺牲质量的方法。对用户而言,更小的文件意味着手机、平板和电脑可以有更多空间,但是对谷歌这样提供无限照片储存的公司而言,更小的文件意味着减少服务器负载、能量功耗以及改善传输速度。他们的灵感来源自HBO的大热剧《硅谷》,剧中虚构的创业公司Pied Piper使用了神经网络优化文件压缩。(Dropbox实际已经使用了他们的发散式压缩算法在自己的图片压缩中。)

根据发表在ArXiv上的技术论文,谷歌正在训练神经网络通过观察互联网上随机图片的标准压缩方式来节约数据。论文显示,神经网络可以在标准测试中战胜标准的JPEG压缩。但是这并不意味着该技术已经可以为谷歌产品所用。

在训练中,这一网络将六百万张随机选取的已压缩照片拆散为32*32像素的碎片,然后从中选出100张压缩率最低的碎片,并在此基础上进行学习。这里的「效率」是由那些被压缩成PNG后能最大程度保持其尺寸的碎片衡量的(因为PNG可以抵抗压缩)。研究者们提出理论,认为在经过更难的训练之后,该网络在处理简单碎片时可以做得更好。神经网络自己能预测图片在压缩之后的样子,并生成这个图片。这一研究最大特点便是,神经网络能决定用最佳方式对一张照片的不同碎片进行变量压缩,以及决定这些碎片要如何组装,而不是将这张照片视作一个整体。

谷歌今年早些时候已经公布了同一主题的研究,但是之前的研究从未证明这一方法可以用在小于64×64像素的图片上。当前的研究则不受文件尺寸限制。

虽然人们很容易认为最佳压缩方式就是将文件压缩到最小,但是人的主观感知也是非常重要的因素。如果终端用户看不清图片,压缩就是失败的。谷歌团队指出,鉴于主观感知这块没有标准度量或者测试(不像《硅谷》里的魏斯曼得分),他们很难衡量该网络的效果。

目前它还没有达到Pied Piper的压缩水平,他们在理论上可以把文件压缩到可以大小忽略不计,但是谷歌的研究证明剧中的理念并非天方夜谭。

本文译自 quartz,由译者 许叔 基于创作共用协议(BY-NC)发布。


给这篇稿打赏,让译者更有动力
支付宝打赏 [x]
您的大名: 打赏金额:

4.9
赞一个 (17)

TOTAL COMMENTS: 23+1

  1. obaidd
    @1 year ago
    3237777

    撸管儿启示录

    [38] XX [0] 回复 [0]
  2. Savior
    @1 year ago
    3237782

    这个是最爱 没有之一

  3. Savior
    @1 year ago
    3237783

    这个是最爱 没有之一

  4. 没吃早饭
    @1 year ago
    3237788

    一叠一叠厚厚的老旧硬盘文件被压缩成若干“这是上世纪A片”、“这是老掉牙钙片”、“这是八婆娱乐节目”等文本文件。。。反正没人看,对人的主观体验是一样的,所以神经网络就如是压缩了。。。

    [12] XX [0] 回复 [0]
  5. 赖猫咯
    @1 year ago
    3237790

    我想知道压缩的算法是什么

  6. 3237799

    要知道这部剧是编剧真的找了斯坦福的压缩算法教授来写的剧本背景和技术支持
    对比一下国内那部“这十二只手肯定不是同一具尸体”简直可笑

    [126] XX [0] 回复 [0]
  7. 疯狂老虎
    @1 year ago
    3237807

    一个图标就顶好上千字了

  8. 3237817

    编剧有顾问合作,提出的方法也只是个想法,但遇到高人就能尝试去实现了

  9. 凯恩之叔
    @1 year ago
    3237822

    第一季还不错系列……

  10. 3237826

    弟高值 么的笑喷了

    [11] XX [0] 回复 [0]
  11. Brahmagupta
    @1 year ago
    3237842

    诶?这剧除了第一季还有?

  12. 残暴的蜜蜂
    @1 year ago
    3237866

    然而回忆并不准确, 大部分画面都是脑补的

  13. 3237875

    我可以把一部电影压缩到几个字节,比如 SNIS-585,MIMK-039,SNIS-586,XRW-156 ,ZUKO-093、SNIS-594、HARU-002,AWT-065,EBOD-488。就是解压时必须联网。

    [121] XX [1] 回复 [0]
  14. 3237878

    interesting fact: 前年的清华特奖韩衍隽,一堆满分和paper的那个,就是去了Tsachy Weissman的组,后者就是silicon valley的那个顾问

  15. 哲学大叔
    @1 year ago
    3237897

    @赖猫咯: 基本算法没变.只不过,调度压缩块变了.根据图片的内容采用不同的比率压缩.尽量保持图片的视觉效果不变.这样比那种不管图像是什么,每块都采用同一比率的方式,能更有效率的压缩.

  16. 3237914

    点子不错!

  17. 3238010

    被邪恶的hooli逆向工程了啊啊啊啊啊啊啊啊啊啊啊

  18. 3238025

    看标题还以为是无损压缩……

    你倒是明说这个算法针对的是图像信息的有损压缩啊

  19. 大张虎
    @1 year ago
    3238071

    Hooli 暗指google,听起来像holy shit

  20. 3238148

    @Stark: 盗笔梗么……

  21. TheseGuyFucks
    @1 year ago
    3238574

    最赞这一幕:
    Hello babe.
    Follow me.
    I’m the Pied Pier.
    Follow me.
    I’m the Pied Pier.
    I’ll show you where it’s at….
    传送门:”https://www.youtube.com/watch?v=qS-7EPDR-PY”

  22. 3240688

    但是会增加服务器的访问请求量

  23. alpha_boy
    @1 year ago
    3240703

    雇佣教授写剧本真是厉害,不过投资成本会上升吧?

    谷歌的目的似乎是让神经网络观察现有各种压缩算法的优缺点,然后自助分析出对什么样的照片采用什么样的压缩算法更好?然后自主生成一个混合式的超级压缩算法?

    不过如果没有足够多的志愿者,对压缩效果(失真度和文件大小,所需时间,所消耗的CPU运算力等等)进行评分的话,电脑自己无法得出哪种压缩效果更理想的结论吧?

发表评论


24H最赞