一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)

2018-11-21 19:41:13 来源:网络整理 作者:管理员

原标题:一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)

一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)

作者:Reiichiro Nakano

编辑:肖琴

【新智元导读】一位日本小哥用TensorFlow.js在浏览器中构建了一个使用任意图像进行风格化的demo,只使用了一个单一的模型。demo效果相当不错,并且也开源了代码。

用一个模型就能实现所有类型的风格转换!一个名为Arbitrary Image Stylization in the Browser的项目最近火起来。

作者是日本小哥Reiichiro Nakano,他用TensorFlow.js在浏览器中构建了一个使用任意图像进行风格化的demo。

不像以前的快速风格转换算法那样需要每种风格都有一个单独的网络,在这个demo中,所有风格图像只使用一个单一的模型。并且,你可以自由混合不同的风格。

使用也非常简单,你只需要选择一张内容图像(content image)和一张风格图像(style image),然后点击“Stylize”,静候片刻,一张风格化的图像就处理好了。

一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)

如图所示,我们在“内容图像”选择一张芝加哥城市风景图,“风格图像”选择一张港口的版画风格图像,风格化后得到一张版画风格的芝加哥风景图。

其中,内容图像和风格图像都可以自定义,也就是说,你可以上传任意图像。风格化的强度也可以调整。

作者还提供了混合两种风格的效果。

一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)

总结而言,这个风格网络被训练并用于为任意绘画风格生成一个100-D的风格向量(style vector)。然后,将该向量与内容图像一起馈送到一个的转换网络,进行实际的风格转换。

这个100D的向量基本上是一个“style”的潜在空间。我们可以利用这个“潜在空间”做一些有趣的事情。

我们可以通过对风格图像和内容图像的风格向量进行加权平均,来控制风格化的强度。作者发现,这对于风格特别鲜明的内容图像很有用。

我们还可以通过在它们的风格向量之间插值,来组合不同的风格,并让网络猜测这两幅图像之间的风格是什么样子的。

将模型移植到浏览器上的最大问题是模型大小。风格网络基于Inception-v3,它的权重> 97MB。作者使用distillation,能够用9.6MB的MobileNet-v2替换它,尺寸缩小了10倍。所以作者认为distillation这种技术被低估了,它可以为浏览器带来一些很酷的ML功能,因为很多模型由于太大而无法在资源有限的环境中进行部署。

这个demo建立在谷歌大脑和蒙特利尔大学合作的论文Exploring the structure of a real-time, arbitrary neural artistic stylization network之上,这是图像风格化的经典论文之一。作者开源了代码。

下面我们简要介绍一下论文的主要思想。

模型和方法

这篇论文的核心是通过构建一个风格学习网络来实现快速的风格迁移。

论文提出了一种将艺术风格神经算法的灵活性和快速风格迁移网络的速度相结合的方法,允许使用任何内容/风格图像进行实时的风格化。

这个模型成功地用大约80000幅画作的数据库进行了训练,并能够推广到以前未见过的画作。

论文的主要贡献包括:

1、介绍了一种新的算法,用于快速、任意的艺术风格迁移;在80000幅画作上训练,并能对未观察过的画作实时运行。

2、在紧凑的嵌入空间中呈现左右绘画风格,捕捉绘画的语义特征。

3、证明用大量画作进行训练之后,模型能够预测以前从未观察过的风格。

4、嵌入空间允许对艺术家的艺术范围进行新的探索。

一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)

图1:网络在大量的绘画和纹理上训练生成的造型

一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)

图2:模型架构图示

如图2所示,整个网络架构由风格学习网络P和风格转换网络T组成,学习的目的是style loss和content loss。风格学习网络P预测来自输入风格图像的嵌入向量S,为风格转换网络提供一组归一化常数。风格转换网络将照片转换为风格化的表示。Content loss和style loss来源于VGG图像分类网络的表征空间距离。风格学习网络主要遵循Inception-v3架构。

Demo 链接:

https://reiinakano.github.io/arbitrary-image-stylization-tfjs/

源代码:

https://github.com/reiinakano/arbitrary-image-stylization-tfjs

论文:

https://arxiv.org/pdf/1705.06830.pdf

显示全文
为您推荐
风口!未来十年最紧缺职业有哪些?高级动漫设计师必将快速崛起
风口!未来十年最紧缺职业有哪些?高级动漫设计师必将快速崛起

【导读】 风口!未来十年最紧缺职业有哪些?高级动漫设计师必将快速崛起,下面是小编为你收集整理的,希望对你有帮助!导语:就业是大多数人十分头痛的一个问题,要如何选择一个高薪又有前途的工作呢?各行各业都有岗位,但是有些职业出现了扎堆现象,还有些职业成为了冷门职业,导致职业人数分布不均吗,差距较大。接下来呢就由猎事百......

发布时间:2023-06-24 08:01:16

铁扇公主是什么妖精?不是妖精(看牛魔王跟孙悟空说的话)
铁扇公主是什么妖精?不是妖精(看牛魔王跟孙悟空说的话)

【导读】 铁扇公主是什么妖精?不是妖精(看牛魔王跟孙悟空说的话),下面是小编为你收集整理的,希望对你有帮助!《西游记》中的妖怪非常多,观众会把唐僧师徒一路上遇到的想要吃唐僧肉的都归为妖怪,不过这个不好评判,有的可能看着是人相实则是妖怪,有的可能是洽洽相反的。那《西游记》中美若天仙的铁扇公主是什么妖精呢?小编......

发布时间:2023-06-24 07:01:13

月球到底有什么秘密?月球上不敢公开的15大秘密
月球到底有什么秘密?月球上不敢公开的15大秘密

【导读】 月球到底有什么秘密?月球上不敢公开的15大秘密,下面是小编为你收集整理的,希望对你有帮助!导语:月球,也称为月亮,月球是我们绿色地球的天然卫星,它是离我们地球最近的天体。人类一直在研究,以发现月球的秘密。之前小编为大家讲解过至今未解的月球之谜,今天呢就为大家揭秘月球上不敢公开的15大秘密,......

发布时间:2023-06-24 06:01:15

炒大米怎么吃
炒大米怎么吃

【导读】 炒大米怎么吃,下面是小编为你收集整理的,希望对你有帮助!1、清洗干净大米,沥干水分,或者用厨房纸吸干大米表面的水分。2、将大米倒入锅中,锅里不用加任何东西。小火,慢慢加热,用铲子或者筷子不停地翻炒一下,让每一粒大米都均匀受热。翻炒的过程中由白色变黄。3、炒......

发布时间:2023-06-24 05:01:24

如来佛祖最怕的一个人:金翅大鹏鸟,胆敢和如来叫板的妖怪
如来佛祖最怕的一个人:金翅大鹏鸟,胆敢和如来叫板的妖怪

【导读】 如来佛祖最怕的一个人:金翅大鹏鸟,胆敢和如来叫板的妖怪,下面是小编为你收集整理的,希望对你有帮助!如来佛祖是西天诸佛的领袖,也是四大板块西贺牛洲的执牛耳者。连玉皇大帝对其都毕恭毕敬,有事儿都要尊称一生佛祖请其帮忙。按理来说这样一个法力无边已经站在金字塔顶尖的人物是无所畏惧的,本该天上地下任君驰骋。......

发布时间:2023-06-24 04:01:14

沐浴节是哪个少数民族的
沐浴节是哪个少数民族的

【导读】 沐浴节是哪个少数民族的,下面是小编为你收集整理的,希望对你有帮助!沐浴节是藏族的。沐浴节藏语叫嘎玛日吉(洗澡),是藏族人民特有的节日,在西藏至少有七八百年的历史。每年藏历七月上旬,在西藏,在拉萨河畔,从城市到乡村,从牧区到农区,都有一个群众性的洗澡活动。这种一年一度......

发布时间:2023-06-24 03:01:25

3049年地球只剩一个国家:纯属想象,3个不能统一原因
3049年地球只剩一个国家:纯属想象,3个不能统一原因

【导读】 3049年地球只剩一个国家:纯属想象,3个不能统一原因,下面是小编为你收集整理的,希望对你有帮助!在俄乌冲突爆发的当下,越来越多的民众开始希望和平,“世界大同”这一概念也越发受人关注,而能使这发生的只有全球统一,地球只剩一个国家。对此,网上有人说3049年地球只剩一个国家,......

发布时间:2023-06-24 02:01:19

藤纸是什么时期的纸:东汉和帝元兴年(用藤皮制成的纸)
藤纸是什么时期的纸:东汉和帝元兴年(用藤皮制成的纸)

【导读】 藤纸是什么时期的纸:东汉和帝元兴年(用藤皮制成的纸),下面是小编为你收集整理的,希望对你有帮助!纸在我们的生活中无处不在,我们写字需要在纸上面书写,有些包装也是用纸制作的,更重要的是我们生活中用来擦东西的纸,这个才是在生活中随处可见的,有些人身上没有卫生纸出门就会感到慌张,而古代人们发明出了一种......

发布时间:2023-06-24 01:01:35

牛盘肠怎么做好吃
牛盘肠怎么做好吃

【导读】 牛盘肠怎么做好吃,下面是小编为你收集整理的,希望对你有帮助!1、锅内放适量油,油热后放入葱姜炒香。2、炒香后放入牛盘肠继续翻炒,炒至牛盘肠香味飘出。加白菜翻炒,放盐和酱油。3、继续翻炒,直至白菜出汤。白菜基本不再出汤的时候加水。4、水开后加红薯粉。转小火慢炖,......

发布时间:2023-06-24 00:01:14

中国夏季是几月到几月
中国夏季是几月到几月

【导读】 中国夏季是几月到几月,下面是小编为你收集整理的,希望对你有帮助!中国从立夏开始是5月到8月。气象学上的夏季要推迟到立夏后25天左右。古人把农历四、五、六月算作夏天。今人把公历6、7、8三个月当作夏天。科学的划分方法是平均温度22℃以上为夏天。据此,当平均温度持续低......

发布时间:2023-06-23 23:01:15

清明上河图出现死尸具体在什么位置
清明上河图出现死尸具体在什么位置

【导读】 清明上河图出现死尸具体在什么位置,下面是小编为你收集整理的,希望对你有帮助!《清明上河图》是中国十大传世名画之一,作者张择端为后人留下了一幅巨大的画作,来讲述北宋的风俗。画中的人物和细节非常多,处处都显露出生机的一面,通过画很快就能想象到北宋人民平日的生活到底是什么样子的,代......

发布时间:2023-06-23 21:01:19

酒吞童子真的是为情而酗酒的吗?在日本的历史传说中他到底是什么?
酒吞童子真的是为情而酗酒的吗?在日本的历史传说中他到底是什么?

【导读】 酒吞童子真的是为情而酗酒的吗?在日本的历史传说中他到底是什么?,下面是小编为你收集整理的,希望对你有帮助!前段时间有一款非常火的手机游戏叫做《阴阳师》,相信很多小伙伴都很熟悉了。在这款手机游戏中,有一个SSR级别的式神叫做酒吞童子,相信玩过的小伙伴们都是非常熟悉的了。在游戏中说他是妖族中最强大的妖怪。但是......

发布时间:2023-06-23 20:01:21