凯发K8天生赢家一触即发ღ◈，K8凯发·(中国)官方网站ღ◈，凯发k8国际ღ◈，论文的联合作者是杨绪勇（微软亚洲研究院和中国科技大学联合培养博士生ღ◈，喂车车联合创始人）凯发k8·[中国]官方网站ღ◈、梅涛（微软亚洲研究院资深研究员ღ◈，美国计算机协会杰出科学家ღ◈，国际模式识别学会会士）ღ◈、徐迎庆（前微软亚洲研究院主管研究员ღ◈，清华大学美术学院信息艺术设计系主任）ღ◈、芮勇（前微软亚洲研究院副院长ღ◈，联想CTO）ღ◈、李世鹏（前微软亚洲研究院副院长ღ◈，硬蛋CTO）ღ◈。祝贺研究院的各位研究员和院友们ღ◈！

　　当今富媒体的内容之多是前所未有的ღ◈，人们每时每刻都在创造和分享着海量信息ღ◈，特别是内容繁杂的图像和文字信息ღ◈，其中图文混排的内容模式已经成为主流ღ◈。而在内容创作过程中ღ◈，人们面临的一个巨大的挑战就是如何针对内容多样的图像和文字信息来设计吸引眼球的版面（例如ღ◈，杂志封面ღ◈、海报小SB是不是欠C了ღ◈、或者PPT演讲稿等）ღ◈。这个问题无论是对于商业印刷ღ◈、在线期刊与杂志ღ◈，还是用户生成的内容表达ღ◈，都极为重要ღ◈。图文内容的排版涉及到大量的专业知识ღ◈，包括视觉传达小SB是不是欠C了ღ◈、信息艺术设计ღ◈、色彩与美学ღ◈、平面规划小SB是不是欠C了ღ◈、几何构图等等ღ◈。以往的图文排版设计工作ღ◈，不仅需要具有丰富专业知识的设计师ღ◈，而且还耗费大量的人工ღ◈。如何让计算机根据图文内容来自动进行排版是一个非常困难的问题ღ◈。

　　从2013年底开始ღ◈，来自微软亚洲研究院的研究员与来自清华大学美术学院的艺术设计专家ღ◈，在这个科学与艺术相融合的领域开展了深入地合作ღ◈。他们把设计学中的审美原则与可计算的图像特征相结合ღ◈，创造性地提出了一个可计算的自动排版框架原型ღ◈。该原型通过对一系列关键问题的优化（例如ღ◈，嵌入在照片中的文字的视觉权重ღ◈、视觉空间的配重ღ◈、心理学中的色彩和谐因子ღ◈、信息在视觉认知和语义理解上的重要性等)ღ◈，把视觉呈现ღ◈、文字语义ღ◈、设计原则ღ◈、认知理解等领域专家的先验知识自然地集成到同一个多媒体计算框架之内ღ◈，并且开创了“视觉文本版面自动设计”这一新的研究方向ღ◈。

　　图1 利用算法自动产生的图文排版效果ღ◈。注ღ◈：原始输入是一张纯图片（即没有任何文字）和一段纯文本（如主标题和副标题等）ღ◈，输出是图文混排的结果（文字嵌入图片之中）ღ◈。

　　这项研究将通用的美学感知进行了体系的数学表达ღ◈，构建了一套和主题相关的图文排版设计模版库ღ◈，并提出一套可计算的图文合成框架原型ღ◈，既融合了宏观层面自上而下的美学感知ღ◈，又包含了微观层面自下而上的图文特征ღ◈。通过融合人脸ღ◈、文字检测以及视觉显著性检测算法凯发k8·[中国]官方网站ღ◈，率先提出了视觉注意力检测算法ღ◈，构成了整幅图像的重要性图和注意力图ღ◈；在针对文字布局的算法中ღ◈，这篇论文将文字块的形状和图像中的重要性图交互过程量化为一个能量最优化问题ღ◈：

　　之间的不匹配小SB是不是欠C了ღ◈，即将最重要的文字内容匹配到图像中最重要的视觉区域ღ◈，以便于阅读时快速获得关键信息ღ◈。能量最优化的求解过程ღ◈，在设计模版的美学感知原则的监督下凯发k8·[中国]官方网站ღ◈，使得最后的求解结果能符合视觉审美需求ღ◈，而不仅仅是计算机的最优求解结果ღ◈。

　　在文本空间布局后ღ◈，通过对图像前后景显著颜色的分析ღ◈，在色彩和谐最优化框架中ღ◈，保持色彩整体和谐ღ◈，并最大化文字和背景色彩的差异以使得最后的图文混排能在全局尊重原图的色彩和谐性凯发k8·[中国]官方网站凯发k8·[中国]官方网站ღ◈，又能在局部保证文字的可阅读性ღ◈。全局色彩的和谐计算采用了著名的“Color Harmonization”中提出的心理学色彩模型ღ◈，并结合了这篇论文中提出的图像前后景主题色在不同主题下的模型偏好ღ◈，从而找到最适合的全局主题色ღ◈。针对局部的视觉对比度最大化ღ◈，论文提出了最远色调角黄金取样法ღ◈，即找到文本覆盖背景下图像的显著颜色映射到tone和hue空间ღ◈，在二维色调空间（tone, hue）求最远点ღ◈，并取显著颜色点到最远点的黄金分割点ღ◈。通过整个框架ღ◈，能完成整个图文设计在美学感知监督下的自动化ღ◈。

　　这篇论文提出的系统允许用户上传具体主题的视觉背景图像以及一些文本语句ღ◈。并在第二阶段对原始图像进行了处理ღ◈，通过结合显著值ღ◈、脸部ღ◈、文本以及目光注意力图以获取视觉感知图ღ◈，进而重新调整图像的大小ღ◈，使之符合目标布局尺寸ღ◈，并根据视觉感知图保留重要的区域ღ◈。重新调整过的图像就能用来排列空间分布的布局模板小SB是不是欠C了ღ◈。当图像调整后小SB是不是欠C了ღ◈，已有的语句ღ◈、空间布局以及文本就通过第三阶段中的能源优化工艺重叠在背景图像上了ღ◈。在第四阶段的文本着色上ღ◈，首先分析经过剪裁的图像的调色板ღ◈，同时根据主题属性挑选主题色彩ღ◈。应用特定色相/色调模型ღ◈、调色板ღ◈、语义色彩以及内容特点ღ◈，就可以通过保持局部色彩和谐以及局部可读性对文本进行重新着色ღ◈。

　　图3 布局算法（a）带有目光注意力（黄色）的视觉重要性图（灰色）ღ◈；（b）从前5个模板中挑选出的模板ღ◈；（c）输入文本ღ◈；（d）排印程序的细节ღ◈，这里能源定义为E(L)ღ◈，通过迭代控制字体高度ღ◈，在局部优化解决方案中会被最小化ღ◈，ღ◈；（e）受到下向上的图像特点和自上向下的空间布局限制的排印结果ღ◈。

　　这篇论文发表之后ღ◈，得到学术界的广泛关注ღ◈，从2016年至今在ACM数据库中已有超过260次下载ღ◈。此外ღ◈，该项研究不仅具有重要的理论意义ღ◈，而且具有广泛的应用价值ღ◈。例如ღ◈，论文提出的基于图像内容的颜色检测算法已经在实际产品Office Sway中得到应用ღ◈。目前每个月有来自全球60多个国家的超过40多万用户在使用Office Sway这一新产品开展设计小SB是不是欠C了ღ◈。

　　这篇论文展现了多媒体与艺术设计以及颜色心理学几个不同学科的深度融合凯发k8·[中国]官方网站ღ◈，将人工智能的方法用于艺术设计中ღ◈。可以说ღ◈，颜色心理学的模型为多媒体设计打开了”心灵“的窗口ღ◈，而美学设计思维则为多媒体分析展开了想象的翅膀ღ◈！

　　另外ღ◈，还特别感谢这篇论文的合作者——来自中国科技大学的博士生吴岳和来自清华美术学院的研究生于俊杰ღ◈。