2018云栖大会学术合作专场—IDEA Lab研究成果发布

2018-09-27

在刚刚结束的阿里巴巴云栖大会上,IDEA Lab与达摩院人机自然交互实验室团队共同展示了实验室半年来的研究进展,并进行最新成果发布。会议期间,实验室负责人孙凌云教授受邀在云栖大会学术合作专场上进行学术分享与成果展示;其中,双方团队合作研发的重点产品短视频智能设计Alibaba Wood 由资深设计专家不饱在飞天技术汇企业服务专场进行新版本升级发布;此外,实验室也协助阿里团队进行了“新零售专场:新商业下的人机自然交互”的组织。在云栖大会学术合作专场上,孙凌云教授从实验室整体目标与研究立足点出发,介绍了设计智能的发展方向。根据人工智能在设计中的介入维度,把设计智能划分成四种关系。在这一理念框架下,实验室和阿里巴巴达摩院人机交互自然实验室的团队共同研发了短视频智能设计Alibaba Wood 和 AI PAINTING两个产品,并进行了成果demo展示。

image.pngimage.png

孙凌云教授报告

1. 短视频智能设计 Alibaba wood

短视频智能设计Alibaba wood是实验室的重点研究方向,是浙大团队与阿里团队倾力合作、共同孵化的智能短视频机器人,旨在为用户提供简单、智能、高效的一站式短视频营销解决方案。它能自动获取并分析已有的淘宝、天猫等商品详情,并根据商品风格、卖点等进行短视频叙事镜头组合,梳理出故事主线。此外,它还会分析复杂的商品信息、评价等数据,以可视化的方式呈现。

Alibaba wood 还会基于音乐情感、节奏和旋律等进行音乐风格分析,从而推荐或生成匹配商品风格的背景音乐片段。通过对背景音乐的分析和理解,进行音乐节奏与转场匹配,实现短视频的音画联觉,呈现统一的视听感受。

image.png

Alibaba wood原理介绍

同时,在云栖大会的飞天技术汇企业服务专场上,阿里巴巴资深交互专家不饱(杨昌源)也正式发布了最新升级版本的Alibaba Wood。目前已有部分厂商通过与Alibaba Wood的合作,短期内取得了显著的效果。例如森马借助Alibaba Wood生成的视频,视频制作的成本降低了90%,效率提升了95%,同时在商业表现方面,成交转化率提升了46.9%,加购转化率提升了36.7%,在一个月内增加效益70.1万元。

image.png

Alibabawood森马合作成果

2. AI Painting

AI Painting是AI与人的协同创作平台,可以支持用户将想象世界表达为现实。

用户可以用AI Painting系统,将想象和经历绘成动画故事,简单的涂抹几笔,就可生成漂亮的动画风景图。此外,AI PAINTING可智能解读表达意图,根据涂抹比例、位置等关系推断场景,改变生成内容与氛围,生成图像。

系统利用深度学习技术、图像数据与设计知识,综合考虑图像中的元素、关系,理解图像给人的印象,从而具备与用户一起创作图像的能力。

目前,AI Painting系统主要面向儿童教育,用来支持小朋友的绘画表达,记录小朋友的经历与想象,共同创作绘本故事,构建小朋友的想象世界,让每个小朋友都能成为神笔马良。

未标题-1.jpg

AI PAINTING草图

image.png

AI PAINTING原理介绍