为了让你用手机拍出科幻大片,抖音悄悄上线了这个新功能

更新时间:2019-11-28 点击:113

如果在具有“魔幻”气质的重庆拍一部科幻电影,经典地标洪崖洞会变成什么样?

为了让你用手机拍出科幻大片,抖音悄悄上线了这个新功能


字节跳动产品团队实现了这个脑洞:打开抖音摄影头,对着地标建筑扫一扫,洪崖洞秒变赛博朋克风,而且还能随着音效律动。


视频加载中...

这是抖音在今年11月上线的地标AR技术(AR是增强现实 Augmented Reality 的缩写,是指计算机视觉算法在真实场景叠加虚拟效果的技术)。打开抖音拍摄界面,使用AR特效贴纸,扫描地标建筑即可触发AR效果。首批上线的特效包括北京三里屯、上海东方明珠、澳门大三巴牌坊、广州广东省博物馆、重庆洪崖洞、西安钟楼等地标建筑。

为了让你用手机拍出科幻大片,抖音悄悄上线了这个新功能

官方玩法:在地标附近,打开抖音拍摄道具里的AR贴纸,或搜索贴纸名称拍摄

地标AR项目,经AI Lab、抖音产品、多媒体研发、UED设计、数据平台、音乐、运营、市场等十几个部门的共同努力推出,横跨硅谷、洛杉矶、北京、上海、深圳五地办公室。常有人问我们,公司有这么多办公室,怎么配合呢?今天就带大家一起走进这个项目组,了解字节跳动团队如何把中台与产品深度结合,跨时区合作调动最优资源,高效创意落地前沿技术。

从第一个展示项目,距离AR成为基础设施还有多远?


4G时代扫二维码,5G时代扫什么?答案可能是:扫任何东西。

现在,二维码是我们从线下进入线上的ID,AR在未来,可能也会成为二维码这样连接物理空间与虚拟世界的基础设施——扫描现实中的任何物体,得到物体在虚拟世界对应的信息,一层又一层的信息叠加在一起,形成在全世界覆盖的AR云。

这是地标AR项目对于未来的远大愿景,业内也早有同行在这个领域有了不少投入。地标AR技术的实现,基于3D视觉重建算法和SLAM定位算法,这种技术对硬件设备的算力、传感器精度、算法稳定性和鲁棒性、工程实现的优化等诸多技术方面提出了非常高的要求。

字节跳动北美技术团队中的很多人,平日里就是前沿技术和新潮电子产品的尝鲜者,大家对地标AR提出了各式玩法——除了简单的叠加文字或虚拟物体到建筑上,还讨论了建筑拟人化/人格化、建筑夸张形变、过程化动画生成等想法——这些创意和玩法,无疑需要强大的计算机视觉和图形学算法支持,团队面临的一个难题是如何筛选和专注于最核心的关键技术的研发 。

林颉是北美AI Lab的研究员,博士毕业于普林斯顿大学计算机系,此前一直做三维场景理解、物体检测跟踪等方面的研究工作,今年2月入职后,他从零开始搭建地标AR技术。5月,北美AI Lab完成了端上实时demo的演示。

业务端看过demo,敏感地捕捉到AR可以给产品带来更多玩法和可能性,决定率先在抖音上支持地标AR技术落地。“我们的产品形态是点对面的传播,使得一个有趣的玩法,可能在全网引起轰动。”林颉从硅谷社交巨头公司跳槽来字节跳动,也是看中了这里产品的影响力。

在各种可能的技术组合中,团队决定先解决最核心的基础算法。中航矮楼被选中做第一个展示项目,作为大家最熟悉的办公大楼,中航矮楼适合用来做技术的验证和调优。

地标AR技术落地的工程量非常大,工程化就拆成了五个阶段。硅谷从春天跨到秋天,8月最热的季节,林颉和同事为了中航矮楼的调试回到北京。

为了让你用手机拍出科幻大片,抖音悄悄上线了这个新功能


在中航矮楼里,AI Lab和北京的产品研发团队一起调试,“中航可能晚上也灯火通明的,大家热火朝天地讨论产品技术细节,年轻公司爆发出的生命力,很有感染力。”林颉回忆道。

经过一个双月的努力,中航矮楼的地标AR上线,项目组在公司内部发起了试用,收集反馈不断改进技术和设计。

基于中航矮楼的“律动舞台”主题设计,由北美设计团队完成,音效则由音乐团队支持。万事开头难,通过第一个展示项目把流程跑通,接下来的9、10双月,就是全力推进首批6个地标的顺利上线。

并行开发:踩点32个省市,四地协同办公

攻坚中航矮楼AR贴纸的同期,字节跳动众测团队在全国32个省市,安排了蹲点图像采集,为AI Lab的地标建模提供数据支持。

地标AR技术,最终呈现在抖音的特效道具里,可能只有几秒的动效,但不为用户所知的是,每个地标道具都涉及大量的前期工作。

仅建模的数据收集环节,每个地标需要采集多组数据,不同的角度、时间、灯光和气候条件,都需要有对应的照片。赶在日出前出门采数据,或者在连晴的盛夏里等一个阴雨天,都是数据采集中常遇到的事。

全国各城市,每个地标有成千上万张照片,数千GB的数据回传到AI Lab,林颉和同事们一起处理数据,精简优化模型,再做模型的融合对齐。

首批上线的6个地标,各自代表一种建筑的类型,澳门大三巴是牌坊,上海东方明珠塔则代表高塔。既然做,就要把各种模型都考虑到,做成通用性的技术,而不仅仅是基于一种模型自我复制。

为了让你用手机拍出科幻大片,抖音悄悄上线了这个新功能

地标 -> 旅游景点 -> 游玩 -> 享受、愉悦的情绪 => 由此确定主题「玩乐生活」

这组地标的创意主题为“玩乐生活”,每个地标的创意,经项目组100多人脑暴后投票选出。创意决定后,6个项目同时推进,由上海、深圳、北京、硅谷的团队并行开发。

为了让你用手机拍出科幻大片,抖音悄悄上线了这个新功能

像素风设计元素单独展示

为了让你用手机拍出科幻大片,抖音悄悄上线了这个新功能

三里屯像素风效果展示


每个地标拉一个小群,由抖音和多媒体PM统筹,设计师独立出创意效果,对接研发团队开发。三里屯贴纸的设计师涵涵,来自北京UED部门,直到项目结束,她才知道每日对接的研发同学,竟然base在上海。

这是一个很字节跳动的工作场景,全球员工依托好用的工具协同办公,不论身份、年龄、地域如何,在飞书上彼此坦诚沟通,敏捷执行业务目标。

追求极致,用技术创新给用户带来新玩法

在地标设计的过程中,项目组发现6个地标各不相同,在通用的算法基础上,几乎款款都需要“特别定制”。

地标AR是用户记录城市的工具,一款成功的地标AR贴纸,应该能够准确传达地标本身所承载的文化和象征意义。“不是为了秀一个技术,而是应该根据建筑本身赋予创意,要契合城市的气质。”抖音PM张昶认为,我们的地标AR道具,把城市气质和抖音好玩的产品特色很好地融合起来。

深圳影像团队的设计师琛鑫,负责上海东方明珠“天空之城”的创意,为保证效果,专程跑到上海办公室,拉着特效团队的工程师一起去外滩实测。

为了让你用手机拍出科幻大片,抖音悄悄上线了这个新功能


东方明珠是个114层高的巨大建筑,触发范围特别大,大多数人在外滩隔着黄浦江拍远景,也有人在陆家嘴拍近景。为了精确识别和定位,技术团队对陆家嘴约2平方公里的核心地区进行了三维重建,重建精度能够控制在一米以内,特效也会随着远景和近景的位置变化,呈现出不同的效果。为了保证拍摄过程中维持精准的三维定位,项目组对追踪算法进行了增强,提升了算法对于三维场景的识别和理解的能力,减少了用户在使用和观看过程中可能出现的追踪跟丢问题。

重庆洪崖洞是当地的热门景点,大批游客会在晚上前去打卡,考虑到白天和夜晚实际光线变化的问题,设计团队把白天的蓝紫色调滤镜调得更暗,晚上则会切换成另一个不那么暗的滤镜。

为了让你用手机拍出科幻大片,抖音悄悄上线了这个新功能


还比如,澳门大三巴牌坊特效里,会吐金币的石像头本来放在了一层,深圳的研发同学前往澳门实地测试后发现,游客和牌坊挨得特别近,吐出来的金币和人群会发生重叠,于是把石像改到了牌坊的二层。

在技术侧,项目组给石像面具做了一个环境适配,无论光照等条件如何变化,石像的材质、颜色都可以与牌坊自然融合。

为了让你用手机拍出科幻大片,抖音悄悄上线了这个新功能


追求极致是大家习惯的工作风格,对细节的把控,贯穿体现在项目的每个环节。上海研发工程师叶华,记得有次和硅谷同学紧急开会,AI Lab根据建筑采集出的模型,与设计团队出的3D模型吻合不上,沟通完问题和解决办法挂断视频会议时,已经是夜里凌晨两点。

常驻美国AI Lab的林颉,对国内同学的投入留下了很深的印象,“设计团队看到新技术的demo后特别热情,马上说我们这边几个全职,都可以all in去支持。”在北美AI Lab的工程研发负责人郭辉眼里,公司很有技术氛围,“不论是技术同学,还是配合技术落地的非技术同学,都很崇尚新技术对产品的帮助和提升,觉得这个技术好玩,应用前景广阔,就义无反顾去支持,面对困难就迎难而上。”

道具上线后,大量用户拍摄后上传,播放量过亿。有人留言说,专门坐了2个小时的车来拍这个特效。也有城市的旅游部门表示,想给自己城市的地标定制一款AR道具。

为了让你用手机拍出科幻大片,抖音悄悄上线了这个新功能


为了让你用手机拍出科幻大片,抖音悄悄上线了这个新功能

民间玩法:不在地标附近,对准地标的照片、手绘图、同类建筑拍摄

从一个技术想法,到结合创意的最终产出,是100多位项目组成员智慧的创造,很多同学通过高难项目挑战,提升了个人技术栈,给团队带来技术积累和沉淀。目前,项目组已经梳理了近30项技术,准备进行专利申请。

给亿万用户带来新玩法,是字节跳动对前沿技术投入和决心的小小切面。贴纸道具之外,项目组还在考虑如何把AR商业化,如何把AR作为一项基础技术,做更多AR交互的突破。

创新是业务发展的核心驱动力,技术团队希望未来可以走在业务前,前瞻性地看到发展方向,并通过组织结构的调整,保证团队未来持续输出创意和有影响力产品的能力。

本文来源于:字节范儿

TAGS: 抖音 新功能

网友评论

快捷登录
使用第三方帐号登录本站