近日,腾讯音乐娱乐集团(TME)打造的首届“ROCK N Code,让技术发声”TechME技术周盛大启动。TME技术专家、音乐行业内顶尖学者、优秀技术团队等齐聚在此分享音乐科技成果、探索前沿音乐技术。其中,来自TME旗下首个音视频研究实验室——天琴实验室的负责人姜博士及其团队成员分享了《给音乐加点AI-天琴实验室黑科技揭秘》《前沿音频技术应用》《视频AI技术最近实践》引发了业内关注,而这,也是天琴实验室的首次重磅亮相。
天琴室实验室姜博士现场分享《给音乐加点AI-天琴实验室黑科技揭秘》
天琴实验室致力于对音视频相关AI方向研究,持续推出创新技术,提升集团旗下QQ音乐、全民K歌等平台的音乐视听体验。实验室从前身“多媒体研发中心”升级而来,自创立以来,天琴实验室不断攻坚创新,在音频、视频技术领域成绩斐然,现已掌握384个专利技术,收获包括Mirex音频指纹大赛冠军等多个国内外音视频重量级奖项,并有多项论文被收录于ICASSP、IJCNN、INTERSPEECH等各大国际论坛组织。
天琴实验室技术介绍
正如QQ音乐业务线技术副总裁周文江所分享的“以天穹中浪漫七弦琴星座为名,天琴实验室不仅展示着他们对探索‘音乐星空’的不懈追求,更秉持着以科技向善为使命,切实用具有温度的前沿技术如「听歌识曲」、「翻唱识别」、「AI智能剪辑」、「视频歌单」等黑科技,为用户提供更美好的音乐娱乐体验。”
如今,天琴实验室的黑科技已化身各种实用功能,应用在腾讯音乐旗下的各个平台中。在音频方面,QQ音乐「听歌识曲」已成为广大乐迷找寻陌生好歌的'必备神器',从此不再错过心仪好歌。而「听歌识曲」这一技术,早在2019国际音频检索评测大赛(MIREX)上,就曾以平均3秒识别一首歌的成绩拿下了'音频指纹(Audio Fingerprinting)'世界冠军,至今仍是行业领先水平。
另外,天琴实验室的「智能修音」则相当于为全民K歌的每位用户配备了一名专属的“百万混音师”,让用户轻松完成“一键美音”。当用户完成歌唱作品后,全民K歌的突破性「歌唱评价」技术则实现了从音准、节奏、技巧、气息,甚至情感五个维度为用户评价,成为了用户的“声音伯乐”,甚至“歌唱成长助手”!这两大技术,切实降低了用户K歌、学唱的门槛,真正实现了“全民K歌”!
QQ音乐听歌识曲和全民K歌智能修音功能
在视频方面,天琴实验室同样成就不凡。针对直播主播的美颜需求,天琴实验室通过「智能美肤」和「视频去噪」技术,实现了美颜和视频质量的双重保障;而歌曲竖版视频MV,则来源于「AI智能剪辑」技术,不仅实现横屏MV向竖屏MV的批量转化,同时确保智能剪辑后视频的美感与节奏感,让美好的音乐被更多用户“看见”。
QQ音乐歌曲播放视频页面
此外,还有如AI语音朗读、智能音效、视频歌单、扫一扫MV识别等大量实用技术已应用于腾讯音乐各类音娱app中,而这些科技成果离不开专业科研人员的努力与协作。据了解,天琴实验室不仅汇聚了30多位来自于清华大学、复旦大学、香港理工大学等国内外顶尖高校和科研机构科的研工作者和技术人员。 早在去年12月,实验室与西北工业大学教授、人工智能领域专家谢磊等科研团队在长音频的语音合成方面就展开了合作,为用户提供更加真实、有趣的有声音频。
QQ音乐业务线技术副总裁周文江为西北工业大学人工智能领域专家谢磊颁发聘任证书
在今年的99公益活动中,QQ音乐推出的国内首张低频公益专辑——《听见“听不见”的音乐》,正是运用天琴实验室的“声伴分离、音乐生成、伴奏改编、歌声合成”等智能化音频技术,在不破坏、不改变编原版歌曲旋律的同时,对歌曲进行了符合中高频听力损失人群听力范围的降频改编,使歌曲完美符合中高频听力损失孩子的听力范围,让高频听力缺失的孩子们也能在曲声悠扬里收获了温暖快乐。
深圳市厚朴特需儿童发展中心高频听力缺失小朋友听低频公益专辑
以音乐科技向善,也不止于温暖公益中,更在于让更多人的日常每一天,都能轻松享受到音乐的快乐与美好,如QQ音乐新推出的「Hi-Res」高品质音乐专区无疑正是为用户提供高品质的听歌体验。Hi-Res作为高解析度音频,以相较于CD音质更丰富的细节、更广阔的动态,更接近原始信息的声音,带给越来越多用户身临其境的音乐体验。
天琴实验室以星辰为名,拥有一支创新且具有行业影响力的团队,未来希望有更多优秀的AI技术人才加入,共同创造美好的音乐新体验,让用户感受音乐的律动与美好!