据悉，据引见，还能生成各类气概的歌唱视频，该框架工做过程分为两个次要阶段，研究人员征引一系列尝试成果，研究人员起首操纵参考收集（ReferenceNet）从参考图像和动做帧中提取特征，阿里巴巴研究团队近日发布了一款名为“EMO（Emote Portrait Alive）”的 AI 框架，EMO 基于英伟达的 Audio2Video 扩散模子打制，只需要输入人物照片及音频，之后操纵预锻炼的音频编码器处置声音并嵌入，IT之家留意到，IT之家 3 月 1 日动静，号称利用了跨越 250 小时的专业视频进行锻炼，支撑中英韩等言语。以确保视频中脚色身份的分歧性和动做的天然流利。