Block发布本地运行语音模型Dessa,拟人表现突出
Jack Dorsey旗下Block从研究实验室发布了一款本地运行的语音模型Dessa,其笑声、停顿和哭声听起来与人类十分接近。Dessa是全双工模型,可以同时说话和倾听,类似OpenAI今年早些时候发布的GPT-Live。与传统语音模型不同,Dessa的知识源自会话数据,而不是另外挂接大语言模型做知识检索。
Block认为当前语音AI不自然,因为文本在流水线中驱动语音生成,丢失了声音以外的情绪信息。ElevenLabs v4、Fish Audio Drama 3等模型用语音标签控制情绪,而Dessa声称情绪已经内置于模型之中,不过公司未说明情绪是否受某种标签引导。Block还表示,现有交互把语音转成文本后会丢掉大量信息,让最强大的AI也听不到用户的感受。
Block本身从事金融和中小企业服务,Square此前已使用语音AI处理订单。拥有可在设备端运行的语音模型后,Block能够以更低成本支持更多商业和消费场景,也让可在本地运行的高表现力语音模型成为新的产品方向。