回答问题AI:通话中的实时回答

能在通话中实时回答问题的AI,是一个应用范围窄但价值很高的工具。这套系统会监听对话,在对方还在说话的时候就把答案显示在屏幕上。大多数声称能做到这一点的工具,要么太慢,要么太吵,根本没用,但少数真正做好的工具,会彻底改变整场通话的感觉。

我是Natively的创始人,这是一款面向会议和面试的开源(AGPL-3.0)桌面AI助手。这个品类是我做出来的,所以我确实有所偏向,但我也会坦诚地说清楚:实时回答在哪些地方会失效,以及什么时候通话后的总结才是正确答案。

实时回答究竟是如何工作的

系统会实时捕获音频。一个语音转文字模型生成随人说话而不断流动的转录文本。一个语言模型读取这份转录和用户的上下文,生成出现在屏幕上的答案。

一个诚实的延迟目标是:从提出问题到答案出现,要在一秒以内。比这慢,答案就会在那个时机已经过去之后才出现。比这快,系统就会让人感觉像在读心。市场上大多数工具都比一秒慢,因而失去了大部分价值。

在我的设备上,Natively能在500毫秒以内把答案显示到屏幕上。通话助手指南详细介绍了这个实时辅助的工作流程。

实时回答占优的场景

有三种情况特别适合实时回答。

第一种是销售电话,潜在客户提出了一个你必须在时机过去之前回答的问题。一个实时提示能在你失去主动权之前提醒你答案,这就是赢下这笔交易和失去它之间的区别。

第二种是面试,问题是技术性的,你需要一个提示来想起对应的框架。完整的AI面试指南对此有深入介绍。

第三种是客户电话,问题需要查阅内部文档。对你的文档做RAG,再加上实时转录,再加上屏幕上的答案,能让你在不打断节奏的情况下作答。

实时回答失效的场景

有两种失败模式值得专门指出。

第一种是太慢。如果系统比一秒还慢,答案就会在那个时机过去之后才出现,结果你花在看屏幕上的时间比听对方说话的时间还多。诚实的解决办法是,在正式依赖它之前,先在真实的通话里测试一下。

第二种是太吵。如果系统回答每一个问题,包括那些你本可以自然回答的问题,对话就会变得生硬。诚实的解决办法是有选择地使用这套系统,只用于你本来回答不出来的问题。

如何用好实时回答

有三个习惯能让实时回答真正发挥作用。

第一,给系统提供上下文。简历、职位描述、公司背景、最近的通话记录。没有上下文的实时回答都是泛泛而谈,而泛泛而谈没有用。

第二,有选择地使用这套系统。答案是为你自己答不上来的问题准备的,不是为每一个问题准备的。读提示,忽略你已经知道的内容,只看你需要的部分。

第三,遵守公司的规定。有些公司允许在通话中使用AI协助,有些则禁止。在被禁止的地方使用AI是真实存在的职业风险。检测指南介绍了检测是如何进行的。

常见问题

什么是回答问题AI?

一种监听对话并实时在屏幕上显示答案的工具。模型读取流式转录文本和用户的上下文,生成到达速度足够快、可以直接使用的答案。

实时回答AI真的有用吗?

是的,在特定场景下有用。对于销售电话、面试,以及需要内部文档的客户电话,实时回答能改变整场通话的感觉。一个诚实的延迟目标是一秒以内。

哪些AI能在通话中提供实时回答?

Natively。Final Round AI。LockedIn AI。工具对比介绍了面试这一侧,会议工具对比介绍了会议这一侧。

面试中允许使用实时回答AI吗?

取决于规定。有些公司允许,有些禁止,大多数什么都没说。在被禁止的地方使用AI是真实的风险。

我能自己搭建一个实时回答AI吗?

可以,对你的文档做RAG,再加上一条流式转录管道,再加上一个能在一秒以内生成答案的模型。Natively是唯一一个用桌面捕获架构在本地做到这一点的主流选项。

按问题类型选择合适的工具

对于通话中冒出来的、否则就需要停顿或猜测的问题,实时回答是合适的工具。而对于你自己能答上来的问题,或是需要通话后总结的问题,它就是用错了的工具。

如果你想要一个面向会议和面试、本地优先的实时回答AI,Natively可以用你自己的密钥或本地模型免费试用。