Zoom会议AI助手

为Zoom会议添加AI助手有两种方式。你可以连接一个以可见参与者身份加入通话的云端机器人,也可以运行一个桌面助手,它会捕获你电脑的系统音频,且永远不会出现在参会者名单中。机器人方式对团队共享录音更简单。当通话是私密的,而你不想向房间里的人宣布有录音设备时,桌面方式更合适。

我是Natively的创始人,这是一款面向会议和面试的开源(AGPL-3.0)桌面AI助手。以下是我自己每天在Zoom上实际使用的设置,外加每种方式的真实权衡,以及如何在通话进行中获得帮助,而不只是事后的摘要。

通话中的机器人 对比 桌面捕获

Zoom有自己内置的AI Companion,许多第三方机器人也会加入你的会议进行录制和总结。它们的工作方式是以参与者身份进入通话,这意味着所有人都会看到一个新参会者出现,标签通常带有"notetaker"或产品名称。

桌面助手的工作方式不同。它在操作系统层面捕获你的电脑已经在播放和发送的音频,因此没有任何东西需要加入通话。Natively使用基于Rust的系统音频捕获技术,适用于任何桌面应用,包括Zoom、Teams、Meet、Slack和Discord。与你交谈的人看到的参会者名单,和没有运行任何工具时一样。

在Zoom上设置Natively,从头到尾

关键在于,在Zoom本身里几乎不需要做任何设置。你不需要安装Zoom应用,也不需要给机器人任何账户访问权限。你只需在Zoom旁边运行一个桌面程序,它会监听你的电脑已经在做的事情。

在会议开始前打开Natively。授予操作系统请求的一次性麦克风和系统音频权限。像往常一样加入你的Zoom通话。这就是全部设置。一旦有人开始说话,助手就会开始转录,它的窗口会停留在你的屏幕上,你可以看到,但屏幕共享无法捕捉到它。

在Zoom上有一个细节特别重要:系统音频捕获能够捕捉到其他参与者,是因为他们的声音通过你的扬声器或耳机传出来。你自己的声音则通过麦克风传入。Natively会同时处理这两种音频,所以无论你用的是扬声器还是蓝牙耳机,转录内容都会包含对话的双方。

真正重要的Zoom AI功能

Zoom大部分AI营销内容都围绕摘要。摘要现在已经是基本配置了。真正改变通话感觉的功能,是在你还在通话中时就能用上的帮助。

在Zoom通话中听到一个难题,到开始给出一个好答案之间的差距,通常就是你宁愿没有的那几秒沉默。这正是实时助手所针对的时间窗口。在我的设备上,Natively能在500毫秒内把相关答案或下一个问题显示在屏幕上,这个速度足够快,能在停顿变得尴尬之前用上。实时转录还意味着,当有人提到一个你只听了一半的数字时,你可以回滚三句话,而不需要让他们重复一遍。

在通话后的那一半里,笔记比原始转录更重要。一堵文字墙不是成果。决定、负责人和行动项才是。如果你想了解背后的原因,AI会议助手完全指南讲解了如何区分真正的笔记功能和只是粘上摘要的转录。

那Zoom自己的AI Companion呢?

Zoom现在自带了AI Companion,对很多人来说,这是显而易见的第一个尝试选项。它能总结会议、起草后续事项,并回答关于会议内容的问题,所有这一切都在Zoom内部完成,无需安装任何额外的东西。如果你的整个团队已经在用Zoom,而且管理员已经启用了它,那么这是一个合理的默认选择,我不会劝你放弃它。

不过有两件事让我还是会选择单独的助手。第一是数据去了哪里。AI Companion在Zoom账户的控制下,在Zoom的云端进行处理,这对内部同步没问题,但对于机密谈判或候选人面试来说,就更难以站得住脚。一个可以在本地或用你自己的密钥运行的桌面助手,能让这场对话完全不经过共享云端。

第二是AI Companion的设计围绕事后的回顾,而不是现场的那一刻。它擅长告诉你发生了什么。它不会在对方话还没说完时,就在你的屏幕上递给你一个答案。如果你想要的价值是通话期间的帮助,而不是之后一份整洁的摘要,那是另一种工具,而两者可以共存。我曾在同一通话中同时使用过两者:用Zoom的回顾作为共享记录,用一个私密助手获取只有我自己能看到的实时帮助。

当捕获出问题时,以及如何修复

系统音频捕获很可靠,但在Zoom上有两种设置常常让人困惑,而这两者都有值得在重要通话前了解的快速解决方法。

第一种是缺失的另一方声音。如果转录只显示你自己说的话,而没有其他参与者的话,说明助手获取到了你的麦克风,但没有获取到通过你扬声器播放的系统音频。在macOS上,这几乎总是因为那个尚未授予的一次性屏幕与音频权限。在系统设置中批准它,重启助手,双方的声音就会出现。请提前做好这一步,而不是在客户等待的时候才处理。

第二种是蓝牙耳机切换音频模式。当一些无线耳机启用其麦克风时,它们会降级到一个低质量的通话模式,这也会削弱系统能够捕获的音频。如果精度恰好在你连接耳机的那一刻下降,有线耳机或笔记本电脑扬声器通常能转录得更干净。这是硬件的特性,不是软件的问题,而且它会以同样的方式影响任何基于捕获的工具。

在Zoom上,同意不是可选项

对其他参与者不可见,是为你提供的一项隐私功能。它不会改变你对他们的义务。关于录音和转录的同意法律因地区而异,也因通话是内部还是外部而异,一个谁都看不到的助手并不能让你免除这些义务。

我的基本原则是:如果我会因为有人知道我保留了转录而感到不自在,我会先询问。对于内部通话,这通常不是问题。对于外部通话、面试以及任何受监管的场合,请遵循公司政策和适用的法律。笔记工具隐私指南更深入地讲解了转录保存在哪里,以及如何保持对它们的控制。

常见问题

我可以在Zoom上使用AI助手而不让机器人加入吗?

可以。像Natively这样的桌面助手在系统层面捕获Zoom的音频,因此参会者名单中不会出现任何机器人。通话中的其他人不会看到任何额外的参会者。

AI助手在Mac和Windows上都能配合Zoom使用吗?

Natively可以在macOS 12及更高版本,以及Windows 10和11上运行。它在两个系统上以相同的方式捕获系统音频,所以Zoom的表现是一致的。目前还不支持Linux。

如果我在Zoom上共享屏幕,助手会显示出来吗?

不会。Natively的悬浮层被设计为在屏幕共享时保持隐藏,所以你可以在Zoom上做演示,同时自己继续阅读转录和回答。只有你能看到它。

在Zoom上使用AI助手是免费的吗?

如果你自带API密钥,或通过Ollama运行本地模型,Natively是免费的,你只需为使用的token付费,本地运行则完全不花钱。此外还有一次性购买的Pro版本,以及面向不想做任何设置的人的托管API套餐。

在你下一次Zoom通话中试试看

从一次真正有风险的通话开始,比如客户会议或面试,看看实时帮助是否会改变你感到准备充分的程度。这比一次笔记几乎无关紧要的站会更能检验效果。

如果你想在Zoom上获得实时转录和回答,而房间里没有机器人,Natively可以免费试用。改用Google Meet?Google Meet指南介绍了该平台上同样的设置方法。