Zoom會議AI助理

為Zoom會議新增AI助理有兩種方式。你可以連接一個以可見參與者身分加入通話的雲端機器人,也可以執行一個桌面助理,擷取你電腦的系統音訊,且永遠不會出現在與會者名單中。機器人方式對團隊共享的錄音來說比較簡單。當通話是私密的,而你不想讓房間裡的人知道有錄音裝置時,桌面方式會更合適。

我是Natively的創辦人,這是一款為會議與面試打造的開源(AGPL-3.0)桌面AI助理。以下是我自己每天在Zoom上實際使用的設定,再加上每種方式真實的取捨,以及如何在通話進行中就獲得協助,而不只是事後的摘要。

通話中的機器人 相較於 桌面擷取

Zoom有自己內建的AI Companion,許多第三方機器人也會加入你的會議進行錄音與摘要。它們的運作方式是以參與者身分進入通話,這意味著所有人都會看到一位新的與會者出現,標籤上通常帶有「notetaker」或產品名稱。

桌面助理的運作方式不同。它在作業系統層級擷取你的電腦已經在播放與傳送的音訊,因此沒有任何東西需要加入通話。Natively使用以Rust打造的系統音訊擷取技術,適用於任何桌面應用程式,包括Zoom、Teams、Meet、Slack與Discord。與你交談的人看到的與會者名單,和完全沒有任何工具執行時一樣。

在Zoom上設定Natively,從頭到尾

重點在於,在Zoom本身幾乎不需要任何設定。你不需要安裝Zoom應用程式,也不需要給機器人任何帳戶存取權限。你只要在Zoom旁邊執行一個桌面程式,它會聆聽你的電腦已經在做的事情。

在會議開始前打開Natively。授予作業系統要求的一次性麥克風與系統音訊權限。像平常一樣加入你的Zoom通話。這就是全部的設定。只要有人開始說話,助理就會開始轉錄,它的視窗會停留在你的螢幕上,你可以閱讀,但螢幕共享無法擷取到它。

在Zoom上,有一個細節特別重要:系統音訊擷取能擷取到其他參與者,是因為他們的聲音透過你的喇叭或耳機傳出來。你自己的聲音則透過麥克風傳入。Natively會同時處理這兩種音訊,所以無論你用的是喇叭還是藍牙耳機,逐字稿都會包含對話的雙方。

真正重要的Zoom AI功能

Zoom大部分的AI行銷內容都圍繞著摘要。摘要現在已經是基本配備了。真正改變通話感受的功能,是在你還在通話中時就能派上用場的協助。

在Zoom通話中聽到一個難題,到開始給出一個好答案之間的差距,通常就是你寧願沒有的那幾秒沉默。這正是即時助理所為之設計的時間窗口。在我的裝置上,Natively能在500毫秒內把相關答案或下一個問題顯示在螢幕上,這個速度快到足以在停頓變得尷尬之前使用。即時逐字稿也意味著,當有人提到一個你只聽了一半的數字時,你可以往回捲三句話,而不需要請他們重複一次。

在通話後的那一半裡,筆記比原始逐字稿更重要。一堵文字牆不是成果。決定、負責人與行動項目才是。如果你想了解背後的原因,AI會議助理完整指南說明了如何區分真正的筆記功能與只是貼上摘要的逐字稿。

那Zoom自己的AI Companion呢?

Zoom現在自帶了AI Companion,對很多人來說,這是顯而易見的第一個嘗試選項。它能摘要會議、起草後續事項,並回答關於會議內容的問題,這一切都在Zoom內部完成,不需要安裝任何額外的東西。如果你的整個團隊已經在用Zoom,而且管理員已經啟用了它,那麼這是一個合理的預設選擇,我不會試圖勸你放棄它。

不過,有兩件事讓我還是會選擇單獨的助理。第一是資料會流向何處。AI Companion在Zoom帳戶的控管下,於Zoom的雲端進行處理,這對內部同步沒問題,但對於機密談判或候選人面試來說,就更難以站得住腳。一個可以在本地端或用你自己的金鑰執行的桌面助理,能讓這場對話完全不經過共享雲端。

第二是AI Companion的設計圍繞著事後的回顧,而不是當下的那一刻。它擅長告訴你發生了什麼事。它不會在對方話還沒說完時,就在你的螢幕上遞給你一個答案。如果你想要的價值是通話期間的協助,而不是之後一份整理好的摘要,那是另一種工具,而兩者可以共存。我曾在同一場通話中同時使用過兩者:用Zoom的回顧作為共享記錄,用一個私人助理取得只有我自己能看到的即時協助。

當擷取出問題時,以及如何修復

系統音訊擷取很可靠,但在Zoom上有兩種設定常常讓人感到困惑,而這兩者都有值得在重要通話前了解的快速解決方法。

第一種是缺少對方的聲音。如果逐字稿只顯示你自己說的話,而沒有其他參與者的話,就表示助理取得了你的麥克風,但沒有取得透過你喇叭播放的系統音訊。在macOS上,這幾乎總是因為那個尚未授予的一次性螢幕與音訊權限。在系統設定中核准它,重新啟動助理,雙方的聲音就會出現。請提早做好這一步,而不是在客戶等待的時候才處理。

第二種是藍牙耳機切換音訊模式。當一些無線耳機啟用麥克風時,它們會降級到一種低品質的通話模式,這也會削弱系統能擷取到的音訊。如果精確度恰好在你連接耳機的那一刻下降,有線耳機或筆記型電腦的喇叭通常能轉錄得更乾淨。這是硬體的特性,不是軟體的問題,而且它會以同樣的方式影響任何以擷取為基礎的工具。

在Zoom上,同意不是可選項

對其他參與者不可見,是為你提供的一項隱私功能。它不會改變你對他們的義務。關於錄音與逐字稿的同意法規因地區而異,也因通話是內部還是外部而異,一個誰都看不到的助理並不能讓你免除這些義務。

我的基本原則是:如果我會因為有人知道我保留了逐字稿而感到不自在,我會先詢問。對於內部通話,這通常不是問題。對於外部通話、面試以及任何受規範的場合,請遵循公司政策與適用的法律。筆記工具隱私指南更深入地說明了逐字稿存放在哪裡,以及如何保有對它們的控制權。

常見問題

我可以在Zoom上使用AI助理而不讓機器人加入嗎?

可以。像Natively這樣的桌面助理在系統層級擷取Zoom的音訊,因此不會有任何機器人出現在與會者名單中。通話中的其他人不會看到任何額外的與會者。

AI助理在Mac與Windows上都能配合Zoom使用嗎?

Natively可以在macOS 12及更新版本,以及Windows 10與11上執行。它在兩個系統上以相同的方式擷取系統音訊,所以Zoom的表現是一致的。目前還不支援Linux。

如果我在Zoom上共享螢幕,助理會顯示出來嗎?

不會。Natively的疊加層被設計為在螢幕共享時保持隱藏,所以你可以在Zoom上做簡報,同時自己繼續閱讀逐字稿與回答。只有你能看到它。

在Zoom上使用AI助理是免費的嗎?

如果你自備API金鑰,或透過Ollama執行本地端模型,Natively是免費的,你只需為使用的token付費,本地端執行則完全不花錢。此外還有一次性購買的Pro版本,以及為不想做任何設定的人提供的託管API方案。

在你下一次Zoom通話中試試看

從一次真正有風險的通話開始,比如客戶會議或面試,看看即時協助是否會改變你感到準備充分的程度。這比一次筆記幾乎無關緊要的站立會議更能檢驗效果。

如果你想在Zoom上獲得即時逐字稿與回答,而房間裡沒有機器人,Natively可以免費試用。改用Google Meet?Google Meet指南介紹了該平台上同樣的設定方法。