Asystent AI do spotkań w Zoom

Istnieją dwa sposoby na dodanie asystenta AI do spotkania w Zoom. Możesz podłączyć bota w chmurze, który dołączy do połączenia jako widoczny uczestnik, albo uruchomić asystenta desktopowego, który przechwytuje dźwięk systemowy twojego komputera i nigdy nie pojawia się na liście uczestników. Droga z botem jest prostsza przy nagraniach udostępnianych w zespole. Droga desktopowa jest lepsza, gdy rozmowa jest prywatna i wolisz nie ogłaszać wszystkim w pokoju, że coś nagrywa.

Jestem założycielem Natively, open source'owego (AGPL-3.0) desktopowego asystenta AI do spotkań i rozmów rekrutacyjnych. To jest konfiguracja, którą sam faktycznie używam codziennie w Zoom, razem z uczciwymi plusami i minusami każdego podejścia oraz sposobem na uzyskanie pomocy w czasie trwania rozmowy, a nie tylko podsumowania po jej zakończeniu.

Bot w rozmowie kontra przechwytywanie desktopowe

Zoom ma własnego wbudowanego AI Companion, a wiele botów innych firm dołącza do spotkania, aby je nagrać i podsumować. Działają one, wchodząc do rozmowy jako uczestnik, co oznacza, że każdy widzi, jak pojawia się nowy uczestnik, zwykle z etykietą "notetaker" albo nazwą produktu.

Asystent desktopowy działa inaczej. Przechwytuje dźwięk, który twój komputer już odtwarza i wysyła, na poziomie systemu operacyjnego, więc nic nie musi dołączać do rozmowy. Natively wykorzystuje przechwytywanie dźwięku systemowego oparte na Rust, które działa w każdej aplikacji desktopowej, w tym w Zoom, Teams, Meet, Slack i Discord. Osoby, z którymi rozmawiasz, widzą tę samą listę uczestników, jaką zobaczyłyby, gdyby żadne narzędzie nie było uruchomione.

Konfiguracja Natively w Zoom, od początku do końca

Cała istota polega na tym, że w samym Zoom praktycznie nie trzeba niczego konfigurować. Nie instalujesz aplikacji Zoom i nie dajesz botowi dostępu do swojego konta. Uruchamiasz program desktopowy równolegle z Zoom, a on słucha tego, co twoja maszyna już robi.

Otwórz Natively przed rozpoczęciem spotkania. Udziel jednorazowej zgody na mikrofon i dźwięk systemowy, o którą prosi twój system operacyjny. Dołącz do rozmowy w Zoom tak jak zawsze. To cała konfiguracja. Asystent zaczyna transkrybować, gdy tylko ludzie zaczynają mówić, a jego okno znajduje się na twoim ekranie, gdzie możesz je przeczytać, ale udostępnianie ekranu nie może.

W Zoom szczególnie ważny jest jeden szczegół: przechwytywanie dźwięku systemowego wychwytuje innych uczestników, bo ich głosy dochodzą przez twoje głośniki lub słuchawki. Twój własny głos dociera przez mikrofon. Natively obsługuje oba, więc transkrypcja zawiera obie strony rozmowy, niezależnie od tego, czy używasz głośników, czy słuchawek Bluetooth.

Funkcje AI w Zoom, które naprawdę mają znaczenie

Duża część marketingu AI w Zoom dotyczy podsumowań. Podsumowania to już standard. Funkcja, która zmienia odczucia z rozmowy, to pomoc, która nadchodzi, gdy wciąż w niej jesteś.

Różnica między usłyszeniem trudnego pytania na rozmowie w Zoom a zaczęciem dobrej odpowiedzi to zwykle kilka sekund ciszy, których lepiej by nie było. To jest właśnie okno, dla którego zbudowany jest asystent czasu rzeczywistego. Natively wyświetla trafną odpowiedź albo następne pytanie na ekranie w czasie krótszym niż 500 milisekund na moim sprzęcie, co jest wystarczająco szybkie, by użyć tego, zanim pauza zrobi się niezręczna. Transkrypcja na żywo oznacza też, że możesz przewinąć trzy zdania wstecz, gdy ktoś wspomni liczbę, którą usłyszałeś tylko w połowie, bez konieczności proszenia o powtórzenie.

W drugiej połowie, po rozmowie, notatki znaczą więcej niż surowa transkrypcja. Ściana tekstu to nie jest gotowy efekt pracy. Decyzje, osoby odpowiedzialne i zadania do wykonania - to jest efekt pracy. Jeśli chcesz zrozumieć logikę stojącą za tym, kompletny przewodnik po asystentach AI do spotkań opisuje, jak odróżnić prawdziwą funkcję notatek od transkrypcji z doklejonym na górze podsumowaniem.

A co z własnym AI Companion w Zoom?

Zoom ma teraz własnego AI Companion, i dla wielu osób to oczywista pierwsza rzecz do wypróbowania. Podsumowuje spotkanie, przygotowuje projekty działań następczych i odpowiada na pytania o to, co zostało powiedziane, wszystko wewnątrz Zoom, bez niczego dodatkowego do zainstalowania. Jeśli cały twój zespół już żyje w Zoom, a twój administrator go włączył, to rozsądny domyślny wybór i nie odradzałbym ci go.

Jednak dwie rzeczy sprawiają, że i tak sięgam po osobnego asystenta. Pierwsza to to, dokąd trafiają dane. AI Companion przetwarza dane w chmurze Zoom pod kontrolą konta Zoom, co jest w porządku w przypadku wewnętrznych synchronizacji, ale trudniej uzasadnić przy poufnych negocjacjach albo rozmowie z kandydatem. Asystent desktopowy, który może działać lokalnie albo z twoim własnym kluczem, utrzymuje tę rozmowę całkowicie poza wspólną chmurą.

Druga to to, że AI Companion jest zbudowany wokół podsumowania, a nie żywego momentu. Dobrze mówi ci, co się stało. Nie siedzi na twoim ekranie, podając odpowiedź, gdy druga osoba jest w połowie zdania. Jeśli wartością, którą chcesz uzyskać, jest pomoc w trakcie rozmowy, a nie uporządkowane podsumowanie po niej, to jest inne narzędzie, i te dwa mogą współistnieć. Używałem obu podczas tej samej rozmowy: podsumowania Zoom do wspólnego zapisu, prywatnego asystenta do pomocy w czasie rzeczywistym, którą widzę tylko ja.

Kiedy przechwytywanie zawodzi i jak to naprawić

Przechwytywanie dźwięku systemowego jest wiarygodne, ale dwa ustawienia często zbijają ludzi z tropu w Zoom, i obydwa mają szybkie rozwiązania, które warto znać przed ważną rozmową.

Pierwsze to brakująca druga strona. Jeśli transkrypcja pokazuje tylko twoje słowa, a nie słowa innych uczestników, asystent odbiera twój mikrofon, ale nie dźwięk systemowy wychodzący z twoich głośników. W macOS jest to prawie zawsze jednorazowe uprawnienie do ekranu i dźwięku, które nie zostało jeszcze udzielone. Zatwierdź je w ustawieniach systemu, uruchom asystenta ponownie, i obie strony się pojawią. Zrób to raz, dobrze przed rozmową, a nie wtedy, gdy klient czeka.

Drugie to słuchawki Bluetooth zmieniające tryb audio. Gdy niektóre bezprzewodowe słuchawki włączają swój mikrofon, przełączają się na profil rozmowy niższej jakości, który dodatkowo zmniejsza dźwięk, jaki system może przechwycić. Jeśli dokładność spada w momencie podłączenia słuchawek, przewodowe słuchawki albo głośniki laptopa zwykle transkrybują czyściej. To osobliwość sprzętu, nie oprogramowania, i wpływa tak samo na każde narzędzie oparte na przechwytywaniu.

Zgoda w Zoom nie jest opcjonalna

Bycie niewidocznym dla innych uczestników to funkcja prywatności dla ciebie. Nie zmienia twoich obowiązków wobec nich. Przepisy dotyczące zgody na nagrywanie i transkrypcję różnią się w zależności od lokalizacji i tego, czy rozmowa jest wewnętrzna czy zewnętrzna, a asystent, którego nikt nie widzi, nie zwalnia cię z tych obowiązków.

Moja ogólna zasada: jeśli czułbym się niekomfortowo, gdyby ktoś wiedział, że zachowałem transkrypcję, pytam najpierw. W przypadku rozmów wewnętrznych to zwykle nie jest problem. W przypadku rozmów zewnętrznych, rozmów rekrutacyjnych i wszystkiego, co jest regulowane, trzymaj się polityki swojej firmy i obowiązującego prawa. Przewodnik po prywatności narzędzi do notatek zagłębia się w to, gdzie przechowywane są transkrypcje i jak zachować nad nimi kontrolę.

Najczęściej zadawane pytania

Czy mogę używać asystenta AI w Zoom bez dołączającego bota?

Tak. Asystent desktopowy taki jak Natively przechwytuje dźwięk Zoom na poziomie systemu, więc żaden bot nie pojawia się na liście uczestników. Inne osoby na rozmowie nie widzą żadnego dodatkowego uczestnika.

Czy asystent AI działa z Zoom na Macu i Windows?

Natively działa na macOS 12 i nowszych oraz na Windows 10 i 11. Przechwytuje dźwięk systemowy w ten sam sposób na obu, więc Zoom zachowuje się identycznie. Linux nie jest jeszcze obsługiwany.

Czy asystent pojawi się, jeśli udostępnię ekran w Zoom?

Nie. Nakładka Natively jest zaprojektowana tak, by pozostać niewidoczna podczas udostępniania ekranu, więc możesz prezentować w Zoom, nadal samodzielnie czytając transkrypcję i odpowiedzi. Widzisz ją tylko ty.

Czy używanie asystenta AI w Zoom jest darmowe?

Natively jest darmowe, jeśli przyniesiesz własny klucz API albo uruchomisz lokalny model przez Ollama, płacąc tylko za zużyte tokeny albo wcale nic lokalnie. Jest też jednorazowy zakup wersji Pro oraz zarządzany poziom API dla osób, które nie chcą żadnej konfiguracji.

Wypróbuj to na następnej rozmowie w Zoom

Zacznij od jednej rozmowy, w której stawka jest realna, spotkania z klientem albo rozmowy rekrutacyjnej, i zobacz, czy pomoc na żywo zmienia to, jak przygotowany się czujesz. To lepszy test niż codzienny standup, na którym notatki ledwie mają znaczenie.

Jeśli chcesz transkrypcji na żywo i odpowiedzi w Zoom bez bota w pokoju, Natively jest darmowe do wypróbowania. Używasz za to Google Meet? Przewodnik po Google Meet opisuje tę samą konfigurację dla tej platformy.