Přeskočit na obsah Akce Agentic Leadership · první český AI operační systém pro podnikatele a freelancery · nyní za akční zaváděcí cenu Zjistit →
Martin StibůrekRezervovat 15 minut

Ovládej svůj Mac z telefonu: jak funguje computer use v praxi

Computer use je schopnost AI vidět tvoji plochu a klikat na ní za tebe. V praxi to znamená, že z iPhonu můžeš ovládat celý MacBook: řekneš, co chceš, model se podívá na obrazovku, klikne, napíše. A u každého kroku se tě zeptá, jestli může.

Můj setup je iOS telefon a MacBook. Takhle to funguje a tohle jsou dvě věci, které o tom musíš vědět, než to zapneš.

Co přesně computer use umí?

Vidí plochu tvého počítače a umí na ní klikat. To je celé jádro.

Rozdíl proti běžnému chatování je zásadní. Normální model pracuje s textem, který mu pošleš. Tenhle se dívá na obrazovku a používá myš a klávesnici jako člověk.

Typické zadání, které pošlu z telefonu, vypadá takhle:

  • "Řekni mi, co vidíš."
  • "Tam něco napiš."
  • "Tohle udělej."
  • "Tohle prozkoumej."

Vzpomeneš si někde venku na úkol, vytáhneš mobil a máš ho hotový. Bez toho, abys běžel k počítači.

Nemůže mi to udělat něco, co nechci?

Ne, protože se tě vždycky ptá. A funguje jenom tam, kam ho pustíš.

To je podle mě to nejdůležitější, co je potřeba zmínit. Není to tak, že mu předáš klíče od počítače a on si dělá, co chce.

Schvalovací brána je tady ta pojistka. Model navrhne krok, ty ho odkývneš. Když ho neodkývneš, nic se nestane.

Přiznávám, že tohle je věc, u které jsem citlivý. Jednou mi AI při úklidu disku smazala složku s prací za celý rok. Od té doby beru potvrzování kroků jako povinnou výbavu, ne jako otravnou překážku.

Ta druhá pojistka je rozsah přístupu. Model vidí a ovládá jenom to, co mu povolíš, ne celý systém bez omezení.

Proč to nefunguje, když odejdu od počítače?

Protože počítač musí být zapnutý a rozsvícený. Tohle je ta hlavní past, na kterou lidi narazí hned první den.

Když je MacBook zamčený nebo zaklapnutý, computer use nefunguje. Model se nemá na co dívat.

Dává to logiku. Když nástroj pracuje s obrazovkou, musí ta obrazovka existovat. Ale je to přesně ta věc, kterou nikdo nečeká, dokud mu první vzdálený úkol nespadne.

Takže tvůj počítač prostě musí být naživu.

Jak udržet Mac vzhůru, když u něj nejsem?

Nejjednodušší cesta je rozšíření do prohlížeče Keep Awake Coffeein.

Dělá jednu jedinou věc: drží počítač vzhůru. Máš ikonu v liště prohlížeče, kliknutím to zapneš a vypneš.

Můj režim je jednoduchý. Když jsem doma u stolu, mám to vypnuté a počítač normálně usíná. Když odcházím a vím, že budu ještě něco potřebovat, kliknu a nechám ho zapnutý.

Pak si venku vzpomenu na úkol, pošlu ho z mobilu a počítač je připravený.

Jedno tlačítko, vypnout a zapnout. Nic složitějšího na to nepotřebuješ.

Funguje to i na Windows?

Upřímně: nevím, v jakém je to na Windows aktuálně stavu. Netestoval jsem to.

Radši to řeknu takhle, než abych ti tady vymýšlel postup, který jsem si neověřil. Můj setup je iOS a MacBook a o tom můžu mluvit.

Čím se computer use liší od konektorů?

Konektor (MCP) sahá do aplikace přes rozhraní. Computer use kouká na obrazovku a klikne myší.

Ten rozdíl je praktický, ne akademický. Když máš napojený mail přes konektor, model si zprávu vytáhne přímo a je hotovo. Když ten samý mail řešíš přes computer use, model musí najít okno, kliknout do něj, přečíst, co vidí, a napsat.

Konektor je tedy rychlejší a spolehlivější všude, kde existuje.

Computer use má ale jednu výhodu, kterou konektor nikdy mít nebude: funguje i tam, kde žádné rozhraní není. Stará desktopová aplikace, interní systém bez API, nástroj, na který nikdo konektor nenapsal. Tam je klikání jediná cesta.

Beru to tak, že computer use je záložní plán, ne první volba. Nejdřív se ptám, jestli na to není konektor. Když není, teprve pak pouštím model na obrazovku.

Jak vypadá vzdálený úkol krok za krokem?

Průběh je vždycky stejný a stojí za to ho znát, než to zkusíš poprvé:

  1. Než odejdeš od stolu, zapneš rozšíření, které drží počítač vzhůru.
  2. Venku si vzpomeneš na úkol a napíšeš ho z mobilu.
  3. Model se podívá na plochu a popíše ti, co vidí.
  4. Navrhne první krok a počká na tvoje odkývnutí.
  5. Ty potvrdíš, on klikne. A takhle dokola až do konce.
  6. Po návratu domů rozšíření vypneš a počítač zase normálně usíná.

To potvrzování je pomalejší, než by sis představoval. Ale je to přesně ta věc, která z toho dělá použitelný nástroj, a ne ruletu.

Dobrý první úkol na vyzkoušení: "Řekni mi, co vidíš." Nic to nerozbije a hned pochopíš, jak přesně model tvoji plochu čte.

Přehled: co potřebuješ, aby to jelo

Podmínka Stav Pozor na
Počítač Zapnutý a rozsvícený Zamčený nebo zaklaplý = nefunguje
Udržení vzhůru Keep Awake Coffeein Nezapomeň vypnout, až to nepotřebuješ
Telefon iOS (můj setup) Windows jsem netestoval
Schvalování Ptá se u každého kroku Nevypínej to kvůli rychlosti
Rozsah Jen tam, kam ho pustíš Rozmysli si, co mu zpřístupníš

Kdy computer use nepoužít?

Je to brutálně silná věc. Ale to neznamená, že je na všechno.

  • Když na to existuje konektor. Máš-li napojený mail, kalendář nebo fakturaci přes MCP, jdi tou cestou. Práce přes API je rychlejší a spolehlivější než klikání do obrazovky.
  • Na notebooku, který necháváš na veřejném místě. Odemčený a rozsvícený počítač v kavárně je riziko samo o sobě, i bez AI.
  • Na hesla a platby. Nenech si ovládat obrazovku ve chvíli, kdy jsou na ní přihlašovací údaje nebo platební brána.
  • Na kroky, které nejdou vzít zpět. Mazání, odesílání, publikování. Tam chci sedět u počítače a vidět to na vlastní oči.
  • Když spěcháš. Potvrzování každého kroku z mobilu není rychlé. Je to bezpečné, ne svižné.

Stojí to za vyzkoušení?

Určitě si s tím pohraj. Já to zatím testuju přesně na téhle úrovni: nechám počítač zapnutý, odejdu a posílám mu úkoly z mobilu.

Není to nástroj, který ti od zítřka odmaká půlku práce. Je to spíš ukázka toho, kam se agentická AI posunula. Model, který se dívá na obrazovku a klikne za tebe, byl před rokem sci-fi.

A hlavně: začni s tím, že máš zapnuté potvrzování. Rychlost si můžeš přidat později. Smazanou složku ti nikdo nevrátí.

Podívej se na celé video

Obsah tohoto blogu vzniká s pomocí AI z Martinových LinkedIn postů a videí na YouTube.

← Zpět na blog