Hane Cowork
アプリを操作する（PC の操作）
Hane Cowork の PC の操作で、選んだアプリのウィンドウの画面を取得し、クリックや文字入力をする仕組みと、macOS・Windows それぞれの検証の状況を説明します。
プレビュー
このページでは、Cowork の「PC の操作」（computer use）で、選んだアプリのウィンドウを読み、クリックや文字入力をする仕組みを説明します。準備の手順、操作の制限、本人が操作を代わる方法、そして現在どこまで確かめられているかを扱います。
- 本人が「機能と接続 → PC の操作」で、使うアプリのウィンドウを選びます。
- この PC での作業で、ハーネスが「選んだアプリの画面を取得する」を使うと、そのウィンドウだけの画像を取得してモデルに渡します。
- ハーネスは画像を見て、「選んだアプリを操作する」でクリック・文字入力・キー操作・スクロールを指示します。
- Cowork は、操作の座標が直前に取得した画面のものか、対象のウィンドウが変わっていないかを確かめてから、OS に入力します。操作の後は画面を取得し直します。
OS とは次の仕組みでつなぎます。
| OS | 画面の取得 | 入力 |
|---|---|---|
| macOS 14 以降 | ScreenCaptureKit | アクセシビリティと CGEvent |
| Windows 11 | Windows Graphics Capture | UI Automation と SendInput |
-
組織の設定で「PC の操作」が許可または確認になっていることを、管理者に確かめます。
-
「機能と接続 → PC の操作」を開きます。「画面を確認する」と「クリック・文字入力」の「OS の許可を設定」を押し、OS の許可を与えます。macOS では「システム設定 → プライバシーとセキュリティ」の「画面収録とシステムオーディオ録音」と「アクセシビリティ」で Hane Cowork を許可します。
-
「確認するアプリのウィンドウ」で「ウィンドウを選ぶ」から対象を選び、「選んだ画面を確認する」を押します。選んだウィンドウだけが写っていることを確かめます。この確認では、画面をモデルへ送りません。
-
「この PC での作業に使う」を押します。この後に始める作業で、このウィンドウを画面の取得と操作に使います。
選んだウィンドウは、アプリを再起動すると引き継ぎません。再起動したら選び直してください。
- 操作するのは、選んだウィンドウだけです。対象のアプリやウィンドウが変わった場合は入力を拒否します。
- パスワードの入力欄への入力は拒否します。
- 入力は直前に取得した画面に結び付けます。古い画面の座標での入力は拒否します。
- 本人が操作を代わっている間と、作業を止めた後の入力は拒否します。
- 入力は前面のウィンドウに対して行います。本人が同じ PC を触りながら、安全に並行して作業できることはまだ保証していません。本人が別のウィンドウで行う操作の検知も未実装です。
- UAC の画面や、管理者の権限で動くアプリへの操作は迂回しません。
操作を代わる・止める
Section titled “操作を代わる・止める”画面を取得した作業では、作業の画面の右側に「ワークスペース」が開き、「PC の操作」のタブに最後に取得した画面が表示されます。
| ボタン | 動き |
|---|---|
| 自分で操作する | エージェントの入力を止め、本人が操作します |
| Hane に戻す | 本人の操作を終えて、エージェントに操作を戻します |
| 止める | 作業を止めます |
取得した画面の画像は、履歴に保存しません。