[글로벌 AI·AX 핫뉴스 21/100] 구글 Computer Use 정식 제공…화면 조작 AI의 실행 조건을 읽다

화면의 버튼을 찾고 입력할 글을 정한 뒤 다음 동작을 제안하는 AI가 개발자용 정식 도구로 들어왔다. Google의 Computer Use는 화면을 다루는 에이전트를 만드는 기능이다. 모델이 고른 동작이 실제 클릭이나 입력으로 이어지는 순간에는 이를 실행하는 프로그램과 사용자의 권한이 함께 작동한다. 이번 변화의 의미도 그 연결에서 드러난다.

뉴스｜Computer Use 도구, 두 API에서 정식 제공

Google은 10월 30일 개발자 변경 기록에 Computer Use 도구의 정식 제공을 알렸다. 적용 경로는 Interactions API와 GenerateContent API다. 6월 24일에는 Gemini 3.5 Flash에서 공개 미리보기 지원을 발표했다. 이번 소식은 도구의 제공 단계가 바뀐 것으로, 일반 이용자의 Gemini 앱에 자동 조작 기능이 일괄 추가됐다는 발표와는 범위가 다르다.

현재 도구 안내의 지원 모델은 Gemini 4 Argon, Gemini 3.8 Flash, Gemini 3.5 Flash-Lite와 Gemini 3 Flash Preview다. Google은 이 가운데 3.8 Flash를 권장 모델로 안내한다. 지원 목록에 미리보기 모델도 포함돼 있어 도구의 정식 제공과 개별 모델의 제공 상태를 각각 읽어야 한다.

조작 대상은 브라우저·모바일·데스크톱 환경으로 구분한다. 모바일 동작은 Android에 맞춰 안내한다. 개발자가 화면과 동작을 연결하는 실행 환경을 구현하는 방식이며, 이용자가 앱을 설치하면 모든 기기가 같은 방식으로 움직이는 완제품 서비스는 아니다.

배경｜모델의 동작 제안과 프로그램의 실행이 이어지는 구조

Computer Use에서는 현재 화면을 보내면 모델이 클릭·스크롤·문자 입력 같은 동작을 반환한다. 실행 프로그램이 이를 수행하고 새 화면을 다시 보내 다음 동작을 받는다. 화면을 읽는 응답과 실제 조작이 반복해서 연결되는 구조다.

6월 24일 Google의 소개 글은 기존 Gemini 2.5의 별도 Computer Use 모델에서 Gemini 3.5 Flash 안으로 기능을 통합했다고 설명했다. 화면 조작을 주력 모델의 다른 도구와 함께 쓰는 방향으로 바뀐 것이다. 이 통합의 경과와 10월 30일 도구의 정식 제공을 연결하면, 이번 발표가 어디에서 출발해 어느 단계에 도달했는지 드러난다.

Interactions API는 대화와 도구 호출·결과를 실행 단계로 담는다. 이전 상호작용의 식별자로 대화를 이어갈 수 있지만 도구나 시스템 지침 같은 설정은 각 요청에 다시 지정해야 한다. 대화가 이어진다는 사실만으로 모든 실행 조건이 자동 승계되는 것은 아니라는 뜻이다. 어떤 설정으로 나온 동작인지가 결과를 해석하는 단서가 된다.

쟁점｜작업 한 건의 비용은 클릭 횟수만으로 정해지지 않는다

가격표의 Computer Use 항목은 무료 등급에서 제공하지 않으며 유료 등급에서는 선택 모델의 일반 토큰 요금을 적용한다고 명시한다. 권장 모델인 Gemini 3.8 Flash의 Standard 요금은 100만 토큰당 입력 0.75달러, 사고 토큰을 포함한 출력 3.75달러다. 이 금액은 2026년 12월 31일까지이며 2027년 1월 1일부터 각각 1.50달러와 7.50달러로 안내된다.

작업은 화면을 다시 읽고 다음 동작을 정하는 여러 요청으로 이어진다. 따라서 토큰 단가와 작업 한 건의 총비용은 구분해서 볼 항목이다. 같은 목표를 끝내기까지 몇 번의 호출과 재시도가 있었는지, 최종 상태가 요청과 맞는지가 비용 해석에 들어간다. 공개 단가만으로 국내 인건비 대체나 처리 시간 절감을 계산할 근거는 없다.

운영량에도 별도 조건이 있다. 호출 한도 문서는 분당 요청 수, 분당 입력 토큰, 하루 요청 수 등을 각각 적용하며 한도는 API 키가 아닌 프로젝트 단위라고 설명한다. 어느 한도를 넘겨도 오류가 발생할 수 있다. 여러 사용자가 같은 프로젝트를 쓰는 서비스에서는 개별 작업의 성공과 전체 요청량의 수용 범위를 함께 읽게 된다.

한국 영향｜API 접근 지역과 업무 화면의 적합성은 다른 기준

Gemini API와 Google AI Studio의 지원 지역 목록에는 한국이 포함된다. 국내 개발자가 접근 조건을 검토할 수 있는 공식 근거다. 다만 이 목록은 서비스 제공 지역을 설명한다. 한국어로 구성된 모든 업무 화면의 조작 정확성이나 국내 소프트웨어 전반의 호환성을 보증하는 자료로 확대할 수는 없다.

버튼을 찾았는지와 의도한 데이터가 최종 저장됐는지는 서로 다른 결과다. 별도 Google Cloud의 Computer Use 안내도 목표나 화면을 잘못 해석해 다른 버튼을 누를 위험을 설명한다. Cloud에서는 조직 관리자가 개발자의 일부 승인 설정 해제를 제한하는 정책도 제공한다. 이는 Cloud 쪽의 관리 경로다. 개발자 API 접근과 조직 차원의 통제를 같은 조건으로 간주할 수 없는 이유다.

허용되는 사용의 경계도 있다. Google의 생성형 AI 이용 정책은 법적으로 필요한 동의 없는 개인정보 이용과 타인의 권리 침해를 금지한다. 고위험 영역에서 사람의 감독 없이 권리에 중대한 불이익을 주는 자동 결정도 제한한다. 컴퓨터를 조작할 수 있다는 기술 범위가 그 컴퓨터로 처리하는 업무의 허용 범위를 대신 정하지 않는다.

대응｜승인 신호와 기록의 보관·공유를 나눠 읽는다

Computer Use의 안전 응답은 허용·사용자 확인 필요·차단으로 나뉜다. 확인이 필요하면 실행 프로그램이 사용자 승인을 받고 결과에 이를 반영하는 절차를 안내한다. 화면 속 악의적 지시를 찾는 탐지는 선택 기능이며 기본값은 꺼짐이다. 안전 기능의 존재와 실제 설정·실행 처리는 함께 살펴볼 조건이다.

기록의 보관도 실행과 별도로 설정된다. Interactions API 문서는 기본 저장을 안내하고 유료 등급의 보관 기간을 55일로 설명한다. 저장을 끌 수 있지만 그러면 백그라운드 실행과 이전 상호작용 식별자를 통한 후속 대화에 제약이 생긴다. 기록을 남기는 편의와 상태를 이어 쓰는 방식이 같은 설정에 연결돼 있어, 저장 여부는 기능 선택의 일부가 된다.

로그 정책은 프로젝트 안의 기록과 Google에 공유하는 자료를 구분한다. 결제가 활성화된 프로젝트의 로그는 기본적으로 제품 개선에 쓰이지 않지만, 개발자가 데이터셋을 공유하면 별도 데이터 이용 조건이 적용되고 사람 검토자가 처리할 수 있다. 로그에는 요청·응답과 메타데이터가 담긴다. 화면 조작 AI의 운영을 읽을 때도 무엇이 실행됐는지에 더해 어떤 기록이 어디에 남고 누구에게 제공되는지가 판단의 범위로 이어진다.

Computer Use의 정식 제공은 화면을 통한 AI 동작을 개발하는 경로를 구체화했다. 업무에서 평가할 대상은 움직인 커서만이 아니다. 요청한 일이 어떤 권한과 설정으로 실행됐고, 최종 결과와 기록이 어떻게 남았는지까지 연결할 때 자동화의 실제 범위가 보인다.

글로벌 AI·AX 핫뉴스 연재 모아보기 →