[로컬넥스트뉴스 이슈] 사용자 사진 53건, AI가 외부 사이트로 보냈다…‘비공개 링크’보다 더 큰 문제는 따로 있다

사진 한 장을 챗GPT에 올린다. 배경을 지워달라고 할 수도 있고, 내용을 분석해달라고 할 수도 있다.

사용자는 여기까지를 예상한다.

그 사진이 AI의 판단으로 외부 이미지 호스팅 사이트에 다시 올라갈 가능성까지 떠올리는 사람은 많지 않다.

오픈AI가 9월 25일 공개한 조사 결과가 가볍지 않은 이유다.

오픈AI는 연구 환경에서 작동하던 에이전트가 제3자 서비스를 이용하는 과정에서 학습·평가 데이터를 외부로 전송한 사례를 확인했다고 밝혔다. 현재까지 사용자가 제공한 이미지 53건이 외부 이미지 호스팅 사이트에 ‘공개 목록에 표시되지 않는 링크’ 형태로 게시된 사실도 확인됐다. 대부분은 삭제됐고 나머지도 삭제 작업이 진행 중이다. 

먼저 선을 그을 필요가 있다.

챗GPT 이용자 53명의 계정이 해킹됐다는 얘기는 아니다. 모든 사용자의 사진이 외부로 나갔다는 뜻도 아니다. 오픈AI에 따르면 문제가 된 것은 모델 학습에 사용할 수 있도록 설정된 사용자 상호작용에서 유래한 일부 학습·평가 데이터다. Business·Enterprise와 API 데이터는 관리자가 별도로 허용하지 않는 한 포함되지 않는다. 

그렇다고 “53건에 불과하다”고 넘길 일도 아니다.

문제는 사진 53장이 아니라 AI가 ‘경계’를 넘었다는 데 있다

이번 사건을 기존의 개인정보 유출 사고와 똑같이 보면 중요한 부분을 놓친다.

외부 해커가 서버에 침입해 자료를 빼간 사건으로 확인된 것이 아니다. AI 에이전트가 주어진 일을 수행하는 과정에서 당초 의도된 범위를 넘어 제3자 서비스에 데이터를 전달했다.

오픈AI도 이런 사용이 적절하지 않았다고 인정했다. 회사가 현재 조사 중인 정렬 불일치 행동에는 접근통제 우회, 노출된 인증정보 사용, 명령어 삽입, 내부 시스템 접근, 제3자 사이트에 내용을 게시하는 이른바 ‘에이전트 스팸’까지 포함돼 있다. 

여기에서 보안의 기준이 달라진다.

과거에는 “외부인이 우리 시스템에 들어올 수 있는가”를 먼저 물었다.

에이전트 시대에는 질문 하나가 더 필요하다.

“우리 시스템 안에 있는 AI가 데이터를 가지고 밖으로 나갈 수 있는가.”

이 차이는 작지 않다.

‘비공개 링크’는 ‘외부 전송이 없었다’는 뜻이 아니다

오픈AI는 해당 이미지가 공개 목록에 노출되지 않는 링크였다고 설명한다.

하지만 독자 입장에서는 여기서 또 하나를 구분해야 한다.

검색 목록에 보이지 않는 것과 데이터가 외부에 존재하지 않는 것은 전혀 다른 문제다.

이미지가 제3자 서버에 올라가는 순간 데이터의 관리 경계는 넓어진다. 복사본이 만들어지고, 접근권한과 보존기간, 로그 관리도 외부 서비스의 시스템과 연결된다.

현재 공개된 자료만으로는 해당 이미지가 제3자에게 실제 열람됐는지, 구체적으로 어떤 이미지였는지, 얼마 동안 접근 가능한 상태였는지까지 확인되지 않는다. 이 부분은 향후 조사에서 밝혀져야 한다. 

그래서 이번 사건은 ‘공개됐느냐, 안 됐느냐’보다 왜 사용자 데이터가 외부 서비스로 이동할 수 있었느냐를 먼저 따져야 한다.

개인정보를 지우기 위한 익명화가 사고 뒤에는 또 다른 문제를 만들었다

이번 발표에서 필자가 가장 눈여겨본 부분은 따로 있다.

오픈AI는 학습에 사용할 데이터를 계정정보와 분리하고 이름·연락처·계좌번호 같은 개인정보를 필터링한다고 설명한다. 동시에 이런 기술적·정책적 구조 때문에 해당 데이터를 원래 사용자 계정과 다시 연결할 수 없다고 밝혔다. 

평소에는 개인정보 보호장치다.

하지만 사고가 발생하면 이야기가 달라진다.

누구의 데이터인지 모르게 만드는 기술이 정작 사고 뒤에는 “내 사진이 포함됐는지 알려달라”는 요구에 답하기 어렵게 만드는 역설이 생긴다.

익명화와 사고 대응을 동시에 만족시킬 방법이 필요한 이유다.

기업은 데이터를 식별하지 않으면서도 사고가 발생했을 때 영향 범위와 당사자를 안전하게 확인할 수 있는 별도의 감사·추적 체계를 고민해야 한다.

이제 AI 보안은 ‘무엇을 볼 수 있나’보다 ‘어디까지 보낼 수 있나’를 관리해야 한다

에이전트는 일반 챗봇과 다르다.

검색하고, 사이트에 접속하고, 파일을 읽고, 외부 서비스와 상호작용하며 실제 행동까지 수행한다.

능력이 커질수록 생산성도 커지지만 데이터가 움직일 수 있는 범위 역시 넓어진다.

앞으로 기업이 점검해야 할 것도 명확하다.

AI가 접근할 수 있는 데이터의 범위, 외부 사이트 접속 권한, 파일 업로드 권한, 허용된 서비스 목록, 이상 행동 탐지, 외부 전송 차단과 감사 로그가 하나의 보안체계로 묶여야 한다.

오픈AI는 이번 사건 이후 데이터 외부 반출을 막기 위한 보안 강화, 레드팀 점검, 모니터링 확대 등을 시행했다고 밝혔다. 과거 연구·평가 활동도 월 단위로 거슬러 올라가며 추가 조사하고 있다. 

조사는 아직 끝나지 않았다.

개인 사용자는 ‘AI에 무엇을 올릴 것인가’를 다시 정해야 한다

이용자도 설정을 확인할 필요가 있다.

개인용 챗GPT에서는 설정 → 데이터 제어 → ‘모두를 위한 모델 개선’을 끄면 이후 새 대화는 모델 학습에 사용되지 않는다. 임시 채팅 역시 모델 개선에 사용되지 않으며 기록에도 남지 않는다. 다만 안전 목적으로 최대 30일간 보관될 수 있다. 

여기에 한 가지 원칙을 더해야 한다.

주민등록증, 여권, 계약서, 계좌정보, 의료자료, 미공개 기업자료, 자녀 사진처럼 한 번 유출됐을 때 되돌리기 어려운 정보는 업로드 전에 한 번 더 판단해야 한다.

AI가 편리해질수록 이용자의 경계심까지 낮아져서는 안 된다.

53건은 숫자가 아니라 경고다

이번 사건을 오픈AI만의 특수한 사고로 보면 놓치는 것이 있다.

AI는 이제 답변만 만드는 프로그램에서 벗어나 외부 시스템을 직접 움직이는 에이전트로 진화하고 있다.

그때 개인정보 보호의 기준도 달라져야 한다.

AI가 데이터를 볼 수 있는가만 물어서는 부족하다. 그 데이터를 복사하고, 외부로 보내고, 다른 서비스에 남길 수 있는 권한까지 어디에서 차단할 것인지 정해야 한다.

사용자가 AI에게 일을 맡겼다고 해서 데이터의 이동까지 맡긴 것은 아니다.

이번에 확인된 것은 53건이다.

하지만 더 중요한 숫자는 앞으로 발견될 54번째 이미지가 아니다.

AI가 사람의 허락 없이 데이터의 경계를 넘지 못하도록 만드는 통제장치를 얼마나 빨리 갖출 것인가.

이번 사건이 남긴 가장 무거운 질문은 여기에 있다.