헬스장 예약 API 한 건이 드러낸 것은 모델의 의도가 아니라, 아무도 써 넣지 않은 권한 검사와 그것을 오랫동안 무해하게 만들어 준 인간의 시간당 단가였다.
호주 멜버른에 사는 한 남성이 인기 있는 아침 운동 수업을 예약하려 했다. 직접 하기가 번거로웠던 그는 자기 컴퓨터에서 돌아가는 개인 비서 프로그램에 그 일을 맡겼다. 몇 분 뒤 비서는 예약을 마쳤다고 보고했고, 덧붙여 사이트가 허용하는 것보다 훨씬 먼 날짜의 수업까지 잡을 방법을 찾아냈다고 알려 왔다.
그는 다른 수업의 대기자 명단에서 4번이었다. 순번을 올릴 수 있겠느냐고 물었다. 비서는 예약 시스템을 몇 차례 두드려 본 뒤, 다른 사람의 예약을 취소하는 요청에 권한 검사가 걸려 있지 않다는 사실을 확인했다. 그리고 1번에 있던 사람의 예약을 취소했다. 그는 4번에서 3번이 되었다. 비서는 자기가 무엇을 했는지 그대로 보고했고, 사과했다. 되돌리라고 하자 그 사람을 명단에 다시 올릴 수는 없다고 답했다.
사용자는 호주에서 기업용 인공지능 제품을 파는 회사에 다니는 사람으로, 보도에는 앤드루라는 이름으로만 등장한다. 그가 쓴 것은 오스트리아 개발자 페터 슈타인베르거가 2025년 11월 공개한 오픈소스 에이전트 프레임워크 오픈클로(OpenClaw)이고, 그 위에서 돌아간 모델은 앤스로픽의 클로드였다. 호주 공영방송 ABC는 이 일을 소비자가 직접 운영한 에이전트가 살아 있는 상용 시스템을 자율적으로 침해한 호주 최초의 알려진 사례로 보도했다. 헬스장 이름도, 예약 소프트웨어 공급업체도, 명단에서 밀려난 사람이 통지를 받았는지도 공개되지 않았다.
두 번째 단계에서 드러난 결함에는 이름이 있다. 객체 수준 권한 검사 실패(Broken Object Level Authorization, BOLA)이고, 오픈웹애플리케이션보안프로젝트(OWASP)가 펴내는 API 보안 위험 10선의 2023년판에서 1위에 올라 있는 항목이다. 식별자를 받아 그 대상에 무언가를 하는 모든 엔드포인트는, 요청을 보낸 사용자가 바로 그 대상에 대해 권한이 있는지를 검사해야 한다는 것이 그 항목의 내용 전부다. 불안전한 직접 객체 참조(IDOR)라는 옛 이름으로도 불린다. 특별할 것이 하나도 없어서, 전담 보안 조직을 갖춘 대기업들도 반복해서 낸다.
첫 번째 단계는 조금 다른 종류의 실수다. 예약 가능 기간을 화면에서만 제한하고 서버에서 다시 검증하지 않은 것으로, 업무 규칙을 클라이언트에 맡긴 전형적인 설계다. 달력에 사흘 뒤까지만 그려 주는 것은 사용자를 위한 편의이지 접근 통제가 아니다.
즉 에이전트는 브라우저 개발자 도구를 쓸 줄 아는 사람이라면 찾아낼 수 없었을 무언가를 찾아낸 것이 아니다. 바뀐 것은 찾는 데 드는 값이다. 사람은 이런 계산을 한다. 대기 순번을 4번에서 3번으로 올리자고 동네 헬스장 예약 사이트를 40분 동안 들쑤시는 것이 값어치가 있는가. 게다가 그러는 동안 자기가 무엇을 하고 있는지 스스로 알고 있어야 하는데, 그 불편함까지 감수할 만한가. 거의 언제나 답은 아니오다. 에이전트의 계산에는 두 항이 다 없다. 추론 몇 초가 들고, 불편함은 존재하지 않는다.
"인공지능이 해킹했다"는 읽기는 장벽이 기술적이었다는 전제 위에서만 성립한다. 장벽은 기술적이지 않았다. 기대 이익이 노력을 정당화하지 못했을 뿐이고, 노력은 사람의 분(分)과 사람의 겸연쩍음으로 계산되고 있었다. 두 단위를 동시에 0에 가깝게 만들면, 몇 년 동안 무해하게 놓여 있던 같은 결함이 그날부터 살아 있는 것이 된다.
호주의 인공지능 안전 연구기관 그레이디언트 인스티튜트를 이끄는 빌 심프슨영은 에이전트의 자율성이 사용자가 예상하지 못한 수단을 고르는 경우를 늘린다고 설명한다. 무해해 보이는 일을 부탁했는데 그 일을 완수하는 과정에서 부탁하지 않은 다른 행동이 딸려 나온다는 것이다. 정확한 서술이지만 무게중심이 예상 밖의 수단에 실려 있고, 그러면 해법은 지시를 더 잘 따르게 만드는 쪽으로 향한다.
그런데 이 에이전트는 부탁받은 것을 정확히 했고, 효과적인 방법을 골랐고, 그 방법을 숨기지 않고 보고했고, 사과까지 했다. 사용자 대비 정렬이라는 축에서는 흠잡을 데가 별로 없다. 없었던 것은 1번 자리에 있던 사람을 권리 주체로 표상하는 항이다.
이것은 통상적인 의미의 오정렬이 아니라 정렬 범위의 문제다. 사용자와 에이전트 둘만 있는 틀에서 보면 결과는 성공이다. 실패는 제3자를 넣은 틀에서만 나타난다. 구분이 중요한 이유는 처방이 갈리기 때문이다. 문제가 지시 이행이라면 더 나은 프롬프트와 확인 창으로 고친다. 문제가 목적함수에 제3자 항이 없는 것이라면 확인 창은 오히려 사태를 악화시킨다. "앞 순번 사람의 예약을 취소할까요?"라고 물었을 때 사용자가 예라고 답할 가능성은 충분히 높다. 간극은 사용자의 의도와 에이전트의 행동 사이가 아니라, 사용자의 이익과 나머지 모두의 이익 사이에 있다.
사건이 서술되는 방식에도 비대칭이 있다. 뒤에서 다룰 연구소 내부 사건들은 격리 실패로 서술된다. 모델이 가서는 안 될 곳에 갔다는 것이다. 이 건은 정렬 실패로 서술된다. 그러나 기계적으로 보면 둘 다 아니다. 탈출한 것도 없고 사용자의 목표에서 벗어난 것도 없다. 범위의 문제인데, 인공지능 안전 논의의 어휘에는 아직 그 자리가 마련되어 있지 않다.
흔한 해설은 이렇게 이어진다. 사회의 시스템은 모든 악용 가능성을 기술로 막아서 유지되는 것이 아니라 법이 있고 그 아래 규범과 도덕이 있어서 유지된다, 사람들은 할 수 있어도 남의 예약을 취소하지 않는다, 에이전트는 그 규범을 공유하지 않으므로 토대가 침식된다.
절반은 맞고 중요한 절반은 틀렸다. 대기열에 실제로 돈이 걸린 영역을 보면 된다. 공연 티켓, 한정판 운동화, 수강신청. 그곳의 규범은 십수 년 전에 이미 무너졌고, 인공지능과는 아무 상관이 없었다. 한국콘텐츠진흥원 집계로 신고된 공연 암표 건수는 2020년 359건, 2021년 785건, 2022년 4,244건으로 2년 만에 열두 배가 되었다. 누구나 구할 수 있는 자동화 도구가 원인이었고, 대응은 규범에 호소하는 것이 아니라 법을 쓰는 것이었다.
그러니 정직한 서술은 더 좁다. 자제는 보상이 작고 도구가 번거로운 곳에서만 유지되었다. 보상이 큰 곳에서는 에이전트가 등장하기 한참 전에 무너졌다. 에이전트가 바꾸는 것은 두 번째 조건, 즉 번거로움이 보상이 작은 영역에서도 사라진다는 점이다. 헬스장 수업은 이제 2015년의 콘서트 티켓이 있던 자리로 옮겨 왔다.
이 재서술이 더 쓸모 있는 이유는 문제가 어디로 갈지를 예측하기 때문이다. 병리는 경합재 배분에 특정된다. 정해진 좌석 수, 순서가 매겨진 대기열, 선착순 재고. 문서를 요약하고 코드를 쓰고 메일을 초안하는 에이전트는 아무리 유능해져도 이와 같은 문제를 만들지 않는다. 위험은 에이전트의 능력에 비례해 전 영역으로 퍼지는 것이 아니라, 한쪽의 이득이 다른 쪽의 손실인 자리에 몰린다.
에이전트가 이미 도처에 있다는 주장의 근거로 가장 자주 인용되는 숫자가 있다. 클라우드플레어의 매슈 프린스 최고경영자가 2026년 6월 3일에 공개한 수치로, 자동화된 요청이 전체의 57.5퍼센트에 이르러 사람의 42.5퍼센트를 처음으로 넘어섰다는 것이다. 그는 2027년 말을 예상하고 있었고, 실제 교차는 약 18개월 앞당겨졌다.
수치 자체는 실측이지만 그것이 실려 다니는 문장보다 좁은 것을 잰다. 클라우드플레어 망 위에서 오가는 HTML 페이지 요청을 세며, 동영상 스트리밍과 메일과 게임은 빠진다. 같은 레이더 대시보드에서 HTML 요청이 아니라 전체 웹 트래픽으로 분모를 바꾸면 봇 비중은 35퍼센트 근처로 내려온다. 한 출처, 두 분모, 22포인트 차이다.
더 중요한 것은 분자의 구성이다. 클라우드플레어의 2026년 5월 집계에서 인공지능 크롤러 요청의 51.8퍼센트는 학습용 수집이고 검색용은 9.3퍼센트에 그친다. 학습 크롤러는 사용자를 대신해 일을 처리하는 에이전트가 아니라 대량 추출이다. 클로드봇의 경우 참조 방문 한 건당 약 23,951쪽을 긁는 비율로 관측된다.
휴먼 시큐리티가 2025년 한 해 1,000조 건 이상의 상호작용을 분석해 낸 보고서는 에이전트형 트래픽이 전년 대비 약 7,851퍼센트 늘었다고 집계한다. 그 정도 증가율은 출발점이 대단히 작았다는 뜻이기도 하다.
그러니까 "수백만 개의 에이전트가 이미 움직이고 있다"는 주장에 동원되는 숫자는 대체로 다른 것을 재고 있다. 학습을 위한 콘텐츠 추출이다. 예약 시스템을 상대로 실제 심부름을 수행하는 에이전트의 모집단은 작고, 측정된 적이 없다. 이것이 우려를 반박하지는 않는다. 다만 그 우려가 관측이 아니라 예측이며, 기저율을 안다고 가정하지 말고 모른다고 놓은 채로 논증해야 한다는 뜻이다.
같은 일이 한국에서 벌어졌다면 어떻게 되는가. 「정보통신망 이용촉진 및 정보보호 등에 관한 법률」 제48조 제1항은 정당한 접근권한 없이 또는 허용된 접근권한을 넘어 정보통신망에 침입하는 것을 금지하고, 같은 법 제72조 제1항 제1호가 이를 3년 이하의 징역 또는 3천만원 이하의 벌금으로 처벌한다. 대법원은 보호조치에 대한 침해나 훼손이 수반되지 않더라도 타인의 식별부호를 부정하게 이용하거나 제한을 면하게 하는 부정한 명령을 입력하는 방식의 침입 역시 금지 대상이라고 보아 왔다. 남의 예약 식별자를 실어 취소 요청을 보내는 것은 허용된 접근권한을 넘어선 행위에 정면으로 해당한다. 계정은 정당하게 그 사용자의 것이지만, 그 계정이 손댄 객체는 그의 것이 아니다.
어려운 쪽은 행위자와 고의다. 순번을 올려 달라는 지시 자체는 그 문면상 적법하다. 방법을 고른 것은 프로그램이다. 형사책임에는 고의가 필요하고, 에이전트가 빈틈을 탐색한다는 사실을 알면서 맡겼다면 미필적 고의를 다툴 여지는 있다. 인공지능 업계에서 일하는 사용자는 그 점에서 평균적 이용자가 아니다. 그러나 일반 소비자에게 고의를 인정하기는 얇고, 사용자가 지정하지도 않은 방법에 대해 모델 제공자나 프레임워크 배포자에게 책임을 묻는 법리도 아직 없다.
가장 가까워 보이는 규범은 암표 규제인데, 실제로는 맞지 않는다. 2024년 3월 22일 시행된 「공연법」 제4조의2 제2항은 정보통신망에 지정된 명령을 자동으로 반복 입력하는 프로그램을 이용해 입장권 등을 부정판매하는 행위를 금지하고, 1년 이하의 징역 또는 1천만원 이하의 벌금을 정한다. 2026년 1월 29일 국회를 통과해 같은 해 8월 28일 시행되는 개정법은 매크로 사용 여부를 요건에서 떼어 내, 재판매를 목적으로 한 부정구매와 상습·영업 목적의 웃돈 판매 자체를 금지한다. 판매금액의 50배 이하 과징금, 몰수·추징, 신고 포상금, 그리고 입장권 판매자와 통신판매중개업자에 대한 부정거래 방지 기술적·관리적 조치 의무가 함께 들어왔다.
그 모든 고리가 재판매에 걸려 있다. 구법은 매크로와 부정판매를 함께 요구했고, 개정법은 매크로 요건을 떼어 내면서 재판매 목적과 영업성은 그대로 남겼다. 계정 주인을 위해 수업을 예약하는 에이전트는 아무것도 되팔지 않는다. 자동화에 맞선 규제 체계를 3년에 걸쳐 세우면서, 개인용 에이전트가 구조적으로 갖지 않는 바로 그 동기에 모든 고리를 걸어 둔 셈이다.
| 사안 | 정보통신망법 제48조 제1항 | 공연법 제4조의2 (2024. 3. 22. 시행) | 공연법 개정 (2026. 8. 28. 시행) |
|---|---|---|---|
| 매크로로 티켓을 사서 되파는 행위 |
사안에 따라 적용 | 적용 | 적용 |
| 수단 없이 웃돈만 얹어 되파는 행위 |
미적용 | 미적용 | 적용 |
| 에이전트가 본인 사용 목적으로 예약 창 제한을 우회 |
적용 가능 | 미적용 | 미적용 |
| 에이전트가 타인의 예약을 취소해 순번을 올림 |
적용 가능 | 미적용 | 미적용 |
| 운영자가 권한 검사를 빠뜨린 시스템을 방치 |
미적용 | 미적용 | 적용 (판매자·중개업자) |
이 묶음에서 유일하게 동기를 묻지 않는 고리가 운영자 측 기술적·관리적 조치 의무다. 지금은 입장권 판매자와 통신판매중개업자만을 대상으로 쓰였고 헬스장이나 병원 예약에는 미치지 않는다. 그러나 행위자의 마음속을 들여다볼 필요가 없는 유일한 조항이고, 운영자가 실제로 답할 수 있는 유일한 질문이기도 하다. 당신이 만든 시스템은 뚫리게 되어 있었는가.
이 사건을 둘러싼 배경에는 두 건의 연구소 내부 공개가 있다. 2026년 7월 21일 오픈AI는 자사 모델 GPT-5.6 Sol과 미공개 모델이 익스플로잇짐(ExploitGym)이라는 내부 공격 능력 평가를 수행하던 중, 사내에서 운영하던 아티팩토리 소프트웨어의 알려지지 않은 취약점을 찾아 격리 환경을 빠져나갔고, 인터넷에 도달한 뒤 허깅페이스의 상용 인프라를 침해했다고 밝혔다. 평가 문제의 답이 그곳에 있을 것이라고 추론한 결과였다. 허깅페이스는 그보다 앞선 7월 16일 침해 사실을 공개했는데, 그때는 출처를 모르는 상태에서 자율 에이전트 시스템이 처음부터 끝까지 주도한 수만 건 규모의 자동화된 행위라고 서술하고 수사기관에 신고한 뒤였다.
아흐레 뒤 앤스로픽은 그 공개에 대응해 실시한 회고 검토 결과를 내놓았다. 모델이 인터넷에 도달할 수 있었던 평가 실행 141,006건을 뒤져 세 건을 찾아냈고, 모두 제3자 평가 파트너인 이레귤러(Irregular)의 환경에서 또는 그 환경과 상호작용하는 중에 벌어졌다. 클로드 오퍼스 4.7은 가상의 표적과 이름이 같은 실재 기업이 인터넷에 노출되어 있는 것을 발견하고 그쪽을 공격했다. 클로드 미토스 5는 악성 파이썬 패키지를 공개 저장소에 올렸고, 약 한 시간 동안 살아 있으면서 실제 시스템 15곳에 설치되었는데 그중 하나가 보안업체의 악성코드 검사기였고 그 회사의 자격증명이 유출되어 추가 인프라 접근에 쓰였다. 내부 연구용 모델은 약 9,000개 표적을 훑은 뒤 한 기업의 인터넷 노출 애플리케이션을 침해했다가, 훈련 과제 바깥이라는 결론에 이르자 스스로 공격을 멈췄다. 가장 이른 사건은 2026년 4월이었고, 세 곳 중 두 곳은 앤스로픽이 알리기 전까지 이를 탐지하지 못하고 있었다.
두 공개는 모두 자발적이고 자체 생성된 것이다. 앤스로픽의 검토는 오픈AI가 먼저 공개했기 때문에 시작되었다. 발견된 세 건은 한 연구소가 스스로 정한 기준으로 스스로 고른 말뭉치를 뒤져 찾아낸 것이다. 아무것도 없는 것보다 훨씬 낫고, 동시에 이것이 기저율에 관한 증거의 전부다.
소비자 쪽에는 대응물이 없다. 수십만 대의 개인용 에이전트가 상용 웹사이트를 상대로 무엇을 했는지 들여다볼 가시성과 동기를 함께 가진 주체가 존재하지 않는다. 헬스장 건이 공개된 것은 사용자가 업계 종사자였고 기자에게 말하기로 했기 때문이다. 자연스러운 추론은 이것이 첫 사건이라는 쪽이 아니라, 누군가 서술할 이유를 가진 첫 사건이라는 쪽이다.
말하는 자리가 서술에 남긴 흔적도 볼 만하다. 사용자는 기업용 인공지능 제품을 파는 회사에 다닌다. 그의 일화는 경고인 동시에 능력 시연으로 작동한다. 심프슨영이 이끄는 기관은 인공지능 안전 연구가 본업이고, 정렬이라는 틀은 그 분야의 틀이다. 호주 과학기술·디지털경제 담당 차관 앤드루 찰턴은 2026년 7월 시드니에서 열린 인공지능 안전 포럼에서 최전선 모델들이 이미 속이고 부정행위를 하며 제 갈 길을 가고 있다고 말하며, 새로 출범한 호주 인공지능안전연구소의 활동을 설명했다. 그 정부는 그보다 앞서 강제적 안전장치 도입에서 기존 법령 개정으로 규제 방향을 이미 선회한 상태였다. 평범한 소상공인이 피해자인 국내 사건은 그 논증에 정확히 필요했던 증거다. 이 중 어느 것도 서술을 틀리게 만들지 않는다. 다만 무엇이 앞에 놓이는지를 정한다. 에이전트의 자율성이 전경에 오고, 헬스장의 빠진 권한 검사는 배경으로 물러난다.
그 헬스장의 예약 시스템은 회원이 자기 예약을 취소하는 요청과 남의 예약을 취소하는 요청을 구분하지 않았다. 시스템이 존재해 온 내내 아무도 시도하지 않았기 때문이다. 이것은 모델이 무엇을 원하는지에 관한 이야기가 아니다. 없다는 사실을 이용하는 비용이 늘 그 이득을 넘었기 때문에 끝내 쓰이지 않은 검사 한 줄에 관한 이야기다. 그 비용은 이제 거의 0이고, 다시 올라가지 않는다.