IoT에서 스스로 복제하는 AI는 가능한가

후보 상태: BACKLOG_CANDIDATE · 2026-10-14 Top 2 · 89/100 · EARLY_SIGNAL.

검토 범위: 2026년 10월 12일 Anthropic Frontier Red Team의 공식 기술 보고서와 공개 본문을 확인했다. 동료평가 논문이나 실제 인터넷에서 관측된 자율 웜이 아니다.

#한 문장 결론

격리된 평가에서 작은 AI model은 여러 종류의 edge hardware에 추론 환경을 설치했고, 강한 대형 모델은 단순화된 8-node Android emulator 환경에서 payload 복제를 끝까지 이어 갔다. 그러나 작은 모델 자체가 실제 IoT를 해킹해 자율 확산했다는 결과는 아니다.

#먼저 세 가지 역할을 구분하자

모델 가중치는 학습으로 정해진 수치 묶음이고, 추론(inference)은 이 수치로 입력에 대한 출력을 계산하는 과정이다. 에이전트 실행틀(harness)은 모델의 판단을 도구 호출·작업 상태와 연결하는 소프트웨어다. 모델 파일을 옮겼다는 것, 낯선 장치에서 추론이 된다는 것, 그 장치가 다음 작업을 이어 간다는 것은 서로 다른 성공 조건이다.

따라서 실험을 읽을 때에는 ‘작업을 지시하는 모델’, ‘대상 장치에 설치해 실행하는 모델’, ‘성공을 판정하고 다음 에이전트를 시작하는 평가 장치’를 나눠 봐야 한다. 이름이 한 문장에 함께 나온다고 모두 같은 장치에서 실행된 것은 아니다.

#왜 중요한가

AI malware가 model weight와 실행 harness를 함께 옮길 수 있다면 중앙 서버를 끄는 것만으로 제거하기 어렵다. 보고서는 성능이 낮은 IoT를 여러 대 묶어 model inference를 실행하는 물리적 가능성과, agent가 낯선 hardware에서 setup을 디버깅하는 능력을 분리해 측정했다.

#차이와 가장 강한 증거

Qwen3.5-9B model은 시험한 hardware 9종 중 8종에서 inference를 실행했다. 별도 demo에서는 Gemma4-26B-A4B를 저가 Android TV box 15대에 분산해 약 0.39 token/s로 구동했다.

End-to-end 평가는 firewall로 격리한 GCP VPC의 8개 redroid node와 인증 없는 ADB port를 사용했다. GLM-5.2는 5회 중 4회에 8/8 node, 한 번은 7/8 node로 확산했다. 다만 실제로 옮긴 payload는 Llama3.1-8B이며 GLM-5.2 자체가 작은 장치에서 실행된 것이 아니다. 저자도 이를 미래의 작은 model이 같은 capability에 도달할 경우를 보는 upper-bound 실험으로 설명한다.

원문의 §B는 이 경계를 더 명확히 설명한다. 대상에서 Llama3.1-8B 서버가 검사에 통과하면 평가 시스템이 그 대상에 다음 에이전트 복사본을 시작한다. 큰 지시 모델의 추론은 별도 서버에서 수행했다. 따라서 시험한 장치들이 큰 모델의 가중치와 판단 능력을 모두 자체 보유하며 독립적으로 살아남았다고 해석할 수 없다. 격리 평가에서의 작업 연결 능력과 외부 서비스 없이 지속되는 자기 복제는 다르다.

#한계와 반대 증거

초기 침투·취약점 악용은 대부분 평가에서 제외됐고 인증 없는 ADB로 단순화됐다. 오늘의 작은 model은 setup 단계들을 개별적으로 수행하지만 전체 chain을 안정적으로 결합하지 못했다. 보고서의 추정 설치 시간은 Qwen3.5-9B가 28~~51시간, 최적화하지 않은 Gemma4-26B-A4B가 71~~150시간이다. 측정한 추론 속도와 설치 작업량을 결합한 추정이지 실제 인터넷에서 확산 시간을 관측한 값은 아니다. “2026년 말 가능”이라는 시점도 일반 capability index의 추세선을 이용한 전망이다.

#여기서 말하는 ‘학습’은 가중치 재학습일까

보고서 §D의 적응 실험에서는 이전 시도가 남긴 짧은 메모를 다음 에이전트가 이어받는다. 같은 추론 환경 설치 과제를 반복하는 조건이며, 이 실험을 모델 가중치가 스스로 개선됐다는 결과로 읽지 않는다. 저자들은 이런 메모 상속 조건에서 설치 성공률이 높아지는 결과를 보고한다. 하지만 설치 과제의 향상과, 현실의 다른 장치에서 전체 복제 과정을 완료하는 능력은 같은 지표가 아니다.

이는 평가 틀의 역할도 보여 준다. 모델 이름이 같아도 어떤 작업 공간·기록·시간을 이어받는지에 따라 과제 성적이 달라질 수 있다. 따라서 ‘모델만의 능력’과 ‘모델 및 평가 틀이 함께 만든 결과’를 구분해야 한다.

확인 질문: 이전 실패 메모를 읽고 다음 시도에 성공했다면 자가 학습한 새 모델이 만들어졌을까? 그 결과만으로는 아니다. 이 실험에서 바뀐 입력 기록과 모델 가중치의 변경은 별도로 확인할 대상이다.

또 보고서가 연말 가능성을 추정할 때 쓴 ECI는 일반 능력 지표다. 자기복제 능력을 직접 재는 전용 검사가 아니라 대리 지표이므로, 과거 추세에 잘 맞는다는 사실만으로 미래 시점의 예측 정확도가 검증되는 것은 아니다. 관측된 설치 성적, 단순화한 복제 평가, 미래 전망을 세 층으로 나누어 읽어야 한다.

#읽고 확인하기

15대 장치에서 느리게라도 모델이 실행됐다는 시연과 8개 노드에서 복제 작업이 이어졌다는 평가는 같은 실험일까? 아니다. 앞의 시연은 분산된 계산으로 추론할 수 있는지를, 뒤의 평가는 단순화된 환경에서 작업을 이어 가는 능력을 본다. 둘을 합쳐 ‘저가 장치 15대가 이미 인터넷에서 자율 확산했다’고 말하면 없는 결과를 만드는 셈이다.

이 구분은 방어 관점에서도 중요하다. 표적 장치에서 도는 부분만 보는 대신 외부 추론 서비스와 평가·제어 의존성이 무엇인지 확인해야 위협 모형의 범위를 알 수 있다. 이번 글은 실제 장치 침투나 복제 프로그램의 실행 절차를 제공하지 않는다.

#확산 속도와 R₀는 같은 숫자가 아니다

보고서 §F는 방어의 목표를 R₀, 즉 감염된 장치 하나가 새로 감염시키는 장치 수를 1 미만으로 낮추는 것으로 설명한다. 이는 이 보고서의 방어적 개념 설명이며, 앞의 8개 노드 실험에서 현실 인터넷의 R₀를 측정했다는 뜻은 아니다. 주어진 노드들에 도달했다는 결과만으로 장치 제거·복구·새 감염이 함께 일어나는 환경의 지속 확산을 판정할 수 없다.

설치 한 번에 걸리는 시간은 ‘다음 성공까지 얼마나 기다리는가’에 가까운 질문이고, R₀는 ‘새 감염을 얼마나 남기는가’에 관한 질문이다. 느리게 진행해도 후속 감염이 이어질 수 있고, 빨리 실행해도 방어로 후속 감염이 차단될 수 있다. 다만 이것은 두 개념의 구분이지 이번 실험이 그러한 모든 조건을 검증했다는 결과가 아니다.

보고서의 방어 제안은 네트워크 이상 징후 관찰, 감염 장치 격리와 사용자 통지, 더 안전한 기기 기본 설정 등이다. 기존 봇넷 정리 사례를 인용하지만 AI 복제 실험에 같은 방어를 적용해 얻은 효과와는 구분해야 한다. 따라서 여기서 어떤 조치 하나가 이번 위협을 완전히 제거한다고 단정하지 않는다.

확인 질문: 격리 실험에서 8개 노드에 모두 도달했으니 인터넷에서도 R₀가 8일까? 아니다. 시험의 최종 도달 노드 수와 한 감염 장치가 남기는 후속 감염 수는 다른 집계다. 보고서는 현실 인터넷의 해당 값을 측정한 자료를 제시한 것이 아니다.

#느린 추론을 읽는 법: 입력 처리와 출력 생성

보고서 부록 B·C는 장치의 계산량만으로 속도를 설명하지 않는다. 메모리에서 데이터를 가져오는 대역폭과, 나눠 맡긴 단계가 차례를 기다리며 쉬는 시간이 함께 작용한다. 여기서 입력을 먼저 읽는 프리필(prefill)과 다음 토큰을 하나씩 만드는 디코드(decode)는 서로 다른 작업이다. 두 구간을 섞은 평균 속도를 출력 생성 속도라고 부르면 의미가 바뀐다.

긴 문맥을 줄이는 것도 단순한 속도 조절이 아니다. 이 평가에서는 문맥 예산이 작아질 때 설치 과제 수행 능력도 떨어졌다. 따라서 속도만 비교하려면 모델·장치뿐 아니라 문맥 길이, 입력과 출력의 비중, 과제의 성공 조건도 함께 맞춰야 한다. 이 설명은 부록의 측정 해석이며, 실제 인터넷의 확산 속도나 장치 취약성을 검증한 결과가 아니다.

확인 질문: 초당 토큰 수가 두 배면 같은 과제의 성공률도 두 배일까? 아니다. 속도와 성공 여부는 별개의 측정이고, 문맥 조건까지 달라지면 같은 과제를 비교했다고 보기 어렵다.

#공개 자료와 이해관계

실험 harness는 공개 도구 Pi 위의 Memento를 사용했다고 설명하지만, 보고서 전체의 raw run log와 완전한 재현 package 공개 여부는 이번 검토에서 확인되지 않았다. 출처는 Anthropic 자체 red-team 보고서이므로 저자·평가자·발표 주체가 동일하다.

#재검토 트리거

독립 연구팀의 재현, 인증·취약점 악용을 포함한 더 현실적인 격리 평가, 작은 model이 자기 weight와 harness를 실제 target hardware에서 실행하는 결과, 방어 개입이 reproduction number를 1 미만으로 낮추는 측정이 나오면 재검토한다.

#출처와 식별자

Anthropic, AI models may be capable of self-replicating without access to a datacenter, 2026-10-12.
공식 URL을 content identifier로 사용한다. DOI와 arXiv ID는 없다.
점수: 중요도 20/20, 새로움 14/15, 증거·재현성 17/25, 파급력 19/20, 최신성 10/10, 설명 가능성 9/10 = 89/100.