AI가 스스로 움직이는 시대에 ‘멈춤 버튼’은 어디에 달려 있어야 할까요? 마이크로소프트 CEO 사티아 나델라가 10월 10일 토요일 아침 X에 올린 글에서 그 답을 내놨어요.
나델라는 AI의 신뢰 구조를 처음부터 다시 따져 볼 때라고 썼어요. TechCrunch 보도에 따르면 그는 슈퍼 인텔리전스(Super Intelligence)를 겹겹이 쌓인 블랙박스로 보고 답과 행동을 받아들일지 거절할지만 정하는 방식으로는 안 된다고 했어요. 대신 모델과 그 작업을 지휘하는 하니스(harness)를 나누고 통제와 안전장치를 모델 밖에 두자는 제안이에요.
모델이 하는 의미 있는 행동마다 사람이 읽을 수 있고 조작할 수 없는 기록을 남겨야 한다고도 했어요. 권한 있는 사람은 작업 도중에도 모델을 멈추거나 끌 수 있어야 하고요. 출발점은 “모델이 뚫렸다고 가정하고 처음부터 가둬야 한다”는 말이에요. 닫힌 모델이든 오픈 웨이트 모델이든 똑같이 내부자 위험(insider risk)처럼 다루자고 했어요. 비결정적인 모델은 결정론적(deterministic) 시스템 설계로 둘러싸야 한다고도 썼어요.
- 발표 주체: 사티아 나델라(마이크로소프트 CEO)
- 공개 경로: 10월 10일 토요일 아침 X 게시물
- 핵심 제안: 모델 밖의 통제, 행동 기록, 사람이 쓰는 작업 중 정지
- 성격: 공개 제안이며 새 제품이나 마이크로소프트의 공식 정책 발표는 아님(Superpower Daily 설명)
‘하니스(harness)’가 뭔가요?
대신 모델과 그 작업을 지휘하는 하니스(harness)를 나누고 통제와 안전장치를 모델 밖에 두자는 제안이에요.
하니스는 원래 말에 채우는 마구나 안전 장구를 뜻해요. AI 쪽에서는 모델에게 일을 나눠 주고 쓸 수 있는 도구와 범위를 정해 주는 주변 시스템을 가리켜요. 회사에 빗대면 모델은 직원이고 하니스는 업무 배정표와 출입증 발급, 결재 라인이에요. Superpower Daily는 이번 제안의 핵심을 모델이 자기 안전장치를 쥐고 있으면 안 된다는 점으로 정리했어요.
‘결정론적(deterministic) 설계’는 뭘 뜻하나요?
비결정적인 모델은 결정론적(deterministic) 시스템 설계로 둘러싸야 한다고도 썼어요.
결정론적이란 같은 입력을 넣으면 언제나 같은 결과가 나오는 방식이에요. 계산기에 2 더하기 3을 넣으면 매번 5가 나오는 것처럼요. AI 모델은 같은 질문에도 답이 조금씩 달라질 수 있어서 비결정적이라고 불러요. 나델라는 이런 모델의 둘레를 정해진 규칙대로만 움직이는 장치로 감싸자고 했어요. 조건이 맞으면 무조건 작동을 멈추는 스위치가 한 예이고 ‘비상 브레이크’가 그 역할이에요.
AI에 ‘내부자 위험(insider risk)’을 붙이면 어떻게 되나요?
닫힌 모델이든 오픈 웨이트 모델이든 똑같이 내부자 위험(insider risk)처럼 다루자고 했어요.
내부자 위험은 회사 안에서 접근 권한을 가진 사람이 실수나 악의로 일으키는 피해를 말해요. 보안팀은 직원을 의심해서가 아니라 권한을 최소한으로 주고 행동을 기록하다가 이상하면 접근을 끊는 식으로 대비해요. 나델라는 AI 모델에도 같은 태도를 요구했어요. 오픈 웨이트 모델은 내부 값을 공개해 내려받아 쓰는 모델이에요. 그는 가장 믿을 만한 시스템이 모델을 가장 믿는 시스템이 아니라 “모델을 가장 덜 믿어도 되게 하는” 시스템이라고 썼어요. Superpower Daily는 이 말이 특정 모델이 뚫렸다는 주장이 아니라 설계 원칙이라고 짚었어요.
그래서 지금 달라지는 건?
이번 글은 공개 제안이어서 지금 쓰는 서비스가 바로 바뀌지는 않아요. TechCrunch는 이 글이 주요 AI 회사들이 모델 통제를 잃은 것처럼 보인 사고를 점점 더 인정하는 시점에 나왔다고 짚었어요. 앤트로픽의 사내 평가 인터넷 차단과 다리오 아모데이의 신중한 개발 계획이 배경으로 언급됐어요. 남은 질문은 독립 통제와 사람이 누르는 정지 장치가 업계 공통 표준으로 자리 잡는지예요.
답글 남기기