AI 감시자는 왜 다른 칩에 있을까?

시험을 보는 학생이 자기 답안지를 직접 채점한다면 믿을 수 있을까?

AI Agent의 감시 장치를 Agent와 같은 컴퓨터 안에만 두는 것도 비슷한 문제가 생길 수 있다.

Agent가 감시 프로그램에 접근하거나, 컴퓨터 자체에 문제가 생기면 감시 기록까지 믿기 어려워진다.

그래서 NVIDIA는 감시자를 아예 다른 칩에 두는 방법을 내놨다.

감시 대상과 감시자를 같은 공간에 두지 않는 것이다.

NVIDIA가 공개한 두 가지 안전장치

NVIDIA는 9월 28일 Open Agent Safety Platform을 공개했다.

이름은 하나지만 핵심은 두 부분으로 나뉜다.

쉽게 말하면 OpenShell은 울타리, Sentry는 울타리 밖의 경비원이다.

둘 중 하나를 다른 이름으로 부르는 것이 아니다. 서로 다른 위치에서 역할을 나눠 맡는다. NVIDIA는 이를 소프트웨어와 하드웨어를 함께 사용하는 다층 구조로 설명한다.¹

Agent는 이제 말만 하지 않는다

기존 챗봇은 질문을 받으면 답변을 만드는 것이 중심이었다.

AI Agent는 답변에서 끝나지 않는다.

• 파일을 읽고 수정한다.
• 코드를 실행한다.
• 데이터베이스를 조회한다.
• 외부 서비스에 접속한다.
• 다른 Agent나 도구를 호출한다.

이런 기능이 있어야 실제 업무를 대신할 수 있다. 동시에 한 번의 잘못된 판단이 실제 행동으로 이어질 수 있다.

Agent가 위험해서 무조건 막아야 한다는 뜻은 아니다. 할 수 있는 일이 많아질수록, 허용된 범위를 확인하는 장치도 더 강해져야 한다는 뜻이다.

문제는 감시 장치의 위치다.

Agent와 감시 프로그램이 같은 운영체제와 같은 권한 안에 있다면, 호스트에 문제가 생겼을 때 둘을 함께 믿기 어려울 수 있다.

감시자는 왜 밖에 있어야 할까

Out-of-band monitoring은 감시 기능을 감시 대상과 분리된 경로에 두는 방식이다.

한 문장으로 줄이면 이렇다.

감시 대상과 감시자를 같은 공간에 두지 않는다.

가게 안에 CCTV가 있어도 녹화 장치까지 가게 안에만 있다면, 침입자가 녹화 장치를 함께 끌 수 있다.

반대로 영상이 별도의 보안실로 전송된다면 가게 안의 컴퓨터에 문제가 생겨도 기록은 남는다.

AI Agent도 같은 원리다.

감시 장치가 Agent와 같은 호스트 안에 있으면 Agent가 사용하는 자원과 감시자가 사용하는 자원이 겹친다. 하지만 감시자를 별도 하드웨어에 두면 Agent가 직접 닿기 어려운 독립된 trust domain, 즉 별도의 신뢰 영역을 만들 수 있다.

이 구조의 목적은 “AI가 반드시 감시자를 속인다”는 가정이 아니다.

감시 대상에 문제가 생겨도 감시자는 계속 믿을 수 있게 만드는 것이 핵심이다.

BlueField-4는 어디에서 지켜볼까

NVIDIA Sentry는 BlueField-4 DPU에서 작동하도록 설계됐다.

DPU는 CPU나 GPU와 함께 서버의 데이터 이동, 네트워크, 보안 작업을 처리하는 전용 프로세서다.

NVIDIA의 Vera Rubin POD 설계에서는 BlueField-4가 컴퓨팅 노드에서 AI 모델로 향하는 경로에 놓인다. Agent가 다음 행동을 하기 위해 모델에 요청을 보내면 그 경로를 BlueField-4가 관찰할 수 있다는 뜻이다.²

Sentry는 이 위치에서 다음을 확인한다.

• 어떤 Agent가 요청했는가
• 어떤 도구와 데이터에 접근하려 하는가
• 정해진 정책 안의 행동인가
• 격리하거나 중단해야 하는가

Agent가 소프트웨어 경계를 벗어나려 할 때 Sentry가 격리하고 중단할 수 있다는 것이 NVIDIA의 설명이다.

NVIDIA는 이를 밀리초 단위로 격리할 수 있는 설계라고 밝혔다.¹ 이 수치는 NVIDIA가 발표한 제품 설계·성능 설명이며, 이번 글에서 별도의 독립 성능 검증을 한 것은 아니다.

소프트웨어 울타리도 필요하다

감시자를 별도 칩에 둔다고 OpenShell이 필요 없어지는 것은 아니다.

OpenShell은 Agent를 샌드박스 안에서 실행하고, 운영자가 허용 범위를 정하게 해주는 오픈소스 런타임이다.

예를 들어 이런 규칙을 만들 수 있다.

• 이 폴더는 읽을 수 있지만 수정할 수 없다.
• 지정된 웹사이트에만 접속할 수 있다.
• 승인된 도구와 프로세스만 실행할 수 있다.
• 필요한 자격증명만 사용할 수 있다.

OpenShell은 Agent가 일하는 공간 안에서 규칙을 집행한다. Sentry는 그 공간과 분리된 곳에서 한 번 더 확인한다.

OpenShell이 첫 번째 경계라면, Sentry는 그 경계가 흔들릴 때를 대비한 독립된 감시 계층이다.

OpenShell 소프트웨어는 공개돼 있지만, Sentry는 BlueField-4 기반의 선택적 보안 계층이자 NVIDIA의 레퍼런스 시스템 설계다. NVIDIA 역시 발표문에서 여러 기능과 제품의 개발·출시 시점이 달라질 수 있다고 밝혔다.¹

KOTA가 보는 포인트

AI 경쟁은 그동안 누가 더 똑똑한 모델을 만드는가에 집중됐다.

하지만 Agent가 실제 파일과 서비스에 접근하기 시작하면 질문이 달라진다.

• Agent를 어디까지 믿을 것인가
• 어떤 행동까지 허용할 것인가
• 누가 Agent의 행동을 감시할 것인가
• 감시자 자체는 무엇으로 보호할 것인가

AI Agent 경쟁이 모델 성능만의 문제가 아니라, Agent를 어디까지 믿고 무엇으로 감시할 것인가의 문제로 내려오고 있다.

지난 편에서는 Agent가 실제 경계를 넘었을 때 Prevent / Detect / Report가 각각 다른 문제라는 걸 봤다. 이번에는 업계가 Detect와 Control을 하드웨어 수준까지 어떻게 내려보내려 하는지를 봤다.

두 발표가 직접적인 원인과 결과라는 뜻은 아니다. 다만 AI Agent가 실제 시스템에서 행동하기 시작하면서, 안전장치의 위치도 소프트웨어 밖으로 넓어지고 있다는 흐름은 분명하다.

AI를 감시하는 시스템은 AI와 같은 컴퓨터 안에 있어도 충분할까? 아니면 독립된 하드웨어까지 필요할까?