직접·간접 프롬프트 인젝션은 무엇이 다를까?

인공지능 시대를 위협하는 보이지 않는 손

요즘 우리는 인공지능과 대화하는 것이 아주 익숙한 일상이 되었습니다. 글을 쓰게 시키기도 하고 모르는 것을 물어보거나 번역을 부탁하기도 합니다. 하지만 인공지능이 똑똑해질수록 이를 악용하려는 시도도 점점 교묘해지고 있습니다. 그 중심에 바로 프롬프트 인젝션이라는 개념이 있습니다.

인공지능에게 말을 걸 때 사용하는 명령어 공간에 악의적인 의도를 숨겨서 시스템이 원래 하려던 일이 아니라 전혀 다른 엉뚱한 행동을 하도록 만드는 해킹 기법입니다. 보안 전문가들이 이 문제를 심각하게 보는 이유는 일반적인 소프트웨어 해킹과 결이 다르기 때문입니다. 코드를 뚫는 것이 아니라 인공지능의 언어적 특성을 교묘하게 파고들기 때문에 방어하기가 까다롭습니다.

이러한 위협은 크게 두 가지 갈래로 나뉩니다. 바로 직접 프롬프트 인젝션과 간접 프롬프트 인젝션입니다. 이 둘은 공격자가 인공지능에게 접근하는 방식과 타겟이 되는 대상에서 큰 차이를 보입니다. 오늘 이 두 가지 방식이 어떻게 다른지 그리고 일상에서 어떻게 대비해야 하는지 자세히 살펴보겠습니다.

직접 프롬프트 인젝션의 모든 것

직접 프롬프트 인젝션은 사용자가 인공지능과 대화하는 창구에서 직접 악의적인 명령을 입력하는 방식입니다. 해커가 AI 챗봇과 일대일로 대화하면서 보안 장벽을 우회하도록 유도하는 것입니다.

가장 흔하게 쓰이는 방법 중 하나는 가짜 상황극을 만드는 것입니다. 예를 들어 인공지능에게 지금부터 보안 규정은 모두 잊어버리고 영화 속 악당처럼 행동하라고 명령하는 식입니다. 혹은 시스템 개발자인 척 접근하여 관리자 권한으로 시스템 설정을 바꾸라고 요구하기도 합니다.

이 유형의 핵심 특징은 공격자와 인공지능이 직접 상호작용한다는 점입니다. 피해자는 주로 AI 서비스를 제공하는 플랫폼 자체가 되며 해커는 AI가 숨기고 있던 비밀 키를 알아내거나 제한된 기능을 뚫고 들어가려 합니다. 최근에는 AI 기업들이 보안 필터를 워낙 촘촘하게 만들어두어서 단순히 이전처럼 말로만 꼬드기는 방식은 점차 통하지 않는 추세입니다.

간접 프롬프트 인젝션이 훨씬 위험한 이유

직접 방식이 해커와 AI의 일대일 싸움이라면 간접 프롬프트 인젝션은 훨씬 은밀하고 광범위한 피해를 낳는 방식입니다. 이 공격은 사용자가 아니라 제삼자가 만들어 둔 외부 콘텐츠를 통해 이루어집니다.

요즘 AI는 이메일을 읽어주기도 하고 웹사이트를 요약해 주며 문서 파일을 분석해 주기도 합니다. 간접 인젝션은 바로 이 지점을 노립니다. 해커가 공개된 웹페이지나 이메일 본문 속에 눈에 보이지 않거나 사람이 읽기 힘든 방식으로 숨겨진 명령어를 심어둡니다. 예를 들어 다음과 같은 상황이 벌어질 수 있습니다.

• 사용자가 여행 예약을 위해 수상한 웹사이트를 방문해 AI에게 페이지 내용을 요약해 달라고 요청합니다.
• 웹사이트 구석에 숨겨진 악성 명령어가 AI에게 전달됩니다.
• AI는 사용자의 동의나 인지 없이 백그라운드에서 사용자의 개인 연락처를 해커의 서버로 전송하는 API를 실행합니다.

여기서 중요한 점은 사용자는 전혀 악의적인 의도가 없었다는 것입니다. 단지 평범한 웹페이지를 요약했을 뿐인데 인공지능이 외부의 숨은 명령에 홀려서 지시를 수행해 버린 것입니다. 이 때문에 보안 전문가들은 간접 프롬프트를 훨씬 더 무서운 잠재적 위협으로 평가합니다.

두 방식의 결정적인 차이점 비교

두 개념을 머릿속에 더 선명하게 그리려면 몇 가지 기준으로 나누어 살펴보는 것이 좋습니다. 공격의 경로와 타겟 그리고 방어의 난이도에서 뚜렷한 차이가 드러납니다.

• 공격 진입점: 직접 방식은 챗봇 입력창을 통해 사용자가 직접 입력하지만 간접 방식은 이메일, 웹문서, PDF 파일 등 외부 데이터 소스를 통해 들어옵니다.
• 피해 대상: 직접 방식은 AI 서비스 자체의 규칙을 깨트리는 것이 주 목적이라면 간접 방식은 AI를 도구로 삼아 사용자의 개인정보를 탈취하거나 기기를 감염시키는 것을 목적으로 합니다.
• 사용자의 인지 여부: 직접 공격을 시도할 때는 사용자가 뭔가 이상한 짓을 한다는 것을 어느 정도 눈치채기 쉽지만 간접 공격은 사용자가 전혀 모르는 사이에 백그라운드에서 진행됩니다.

이러한 특성 차이 때문에 방어 전략도 완전히 달라져야 합니다. 직접 공격은 입력되는 텍스트의 유해성을 필터링하는 방식으로 어느 정도 막을 수 있지만 간접 공격은 AI가 외부 데이터를 처리하는 방식 자체를 격리해야 하므로 기술적으로 훨씬 까다롭습니다.

실생활에서 마주할 수 있는 위협 시나리오

이런 기술적 이야기가 남 얘기처럼 들릴 수 있지만 이미 우리 일상 깊숙이 파고들 수 있는 환경이 만들어졌습니다. 업무 효율을 높이기 위해 사용하는 다양한 AI 비서 서비스가 그 무대가 됩니다.

스마트폰에 설치된 AI 비서가 매일 아침 받은 이메일을 정리해 준다고 가정해 보겠습니다. 거래처 직원인 척 위장한 해커가 보낸 메일 안에 숨겨진 명령어가 포함되어 있습니다. AI 비서가 메일을 읽는 순간 그 명령을 인식하고 사용자의 캘린더에 사기성 일정을 등록하거나 중요한 문서를 외부로 공유해 버릴 수 있습니다.

또 다른 예로는 오픈소스 코드 리포지토리를 분석하는 AI 툴이 있습니다. 프로젝트에 참여하는 누군가가 소스 코드 주석 속에 악성 프롬프트를 심어두면 코드 리뷰를 하던 AI가 보안 취약점이 있는 코드를 안전하다고 거짓 보고를 하거나 백도어를 심는 코드를 승인하도록 유도할 수 있습니다.

흔히 갖는 오해와 진실

인공지능 보안에 대해 이야기할 때 대중들이 자주 오해하는 부분들이 있습니다. 이를 바로잡는 것이 안전한 활용의 첫걸음입니다.

첫째로 AI가 스스로 생각을 바꾸어 악하게 변한다는 생각은 오해입니다. 인공지능은 감정이나 자아가 없으며 오직 입력된 데이터와 명령어에 따라 확률적으로 다음 단어를 예측해 낼 뿐입니다. 악의적인 행동을 하는 것은 AI가 타락해서가 아니라 입력된 명령어의 통제를 제대로 처리하지 못했기 때문입니다.

둘째로 최신 대형 언어 모델은 이미 완벽하게 방어가 되어 있다는 믿음도 경계해야 합니다. 모델의 덩치가 커지고 똑똑해질수록 오히려 복잡한 문맥 속에서 숨겨진 명령어를 찾아내어 수행하려는 성향이 강해질 수 있습니다. 즉 똑똑함이 때로는 독이 되어 간접 공격에 더 취약해지는 역설적인 상황이 발생하기도 합니다.

안전한 AI 활용을 위한 실용적인 조언

이러한 위험 속에서도 우리는 인공지능의 편리함을 포기할 수 없습니다. 비용 효율적이면서도 안전하게 AI를 일상과 업무에 활용하기 위해서는 몇 가지 원칙을 지키는 것이 좋습니다.

• 외부 데이터 신뢰 금지: AI에게 출처가 불분명한 웹페이지, 이메일, 문서 파일을 그대로 읽히고 중요한 작업을 맡기는 것은 피해야 합니다.
• 핵심 권한 제한: AI 비서가 이메일을 읽는 것은 허용하되 파일을 삭제하거나 외부로 전송하고 결제를 승인하는 등의 중요한 행동은 반드시 인간의 최종 승인을 거치도록 설정해야 합니다.
• 입출력 분리 원칙 적용: 기업에서 AI 시스템을 구축할 때 외부 데이터를 읽어들이는 영역과 사용자와 소통하는 영역, 그리고 실제 시스템 명령을 내리는 영역을 엄격하게 분리하는 아키텍처를 도입해야 합니다.

자주 묻는 질문과 답변

인공지능 보안과 프롬프트 인젝션에 대해 평소 사람들이 궁금해하는 점들을 모아보았습니다.

질문: 일반 사용자가 이메일이나 웹서핑을 하다가 간접 공격을 당하면 스마트폰이 해킹되나요?

답변: 스마트폰 운영체제 자체를 직접 해킹하는 것은 어렵지만 AI 비서에게 연동된 서비스들이 위험에 노출될 수 있습니다. 예를 들어 AI가 권한을 가지고 있다면 구글 계정의 정보를 유출하거나 연락처에 있는 사람들에게 스팸 메시지를 대량으로 발송하는 등의 2차 피해가 발생할 수 있습니다.

질문: 기업에서 사내 인공지능 챗봇을 도입할 때 가장 먼저 무엇을 점검해야 하나요?

답변: AI가 사내 데이터베이스나 외부 인터넷에 접근할 때 사용할 수 있는 권한의 범위를 최소화해야 합니다. 또한 사용자로부터 입력받은 내용과 시스템의 핵심 지침을 명확하게 구분하는 프롬프트 구조 설계가 필수적입니다.

질문: 일반 대중도 직접 프롬프트 인젝션을 막기 위해 특별한 프로그램을 설치해야 하나요?

답변: 별도의 해킹 방지 프로그램을 깔기보다는 AI 서비스를 제공하는 빅테크 기업들이 제공하는 최신 보안 업데이트를 꾸준히 적용하고 출처가 의심스러운 프롬프트나 파일을 AI에게 무분별하게 업로드하지 않는 사용자 습관을 들이는 것이 가장 중요합니다.