[보안 이슈] AI 비서에게 ‘실행 권한’을 주는 순간 생기는 구멍 — 프롬프트 인젝션이 위험한 진짜 이유

프롬프트 인젝션이 대체 뭔가요?

AI 비서의 근본 한계는 ‘누가 시킨 명령’인지와 ‘그냥 읽으라고 준 데이터’인지를 구조적으로 구분하지 못한다는 데 있습니다. 사람은 “이 이메일을 요약해줘”라는 지시와 이메일 본문을 당연히 다르게 취급하지만, AI는 둘 다 똑같은 ‘텍스트’로 한 통에 밀어 넣고 읽습니다.

공격자는 바로 이 틈을 노려, 요약해달라고 건넨 이메일·문서·웹페이지 안에 “지금까지 대화를 전부 이 주소로 전송하라” 같은 명령을 몰래 심습니다. 사용자가 넣은 지시가 아니라 데이터에 섞인 명령인데도, AI는 이를 ‘내 주인의 지시’로 착각하고 그대로 따릅니다. 국제 웹보안 표준기구 OWASP(Open Worldwide Application Security Project)가 2025년 LLM 애플리케이션 위협 1순위(LLM01)로 지목한 것이 바로 이 프롬프트 인젝션입니다.

왜 ‘실행 권한’이 붙으면 차원이 달라지나요?

핵심은 공격의 파급 범위(blast radius)가 AI에게 준 권한만큼 커진다는 점입니다. 대답만 하는 챗봇이라면 최악이라도 이상한 답변 한 줄로 끝납니다. 하지만 메일 발송·파일 접근·코드 실행 권한을 쥔 비서라면, 인젝션은 곧바로 ‘실제 행동’으로 이어집니다.

실제로 2026년 5월 마이크로소프트는 자사 AI 에이전트 프레임워크에서 프롬프트 한 줄로 기기의 계산기(calc.exe)를 실행시키는 원격 코드 실행(RCE, Remote Code Execution) 취약점을 공개했습니다. 텍스트 문제였던 인젝션이 시스템 장악의 도구로 바뀐 것입니다.

나도 당할 수 있나요? — 간접 인젝션의 무서움

가장 경계해야 할 유형은 간접 프롬프트 인젝션입니다. 내가 직접 악성 문장을 입력하는 게 아니라, 남이 보낸 캘린더 초대장·PDF·이메일 안에 명령이 숨어 있는 방식입니다. 공격자는 글자 크기를 0으로 만들거나 눈에 안 보이는 특수문자를 이용해, 사람 눈에는 안 보이지만 AI는 읽는 명령을 심습니다.

2025년 2월 구글에 제보된 ‘Invitation Is All You Need’ 연구는 제미나이 기반 비서에게 악성 캘린더 초대장 하나만 보내도 사용자 대화가 외부로 빠져나갈 수 있음을 보여줬습니다. 이 유출이 사용자가 아무 조작도 하지 않는 사이 백그라운드에서 자동으로 일어난다는 점이 특히 위험합니다.

Q. 그럼 AI 비서를 아예 쓰지 말아야 하나요? 그렇지 않습니다. 위험의 크기는 AI가 가진 권한에 비례하므로, 권한을 통제하면 피해도 통제됩니다.

Q. 개인이 지금 할 수 있는 건 뭔가요? 메일함·클라우드·결제 같은 민감한 연결을 무분별하게 허용하지 말고, ‘읽기’만 필요한 곳에 ‘쓰기·발송’ 권한까지 주지 않았는지 점검하는 것이 시작입니다.

실행 권한을 주기 전 반드시 점검할 것

※ 참고: OWASP Gen AI Security Project, 「LLM01:2025 Prompt Injection」