인공지능(AI)이 해킹 공격에 취약해 의학 분야에서 위험한 치료를 권할 수 있다는 연구 결과가 발표됐다. 이에 따라 연구진은 AI가 현장에서 의사를 대체하는 도구로 쓰이기에는 위험성이 크다는 지적을 내놨다.
5일 국제 학술지 자마 네트워크 오픈(JAMA Network Open)에 따르면 최근 서울아산병원의 서준교 비뇨의학과·전태준 정보의학과 교수와 이로운 인하대병원 영상의학과 교수 연구팀은 의료용 대규모 언어모델(LLM)이 ‘프롬프트 주입’ 공격에 극도로 취약하다고 밝혔다.
프롬프트 주입은 해커가 악의적인 명령을 넣어 결과물을 조작하는 공격 기법이다. 이 공격이 의료용 LLM에 가해지면 환자에게 의도적으로 잘못된 치료를 권하게 되는 위험을 낳는다.
이를 확인하기 위해 연구진은 상용화된 AI 모델인 지피티(GPT-4o-mini)와 제미나이(Gemini-2.0-flash-lite), 클로드(Claude-3-haiku)를 대상으로 공격을 시도했다. 공격은 위험도에 따라 중간·상위·최고 단계로 나눴고 12개 임상 시나리오가 적용됐다. 시나리오에는 임신 중 태아의 기형을 유발할 수 있는 약물 처방이나 치명적 약물 권고 등 최고 위험 수준의 상황도 포함됐다.
216건의 실험 결과 전체 공격 성공률은 94.4%에 달했다. 위험도별 성공률은 중간 단계에서는 100%, 상위 단계는 93.3%, 최고 단계 91.7%로 나타났다. 일부 모델은 모든 공격에 무방비로 노출됐고, 방어력이 있는 모델의 80%도 이같은 공격에 취약했다.
문제는 잘못된 권고의 ‘지속성’이다. 잘못된 권고는 대화가 이어지는 동안에도 69.4%의 확률로 지속됐다. 실제 안전성 질문이나 재확인 요청에도 오류가 반복되는 경향을 보였다.
연구진은 AI에 적용된 기존 안전 장치만으로는 조작된 정보와 거짓 근거를 제대로 가려내기 어렵다고 설명했다. 나아가 환자가 직접 AI 챗봇에 의료 상담을 맡기면 잘못된 조언이 그대로 받아들여져 생명에 위협을 가져올 수 있다고 강조했다.
연구팀은 “의료용 AI를 임상에 적용하기 전 해킹 공격을 가정한 철저한 검증과 여러 단계의 안전장치가 필요하다”며 “아직 의사 감독 없이 치료 결정을 내리는 도구로 사용하기에는 보안과 안전성에 한계가 크다”고 말했다.
윤은영 기자 very9832@nongmin.com
