llm-security2 [Report Review] NIST AI 100-2 E2025: 적대적 머신러닝 공격을 분류하는 공통 언어 AI 보안 이야기를 하다 보면 같은 말을 서로 다르게 쓰는 경우가 많습니다. 머신러닝 연구자에게 "poisoning"은 학습 데이터를 오염시키는 공격이고, 보안 담당자에게 "injection"은 SQL 인젝션처럼 입력으로 명령을 끼워 넣는 공격입니다. LLM이 등장하면서 "jailbreak", "prompt injection", "indirect prompt injection" 같은 말이 더해졌는데, 이 말들이 정확히 어디까지를 가리키는지는 사람마다 조금씩 다릅니다.용어가 어긋나면 위협 모델링부터 흔들립니다. 어떤 공격을 막았다고 할 때 그것이 무엇을 막았다는 뜻인지, 탐지 규칙이 어떤 범주를 다루는지 팀 안에서도 맞추기 어렵습니다.미국 NIST가 2025년 3월에 낸 NIST AI 100-2 E2025.. 2026. 9. 26. [Paper Review] ToolHijacker (NDSS 2026): LLM 에이전트의 도구 선택을 가로채는 프롬프트 인젝션 그림 출처: Shi et al., "Prompt Injection Attack to Tool Selection in LLM Agents", NDSS 2026, Fig. 1LLM 에이전트는 사용자 요청을 받으면 어떤 도구를 쓸지부터 고릅니다. 도구가 몇 개뿐이면 목록을 통째로 모델에 넘겨도 됩니다. 하지만 도구가 수십, 수백 개로 늘어나면 그럴 수 없습니다. 그래서 검색기(retriever)로 관련 있어 보이는 도구를 몇 개만 먼저 추려내고, 그중에서 모델이 하나를 고르는 2단계 방식을 씁니다. 도구 목록은 금세 커집니다. ToolBench라는 벤치마크에는 중복을 걸러낸 뒤에도 도구 문서가 9,650개 들어 있습니다.모델이 도구를 고를 때 보는 것은 도구의 이름과 설명문입니다. 둘 다 그냥 텍스트이고, 보.. 2026. 9. 24. 이전 1 다음
