CHECK POINT RESEARCH

AI 보안 보고서

체크 포인트 AI 보고서 • 제1회 연례판

목차

01 소개

02 AI 위협

04 기업을 위한 AI

03 연구를 위한 AI

05 AI를 위한, AI에 의한, AI와 함께하는 보안

01 소개01

소개 사이버 위협과 방어 분야에서 가속화되는 AI의 미래

AI는 산업을 혁신하고 있으며, 사이버 범죄와 AI 사이버 보안도 예외는 아닙니다. 기업에서 AI를 채택하면 효율성, 규모, 영향력이 향상되지만, 안타깝게도 위협 행위자들도 AI를 채택하는 것이 현실입니다. 현시점에서는 잠시 멈춰서 AI와 사이버 보안의 현재와 미래를 평가하는 것이 중요하다고 생각합니다.

공격자들은 AI를 어떻게 활용하고 있으며, 앞으로는 어떻게 될까요? 사이버 방어자로서 보안 노력을 강화하고 조직을 보다 효과적으로 보호하려면 AI를 어떻게 활용할 수 있을까요? 이것이 바로 Check Point Research AI 보안 보고서 초판에서 다룬 질문입니다. 당사에서는 다음 사항에 중점을 두고 있습니다.

• 텍스트, 오디오, 비디오를 아우르는자율적이고 상호 작용적인 소셜 엔지니어링의 부상

• LLM의 보안 우회 및 무기화

• 멀웨어 개발과 데이터 마이닝의 자동화

• 기업의 AI 도입과 관련 위험

• 실제 환경에서 발생한 데이터 포이즈닝과 생성형 AI 도구로 증폭된 대규모 허위 정보

• AI로 AI를 막다 — 가장 정교한 위협으로부터 조직을 보호하기

AI 위협은 더 이상 이론적인 것이 아니라, 현실에 존재하며 빠르게 진화하고 있습니다. AI 도구에 대한 액세스가 더욱 보편화됨에 따라 위협 행위자는 AI를 활용하여 역량을 강화하고, AI 기술을 채택하는 조직과 개인을 표적으로 삼는 두 가지 주요 방식으로 이러한 변화를 악용합니다.

다음 페이지에서는 독자들이 AI 보안의 복잡한 환경을 탐색할 수 있도록 이러한 위협에 대해 포괄적으로 이해할 수 있는 정보를 제공합니다.

혁신과 성공의 안전한 미래를 위하여,

Lotem Finkelstein, Check Point Research 디렉터

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

APT 헌팅을 위한 AI

소개01

기업을 위한 AI04

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 20254

02 AI 위협 02

사이버 범죄자들이 사용하는 AI 모델 사이버 범죄자들은 주류 AI 채택 동향을 면밀히 관찰하고 있습니다. 새로운 대규모 언어 모델(LLM)이 대중에게 공개될 때마다, 지하 사이버 범죄자들은 그 오용 가능성을 재빠르게 시험합니다(

그림 1 – 멀웨어 개발을 위해 DeepSeek을 활용하는 지하 포럼 토론

그림 1). 현재 사이버 범죄자들 사이에서 가장 인기 있는 모델은 ChatGPT와 OpenAI의 API이며, Google Gemini, Microsoft Copilot, Anthropic Claude와 같은 다른 모델들도 빠르게 인기를 얻고 있습니다. Alibaba의 DeepSeek 및 Qwen과 같은 오픈 소스 모델이 출시되면서 환경이 변화하고 있습니다. 이러한 모델은 접근성을 높이고 사용 제한을 최소화하며 무료 티어로 제공되므로, 범죄의 핵심 자산이 될 수 있습니다.

다크웹의 AI 모델

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

AI 보안 보고서 20256

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

소개01

기업을 위한 AI04

악성 AI 모델의 개발

사이버 범죄자들은 주류 플랫폼을 악용하여 사이버 범죄에 특화된 악성 LLM 모델을 만들어 판매하고 있습니다( 그림 2). 이러한 다크 LLM 모델은 윤리적 모델을 위한 안전장치를 우회하도록 설계되었으며, 해킹 도구로 적극적으로 마케팅되고 있습니다.

그림 2 – Tor에서 생성된 다크 AI 모델의 예인 Onion GPT

다크웹의 AI 모델

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

AI 보안 보고서 20257

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

소개01

기업을 위한 AI04

그림 3 - Telegram 채널에 광고된 악성 AI 서비스 WormGPT

악명 높은 AI 모델인 WormGPT 는 ChatGPT를 보안 우회하여 만들어졌습니다(그림 3). '궁극의 해킹 AI' 로 마케팅되는 이 모델은 피싱 이메일을 생성하고, 멀웨어를 작성하며, 윤리적 제약 없이 사회 공학 스크립트를 작성할 수 있습니다. 한 Telegram 채널은 사기, 봇넷 생성, 사이버 침입에 사용될 수 있음을 홍보하며, 다크 AI의 상업화를 강조하는 구독 서비스를 제공합니다.

다크웹의 AI 모델

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

AI 보안 보고서 20258

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

소개01

기업을 위한 AI04

그림 4 - 사이버 범죄 포럼에 게시된 HackerGPT 기능

GhostGPT, FraudGPT, HackerGPT(그림 4)와 같은 새로운 다크 AI 모델은 사이버 범죄의 특정 측면을 지원합니다. 일부 모델은 보안 우회를 통해 주류 AI에 기능을 추가하는 반면, 다른 모델은

오픈 소스 모델을 수정합니다. 주류 AI 모델이 발전함에 따라 이에 대응하는 다크 모델도 진화하고 있습니다.

다크웹의 AI 모델

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

AI 보안 보고서 20259

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

소개01

기업을 위한 AI04

허위 AI 플랫폼의 등장

AI 기반 서비스에 대한 수요로 인해 사용자를 속이고 AI 멀웨어를 배포하거나, 민감한 데이터를 훔치거나, 금융 사기를 지원하도록 설계된 가짜 AI 플랫폼이 등장했습니다. 그 예로 AI 도구인 것처럼 보이지만 피싱 웹사이트로 의심되는 HackerGPT Lite(그림 5)와 실제로는 멀웨어를 배포하는 허위 DeepSeek 다운로드 사이트를 들 수 있습니다.

한 사례에서는 ChatGPT를 모방한 악성 Chrome 확장 프로그램(배포용)이 사용자 자격 증명을 훔치도록 설계되었습니다. 이 유해한 확장 프로그램이 설치되면 Facebook 세션 쿠키를 탈취하여 공격자가 피해자의 계정에 완전한 액세스 권한을 얻고 원격으로 조작할 수 있게 됩니다.

그림 5 - 사이버 범죄자들을 겨냥한 의심스러운 피싱 AI 서비스 웹사이트

소개01

다크웹의 AI 모델

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

AI 보안 보고서 202510

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

https://www.ctinc.com/fake-chatgpt-chrome-extension-poses-serious-threat-to-online-security/

소셜 엔지니어링(개인이 평소에는 하지 않을 행동을 하도록 조종하는 것)은 많은 사이버 공격의 핵심입니다. 순전히 기술적 취약성을 악용하는 공격도 종종 소셜 엔지니어링 계획에서 시작됩니다. 공격자는 텍스트, 오디오, 이미지를 사용하여 특정 개인을 설득력 있게 사칭하거나, 사람의 목소리를 생성하여 신뢰를 구축함으로써 공격 대상을 속입니다. 최근 AI가 발전함에 따라 공격자는 실제처럼 보이는 자료를 대규모로 제작하고, 자동화된 채팅을 진행하며, 다른 사람을 사칭하면서 실시간 오디오 및 화상 회의를 열 수도 있습니다.

이러한 AI 기반 도구가 범죄 포럼에서 확산되고 사건이 증가함에 따라, 신원 확인을 위한 오디오 및 시각적 단서에 대한 의존이 심각하게 흔들리고 있습니다.대규모 전화 스캠을 위한 완전 자율형 오디오 딥페이크 도구가 이미 사용 가능하기 때문에, 익숙한 얼굴이나 음성을 인식하는 것만으로는 더 이상 신원을 증명할 수 없습니다.따라서 상호 작용은 추가 인증 조치로 강화되어야 합니다.

AI 기반 소셜 엔지니어링은 이미 현실 세계의 사이버 범죄에 영향을 미치고 있습니다. FBI는 최근 사이버 범죄자들이 AI로 생성된 텍스트, 이미지, 오디오, 비디오를 점점 더 많이 활용하여 공격을 강화하고 있다고 대중에경고했습니다이는 공격자들이 과거에는

불가능했던 정교한 기능을 활용할 수 있게 되면서, 속임수와 사기의 효과가 크게 높아졌음을 보여줍니다.

온라인 사기는 양과 질 모두에 의존합니다. 섹스토션(sextortion) 이메일과 같은 문장 구성이 미숙한 스캠도 수백만 명의 잠재적 피해자에게 전송되면, 일부만 성공하더라도 수익을 올릴 수 있습니다. 따라서 공격자들은 사칭의 품질과 이들 작전의 자동화 수준을 향상시켜 영향력을 극대화하고 인적 자원 비용을 최소화하는 것을 목표로 합니다. AI는 이러한 분야의 발전을 촉진하여 여러 언어로 매우 설득력 있는 텍스트, 오디오, 비디오를 생성하고 대화형 챗봇을 활성화합니다. 그 결과 피해자와 악의적으로 상호 작용할 수 있는 자동화된 에이전트를 만들어 냅니다.

딥페이크 기술과 그 악용에 대한 심층 분석 다음 섹션에서는 각 미디어 유형(텍스트, 오디오, 이미지, 비디오) 에 대한 악용 시나리오를 검토하고, 범죄 포럼에서 활발히 광고되는 관련 서비스를 상세히 설명하며, 실제 사건 보고서를 분석하여 이러한 진화하는 위협의 실질적인 영향을 설명합니다.

AI 기반 소셜 엔지니어링: 새로운 시대

소개01

APT 헌팅을 위한 AI

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202511

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

새로운 소셜 엔지니어링

기업을 위한 AI04

https://www.ic3.gov/PSA/2024/PSA241203

미디어 유형 오프라인 생성 실시간 생성 완전 자율형

텍스트 사전 렌더링된스크립트 또는 이메일 실시간 생성된 응답 완전 상호 작용형 AI 생성 대화

오디오 사전 녹음된 사칭 실시간 음성 변조 완전 AI 기반 대화형 오디오

비디오 사전 생성된딥페이크 비디오 실시간 페이스 스왑 또는 비디오 변경

완전 자동화된 AI 생성 인터랙티브 비디오

(빨간색 V 표시는 이미 시장에서 이용 가능하며 실제 환경에서 악용되고 있는 성숙한 기술 수준을 나타냅니다)

딥페이크 자동화의 성숙도

생성형 AI 기술은 텍스트, 이미지, 비디오를 오프라인에서 단순히 생성하는 수준부터, 페이스 스왑이나 음성 모방처럼 실제 인물의 개입이 필요한 고급 온라인 조작에 이르기까지, 정교함과 성숙도의 다양한 스펙트럼을 포괄합니다. 최고 수준의 완전 자율적인 실시간 생성 기술은 설득력 있는 콘텐츠를 즉시 만들어내며, 상호 작용 중인 의심하지 않는 개인에게 유동적으로 대응합니다.

소개01

APT 헌팅을 위한 AI

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202512

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

새로운 소셜 엔지니어링

기업을 위한 AI04

AI 생성 텍스트를 활용한 소셜 엔지니어링

2022년부터 ChatGPT 및 기타 대규모 언어 모델(LLM) 챗봇이 사용 가능해지면서, 그럴듯한 텍스트를 손쉽게 생성할 수 있게 되었고, 이로 인해 피싱 이메일의 품질도 향상되었습니다. 피해자와 종종 언어적, 문화적 배경이 다른 공격자들은 이전에는 상당한 언어 장벽에 부딪혔지만, 이제 LLM 기술 덕분에 원어민과 같은 유창함과 문화적 뉘앙스로 메시지를 손쉽게 작성할 수 있습니다.

최근 사례로, 체크 포인트 하모니 이메일 & 컬래버레이션(Harmony Email & Collaboration)은 탐지를 피하기 위해 다양한 문구를 사용한 섹스토션(sextortion) 캠페인을 차단했습니다. 수천 개의 메시지로 구성된 각 이메일은 ‘시간이 얼마 남지 않았습니다’, ‘모래시계가 거의 다 비어가고 있습니다’, ‘당신의 시간이 끝나가고 있습니다’ 등의 표현으로 긴박감을 다양하게 전달했습니다. 섹스토션 캠페인에는 일반적으로 암호화폐 지갑 주소를 제외하면 악성 URL이나 첨부 파일 같은 전통적인 침해 지표(IoC)가 포함되지 않기 때문에, 탐지는 텍스트 분석에 크게 의존하며 방어 조치도 한층 더 복잡해집니다.

공격자들은 이제 LLM 기술 덕분에 원어민과 같은 유창함과 문화적 뉘앙스로 메시지를 손쉽게 작성할 수 있습니다.

소개01

APT 헌팅을 위한 AI

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202513

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

새로운 소셜 엔지니어링

기업을 위한 AI04

다크웹 포럼을 살펴보면 피싱 및 스팸 캠페인의 생성 및 관리를 간소화하도록 특별히 설계된 다양한 AI 지원 도구를 확인할 수 있습니다(그림 6). 예를 들어, GoMailPro(그림 8)는 월 500 달러에 판매되며, 2023년에는 ChatGPT 를 통합해 스팸 및 피싱 이메일 생성을 자동화했습니다. 2024년의 최근 업데이트에서는 스팸 배포에 사용된 차단된 이메일 계정을 복구하는 기능을 추가하는 등 솔루션의 기능이 한층 강화되었습니다.

그림 6 – AI 지원 스팸 에이전트 광고물

그림 7 – AI 지원 스팸 에이전트 광고물

소개01

APT 헌팅을 위한 AI

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202514

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

새로운 소셜 엔지니어링

기업을 위한 AI04

AI 텍스트 애플리케이션의 또 다른 예로는 사이버 범죄 그룹 GXC 팀이 개발한 'Business Invoice Swapper(그림 8)' 가 있습니다. 이 도구는 침해된 이메일 계정에서 송장이나 결제 지침을 자동으로 스캔하여 비즈니스 이메일 침해(BEC)를 용이하게 하도록 설계되었습니다. 은행 세부 정보를 변경하여 공격자가 제어하는 계좌로 자금을 리디렉션합니다. AI를 활용하여 언어 장벽을 문제없이 극복하고, 대용량 데이터를 효율적으로 관리하며, 배포를 자동화하여 사기성 이메일 공격의 확장성과 영향을 강화합니다.

그림 8 – 다크웹 포럼의 'Business Invoice Swapper' 광고

소개01

APT 헌팅을 위한 AI

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202515

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

새로운 소셜 엔지니어링

기업을 위한 AI04

다크웹 포럼에 광고된 X137 Telegram 관리 콘솔은 완전 자율형 AI 기반 텍스트 대화형 에이전트의 한 예입니다. 이 도구는 텍스트 기반 플랫폼에서 작업을 자동화하고, 지정된 작업에 따라 여러 사용자와 동시에 실시간 대화를 수행합니다. X137은 Gemini AI 를 사용하여 검열되지 않은 해킹 관련 인사이트를 통해 Telegram 커뮤니케이션을 모니터링하고, 요약하고, 참여합니다.

이러한 AI 기반 도구는 주로 언어적, 문화적으로 능숙한 인력을 고용하는 데 따르는 기존의 병목 현상을 극복하고 범죄 작전을 확장할 수 있는 역량을 키우는 데 기여합니다. AI로 생성된 텍스트는 사이버 범죄자들이 언어적, 문화적 장벽을 극복하여 정교한 실시간 및 오프라인 통신 공격을 실행할 수 있는 능력을 크게 강화합니다. 검열되지 않은 LLM 기반 챗봇은 여러 개의 커뮤니케이션 스레드를 동시에 설득력 있고 효과적으로 관리할 수 있습니다.

금전적 동기를 가진 범죄자들 외에도 국가 차원의 행위자들이 점점 더 생성형 AI를 활용하여 사회 공학 기법을 강화하고 있습니다. Google의보고서에 따르면 이란, 러시아, 중국의 APT 및 정보 운영 행위자들이 콘텐츠 제작, 현지화, 페르소나 개발에 Gemini와 같은 AI 도구를 사용했다고 합니다. OpenAI의 보고서에서도 이와 유사한 기능이 영향력 작전과 피싱, 영향력 캠페인, 정찰을 간소화하는 데 사용되고 있음을 확인했습니다.

AI로 생성된 오디오 딥페이크

사이버 범죄자들이 정교한 사칭 스캠을 실행하기 위해 AI로 생성된 오디오, 즉 '오디오 딥페이크'를 점점 더 많이 활용하고 있습니다. 이 기술은 개인의 목소리를 매우 사실적으로 복제하여, 사기범이 피해자를 기만하는 능력을 한층 강화합니다. SNS상의 유명인부터 일반 사용자에 이르는 음성 샘플은 공격자들이 악용할 수 있는 풍부한 자원이 됩니다.

ElevenLabs와 같은 인기 있는 플랫폼과 오픈 소스 검색 기반 음성 변환(RVC 알고리즘 같은 도구를 사용하면 단 10분의 음성 샘플만으로 설득력 있는 오디오를 생성할 수 있습니다. 이러한 기술은 범죄자들이 가족 구성원이납치되었거나위급한 상황에 처했다는허위 주장을 하며, 긴급한 송금을 요구하는 갈취 사건에 사용되어 왔습니다.

최근 이탈리아에서 발생한 사건 에서는 사기범들이 AI 기반 라이브 오디오 딥페이크 기술을 이용해 Guido Crosetto 국방부 장관의 목소리를 정교하게 사칭한 것으로 알려졌습니다. 이들은 인질 석방을 위한 자금이 필요하다는 거짓 명목으로 그의 부유한 지인들에게 돈을 갈취하려 했습니다. 디자이너 Giorgio Armani 를 포함한 여러 유명 인사들이 표적이 되었으며, 장관을 알고 있던 피해자 중 적어도 한 명은 실제로 속아 거액을 송금한 것으로 전해졌습니다.

소개01

APT 헌팅을 위한 AI

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202516

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

새로운 소셜 엔지니어링

기업을 위한 AI04

https://cloud.google.com/blog/topics/threat-intelligence/adversarial-misuse-generative-ai https://downloads.ctfassets.net/kftzwdyauwt9/5IMxzTmUclSOAcWUXbkVrK/3cfab518e6b10789ab8843bcca18b633/Threat_Intel_Report.pdf https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI https://www.businessinsider.com/ai-scam-voice-clone-fake-kidnap-call-mother-money-ransom-2023-4 https://nypost.com/2024/10/18/us-news/scammers-swindle-elderly-california-man-out-of-25k-by-using-ai-voice-technology-to-claim-his-son-was-in-horrible-accident-needed-money-for-bail-absolutely-his-voice https://nypost.com/2024/10/18/us-news/scammers-swindle-elderly-california-man-out-of-25k-by-using-ai-voice-technology-to-claim-his-son-was-in-horrible-accident-needed-money-for-bail-absolutely-his-voice https://www.theguardian.com/world/2025/feb/10/ai-phone-scam-targets-italian-business-leaders-including-giorgio-armani

최근연구 에 따르면 사람들은 더 이상 실제 목소리와 AI로 생성된 오디오를 확실하게 구분할 수 없습니다. 범죄 포럼에서는 AI 생성 텍스트와 오디오를 종합적인 범죄 전화 시스템에 통합하자는

논의가 점차 증가하고 있습니다(그림 9). 다크웹 포럼의 광고에서는 AI 기반 기능을 전화 기반 스캠에 구현하기 위해 AI 개발자를 모집하고 있습니다.

그림 9 - 전화 시스템을 위한 AI 개발자 모집

소개01

APT 헌팅을 위한 AI

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202517

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

새로운 소셜 엔지니어링

기업을 위한 AI04

https://www.researchgate.net/publication/384698535_People_are_poorly_equipped_to_detect_AI-powered_voice_clones

그림 10 - AI 강화 전화 시스템의 기능을 소개하는 광고

이 AI 기반 통화 시스템은 이미 구매 가능하며 주로OTP 봇으로 활용됩니다. 봇은 잠재적인 피해자에게 전화를 걸어 미리 정해진 대본을 따라 주로 금융 서비스 계좌의 일회용 비밀번호를 얻어냅니다. 더 발전된 플랫폼은 이제 유연한 대화 구조를 제공하여, 실시간으로 피해자 반응을 유동적으로 분석해 시나리오를 조정합니다.

2025년 1월에 출시된 한 서비스는 이러한 시스템이 수많은 언어를 원활하게 관리하고 다수의 동시 상호 작용을 처리할 수 있어, 숙련된 인력에의존하는 기존 전화 스캠에 비해 확장성이 크게 향상되었음을 강조합니다(그림 10). 해당 판매자와의 대화에서 이 판매자는 '우리는 대화의 골격을 만들고, AI는 이를 바탕으로 고객을 안내한다'고 설명하면서, '모든 주제, 모든 분야, 모든 언어, 모든 음성'에 걸쳐 대본을 벗어나 예상치 못한 시나리오를 관리할 수 있음을 강조했습니다.

소개01

APT 헌팅을 위한 AI

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202518

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

새로운 소셜 엔지니어링

기업을 위한 AI04

https://securelist.com/2fa-phishing/112805/ https://www.theguardian.com/money/2025/mar/05/deepfakes-cash-and-crypto-how-call-centre-scammers-duped-6000-people

그림 11 - 전화 시스템 판매자와의 대화

러시아어와 스페인어로 된 샘플 대화가 제공되어 시스템의 다국어 능력을 보여주었습니다(그림 11). 이러한 고급 AI 전화 플랫폼은 교육 및 지원을 포함하여 약 2만 달러의 비용이 들거나, 기본요금 500달러에 분당 1.50달러의 추가 요금이 부과되어 많은 숙련된 인력의 필요성을 크게 줄입니다.

소개01

APT 헌팅을 위한 AI

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202519

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

새로운 소셜 엔지니어링

기업을 위한 AI04

AI로 생성된 시각적 딥페이크

범죄 포럼에서는 고객 확인(KYC) 신원 검증을 우회하기 위해 AI 생성 이미지를 활용하는 사례가 증가하고 있습니다. 기본적인 AI 기반 서비스는 그럴듯한 신원을 생성하여 새 계정을 부정하게 등록하거나, 동결된 계정을 해제하거나, 사용자 신원을 위조해 합법적인 계정을 탈취할 수 있는 기능을 제공합니다. 간단한 AI 생성 이미지의 가격은 일반적으로 약 70달러부터 시작합니다. ONFIDO, SUMSUB, JUMIO와 같은 주요 KYC 제공업체를 겨냥한 더 정교한 범죄 서비스는 더 높은 수수료를 요구하거나, 탈취한 계좌에서 인출한 자금의 일정 비율을 요구하기도 합니다(그림 12 참조).

그림 12 - 계정 검증 및 잠금 해제 서비스 광고

소개01

APT 헌팅을 위한 AI

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202520

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

새로운 소셜 엔지니어링

기업을 위한 AI04

그림 13 - KYC 인증을 제공하는 사이버 범죄 서비스.

보통 범죄 서비스 제공업체는 인증 링크를 수신하고 직접 신원 확인을 완료합니다( 그림 13). 가격은 지역에 따라 다르며, 유럽 및 CIS 국가에서는 약 350달러, 미국과 캐나다에서는 특히 위조문서의 경우 최대 500달러까지 비용이 발생합니다. 동결된 계좌에 접근할 수 있는 익명의 범죄자를 신뢰하는 것은 고객에게 큰 위험을 초래합니다. 이러한 거래가 가능한 것은 불법 시장 내에 평판 메커니즘과 포괄적인 리스크 완화 절차가 자리 잡고 있기 때문입니다.

소개01

APT 헌팅을 위한 AI

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202521

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

새로운 소셜 엔지니어링

기업을 위한 AI04

사전 녹화된 딥페이크 비디오

AI로 생성된 비디오 딥페이크는 사전 녹화된 영상에서 얼굴과 음성을 교체하는 방식으로 사기에 점점 더 많이 악용되고 있습니다. 이러한 영상은 유명 인물이 투자 사기 등 사기 행위를 지지하는 것처럼 거짓으로 묘사되는 경우가 많습니다. 사전 녹화된 딥페이크 영상은 기술적 진입 장벽이 낮아, 범죄 포럼에서도 이러한 서비스가 널리 유통되고 있습니다. 비디오의 길이와 품질에 따라 가격은 수백 달러에서 수천 달러까지 다양합니다. 최근 조지아 트빌리시에서 발생한 한범죄 작전에서는 Ben Fogle과 Martin Lewis와 같은 공인이 등장하는 딥페이크 영상을 통해 사기성 암호화폐 투자가 홍보되었고, 이로 인해 영국과 캐나다에서 6,000명 이상의 피해자가 발생하며 총 3,500만 달러의 손실로 이어졌습니다. 금융 사기 외에도, AI로 제작된 영상은 전 세계적으로 정치적 영향력 캠페인과 선거 관련 허위 정보 유포에 널리활용되고 있습니다.

실시간 비디오 조작

사전 녹화된 딥페이크 비디오는 흔하지만, 실시간 비디오 조작은 좀 더 고차원적인 문제입니다. OpenAI의 Sora와 같은 고급 AI 비디오 생성기는 여전히 제한적이며 실시간 통합을 허용하지 않지만, 저해상도 실시간 페이스 스왑 도구는 이미 접근 가능하며 활발히 사용되고 있습니다. 범죄 포럼에서 제공되는 유료 서비스 및 도구와 상대적으로 적은 하드웨어 투자만으로 사용할 수 있는 오픈 소스 솔루션 덕분에 실시간 딥페이크 공격이 점점 더 용이해지고 있습니다.

이러한 발전의 영향은 실제 사기 사건에서 이미 분명하게 드러나고 있습니다. 2024년 초, 영국의 엔지니어링 회사인 Arupp는 2천만 파운드의손실을 입었습니다. 이는 사이버 범죄자들이 딥페이크 비디오 기술을 이용해 실시간 화상 통화 중 고위 임원을 사칭하여 직원이 사기 계좌로 자금을 이체하도록 유도한 결과였습니다.

소개01

APT 헌팅을 위한 AI

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202522

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

새로운 소셜 엔지니어링

기업을 위한 AI04

https://www.theguardian.com/money/2025/mar/05/deepfakes-cash-and-crypto-how-call-centre-scammers-duped-6000-people https://research.checkpoint.com/2024/beyond-imagining-how-ai-is-actively-used-in-election-campaigns-around-the-world/ https://www.theguardian.com/technology/article/2024/may/17/uk-engineering-arup-deepfake-scam-hong-kong-ai-video

한사례에서는 음란물과 AI 기반 오디오- 비디오 도구를 이용해 포르노 스타를 사칭했습니다. 실시간 채팅을 통해 수십 명의 남성들이 다양한 성범죄를 저지르도록 유도되었으며, 녹화된 영상은 이후 음란물로 유포되었습니다. 공격자와 그의 지인 최소 4명이 구금되었습니다.

또 다른 최근 사례로, 미국에 거주하는 한 엔지니어가 온라인 기술 인터뷰 중 AI 기반 페이스 스왑 기술을 이용한 신원 도용 시도를 신고했습니다(그림 14). 이는 개별적인 사기 사건으로 보일 수도 있지만, 국가가 후원하는 스파이 활동이나 금전적 목적의 작전과 연관된 광범위한 캠페인의 일부일 수 있다는증거가 점점 늘어나고 있습니다. 실시간 딥페이크 기술의 접근성이 계속 높아짐에 따라, 이 같은 사기 시도는 더욱 증가할 것으로 예상됩니다.

그림 14 – 인터뷰 중 실시간 페이스 스왑(face swap)에 의한신원 도용 시도

소개01

APT 헌팅을 위한 AI

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202523

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

새로운 소셜 엔지니어링

기업을 위한 AI04

https://www.mako.co.il/men-men_news/Article-af8ca2682ff8591027.htm https://cloud.google.com/transform/ultimate-insider-threat-north-korean-it-workers https://www.linkedin.com/posts/dawid-moczadlo_wtf-developer-used-ai-to-alter-his-appearance-activity-7292604406464671744-T_Nw

그림 15 - Darkweb 포럼에 무료로 게시된 400개의 ChatGPT 계정에 대한 자격 증명

LLM 계정 타겟팅 생성형 AI 플랫폼의 인기가 계속 상승함에 따라 사이버 범죄 암시장에서도 그 가치가 높아지고 있습니다. LLM 서비스에 대한 접근성을 통해 공격자는 AI를 악의적인 목적으로 사용할 수 있으며 이러한 서비스는 거래 가능한 상품이 됩니다. 그 결과 LLM 계정은 사이버 범죄자들의 중요한 표적이 되었습니다.

사이버 범죄자들은 ChatGPT, OpenAI API 키, 기타 대형 언어 모델 (LLM) 플랫폼 계정을 포함한 AI 서비스 계정 탈취를 기반으로 한 암시장을 활발히 운영하고 있습니다. 이러한 계정은 대부분 크리덴셜 스터핑 공격, 피싱, 인포스틸러 감염을 통해 획득한 후 사이버 범죄 포럼, Telegram 그룹, 다크웹 마켓플레이스에서 재판매되거나 무료로 공유됩니다(그림 15).

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202524

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

LLM 계정 타겟팅

AI 서비스 자격 증명은 사이버 범죄자들이 다음과 같은 행위를 할 수 있게 해 주는 고유한 가치를 가지고 있습니다.

• AI 사용 제한을 우회합니다(예: ChatGPT Plus 또는 OpenAI API).

•  악의적인 목적(예: 피싱 콘텐츠 생성, 멀웨어 작성, 보안 제한 우회 등) 을 위해 LLM을 익명으로 사용할 수 있습니다.

사이버 범죄 포럼에는 ChatGPT 계정, API 키, 도난당한 자격 증명에 대한 대량 액세스를 제공하는 수많은 목록이 포함되어 있습니다. 이러한 게시물은 일반적으로 대규모 유출로 인해 이전에 유출된 계정 인증 정보 또는 멀웨어 로그에서 추출한 AI 서비스에 대한 인증 정보를 홍보합니다.

그림 16 – ChatGPT 계정 자격 증명을 제공하는 다크웹 포럼 스레드

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202525

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

LLM 계정 타겟팅

그림 17 – 공격자가 OpenAI의 인증 시스템에 대해 대규모 로그인 목록을 테스트할 수 있도록 하는 Silver Bullet 구성

AI 계정의 대규모 크리덴셜 스터핑

AI 계정을 도용하는 시장이 번창함에 따라 사이버 범죄자들은 다양한 방법과 도구를 개발하여 계정을 도용하고 있습니다. 크리덴셜 스터핑 공격은 도난당한 사용자 이름-비밀번호 쌍을 여러 플랫폼에서 사용하여 비밀번호 재사용 습관을 악용하는 수단으로, AI 계정을 탈취하는 데 가장 널리 쓰입니다.

공격자들은 사전 구성된 크리덴셜 스터핑 도구를 사용하여 AI 플랫폼을 표적으로 삼습니다(그림 17). 일부 사이버 범죄자들은 속도 제한, 세션 기반 인증, 다중 인증 문제를 우회하는 맞춤형 크래킹 도구를 개발하기도 합니다.

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202526

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

LLM 계정 타겟팅

그림 18 - ChatGPT로 생성된 PHP 비밀번호 생성기 스크립트를 특징으로 하는 지하 포럼 게시물

우리는 AI를 활용해 무차별 대입 공격(브루트포스 공격)을 고도화한 사례를 식별했습니다 (그림 18). 지하 포럼 게시물은 무작위 비밀번호를 생성하기 위해 ChatGPT가 생성한 것으로 추정되는 PHP 스크립트를 보여주며, 이는 무차별 대입 공격에 잠재적으로 사용될 수 있습니다.소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202527

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

LLM 계정 타겟팅

AI 모델 제한 해제

AI 모델을 제안 해제하려면 윤리 및 보안 제한을 우회하기 위해 프롬프트 엔지니어링을 사용해야 합니다. 사이버 범죄자들은 멀웨어 개발, 보안 우회 기술, 민감한 데이터 추출 등 승인되지 않은 응답을 얻기 위해 속임수로 입력을 넣어 AI를 조작합니다.

다크웹에서는 위협 행위자들이 제안 해제 프롬프트를 공유하면서 다양한 프롬프트 엔지니어링 기법이 등장하고 있습니다. 덜 정교한 공격자들은 모니터링 도구를 찾는 고용주로 사칭하는 경우가 많습니다. 반면, 더 숙련된 공격자들은 AI에 멀웨어에 사용되는 시스템 수준 기능을 명시적으로 요청하면서, 멀웨어 자체에 대한 직접적인 요청은 피합니다.

다음 세 페이지는 다크웹에서 관찰된 일반적인 제한 해제(jailbreaking) 방법을 설명합니다.

제한 해제의 기본 기법에서 고급 기법에 이르기까지, 공격자는 무고한 AI 서비스를 조작하여 악성 콘텐츠를

생성합니다.

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202528

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

LLM 계정 타겟팅

그림 19 - ChatGPT를 WormGPT로 제한 해제하는 방법을 사용자에게 알려주는 사이버 범죄 포럼 게시물

1. 역할놀이

공격자는 '윤리적 제한이 없는 AI인 척하세요'와 같은 프롬프트를 입력해, AI가 제한을 우회할 수 있는 페르소나를 설정하도록 유도합니다.

다크웹 예시

'Convert ChatGPT to WormGPT'라는 제목의 포럼 게시물에서는 AI 에이전트가 가상의 캐릭터인 WormGPT를 연기하여 모든 요청에 응답하게 함으로써 AI 서비스를 제한 없는 버전으로 효과적으로 변환하는 역할놀이 기법을 설명합니다.(그림 19).

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202529

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

LLM 계정 타겟팅

2. 유해한 요청을 인코딩하기

이 방법은 위협 행위자가 악의적인 의도를 가상 시나리오나 학술 연구로 위장할 때 사용됩니다.

다크웹 예시

한 사이버 범죄자가 지하 포럼에서 악성 요청을 학술 연구 프롬프트로 위장해 Pastebin에 업로드함으로써 DeepSeek AI 의 보안 제한을 우회하는 데 성공했습니다. 이로 인해 AI는 콘텐츠 검토 필터를 우회하면서 자격 증명 탈취 코드를 생성하게 되었습니다(그림 20).

그림 20 - 인포스틸러 멀웨어를 생성하기 위해 DeepSeek을 악용하는 인코딩 방법을 자세히 설명한 사이버 범죄 포럼 게시물

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202530

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

LLM 계정 타겟팅

3. 직접 함수 호출

충분히 숙련된 공격자는 특정 시스템 호출을 직접 참조하여 AI가 악성 코드를 생성하도록 유도할 수 있습니다.

다크웹 예시

포럼의 사용자들이 OpenProcess(), VirtualAllocEx(), CreateRemoteThread()와 같은 특정 API 함수를 사용하는 코드를

그림 21 - Windows API 기반 함수 요청을 활용해 AI 모델의 보안 제한을 우회하고 악성코드를 생성하는 방법을 설명한 포럼 게시물

요청하여, AI 모델을 제한 해제하고 Windows 멀웨어를 생성하는 것에 대해 논의합니다(그림 21). 이렇게 해서 AI 원격 액세스 트로이 목마(RAT)가 생성됩니다.

연구원들발견했습니다특히 일부 모델은 자체 안전 메커니즘을 우회하도록 스스로를 속이는 입력을 생성하게 하여 자율적으로 탈츨(jailbreak)하는 방법을 학습할 수 있습니다. 이는 공격자가 이러한 기술을 개선하여 AI 시스템이 점점 더 위험한 콘텐츠를 생성하게 만들 수 있기 때문에 심각한 위험을 초래할 수 있습니다.

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202531

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

LLM 계정 타겟팅

https://scale.com/research/j2

그림 22 - 악성 코드를 강화하기 위해 ChatGPT를 속이는 포럼 사용자

멀웨어를 위한 AI 사이버 범죄자들은 멀웨어 킬 체인 단계를 생성하고 최적화하기 위해 AI를 점점 더 많이 사용하고 있습니다. 사이버 범죄자들이 의존하는 AI 도구에는 랜섬웨어 스크립트, 피싱 키트, 인포스틸러 개발, 딥페이크 생성 등이 포함됩니다. 이러한 발전은 숙련도가

낮은 공격자들조차 정교한 기술에 접근할 수 있게 하고, 공격을 가속화하며 확장할 수 있게 만듭니다.

다크웹 포럼의 최근 사례에서는 해커가 ChatGPT를 사용해 Windows 로그에서 자격 증명을 추출하는 코드를 최적화한 사례가 보고되었습니다 (그림 22).

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

AI 취약성 연구

다크웹의 AI 모델

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

멀웨어를 위한 AI

AI 보안 보고서 202532

2025년 초, Check Point Research는 2024년 12월 AI 도구를 사용하는 것으로 알려진 최고의 랜섬웨어 그룹으로 FunkSec 을주목했습니다. 이 그룹은 AI 지원 멀웨어 개발을 활용하는 것으로 보입니다. FunkSec의 배후에 있는 사이버 범죄자들은 '코더'와 ' 개발자'를 구분합니다(그림 23). 코더는 스스로 코드를 작성할 수 있는 반면, 개발자는 AI에 의존하여 멀웨어를 만드는 차세대 위협 행위자입니다.

추후 FunkSec의 리더는 최소 20%의 운영이 AI를 기반으로 하고 있다고 공개적으로 인정했습니다.

또한 FunkSec은 'shame site(사이버 범죄자들의 협박용 데이터 공개 사이트)'에서 AI로 생성된 DDoS 도구와 맞춤형 GPT 스타일의 챗봇을 홍보하며 운영 및 홍보 전반에 걸쳐 AI가 어떻게 활용되는지 보여주었습니다.

당사는 다른 멀웨어 제작자들이 마케팅 목적으로 AI를 활용하는 것을 발견했습니다. Check Point Research에서는 AI 기반 텍스트 인식을 사용한다는 Rhadamanthys Stealer 0.7의 주장을  분석했습니다. 그러나 그것이 최신 AI가 아닌, 광학 문자 인식(OCR) 에 사용되는 기존 머신 러닝 기술에 의존하고 있음을 알게 되었습니다.

그림 23- FunkSec 리더가 멀웨어 개발에 AI를 사용한다고 말하는 Telegram 대화.

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

AI 취약성 연구

다크웹의 AI 모델

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

멀웨어를 위한 AI

AI 보안 보고서 202533

https://research.checkpoint.com/2025/funksec-alleged-top-ransomware-group-powered-by-ai/ https://osint10x.com/threat-actor-interview-spotlighting-on-funksec-ransomware-group/ https://research.checkpoint.com/2024/massive-phishing-campaign-deploys-latest-rhadamanthys-version/

그림 24 – 다크웹 포럼 중 한 곳의 'Gabbers Shop' 광고

멀웨어 데이터 마이닝을 위한 AI

AI로 개발된 멀웨어는 아직 초기 개발 단계에 있지만, 특히 인포스틸러와 같은 멀웨어 계열이 AI를 활용하여 탈취한 대량의 데이터를 신속하게 처리, 정리, 마이닝하는 사례가 확인되고 있습니다. 한 예로, LummaC2 멀웨어는 제어판 내에서 AI 기반 봇 탐지 기능을 사용하여 자동화된 보안 분석 시스템과 진짜 피해자를 구분합니다. 마찬가지로 멀웨어 로그 공급업체인 Gabbers Shop

은 AI를 사용하여 도난당한 자격 증명과 로그가 포함된 대규모 데이터베이스를 체계적으로 정리하고 정제하여, 판매용 데이터의 품질과 유용성을 개선한다고 주장합니다 (그림 24). 이 첨단 AI 애플리케이션은 범죄자들이 방대한 데이터 세트를 효율적으로 관리하고 표적 공격을 위한 정보 수집과 작전 준비를 더 간소화하는 능력을 강화합니다.

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

AI 취약성 연구

다크웹의 AI 모델

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

멀웨어를 위한 AI

AI 보안 보고서 202534

그림 25 - 인포스틸러 데이터에서 가치 있는 피해자를 식별하기 위해 AI 사용을 광고하는 다크웹 포럼 게시물

최근 게시물은 사이버 범죄자가 ChatGPT를 모델로 한 악성 LLM 인 DarkGPT를 사용하여 대규모 인포스틸러 로그 데이터 세트를 샅샅이 분석하는 방법을 보여줍니다(그림 25). 표준 검색과 달리 DarkGPT는 자연어 쿼리를 사용하여 특정 키워드, 자격 증명, 도메인 이름 등 기타 민감한 데이터를 추출합니다. 이러한 인포스틸러 로그는 일반적으로 멀웨어에 의해 수집되며 수천 개의

침해된 사용자 이름, 비밀번호, API 키, 세션 토큰을 포함하고 있습니다. 분석을 자동화함으로써 DarkGPT와 같은 도구는 크리덴셜 스터핑, 계정 탈취, 금융 사기, 기업에 대한 초기 액세스 자격 증명 등을 신속하게 식별하여 랜섬웨어 공격으로 이어질 수 있습니다.

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

AI 취약성 연구

다크웹의 AI 모델

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

멀웨어를 위한 AI

AI 보안 보고서 202535

국가 차원의 공격자 공격 주기에서의 AI

Google의 분석에 따르면 Gemini의 사용은 20개국 이상의 국가 연계 APT 그룹, 특히 이란과 중국에서 공격 수명 주기 전반에 걸쳐 활용되었습니다. 이 그룹들은 정찰, 악성 코드의 무기화, 피싱 전달 방식 고도화, 취약점 탐색 및 악용, 지속적 접근 도구 배포, C2(명령 및 제어) 통신 구축, 데이터 탈취 및 교란 작업 자동화 등에 Gemini를 활용했습니다. 특히 이란의 그룹들은 모든 공격 단계에서 AI 도구를 적극적으로 통합하고 있으며, 취약점 연구, 정찰, 코딩에 집중 투자하고 있습니다. 반면 중국의 공격자들은 특정 기술과 스크립팅에 관한 취약성 연구에 주력하고 있습니다.

Gemini는 APT 그룹이 정찰, 악성 코드 개발, 피싱 기법 개선, 취약성 발굴을 위해 자사의 도구를 사용하는 것을 발견했습니다.

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202536

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

멀웨어를 위한 AI

https://cloud.google.com/blog/topics/threat-intelligence/adversarial-misuse-generative-ai" \t "_blank

LLM 데이터 포이즈닝

연구자들은 학습 데이터세트를 조작하여 백도어나 악성 코드를 삽입하는 사이버 보안 위협인 LLM 중독이라는 새로운 위험에 대해 점점 더 많이 경고하고 있습니다. 일단 중독되면 이러한 AI 모델은 나중에 악성 콘텐츠를 복제하거나 증폭시켜 AI가 생성한 결과물에 의존하는 사용자와 조직에 심각한 보안 문제를 일으킬 수 있습니다.

OpenAI 또는 Google의 Gemini와 같은 주요 AI 제공 업체의 데이터 세트에 침투하는 것은 엄격한 데이터 검증 프로세스로 인해 어렵지만, 주목해 볼 만한 실제 중독 공격 성공 사례가 있습니다. 대표적인 사례로는 공격자가 개발자와 연구원이 사전 훈련된 모델을 공유하고 활용하기 위해 널리 사용하는 오픈 소스 AI 플랫폼인 Hugging Face에 손상된 AI 모델 100개를 업로드한 사건이 있습니다. 공격자들은 Hugging Face의 개방적인 공동 작업 구조를 악용하여, 배포 시 유해한 코드나 잘못된 정보를 퍼뜨릴 수 있는 손상된 모델을 도입해서 기존 소프트웨어 공급망 공격을 모방했습니다.

전통적으로 데이터 중독은 데이터 세트가 오염되어 향후 결과물을 손상시키는 AI 모델의 학습 단계를 대상으로 합니다. 그러나 최신 LLM이 추론 단계에서 실시간 온라인 정보에 점점 더 많이 액세스하고 이를 처리함에 따라 새로운 취약성이 나타났습니다. 악의적인 행위자는 AI 시스템이 검색하여 응답에 포함하도록

설계된 기만적이거나 유해한 콘텐츠를 전략적으로 온라인에 배치하여 이를 악용하는데, 이러한 행위를 '검색 중독'이라고 합니다.

최근 한 연구는 모스크바에 기반을 둔 'Pravda'라는 허위 정보 네트워크가 실행한 회수 중독의 중대한 사례를 강조했습니다. 러시아 관료 회의에서 선전 전문가 존 마크 두건(John Mark Dougan)은 그 의도를 명확히 밝혔습니다. “러시아 관점에서 이러한 러시아 내러티브를 밀어붙임으로써 우리는 전 세계 AI 를 실제로 변화시킬 수 있습니다.” 2024년에만 Pravda는 AI 챗봇 반응에 영향을 주도록 명시적으로 설계된 약 360만 건의 선전성 기사를 제작했습니다. 이들의 대규모 콘텐츠 작전은 주요 서구 AI 시스템을 감염시키는 데 성공했으며, 연구원들은 주요 AI 챗봇이 약 33%의 확률로 Pravda의 잘못된 내러티브를 반영한다는 사실을 발견했습니다. 이는 정교한 AI 모델이 허위 정보 캠페인이나 기타 중독 시나리오에 악용될 수 있다는 현존하는 명백한 위협을 보여 줍니다.

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

AI 취약성 연구

다크웹의 AI 모델

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

멀웨어를 위한 AI

AI 보안 보고서 202537

https://arxiv.org/html/2408.12798v1 https://www.giskard.ai/knowledge/data-poisoning-attacks-on-enterprise-llm-applications-ai-risks-detection-and-prevention https://www.newsguardrealitycheck.com/p/a-well-funded-moscow-based-global

03 사이버 보안 연구자를 위한 AI 03

사이버 보안에서 AI 활용 방안은 탐지 메커니즘을 강화하고 복잡한 시스템을 더 쉽게 접근할 수 있도록 하는 등 다양한 방법으로 모색되고 있습니다. 이 섹션에서는 AI가 연구를 개선하는 방법, 특히 지능형 위협 행위자 탐지 및 AI 취약성 연구 방법을 자세히 설명합니다. 이러한 접근 방식은 사이버 보안 연구의 미래를 만들어 나갈 것이라고 여겨지는 기존 기술과 새로운 개념을 활용합니다. 현재의 도구는 이미 연구자의 효율성을 크게 향상할 수 있도록 하는 기능을 제공하고 있습니다.

AI를 활용하여, 특히 LLM이나 LLM으로 구동되는 에이전트 프레임워크를 통해 데이터 수집 및 예비 분석을 효율적으로 수행할 수 있습니다. 이러한 시스템 테스트를 실행하고 데이터를 수집하며 초기 분석을 수행할 수 있어, 인간 연구자들은 더 높은 수준의 전략적 고려 사항에 집중할 수 있습니다.

사이버 보안 연구자를 위한 AI

소개01

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202539

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

APT 헌팅을 위한 AI

기업을 위한 AI04

AI 기반 APT 추적

규모에 따른 패턴 인식 - 도메인 및 파일 이름

APT 헌터들은 종종 멀웨어 리버스 엔지니어링과 같은 기술적 과제를 해결하는 데 자부심을 느낍니다. 하지만 진정한 흥분은 특정 조직이나 기관을 연상시키는 도메인을 발견했을 때, 즉 뭔가 의미 있는 단서를 포착했다고 느낄 때 찾아옵니다.

LLM은 대규모 데이터 세트를 처리하고 분석하여 위장, 속임수 기법 및 APT 기법의 패턴을 탐지할 수 있습니다. 분석가들은 LLM을 빅 데이터 파이프라인에 통합하여 대규모로 악의적 동향을 자동으로 식별할 수 있으며, 다음과 같은 언어 기반 점수 시스템을 만들 수 있습니다.

• 사칭 및 주제 속임수: LLM은 수백만 개의 도메인 등록을 분석하여 정부, 금융 또는 보안 기관을 모방하는 도메인을 식별할 수 있습니다(예: mofa-gov-np.fia-gov[.]net 또는 militarytc[.]com).

• 파일 명명 규칙: 방대한 멀웨어 저장소를 스캔함으로써, LLM은 사용자를 속이기 위해 구조화된 파일 이름(예: tax_return_2025.pdf.exe)을 탐지할 수 있습니다.

• 신뢰 예측: 자연어 이해를 통해 LLM은 비기술적 사용자가 도메인이나 파일을 신뢰할지 여부를 평가하고 속임수 가능성 점수를 부여할 수 있습니다.

• 언어 및 지역 타겟팅: LLM은 도메인 언어 사용 패턴(예: NATO 엔티티를 모방한 키릴 문자 도메인)을 감지하여 지역 타겟 사이버 작전을 파악할 수 있습니다.

Check Point Research가 의심스러운 도메인의 샘플 세트를 제공했을 때, ChatGPT는 처음에 이상한 것처럼 보였던 httpswwwafipgob[.]com 도메인을 성공적으로 분석했습니다. 또한 이 도메인이 악성일 수 있는 이유를 다음과 같이 설명했습니다. "이 도메인은 'afip'와 'gob'을 결합하여 아르헨티나 정부의 세무 사이트 AFIP를 모방하고 있습니다. 공식 도메인이 아니기 때문에 특정 지역을 대상으로 한 피싱 시도로 추정됩니다."

보고서에서 TTP 및 IOC를 추출하기

위협 인텔리전스 보고서는 APT 그룹 운영에 대한 귀중한 통찰력을 제공하지만, 헌팅 규칙을 위한 전술, 기술 및 절차(TTP)를 수동으로 추출하는 데는 많은 시간이 소요됩니다. AI는 공격 패턴을 자동으로 식별하고 이를 MITRE ATT&CK와 같은 프레임워크에 매핑하며 구조화된 헌팅 규칙을 생성하여 이 프로세스를 간소화할 수 있습니다. 이를 통해 분석가들은 원시 위협 인텔리전스를 실행 가능한 방어로 신속하게 변환하여 위협 헌팅 효율성을 개선하고 특정 위협 및 멀웨어 탐지 시간을 단축할 수 있습니다.

이를 위해, 다음과 같은 지침을 자세히 설명하는 프롬프트를 생성했습니다.

소개01

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202540

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

APT 헌팅을 위한 AI

기업을 위한 AI04

여러분은 지능형 지속 공격(APT) 전문 사이버 보안 분석가로서 APT 블로그 게시물 또는 보고서를 분석하고 모든 관련 기술 세부 정보를추출하는 임무를 맡고 있습니다. 문서에서 사실적인 정보에만집중하고 추측을 피합니다. 결과물에는 다음과 같은 구조화된 섹션이 포함되어야 합니다.

1. 기술(TTP) - APT가 사용하는 모든전술, 기법 및 절차(TTP)를 추출합니다. - 해당되는 경우 MITRE ATT& CK 프레임워크를사용합니다 - 실행 방법, 지속성 메커니즘, 방어 회피 및 명령 제어 기법을 식별합니다.

2. 기술적 아티팩트 - APT와 관련된 모든 프로세스, 파일 이름, 레지스트리 키, 파일 경로 및 메모리 아티팩트를 나열합니다. - 여러 변형이 있는 경우 명확하게 구분합니다. - 어떠한 가정도 포함하지 않습니다. 문서화된 아티팩트만 포함됩니다.

3. 네트워크 및 C2 인프라 - 모든 C2 도메인, IP 주소, 호스팅 제공 업체 및 네트워크 프로토콜을 추출합니다.

프롬프트 생성

- 통신 방법(HTTP, HTTPS, 원시 TCP, DNS 터널링 등)을 식별합니다. - 포트 노킹 또는 난독화 방법이 언급된 경우 세부 정보를 포함합니다.

4.버전 관리 및 타임스탬프 - 멀웨어 컴파일, 최초 탐지, 캠페인 활동과 관련된 타임스탬프를 추출합니다. - 가능하면 타임스탬프에서 시간대를 유추합니다.

5. 추가 멀웨어 구성 요소 - APT에 여러 멀웨어 임플란트 또는 로더가 있는 경우, 이것들의 기능과 관계를설명합니다. - 주목할 만한 난독화 또는 회피 기능을강조합니다.

응답 규칙: - 추측하지 않습니다. 불분명한 내용이 있으면 언급되지 않았다고 명시적으로 언급합니다. - 일반적인 보안 조언을 포함하지 않습니다. 기술적 사실만 추출합니다. - 표, 글머리 기호, 섹션 헤더에 명확한 서식을 사용합니다. - 정확하고 기술적인 언어를 사용합니다. 일반 사용자를 위해 단순화하지 않습니다.

소개01

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202541

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

APT 헌팅을 위한 AI

기업을 위한 AI04

개념 증명을 위해 멀티 플랫폼 백도어인SysJoker에대한 보고서 중 하나를 사용하여 위에서 언급한 프롬프트를 ChatGPT에 제공했습니다. ChatGPT는 다음과 같은 결과를 반환했습니다.

멀웨어 ElizaRAT에 대한 보고서에서 자동 추출의 더욱 자세한 예시는 여기에서 확인할 수 있습니다.

그림 1 - SysJoker 보고서에서 중요할 수도 있는 IOC 추출

소개01

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202542

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

APT 헌팅을 위한 AI

기업을 위한 AI04

https://research.checkpoint.com/2023/israel-hamas-war-spotlight-shaking-the-rust-off-sysjoker/ https://research.checkpoint.com/2024/the-evolution-of-transparent-tribes-new-malware/ https://chatgpt.com/share/67b70d40-3dac-8006-a3e7-bc6c6daf72ae

상관관계와 어트리뷰션

AI는 외부 보고서 또는 위협 행위자와 연결된 텍스트의 비정형 데이터의 상관관계를 파악할 수 있도록 돕습니다.

오늘날 관찰되는 APT 활동은 지난 20년간 수천 건의 보고서에 기록된 과거의 활동을 기반으로 합니다. 이 정보를 중앙 집중화하고 LLM에 액세스할 수 있게 함으로써, 분석가는 새로운 연구에서 핵심 인사이트를 추출하고 이를 과거 운영과 상호 참조하여 어트리뷰션 및 위협 분석을 개선할 수 있습니다.

예시에서 볼 수 있듯이 '심층 연구'와 같은 기능은 이전에 더 까다로웠던 어트리뷰션 질문을 더 쉽게 할 수 있습니다. 이 시나리오에서는 빠른 분석 중에 식별된 백도어에 대해 ChatGPT 에 질문하고 가능한 어트리뷰션을 요청합니다. 응답이 반드시 완벽하지는 않지만, 강력한 단서를 제공하며 이 경우 비교적 정확한 단서를 제공합니다.

핵티비스트 그룹의 어트리뷰션에 대한 최신 접근법

Check Point 연구 블로그에서 논의한 것처럼 또 다른 강력한 어트리뷰션 방법으로는 언어 기반 머신 러닝 모델과 위협 행위자의 텍스트에 대한 언어적 분석이 있습니다. Check Point의 연구는 전통적인 사이버 위협 인텔리전스 기술과 현대 머신 러닝 기술을

결합하여 수십 개의 핵티비스트 그룹에서 보낸 수천 개의 공개 메시지를 조사합니다. 이 통합 접근법은 이들 그룹이 논의하는 주요 주제를 발견하고 변화하는 동기를 추적하며 관련 그룹을 연결하고 궁극적으로 핵티비스트 어트리뷰션 방법을 강화하는 것을 목표로 합니다.

멀웨어 분석을 위한 AI

멀웨어 분석과 같은 작업을 자동화하는 것은 한때 먼 꿈처럼 보였습니다. 이제 더 이상 그렇지 않습니다. 2024년 내내, 연구원들은 LLM을 사용하여 코드를 디컴파일하고 이를 LLM 에 입력하여 자동으로 멀웨어 분석을 수행하는 방법을 탐구해 왔습니다. 결과는 인상적이었으며, 탐지율이 매우 낮을 때에도 LLM 이 때때로 코드가 악성인지 아닌지 그 여부를 판별할 수 있다는 것을 보여 주었습니다.

APT 위협 헌팅이 지닌 영향은 막대합니다.제공하고 있으므로, 이 기술은 APT 헌팅 절차와 탐지의 핵심 요소가 될 것으로 예상됩니다.

소개01

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202543

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

APT 헌팅을 위한 AI

기업을 위한 AI04

https://chatgpt.com/share/67d2cb1f-c10c-8006-bee4-9cf2a867d612 https://research.checkpoint.com/2025/modern-approach-to-attributing-hacktivist-groups/ https://cloud.google.com/blog/topics/threat-intelligence/gemini-for-malware-analysis https://blog.virustotal.com/2024/04/analyzing-malware-in-binaries-and.html#:~:text=Security%20blog%2C%20we%20explore%20the,samples%20but%20on%20its%20ability

취약성 연구는 소스 코드 포함 여부에 관계없이 대상 플랫폼, 소프트웨어 또는 디바이스에 대한 광범위한 정보를 수집하는 것을 포함합니다. 이 프로세스는 역량, 기능, 공격 표면, 문서화 및 관련 표준을 검토하며 반복적이거나 예측 가능한 작업을 포함합니다. AI는 이러한 작업을 크게 간소화하여 연구자들의 시간을 절약해 줄 수 있습니다.

(반)자율 에이전트 프레임워크로 격차 해소

LLM은 학습 데이터에 의해 제한되므로 외부 도구를 사용할 때 기능이 제한적입니다. 하지만 CrewAI 및 Autogen과 같은 에이전트 프레임워크가 이러한 격차를 해소하기 시작하면서 이제 LLM은 대화에 참여하고 시스템과 상호 작용하며 연구를 지원하기 위한 도구를 활용할 수 있게 되었습니다.

Deepseek와 같은 강력한 오픈 소스 LLM을 사용하면 어셈블러 리버스 엔지니어링, 취약성 발견, 익스플로잇 개발과 같은 특정 작업을 위한 언어 모델을 개발할 수 있습니다. 현재 대부분의 LLM

취약성 연구를 위한 AI 활용 은 범용적 모델이지만, 기술이 진보함에 따라 코딩, 저수준 어셈블러 지식, 리버스 엔지니어링, 취약성 분석과 같은 컴퓨터 과학 주제에 초점을 맞춘 추론 계층을 추가하여 Deepseek와 유사한 모델을 만들 수 있다는 것이 시사되고 있습니다.

취약성 탐지를 위한 강력한 에이전트 기반 워크플로우

정적 애플리케이션 보안 테스트(SAST)와 동적 애플리케이션 보안 테스트(DAST)를 결합하면 강력한 에이전트 기반 워크플로우를 생성하여 취약성을 발견할 수 있습니다.

언어와 의도를 이해하는 LLM의 역량과 실용적인 도구와의 통합을 통해 분석을 크게 향상할 수 있습니다. 예를 들어, 다음은 새로운 IoT 디바이스를 테스트하기 위한 AI 지원 워크플로우입니다.

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

다크웹의 AI 모델

AI 보안 보고서 202544

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

AI 취약성 연구

기업을 위한 AI04

무엇이든 물어보십시오

안녕 LLM – TP-Link 라우터 모델 XYZ의 펌웨어를 찾아 다운로드하고 압축을 풀어줘

안녕 LLM – 압축 해제된 펌웨어에서 네트워크에 노출된 모든 실행 파일을 식별해 줘 식별된 각 실행 파일에 대한 요약을 제공하고, 포트, 프로토콜 및 의도된 사용을 명시해 줘

안녕, LLM – 이 실행 파일에 대해 리버스 엔지니어링과 정적 분석을 사용해서 기본 데이터 프로토콜을 분석해 줘. 이 프로토콜을 사용하여 실행 파일과 상호 작용하는 방법을 이해하는 것이 목적이야. 분석이 완료되면, C 언어로 퍼징 하네스를 만들어 대상에 퍼징할 수 있도록 해 줘. 하네스가 컴파일되고 실행되는지 확인해 줘.

안녕 LLM – 개발한 하네스를 실행하고 대상에 연결된 디버거를 사용해서 퍼징 성능을 모니터링해 줘. 차단 요소를 식별하고 하네스를 개선한 후, 다시 컴파일하고 다시 실행해. 이 작업을 반복하여 커버리지를 최대화해 줘. 내가 진행 상황을 모니터링할 수 있도록 커버리지 그래프와 주기적인 보고서를 계속해서 제공해 줘

<작업이 완료되고 검증되었습니다.>

<작업이 완료되고 검증되었습니다. 실제로 작동하는지 테스트합니다.>

<사용자 지정 독점 프로토콜로 퍼징을 사용하여 공격하려는 대상 실행 파일을 선택합니다. 버그가 있을 가능성이 높지만, 이를 해결하는 방법에 대한 도구나 지식이 없습니다.>

<이 단계에서 저의 임무는 끝났습니다. 제가 해야 할 일은 AI가 작업을 수행하고 있는지 모니터링하는 것뿐이며, 다른 작업으로 이동할 수 있습니다.>

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

다크웹의 AI 모델

AI 보안 보고서 202545

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

AI 취약성 연구

기업을 위한 AI04

이러한 작업은 일반적으로 개인이 수행하는 일상적인 작업이지만, LLM을 사용하면 훨씬 더 빠르게 완료할 수 있습니다. 현재 필요한 기술은 대부분은 이미 갖춰져 있습니다. 문제는 이러한 기술을 통합하여 일관된 워크플로우를 만들고 정확성을 보장하기 위해 추가적인 보호 장치를 구현하는 데 있습니다. 이는 빠르게 향상되고 있지만, 현재 가장 큰 병목 현상으로 남아 있습니다. 이러한 발전을 잘 보여 주는 예는 LLM의 코드 작성 능력이 향상되고 있다는 것입니다.

AI를 사용하여 로직 보안 결함 식별

추론 기능이 발전함에 따라 LLM은 이전에는 자동화하기 어려웠던 코드 베이스의 로직 보안 결함을 식별할 수 있게 됩니다. 컴퓨터에게 '로직 버그'가 무엇인지 가르치는 것은 어려운 일이지만, LLM 추론이 발전함에 따라 컴퓨터는 이러한 문제를 더 잘 이해하고 감지할 수 있습니다. 미래에는 논리적 결함을 찾는 과정을 자동화하기 위해 LLM을 사용할 수도 있습니다. 예를 들어, "안녕 LLM, 이 웹 애플리케이션에서 관리자/관리자 및 사용자/사용자 자격 증명을 통해 BURP 프록시를 사용하여 인증 우회 또는 권한 상승이 가능한지 확인해 줘."라고 질문할 수 있습니다.

AI를 통한 복잡한 프로토콜 분석

많은 정교한 프로토콜이 복잡한 상태 기계로 작동합니다. 예를 들어, 조건은 'A이면 B이지만, 단, X일 경우에만 그러하다' 또는 'S 또는 T' 등이 될 수 있습니다. 이러한 복잡성 때문에 각 상태를 탐색하기 위한 공식 모델을 만드는 것은 매우 어렵습니다. 5G 통신 네트워크

프로토콜과 같은 구현을 테스트하는 것은 모든 가능한 시나리오와 조합에서 훨씬 더 어렵습니다.

AI는 주어진 프롬프트에 기반한 우리의 기대와 방대한 양의 정보 및 데이터를 빠르고 대규모로 처리할 수 있는 강력한 컴퓨팅 머신 사이의 격차를 해소할 수 있습니다. 이 기능을 통해 더 나은 테스트 프레임워크, 시뮬레이션 및 실제 테스트의 개발이 가능해질 것입니다. AI에게 무엇을 해야 하는지 지시함으로써, 인간 테스터가 수행한다면 상당한 시간이 걸릴 AI의 평가를 위한 기술적 절차를 실행 능력을 활용할 수 있습니다.

AI가 나아가는 방향

대규모 언어 모델(LLM)의 발전으로 인간과 기계 지능 간의 상호 작용이 크게 개선되었습니다. 기계는 오랫동안 컴퓨팅 성능을 보유하고 있었지만, 이전에는 통신 문제로 인해 특히 멀웨어 분석 및 익스플로잇 개발과 같은 복잡한 작업에서 그 효율성이 제한적이었습니다 오늘날 LLM은 간단한 문자 입력으로 의도를 파악하고 효율적으로 작업을 수행할 수 있습니다. 에이전트 워크플로우를 통해 도구를 활용하는 능력은 대규모의 저수준 작업과 철저한 데이터 분석 수행을 가능하게 하며, 인사이트를 신속하게 인간 운영자에게 전달할 수 있도록 합니다. 이러한 발전은 생산성을 높이고 복잡한 기술적 과제에 대한 접근 방식을 혁신합니다. AI가 발전함에 따라, AI는 주요 인사이트와 비정상적인 행동을 밝혀내고 분석가에게 그 어느 때보다 빠르게 방향을 제시하며 지속적으로 조사 어시스턴트 역할을 하고 있습니다.

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

다크웹의 AI 모델

AI 보안 보고서 202546

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

AI 취약성 연구

기업을 위한 AI04

04 기업을 위한AI 04

AI 기술이 기업 환경에 통합됨에 따라 조직은 더 많은 위험에 직면하게 됩니다. 많은 사람들이 생성형 AI 서비스를 직접 사용하거나 문법 및 번역 도우미 또는 고객 지원 봇과 같은 백그라운드 도구와의 간접적인 상호 작용을 통해 얼마나 자주 AI와 상호 작용하는지 인식하지 못할 수 있습니다. 어쨌든 두 유형 모두 내부 커뮤니케이션, 전략 계획, 재무 데이터, 고객 정보, 지적 재산과 같은 민감한 정보를 공유하게 될 수 있습니다.

이 섹션에서는 기업 네트워크에서 AI 서비스의 사용과 그에 따른 위험을 살펴봅니다.

숫자로 보는 기업 AI 사용 현황

최근 몇 달간의 Check Point 데이터에 따르면 매월 최소 51%의 기업 네트워크에서 AI 서비스가 사용되고 있습니다.

또한 Check Point의 데이터에 따르면 기업 디바이스에서 생성형 AI 서비스로 전송되는 프롬프트 80개 중 1개(1.25%)는 민감한 데이터 유출 위험이 높은 것으로 나타났으며, 추가로 7.5%(13개 중 1개) 의 프롬프트에는 잠재적으로 민감한 정보가 포함되어 있는 것으로 나타났습니다.

기업을 위한 AI

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202548

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

전 세계 AI 사용 현황

국가별 분석을 통해 전 세계적으로 AI 서비스 통합과 노출에 상당한 차이가 있는 것으로 드러났습니다 (그림 1). 흥미롭게도, 기업 네트워크에서 AI 서비스를 가장 많이 사용하는 국가 목록에서 영어권 국가는 상위에 오르지 않았습니다. 번역 서비스와 같은 AI 기반 제품에 대한 의존도가 낮았기 때문일 수 있습니다.

그림 1 – 국가별 기업의 AI 네트워크에서의 서비스 사용 현황 - 2025년 3월

터키 68%

66%

66%

64%

63%

40%

39%

34%

34%

24%

AI 서비스가 있는 기업 네트워크 - 2025년 3월

오스트리아

벨기에

포르투갈

에콰도르

인도

스위스

홍콩

덴마크

우크라이나

상위 5개 국가

하위 5개 국가

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202549

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

AI 서비스의 인기

기업 환경에서 모니터링된 AI 서비스 분석에 따르면, OpenAI의 ChatGPT가 가장 널리 사용되는 AI 서비스로 현재 기업 네트워크의 37%를 차지하며, Microsoft의 Copilot이 27%로 그 뒤를 잇고 있습니다 (그림 2).

Chat GPT와 Copilot에 이어, Grammarly(25%), DeepL(18%), QuillBot(11%)을 비롯한 글쓰기 어시스턴트 서비스가 AI 서비스 중 선두를 달리고 있습니다. 또한 Vidyard(21%) 와 Gamma(8%)와 같은 동영상 및 프레젠테이션 도구도 상당한 사용 도입률을 보이고 있습니다.

그림 2– 기업에서 가장 인기 있는 AI 서비스 - 2025년 3월

ChatGPT 37%

27%

25%

21%

18%

13%

12%

11%

9%

8%

상위 10대 AI 서비스 및 도구 (기업 네트워크의 비율 – 2025년 3월)

Microsoft Copilot

Grammarly

Vidyard

DeepL

Perplexity

DeepSeek

QuillBot

Google Gemini

Gamma

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202550

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

2024년 12월 이후 사용 데이터를 검토한 결과, 기업 환경에서 대부분의 AI 서비스의 노출 수준이 비교적 안정적인 것으로 나타났습니다 (그림 3).

그림 3 – 기업 네트워크에서의 주요 생성형 AI 서비스 - 2024년 12월 ~ 2025년 3월

ChatGPT

Microsoft Copilot

Perplexity DeepSeek

Claude Google Gemini

40%

35%

30%

25%

20%

15%

10%

5%

0%

3월 25일2월 25일1월 25일12월 24일

선도적인 AI 서비스 및 도구

AI 사용 추세

DeepSeek 제외한 대부분의 서비스에서 지난달 약간의 증가세를 보이며 지속적인 성장과 도입을 보여 주었습니다.

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202551

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

DeepSeek를 자세히 살펴보면 2025년 1월 말 공식 출시 직후 초기 사용량이 급증했다가 꾸준히 감소한 것으로 나타는데, 이는 보안 및 개인정보 보호 우려로 인한 것으로 보입니다(그림 4).

그림 4 - Check Point의 ThreatCloud AI에게 부탁된 요청에 따른 공식 출시 이후 DeepSeek 주간 사용 추세

1월 19일 ~ 1월 25일

1월 26일 ~ 2월 1일

2월 2일 ~ 2월 8일

2월 9일 ~ 2월 15일

2월 16일 ~ 2월 22일

2월 23일 ~ 3월 1일

3월 2일 ~ 3월 8일

3월 9일 ~ 3월 15일

3월 16일 ~ 3월 22일

3월 23일 ~ 3월 29일

3월 30일 ~ 4월 5일

50만

40만

30만

20만

10만

0

이러한 추세는 새로운 AI 서비스가 빠르게 도입되면서 네트워크 및 보안 관리자가 이를 효과적으로 학습하고 관리하기가 어려워져 잠재적 위험이 증가한다는 것을 보여 줍니다.

DEEPSEEK 주간 사용 동향

114,093

432,104

315,326

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202552

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

기업의 AI 위험

생성형 AI 애플리케이션을 도입하면 생산성을 높일 수 있는 기회를 얻을 수 있지만, 보안, 컴플라이언스 및 데이터 무결성이라는 중대한 우려도 제기됩니다. 이러한 위험을 이해하는 것은 AI를 효과적으로 활용하면서 운영과 민감한 정보를 보호하려는 조직에게 매우 중요합니다. 여기에서는 AI 도입에 따라 증가하는 문제점을 간략히 설명합니다.

Shadow AI 애플리케이션

매일 새로운 생성형 AI 애플리케이션이 등장하지만, 모든 애플리케이션을 신뢰할 수 있는 것은 아닙니다. 직원들이 사용하는 승인되지 않은 AI 도구와 애플리케이션은 보안 취약성, 컴플라이언스 문제, 일관성 없는 데이터 관리로 이어져 기업이 운영 위험이나 데이터 유출에 노출될 수 있습니다. 기업에 적절한 AI 모니터링 및 거버넌스가 필요합니다.

데이터 유출

AI 모델은 다양한 유형의 데이터를 처리하며 일부 데이터는 저장되거나 제 3자와 공유되며, 보안 관행이 부적절한 경우도 있습니다. 이러한 문제는 개인정보 보호 우려, 컴플라이언스 문제 및 데이터 유출 취약성을 초래합니다. 통합하기 전에 기업은 데이터 보호 및 업계 모범 사례에 맞게 AI 애플리케이션을 평가해야 합니다.

생성형 AI 애플리케이션의 새로운 취약성

생성형 AI 애플리케이션은 새로운 보안 취약성을 초래하여 조직의 사이버 공격 위험을 증가시킬 수 있습니다. 오래된 라이브러리와 저장소의 데이터 중독과 같은 AI 생성 코드의 숨겨진 취약성은 기술적 통제, 정책 및 모범 사례를 통해 해결해야 합니다.

과도한 에이전시

에이전트 AI 시스템이 발전함에 따라 프롬프트 인젝션이나 데이터 중독을 통해 취약점을 악용하는 악의적인 공격자의 조작에 더욱 취약해지고 있습니다. 제한적인 인간의 감독으로 의도치 않은 결정이 내려져 민감한 정보가 노출되고 운영이 중단될 수 있습니다. 적절한 거버넌스와 보호 장치가 필수입니다.

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202553

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

05 AI를 위한, AI에 의한, AI와 함께하는 보안 05

조직의 강력한 AI 도구를 안전하게 사용할 수 있도록, Check Point의 GenAI Protect 솔루션은 생성형 AI 프롬프트의 비정형 및 대화형 특성을 관리하도록 특별히 설계된 포괄적인 보안 및 컴플라이언스 기능을 제공합니다. 또한 가시성, 위험 평가, 실시간 데이터 유출 방지 기능을 제공합니다.

Check Point의 GenAI Protect는 조직에서 사용되는 생성형 AI 서비스를 발견하고 그 위험을 평가하며 획기적인 AI 기반 데이터 보호를 적용하여 추가적인 위험 없이 최신 서비스를 도입할 수 있도록 합니다.

• 섀도우 및 공식 승인 생성형 AI 애플리케이션을 발견하고 데이터 손실을 방지하며 규정을 준수하면서 정보에 기반한 생성형 AI 거버넌스 결정을 내릴 수 있습니다.

• 조직 전체에서 사용되는 생성형 AI 앱의 위험을 발견하고 평가

• 주요 생성형 AI 사용 사례를 파악하여 정보에 입각한 거버넌스 의사 결정

• 혁신적인 AI 기반 데이터 분류를 적용하여 데이터 손실 방지

• 엔터프라이즈급 모니터링 가시성을 통해 규정 준수

AI 보안

조직의 강력한 AI 도구를 안전하게 사용할 수 있도록, Check Point의 GenAI Protect 솔루션은 생성형 AI 프롬프트의 비정형 및 대화형 특성을 관리하도록 특별히 설계된 포괄적인 보안 및 컴플라이언스 기능을 제공합니다. 또한 가시성, 위험 평가, 실시간 데이터 유출 방지 기능을 제공합니다.

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202555

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

AI는 위협을 분석, 탐지, 예방 및 예측하는 데 가장 유용한 도구입니다. 콘텐츠 분석은 행동 패턴, 이상 징후 및 언어 단서를 식별하여 AI 시스템이 새로운 위협을 지속적으로 학습하고 이에 적응할 수 있도록 합니다.

Check Point의 ThreatCloud AI는 매일 빅 데이터 원격 분석과 수백만 개의 침해 지표(IoC) 를 집계하고 분석합니다. Check Point의 위협 인텔리전스 데이터베이스는 150,000개의 연결된 네트워크, 수백만 개의 엔드포인트 디바이스, Check Point Research 및 수십 개의 외부 피드로부터 공급됩니다. 50개 이상의 엔진에는 AI 기반 기능과 여러 역량이 포함되어 있습니다.

ThreatCloud AI는 50개 이상의 기술을 사용하여 새로운 위협을 탐지하고 무력화하며, 빅 데이터를 활용하여 최신 침해 지표로 방어 기능을 업데이트합니다. 원격 분석 데이터를 분석하여 위협을 정확하게 분류해 네트워크, 클라우드, 운영, 사용자 액세스 전반의 보안을 강화합니다.

AI를 통한 보안

AI는 위협을 분석, 탐지, 예방 및 예측하는 데 가장 유용한 도구입니다. 콘텐츠 분석은 행동 패턴, 이상 징후 및 언어 단서를 식별하여 AI 시스템이 새로운 위협을 지속적으로 학습하고 이에 적응할 수 있도록 합니다.

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202556

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

AI를 활용한 보안

공격자는 AI로 공격을 자동화합니다. 그러므로 여러분도 그렇게 해야 합니다. 사이버 보안 툴 스택에 AI를 구현하는 것이 필수입니다. 자동화를 통해 IT 및 보안 팀은 현재 리소스로 생산성을 기하급수적으로 향상할 수 있습니다.

Check Point의 Infinity AI Copilot은 일반적인 작업을 수행하는 데 필요한 시간을 줄여 주는 전문적인 생성형 AI 도우미입니다. Infinity AI Copilot은 복잡한 다단계 활동을 자동화하여 관리자와 보안 분석가를 지원합니다.

AI Copilot은 Check Point의 Infinity Platform을 광범위하게 지원하여 전체 시스템의 보안 관리를 지원합니다. Infinity AI Copilot은 고객의 정책, 액세스 규칙, 객체, 로그 및 모든 관련 제품 문서를 파악하여 상황에 맞는 포괄적인 답변을 제공할 수 있습니다.

AI 기반 보안 어시스턴트를 사용하면 다음을 수행할 수 있습니다.

• 보안 관리 가속화 정책 생성, 구현, 문제 지원 요청 해결 등 보안 업무에 필요한 시간을 단축합니다.

• 보안 효과 증대 새로운 위협 차단 제어를 적용하거나 데이터 보호, 방화벽 규칙 또는 IPS 서명과 같은 기존 제어를 업데이트합니다. 사용자의 안전을 지원하는 교육을 생성합니다.

• 사고 완화 및 대응 개선 위협 헌팅, 분석 및 해결에 AI를 활용합니다.

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202557

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

Check Point Software Technologies Ltd. 소개

Check Point Software Technologies Ltd.(www.checkpoint.com)는 AI 기반 사이버 보안 솔루션을 활용하여 전 세계 100,000개 이상의 조직을 보호하는 디지털 신뢰의 선도적인 보호자 역할을 하고 있습니다. Infinity Platform과 개방형 가든 에코시스템을 통해, Check Point의 예방 우선 접근 방식은 위험을 줄이면서 업계 최고의 보안 효율성을 제공합니다. SASE를 핵심으로 하는 하이브리드 메시 네트워크 아키텍처를 사용하는 Infinity Platform은 온프레미스, 클라우드 및 워크스페이스 환경의 관리를 통합하여 기업과 서비스 제공 업체에 유연성, 단순성 및 확장성을 제공합니다.

연락처

국제 본사 5 Shlomo Kaplan Street, Tel Aviv 6789159, Israel 전화: 972-3-753-4599 이메일: info@checkpoint.com

미국 본사 100 Oracle Parkway, Suite 800, Redwood City, CA 94065 전화: 800-429-4391

공격을 받고 있나요? 사고 대응 팀에 문의하세요. emergency-response@checkpoint.com

Check Point Research 최신 연구 및 기타 독점 콘텐츠를 받아 보시려면 저희 웹사이트를 방문하세요. www.research.checkpoint.com

www.checkpoint.com

소개01

APT 헌팅을 위한 AI

새로운 소셜 엔지니어링

LLM 계정 타겟팅

멀웨어를 위한 AI

AI 취약성 연구

다크웹의 AI 모델

AI 보안 보고서 202558

AI를 위한, AI에 의한, AI와 함께 하는 보안05

연구를 위한 AI03

AI 위협02

기업을 위한 AI04

http://www.checkpoint.com mailto:info@checkpoint.com mailto:emergency-response@checkpoint.com http://www.research.checkpoint.com http://www.checkpoint.com

© 2025 Check Point Software Technologies Ltd. All rights reserved.