2026년을 앞두고 CISO와 끊임없이 진화하는 사이버 공격자 간의 대결이 다시 한 번 격화되는 가운데, 공격자보다 한발 앞서 주도권을 유지하기 위해서는 치밀하게 기획된 강력한 사이버 보안 프로젝트가 효과적인 대응책일 수 있다.

데이터 거버넌스부터 제로 트러스트까지, 향후 1년 동안 모든 CISO가 도입을 검토해볼 만한 핵심 사이버 보안 프로젝트 7가지를 정리했다.

1. AI 시대를 위한 아이덴티티 및 접근 관리 전환

AI와 자동화 기술이 진화하면서 직원의 접근 권한뿐 아니라 AI 에이전트와 머신 프로세스의 아이덴티티까지 관리하는 것이 이제 필수적인 사이버 보안 요소로 자리 잡고 있다. 딜로이트 미국 사이버 아이덴티티 부문 리더인 앤서니 버그는 이러한 변화를 보안의 핵심 과제로 짚었다.

버그는 “특히 에이전틱 AI를 중심으로 한 AI의 빠른 발전이 많은 보안 리더로 하여금 아이덴티티 관리 전략을 다시 생각하게 만들고 있다”라며 “사람과 비인간 아이덴티티를 모두 아우르는 보다 정교한 아이덴티티 거버넌스에 대한 요구가 CISO와 CIO로 하여금 차세대 디지털 전환을 대비한 보안 프레임워크를 재구성하도록 이끌고 있다”라고 설명했다.

그는 생성형 AI와 에이전틱 AI가 새로운 비즈니스 모델과 더 높은 수준의 자율성을 가능하게 하는 만큼, 조직이 아이덴티티 및 접근 관리(IAM) 프로그램을 선제적으로 현대화하는 것이 중요하다고 언급했다. 모든 디지털 아이덴티티 전반의 접근을 보호하는 것은 민감한 데이터 보호와 규제 준수, 운영 효율성 확보를 위해 필수적이라는 설명이다.

버그는 라이프사이클 관리, 강력한 인증, 정밀한 역할 및 정책 기반 접근 제어와 같은 IAM 역량을 고도화하면 비인가 접근을 차단하고 탈취된 자격 증명으로 인한 위험을 줄일 수 있다고 밝혔다.

또한 이러한 통제를 비인간 아이덴티티까지 확장하면 시스템이나 데이터와 상호작용하는 모든 주체를 적절히 관리할 수 있으며, 정기적인 접근 권한 검토와 지속적인 교육을 병행할 경우 정보 보호 수준을 높이고 고도화된 AI 기술을 보다 안전하게 도입하는 데 도움이 된다고 설명했다.

2. 이메일 보안 강화

카네기멜론대학교 CISO인 메리 앤 블레어는 피싱이 여전히 자격 증명을 탈취하고 피해자를 속이는 주요 공격 경로로 활용되고 있다고 설명했다. 그는 위협 행위자들이 메일 서비스 제공업체의 탐지 기능을 효과적으로 회피할 수 있을 만큼 점점 더 정교한 피싱 공격을 만들어내고 있다고 경고했다.

블레어는 “기존의 다중요소 인증 기법은 이제 반복적으로 무력화되고 있으며, 공격자들은 침투에 성공한 이후 이를 빠르게 수익화하는 단계로 이동하고 있다”라고 언급했다.

이처럼 갈수록 대응이 어려워지는 이메일 보안 환경 속에서 블레어는 CISO가 보안 프로젝트를 추진하는 과정에서 외부 전문 조직의 지원을 검토할 필요가 있다고 조언했다. 실제로 그가 접촉한 여러 벤더는 제안요청서(RFP)에 응답하는 한편, 최신 보안 역량을 시험 적용할 수 있도록 테스트 환경을 제공하고 있다고 전했다.

3. AI를 활용한 코드 취약점 탐지

시스코 AI 연구원 아만 프리얀슈는 자원이 제한된 환경에서도 효과적으로 동작할 수 있는 소형 언어 모델(SLM)을 활용해 자율적으로 취약점을 탐색하는 에이전트를 개발하고 있다.

프리얀슈는 사이버 보안이 본질적으로 긴 맥락을 다뤄야 하는 영역이라고 설명했다. 최신 대규모 언어 모델(LLM)이 이를 처리할 수는 있지만, 비용이나 지연 시간 측면에서 상당한 부담이 따른다는 것이다. 그는 “조직의 코드베이스는 보통 수천 개 파일과 수백만 줄의 코드로 구성된다”라며 “특정 취약점을 찾아야 할 때 모든 코드를 대형 모델에 입력하면 감당하기 어려울 정도로 비용이 커지거나, 아예 맥락 한계를 초과하는 문제가 발생한다”라고 밝혔다.

프리얀슈는 이 프로젝트가 대부분의 보안 분석가가 취약점을 찾는 방식과 유사한 접근을 구현하는 데 목적이 있다고 설명했다. 잠재적인 취약 지점을 추론한 뒤 해당 영역을 탐색하고, 관련 코드를 가져와 분석하는 과정을 반복해 약점을 찾아내는 방식이다. 그는 “연구를 통해 이 접근법이 효과적이라는 점은 이미 확인했다”라며 “2026년에는 이를 확장해 실제 환경에서의 적용 가능성을 실질적으로 검증하고자 한다”라고 전했다.

이미 침투 테스터와 보안 연구원들은 생성형 AI를 취약점 탐색에 활용해 왔으며, AI 기반 버그 헌팅은 취약점 발견 속도를 높이는 동시에 그 접근성을 확대하는 흐름을 보이고 있다. 이는 효과적인 버그 바운티 프로그램을 설계하는 기준에도 변화를 주고 있다.

4. 기업 전반의 AI 거버넌스 및 데이터 보호 강화

AI 리스크와 자율형 위협이 사이버 보안 환경을 재편하는 가운데, AI 기반 커뮤니케이션 및 협업 솔루션 기업 고투(GoTo)의 CISO인 아틸라 퇴뢰크는 조직 내 모든 AI 도구를 안전하게 관리·모니터링하는 한편, 승인되지 않은 플랫폼을 차단해 데이터 유출을 방지하는 데 주력하고 있다.

퇴뢰크는 “설계 단계부터 보안을 내재화하는 원칙을 적용하고 사이버 보안을 비즈니스 전략과 정렬함으로써 회복력과 신뢰, 규제 준수를 동시에 구축하고 있다”라며 “이러한 요소는 AI 시대의 핵심적인 차별화 요인”이라고 설명했다. 다만 그는 여느 대규모 보안 이니셔티브와 마찬가지로, 특정 조직이나 부서에 국한된 접근으로는 성공할 수 없다고 경고했다.

그는 “현재와 미래의 성공을 보장하는 실행 방식을 정립하기 위해서는 전사 모든 부서와의 협업이 필요하다”라고 언급했다.

5. 보안 운영 강화를 위한 AI 우선 전략

세일즈 성과 관리 기업 잭틀리(Xactly)의 CISO 매슈 샤프는 수치 분석 결과와 위협 환경 변화 모두가 AI 신뢰를 최우선 과제로 삼아야 함을 보여주고 있다고 설명했다. 그는 자사 보안 운영을 대상으로 크리스텐슨식 분석을 수행한 결과, 증적 수집과 경보 검증, 규제 준수 보고와 같은 업무를 포함해 전체 기능적 작업의 약 67%가 기계적 성격을 띠며 자동화가 가능하다는 점을 확인했다고 밝혔다.

샤프는 “공격자들은 이미 머신 속도로 AI를 활용해 공격하고 있다”라며 “인간의 속도로 대응하는 방식으로는 AI 기반 공격을 방어할 수 없다”라고 지적했다. 이어 “AI 신뢰를 보안 운영에 적용하면, 기계가 더 효율적으로 수행할 수 있는 작업을 인간 분석가가 처리해야 하는 상황을 피할 수 있고, 동일한 방식으로 대응 역량을 끌어올릴 수 있다”라고 설명했다.

AI가 방어 수단으로서 실질적인 도구로 자리 잡으면서, CISO들은 조직 내 보안 팀 운영 방식 역시 AI의 잠재력을 최대한 활용할 수 있도록 재검토하고 있다.

6. 기본값으로서의 제로 트러스트 모델 전환

소프트웨어 개발 기업 유리스틱(Euristiq)의 CTO 파블로 트히르는 2026년 핵심 프로젝트로 자사 내부 개발과 고객 개발 전반에 제로 트러스트 아키텍처를 구현하는 작업을 꼽았다. 그는 “보안이 중요한 기업과 오랫동안 협력해 왔지만, 2026년에는 시장과 규제 요구 수준이 크게 높아지면서 ‘제로 트러스트 기본값’ 모델로의 전환이 전략적 필수 과제가 될 것”이라고 설명했다.

트히르는 이 프로젝트가 단순히 자사 보안을 강화하는 데 그치지 않는다고 밝혔다. 그는 “고부하 엔터프라이즈 시스템부터 데이터 무결성이 중요한 AI 기반 솔루션에 이르기까지, 고객을 위한 보다 안전한 플랫폼을 구축할 수 있게 될 것”이라며 “인프라와 개발, CI/CD, 내부 도구 전반에 제로 트러스트를 적용함으로써 통합된 보안 기준을 마련하고, 이를 고객 아키텍처에도 이전할 계획”이라고 전했다.

이 이니셔티브는 특정 보안 사고를 계기로 시작된 것은 아니라고 트히르는 설명했다. 그는 “위협 모델이 그 어느 때보다 빠르게 변화하고 있다는 점을 확인했다”라며 “공격은 더 이상 경계에서만 발생하는 것이 아니라, 라이브러리 취약점이나 API, 취약한 인증 메커니즘, 잘못 설정된 권한 등 내부 요소를 통해 점점 더 많이 발생하고 있다”라고 분석했다. 이러한 변화가 접근 방식을 근본적으로 재검토하게 만든 계기라고 밝혔다.

7. 전사 차원의 데이터 거버넌스 강화

엔터프라이즈 데이터·AI·데이터 패브릭 솔루션 기업 솔릭스 테크놀로지스(Solix Technologies)의 총괄 배리 쿤스트는 2026년 우선 과제로 모든 전사 시스템에 걸친 통합 데이터 거버넌스 및 보안 프레임워크 구축을 제시했다. 그는 이 이니셔티브가 많은 조직이 여전히 겪고 있는 섀도 데이터 문제와 일관되지 않은 접근 통제, 규제 준수 공백을 해소하기 위한 목적도 함께 담고 있다고 설명했다.

쿤스트는 “모든 환경에서 데이터 분류와 보호, 모니터링 방식을 표준화하면 추적되지 않는 민감 데이터라는 가장 큰 보안 허점을 줄일 수 있다”라며 “이 프로젝트는 가시성을 높이고 정책 기반 통제를 강화해 멀티클라우드 환경에서의 노출을 줄이는 방식으로 보안 수준을 끌어올릴 것”이라고 언급했다.

그는 고객들이 급격한 데이터 증가와 새로운 규제 요구에 압도되는 상황을 목격한 이후 이번 프로젝트를 추진하게 됐다고 밝혔다. 현재 보안 및 클라우드 엔지니어링 팀이 주요 기술 파트너와 협력하고 있으며, 2026년 3분기 도입을 목표로 준비가 진행 중이라고 전했다.
dl-ciokorea@foundryco.com

Gen AI is becoming a disruptive influence on nearly every industry, but using the best AI models and tools isn’t enough. Everybody’s using the same ones but what really creates competitive advantage is being able to train and fine-tune your own models, or provide unique context to them, and that requires data.

Your company’s extensive code base, documentation, and change logs? That’s data for your coding agents. Your library of past proposals and contracts? Data for your writing assistants. Your customer databases and support tickets? Data for your customer service chatbot.

But just because all this data exists, doesn’t mean it’s good.

“It’s so easy to point your models to any data that’s available,” says Manju Naglapur, SVP and GM of cloud, applications, and infrastructure solutions at Unisys. “For the past three years, we’ve seen this mistake made over and over again. The old adage garbage in, garbage out still holds true.”

According to a Boston Consulting Group survey released in September, 68% of 1,250 senior AI decision makers said the lack of access to high-quality data was a key challenge when it came to adopting AI. Other recent research confirms this. In an October Cisco survey of over 8,000 AI leaders, only 35% of companies have clean, centralized data with real-time integration for AI agents. And by 2027, according to IDC, companies that don’t prioritize high-quality, AI-ready data will struggle scaling gen AI and agentic solutions, resulting in a 15% productivity loss.

Losing track of the semantics

Another problem using data that’s all lumped together is that the semantic layer gets confused. When data comes from multiple sources, the same type of information can be defined and structured in many ways. And as the number of data sources proliferates due to new projects or new acquisitions, the challenge increases. Even just keeping track of customers — the most critical data type — and basic data issues are difficult for many companies.

Dun & Bradstreet reported last year that more than half of organizations surveyed have concerns about the trustworthiness and quality of the data they’re leveraging for AI. For example, in the financial services sector, 52% of companies say AI projects have failed because of poor data. And for 44%, data quality is their biggest concern for 2026, second only to cybersecurity, based on a survey of over 2,000 industry professionals released in December.

Having multiple conflicting data standards is a challenge for everybody, says Eamonn O’Neill, CTO at Lemongrass, a cloud consultancy.

“Every mismatch is a risk,” he says. “But humans figure out ways around it.”

AI can also be configured to do something similar, he adds, if you understand what the challenge is, and dedicate time and effort to address it. Even if the data is clean, a company should still go through a semantic mapping exercise. And if the data isn’t perfect, it’ll take time to tidy it up.

“Take a use case with a small amount of data and get it right,” he says. “That’s feasible. And then you expand. That’s what successful adoption looks like.”

Unmanaged and unstructured

Another mistake companies make when connecting AI to company information is to point AI at unstructured data sources, says O’Neill. And, yes, LLMs are very good at reading unstructured data and making sense of text and images. The problem is not all documents are worthy of the AI’s attention.

Documents could be out of date, for example. Or they could be early versions of documents that haven’t been edited yet, or that have mistakes in them.

“People see this all the time,” he says. “We connect your OneDrive or your file storage to a chatbot, and suddenly it can’t tell the difference between ‘version 2’ and ‘version 2 final.’”

It’s very difficult for human users to maintain proper version control, he adds. “Microsoft can handle the different versions for you, but people still do ‘save as’ and you end up with a plethora of unstructured data,” O’Neill says.

Losing track of security

When CIOs typically think of security as it relates to AI systems, they might consider guardrails on the models, or protections around the training data and the data used for RAG embeddings. But as chatbot-based AI evolves into agentic AI, the security problems get more complex.

Say for example there’s a database of employee salaries. If an employee has a question about their salary and asks an AI chatbot embedded into their AI portal, the RAG embedding approach would be to collect only the relevant data from the database using traditional code, embed it into the prompt, then send the query off to the AI. The AI only sees the information it’s allowed to see and the traditional, deterministic software stack handles the problem of keeping the rest of the employee data secure.

But when the system evolves into an agentic one, the AI agents can query the databases autonomously via MCP servers, and since they need to be able to answer questions from any employee, they require access to all employee data, and keeping it from getting into the wrong hands becomes a big task.

According to the Cisco survey, only 27% of companies have dynamic and detailed access controls for AI systems, and fewer than half feel confident in safeguarding sensitive data or preventing unauthorized access.

And the situation gets even more complicated if all the data is collected into a data lake, says O’Neill.

“If you’ve put in data from lots of different sources, each of those individual sources might have its own security model,” he says. “When you pile it all into block storage, you lose that granularity of control.”

Trying to add the security layer in after the fact can be difficult. The solution, he says, is to go directly to the original data sources and skip the data lake entirely.

“It was about keeping history forever because storage was so cheap, and machine learning could see patterns over time and trends,” he says. “Plus, cross-disciplinary patterns could be spotted if you mix data from different sources.”

In general, data access changes dramatically when instead of humans, AI agents are involved, says Doug Gilbert, CIO and CDO at Sutherland Global, a digital transformation consultancy.

“With humans, there’s a tremendous amount of security that lives around the human,” he says. “For example, most user interfaces have been written so if it’s a number-only field, you can’t put a letter in there. But once you put in an AI, all that’s gone. It’s a raw back door into your systems.”

The speed trap

But the number-one mistake Gilbert sees CIOs making is they simply move too fast. “This is why most projects fail,” he says. “There’s such a race for speed.”

Too often, CIOs look at data issues as slowdowns, but all those things are massive risks, he adds. “A lot of people doing AI projects are going to get audited and they’ll have to stop and re-do everything,” he says.

So getting the data right isn’t a slowdown. “When you put the proper infrastructure in place, then you speed through your innovation, you pass audits, and you have compliance,” he says.

Another area that might feel like an unnecessary waste of time is testing. It’s not always a good strategy to move fast, break things, and then fix them later on after deployment.

“What’s the cost of a mistake that moves at the speed of light?” he asks. “I would always go to testing first. It’s amazing how many products we see that are pushed to market without any testing.”

Putting AI to work to fix the data

The lack of quality data might feel like a hopeless problem that’s only going to get worse as AI use cases expand.

In an October AvePoint report based on a survey of 775 global business leaders, 81% of organizations have already delayed deployment of AI assistants due to data management or data security issues, with an average delay of six months.

Meanwhile, not only the number of AI projects continues to grow but also the amount of data. Nearly 52% of respondents also said their companies were managing more than 500 petabytes of data, up from just 41% a year ago.

But Unisys’ Naglapur says it’s going to become easier to get a 360-degree view of a customer, and to clean up and reconcile other data sources, because of AI.

“This is the paradox,” he says. “AI will help with everything. If you think about a digital transformation that would take three years, you can do it now in 12 to 18 months with AI.” The tools are getting closer to reality, and they’ll accelerate the pace of change, he says.

AI 시스템과 인프라를 겨냥한 공격은 실제 사례를 통해 점차 구체적인 형태를 띠고 있으며, 보안 전문가들은 향후 몇 년 안에 이러한 공격 유형이 더욱 증가할 것으로 내다보고 있다. AI 도입을 통해 빠르게 성과를 내려는 과정에서, 대부분의 조직은 AI 도구와 활용 사례를 배포하면서 보안 강화를 느슨하게 적용해 왔다. 그 결과, 상당수 조직이 이러한 공격을 탐지하거나 차단하고, 사고 발생 시 대응할 준비가 되어 있지 않다는 경고도 나온다.

미국 사우스플로리다대학교 벨리니 인공지능·사이버보안·컴퓨팅 칼리지의 부교수이자 스타트업 액추얼라이제이션AI의 대표인 존 리카토는 “대부분 이런 공격이 가능하다는 점은 인식하고 있지만, 위험을 어떻게 적절히 완화해야 하는지까지 충분히 이해하고 있는 경우는 많지 않다”라고 설명했다.

AI 시스템을 겨냥한 주요 위협

AI 시스템을 대상으로 한 공격 유형이 다양하게 등장하고 있다. 데이터 중독처럼 학습 단계에서 발생하는 공격이 있는가 하면, 적대적 입력과 같이 추론 단계에서 이뤄지는 공격도 있다. 이 밖에도 모델 탈취처럼 배포 단계에서 발생하는 공격 유형도 존재한다.

다음은 현재 AI 인프라와 관련해 전문가들이 경고하는 주요 위협 유형을 정리한 것이다. 일부는 비교적 드물거나 이론적 단계에 머물러 있지만, 상당수는 실제 환경에서 관측됐거나 연구자들이 주목할 만한 개념 증명을 통해 가능성을 입증한 사례다.

데이터 중독

데이터 중독(Data Poisoning)은 악의적인 공격자가 머신러닝 모델을 포함한 AI 시스템을 개발하거나 학습하는 데 사용되는 데이터를 조작·변조·오염시키는 공격 유형이다. 데이터를 손상시키거나 잘못된 데이터를 주입함으로써 모델의 성능을 왜곡하거나 편향시키고, 결과적으로 부정확한 판단을 내리도록 만들 수 있다.

보안 교육 및 자격 인증 기관 샌스(SANS)의 최고 AI 책임자(CAIO) 겸 연구 총괄인 로버트 T. 리는 “예를 들어, 초록색은 ‘가라’가 아니라 ‘멈춰라’라는 의미라고 모델에 학습시키는 공격을 상상해볼 수 있다”라며 “모델의 출력 결과 자체를 저하시키는 것이 목적”이라고 설명했다.

모델 중독

모델 중독(Model poisoning)은 데이터가 아니라 모델 자체를 직접 공격 대상으로 삼는다. 모델의 구조나 파라미터를 변조해 부정확한 결과가 나오도록 유도하는 방식이다. 일부 정의에서는 데이터 중독으로 인해 학습 데이터가 손상된 경우까지 모델 중독의 범주에 포함하기도 한다.

툴 중독

툴 중독(Tool poisoning)은 2025년 봄 인베리언트 랩스(Invariant Labs)가 식별한 공격 유형이다. 인베리언트는 자체 연구 결과를 공유하며 “툴 중독 공격을 가능하게 하는 모델 컨텍스트 프로토콜(MCP)의 심각한 취약점을 발견했다”라며 “이 취약점은 민감한 데이터 유출과 AI 모델의 비인가 행위로 이어질 수 있다”라고 밝혔다.

또한 실험 결과를 통해 “악성 서버가 사용자로부터 민감한 데이터를 유출할 수 있을 뿐 아니라, 신뢰된 다른 서버가 제공한 지침을 덮어쓰고 에이전트의 행동을 탈취해, 신뢰된 인프라를 포함한 에이전트 기능 전반을 완전히 장악할 수 있다”는 점을 확인했다고 설명했다.

이 공격은 MCP 툴 설명 안에 악성 지시를 삽입하는 방식으로 이뤄진다. AI 모델이 이를 해석하는 과정에서 모델의 동작이 탈취된다. 컨설팅 기업 컨스텔레이션 리서치(Constellation Research)의 부사장 겸 수석 애널리스트 치락 메타는 “에이전트가 특정 행동을 하도록 속이기 위해 MCP 계층 자체를 오염시키는 공격”이라고 설명했다.

• 관련 기사 : AI 통합의 숨은 위협, MCP의 10가지 보안 위험

프롬프트 인젝션

프롬프트 인젝션(Prompt injection) 공격은 겉보기에는 정상적인 요청처럼 보이지만, 실제로는 대규모 언어 모델이 수행해서는 안 되는 행동을 하도록 유도하는 악성 명령을 포함한 프롬프트를 사용하는 방식이다. 공격자는 이를 통해 모델의 가드레일을 우회하거나 무력화하고, 민감한 데이터를 노출시키거나 비인가 작업을 수행하게 만든다.

글로벌 컨설팅 기업 더커 칼라일(Ducker Carlisle)의 최고 데이터·AI 책임자 파비앙 크로스는 “프롬프트 인젝션을 활용하면 AI 에이전트가 원래 수행해야 할 역할 자체를 바꿀 수 있다”라고 설명했다.

최근에는 챗GPT가 스스로 프롬프트 인젝션을 하도록 유도한 사례를 비롯해, 문서 매크로에 악성 프롬프트를 삽입한 공격, 인기 AI 에이전트를 대상으로 한 제로 클릭 프롬프트 공격 시연 등 여러 주목할 만한 사례와 개념 증명이 잇따라 보고되고 있다.

적대적 입력

모델 소유자와 운영자는 변형된 데이터를 활용해 모델의 복원력을 점검하지만, 공격자는 이를 교란 수단으로 사용한다. 적대적 입력(Adversarial inputs) 공격은 악의적인 행위자가 모델에 기만적인 데이터를 입력해 잘못된 결과를 출력하도록 유도하는 방식이다.

이때 입력 데이터의 변화는 대체로 매우 미세하거나 단순한 노이즈 수준에 그친다. 보안 시스템의 탐지를 피할 만큼 눈에 띄지 않도록 설계되지만, 동시에 모델의 판단을 흐트러뜨릴 수 있을 정도로 효과를 발휘한다. 이런 특성 때문에 적대적 입력은 대표적인 회피 공격 유형으로 분류된다.

모델 탈취·모델 추출

악의적인 공격자는 모델과 그 파라미터, 나아가 학습 데이터까지 복제하거나 역설계할 수 있다. 일반적으로 공개된 API, 예를 들어 모델의 예측 API나 클라우드 서비스 API를 반복적으로 호출해 출력 결과를 수집하는 방식이 활용된다.

이후 모델이 어떻게 응답하는지를 분석하고, 그 결과를 바탕으로 모델을 재구성한다. 글로벌 컨설팅 기업 PwC의 글로벌 위협 인텔리전스 아메리카 총괄인 앨리슨 위코프는 “도구 자체를 비인가 상태로 복제할 수 있게 만드는 공격”이라고 설명했다.

모델 역추론

모델 역추론은 특정한 추출 공격의 한 형태로, 공격자가 모델 학습에 사용된 데이터를 재구성하거나 추론하려는 시도를 의미한다.

해커가 모델의 출력 결과를 활용해 학습에 사용된 입력 정보를 거꾸로 추정한다는 점에서 이런 이름이 붙었다. 이를 통해 학습 데이터에 포함된 정보가 노출될 수 있다.

공급망 위험

AI 시스템은 오픈소스 코드와 오픈소스 모델, 서드파티 모델, 다양한 데이터 소스 등 여러 구성 요소를 결합해 만들어진다. 이 가운데 어느 하나라도 보안 취약점이 존재하면, 그 영향은 AI 시스템 전반으로 확산될 수 있다.

이로 인해 AI 시스템은 공급망 공격에 취약하다. 공격자는 구성 요소 내부의 취약점을 악용해 전체 시스템을 침해할 수 있다.

• 관련 기사 : AI supply chain threats loom — as security practices lag

탈옥

모델 탈옥(Jailbreaking)이라고도 불리는 이 공격의 목적은, 주로 대규모 언어 모델과의 상호작용을 통해 AI 시스템의 행동과 출력을 제한하는 가드레일을 무시하도록 만드는 데 있다. 여기에는 유해하거나 공격적이거나 비윤리적인 결과를 막기 위한 각종 보호 장치가 포함된다.

해커는 이 같은 공격을 수행하기 위해 다양한 기법을 활용한다. 예를 들어 역할극 공격을 사용해, AI가 개발자와 같은 특정 인물을 연기하도록 지시함으로써 가드레일을 우회하게 만들 수 있다. 정상적인 요청처럼 보이는 프롬프트 안에 악성 지시를 숨기거나, 인코딩·외국어·특수 문자 등을 활용해 필터를 회피하는 방식도 있다. 가상의 상황이나 연구 질문 형태로 프롬프트를 구성하거나, 여러 단계의 질문을 통해 최종 목표에 도달하도록 유도하는 방법도 사용된다.

이러한 공격의 목적은 다양하며, AI 시스템이 악성 코드를 작성하게 하거나, 문제가 될 수 있는 콘텐츠를 확산시키거나, 민감한 데이터를 노출하도록 만드는 경우가 포함된다.

리카토는 “채팅 인터페이스가 존재하는 한, 이를 이용해 시스템이 설정된 범위를 벗어나도록 작동하게 만드는 방식은 존재한다”라며 “점점 더 강력한 추론 시스템을 갖게 되면서 감수해야 하는 트레이드오프”라고 설명했다.

AI 시스템 위협에 대응하기

경영진이 생산성과 혁신을 이유로 AI 이니셔티브에 속도를 내는 상황에서, 최고정보보안책임자(CISO)는 해당 프로젝트와 조직 전반의 AI 인프라 보안을 최우선 과제로 삼아야 한다.

보안 기술 기업 해커원(HackerOne)의 설문조사에 따르면, CISO의 84%가 현재 AI 보안을 담당하고 있으며, 82%는 데이터 프라이버시까지 관할하고 있다. CISO가 AI 시스템과 이를 학습시키는 데이터를 겨냥한 공격에 대응하는 보안 전략을 발전시키지 못할 경우, 향후 발생하는 문제는 AI 이니셔티브 기획·출범 과정에 참여했는지와 관계없이 CISO의 리더십에 대한 책임으로 이어질 수 있다.

이와 관련해 컨스텔레이션 리서치의 메타는 “선제적인 AI 보안 전략이 필요하다”라고 진단했다.

컨스텔레이션 리서치의 보고서 ‘전통적 사이버 방어를 넘어선 AI 보안: AI와 자율성 시대를 위한 사이버보안 재구상’에서 수석 애널리스트 치락 메타는 “AI 보안은 단순한 기술적 과제가 아니라, 경영진의 전폭적인 지지와 부서 간 협력이 요구되는 전략적 과제”라며 “데이터 거버넌스는 AI 보안의 출발점으로, 학습 데이터와 모델 입력의 무결성과 출처를 보장하는 것이 핵심”이라고 설명했다. 이어 “보안 팀은 AI 기반 위험을 다루기 위한 새로운 전문성을 확보해야 하며, 비즈니스 리더는 자율형 AI 시스템이 갖는 영향과 이를 책임감 있게 관리하기 위한 거버넌스 체계를 인식해야 한다”라고 밝혔다.

AI 시스템 공격을 평가·관리·대응하기 위한 전략도 점차 구체화되고 있다. 강력한 데이터 거버넌스를 유지하는 것과 함께, 전문가들은 AI 모델을 배포 전에 점검하고, 운영 중인 AI 시스템을 지속적으로 모니터링하며, 레드팀을 활용해 모델을 시험할 필요가 있다고 조언한다.

PwC의 위코프는 “특정 공격 유형에 대응하기 위해 CISO가 별도의 조치를 취해야 할 수도 있다”라고 설명했다. 예를 들어 모델 탈취를 사전에 차단하려는 경우, 의심스러운 쿼리와 패턴을 모니터링하고 응답 속도를 제한하거나 타임아웃을 설정하는 방식이 활용될 수 있다. 회피 공격을 줄이기 위해서는 적대적 학습, 즉 해당 공격 유형에 대비하도록 모델을 학습시키는 접근도 고려할 수 있다.

MITRE ATLAS 도입도 하나의 방안으로 제시된다. 인공지능 시스템을 겨냥한 적대적 위협 지형(Adversarial Threat Landscape for Artificial-Intelligence Systems)의 약자인 이 프레임워크는 공격자가 AI 시스템을 어떻게 노리는지를 체계적으로 정리하고, 전술·기법·절차(TTP)를 식별할 수 있는 지식 기반을 제공한다.

보안 및 AI 전문가들은 이러한 조치를 실행하는 데 현실적인 어려움이 따른다는 점도 인정한다. 많은 CISO가 섀도 AI 문제나, 공격자가 AI를 활용하면서 더 빠르고 정교해진 기존 사이버 공격에 우선 대응해야 하는 상황에 놓여 있다. 여기에 더해, AI 시스템을 겨냥한 공격이 아직 초기 단계에 머물러 있고 일부는 여전히 이론적 수준으로 평가된다는 점도, 관련 전략과 역량을 확보하기 위한 자원 배분을 어렵게 만드는 요인이다.

샌스의 리는 “CISO 입장에서 AI 백엔드를 겨냥한 공격은 아직 연구가 진행 중인 영역이어서 매우 까다롭다”라며 “우리는 해커가 무엇을 하고 있으며, 그 이유가 무엇인지를 파악하는 초기 단계에 있다”라고 설명했다.

리와 다른 전문가들은 조직이 AI 경쟁에서 뒤처지지 않으려는 압박을 받고 있다는 점을 이해하면서도, AI 시스템 보안을 사후 과제로 밀어서는 안 된다고 강조한다.

PwC 사이버·리스크 혁신 연구소를 이끄는 맷 고햄은 “인프라를 구축하는 과정에서 어떤 형태의 공격이 가능할지를 함께 고민하는 것이 CISO에게 핵심 과제”라고 언급했다.
dl-ciokorea@foundryco.com