Large language models (LLMs) have rapidly become a cornerstone of modern enterprise operations, powering everything from customer support chatbots to advanced analytics platforms. While these models offer unparalleled capabilities, they also pose significant challenges for organizations—mainly their size, resource demands and sometimes unpredictable behaviour. Enterprises often grapple with high operational costs, latency issues and the risk of generating inaccurate or irrelevant outputs (commonly referred to as hallucinations). To truly harness the potential of LLMs, businesses need practical strategies to optimise these models for efficiency, reliability and accuracy. One key technique that has gained traction is model distillation.

Understanding model distillation

Model distillation is a method used to transfer the knowledge and capabilities of a large, complex model (the teacher) into a smaller, more efficient model (the student). The goal is to retain the teacher’s performance while making the student model lighter, faster and less resource-intensive. Distillation works by training the student to mimic the outputs or internal representations of the teacher, essentially “distilling” the essence of the larger model into a compact form.

Why is this important for enterprises? Running massive LLMs can be costly and slow, especially in environments where quick responses and scalability are crucial. Model distillation provides a means to deploy powerful AI solutions without the heavy infrastructure burden, making it a practical choice for businesses seeking to strike a balance between performance and efficiency.

How model distillation works

• Train the trainer/teacher model: Begin with a large, pre-trained language model that performs well on your target tasks.
• Prepare the student model: Design a smaller, more efficient model architecture that will learn from the teacher.

• Distillation training: The student is trained using the teacher’s outputs or “soft labels,” learning to replicate its behaviour as closely as possible.
• Evaluation and fine-tuning: Assess the student’s performance and, if necessary, fine-tune it to ensure it meets accuracy and reliability requirements.

Throughout this process, the student model becomes adept at handling enterprise tasks with far less computational overhead, making it ideal for real-time applications.

Model distillation in practice

Imagine a financial services company that uses an LLM to generate investment reports. The original model is highly accurate but slow and expensive to run. By applying model distillation, the company trains a smaller student model that produces nearly identical reports with a fraction of the resources. This distilled model can now deliver insights in real-time, enabling analysts to make faster decisions while cutting operational costs.

In another scenario, a healthcare provider deploys an LLM-based assistant to help doctors access patient information and medical guidelines. The full-scale model offers excellent recommendations but struggles with latency on edge devices. After distillation, the student model fits comfortably on hospital servers, providing instant responses and maintaining data privacy.

Industrial use cases: Real-time scenarios across sectors

• Financial services: Distilled models power fraud detection systems, delivering rapid alerts without draining computational resources.
• Healthcare: Hospitals use distilled LLMs for triaging patient queries and supporting clinical decisions at the point of care.
• Customer service: Call centres deploy compact chatbots trained via distillation to handle large volumes of queries efficiently.
• Retail: E-commerce platforms run product recommendation engines using distilled models to personalise shopping experiences in real time.

Framework for model distillation: Optimizing LLMs for enterprises

To systematically optimise LLMs for enterprise use, a robust framework for model distillation is essential. Here’s a stepwise approach designed for IT professionals:

• Assessment: Identify the target tasks and performance benchmarks required for your business operations.
• Teacher model selection: Choose a high-performing LLM as your teacher, ensuring it excels at your chosen tasks.
• Student model design: Architect a smaller model that can be trained efficiently while retaining core capabilities.
• Distillation training: Use the teacher’s outputs to guide the student, focusing on both output accuracy and internal representations.

• Validation: Rigorously test the student model against real-world data to spot hallucinations and inaccuracies.
• Iterative fine-tuning: Continuously improve the student model by refining its training data and adjusting its architecture as needed.
• Deployment: Integrate the distilled model into your enterprise systems, monitoring performance and updating as required.

How the framework reduces hallucinations and improves accuracy

A key challenge with LLMs is their tendency to “hallucinate”—generating plausible-sounding but incorrect information. The distillation framework addresses this by incorporating validation steps that test the student model against curated datasets and real-world scenarios. By exposing the student to diverse data during training and fine-tuning, enterprises can reduce the risk of hallucinations and ensure outputs remain reliable. Furthermore, ongoing monitoring and iterative updates help maintain model accuracy as business needs evolve.

Practical considerations and implementation tips

• Customise training data: Use enterprise-specific datasets during distillation to align the model with your organizational context.
• Monitor model outputs: Regularly review the student’s responses to catch emerging issues early.
• Plan for scale: Design the distilled model architecture to support future growth and integration with other systems.
• Collaborate across teams: Involve domain experts during validation to ensure the model meets real-world requirements.

Benefits for large enterprises

For large organizations, model distillation offers several compelling advantages:

• Cost savings: Reduced computational demands lead to lower infrastructure and energy costs.
• Improved reliability: Streamlined models respond faster and are easier to maintain, ensuring consistent service.
• Scalability: Lightweight models can be deployed across multiple platforms and locations, supporting enterprise expansion.
• Enhanced accuracy: The framework’s focus on validation and fine-tuning helps minimise errors and hallucinations.

Conclusion

Model distillation stands out as a key technique for making large language models fit for enterprise operations. By transferring knowledge from complex models to efficient students, businesses can enjoy the best of both worlds—powerful AI capabilities without the heavy resource burden. As enterprises continue to adopt AI at scale, model distillation will play a pivotal role in ensuring solutions are cost-effective, reliable and tailored to real-world needs. IT professionals seeking to maximise the value of LLMs should consider integrating distillation frameworks into their optimization strategies, paving the way for smarter, more agile enterprise AI.

This article was made possible by our partnership with the IASA Chief Architect Forum. The CAF’s purpose is to test, challenge and support the art and science of Business Technology Architecture and its evolution over time as well as grow the influence and leadership of chief architects both inside and outside the profession. The CAF is a leadership community of the IASA, the leading non-profit professional association for business technology architects.

This article is published as part of the Foundry Expert Contributor Network.
Want to join?

엣지 AI와 관련해 레드햇의 엣지 프로젝트 관리 부문 시니어 디렉터 조슈아 데이비드는 “글로벌 시장은 현재 가파른 성장 궤도에 올라 있다”라고 말했다. 실제로 엣지 AI 시장 규모는 2034년까지 1,430억 달러에 이를 것으로 예상되고 있다.

엣지 AI의 성장세는 업계 전반이 머신러닝(ML) 모델에 데이터를 학습시키는 AI 학습 중심에서 벗어나, 운영 환경에서 모델을 실제로 활용해 지식을 적용하거나 예측을 수행하는 추론 중심으로 이동하는 흐름과 맞물려 있다.

엔터프라이즈 데이터 관리·통합 기업 인포매티카의 제품 관리 부문 부사장 수밋 아그라왈은 “강력하면서도 에너지 효율적인 AI 프로세서의 발전과 사물인터넷(IoT) 기기의 확산이 이러한 흐름을 가속하고 있다. 복잡한 AI 모델을 엣지 디바이스에서 직접 실행할 수 있는 환경을 가능하게 하고 있다”라고 설명했다.

이와 관련해 모건스탠리 블로그는 AI 산업이 “새롭고, 잠재적으로 훨씬 더 큰 단계인 AI 추론으로 접어들고 있다”라고 언급하며, 이 단계의 핵심 특징으로 소비자용 애플리케이션과 기업 전반에 걸쳐 AI 모델이 광범위하게 채택된다는 점을 짚었다.

엣지 컴퓨팅은 퍼블릭 클라우드와는 다른 장점을 제공한다. 퍼블릭 클라우드는 확장성과 사용 편의성 측면에서 강점이 있지만, 추론 관점에서는 한계도 분명하다. 지연 시간이 늘어나고 데이터 프라이버시 우려가 커지며, 연산 처리와 데이터 유입·유출 과정에서 비용 부담이 증가한다는 점이 대표적이다. 반면 AI를 엣지에서 실행하면 이러한 문제 상당 부분을 해소할 수 있다. 데이비드는 “엣지 AI는 지연 시간 감소, 비용 절감, 보안과 프라이버시 강화 등 여러 핵심적인 이점을 제공한다”라고 설명했다.

아마존이 최근 일부 ML 학습 작업에 주로 사용되는 GPU 이용 요금을 15% 인상한 사례처럼, 중앙 집중형 학습을 중심으로 한 클라우드 AI 비용은 예측하기 어려운 방향으로 흘러가고 있다. IDC는 2027년까지 CIO의 80%가 AI 추론 수요를 충족하기 위해 클라우드 업체의 엣지 서비스를 활용할 것으로 전망했다.

다만 이러한 전환이 순탄하게 이뤄지지는 않을 전망이다. 실시간 성능에 대한 높은 요구, AI 스택이 차지하는 큰 시스템 자원 부담, 파편화된 엣지 생태계는 여전히 주요 과제로 남아있다.

이 글에서는 엣지 AI를 둘러싼 기술 개발 현황을 살펴보고, 엣지 환경에서 AI를 실행하기 위한 새로운 기술과 운영 방식, 그리고 AI 시대에 컴퓨팅의 미래가 어떻게 진화할지 전반적으로 짚어본다.

엣지 AI 성장을 이끄는 요인

데이비드는 “엣지 AI 확산의 가장 큰 동인은 실시간 데이터 처리에 대한 요구”라고 설명했다. 중앙화된 클라우드 기반 AI 워크로드에 의존하는 대신, 엣지에서 직접 데이터를 분석하면 데이터가 생성되는 지점에서 즉각적인 의사결정을 내릴 수 있다는 점이 핵심이라는 분석이다.

여러 전문가도 같은 의견을 내놓고 있다. 인포매티카의 아그라왈은 “엣지 AI에 대한 관심이 폭발적으로 증가하고 있다”라고 전하며, 특히 산업 현장이나 자동차 분야처럼 찰나의 판단이 중요한 환경에서는 지연 시간 감소가 가장 큰 장점으로 작용하고 있다고 진단했다.

또한 클라우드로 데이터를 보내지 않고도 ML 모델에 개인적이거나 기업 고유의 맥락 정보를 제공하려는 수요 역시 커지고 있다. 오픈소스 애플리케이션 플랫폼 제공사 템포럴 테크놀로지의 시니어 스태프 소프트웨어 엔지니어이자 AI 기술 책임자인 요한 슐라이어-스미스는 “프라이버시는 매우 강력한 동인”이라면서, 의료나 금융처럼 규제가 엄격한 산업에서는 민감한 정보를 로컬에서 처리하는 것이 규제 준수를 위해 필수적이라고 분석했다.

수세(SUSE)의 엣지 사업 부문 부사장 겸 총괄 책임자 키스 바실 역시 “엣지 AI에 대한 관심은 분명히 증가하고 있다”라고 밝혔다. 그는 제조 분야를 대표적인 사례로 꼽으며, 기업이 생산 라인을 운영하는 대형 서버부터 소형 센서에서 발생하는 데이터를 처리하는 영역까지 다양한 사용례에 엣지 AI 도입을 검토하고 있다고 설명했다.

로크웰 오토메이션에 따르면 제조 기업의 95%가 향후 5년 내에 AI/ML, 생성형 AI, 인과 기반 AI에 이미 투자했거나 투자를 계획하고 있다. 또 2024년 인텔의 CIO 보고서에서는 제조 분야 리더의 74%가 AI가 매출 성장에 기여할 잠재력이 있다고 답했다.

로컬 AI 연산의 가장 큰 효과는 비용 절감이다. 아그라왈은 “전송해야 할 데이터 양이 줄어들면서 비용과 대역폭을 크게 최적화할 수 있다”라고 설명했다.

특정 워크로드를 엣지에서 처리하는 방식은 비용 절감뿐만 아니라 에너지 소비 감소와도 밀접하게 연결된다. 2025년 1월 아카이브(Arxiv)에 발표된 논문 ‘하이브리드 엣지 클라우드의 에너지 및 비용 절감 효과 정량화’에서는 순수 클라우드 처리 방식과 비교해, 에이전트 기반 AI 워크로드에 하이브리드 엣지 클라우드를 적용할 경우 조건에 따라 최대 75%의 에너지 절감과 80%를 웃도는 비용 절감 효과를 거둘 수 있다고 분석했다.

해당 논문의 저자인 시아바시 알라무티는 “엣지 처리는 로컬 컴퓨팅의 맥락을 직접 활용해 연산 복잡도를 낮추고, 클라우드 규모에서 발생하는 막대한 에너지 수요를 피할 수 있다”라고 진단했다.

로컬 AI를 가능하게 하는 기술

엣지 AI 성장을 이끄는 요인은 분명해 보이지만, 이를 실제로 구현하기 위해서는 어떤 기술이 필요할까? 자원이 제한된 엣지 환경에서 AI 연산을 실행하려면 소규모 언어 모델, 경량 프레임워크, 최적화된 배포 방식이 결합돼야 할 가능성이 크다.

소규모 언어 모델(SLM)

지금까지 대부분의 기업은 앤트로픽의 클로드, 구글의 제미나이, 오픈AI의 GPT 모델과 같은 범용 서비스 기반의 LLM을 활용해 AI를 중앙에서 운영해 왔다. 그러나 최근 AI 모델 기술이 발전하면서 이런 구조에도 변화가 나타나고 있다.

특히 자체 배포가 가능한 SLM은 특정 사용례에서 클라우드 AI 플랫폼에 대한 의존도를 낮추고 있다. 템포럴 테크놀로지의 슐라이어-스미스는 “SLM의 성능이 빠르게 향상되고 있다”라며, 최근 기술 진전의 사례로 오픈AI의 GPT-OSS와 계층적 추론 모델을 언급했다.

최적화 전략

로컬 AI의 시스템 부담을 줄이는 것은 연산 능력과 대역폭이 제한된 엣지 디바이스 환경에서 특히 중요하다. 이에 따라 SLM을 최적화하는 기술이 엣지 AI 구현을 뒷받침하는 핵심 영역으로 떠오르고 있다.

대표적인 전략 가운데 하나는 모델 압축 기법인 양자화다. 양자화는 모델 크기와 연산 요구량을 줄이는 방식으로, 엣지 환경에 적합한 형태로 AI 모델을 경량화한다. 아그라왈은 “이러한 기법을 통해 NPU, 구글의 엣지 TPU, 애플의 뉴럴 엔진, 엔비디아 젯슨 디바이스와 같은 특화 하드웨어에서 SLM을 실행할 수 있다”라고 설명했다.

자체 완결형 패키지 역시 엣지 AI를 대규모로 운영하는 데 도움이 될 수 있다. 데이비드는 운영체제, 하드웨어 드라이버, AI 모델을 하나로 묶은 즉시 배포 가능한 베이스 이미지가 엣지 AI 상용화를 현실화하는 접근 방식이라고 설명했다.

엣지 런타임 및 프레임워크

새로운 런타임 및 프레임워크 역시 엣지 환경에서의 AI 추론을 최적화하는 데 중요한 역할을 한다. 데이비드는 경량 생성형 AI 런타임인 llama.cpp와 함께, 로컬 하드웨어에서 모델 추론을 지원하는 오픈비노(OpenVINO)와 라이트RT(LiteRT, 이전 텐서플로 라이트) 같은 프레임워크를 언급했다.

아그라왈은 “llama.cpp와 GGUF 모델 포맷 같은 프로젝트는 다양한 소비자용 디바이스에서 고성능 추론을 가능하게 하고 있다. MLC LLM과 웹LLM(WebLLM) 역시 웹 브라우저와 다양한 네이티브 플랫폼에서 AI를 직접 실행할 수 있는 가능성을 확장하고 있다”라고 말했다.

클라우드 네이티브 호환성

엣지 AI가 클라우드 네이티브 생태계 및 쿠버네티스와의 호환성을 확보하는 것 역시 중요한 과제로 떠오르고 있다. 쿠버네티스가 이미 엣지 환경으로 빠르게 확산되고 있기 때문이다. 대표적인 사례로는 ‘자체 호스팅 AI를 위한 오픈소스 표준’으로 소개되는 케이서브(KServe)가 있다. 케이서브는 쿠버네티스 환경에서 엣지 추론을 지원하는 프레임워크다.

또 다른 핵심 기술로는 클라우드 네이티브 컴퓨팅 재단(CNCF)이 운영하는 샌드박스 프로젝트 아크리(Akri)가 꼽힌다. 수세의 바실은 “아크리는 엣지 환경에서 다양한 동적 디바이스와 간헐적으로 연결되는 리프 디바이스를 쿠버네티스에서 쉽게 활용할 수 있도록 만든다”라고 설명했다. 아크리를 활용하면 IP 카메라, 센서, USB 디바이스 등 다양한 엔드포인트를 쿠버네티스 리소스로 노출할 수 있어, 해당 하드웨어에 의존하는 엣지 AI 워크로드를 보다 손쉽게 배포하고 쿠버네티스에서 모니터링할 수 있다.

개방형 표준

마지막으로 엣지 AI 확산 과정에서 개방형 산업 표준이 중요한 역할을 할 것으로 보인다. 바실은 “빠르게 확장되고 있는 엣지 AI 하드웨어와 소프트웨어 환경은 심각한 상호운용성 문제를 안고 있다”라고 설명했다. 그는 리눅스 재단이 주도하는 마고(Margo)와 같은 프로젝트가 산업용 엣지 자동화 분야에서 표준을 정립하는 데 중요한 역할을 할 것으로 내다봤다.

이와 함께 ONNX도 온디바이스 AI 추론을 위한 경쟁 프레임워크 간 상호운용성 문제 해결에 도움이 될 표준으로 주목받고 있다.

엣지 AI의 현실적 장벽

기술 자체는 이미 마련돼 있지만, 엣지 AI를 실제로 운영하는 방식은 아직 초기 단계에 머물러 있다. 개념 증명 수준에서 벗어나 엣지 AI 애플리케이션을 본격적인 운영 환경으로 옮기기까지는 여러 과제를 극복해야 한다.

아그라왈은 “가장 근본적인 한계는 엣지 디바이스가 지닌 자원 제약”이라고 지적했다. 그는 “메모리와 연산 능력이 제한적이기 때문에, 막대한 연산 자원을 요구하는 크고 복잡한 AI 모델을 배포하는 데 어려움이 따른다”라고 말했다.

자원이 제한된 하드웨어 환경에 맞게 모델 크기를 최적화하면서도, 사용자가 기대하는 고성능 상위 모델 수준의 정확도를 유지해야 한다는 점 역시 여전히 해결해야 할 과제다.

또한 엣지 AI 운영에 대한 실무 경험도 아직 충분히 축적되지 않았다. 데이비드는 “특화된 엣지 디바이스는 하드웨어 구성이 복잡하고, 대부분 즉시 사용 가능한 상태로 동작하지 않는다는 점이 주요 장애물”이라고 설명했다. 그는 최전방 엣지 환경에서 모델을 배포하고 모니터링하며 관리할 수 있는 엔드투엔드 플랫폼이 부족해, 현재로서는 복잡한 수작업 방식에 의존할 수밖에 없는 상황이라고 지적했다.

바실은 “엣지 AI의 주요 과제는 파편화된 생태계”라고 덧붙였다. 그는 “표준화되고 성숙한 클라우드 컴퓨팅 환경과 달리, 엣지 AI는 하드웨어와 소프트웨어, 통신 프로토콜 전반에 걸쳐 공통된 프레임워크가 부족하다”라고 설명했다. 이러한 산업 전반의 파편화는 디바이스별로 경쟁적인 소프트웨어와 기술을 양산하고, 그 결과 엣지 환경에서는 호환성 문제와 개별 맞춤형 해결책이 뒤따르게 된다.

마지막으로 분산된 AI 모델 네트워크를 관리하는 문제도 복잡한 운영 과제로 꼽힌다. 아그라왈은 “수많은 디바이스에 배포된 모델을 대상으로 보안 업데이트와 버전 관리, 성능 모니터링을 동시에 수행하는 것은 매우 어려운 작업”이라며 “엣지 AI를 효과적으로 확장하기 위해 기업이 반드시 해결해야 할 과제”라고 설명했다.

이러한 장벽을 극복하기 위해 전문가들은 몇 가지 실천 방안을 제시했다.

• 연결성이 낮은 환경에서의 추론과 같이 엣지 AI가 적합한 경우에 한해 도입.
• 비기술 분야 리더를 대상으로 비즈니스 가치를 지속적으로 전달.
• 전면적인 엣지 또는 클라우드 배포 대신 하이브리드 전략을 고려.
• 아키텍처 차원에서 소프트웨어 계층을 특정 하드웨어 의존성으로부터 분리.
• 엣지 환경의 제약에 최적화된 모델을 선택.
• 업데이트, 모니터링, 유지보수를 포함한 전체 모델 수명 주기를 초기 단계부터 구상.

중앙 집중형에서 분산 지능으로

엣지 AI에 대한 관심이 빠르게 높아지고 있지만, 대안형 클라우드로의 전환 흐름과 마찬가지로 전문가들은 로컬 처리가 중앙 집중형 클라우드에 대한 의존도를 의미 있게 낮추지는 않을 것으로 보고 있다. 슐라이어-스미스는 “엣지 AI가 본격적으로 주목받는 시점은 오겠지만, 도입 속도는 클라우드에 비해 뒤처질 것”이라고 설명했다.

엣지 AI는 퍼블릭 클라우드를 대체하기보다는 새로운 역량을 더해 보완하는 방향으로 발전할 가능성이 크다. 바실은 “기존 인프라를 대체하는 것이 아니라, 엣지에 AI를 배치해 더 똑똑하고 효율적이며 반응성이 높은 환경을 만드는 방식이 될 것”이라고 말했다. 이는 기존 운영체제를 사용하는 엔드포인트를 보완하거나, 온프레미스 서버 운영을 최적화하는 형태로 이어질 수 있다.

전문가들은 엣지 디바이스의 역할과 역량이 단기간 내 크게 강화될 것이라고 의견을 모았다. 아그라왈은 “하드웨어와 최적화된 모델, 배포 플랫폼이 빠르게 발전하면서 사물인터넷, 모바일 디바이스, 일상적인 애플리케이션 전반에 AI가 더욱 깊이 통합되는 모습을 보게 될 것”이라고 전망했다.

이어 그는 “앞으로 엣지 AI는 빠른 성장을 앞두고 있으며, 분산되고 사용자 중심적인 지능으로의 근본적인 전환을 이끌 것”이라고 내다봤다.
dl-ciokorea@foundryco.com

수십 년 동안 IT 운영 매뉴얼은 대개 50페이지 분량의 빽빽한 PDF 문서였다. 사람이 만들고 사람이 읽도록 설계된 문서는, 감사가 필요해질 때까지 디지털 저장소 어딘가에서 방치되는 경우가 대부분이었다. 그러나 2026년에 접어든 지금, 전통적인 SOP는 사실상 수명을 다한 상태다. 이제 이 매뉴얼의 주된 사용자가 사람이 아니기 때문이다.

시스템은 점점 더 에이전트 기반으로 진화하고 있다. 단순히 대시보드를 감시하는 수준을 넘어, 스스로 사고하고 계획하며 인프라 내 변경을 실행하는 자율형 에이전트가 배치되고 있다. 이들 에이전트는 PDF 문서를 읽을 수 없고, 법률 용어로 작성된 보안 정책의 취지를 해석하지도 못한다. 자율형 IT 시대에 통제력을 유지하려면 고정된 규칙에 머무르지 않고 ‘에이전트 헌법’, 즉 앤트로픽이 제시한 ‘헌법 중심 AI(Constitutional AI)’를 기업 환경에 적용해야 한다. 이는 AI의 문제점을 AI가 스스로 검증하고 고치기 위한 시스템을 의미한다.

문서 속 정책에서 코드로 구현된 정책으로

과거 IT 거버넌스는 사후 대응만 가능한 ‘체크리스트’ 방식이었다. 그러나 오늘날 기업은 정책을 코드로 구현하는 ‘PaC(Policy as Code)’로의 전환이 필요하다.

• 전전두엽 역할: 에이전트 헌법은 자율 시스템 기계가 읽을 수 있는 기본 원칙 집합이다.
• 운영 경계: 에이전트가 수행할 수 있는 작업 범위와 절대 넘지 말아야 할 윤리적 한계를 규정한다.
• 실행 가능한 규칙: 코드로 구현된 강제 규칙의 예로는 ‘피크 시간대에는 인간 개입 토큰 없이는 운영 데이터베이스를 수정하지 않는다’와 같은 원칙이 있다.
• LLM 이해 가능성: 이러한 규칙은 실행 가능하며, 오케스트레이션을 담당하는 LLM이 이해하고 활용할 수 있다.

이런 전환은 근본적인 변화를 의미한다. IT 전문가의 역할은 ‘운영자’에서 ‘의도 설계자’로 변화하고 있다. IT 직원은 더 이상 시스템을 직접 조작하는 사람이 아니라, 자율 시스템이 따라야 할 행동 규칙을 설계하는 주체가 되고 있다.

IT 운영을 위한 자율성 계층 구조

기업이 ‘킬 스위치’에 대한 통제권을 유지하면서 AI 역량을 확장하려면, ‘자율성의 계층 구조’에 초점을 맞출 필요가 있다. 이는 1978년 연구자 토머스 셰리던와 윌리엄 버플랭크의 기초 연구에서 제시된 프레임워크에 기반한 개념이다.

1단계: 완전 자율화 영역(가장 쉽게 도입할 수 있는 영역)

• 이는 사람이 개입하는 비용이 해당 작업의 가치보다 더 큰 업무를 의미한다.
• 사례
  • 자동 확장
  • 로그 로테이션
  • 기본 티켓 라우팅
  • 캐시 정리
• 거버넌스: 사전에 정의된 임계값 조건에 따라 동작하는 통제된 자동화 영역(sandbox of trust)에서 관리된다.

2단계: 감독형 자율화 영역(사전 확인 구간)

• 에이전트가 데이터 수집과 문제 원인 분석, 해결 방안 도출 등 핵심 작업을 수행하지만, 최종 실행 단계에서는 사람의 승인, 즉 확인 절차가 필요한 단계다.
• 사례
  • 시스템 패치
  • 사용자 계정 프로비저닝
  • 비중요 설정 변경
• 거버넌스: 에이전트는 해당 조치를 왜 수행하려는지에 대한 판단 근거, 즉 추론 과정을 관리자에게 제시해야 한다.

3단계: 사람 전용 영역

• 어떤 상황에서도 에이전트가 자율적으로 수행해서는 안 되는, 시스템의 존립과 직결된 핵심 작업을 의미한다.
• 사례
  • 데이터베이스 삭제
  • 핵심 보안 설정 우회
  • 에이전트 헌법 자체에 대한 수정
• 거버넌스: 다단계 인증(MFA) 또는 복수 인원의 이중 승인과 같은 강력한 통제 절차를 적용한다.

숨겨진 공격 표면 줄이기

중앙화된 헌법 체계를 구현하면, 중앙 IT의 관리 및 감독 없이 배포되는 섀도우 AI 에이전트로 인한 리스크를 완화할 수 있다.

• 통합 API: 모든 에이전트는 핵심 인프라와 상호작용하기 전에 해당 운영 원칙 체계에 따라 인증을 거쳐야 한다.
• 컴플라이언스 이력: 이를 통해 SOC2나 EU AI 법과 같은 규제 대응에 활용할 수 있는 중앙화된 감사 이력이 생성된다.
• 검증 가능한 의사결정: 자율적으로 내려진 판단과 실행에 대한 검증 가능한 기록을 축적할 수 있다.

기계 중심 세계 속 사람의 목소리

이른바 ‘헌법’은 코드가 아니라, 엔지니어의 경험과 판단이 집약된 사람의 문서다. 따라서 사람의 역할은 여전히 중요하다.

• 의도 설계자: IT 전문가의 역할은 ‘운영자’에서 ‘의도의 설계자’로 변화하고 있다.
• 문화적 전환: IT 팀은 개인이 나서서 문제를 해결하는 방식에서 벗어나, 시스템 중심의 거버넌스 문화로 전환해야 한다.

‘헌법 제정 회의’를 시작할 때

2020년대 후반에도 PDF 형식의 기존 SOP에 의존한다면, IT 운영은 비즈니스의 발목을 잡는 병목으로 전락할 가능성이 크다.

지금 바로 취해야 할 단계는 다음과 같다.

• 레드라인 정의: 수석 아키텍트를 중심으로 3단계 영역의 경계를 명확히 설정한다.
• 자동화 성과 도출: 즉시 자동화가 가능한 1단계 업무를 식별한다.
• 전략에 집중: 사람은 봇을 감시하는 데 시간을 쓰는 대신, 전략과 혁신에 집중하도록 방향을 전환한다.

dl-ciokorea@foundryco.com

“それっぽい未来”と“正しい未来”は別物

動画生成のデモを見て人が驚くのは、動きが自然で、時間方向に破綻が少なく、現実にある“っぽさ”が成立しているからだ。逆に言えば、私たちは「見た目がそれっぽい」だけで、かなりの部分を理解と錯覚する。映画のVFXが物理的に厳密でなくても成立するのと同じで、視覚は細部の整合性よりも大局の流れに強く反応する。ここに、生成モデルと世界モデルを混同しやすい落とし穴がある。

世界モデルが狙う“正しい未来”は、単に自然に見える未来ではない。介入したときに筋が通る未来だ。たとえば、机の上のボールが転がる動画を作るとして、見た目だけなら「それっぽい転がり方」はいくらでも作れる。でも、そこに手を入れてボールを止めたらどうなるか、床の材質が変わったらどうなるか、別の角度から見たら同じ出来事として整合するか。こうした条件を変えたときにも一貫して予測できるなら、初めて“世界の仕組み”を掴んでいると言える。

動画生成が露呈しやすい弱点として、物体恒常性がある。画面の外に出た物体が、戻ってきたときに別物になっていたり、遮蔽物の裏で存在が曖昧になったりする。これが起きるのは、モデルが「物体という単位で世界を追跡している」より、「この画面の次に来そうな画面」を統計的に合成している比重が大きいからだ。もちろん近年は改善が進んでいるが、原理的に“見えない間も同じ物体がそこにある”という信念を維持するのは、単なる次フレーム予測以上の構造を要求する。

もう一つは接触と因果だ。物体同士が触れた瞬間に力が伝わり、速度が変わり、回転が起きる。この「触れたから変わる」という因果は、映像としては短い局所現象だが、世界理解の中核に近い。生成モデルは見た目の連続性を優先して、接触の瞬間を“それっぽく丸める”ことがある。だから、接触しているのにすり抜けたり、逆に触れていないのに影響が出たりする。人間の目は意外とこれを見逃すこともあるが、ロボットやシミュレーション用途では致命的になる。

結局のところ、“それっぽい未来”は「観客を納得させる未来」だが、“正しい未来”は「条件を変えても一貫する未来」だ。動画生成が世界モデルに見える瞬間は増えている。しかし、そのまま世界モデルと呼ぶには、介入と一貫性というハードな条件をクリアする必要がある。

世界モデルとしての生成モデル。どこまで成立しているのか

とはいえ、動画生成モデルが世界モデルに近づいているのも事実だ。理由は単純で、動画は時間方向の因果を含むからだ。画像生成が「一枚の世界」を作るのに対して、動画生成は「世界がどう変わるか」を扱う。そこには自然に、状態と遷移の学習が入り込む。ここで重要なのは、生成モデルが世界モデルに寄るかどうかは、モデルの学習目標というより「どう使うか」と「どんな条件を課すか」で決まる点だ。

世界モデルとして語りやすくなるのは、潜在空間での状態遷移を明示的に持つタイプだ。観測である動画フレームをそのまま扱うのではなく、内部で圧縮した状態表現に落とし、次の状態を予測し、必要に応じて映像に戻す。こうすると、長期予測の計算が軽くなるだけでなく、「今はこういう状況だ」という内部のまとまりが作りやすい。世界モデルの言葉で言えば、潜在状態が“世界の要約”として機能する。

さらに一歩進むのが、アクション条件づけだ。つまり「こう動かしたらどうなるか」を学ぶ形で、入力に行動を入れて未来を生成する。ゲームやロボットの文脈ではこれが決定的で、行動がなければ世界モデルは計画に使いにくい。動画生成でも、カメラの移動、視点の指定、物体の操作など、何らかの“介入”を条件として与えられるようになるほど、世界モデルに近い性格を帯びる。生成が“鑑賞用の映像”から、“試行用の未来”へ役割を変えるからだ。

ただし、ここで壁が出る。動画生成の強みは、現実の多様な見た目を再現できることだが、世界モデルとしては、その多様さが逆に足を引っ張ることがある。見た目の自由度が高いほど、未来の不確実性は増え、モデルは「どの未来でもあり得る」方向へ逃げやすい。すると、もっともらしいが決め手に欠ける予測になる。計画に使うなら、未来が多様であること自体は悪くないが、行動によって分岐が“制御可能”になっていないと意味が薄い。どんな行動をしても、映像がなんとなく流れていくだけなら、意思決定にはつながらない。

長期予測の破綻も避けがたい。動画生成は一歩先を当てるのが得意でも、それを積み重ねると誤差が増える。最初は小さなズレでも、数秒後には別世界に漂流する。これは映像としては「なんか変だけど、雰囲気はそれっぽい」で済むかもしれない。しかし世界モデルとして使うなら、ほんの少しのズレが致命傷になる。特に、衝突や落下のように一瞬のイベントが将来を決める場面では、イベントの扱いが曖昧だと計画が成立しない。

もう一点、生成モデルが世界モデルになりきれない典型は、同じ出来事を別視点で見たときの整合性だ。世界モデルは“世界そのもの”を内部に持つので、視点が変わっても同じ世界として整合するのが理想だ。一方、動画生成はしばしば「この視点の映像」を直接生成する。視点を変えた生成を別途行うと、物体の位置関係や細部が微妙に変わってしまうことがある。これは「世界のモデル」ではなく「映像のモデル」になっている兆候で、世界モデルとの距離を示す分かりやすいサインだ。

つまり、動画生成は世界モデルの素材になり得るが、そのままでは“映像らしさ”に引っ張られる。世界モデルとして成立させるには、行動による分岐、視点を超えた一貫性、イベントの因果、長期安定性といった条件を、どこまで設計に織り込めるかが鍵になる。

評価の難しさと、これからの競争軸

生成モデルが世界モデルに近づいているかどうかを議論するとき、最大の問題は評価だ。画像や動画の生成では、自然さや高精細さが目立つので、評価もそこに寄りやすい。しかし世界モデルとしての価値は、画質ではなく「予測が意思決定に使えるか」にある。ここを測らない限り、進歩しているのか、見た目がうまくなっただけなのかが分からない。

評価が難しい理由の一つは、未来が一つに決まらないことだ。現実の映像ですら、少し条件が変われば別の未来になる。正解の未来が複数ある以上、「このフレームが正しい」と一意に言えない。そこで、生成の評価では統計的な指標や人間の主観が使われがちだが、世界モデルとしての能力を測るには不十分になりやすい。必要なのは「介入に対して整合するか」「制約を守るか」「長期的に破綻しないか」といった性質だが、これらは短いクリップを眺めるだけでは判断しにくい。

もう一つは、モデルが“うまいごまかし”を覚えることだ。例えば、物体が見切れそうになったら、都合よくカメラを揺らして誤魔化すような生成は、動画としては自然でも、世界理解としては後退かもしれない。あるいは、人間が気づきにくい矛盾を抱えたまま、質感やライティングで説得してくる。映像の説得力は強力で、評価者の感覚を簡単に乗っ取る。だから、世界モデルとしての評価は、人間の主観に頼りすぎない仕組みが要る。

今後の競争軸として見えてくるのは、いわば“世界に対するテスト”だ。条件を変えるテスト、視点を変えるテスト、行動を入れるテストを通じて、どこまで一貫性を保てるかが問われる。単に「次フレームっぽいもの」が出るだけではなく、「この操作をしたらこうなる」という因果が維持されるか。遮蔽物の裏で物体が存続するか。接触の結果が物理として成立するか。こうしたチェックは、映像の美しさとは別の次元でモデルを評価する。

プロダクト視点で見ると、世界モデル的な動画生成は“用途”で価値が決まる。映画制作や広告クリエイティブでは、多少の物理矛盾より表現力が重要かもしれない。一方、ロボットの訓練や作業計画では、見た目が多少荒くても因果が正しいほうが価値が高い。つまり、同じ動画生成でも、世界モデルに寄せるほど「正しさ」が要求され、表現の自由度とのトレードオフが強くなる。ここを理解せずに「動画生成が進んだから世界モデルも完成に近い」と結論づけるのは危険だ。

結論として、動画生成は世界モデルの入口に立っている。時間を扱う以上、内部に状態遷移が芽生えるからだ。しかし、世界モデルと呼ぶためには、見た目の連続性ではなく、介入と一貫性に耐えることが必要になる。生成モデルが次に競うのは、画質だけではない。“世界として筋が通る未来”をどれだけ作れるか。そこに、生成AIの次の本当の伸びしろがある。

世界モデルの定義と、よくある誤解

世界モデル（World Model）という言葉は、ざっくり言えば「世界がどう動くか」を内部に持つための表現だ。ここで言う世界は、必ずしも地球全体や社会全体のことではない。ロボットが机の上で物を押したときに何が起きるか、ゲームの中でキャラクターが曲がったときに視界がどう変わるか、あるいは会話で相手の感情がどう推移しそうか、そういう“自分が関わる範囲の環境”を含む。重要なのは、その内部表現が「次に何が起きるか」を予測するために使える、という点だ。

ここで最初の誤解が生まれやすい。世界モデルは単なる「知識の集まり」ではない。百科事典的に事実を詰め込んだものを世界モデルと呼ぶなら、検索エンジンのインデックスも世界モデルになってしまう。しかし、世界モデルが狙う中心は「状態の把握」と「状態の遷移」、つまり今がどういう状況で、それが次にどう変わるかという動力学の側にある。もちろん知識は使うのだが、知識が“予測に接続されている”かどうかが境目になる。

次の誤解は、世界モデルを「完璧な物理エンジン」だと捉えてしまうことだ。確かに理想形としては、世界を正確にシミュレーションできれば強い。だが現実の世界は、未知の要因とノイズだらけで、正確さだけを追うとすぐに破綻する。世界モデルは、正確さよりもまず「意思決定に使える程度に、世界を圧縮して表す」ことが多い。たとえば車の運転で、人はタイヤのゴム分子の運動を計算していない。見える範囲の車間距離、相手の速度、信号の状態を頭の中でまとめて「今は減速だな」と判断する。世界モデルとは、そういう“必要なところだけ掴む”能力の機械版でもある。

さらにややこしいのが、近年の大規模言語モデル（LLM）との関係だ。LLMは大量の文章から、次の単語を予測する訓練を受けている。その結果、世界の知識や因果関係っぽいものが内部に表現され、「それは世界モデルでは？」という議論が起きる。ここでのポイントは、言語モデルが持つ内部表現が世界モデル的に働く場面は確かにある一方で、世界モデルという概念が本来重視するのは「世界との相互作用」と「予測が行動にフィードバックする」構造だということだ。文章上の整合性が取れていても、物理的な因果や、介入したときの結果が整合しないことは起こりうる。言い換えると、言語としての“もっともらしさ”と、世界としての“成り立ち”は一致するとは限らない。

それでも世界モデルが重要なのは、AIが次に進む方向が「生成」から「計画」へ寄り始めているからだ。何かを出力できるだけではなく、その出力が現実にどう影響するかを見積もり、目標に沿って手順を組み立てる。そこに必要なのが、世界がどう動くかを内部に持つ仕組みであり、それを世界モデルと呼ぶ。

どうやって世界モデルは学習されるのか

世界モデルの学習は、一言でまとめるなら「観測をうまくまとめて、次を当てる」だ。たとえば、カメラ画像の連続、センサーの時系列、ログデータ、会話の履歴など、世界から得られる情報はそのままだと複雑すぎる。そこでまず、観測を圧縮して“状態”として表す。次に、その状態が時間とともにどう変わるか、あるいは自分が何か行動したときにどう変わるかを学ぶ。ここまで聞くと古典的な予測モデルと同じに見えるが、世界モデルの文脈では「状態が直接見えない」ことを前提にすることが多い。

現実は、必要な情報がいつも観測できるわけではない。たとえば、机の上に置いたコップは見えているが、コップの底の滑りやすさは見えない。相手が怒っているかどうかも、心の中は見えない。そこで世界モデルは、見えない要因を含めた“潜在状態”という考え方を使う。観測から潜在状態を推定し、その潜在状態から次の潜在状態を予測し、必要ならそこから観測を再構成する。この構造があると、見えない部分をうまく吸収しながら、長期的な予測や計画につなげやすくなる。

学習の基本の形は「自己教師あり」になりやすい。つまり、教師が「正解ラベル」を用意してくれなくても、世界は勝手に次の瞬間を見せてくれるので、それを正解として学べる。動画なら次フレーム、時系列なら次の値、会話なら次の発話の流れがラベルになる。こういう学び方は、データの量を確保しやすい。世界モデルが伸びやすい背景には、センサーやログが大量に取れる環境が増えたこともある。

ここで一段深い話として、「予測すべきものは何か」が難所になる。次フレームの画素を全部当てにいくと、世界は細部まで複雑すぎて学習が重くなる。逆に抽象化しすぎると、大事な因果が抜ける。だから世界モデルは、どのレベルで世界を表現するか、つまり表現の粒度を設計するのが勝負になる。人間も同じで、たとえばスポーツ観戦でボールの回転数の微細変化を逐一追わない代わりに、選手の位置関係やリズムで展開を予測している。AIでも、意味のある単位で世界を切り出し、予測を成立させる工夫が要る。

もう一つのキモは、不確実性をきちんと扱うことだ。世界は一つの未来だけを持たない。雨が降りそうでも降らないかもしれないし、相手が笑うか怒るかは状況次第だ。世界モデルが単一の未来を断定すると、外れたときのダメージが大きい。だから、多様な可能性を持った未来を表現できるモデルが好まれる。これが「生成モデル」と接続するポイントで、世界モデルはしばしば「未来を生成する」形で設計される。単に平均を取る予測ではなく、複数の筋の通ったシナリオを出し、その中から目的に合う行動を選ぶ、という流れが作りやすい。

こうして学習された世界モデルは、使い方によって性格が変わる。短期の予測が得意なもの、長期の計画に耐えるもの、行動を入れると反応が返るもの、観測の欠落に強いもの。世界モデルは単体の技術名というより、「予測できる内部表現をどう作り、どう使うか」という設計思想の束として理解したほうが、実態に近い。

世界モデルがもたらす価値と、限界の正体

世界モデルの価値は、端的に言えば「やる前に試せる」ことにある。現実世界での試行錯誤はコストが高い。ロボットが転倒すれば壊れるかもしれないし、製造ラインの実験は止められないし、ビジネス施策の失敗は損失になる。世界モデルがあれば、内部でシミュレーションして危ない手を避けたり、成功確率の高い手を優先したりできる。強化学習の文脈では、環境とのやりとりを節約できることが強みとして語られるが、現実の現場では「安全」と「費用」の問題として、より切実に効いてくる。

また、世界モデルは「汎化」に関係する。汎化とは、見たことのない状況でもうまくやる能力だ。単なるパターン暗記は、環境が少し変わると崩れる。だが、因果や構造を内部に持てれば、表面が違っても本質が同じなら対応できる可能性が上がる。たとえば、机が木製から金属になっても「滑りやすさが変わる」程度の差として扱えれば、押す力や速度を調整して目的を達成できる。世界モデルの目標は、世界の細部を丸暗記することではなく、変化の仕方を掴むことにある。

ただし、ここからが大事で、世界モデルの限界もこの価値と同じ場所から生まれる。内部で試すということは、内部の世界が間違っていたら、間違ったシミュレーションで意思決定してしまうということだ。しかも怖いのは、予測が少しだけ外れるときほど、長期的には大外れになることがある点だ。未来を一歩ずつ予測していくと、誤差が積み上がり、途中から現実と別世界に迷い込む。これは「ロールアウトの破綻」と呼ばれることがあるが、要するに長期のシミュレーションほど信用が難しい。

さらに、データが存在しない領域、いわゆる分布外に出た瞬間に壊れやすい。世界モデルは観測から学ぶ以上、観測されないものを正しくは学べない。見たことのない道具、未知のルール、極端な状況に弱いのは自然だ。ここで、言語モデルのハルシネーションと似た構図が出る。もっともらしい予測を生成できるが、それが現実の拘束条件を満たすとは限らない。見た目や文章の整合性が高いほど、間違いに気づきにくくなるのが厄介だ。

だから実務では、世界モデルを「万能な頭脳」として置くより、「不確実性を含む仮説生成装置」として扱うのが安全だ。世界モデルが出した未来予測を、別のチェック機構で検証する。保守的な制約をかけて危険な行動を禁止する。観測が入ったらすぐに状態推定を更新し、内部世界を引き戻す。こういう設計がセットになって初めて、世界モデルは強みとして働く。

もう一つ、説明可能性の問題もある。世界モデルが潜在状態に世界を圧縮すると、その潜在状態は人間の言葉で説明しにくいことが多い。「なぜそう判断したのか」を問われたとき、モデル内部の状態遷移はブラックボックスになりがちだ。これは社会実装で必ず突っ込まれるポイントで、医療、金融、製造、安全領域では特に無視できない。世界モデルを導入するなら、説明のための可視化や監査、あるいは説明可能性を一定担保するモデル設計が必要になる。

それでも世界モデルが再注目されるのは、AIが“文章を出す機械”から“世界で動く意思決定者”へ近づくほど、避けて通れない概念だからだ。未来を想像できなければ、計画も、探索も、安全も作れない。逆に言えば、世界モデルを語ることは、AIの能力を語ることと同時に、AIの危うさを語ることでもある。予測は力だが、予測を信じすぎるのも危険だ。この緊張感ごと抱えながら、「どの世界を、どの粒度で、どの目的のためにモデル化するのか」を設計できるかどうかが、生成AI時代の次の分水嶺になる。

For decades, the IT operations manual was a dense, 50-page PDF — a document designed by humans, for humans, and usually destined to gather digital dust until an audit required its retrieval. But as we enter 2026, the traditional standard operating procedure (SOP) is officially on life support. Humans are no longer the primary users of their own manuals.

Our systems are becoming agentic, deploying autonomous agents that don’t just monitor dashboards but actively “think,” plan, and execute changes within our infrastructure. These agents cannot read a PDF, nor can they “interpret the spirit” of a security policy written in legalese. If you want to maintain control in an era of autonomous IT, you must move beyond static guardrails and adopt an Agentic Constitution, which is the enterprise application of Constitutional AI, a term pioneered by Anthropic.

From policy on paper to policy as code 

In the past, IT governance was a reactive “check-the-box” exercise. The modern enterprise must shift toward Policy as Code (PaC).

• The pre-frontal cortex: An Agentic Constitution is a machine-readable set of foundational principles for your autonomous systems.
• Operational boundaries: They define what an agent can do and the ethical boundaries it must never cross.
• Actionable rules: An example of an encoded hard rule is: “Never modify production data during peak hours without a human-in-the-loop token”.
• Understandable by LLMs: These rules are actionable and understandable by the models powering your orchestration.

This shift represents a fundamental transformation: the role of the IT professional is moving from “Operator” to “Architect of Intent”. IT professionals are no longer the ones turning the wrenches; they are the ones writing the rules of engagement.

The hierarchy of autonomy: A framework for IT ops 

To scale AI capabilities without ceding total control of the “kill switch”, enterprises should adopt a hierarchy of autonomy, a framework credited to the foundational work of Thomas Sheridan & William Verplank (1978).

Tier 1: Full autonomy (the low-hanging fruit) 

• Description: Tasks where the cost of human intervention exceeds the value of the task.
• Examples: 
  • Auto-scaling 
  • Log rotation 
  • Basic ticket routing 
  • Cache clearing 
• Governance: Defined by threshold-based triggers within a “sandbox of trust”.

Tier 2: Supervised autonomy (the ‘check-back’ zone) 

• Description: Agents perform heavy lifting — gathering data and identifying fixes — but require a “human nod” before final execution.
• Examples: 
  • System patching 
  • User provisioning 
  • Non-critical configuration changes 
• Governance: Agents must present a “reasoning trace” to the admin explaining why the action is being taken.

Tier 3: Human-only (the red line) 

• Description: “Existential” actions that no agent should ever perform autonomously.
• Examples: 
  • Database deletions 
  • Critical security overrides 
  • Modifications to the Agentic Constitution itself 
• Governance: Multi-factor authentication (MFA) or multi-person “dual-key” approvals.

Reducing the ‘hidden attack surface’ 

Implementing a centralized constitution helps mitigate the risks of shadow AI agents — autonomous tools deployed without central IT oversight.

• Unified API: Any agent must “authenticate” against the constitution before it can interact with core infrastructure.
• Compliance history: This creates a centralized audit trail invaluable for compliance frameworks like SOC2 or the EU AI Act.
• Verifiable decision-making: You are building a verifiable history of autonomous decision-making.

The human voice in a machine world 

The “Constitution” is a human document representing the collective wisdom of your engineers.

• Architects of intent: The role of the IT professional shifts from “Operator” to “Architect of Intent”.
• Cultural shift: IT teams must move away from “hero culture” firefighting toward a culture of systemic governance.

Conclusion: Starting your constitutional convention 

If you rely on human-readable SOPs in the second half of the decade, your IT operations will become a bottleneck for the business.

Steps to take this quarter:

• Identify red lines: Gather lead architects to define your Tier 3 boundaries.
• Map automated wins: Identify Tier 1 tasks for immediate automation.
• Focus on strategy: Ensure humans focus on strategy and innovation, not babysitting a bot.

This article is published as part of the Foundry Expert Contributor Network.
Want to join?