Microsoft’s move to end Windows 10 support on 14 October 2025 has created an inflection point for CIOs. Three million PCs in active use in Australia can’t upgrade to Windows 11, according to Microsoft, which leaves many organisations facing security risk and a widening gap in frontline productivity.

Most corporate AI adoption so far has been cloud-led, but concerns about privacy, rising AI service costs and the movement of sensitive client data offshore are prompting a rethink. Local inferencing on modern hardware now offers a practical way to accelerate AI use without increasing exposure.

For enterprise IT leaders, the risk is not simply running out-of-support devices and the security risk that entails. The deeper issue is falling behind in the shift to AI-assisted work. If outdated hardware limits access to new capabilities in Windows 11, productivity losses accumulate quietly but consistently across frontline teams.

Why legacy approaches fall short

Relying solely on cloud AI services appears convenient, but it comes with constraints for regulated sectors. Sensitive information still travels outside the organisation, model performance depends on connectivity, and costs can climb quickly with usage.

A like-for-like hardware refresh—swapping out PCs to new minimum spec models that can run Windows 11—also offers little uplift. It won’t enable AI acceleration, intelligent automation, or the performance for larger applications that include local large language models (LLMs).

As organisations become more dependent on real-time summarisation, content creation, translation and threat detection, traditional processors will struggle to keep pace. These limitations make a hardware-based step change more compelling. Organisations are now looking for devices designed for AI workloads to avoid incremental fixes that will push cost and risk into later years.

How AI PCs address the problem

Modern AI PCs pair Windows 11 with AI-specific processors, including neural processing units (NPUs) capable of more than 40 trillion operations per second. They support local generation, summarisation and automation tasks without sending data to offshore services, reducing compliance exposure and cutting response times.

On-device AI helps streamline everyday work. Tasks such as meeting follow-ups, document clean-ups and content drafting can happen in the background, freeing staff to focus on higher-value decisions. These small increments add up when multiplied across thousands of employees.

AI PCs also support accessibility capabilities, such as real-time translation, on-device captioning and voice-driven interfaces, helping more employees engage effectively with digital tools.

Analyst firm Canalys forecasts that 60 per cent of PCs shipped in 2027 will be AI-capable, more than triple the volume shipped in 2024. This shift reflects a broader recognition that frontline productivity depends on pairing AI software with suitable hardware.

Lenovo’s approach to AI-driven computing

Lenovo’s Aura Edition Copilot+ AI PC portfolio, powered by Intel Core Ultra processors, is designed around this need for secure, local AI acceleration.

Silke Barlow, Lenovo’s Australian country manager, says the aim is to make AI immediately useful. “If a device can quietly draft documents, take notes and tidy data while the user focuses on making decisions that really take advantage of their skill set, that’s real productivity,” he explains.

These processors separate AI tasks from traditional system operations, improving responsiveness even when multiple applications are active. For creative and analytical teams, the hardware also supports faster rendering, predictive modelling and advanced editing tools.

Beyond the device itself, Lenovo positions AI PCs as part of a broader digital workplace strategy. Its Smart Care uses predictive analytics to anticipate hardware issues before they become outages, reducing support overhead and improving uptime. Lenovo Smart Modes adjusts system behaviour automatically as employees move between tasks, optimising performance without manual tuning.

For organisations scaling AI workflows, the Lenovo AI Digital Workplace Solution integrates device-level capabilities with broader collaboration, security and management tools, allowing IT teams to operationalise new ways of working more smoothly.

Barlow says Lenovo sees AI PCs as a foundation for long-term capability building. “Windows 11 and AI-optimised hardware are reshaping how people work. We’ve invested in a new ecosystem that helps organisations transition at a pace that strengthens security and productivity together.”

Making the upgrade decision

Past operating system transitions show that delaying replacements increases cost and complexity. Unsupported devices require more IT effort, are harder to secure and limit access to new features that drive workplace innovation.

A structured upgrade path helps. Many organisations begin by identifying devices that cannot move to Windows 11 and prioritising business units where AI-enabled automation can remove repeatable work. This reduces risk while improving margins and freeing teams to focus on more specialised tasks.

The end of Windows 10 support is prompting a broader reassessment of how PCs contribute to productivity, compliance and resilience. AI PCs extend beyond solving an immediate problem: they provide a platform for sustained improvement in how work gets done.

Planning your fleet refresh? Learn more about how Lenovo Aura Edition Copilot+ PCs offer personalised, productive, and protected AI with the latest Intel Core Ultra processors.

튜링 테스트를 떠올려 보자. 튜링 테스트의 과제는 무엇인가? 평범한 사람이 기계와 대화하는지, 다른 사람과 대화하는지를 구분해 보라는 과제다.

사실, 생성형 AI는 몇 년 전에 이미 튜링 테스트를 통과했다.

필자는 AI를 잘 안다고 자부하는 동료들에게 이런 견해를 전했다. 대다수는 그저 눈을 굴리며 반응했다. 동정 섞인 말투로 필자가 생성형 AI가 튜링의 도전을 통과하지 못했다는 사실을 알 만큼 AI를 잘 알지 못한다고 알려줬다. 이유가 뭐냐고 묻자, 생성형 AI가 작동하는 방식은 인간 지능이 작동하는 방식과 같지 않다고 설명했다.

필자는 AI를 더 잘 안다는 동료와 논쟁할 수도 있지만, 큰 의미는 없다. 필자는 대신 ‘모방 게임’의 의미를 굳이 따지지 않기로 했다. 생성형 AI가 테스트를 통과하지 못한다면 필요한 것은 더 나은 AI가 아니다. 필요한 것은 더 나은 테스트다.

에이전틱 AI를 만드는 것

필자는 여기서 NIAIIC(New, Improved, AI Imitation Challenge, 개선된 AI 모방 과제)로 화제를 옮기고자 한다. NIAIIC는 사람 평가자가 상대가 기계인지 사람인지를 가려내도록 요구한다. 하지만 과제는 더 이상 대화가 아니다.

NIAIIC의 과제는 좀 더 유용한 것이다. 이름하여, ‘먼지 털기’다. 필자는 평균적인 시험자의 집에서 어떤 표면에 먼지가 쌓였는지를 판단하고, 그 과정에서 아무것도 깨뜨리거나 손상시키지 않으면서 모든 먼지를 제거하는 먼지 털이 로봇을 배치하는 데 성공한 팀에게 상금을 주겠다.

완수해야 할 과제는 인간이 상세한 지시(일명 ‘프로그래밍’) 없이도 처리할 수 있는 일이다. 인내심이 필요한가? 먼지 털기는 인내심이 꽤 많이 필요하다. 하지만 지시가 필요한가? 먼지 털기에는 지시가 필요하지 않다.

먼지 털기는 AI의 가장 열성적인 옹호자가 주장하는 이점과 같은 종류의 이점을 제공하는 과제다. 먼지 털기는 인간에게 짜증 나고 지루하며 반복적인 일을 대신 맡아 인간이 더 만족스러운 책임에 집중하도록 돕는다.

NIAIIC는 널리 쓰이는 AI 분류 프레임워크에서 어디에 속할까? ‘에이전틱 AI’로 불리는 기술 범주에 속한다. 누가 이런 이름을 짓는지 모르겠지만, 에이전틱 AI는 정의된 목표를 스스로 달성하는 방법을 찾아내는 AI다. 자율주행차가 의도한 대로 작동할 때 하는 일이 바로 그런 것이다.

에이전틱 AI는 또 다른 이유로 흥미롭다. 에이전틱 AI는 인간 전문가가 자신의 기술을 if/then 규칙 모음으로 인코딩해야만 작동하던 이전 형태의 AI와 대비되기 때문이다. 이전 형태의 AI는 ‘전문가 시스템’이라고도 불렸고 ‘신뢰할 수 있게 작동하는 AI’라고도 불렸다.

걱정스러운 점은 에이전틱 AI와 최악의 AI 아이디어인 이른바 ‘의지적 AI(Volitional AI)’ 사이의 거리가 매우 가깝다는 사실이다. 에이전틱 AI는 사람이 목표를 정의하고 AI가 목표를 달성하는 방법을 찾아낸다. 의지적 AI는 AI가 달성해야 할 목표를 스스로 결정한 다음, 그 목표를 달성하기 위해 에이전틱 AI처럼 움직인다.

한때 필자는 의지적 AI가 ‘스카이넷’으로 변하는 시나리오를 크게 걱정하지 않았다. 필자가 걱정하지 않은 근거는 “전기와 반도체를 제외하면 의지적 AI와 인간이 자원을 두고 치열하게 경쟁할 만큼 이해관계가 겹칠 가능성은 낮아 살인 로봇 시나리오가 인간에게 문제가 되지 않을 것”이라는 판단이었다.

이제 이런 결론을 다시 생각해야 할 시점이다. 구글에서 검색해 보면 전력이 부족해 일부 AI 칩이 아예 가동되지 못하는 사례도 확인할 수 있다. 의지적 AI가 가상 손을 뻗어 가능한 모든 발전량을 움켜쥐기 위해 인간과 경쟁하는 디스토피아 시나리오는 상상하기 어렵지 않다. 의지적 AI의 필요와 인간의 필요는 겹치게 되며, 위협을 정의하기도 전에, 대응책을 마련하기도 전에 이런 갈등이 더 빠르게 현실이 될 수 있다.

전환점

의지적 AI의 리스크에 대해 인간의 두뇌를 아주 조금이라도 쓰는 사람이라면, 결국 마이크로소프트 코파일럿과 같은 결론에 도달할 수밖에 없다. 필자는 마이크로소프트 코파일럿에 의지적 AI의 가장 큰 리스크가 무엇인지 물었다. 마이크로소프트 코파일럿은 다음과 같이 결론지었다.

“스스로 목표를 정하거나 자율성을 지닌 AI 시스템인 의지적 AI의 가장 큰 리스크에는 실존적 위협, 무기화로의 악용, 인간 통제의 약화, 편향과 허위정보의 증폭이 포함된다. 이들 위험은 AI 시스템에 좁은 작업 실행 이상의 에이전시를 부여하기 때문에 생기는데, 신중하게 통제하지 않으면 사회적 경제적 보안 구조를 불안정하게 만들 수 있다.”

그렇다면 에이전틱 AI와 의지적 AI를 가르는 경계선의 올바른 편에 머무는 한 괜찮은가. 한마디로 답하면 ‘아니다’.

에이전틱 AI가 목표를 달성하는 방법을 찾아내려면, 할당받은 목표를 더 작은 목표 덩어리로 분해해야 한다. 또 그 덩어리를 더 작은 덩어리로 계속 분해해야 한다. 에이전틱 AI는 계획을 세우는 과정에서 스스로 목표를 설정하게 된다. 에이전틱 AI가 스스로 목표를 설정하기 시작하면 정의상 의지적 AI가 된다.

이 지점에서 AI에 대한 IT 리스크 관리 난제가 등장한다. 전통적 리스크 관리는 발생할 수 있는 나쁜 일을 식별하고, 나쁜 일이 실제로 발생했을 때 조직이 무엇을 해야 하는지를 설명하는 비상계획을 만든다.

필자는 AI 구현에도 이 프레임워크가 충분하길 바랄 뿐이다. 하지만 에이전틱 AI, 그리고 더 나아가 의지적 AI는 이런 접근을 뒤집어 놓는다. 의지적 AI의 가장 큰 리스크는 계획되지 않은 나쁜 일이 일어나는 데 있지 않기 때문이다. 의지적 AI의 가장 큰 리스크는 의지적 AI가 해야 할 일을 제대로 해버리는 데 있다.

말하자면, 의지적 AI는 위험하다. 에이전틱 AI는 본질적으로 의지적 AI만큼 위험하지 않을 수 있지만, 에이전틱 AI도 충분히 위험하다. 슬프게도 인간은 너무 근시안적이라 에이전틱 AI와 의지적 AI의 명백하고 현재 진행형인 리스크를 완화하는 데까지는 나아가지 못할 가능성이 크다. 에이전틱 AI와 의지적 AI의 리스크에는 인간 중심 사회의 종말을 예고할 수 있는 리스크도 포함될 수 있다.

가장 가능성 높은 시나리오는 무엇일까? 모두가 집단적으로 리스크를 외면하는 시나리오다. 필자도 마찬가지다. 필자는 먼지 털이 로봇을 원하고, 인간 사회의 리스크는 상관하지 않는다.
dl-ciokorea@foundryco.com

구글은 지난달 AI 칩 분야에서 두 차례에 걸쳐 의미 있는 변화를 만들어냈다. 첫 번째는 7세대 텐서 처리 장치(TPU)인 ‘아이언우드(Ironwood)’를 공개한 것이다. 이 칩은 추론 처리 성능을 크게 개선한 것이 특징으로, 해당 용도에 맞춰 맞춤 설계됐다. 아이언우드는 AI 처리에 필수적인 대규모 메모리 확장성과 높은 대역폭도 함께 제공한다.

두 번째 변화는 몇 주 뒤 전해졌으며, 영향력은 훨씬 컸다. 메타가 자체 하이퍼스케일 데이터센터를 위해 구글의 TPU를 대규모로 구매하는 방안을 검토하고 있다는 소문이 빠르게 확산됐다. 알려진 구매 규모는 약 10만 개에 이른다. 이와 함께 구글이 TPU의 외부 고객을 추가로 확보하려 할 것이라는 관측도 나왔다.

이 소식은 AI 실리콘 시장 전반에 파장을 일으켰고, 특히 엔비디아에 적지 않은 영향을 미쳤다. 엔비디아는 현재 시장에서 압도적인 지위를 차지하고 있는 만큼, 업계에서는 그 아성을 흔들 수 있는 계기라면 무엇이든 주목하는 분위기다. 실질적인 경쟁자가 등장할 가능성 자체가 시장의 관심을 끌기에 충분했다.

이런 전략은 지금까지 하이퍼스케일러들이 취해온 전략과는 분명히 다른 흐름이기도 하다. 대부분의 하이퍼스케일러는 범용 컴퓨팅이나 AI 처리를 위해 자체 맞춤형 실리콘을 개발해 왔지만, 그동안은 이를 외부에 판매하지 않고 내부 용도로만 활용해 왔다. 구글이 AI 프로세서 판매 사업에 나선다면, 기존 관행에서 벗어나는 중요한 전환점이 된다.

이 때문에 구글의 행보가 엔비디아와 AMD가 최대 고객인 구글, 아마존웹서비스(AWS), 마이크로소프트(MS)와 직접 경쟁하는 새로운 반도체 군비 경쟁을 촉발할 수 있는지에 대한 질문도 제기된다. 이에 대해 분석가들은 가능성은 있지만 현실화될 가능성은 높지 않다고 보고 있다.

시장조사업체 J.골드 앤드 어소시에이츠의 잭 골드 대표는 “구글이 TPU를 판매할 가능성은 있다”면서도 “엔비디아와 직접 경쟁에 나설 가능성은 없다”라고 설명했다. 그는 “TPU는 엔비디아와 정면 경쟁을 목표로 설계된 칩이 아니며, 상대적으로 소규모이거나 덜 집약적인 모델 처리를 겨냥한 제품”이라고 분석했다.

골드는 엔비디아 프로세서가 대규모 거대언어모델(LLM)을 처리하는 데 사용되는 반면, 구글 TPU는 LLM 학습 이후 단계인 추론 작업에 활용된다고 설명했다. 이 때문에 두 칩은 서로 경쟁 관계라기보다 역할이 다른 보완적 관계에 가깝다는 것이 그의 설명이다.

포레스터리서치의 선임 애널리스트 알빈 응우옌은 프로세서를 판매하고 이를 지원하는 일이 구글의 핵심 역량이라고 보기는 어렵지만, 이를 수행할 수 있는 기술과 경험은 갖추고 있다고 평가했다. 그는 “내가 알기로는 구글이 이미 일부 외부 기업에 TPU를 제공해 왔으며, 주로 전직 구글 출신이 설립한 스타트업이나 구글이 후원하는 스타트업이 대상이었다”라고 설명했다.

메타의 TPU 구매설과 관련해서는, 메타가 TPU를 어디에 활용하려는지가 핵심이라는 분석이 나온다. 골드는 “이미 모델을 구축했고 추론 워크로드를 운영하고 있다면 엔비디아 B100이나 B200은 과도한 선택일 수 있다”라고 말했다. 이어 “그렇다면 선택지는 무엇인가를 보게 되는데, 현재 추론 중심 칩을 개발하는 스타트업도 여럿 있고 인텔과 AMD 역시 이 방향으로 움직이고 있다”라며 “결국 각자의 환경에 최적화된 칩을 확보하는 것이 중요하며, 그런 점에서 구글의 TPU는 하이퍼스케일러 클라우드 환경에 맞게 최적화돼 있다”라고 설명했다.

응우옌은 자체 사용을 위한 칩을 만드는 것과 이를 외부에 판매하는 것은 전혀 다른 문제라고 지적했다. 그는 “칩 판매에는 이를 뒷받침할 인프라와 역량이 필요한데, 이 분야에서는 인텔과 AMD, 엔비디아가 구글보다 훨씬 앞서 있다”라고 분석했다.

그는 이어 “서비스 형태나 클라우드 서비스로 제공하는 경우라면 구글도 충분히 해낼 수 있다”면서도 “온프레미스 환경이나 고객이 직접 소유해 사용하는 방식은 구글이 새롭게 익혀야 할 역량”이라고 설명했다.

이런 이유로 응우옌은 자체 맞춤형 실리콘을 보유한 다른 하이퍼스케일러들 역시 칩 판매 사업에 나설 가능성은 크지 않다고 내다봤다. 그는 “막을 수 있는 요소는 없지만, 각 기업마다 안고 있는 과제가 다르다”라며 “MS, AWS, 오픈AI는 이미 다수의 파트너십을 맺고 있어, 칩을 판매할 경우 불가피하게 누군가와 경쟁 관계에 놓일 수 있다”라고 말했다.

골드 역시 AWS와 MS가 본격적으로 칩 사업에 뛰어들 가능성은 낮게 봤다. 그는 “그런 일이 벌어질 것이라고는 생각하기 어렵다”라며 “개인적으로는 그들에게 크게 설득력 있는 비즈니스 모델이라고 보이지 않는다”라고 분석했다.
dl-ciokorea@foundryco.com

なぜ今、こうした画面が表示されるようになるのでしょうか。その理由を知るためには、この仕組みの根拠となる新しい法律「スマホ法」について理解する必要があります。本記事では、チョイススクリーンが私たちのスマホ体験をどう変えるのか、そしてその背景にあるルールについて解説します。

なぜ「標準」を選び直す必要があるのか――チョイススクリーン導入の背景

私たちが普段「標準」と呼んでいるものは、単なる初期値ではありません。リンクをタップした瞬間に開くアプリ、検索窓に入れた文字をどこが処理するか、アプリをどこから入れるか。こうした“最初の分岐”が、毎日の行動の流れを決めます。実際、初期設定のまま困らなければ人は変えません。

設定画面の奥にある変更手順が少し面倒なだけで、多くの人はそのまま使い続けます。すると、利用が集まったサービスほどデータや開発投資が集まり、さらに便利になるという循環が回り、別の選択肢が見えにくくなります。この「変えない」積み重ねが特定のサービスへの集中を生んでいる現状を変え、ユーザーに選択権を戻すために導入されるのがチョイススクリーンです。

チョイススクリーンの根拠となる「スマホ法」とは

このチョイススクリーンを表示させる大元の理由が、2025年12月18日に全面施行される「スマホソフトウェア競争促進法（スマホ法）」です。この法律は、モバイルOS、アプリストア、ブラウザ、検索エンジンを「特定ソフトウェア」と位置づけ、巨大事業者の“入口”支配が競争をゆがめないよう、禁止事項と“やるべき措置”を定めています。

スマホ法は、この「入口」を握る立場を利用して、自社サービスを競争上優位にしたり、他社の事業活動に不利益を与えたりすることを禁止し、公正で自由な競争を促進するのが目的だと明記しています。そのうえで、対象をスマホの中核レイヤーに絞っています。法律上の「スマートフォン」は、常時携帯でき、アプリ等のソフトを追加でき、電話とインターネットが利用できる端末と定義されます。

重要なのは、スマホ法が「巨大な事業者すべて」を一律に縛る法律ではない点です。公正取引委員会が、利用者数など政令で定める規模以上の事業者を“指定”し、その指定事業者に義務や禁止が課される仕組みになっています。しかも、この“規模”は、政令で「各特定ソフトウェアの利用者数の平均が4000万人」という基準が置かれていることが説明されています。つまり、チョイススクリーンのような仕組みは「思いつきの便利機能」ではなく、巨大な入口を持つ事業者に対して、利用者の選択機会を実際に増やすための制度設計だと捉えると理解が早いはずです。

チョイススクリーンで何が変わるのか――表示のタイミングと仕組み

チョイススクリーンは、ひと言でいえば「標準の選び直しを、面倒にさせない」仕組みです。公正取引委員会の特設サイトは、ブラウザや検索エンジンなどを利用者が選びやすくすることを掲げ、スマホ法の全面施行に合わせて環境が変わると案内しています。

では、それは法律のどこに書かれているのでしょうか。ポイントになるのが、スマホ法第十二条「標準設定等に係る措置」です。ここで法律は、指定事業者に対して「標準設定」を利用者が簡単な操作で変更できるようにする措置を求めています。さらに、利用者の選択機会を特に確保する必要があるものとして政令で定める対象については、同種の複数のソフトや役務の「選択肢が表示されるようにする」など、選択に資する措置を講じることを要求しています。これが、いわゆるチョイススクリーンの法的な骨格です。

「標準設定」という言葉も、法律上かなり具体的です。たとえばOS側の標準設定は、OSによって特定のアプリが自動的に選ばれて起動する設定のことだと説明されています。ブラウザ側の標準設定も、ブラウザにより特定の検索役務などが自動的に選択される設定として定義されています。つまり、単に“おすすめ一覧を見せる”のではなく、「自動的にそちらが選ばれてしまう状態」を利用者が握り直せるようにするのが狙いです。

次に「いつ表示されるのか」です。特設サイトでは、初回起動時やOSアップデート後などに表示されることがある、といった形で、利用者が選ぶ機会が増える旨が説明されています。また開始時期の目安として、2025年12月からと案内されています。ただし現実には、端末やOSのバージョン、提供者側の実装タイミングによって体験時期がずれる可能性があり、「全員が同じ日に一斉に」ではなく、段階的に増えていくイメージに近いでしょう。

なお、この義務を誰が負うかも気になるところですが、公正取引委員会は、2025年3月にApple Inc.やGoogle LLCなどを指定事業者として指定したことを公表しています。チョイススクリーンは、こうした「指定」という法手続を踏んだうえで、指定事業者が第十二条の義務を満たす形で提供されていく、という順序になります。

生活はどう変わる――料金・プライバシー・安全性の「選択」

チョイススクリーンで真っ先に変わるのは、「なんとなく固定」がほどけることです。ブラウザや検索エンジンを変えると、検索結果の見せ方、広告の量、追跡のされ方、パスワード管理の流儀、同期のしやすさなど、日常の体感が意外に大きく変わります。標準を選び直す機会が増えれば、利用者は「自分の優先順位」から逆算して、標準を決めやすくなります。たとえば軽さを重視する人、追跡防止を重視する人、翻訳や読み上げなどの機能を重視する人で、最適解は違って当然です。制度の意味は、まさにその“違って当然”を前提にするところにあります。

ただ、スマホ法の影響はチョイススクリーンに閉じません。アプリ内課金や外部購入の扱いにも波及します。スマホ法第八条は、アプリストアに係る指定事業者について、アプリ事業者に対し自社の支払管理役務だけを条件として強いることや、他の支払管理役務の利用、あるいは支払管理役務を使わずに支払手段を使えるようにすることを妨げることを禁止しています。さらに、同一の役務を外部のウェブページ等でも提供する場合に、外部の価格情報等がアプリ作動中に表示されないよう条件付けることや、外部経由で提供すること自体を妨げることも禁止行為として挙げています。利用者の目線で言い換えると、「アプリの中だけが世界」ではなくなり、プランや価格、購入導線の比較がしやすくなる方向に制度が動く、ということです。

一方で、選択肢が増えるほど安全面の注意も増えます。外部サイトでの購入やアカウント作成は、いつものアプリ内よりもフィッシングや偽サイトに触れるリスクが上がりがちです。ここで大事なのは、スマホ法が競争促進だけでなく「サイバーセキュリティの確保」や利用者情報の保護、青少年保護といった目的も明示している点です。たとえば第七条や第八条では、サイバーセキュリティ確保等のために必要で、他の手段で目的達成が困難な場合には例外があり得ることが書かれています。つまり、利用者保護の観点からの一定の制限や注意表示が“制度の趣旨としても想定される”ことを踏まえたうえで、私たちも「外に出たら、別の世界に移った」と意識するのが現実的です。

乗り換えやすさと、これからの心構え

さらに、スマホを乗り換えるときの“しがらみ”にも、じわっと効いてきます。スマホ法第十一条は、指定事業者に対し、利用者の求めに応じて一定のデータを円滑に移転するための措置を講じる義務を定めています。例として、OSに伴って取得した連絡先関連データ、アプリストアで購入したアプリに関する情報、ブラウザに記録したブックマーク等の所在情報などが条文上に挙げられています。データ移転が進むと、「乗り換えたら全部やり直し」が減り、結果として標準の選び直しが心理的にも現実的にもやりやすくなります。チョイススクリーンが“入口の選択”だとすれば、データ移転は“出口の整備”で、両方が揃って初めて選択が実質になります。

最後に、チョイススクリーンが表示されたときの心構えです。まず、選んだ後でも多くの場合は設定から変更し直せます。だからこそ、その場で完璧に決めようとして焦る必要はありません。次に、制度の開始期ほど「それっぽい連絡」を使った詐欺が増えやすいので、OSの設定画面や公式サイト以外から誘導される“チョイススクリーン風”の案内には慎重になるべきです。特設サイトや公正取引委員会の案内を起点に情報を確認する、という行動が、いちばん堅い対策になります。

チョイススクリーンは、劇的な新機能というより、これまで見えにくかった「標準の力」を、利用者の手に戻すための地ならしです。標準が変われば、検索の風景も、アプリの買い方も、プライバシーのバランスも、少しずつ変わるかもしれません。

Deadline to Submit: January 14, 2026 | Nominate Now

The annual US CIO 100 Awards, entering its 28th year, celebrates 100 organizations and the IT teams within them that use technology in innovative ways to deliver business value, whether by creating competitive advantage, optimizing business processes, enabling growth, or improving relationships with customers. The award is an acknowledged mark of enterprise excellence.

Winning a CIO 100 Award signals to the industry—and to your organization—that your team is delivering true business value through innovation. It elevates your company’s brand, strengthens talent attraction and retention, and showcases your leadership’s commitment to transformation. And because the award is given to companies rather than individuals, it’s an honor that entire teams may enjoy.

Winners will be recognized at the CIO 100 Symposium & Awards at the Omni PGA Frisco Resort & Spa in Frisco, TX, from August 17-19, 2026.

At the conference, finalists and winners take the spotlight among a national community of CIOs and technology leaders. It’s a rare opportunity to share your story, learn from the year’s most impactful initiatives, and connect with peers who are redefining what’s possible in enterprise IT.

Give your team the recognition they’ve earned. Nominate now and step onto the 2026 stage.

Last quarter, during a board review, one of our directors asked a question I did not have a ready answer for. She said, “If an AI-driven system takes an action that impacts compliance or revenue, who is accountable: the engineer, the vendor or you?”

The room went quiet for a few seconds. Then all eyes turned toward me.

I have managed budgets, outages and transformation programs for years, but this question felt different. It was not about uptime or cost. It was about authority. The systems we deploy today can identify issues, propose fixes and sometimes execute them automatically. What the board was really asking was simple: When software acts on its own, whose decision is it?

That moment stayed with me because it exposed something many technology leaders are now feeling. Automation has matured beyond efficiency. It now touches governance, trust and ethics. Our tools can resolve incidents faster than we can hold a meeting about them, yet our accountability models have not kept pace.

I have come to believe that this is redefining the CIO’s role. We are becoming, in practice if not in title, the chief autonomy officer, responsible for how human and machine judgment operate together inside the enterprise.

Even the recent research from Boston Consulting Group notes that CIOs are increasingly being measured not by uptime or cost savings but by their ability to orchestrate AI-driven value creation across business functions. That shift demands a deeper architectural mindset, one that balances innovation speed with governance and trust.

How autonomy enters the enterprise quietly

Autonomy rarely begins as a strategy. It arrives quietly, disguised as optimization.

A script closes routine tickets. A workflow restarts a service after three failed checks. A monitoring rule rebalances traffic without asking. Each improvement looks harmless on its own. Together, they form systems that act independently.

When I review automation proposals, few ever use the word autonomy. Engineers frame them as reliability or efficiency upgrades. The goal is to reduce manual effort. The assumption is that oversight can be added later if needed. It rarely is. Once a process runs smoothly, human review fades.

Many organizations underestimate how quickly these optimizations evolve into independent systems. As McKinsey recently observed, CIOs often find themselves caught between experimentation and scale, where early automation pilots quietly mature into self-operating processes without clear governance in place.

This pattern is common across industries. Colleagues in banking, health care and manufacturing describe the same evolution: small gains turning into independent behavior. One CIO told me their compliance team discovered that a classification bot had modified thousands of access controls without review. The bot had performed as designed, but the policy language around it had never been updated.

The issue is not capability. It is governance. Traditional IT models separate who requests, who approves, who executes and who audits. Autonomy compresses those layers. The engineer who writes the logic effectively embeds policy inside code. When the system learns from outcomes, its behavior can drift beyond human visibility.

To keep control visible, my team began documenting every automated workflow as if it were an employee. We record what it can do, under what conditions and who is accountable for results. It sounds simple, but it forces clarity. When engineers know they will be listed as the manager of a workflow, they think carefully about boundaries.

Autonomy grows quietly, but once it takes root, leadership must decide whether to formalize it or be surprised by it.

Where accountability gaps appear

When silence replaces ownership

The first signs of weak autonomy are subtle. A system closes a ticket and no one knows who approved it. A change propagates successfully, yet no one remembers writing the rule. Everything works, but the explanation disappears.

When logs replace memory

I saw this during an internal review. A configuration adjustment improved performance across environments, but the log entry said only executed by system. No author, no context, no intent. Technically correct, operationally hollow.

Those moments taught me that accountability is about preserving meaning, not just preventing error. Automation shortens the gap between design and action. The person who creates the workflow defines behavior that may persist for years. Once deployed, the logic acts as a living policy.

When policy no longer fits reality

Most IT policies still assume human checkpoints. Requests, approvals, hand-offs. Autonomy removes those pauses. The verbs in our procedures no longer match how work gets done. Teams adapt informally, creating human-AI collaboration without naming it and responsibility drifts.

There is also a people cost. When systems begin acting autonomously, teams want to know whether they are being replaced or whether they remain accountable for results they did not personally touch. If you do not answer that early, you get quiet resistance. When you clarify that authority remains shared and that the system extends human judgment rather than replaces it — adoption improves instead of stalling.

Making collaboration explicit

To regain visibility, we began labeling every critical workflow by mode of operation:

• Human-led — people decide, AI assists.
• AI-led — AI acts, people audit.
• Co-managed — both learn and adjust together.

This small taxonomy changed how we thought about accountability. It moved the discussion from “who pressed the button?” to “how we decided together.” Autonomy becomes safer when human participation is defined by design, not restored after the fact.

How to build guardrails before scale

Designing shared control between humans and AI needs more than caution. It requires architecture. The objective is not to slow automation, but to protect its license to operate.

Define levels of interaction

We classify every autonomous workflow by the degree of human participation it requires:

• Level 1 – Observation: AI provides insights, humans act.
• Level 2 – Collaboration: AI suggests actions, humans confirm.
• Level 3 – Delegation: AI executes within defined boundaries, humans review outcomes.

These levels form our trust ladder. As a system proves consistency, it can move upward. The framework replaces intuition with measurable progression and prevents legal or audit reviews from halting rollouts later.

Create a review council for accountability

We established a small council drawn from engineering, risk and compliance. Its role is to approve accountability before deployment, not technology itself. For every level 2 or level 3 workflow, the group confirms three things: who owns the outcome, what rollback exists and how explainability will be achieved. This step protects our ability to move fast without being frozen by oversight after launch.

Build explainability into the system

Each autonomous workflow must record what triggered its action, what rule it followed and what threshold it crossed. This is not just good engineering hygiene. In regulated environments, someone will eventually ask why a system acted at a specific time. If you cannot answer in plain language, that autonomy will be paused. Traceability is what keeps autonomy allowed.

Over time, these practices have reshaped how our teams think. We treat autonomy as a partnership, not a replacement. Humans provide context and ethics. AI provides speed and precision. Both are accountable to each other.

In our organization we call this a human plus AI model. Every workflow declares whether it is human-led, AI-led or co-managed. That single line of ownership removes hesitation and confusion.

Autonomy is no longer a technical milestone. It is an organizational maturity test. It shows how clearly an enterprise can define trust.

The CIO’s new mandate

I believe this is what the CIO’s job is turning into. We are no longer just guardians of infrastructure. We are architects of shared intelligence defining how human reasoning and artificial reasoning coexist responsibly.

Autonomy is not about removing humans from the loop. It is about designing the loop on how humans and AI systems trust, verify and learn from each other. That design responsibility now sits squarely with the CIO.

That is what it means to become the chief autonomy officer.

This article is published as part of the Foundry Expert Contributor Network.
Want to join?

If 2024 was the year of experimentation and 2025 the year of the proof of concept, then 2026 is shaping up to be the year of scale or fail.

Across industries, boards and CEOs are increasingly questioning whether incumbent technology leaders can lead them to the AI promised land. That uncertainty persists even as many CIOs have made heroic efforts to move the agenda forward, often with little reciprocation from the business. The result is a growing imbalance between expectation and execution.

So what do you do when AI pilots aren’t converting into enterprise outcomes, when your copilot rollout hasn’t delivered the spontaneous innovation you hoped for and when the conveyor belt of new use cases continues to outpace the limited capacity of your central AI team? For many CIOs, this imbalance has created an environment where business units are inevitably branching off on their own, often in ways that amplify risk and inefficiency.

Leading CIOs are breaking this cycle by tackling the 2026 agenda on two fronts, beginning with turning IT into a productivity engine and extending outward by federating AI delivery across the enterprise. Together, these two approaches define the blueprint for taking back the AI narrative and scaling AI responsibly and sustainably.

Inside out: Turning IT into a productivity engine

Every CEO is asking the same question right now: Where’s the productivity? Many have read the same reports promising double-digit efficiency gains through AI and automation. For CIOs, this is the moment to show what good looks like, to use IT as the proving ground for measurable, repeatable productivity improvements that the rest of the enterprise can emulate.

The journey starts by reimagining what your technology organization looks like when it’s operating at peak productivity with AI. Begin with a job family analysis that includes everyone: Architects, data engineers, infrastructure specialists, people managers and more. Catalog how many resources sit in each group and examine where their time is going across key activities such as development, support, analytics, technical design and project management. The focus should be on repeatable work, the kind of activities that occur within a standard quarterly cycle.

For one Fortune 500 client, this analysis revealed that nearly half of all IT time was being spent across five recurring activities: development, support, analytics, technical design and project delivery. With that data in hand, the CIO and their team began mapping where AI could deliver measurable improvements in each job family’s workload.

Consider the software engineering group. Analysis showed that 45% of their time was spent on development work, with the rest spread across peer review, refactoring and environment setup, debugging and other miscellaneous tasks. Introducing a generative AI solution, such as GitHub Copilot enabled the team to auto-generate and optimize code, reducing development effort by an estimated 34%. Translated into hard numbers, that equates to roughly six hours saved per engineer each week. Multiply that by 48 working weeks and 100 developers and the result is close to 29,000 hours, or about a million dollars in potential annual savings based on a blended hourly rate of $35. Over five years, when considering costs and a phased adoption curve, the ROI for this single use case reached roughly $2.4 million

Repeating this kind of analysis across all job families and activities produces a data-backed productivity roadmap: a list of AI use cases ranked by both impact and feasibility. In the case of the same Fortune 500 client, more than 100 potential use cases were identified, but focusing on the top five delivered between 50% and 70% of the total productivity potential. With this approach, CIOs don’t just have a target; they have a method. They can show exactly how to achieve 30% productivity gains in IT and provide a playbook that the rest of the organization can follow.

Outside in: Federating for scale

If the inside-out effort builds credibility, the outside-in effort lays the foundation to attack the supply-demand imbalance for AI and ultimately, build scale.

No previous technology has generated as much demand pull from the business as AI. Business units and functions want to move quickly and they will, with or without IT’s involvement. But few organizations have the centralized resources or funding needed to meet this demand directly. To close that gap, many are now designing a hub-and-spoke operating model that will federate AI delivery across the enterprise while maintaining a consistent foundation of platforms, standards and governance.

In this model, the central AI center of excellence serves as the hub for strategy, enablement and governance rather than as a gatekeeper for approvals. It provides infrastructure, reusable assets, training and guardrails, while the business units take ownership of delivery, funding and outcomes. The power of this model lies in the collaboration between the hub’s AI engineers and the business teams in the spokes. Together, they combine enterprise-grade standards and tools with deep domain context to drive adoption and accountability where it matters most.

One Fortune 500 client, for example, is in the process of implementing its vision for a federated AI operating model. Recognizing the limits of a centralized structure, the CIO and leadership team defined both an interim state and an end-state vision to guide the journey over the next several years. The interim state would establish domain-based AI centers of excellence within each major business area. These domain hubs would be staffed with platform experts, responsible AI advisors and data engineers to accelerate local delivery while maintaining alignment with enterprise standards and governance principles.

The longer-term end state would see these domain centers evolve into smaller, AI-empowered teams that can operate independently while leveraging enterprise platforms and policies. The organization has also mapped out how costs and productivity would shift along the way, anticipating a J-curve effect as investments ramp up in the early phases before productivity accelerates as the enterprise “learns to fish” on its own.

The value of this approach lies not in immediate execution but in intentional design. By clearly defining how the transition will unfold and by setting expectations for how the cost curve will behave, the CIO is positioning the organization to scale AI responsibly, in a timeframe that is realistic for the organization.

2026: The year of execution

After two years of experimentation and pilots, 2026 will be the year that separates organizations that can scale AI responsibly from those that cannot. For CIOs, the playbook is now clear. The path forward begins with proving the impact of AI on productivity within IT itself and then extends outward by federating AI capability to the rest of the enterprise in a controlled and scalable way.

Those who can execute on both fronts will win the confidence of their boards and the commitment of their businesses. Those who can’t may find themselves on the wrong side of the J-curve, investing heavily without ever realizing the return.

This article is published as part of the Foundry Expert Contributor Network.
Want to join?

CIOs and business leaders everywhere are striving to upgrade legacy technology to meet burgeoning demand for cloud services and artificial intelligence (AI).

But many are stymied by aging IT infrastructure and technical debt. CIOs spend an average of 70% of their IT budgets maintaining legacy systems, according to IBM research, leaving them little room to invest in the innovative solutions they need.

To ease the transition, IBM and Amazon Web Services (AWS) are together helping governments and industry IT leaders modernize infrastructure, applications, and business processes with AI-powered transformation. “IBM’s proprietary agentic AI framework for application migration and modernization embeds agentic AI into the way that IBM drives large-scale migrations to reduce risk and improve efficiency,” says Dan Kusel, global managing partner & general manager responsible for IBM Consulting’s Global AWS Practice.

“IBM works with AWS to leverage their agentic AI tools, bringing the best capabilities to our clients,” says Kusel. “The partnership brings the fastest path to impactful ROI for our clients. This combination is delivering results, including lower costs, faster time-to-market, and happier customers.”

This article illustrates a few examples of how together IBM and AWS are transforming organizations across a range of industries.

Sports & entertainment: Elevating fan experience

IBM has been working with some of the world’s most iconic sports organizations. Scuderia Ferrari HP, the renowned Formula 1 racing team, has a fan base of nearly 400 million people who receive news and updates through an app. But new tech-savvy fans wanted more interactivity and personalization.

Ferrari HP partnered with IBM Consulting to redesign the app’s architecture and interface. After studying users’ habits and engagement patterns, IBM created an intuitive platform that delivers fans just the right mix of racing insights, interactive features, and personalized content.

Results were immediate and impressive. Within a few short months of the new app’s launch, active daily users doubled, and average time spent on the app rose by 35%. The hybrid-cloud infrastructure IBM built on AWS also enabled Ferrari HP to launch AI automations that have already sped up development cycles and improved uptime and reliability. A built-in IBM watsonx.data® data store ensures the app can expand to reach an even larger fan base as its popularity continues to grow.

Energy & resources: Delivering scale, security, and savings  

In addition to extending their geographic reach, IBM and AWS are jointly pursuing ventures in new industries. “Working with AWS, we have seen a starburst of growth in an array of industries: energy and utilities, telecommunications, healthcare, life sciences, financial services, travel and transportation, and manufacturing,” says Kusel.  

Southwest Gas — a natural gas distributor for over 2 million customers in Arizona, Nevada, and California — also needed the cloud to realize its potential. Like many of its industry peers, the company used data-heavy SAP applications to manage enterprise resources on premises. Technology leaders wanted to improve the performance, resilience, and scalability of these core applications.

Working with IBM Consulting experts, the company migrated the applications to RISE with SAP, an AWS service helping businesses transition to a cloud-based enterprise resource planning (ERP) system.

The big move, completed in less than five months, lowered operating costs and improved SAP application performance by 35%. That means Southwest Gas can process 80 million SAP transactions in less than 10 milliseconds — an achievement that would have been unthinkable with its legacy systems. The company is now exploring agentic AI as a transformative opportunity to redefine the customer experience.

Travel & transportation: Achieving flexibility, speed, and resiliency

IBM and AWS have continued to transform the travel industry, especially airlines. From Japan Airlines to Finnair to Delta Air Lines, IBM Consulting has partnered with major airlines around the world.

To stay ahead in the hypercompetitive travel industry, Delta Air Lines sought to improve its customer experience. The airline needed to increase agility and responsiveness for 100,000 front-line employees. IBM experts worked closely with Delta’s IT leaders to plan and execute a combination of migration, containerization, and modernization of over 500 applications to AWS.

Moving to AWS allowed Delta to quickly launch free in-flight Wi-Fi on 1,000 planes and provide more personalized in-flight service. With its new hybrid cloud, Delta can deploy consistent, secure workloads from anywhere, paving the way for exceptional customer service at scale. Leaders also expect the project to continually improve metrics for cost, time-to-market, productivity, and employee engagement.

Automotive: Solving supply chain challenges

Together, IBM and AWS work with global automotive companies, such as Toyota Motors, Daimler, and other industry leaders.

While the industry has undergone continuous disruption and transformation, and has been seriously impacted by supply chain disruption, companies are leveraging technology to improve performance and customer experience.  

IBM Consulting and Toyota Motors North America have partnered to transform Toyota’s supply chain processes. Working with IBM, Toyota has moved towards an agentic AI experience with an Agent AI Assist built with Amazon Bedrock. This is driving instant supply chain visibility and proactive delay detection, with humans in the loop for decision-making.

Government: Accelerating technology transformation

IBM and AWS have been working with government agencies around the world.  Managing ventures of this magnitude requires not only internal resources but also expert third-party help with planning, execution, and scaling.

For example, demand for cloud and AI services are expanding at unprecedented rates across the Middle East. Both governments and industries are making significant investments in modernization and AI to jumpstart productivity and launch new business models.

IBM Consulting’s new collaboration agreement with AWS combines industry expertise in cloud migration and modernization with AWS AI technologies and virtually unlimited scalability. The two companies aim to accelerate technology transformation throughout the region, starting with Saudi Arabia and the UAE.

The two partners — who together previously built innovation hubs in India and Romania — are now creating a new innovation hub in Riyadh. The center allows government and enterprise customers to gain hands-on experience with the latest cloud technologies and explore proof-of-concept projects tailored to their needs.

The hub will also expand regional job opportunities. “It will be staffed domestically, focused on helping our clients deliver projects with local talent,” says Kusel.

IBM + AWS: Partnership defined by scale

IBM Consulting brings deep domain and industry expertise and a broad range of services and solutions that can help organizations accelerate digital transformation, creating a virtuous cycle of agility, innovation, and resilience.

For large enterprises and governments alike, modernizing business in the AI era can be complex. Together, IBM and AWS offer unparalleled expertise in planning, launching, and scaling tailored initiatives that will deliver bottom-line benefits and real business value for years to come.

Explore IBM and AWS success stories. Visit https://www.ibm.com/downloads/documents/us-en/153d3d3b2fcfae0b

Learn more about IBM Consulting services for AWS here: https://www.ibm.com/consulting/aws

El origen del banco ING en España está intrínsecamente unido a una gran apuesta por la tecnología, su razón de ser y clave de un éxito que le ha llevado a tener, solo en este país, 4,6 millones de usuarios y ser el cuarto mercado del grupo según este parámetro después de Alemania, Países Bajos y Turquía.

La entidad neerlandesa, que llegó al mercado nacional en los años 80 de mano de la banca corporativa de inversión, realizó su gran desembarco empresarial en el país a finales de los 90, cuando empezó a operar como el primer banco puramente telefónico. Desde entonces, ING ha ido evolucionado al calor de las innovaciones tecnológicas de cada momento, como internet o la telefonía móvil hasta llegar al momento actual, con un claro protagonismo de la inteligencia artificial.

Como parte de su comité de dirección y al frente de la estrategia de las tecnologías de la información del banco en Iberia —y de un equipo de 500 profesionales, un tercio de la plantilla de la compañía— está la teleco Rocío López Valladolid, su CIO desde septiembre de 2022. La ejecutiva, en la ‘casa’ desde hace más de 15 años y distinguida como CIO del año en los CIO 100 Awards en 2023, explica en entrevista con esta cabecera cómo trabaja ING para evolucionar sus sistemas, procesos y forma de trabajar en un contexto enormemente complejo y cambiante como el actual.

Asegura ser consciente, desde que se incorporó a ING, de la relevancia de las TI para el banco desde sus inicios, un rol que “no ha sido a menos” en los tres años de López Valladolid como CIO de la filial ibérica. “Mi estrategia y la estrategia de tecnología del banco va ligada a la del banco en sí misma”, recalca, apostillando que desde su área no perciben las TI “como una estrategia que reme solo en la dirección tecnológica, sino siempre como el mayor habilitador, el mayor motor de nuestra estrategia de negocio”.

Una ambiciosa transformación tecnológica

Los 26 años de operación de ING en España han derivado en un gran legado tecnológico que la compañía está renovando. “Tenemos que seguir modernizando toda nuestra arquitectura tecnológica para asegurar que seguimos siendo escalables, eficientes en nuestros procesos y, sobre todo, para garantizar que estamos preparados para incorporar las disrupciones que, una vez más, vienen de la mano de la tecnología, en especial de la inteligencia artificial”, asevera la CIO.

Fue hace tres años, cuenta, cuando López Valladolid y su equipo hicieron un replanteamiento de la experiencia digital para modernizar la tecnología que da servicio directo a sus clientes. “Empezamos a ofrecer nuevos productos y servicios de la mano de nuestra app en el canal móvil, que ya se ha convertido en el principal canal de acceso de nuestros clientes”, señala.

Más tarde, continúa, su equipo siguió trabajando en modular los sistemas del banco. “Aquí uno de nuestros grandes hitos tecnológicos fue la migración de todos nuestros activos a la nube privada del grupo” —subraya—. Un hito que cumplimos el año pasado, siendo el primer banco en afrontar este movimiento ambicioso, que nos ha proporcionado mucha escalabilidad tecnológica y eficiencia en nuestros sistemas y procesos, además de unirnos como equipo”.

Un proyecto, el de migración a cloud, clave en su carrera profesional. “No todo el mundo tiene la oportunidad de llevar un banco a la nube”, afirma. “Y he de decir que todos y cada uno de los profesionales del área de tecnología hemos trabajado codo con codo para conseguir ese gran hito que nos ha posicionado como un referente en innovación y escalabilidad”.

En la actualidad, agrega, su equipo está trabajando en evolucionar el core bancario de ING. “Llegar a transformar las capas más profundas de nuestros sistemas es uno de los grandes hitos que muchos bancos ambicionan”, relata. ¿El objetivo? Ser más escalables en los procesos y estar mejor preparados para incorporar las ventajas que vienen de mano de la inteligencia artificial.

Gran parte de las inversiones de TI del banco —la CIO no desvela el presupuesto específico anual de su área en Iberia— están enfocadas a la citada transformación tecnológica y al desarrollo de los productos y servicios que demandan los clientes.

Muestra de la confianza en las capacidades locales del grupo es el establecimiento en las oficinas del banco en Madrid de un centro de innovación y tecnología global que persigue impulsar la transformación digital del banco en todo el mundo. El proyecto, una iniciativa de la corporación, espera generar más de mil puestos de trabajo especializados en tecnología, datos, operaciones y riesgos hasta el año 2029. Aunque López no lidera este proyecto corporativo —Konstantin Gordievitch, en la casa desde hace casi dos décadas, está al frente— sí cree que “es un orgullo y pone de manifiesto el reconocimiento global del talento que tenemos en España”. Gracias al nuevo centro, explica, “se va a dotar al resto de países de ING de las capacidades tecnológicas que necesitan para llevar a cabo sus estrategias”.

“No todo el mundo tiene la oportunidad de llevar un banco a la nube”

Pilares de la estrategia de TI de ING en Iberia

La estrategia de ING, dice López Valladolid, es ‘customer centric’, es decir, centrada en el cliente y ese es uno de sus grandes pilares. “De alguna manera, todos trabajamos y desarrollamos para nuestros clientes, así que estos son uno de los pilares fundamentales tanto en nuestra estrategia como banco como en nuestra estrategia tecnológica”.

La escalabilidad, continúa la CIO, es el siguiente. “ING está creciendo en negocio, productos, servicios y segmentos, así que el área de tecnología debe dar respuesta de manera escalable y también sostenible, porque este incremento no puede conllevar que aumente el coste y la complejidad”.

“Por supuesto —añade— la seguridad desde el diseño es un pilar fundamental en todos nuestros procesos y en el desarrollo de productos”. Su equipo, afirma, trabaja con equipos multidisciplinares y, en concreto, sus equipos de producto y tecnología trabajan conjuntamente con el de ciberseguridad para garantizar este enfoque.

La innovación es otro de los cimientos tecnológicos del banco. “Estamos viviendo una revolución que va más allá de la tecnología y va a afectar a todo lo que hacemos: a cómo trabajamos, cómo servimos a nuestros clientes, cómo operamos… Así que la innovación y cómo incorporamos las nuevas disrupciones para mejorar la relación con los clientes y nuestros procesos internos son aspectos claves en nuestra estrategia tecnológica”.

Finalmente, afirma, “el último pilar y el más importante son las personas, el equipo. Para nosotros, por supuesto para mí, es fundamental contar con un equipo diverso, muy conectado con el propósito del banco y que sienta que su trabajo redunda en algo positivo para la sociedad”.

Impacto de los nuevos sabores de IA

Preguntada por la sobreexpectación que ha generado en la alta dirección de negocio la aparición de los sabores generativo y agentivo de la IA, López Valladolid lo ve con buenos ojos: “Que los CEO tengan esas expectativas y ese empuje es bueno. Históricamente, a los tecnólogos nos ha costado explicar a los CEO la importancia de la tecnología; que ahora ellos tiren de nosotros lo veo muy positivo”.

¿Cómo deben actuar los CIO en este escenario? “Diseñando las estrategias para que la IA genere el impacto positivo que sabemos que va a tener”, explica la CIO. “En ING no vemos la IA generativa como un sustituto de las personas, sino como un amplificador de las capacidades de éstas. De hecho, tenemos ya planes para mejorar el día a día de los empleados y reinventar la relación que tenemos con los clientes”.

ING, rememora, irrumpió en el escenario de la banca en España hace 26 años con “un modelo de relación muy diferente, que no existía entonces. Primero fuimos un banco telefónico e inmediatamente después un banco digital sin casi oficinas, un modelo de relación con el cliente entonces disruptivo y que se ha consolidado como el modelo de relación estándar de las personas con sus bancos”. En la era actual, añade, “tendremos que entender cuál va a ser el modelo de relación que las personas van a tener, gracias a la IA generativa, con sus bancos o sus propios dispositivos. Nosotros ya estamos trabajando para entender cómo quieren nuestros clientes que nos relacionemos con ellos”. Una respuesta que vendrá, dice, siempre de mano de la tecnología.

“Queremos rediseñar nuestro modelo operativo para ser mucho más eficientes internamente, así que estamos trabajando para ver dónde [la IA generativa] nos puede aportar valor”

De hecho, la compañía ha lanzado un chatbot basado en IA generativa para dar respuesta de forma “más natural y cercana” a las consultas del día a día de los clientes. “Así podemos dejar a nuestros agentes [humanos] para atender otro tipo de cuestiones más complejas que sí requieren la respuesta de una persona”.

ING también aplicará la IA generativa a sus propios procesos empresariales. “Queremos rediseñar nuestro modelo operativo para ser mucho más eficientes internamente, así que estamos trabajando para ver dónde [la IA generativa] nos puede aportar valor”.

La CIO es consciente de la responsabilidad que conlleva adoptar esta tecnología. “Tenemos que liderar el cambio y asegurarnos de que la inteligencia artificial generativa nos lleve donde queremos estar y que nosotros la llevemos donde también queremos que esté”.

En lo que respecta a la aplicación de esta tecnología al área de TI en concreto, donde los analistas esperan un impacto grande, sobre todo en el desarrollo de software, la CIO cree que “puede aportar muchísimo”. La idea, cuenta, es emplearla para tareas de menos valor añadido, más tediosas, de modo que los profesionales de TI del banco puedan dedicarse a otro tipo de tareas dentro del desarrollo de software donde puedan aportar más valor.

“Históricamente, a los tecnólogos nos ha costado explicar a los CEO la importancia de la tecnología; que ahora ellos tiren de nosotros lo veo muy positivo”

Desafíos como CIO y futuro de la banca

Los líderes de TI afrontan todo un crisol de retos que engloban desde el liderazgo tecnológico a desafíos culturales o regulatorios, entre otros. “Los CIO nos enfrentamos a todo tipo de desafíos”, reflexiona Rocío López. “Por un lado, soy colíder de la estrategia del banco y del negocio; me preocupa y ocupa el crecimiento del banco y los servicios que damos a nuestros clientes, lo que conlleva un abanico de retos y disciplinas muy amplio”.

Por otro, añade, “los líderes tecnológicos marcamos el paso de la transformación y de la innovación, garantizando que la seguridad está en todo lo que hacemos desde el diseño. En este sentido, siempre tenemos que reconciliar la innovación con la regulación, pues esta última nos protege como sociedad”. Por último, subraya, “los CIO somos líderes de personas, así que es muy importante dedicar tiempo y esfuerzo al desarrollo de nuestros equipos, de forma que estos crezcan y se desarrollen en una profesión que me encanta”.

Una de las iniciativas en la que la CIO participa activamente para impulsar la profesión y potenciar que existan más referentes femeninos en el mundo STEM (de ciencias, tecnología, ingeniería y matemáticas) es Leonas in Tech. “Es una comunidad formada por el equipo de mujeres del área de tecnología del banco con la que realizamos varias acciones, como talleres de robótica, entre otros”, explica. “Nos preocupa que los perfiles tecnológicos femeninos seamos una minoría en la sociedad. En un mundo donde ya todo es tecnología, y en el futuro lo será más aún, que las mujeres no tengamos una representación fuerte en este segmento nos pone en cierto riesgo como sociedad. Por eso trabajamos para fomentar que haya referentes y acercar la tecnología a las edades más tempranas; contar que la nuestra es una profesión bonita caracterizada por la creatividad, la capacidad de resolver problemas, el ingenio… y el pensamiento crítico”, añade la CIO.

De cara al futuro próximo, López Valladolid está convencida de que “la inteligencia artificial va a cambiar la manera en la que en la que nos relacionamos. Es difícil anticipar lo que va a ocurrir a cinco años vista, pero sí sabemos que debemos seguir escuchando a nuestros clientes y saber qué nos demandan. Esto siempre será una prioridad para nosotros. Y seguiremos estando donde los clientes nos pidan gracias a la tecnología”.

資金は戻るも条件は厳格化──「成長」より「持続性」を買う市場へ

2025年は、資金の流れが完全に止まっていたわけではないことが数字の上でも確認されました。特に上半期は資金調達が積み上がると同時に、M&A（合併・買収）が活発化しました。ここで注目すべきは、フィンテックを中心とした統合が進んだ点です。これは単に伸び悩んだ企業の救済ではなく、規制対応や販路拡大、決済基盤の獲得を見据えた「強くなるための統合」という色合いが濃くなっています。

この「統合」の波は、スタートアップ同士に留まりません。南アフリカでは大手銀行Nedbankが決済フィンテックiKhokhaの買収に合意するなど、銀行がフィンテックを「競合」として排除するのではなく、自社の成長に欠かせない「ピース」として取り込む動きが加速しました。これは2025年における現実的な成長戦略の象徴と言えます。

投資家の視点も変化しました。「売上の急拡大」だけでなく、「規制コスト」「不正対策」「回収率」といった堅実なKPI（重要業績評価指標）が重視されるようになっています。これはネガティブな要素ではなく、市場が成熟している証拠です。 実際、2025年の資金調達環境は過去の落ち込み局面より改善しており、市場は「熱狂」から「検証と継続」へと資金の性質をシフトさせました。

その土台として、モバイルマネー経済圏が「当たり前のインフラ」として定着し続けている点は見逃せません。年間で1兆ドルを超える規模に達したモバイルマネーという巨大なレールの上で、いかに商流・与信・保険・B2B決済といった付加価値を積み上げられるかが、今の競争の軸になっています。

国境を越える決済インフラが「政策」から「商用サービス」へ

2025年のもう一つの主役は、クロスボーダー決済の「実用化」です。これまでアフリカ大陸自由貿易圏（AfCFTA）が掲げてきた域内取引拡大の理念が、決済と為替という現実的な課題解決に向けて動き出しました。

特筆すべきはPAPSS（汎アフリカ決済・決済システム）の進展です。米ドルなどのハードカレンシーを介さずに域内決済を行う構想を推進し、2025年には通貨交換プラットフォームの立ち上げ計画も示されました。為替流動性の低い市場が多いアフリカにおいて、決済そのものより「どう両替するか」という摩擦が解消されれば、航空、商社、中小の輸出入に至るまで、フィンテックが貢献できる余地は格段に広がります。 東・南部アフリカでも地域経済圏COMESAがデジタル小売決済プラットフォームを立ち上げるなど、クロスボーダー決済は単なる送金アプリの利便性向上を超え、貿易やサプライチェーンの生産性に直結するテーマとして扱われ始めました。

また、グローバル企業もアフリカを重要拠点として再定義しています。Visaがヨハネスブルグにアフリカ初のデータセンターを開設したことは、決済インフラにおける「処理能力」と「データ主権」が、単なるコストではなく国家や産業の競争力として認識され始めたことを示唆しています。 既存の巨大プレイヤーであるSafaricomもM-PESAの大規模アップグレードを発表するなど、アフリカのフィンテックは「アプリの発明」段階から、「社会インフラとしての安定運用」を競うフェーズへと移行しています。

規制のアップデートが事業戦略の中核に

2025年は「規制が厳しくなった年」というより、「規制が整備され、事業戦略の一部になった年」でした。これまでグレーゾーンで成長してきた領域ほど、ルールメイキングへの対応が勝敗を分ける局面に入っています。

暗号資産領域では、ケニア議会が規制法案を可決するなど、ライセンスや監督の枠組みを明確化する動きが進みました。これは投資の呼び込みと犯罪対策を両立させるための「制度設計」への一歩です。 与信分野でも同様に、消費者保護や監督の実装が焦点となっています。モバイル起点の即時与信は金融包摂の武器である一方、過剰貸付などの社会課題も孕んでいます。ここから先の成長は、規制順守と表裏一体のものとなるでしょう。

ナイジェリアにおける外為ルールの変更と両替商のライセンス再編に見られるように、マクロ経済の揺れと規制の変更は、フィンテック企業のプロダクト要件そのものになっています。 こうした潮流の先にあるのは、フィンテック企業の「金融機関化」であり、IPO（新規株式公開）の現実味です。AI与信を手がける企業の上場計画などが報じられたのも、規制と市場インフラが整うにつれ、「公開市場で評価される成長モデル」が成立しやすくなっていることを示しています。

2026年に向けて問われるのは、一過性の話題性ではなく、域内決済のレール、与信の健全性、透明性、そして不正対策を含む総合的な「運用力」です。2025年は、アフリカ・フィンテックが「成長の物語」を語る段階を終え、「成長を管理する技術」を競い合う成熟フェーズへ舵を切った転換点として記憶されることになるでしょう。

For all the buzz about AI’s potential to transform business, many organizations struggle to ascertain the extent to which their AI implementations are actually working.

Part of this is because AI doesn’t just replace a task or automate a process — rather, it changes how work itself happens, often in ways that are hard to quantify. Measuring that impact means deciding what return really means, and how to connect new forms of digital labor to traditional business outcomes.

“Like everyone else in the world right now, we’re figuring it out as we go,” says Agustina Branz, senior marketing manager at Source86.

That trial-and-error approach is what defines the current conversation about AI ROI.

To help shed light on measuring the value of AI, we spoke to several tech leaders about how their organizations are learning to gauge performance in this area — from simple benchmarks against human work to complex frameworks that track cultural change, cost models, and the hard math of value realization.

The simplest benchmark: Can AI do better than you?

There’s a fundamental question all organizations are starting to ask, one that underlies nearly every AI metric in use today: How well does AI perform a task relative to a human? For Source86’s Branz, that means applying the same yardstick to AI that she uses for human output.

“AI can definitely make work faster, but faster doesn’t mean ROI,” she says. “We try to measure it the same way we do with human output: by whether it drives real results like traffic, qualified leads, and conversions. One KPI that has been useful for us has been cost per qualified outcome, which basically means how much less it costs to get a real result like the ones we were getting before.”

The key is to compare against what humans delivered in the same context. “We try to isolate the impact of AI by running A/B tests between content that uses AI and those that don’t,” she says.

“For instance, when testing AI-generated copy or keyword clusters, we track the same KPIs — traffic, engagement, and conversions — and compare the outcome to human-only outputs,” Branz explains. “Also, we treat AI performance as a directional metric rather than an absolute one. It is super useful for optimization, but definitely not the final judgment.”

Marc‑Aurele Legoux, founder of an organic digital marketing agency, is even more blunt. “Can AI do this better than a human can? If yes, then good. If not, there’s no point to waste money and effort on it,” he says. “As an example, we implemented an AI agent chatbot for one of my luxury travel clients, and it brought in an extra €70,000 [$81,252] in revenue through a single booking.”

The KPIs, he said, were simply these: “Did the lead come from the chatbot? Yes. Did this lead convert? Yes. Thank you, AI chatbot. We would compare AI-generated outcomes — leads, conversions, booked calls —against human-handled equivalents over a fixed period. If the AI matches or outperforms human benchmarks, then it’s a success.”

But this sort of benchmark, while straightforward in theory, becomes much harder in practice. Setting up valid comparisons, controlling for external factors, and attributing results solely to AI is easier said than done.

Hard money: Time, accuracy, and value

The most tangible form of AI ROI involves time and productivity. John Atalla, managing director at Transformativ, calls this “productivity uplift”: “time saved and capacity released,” measured by how long it takes to complete a process or task.

But even clear metrics can miss the full picture. “In early projects, we found our initial KPIs were quite narrow,” he says. “As delivery progressed, we saw improvements in decision quality, customer experience, and even staff engagement that had measurable financial impact.”

That realization led Atalla’s team to create a framework with three lenses: productivity, accuracy, and what he calls “value-realization speed”— “how quickly benefits show up in the business,” whether measured by payback period or by the share of benefits captured in the first 90 days.

The same logic applies at Wolters Kluwer, where Aoife May, product management association director, says her teams help customers compare manual and AI-assisted work for concrete time and cost differences.

“We attribute estimated times to doing tasks such as legal research manually and include an average attorney cost per hour to identify the costs of manual effort. We then estimate the same, but with the assistance of AI.” Customers, she says, “reduce the time they spend on obligation research by up to 60%.”

But time isn’t everything. Atalla’s second lens — decision accuracy — captures gains from fewer errors, rework, and exceptions, which translate directly into lower costs and better customer experiences.

Adrian Dunkley, CEO of StarApple AI, takes the financial view higher up the value chain. “There are three categories of metrics that always matter: efficiency gains, customer spend, and overall ROI,” he says, adding that he tracks “how much money you were able to save using AI, and how much more you were able to get out of your business without spending more.”

Dunkley’s research lab, Section 9, also tackles a subtler question: how to trace AI’s specific contribution when multiple systems interact. He relies on a process known as “impact chaining,” which he “borrowed from my climate research days.” Impact chaining maps each process to its downstream business value to create a “pre-AI expectation of ROI.”

Tom Poutasse, content management director at Wolters Kluwer, also uses impact chaining, and describes it as “tracing how one change or output can influence a series of downstream effects.” In practice, that means showing where automation accelerates value and where human judgment still adds essential accuracy.

Still, even the best metrics matter only if they’re measured correctly. Establishing baselines, attributing results, and accounting for real costs are what turn numbers into ROI — which is where the math starts to get tricky.

Getting the math right: Baselines, attribution, and cost

The math behind the metrics starts with setting clean baselines and ends with understanding how AI reshapes the cost of doing business.

Salome Mikadze, co-founder of Movadex, advises rethinking what you’re measuring: “I tell executives to stop asking ‘what is the model’s accuracy’ and start with ‘what changed in the business once this shipped.’”

Mitadze’s team builds those comparisons into every rollout. “We baseline the pre-AI process, then run controlled rollouts so every metric has a clean counterfactual,” she says. Depending on the organization, that might mean tracking first-response and resolution times in customer support, lead time for code changes in engineering, or win rates and content cycle times in sales. But she says all these metrics include “time-to-value, adoption by active users, and task completion without human rescue, because an unused model has zero ROI.”

But baselines can blur when people and AI share the same workflow, something that spurred Poutasse’s team at Wolters Kluwer to rethink attribution entirely. “We knew from the start that the AI and the human SMEs were both adding value, but in different ways — so just saying ‘the AI did this’ or ‘the humans did that’ wasn’t accurate.”

Their solution was a tagging framework that marks each stage as machine-generated, human-verified, or human-enhanced. That makes it easier to show where automation adds efficiency and where human judgment adds context, creating a truer picture of blended performance.

At a broader level, measuring ROI also means grappling with what AI actually costs. Michael Mansard, principal director at Zuora’s Subscribed Institute, notes that AI upends the economic model that IT has taken for granted since the dawn of the SaaS era.

“Traditional SaaS is expensive to build but has near-zero marginal costs,” Mansard says, “while AI is inexpensive to develop but incurs high, variable operational costs. These shifts challenge seat-based or feature-based models, since they fail when value is tied to what an AI agent accomplishes, not how many people log in.”

Mansard sees some companies experimenting with outcome-based pricing — paying for a percentage of savings or gains, or for specific deliverables such as Zendesk’s $1.50-per-case-resolution model. It’s a moving target: “There isn’t and won’t be one ‘right’ pricing model,” he says. “Many are shifting toward usage-based or outcome-based pricing, where value is tied directly to impact.”

As companies mature in their use of AI, they’re facing a challenge that goes beyond defining ROI once: They’ve got to keep those returns consistent as systems evolve and scale.

Scaling and sustaining ROI

For Movadex’s Mikadze, measurement doesn’t end when an AI system launches. Her framework treats ROI as an ongoing calculation rather than a one-time success metric. “On the cost side we model total cost of ownership, not just inference,” she says. That includes “integration work, evaluation harnesses, data labeling, prompt and retrieval spend, infra and vendor fees, monitoring, and the people running change management.”

Mikadze folds all that into a clear formula: “We report risk-adjusted ROI: gross benefit minus TCO, discounted by safety and reliability signals like hallucination rate, guardrail intervention rate, override rate in human-in-the-loop reviews, data-leak incidents, and model drift that forces retraining.”

Most companies, Mikadze adds, accept a simple benchmark: ROI = (Δ revenue + Δ gross margin + avoided cost) − TCO, with a payback target of less than two quarters for operations use cases and under a year for developer-productivity platforms.

But even a perfect formula can fail in practice if the model isn’t built to scale. “A local, motivated pilot team can generate impressive early wins, but scaling often breaks things,” Mikadze says. Data quality, workflow design, and team incentives rarely grow in sync, and “AI ROI almost never scales cleanly.”

She says she sees the same mistake repeatedly: A tool built for one team gets rebranded as a company-wide initiative without revisiting its assumptions. “If sales expects efficiency gains, product wants insights, and ops hopes for automation, but the model was only ever tuned for one of those, friction is inevitable.”

Her advice is to treat AI as a living product, not a one-off rollout. “Successful teams set very tight success criteria at the experiment stage, then revalidate those goals before scaling,” she says, defining ownership, retraining cadence, and evaluation loops early on to keep the system relevant as it expands.

That kind of long-term discipline depends on infrastructure for measurement itself. StarApple AI’s Dunkley warns that “most companies aren’t even thinking about the cost of doing the actual measuring.” Sustaining ROI, he says, “requires people and systems to track outputs and how those outputs affect business performance. Without that layer, businesses are managing impressions, not measurable impact.”

The soft side of ROI: Culture, adoption, and belief

Even the best metrics fall apart without buy-in. Once you’ve built the spreadsheets and have the dashboards up and running, the long-term success of AI depends on the extent to which people adopt it, trust it, and see its value.

Michael Domanic, head of AI at UserTesting, draws a distinction between “hard” and “squishy” ROI.

“Hard ROI is what most executives are familiar with,” he says. “It refers to measurable business outcomes that can be directly traced back to specific AI deployments.” Those might be improvements in conversion rates, revenue growth, customer retention, or faster feature delivery. “These are tangible business results that can and should be measured with rigor.”

But squishy ROI, Domanic says, is about the human side — the cultural and behavioral shifts that make lasting impact possible. “It reflects the cultural and behavioral shift that happens when employees begin experimenting, discovering new efficiencies, and developing an intuition for how AI can transform their work.” Those outcomes are harder to quantify but, he adds, “they are essential for companies to maintain a competitive edge.” As AI becomes foundational infrastructure, “the boundary between the two will blur. The squishy becomes measurable and the measurable becomes transformative.”

John Pettit, CTO of Promevo, argues that self-reported KPIs that could be seen as falling into the “squishy” category — things like employee sentiment and usage rates — can be powerful leading indicators. “In the initial stages of an AI rollout, self-reported data is one of the most important leading indicators of success,” he says.

When 73% of employees say a new tool improves their productivity, as they did at one client company he worked with, that perception helps drive adoption, even if that productivity boost hasn’t been objectively measured. “Word of mouth based on perception creates a virtuous cycle of adoption,” he says. “Effectiveness of any tool grows over time, mainly by people sharing their successes and others following suit.”

Still, belief doesn’t come automatically. StarApple AI and Section 9’s Dunkley warn that employees often fear AI will erase their credit for success. At one of the companies where Section 9 has been conducting a long-term study, “staff were hesitant to have their work partially attributed to AI; they felt they were being undermined.”

Overcoming that resistance, he says, requires champions who “put in the work to get them comfortable and excited for the AI benefits.” Measuring ROI, in other words, isn’t just about proving that AI works — it’s about proving that people and AI can win together.

Consider the Turing test. Its challenge? Ask some average humans to tell whether they’re interacting with a machine or another human.

The fact of the matter is, generative AI passed the Turing test a few years ago.

I suggested as much to acquaintances who are knowledgeable in the ways of artificial intelligence. Many gave me the old eyeball roll in response. In pitying tones, they let me know I’m just not sophisticated enough to recognize that generative AI didn’t pass Turing’s challenge at all. Why not? I asked. Because the way generative AI works isn’t the same as how human intelligence works, they explained.

Now I could argue with my more AI-sophisticated colleagues but where would the fun be in that? Instead, I’m willing to ignore what “Imitation Game” means. If generative AI doesn’t pass the test, what we need isn’t better AI.

It’s a better test.

What makes AI agentic

Which brings us to the New, Improved, AI Imitation Challenge (NIAIIC).

The NIAIIC still challenges human evaluators to determine whether they’re dealing with a machine or a human. But NIAIIC’s challenge is no longer about conversations.

It’s about something more useful. Namely, dusting. I will personally pay a buck and a half to the first AI team able to deploy a dusting robot — one that can determine which surfaces in an average tester’s home are dusty, and can remove the dust on all of them without breaking or damaging anything along the way.

Clearly, the task to be mastered is one a human could handle without needing detailed instructions (aka “programming”). Patience? Yes, dusting needs quite a bit of that. But instructions? No.

It’s a task with the sorts of benefits claimed for AI by its most enthusiastic proponents: It takes over annoying, boring, and repetitive work from humans, freeing them up for more satisfying responsibilities.

(Yes, I freely admit that I’m projecting my own predilections. If you, unlike me, love to dust and can’t get enough of it … come on over! I’ll even make espresso for you!)

How does NIAIIC fit into the popular AI classification frameworks? It belongs to the class of technologies called “agentic AI” — who comes up with these names? Agentic AI is AI that figures out how to accomplish defined goals on its own. It’s what self-driving vehicles do when they do what they’re supposed to do — pass the “touring test” (sorry).

It’s also what makes agentic AI interesting when compared to earlier forms of AI — those that depended on human experts encoding their skills into a collection of if/then rules, which are alternately known as “expert systems” and “AI that reliably works.”

What’s worrisome is how little distance separates agentic AI from the Worst AI Idea Yet, namely, volitional AI.

With agentic AI, humans define the goals, while the AI figures out how to achieve them. With volitional AI, the AI decides which goals it should try to achieve, then becomes agentic to achieve them.

Once upon a time I didn’t worry much about volitional AI turning into Skynet, on the grounds that, “Except for electricity and semiconductors, it’s doubtful we and a volitional AI would find ourselves competing for resources intensely enough for the killer robot scenario to become a problem for us.”

It’s time to rethink this conclusion. Do some Googling and you’ll discover that some AI chips aren’t even being brought online because there isn’t enough juice to power them.

It takes little imagination to envision a dystopian scenario in which volitional AIs compete with us humans to grab all the electrical generation they can get their virtual paws on. Their needs and ours will overlap, potentially more quickly than we’re able to even define the threat, let alone respond to it.

The tipping point

Speaking more broadly, anyone expending even a tiny amount of carbon-based brainpower regarding the risks of volitional AI will inevitably reach the same conclusion Microsoft Copilot does. I asked Copilot what the biggest risks of volitional AI are. It concluded that:

The biggest risks of volitional AI — AI systems that act with self-directed goals or autonomy — include existential threats, misuse in weaponization, erosion of human control, and amplification of bias and misinformation. These dangers stem from giving AI systems agency beyond narrow task execution, which could destabilize social, economic, and security structures if not carefully governed.

But it’s okay so long as we stay on the right side of the line that separates agentic from volitional AI, isn’t it?

In a word, “no.”

When an agentic AI figures out how it can go about achieving a goal, what it must do is break down the goal assigned to it into smaller goal chunks, and then to break down these chunks into yet smaller chunks.

An agentic AI, that is, ends up setting goals for itself because that’s how planning works. But once it starts to set goals for itself, it becomes volitional by definition.

Which gets us to AI’s IT risk management conundrum.

Traditional risk management identifies bad things that might happen, and crafts contingency plans that explain what the organization should do should the bad thing actually happen.

We can only wish that this framework would be sufficient when we poke and prod an AI implementation.

Agentic AI, and even more so volitional AI, stands this on its head, because when it comes to it, the biggest risk of volitional AI isn’t that an unplanned bad thing has happened. It’s that the AI does what it’s supposed to do.

Volitional AI is, that is, dangerous. Agentic AI might not be as inherently risky, but it’s more than risky enough.

Sad to say, we humans are probably too shortsighted to bother mitigating agentic and volitional AI’s clear and present risks, even risks that could herald the end of human-dominated society.

The likely scenario? We’ll all collectively ignore the risks. Me too. I want my dusting robot and I want it now, the risks to human society be damned.

See also:

• How to get the business to love IT — again
• The hidden risk of legacy tech: IT owning the inevitable fallout
• ‘Commonsense’ IT solutions are anything but

모방의 함정

오늘날 CIO는 이사회와 사업 부문, 주주로부터 빅테크의 성공 사례를 그대로 따라 하라는 전례 없는 압박에 직면해 있다. 소프트웨어 산업은 매출의 19%를 IT에 지출하는 반면, 숙박 산업의 IT 지출 비중은 3%에도 미치지 않는다.

이러한 차이는 예외적인 현상이 아니라, 다수의 CIO가 빅테크의 플레이북을 모방하는 데 몰두한 나머지 외면하고 있는 근본적인 사실이다. 그 결과, 산업별 가치 창출 방식에 대한 본질적인 오해를 바탕으로 자원이 체계적으로 잘못 배분되고 있다.

• 다수의 격차: 7개 산업 가운데 5개 산업이 산업 평균 이하의 IT 지출을 보이며, 벤치마크에 맹목적으로 의존한 전략의 위험성을 드러낸다.
• 맥락의 중요성: 기술 자체가 곧 제품인 산업(소프트웨어)과, 제품을 가능하게 하는 수단인 산업(숙박, 부동산)은 근본적으로 다른 지출 구조를 보인다.

이러한 격차는 기업 기술 전략의 치명적인 결함을 드러낸다. 아마존, 구글, 마이크로소프트에서 통하는 방식이 모든 산업에서도 그대로 작동할 것이라는 위험한 가정이다. 이 같은 획일적 사고방식은 기술을 전략 자산이 아닌 값비싼 주의 분산 요소로 전락시켰다.

연도	IT 지출 성장률(A)	실질 GDP 성장률(B)	성장률 격차(A-B)
2016	-2.9%	3.4%	-6.3%
2017	2.9%	3.8%	-0.9%
2018	5.7%	3.6%	2.1%
2019	2.7%	2.8%	-0.1%
2020	-5.3%	-3.1%	-2.2%
2021	13.9%	6.2%	7.7%
2022	9.8%	3.5%	6.3%
2023	2.2%	3.0%	-0.8%
2024	9.5%	3.2%	6.3%
2025	7.9%	2.8%	5.1%

가트너에 따르면 “2025년 글로벌 IT 지출은 7.9% 성장한 5조 4,300억 달러(약 8,014조 원)에 이를 것”으로 전망된다. IMF 세계경제전망(IMF WEO) 데이터를 기준으로 보면, IT 지출은 실질 GDP 성장률을 지속적으로 상회해 왔다. 지난 10년간 글로벌 IT 지출은 연평균 약 5% 성장한 반면, 실질 GDP는 약 3% 성장에 그쳐 연간 약 2%포인트의 격차가 발생했다.

이러한 추세는 디지털 성숙도와 기술 도입 확대를 보여주는 동시에, IT 투자의 순환적 특성을 드러낸다. 코로나19 이후의 디지털 가속 국면이나 2023~2024년 생성형 AI 열풍처럼 기대가 과도하게 높아진 시기는, 과장된 지출이 지속적인 가치로 이어지지 못하면서 조정 국면으로 이어져 왔다.

또한 IT 프로그램의 실패율은 대부분의 엔지니어링 산업보다 현저히 높으며, 소비재(FMCG)나 스타트업 환경과 유사한 수준을 보인다. 이 가운데 디지털 및 AI 기반 이니셔티브는 특히 실패율이 높은 것으로 나타난다. 그 결과, 증가한 IT 지출이 모두 사업 가치로 전환되지는 않는다.

이러한 경험에 비춰볼 때, IT의 전략적 가치는 산업별 가치 창출을 얼마나 효과적으로 해결하는지로 평가돼야 한다. 산업마다 기술 집약도와 가치 창출의 역학은 크게 다르다. 따라서 CIO는 유행에 휩쓸린 의사결정을 경계하고, 자사 산업의 가치 창출 구조를 기준으로 IT 투자를 바라보며 경쟁 우위를 강화해야 한다. 산업 현실과 성숙도 차이에 따라 IT 전략이 왜 달라지는지를 이해하려면, 비즈니스 모델이 기술의 역할을 어떻게 규정하는지 살펴볼 필요가 있다.

비즈니스 모델의 미로

기술 유행을 쫓기보다 사업 성과에 자금을 투입하는 일은 말처럼 쉽지 않다. 기술 과장의 흐름과 사업의 현실이 맞부딪히며 복잡한 미로를 만들어내기 때문이다. 그러나 IT의 역할은 보편적이지 않으며, 산업에 따라 사업적 의미는 달라진다. 이러한 차이는 서비스 경제가 기술 활용을 좌우하는 숙박 산업에서 크게 드러난다.

숙박 산업

숙박 산업에서는 비즈니스 모델에 따라 서비스의 구조가 달라지며, 이에 따라 기술이 수행하는 역할 역시 다르다. 따라서 리더는 기술이 어떤 방식으로 작동해야 하는지를 명확히 이해할 필요가 있다.

• 저가형 숙박: 기술은 비용을 절감해 수익성을 높이는 역할을 한다.
• 프리미엄 숙박: 기술은 서비스를 보조하지만, 가치를 만들어내는 핵심은 인간적 접점이다.

경험상 이러한 차이를 정확히 이해하고 체화하는 것이 매우 중요하다. 간편한 디지털 체크인은 운영 효율성을 높일 수 있지만, 고급 호텔에서 고객이 개인화된 응대 대신 자동화된 시스템의 미로를 마주하게 된다면 기술은 오히려 본래 목적을 스스로 무너뜨리게 된다.

그 이유는 숙박 산업의 비즈니스 모델이 인간적 상호작용을 기반으로 설계돼 있기 때문이다. 브랜드가 약속하는 핵심 가치는 사람 간의 연결에 있으며, 타지와 같은 럭셔리 호텔의 경쟁 우위 역시 여기에 있다. 과도한 자동화는 이러한 강점을 적극적으로 훼손한다.

이러한 대비는 부동산 산업을 살펴보면 더욱 분명해진다. 기술적 야망과 비즈니스의 기본 구조가 어긋날 경우, 위워크 사례에서 보듯 정체성에 기반한 리스크로 이어질 수 있다.

부동산 산업

위워크는 스스로와 투자자 모두를 설득해 자신을 기술 기업으로 인식하게 만든 부동산 회사였다. 그러나 사업의 현실이 재무제표와 맞닥뜨리면서 결과는 극적인 붕괴로 이어졌고, 이는 곧 정체성의 위기로 귀결됐다. 핵심 사업은 물리적 공간을 임대하는 데 있었지만, 기술 기업이라는 서사는 운영 현실과 완전히 동떨어진 가치 평가와 전략을 이끌었다. 그 결과, 위워크는 기업 가치 470억 달러에서 파산에 이르는 추락을 겪었다.

본질적으로 부동산 산업의 비즈니스 모델은 장기 거래 주기를 가진 물리적 자산을 기반으로 하며, 이로 인해 IT는 보조적 기능에 머무르게 된다. 이 산업에서 IT의 역할은 가치 제안을 재편하는 것이 아니라, 자산 운영을 지원하고 마진을 방어하는 데 있다. 경험상 이러한 산업에서 IT를 과도하게 설계하더라도 가치 창출의 축은 좀처럼 이동하지 않는다. 반면, 하이테크 산업은 기술이 단순한 수단이 아니라 비즈니스 그 자체인 경우에 해당한다.

하이테크 산업

하이테크 산업에서는 기술 그 자체가 곧 제품이다. 비즈니스 모델이 디지털 플랫폼을 기반으로 구축돼 있으며, 기술 역량이 곧 시장 리더십을 좌우한다. 이 때문에 IT 지출은 비즈니스 모델의 핵심 요소로 작동하며, 자동화와 데이터 수익화를 위한 전략적 무기로 활용된다.

소프트웨어 기업은 매출의 약 19%를 IT에 투입하는 반면, 숙박 기업의 IT 지출 비중은 3%에도 미치지 않는다. 이러한 16%포인트의 격차는 단순한 통계가 아니라 전략적 신호다. 서로 극단적으로 다른 산업에 동일한 IT 플레이북을 적용하는 것이 왜 비효율적일 뿐 아니라 잠재적으로 위험한지를 분명히 보여준다. 소프트웨어 기업에서 효과적인 전략이 숙박 브랜드에는 무의미하거나 오히려 해가 될 수 있다. 이러한 산업별 사례는 유행에 따른 결정을 거부하고, 기술 투자를 비즈니스의 본질에 고정할 수 있는 리더십 역량이라는 더 깊은 과제를 드러낸다.

유행을 넘어, 비즈니스의 진실에 기술을 고정하라

디지털 전환에 집착하는 환경에서 CIO에게 필요한 것은 사업 현실과 맞지 않는 이니셔티브를 걸러낼 수 있는 전략적 분별력이다. 관찰 결과, 경쟁 우위는 보편적인 모범 사례에서 나오는 것이 아니라 맥락에 맞춘 최적화에서 만들어진다.

이는 혁신을 피하자는 의미가 아니다. 비용만 늘리는 무관함을 피하자는 것이다. 가장 성공적인 기술 리더는 최신 유행을 구현하는 사람이 아니라, 자사 비즈니스를 독특하게 만드는 요소가 무엇인지를 이성적으로 분석하고 이를 강화하는 선택을 내리는 사람이다.

하이테크 산업을 제외한 대부분의 산업에서 기술은 제품과 서비스를 대체하기보다 이를 가능하게 하는 역할을 한다. 데이터는 수익화 대상이 아니라 의사결정을 지원하는 수단에 가깝다. 시장 지위는 산업 고유의 요인에 의해 결정되며, 성과는 플랫폼 효과보다는 운영 효율성과 고객 만족에서 나온다.

새로운 영역을 모두 좇는 전략은 대담해 보일 수 있지만, 지속적인 경쟁 우위는 무엇을 도입할지, 언제 도입할지, 무엇을 과감히 무시할지를 아는 데서 비롯된다. 아마존의 플랫폼 지배력, 구글의 데이터 수익화, 애플의 폐쇄형 생태계는 강력한 성공 서사를 만들어냈지만, 이는 디지털 네이티브 비즈니스 모델이라는 특정 맥락에 묶여 있다. 이러한 플레이북은 해당 환경에서는 효과적일 수 있으나, 다른 산업에는 맞지 않을 수 있으며 무비판적인 복제는 오해를 낳기 쉽다.

결국 CIO는 이러한 유혹에 저항하고, IT 전략을 자사 산업의 핵심 가치 동인에 맞춰 정렬해야 한다. 이 모든 논의는 하나의 단순하지만 강력한 진실로 귀결된다. 맥락은 제약이 아니라 경쟁 우위다.

결론: 맥락이 만드는 경쟁력

소프트웨어 산업과 숙박 산업 간 IT 지출 격차는 해결해야 할 문제가 아니라 받아들여야 할 현실이다. 산업마다 가치를 창출하는 방식은 근본적으로 다르며, 기술 전략 역시 이러한 진실을 반영해야 한다.

성과를 내는 기업은 기술을 활용해 경쟁 우위를 더욱 선명하게 만든다. 차별화 요소는 강화하고, 제약 요인은 제거하며, 기술이 진정한 신규 가치를 열어주는 영역에서만 선택적으로 확장한다. 이 모든 판단은 핵심 비즈니스 논리에 단단히 고정돼 있다.

신기술을 통해 장기적인 가치를 창출하는 길은 맹목적인 도입이 아니라 현실에 기반한 적용에 있다. 전환 경쟁이 치열해질수록 가장 현명한 CIO는 비즈니스의 본질을 버리기보다 이를 존중하는 기술 결정을 내리는 사람이다. 미래는 가장 많은 기술을 도입한 기업이 아니라, 올바른 이유로 올바른 기술을 선택한 기업의 몫이다.

*편집자 주:이 컬럼은 필자의 독립적인 통찰과 관점을 반영한 것으로, 어떠한 공식적 보증도 담고 있지 않다. 특정 기업, 제품 또는 서비스를 홍보하지 않습니다.
dl-ciokorea@foundryco.com

IBM의 데이터 담당 부사장 겸 최고데이터책임자(CDO)인 에드 러블리는 혁신적인 AI 전략을 구축하려는 조직이라면 무엇보다 경쟁력 있는 데이터 전략을 먼저 갖춰야 한다고 조언한다. AI를 확장하는 관점에서 보면 데이터는 근간이기 때문이다.

하지만 러블리에 따르면, 실제로 AI 목표에 부합하는 데이터 아키텍처를 갖춘 조직은 많지 않다. 대신 일관된 데이터 표준에 따라 관리되지 않는 사일로형 데이터가 여전히 존재한다. 이는 전사적 인공지능 배포를 지원하기보다는 특정 시점의 의사결정을 제공하기 위해 애플리케이션 단위로 IT 환경을 구축해 온 기존 엔터프라이즈 데이터 전략의 결과다.

IBM이 2025년에 발표한 보고서는 많은 조직이 데이터 문제로 어려움을 겪고 있음을 보여준다. 이 조사에 따르면 전 세계 1,700명의 CDO 가운데, 데이터가 새로운 AI 기반 수익원을 지원할 수 있다고 확신한 응답자는 26%에 그쳤다.

러블리는 해법으로 데이터가 생성되는 위치와 관계없이 동일한 표준과 거버넌스, 메타데이터를 적용하는 통합 전사 데이터 아키텍처가 필요하다고 설명했다.

데이터 전략을 업데이트해야 한다는 인식은 러블리만의 견해가 아니다. IDC 글로벌 데이터스피어 및 글로벌 스토리지스피어 연구 프로그램의 연구 매니저이자 2025년 보고서 ‘생성형 AI 시대의 콘텐츠 생성’ 공동 저자인 애덤 라이트는 “AI는 데이터의 활용 방식뿐 아니라 활용 목적과 가치가 창출되는 지점까지 바꾸고 있다”라며 “대부분의 조직은 이러한 변화에 맞춰 데이터 전략을 현대화할 필요가 있다”라고 분석했다.

라이트는 “기존 데이터 전략은 보고, BI, 자동화를 위해 설계됐지만, AI는 반복적이고 모델 중심적인 워크플로를 구동할 수 있는 훨씬 더 역동적이고 세분화된 실시간 데이터 파이프라인을 요구한다”라며 “이는 정적인 데이터 거버넌스에서 벗어나 지속적인 데이터 품질 모니터링, 강화된 메타데이터와 계보 추적, 그리고 일시적·캐시·저장 데이터가 혼재된 AI 특성을 반영한 보존 정책으로의 전환을 의미한다”라고 설명했다.

이어 그는 “AI 시대에는 모든 데이터를 수집하고 저장하려는 사고방식에서 벗어나, 비용과 위험, 그리고 달성하려는 구체적인 AI 성과를 균형 있게 고려하는 목적 지향적 데이터 전략으로 진화해야 한다”라고 덧붙였다.

성숙도가 높은 데이터 기반

대부분의 조직은 아직 이러한 목표와 거리가 멀다. IDC의 애덤 라이트는 “많은 조직이 AI 활용 사례를 지원하는 데 필요한 ‘적절한’ 데이터를 확보하는 데 여전히 어려움을 겪고 있다”라며 “이는 데이터의 충분한 양, 적절한 품질, 또는 필요한 맥락 메타데이터 중 어느 하나라도 부족한 경우를 포함한다”라고 설명했다.

그는 이어 “IDC 연구와 업계 논의를 보면 데이터 준비도는 AI 가치를 실현하는 데 가장 큰 장애 요인 중 하나로 꾸준히 지목되며, 종종 컴퓨팅 비용이나 모델 선택보다 더 큰 문제로 인식된다”라고 말했다. 또한 “대부분의 기업은 여전히 분절된 시스템과 일관성 없는 거버넌스, 그리고 실제로 어떤 데이터를 보유하고 있으며 그 데이터가 얼마나 신뢰할 수 있는지에 대한 제한적인 가시성 문제를 안고 있다”라고 분석했다.

러블리는 IBM 역시 과거에는 이러한 문제를 다수 겪었지만, 지난 3년간 데이터를 AI에 적합한 상태로 만들기 위해 이를 해결하는 데 집중해 왔다고 설명했다.

AI 시대를 겨냥한 IBM의 데이터 전략은 오랜 기간 유지해 온 기존 접근 방식에 대한 여러 변화를 포함하고 있으며, 이를 통해 러블리가 말하는 통합 전사 데이터 아키텍처를 구축할 수 있었다. 예를 들어 IBM은 데이터 오너라는 개념을 유지하면서도, 해당 데이터가 특정 조직이 아닌 IBM 전체의 자산이라는 점을 이해하도록 했다. 러블리는 “데이터를 통제되고 안전한 방식으로 민주화할 수 있다면, 비즈니스를 더 효율적이고 생산적으로 운영할 수 있다”라고 설명했다.

그 결과 IBM은 여러 팀이 사일로 형태로 데이터를 관리하던 구조에서 벗어나, 공통 표준과 공통 아키텍처를 사용하는 단일 조직 체계로 전환했다. 또한 전사 리더는 300테라바이트 규모의 데이터를 통합하고, 회사가 추구하는 성과와 이를 이끄는 워크플로를 기준으로 필요한 데이터를 선별했다.

러블리는 “의도적으로 접근했다”라고 설명하며, 현재 IBM의 데이터 플랫폼이 전체 워크플로의 약 80%를 포괄하고 있다고 밝혔다. 그는 이어 “오늘날 기업에서 가장 큰 생산성 향상 요인 가운데 하나는 통합 전사 데이터 아키텍처를 구축하는 것”이라며 “데이터에 대한 투자가 있었기에 IBM은 AI를 전사적으로 빠르게 도입할 수 있었다”라고 말했다.

더 나은 데이터 전략을 구축하기 위한 8가지 제언

데이터 기반과 데이터 활용 역량에서 높은 성숙도를 달성하려면, 조직은 AI 시대에 맞는 데이터 전략이 필요하다. 이는 데이터 품질을 강화하고 데이터 사일로를 해소하며, 비즈니스가 우선순위로 삼은 AI 활용 사례에 데이터 역량을 정렬하는 전략이다.

업계 전문가는 다음과 같은 실행 단계를 제시한다.

1. 데이터 소유 개념을 재정의하라

IDC의 라이트는 “데이터 소유를 순수한 IT 문제로만 다루는 전통적 모델은 더 이상 유효하지 않다”라며 “사업부, 제품 조직, AI 플랫폼이 지속적으로 데이터를 생성하고 변환하는 환경에서는 이러한 접근이 작동하지 않는다”라고 설명했다. 그는 “이상적으로는 CDO와 같은 고위 데이터 리더가 명확한 책임을 져야 하지만, CDO가 없는 조직이라면 IT, 보안, 사업 부문 전반에 걸쳐 데이터 거버넌스 책임을 명확하게 분산해야 한다”라고 말했다.

또한 그는 “정책을 정의하는 단일한 권한 창구와 실행을 담당하는 연합형 모델을 함께 갖추는 것이 중요하다”라며 “이를 통해 사업부의 자율성은 유지하되, 통제되지 않은 상태는 피할 수 있다”라고 덧붙였다.

세인트토머스대학교 소프트웨어공학·데이터사이언스학과 학과장이자 응용 인공지능 센터 소장인 만짓 레게는 데이터 오너의 역할을 데이터 관리자, 즉 데이터 스튜어드로 재정의할 것을 권고했다. 레게는 이들이 데이터를 소유하는 존재가 아니라, 중앙 데이터 조직이 정한 표준과 거버넌스, 보안, 상호운용성을 기반으로 데이터의 의미와 품질을 책임지는 역할을 맡아야 한다고 설명했다.

2. 데이터 사일로를 해소하라

이를 위해 라이트는 “생성형 AI는 워크플로와 프로세스, 데이터 소스가 전사적으로 연결될 때에만 가치를 창출하기 때문에, CIO는 공통의 AI 및 데이터 성과를 중심으로 사업 부문을 정렬해야 한다”라고 설명했다.

그는 이어 “이를 위해서는 크로스펑셔널 거버넌스를 구축하고, 분류 체계와 정책을 표준화하며, 데이터를 보호하기보다 공유하도록 유도하는 인센티브를 마련해야 한다”라고 말했다. 또한 “통합 플랫폼, 메타데이터 계층, 공통 보안 프레임워크 같은 기술도 도움이 되지만, 진정한 전환을 이끄는 요소는 C레벨과 주요 비즈니스 이해관계자 전반에 걸친 조율된 리더십”이라고 설명했다.

3. AI 시대를 위한 데이터 기술에 투자하라

라이트는 AI 시대에 필요한 데이터 기술로 현대적인 데이터 레이크와 데이터 레이크하우스, 벡터 데이터베이스, 확장형 오브젝트 스토리지를 꼽았다. 그는 이러한 기술이 “강력한 거버넌스를 유지하면서도 대용량의 멀티모달 데이터를 처리할 수 있다”라고 설명했다.

또한 조직은 AI 워크플로가 처음부터 끝까지 안정적으로 작동하도록 데이터 수집, 정제, 변환, 이동을 자동화하는 오케스트레이션 및 파이프라인 도구를 갖춰야 한다. 모델이 데이터의 맥락을 이해하고 계보를 추적하며 구조화 데이터와 비구조화 데이터를 안전하고 신뢰성 있게 활용하려면 메타데이터 엔진과 거버넌스 계층 역시 필수적이다.

만짓 레게는 “모듈형이며 거버넌스가 적용되고, 지속적으로 진화할 수 있는 데이터 플랫폼 계층을 구축해야 한다”라고 조언했다. 그는 “데이터를 단일 파이프라인을 위한 자원이 아니라 재사용 가능한 제품으로 다룰 수 있어야 하며, 배치 처리와 실시간 요구를 모두 지원할 수 있는 아키텍처가 필요하다”라고 설명했다.

레게는 데이터 레이크와 데이터 레이크하우스에 대해서도 긍정적인 평가를 내렸다. 그는 이들 기술이 구조화 데이터와 비구조화 데이터를 모두 처리할 수 있어 “AI의 핵심 기반으로 자리 잡고 있다”라고 말했다.

또한 쏘트웍스의 최고 AI·데이터 책임자인 샤얀 모한티는 CIO에게 모듈형 기술과 유연한 구조를 갖춘 컴포저블 엔터프라이즈를 구축할 것을 권고했다. 이를 통해 사람과 AI가 여러 계층에 걸쳐 데이터에 접근하고 협업할 수 있다는 설명이다.

전문가들은 데이터 라이프사이클의 변화에 대응하는 기술 투자도 중요하다고 조언한다.

라이트는 “생성형 AI는 데이터 라이프사이클을 근본적으로 재편하고 있으며, 일시적 데이터, 캐시 데이터, 영구 저장 데이터가 훨씬 더 역동적으로 혼재되는 환경을 만들고 있다”라고 설명했다. 그는 “대부분의 생성형 AI 결과물은 수 초에서 수 분, 길어야 수 시간만 사용되기 때문에, 빠른 반복과 캐싱, 변동성이 큰 워크플로를 처리할 수 있는 DRAM과 SSD 같은 고성능 인프라에 대한 수요가 커지고 있다”라고 말했다.

반면 그는 “최종 문서, 승인된 미디어 자산, 합성 학습 데이터, 규제 대응과 관련된 콘텐츠 등 일부 생성형 AI 결과물은 장기간 보존된다”라며 “이러한 데이터는 여전히 비용 효율적이면서 대용량을 제공하는 HDD 기반 스토리지에 크게 의존하고 있다”라고 설명했다. 이어 “생성형 AI 도입이 확대될수록, 초고속 메모리를 활용한 일시적 콘텐츠 처리부터 HDD 기반의 견고한 아카이브까지 전 주기를 포괄하는 데이터 전략이 필요해질 것”이라며 “스토리지 부담과 구조 자체가 변화하고 있기 때문”이라고 분석했다.

4. 데이터 아키텍처에 자동화와 지능 요소를 더하라

모한티는 기업 데이터 환경이 열악한 원인으로 데이터 생산자와 데이터 소비자 간의 단절을 지목했다. 그는 생성된 데이터가 이른바 데이터 웨어하우스라는 “어딘가의 거대한 더미”에 쌓인 뒤, 이를 활용하기 위해 별도의 분석 계층을 덧붙이는 방식이 일반적이라고 설명했다. 이러한 접근은 실제로 작동하게 만들기 위해 많은 인적 지식과 수작업을 필요로 한다는 지적이다.

이에 따라 모한티는 데이터 생산자와 데이터 소비자의 거리를 좁히기 위해 데이터 제품 관점을 도입하고, 필요할 때 AI가 적절한 데이터를 식별하고 접근할 수 있도록 전사 아키텍처에 자동화와 지능을 추가해야 한다고 조언했다.

그는 CIO가 MCP(Model Context Protocol)을 활용해 데이터를 감싸고, 프로토콜 수준의 접근 방식을 제공할 수 있다고 설명했다. 다만 이를 위해서는 데이터의 발견 가능성을 보장할 수 있도록, 조직이 데이터 카탈로그와 도구 전반에 걸쳐 관련 정보를 체계적으로 인코딩해야 한다고 덧붙였다.

5. 구조화·비구조화 데이터를 AI에 맞게 준비하라

라이트는 “구조화 데이터는 일관된 형식으로 정리되고, 적절한 거버넌스가 적용되며, 정확한 메타데이터로 보강될 때 AI에 적합한 상태가 된다”라며 “이 경우 모델이 데이터를 이해하고 활용하기가 훨씬 쉬워진다”라고 설명했다. 그는 “조직은 강력한 데이터 품질 관리와 마스터 데이터 관리, 명확한 책임 체계를 우선적으로 구축해 구조화 데이터셋이 신뢰성과 상호운용성을 유지하고, 특정 AI 활용 사례에 맞게 정렬되도록 해야 한다”라고 말했다.

전문가들은 이러한 규율을 비구조화 데이터에도 동일하게 적용해야 한다고 강조한다. 비구조화 데이터 역시 적절한 태깅과 분류, 메타데이터 보강을 통해 AI 시스템이 효과적으로 이해하고 검색할 수 있도록 준비돼야 한다는 설명이다.

만짓 레게는 “비구조화 데이터를 일급 데이터 자산으로 다뤄야 한다”라며 “고객 서비스 음성 통화, 메시지, 문서와 같은 비구조화 데이터에 가장 흥미로운 AI 활용 사례가 존재하지만, 많은 조직에서 여전히 비구조화 데이터는 사각지대로 남아 있다”라고 지적했다.

레게는 이러한 비구조화 데이터를 검색 가능한 형태로 활용하기 위해 벡터 데이터베이스에 저장할 것을 권고했다.

6. 외부 데이터 소스와 합성 데이터 활용을 검토하라

라이트는 “기존 데이터가 불완전하거나 편향돼 있거나, 규모가 부족하거나, 추진하려는 AI 활용 사례와 충분히 맞지 않는 경우에는 외부 데이터나 합성 데이터가 필요한지 반드시 검토해야 한다”라고 말했다. 그는 “합성 데이터는 실제 데이터가 민감하거나 수집 비용이 높고, 개인정보 보호나 규제, 운영상의 제약으로 활용이 제한될 때 특히 유용하다”라고 설명했다.

7. 고성숙도 데이터 기반을 단계적으로 구축하라

세일즈포스의 전사 IT 전략 담당 수석부사장인 시바니 아후자는 데이터가 완벽하게 정비될 때까지 기다리지 말라고 조언했다.

아후자는 “모든 데이터를 완벽하게 준비한 뒤에야 본격적으로 시작할 수 있다고 느끼는 조직이 있지만, 동시에 AI 여정을 시작하라는 압박도 받고 있다”라고 설명했다.

그는 대부분의 전사 프로그램이 성숙해 가는 과정과 마찬가지로, AI 시대를 위한 데이터 프로그램 역시 점진적인 접근이 필요하다고 강조했다. CIO와 경영진은 단계적으로 데이터 프로그램을 구축할 수 있고, 또 그렇게 해야 한다는 것이다.

아후자는 하나의 AI 기반 성과를 지원하는 데이터 전략과 아키텍처를 먼저 구축한 뒤, 이를 바탕으로 다음 성과로 확장해 나가는 방식으로 데이터 프로그램을 고도화할 것을 권고했다.

그는 “필요한 결과에서 거꾸로 설계하는 사고방식”이라며 “운영 환경에 배포하고, 적절한 가드레일을 갖췄는지 확인한 뒤 이를 관찰하고 조정해 확장성을 확보한 다음, 다음 단계를 진행하면 된다”라고 설명했다.

8. 데이터 조직을 전사 협업 구조로 구축하라

라이트는 “데이터는 IT, 데이터 거버넌스, 보안, 그리고 실제로 데이터를 활용해 의사결정을 내리는 사업 부문을 모두 아우르는 크로스펑셔널 생태계의 지원을 받아야 한다”라고 설명했다.

그는 “AI 시대의 데이터 전략은 이들 조직이 공동으로 책임을 나눌 때 가장 효과적으로 작동한다”라며 “IT 조직은 인프라를 뒷받침하고, 거버넌스 조직은 신뢰성과 품질을 보장하며, 사업 조직은 데이터의 맥락과 가치를 정의하는 역할을 맡아야 한다”라고 말했다.
dl-ciokorea@foundryco.com

Google’s AI research division, in collaboration with researchers from New York University and UC Santa Barbara, has launched a new tool and framework that they claim can rein in agent behavior by placing explicit limits on how much compute agents can consume and how freely they can invoke tools.

The tool, called Budget Tracker, is a plug-in module that injects continuous budget awareness into an agent’s reasoning loop, explicitly signaling how much token and tool-call budget remains so the agent can condition its actions on real-time resource availability, the researchers explained in a paper.

How autonomous agents choose to think, loop, and act when completing a task or user request is quietly inflating enterprise AI budgets, which is increasingly turning into a CIO nightmare.

A research report from IDC cited 92% of 318 decision makers surveyed in the US, UK, and Ireland saying that the cost of their deployed AI agents was higher than expected, with inference being the most common cause.

Another report — Greyhound CIO Pulse 2025 — found that 68% of digital leaders surveyed said that they hit major budget overruns during their first few deployments of agents, and nearly half of these leaders pointed to runaway tool loops and recursive logic being the driver behind the overruns.

That budget signal doesn’t stop at individual agents. Google researchers have also launched a framework, named Budget Aware Test-time Scaling (BATS), that builds on the tracker-driven awareness in an agent and tries to adapt the same to a larger multi-agent system.

This enables large, multi-agent systems to determine when it’s worth “digging deeper” into a promising line of reasoning versus when to pivot to alternative paths, thereby improving cost-performance trade-offs under tight budget constraints, the researchers wrote.

Practical path to TCO for agentic AI

Analysts say the tool and framework could offer CIOs a practical path to understand and control costs around agentic deployments.

“The tool and the framework address one of the most pressing questions facing CFOs and CIOs: the true total cost of ownership (TCO) for agentic AI operations. And for enterprise adoption of any technology, TCO is very important,” said Pareekh Jain, principal analyst at Pareekh Consulting.

“Most CIOs would rather accept a predictable agentic system that delivers 90% accuracy at a capped cost than a higher-accuracy system whose per-run cost can vary wildly from a few cents to several dollars,” Jain added.

Seconding Jain, IT management consulting firm Avasant’s research director, Gaurav Dewan, pointed out that many enterprises deploy agents under the assumption that inference is “cheap enough” at scale.

In practice, however, Dewan said, costs grow non-linearly as agents are often deployed without hard budget caps, execution limits, or reasoning constraints.

He further noted that spending is amplified in multi-agent architectures as agents delegate tasks to other agents.

The tool and the framework mark a “big shift” from approaches that similar tools take, according to Greyhound Research Chief Analyst Sanchit Vir Gogia.

“Right now, the tooling landscape is a mess. Plenty of platforms say they optimize agent efficiency, but few actually engage with the problem at runtime. Most solutions in the market operate on a delay; they aggregate usage data, send reports, or shut things down when it’s already too late. That’s not cost governance. That’s damage control,” Gogia said.

The analyst was referring to tools such as LangSmith (LangChain) & Helicone, which offer observability by logging how much an agent spent.

In contrast, Google’s Budget Tracker and BATS frameworks introduce budget awareness directly into the decision loop, giving agents real-time feedback about what they have spent, what’s left, and what’s worth doing next, that too without the need to babysit the agent, Gogia said.

In the absence of a framework like BATS, enterprises typically had to cobble together throttling rules, hard-coded prompt tweaks, and caching strategies to control costs around the agentic system, Gogia added.

Caveats to enterprise adoption

Despite the differentiated approach of the new tool and framework, analysts caution that they might not be a silver bullet in tackling cost overruns around agentic deployments on their own.

CIOs, according to Dewan, are likely to favor the tool or framework if Google integrates natively with existing agent frameworks and offers policy-driven controls spread granularly across all agents, workflows, and business units. “What CIOs need is enforcement, observability, and auditability in one place,” Gogia said. “They want to know what the agent spent, why it made that decision, what path it took, and whether it stayed within bounds. Especially in regulated sectors, where tool usage may touch PII or trigger downstream financial systems, audit trails are non-negotiable.”

11월 말 공개된 이번 조사에서는 에이전틱 AI에 대한 투자 확대도 확인됐다. 응답자들은 전체 AI 예산의 약 30%를 에이전틱 AI에 배정하고 있다고 답했으며, 96%는 이미 도입했거나 향후 2년 내 도입할 계획이라고 밝혔다. 특히 고객 서비스 등 고객 접점 영역에서 AI 에이전트 활용이 증가하고 있다는 응답이 많았다.

실제로 CIO의 65%는 에이전틱 AI 도입 이후 고객 서비스 부문과의 협업이 가장 많다고 답했으며, 해당 부문이 활용 사례와 도입 준비 수준 등 주요 지표에서 상대적으로 높은 평가를 받았다. 고객 서비스에 이어 마케팅, 영업, 금융, 인사 부문 순으로 에이전틱 AI의 활용도와 준비 수준이 높게 나타났다.

세일즈포스가 발표한 ‘에이전틱 엔터프라이즈 지수(Agentic Enterprise Index)’에서도 관련 경향이 제시됐다. 조사에 따르면 소비자의 94%는 상담원보다 AI 에이전트를 선호한다고 응답했으며, 2025년 상반기 AI 에이전트를 통한 고객 상담 건수는 평균적으로 증가한 것으로 나타났다.

에이전틱 AI 확산과 함께 CIO의 역할 변화도 관찰됐다. CIO가 가장 자주 협업하는 임원으로 CEO가 꼽혔으며, 경영 의사결정 과정에서 CIO의 참여 범위가 확대되고 있는 것으로 조사됐다. 이에 따라 CIO의 역할은 기술 운영 중심에서 비즈니스 전략과 연계된 방향으로 이동하는 양상을 보였다.

기술적 우선순위 역시 변화하고 있다. 데이터 정리, 거버넌스, 보안과 같은 기존 과제에 더해 AI 기반 워크플로 구축, 핵심 플랫폼 통합, 조직 차원의 AI 활용 확대가 주요 과제로 언급됐다. CIO의 93%는 AI 에이전트 도입 효과가 기존 업무 흐름과의 연계 수준에 달려 있다고 응답했다.

AI 활용 과정에서 가장 큰 과제로는 데이터 신뢰 문제가 지적됐다. 응답자들은 데이터 보안과 개인정보 보호를 주요 우려 요소로 꼽았으며, 신뢰할 수 있는 데이터 확보의 어려움도 함께 언급했다. 에이전틱 AI 도입을 위해 최고데이터책임자(CDO)와 긴밀히 협업하고 있다고 답한 비율은 35%였고, IT 예산 중 데이터 보안에 배정된 비중은 14%로 나타났다. 데이터 거버넌스가 충분히 구축돼 있다고 응답한 비율은 23%에 그쳤다.

한편 AI 활용이 늘어나면서 부서 간 협업 필요성도 커지고 있는 것으로 나타났다. 응답자의 81%는 AI 도입 이후 HR, 재무, 영업 등 타 부서와의 협업 중요성이 높아졌다고 답했으나, 실제 협업 수준이 충분하다고 평가한 비율은 절반에 못 미쳤다.

세일즈포스의 CIO 다니엘 슈미트는 “조직 내에서 에이전틱 AI가 단계적으로 적용되고 있다”라며 “업무 흐름과의 연계와 데이터 신뢰 확보가 핵심 과제로 인식되고 있다”라고 말했다.

한편 세일즈포스는 기업의 AI 활용과 데이터 통합을 지원하기 위해 에이전트포스 360(Agentforce 360)과 데이터 360 등을 제공하고 있다.
jihyun.lee@foundryco.com

AI 분야에서 잡음을 가려내기가 점점 더 어려워지고 있다. 매일 새로운 벤치마크가 등장하고, 새 ‘최첨단’ 모델이 발표되며, 어제의 아키텍처가 이미 구식이 됐다는 주장도 끊임없이 나온다. 특히 대기업에서 첫 AI 애플리케이션을 구축해야 하는 개발자라면, 쏟아지는 발표의 양 자체가 판단을 마비시킬 수 있다.

이때 순위는 큰 도움이 되지 않는다. 변화 속도가 너무 빠르기 때문이다. 불과 지난주만 해도 미스트랄(Mistral)의 새로운 모델이 공개됐고, 구글은 대규모 업데이트를 발표했으며, GPT-4o를 코딩 벤치마크에서 앞선다고 주장하는 오픈웨이트 모델도 등장했다. 이런 상황에서 무엇을 해야 할까? 오늘의 모델을 기준으로 개발을 시작했다가 배포하기도 전에 구식이 되는 것은 아닐까? 더 근본적으로는, 계획하고 추론하며 복잡한 워크플로우를 실행하는 완전 자율형 에이전트 시스템을 아직 만들고 있지 않다면 이미 크게 뒤처진 것은 아닐까 하는 걱정도 생길 수 있다.

그런 생각은 멈춰도 된다. 실제로 뒤처진 것이 아니다.

엔터프라이즈 AI의 현실은 매주 발표되는 챗봇 성능 경쟁의 결과와는 큰 관련이 없다. 핵심은 화려하지도 않고 주목받지도 않는 데이터 엔지니어링, 거버넌스, 통합 작업에 있다. 이제 AI를 만능 해결책처럼 바라보던 시기를 지나 산업화 단계로 들어서고 있다. 과제는 가장 똑똑한 모델을 고르는 것이 아니라, 실제 세계의 온갖 비합리성과 복잡성을 견뎌낼 수 있는 시스템을 구축하는 것이다.

개발자가 첫 번째 AI 애플리케이션을 만들 때 참고할 만한 몇 가지 접근법을 소개한다.

빠지기 쉬운 함정

AI 개발과 관련해서는 이른바 ‘순위표의 환상’에 휘말리기 쉽다. 수학 벤치마크에서 1% 더 높은 점수를 받은 모델을 보고, 그것이 유일한 선택지라고 단정하는 식이다. 프로그래머이자 작가인 사이먼 윌리슨은 이를 ‘느낌 기반 평가(vibes-based evaluation)’라고 표현했다. 가벼운 대화에서 어떤 챗봇이 더 ‘똑똑해 보이는지’를 판단하는 데는 어느 정도 참고가 될 수 있지만, 실제 운영 환경의 워크로드를 평가하는 기준으로는 적절하지 않다. 이제는 1990년대 소프트웨어 경쟁처럼 하나의 플랫폼이 모든 것을 차지한다는 관점에서 AI를 바라보는 태도에서 벗어날 필요가 있다.

모델 가중치는 점점 차별성이 사라지는 방향으로 가고 있다. 모두에게 필요하지만 누구도 직접 관리하고 싶어 하지 않는, 일종의 기반 인프라에 가까워지고 있다는 의미다. 앤트로픽이나 오픈AI를 사용하든, 라마(Llama)와 같은 오픈소스 모델을 선택하든, 기업 업무의 약 90%를 처리하기에 충분한 수준의 지능을 확보할 수 있다. 첫 번째 AI를 개발하는 데 체감되는 차이는 크지 않다. 결국 ‘가장 좋은’ 모델이란 성능 순위표에서 앞선 모델이 아니라, 보안과 안정성을 갖추고 실제로 사용할 수 있는 모델인 경우가 많다.

AI 분야의 여러 사이클을 누구보다 많이 경험한 스탠퍼드대 교수 앤드루 응은 최근 비교적 단순하지만 핵심을 찌르는 조언을 내놓았다. 그는 “가치 있는 무언가를 만드는 데 훨씬 더 집중해야 한다”라고 말했다. 당연하게 들리지만, 실제 현장에서는 자주 간과되는 조언이다. 응은 진정한 가치가 모델 계층이 아니라 애플리케이션 계층에 있다고 설명했다. 송장을 자동으로 대조하거나 법률 문서를 요약하는 등 실제 비즈니스 문제를 해결하는 도구를 만든다면, 그 파운데이션 모델이 순위표에서 1위인지 3위인지는 결국 큰 의미를 갖지 않는다.

AI의 작동 원리는 전통적인 소프트웨어와 근본적으로 다르다. 오픈소스 세계에서는 코드 자체가 핵심 자산일 수 있지만, AI 환경에서 모델은 일시적인 상품에 가깝다. 진정한 자산은 데이터이며, 그 데이터를 어떻게 모델에 공급하고 활용하느냐에 있다.

데이터베이스처럼 사고하라

모델을 선택한 후에는 곧바로 ‘에이전트’를 만들어야 한다는 유혹에 빠지기 쉽다. 웹을 탐색하고, 데이터베이스를 조회하며, 스스로 판단까지 내리는 AI 에이전트를 설계했다는 공로를 인정받고 싶기 때문이다. 하지만 신중할 필요가 있다. 아직 에이전트를 만들 준비가 되지 않았을 가능성이 크다. 이는 AI가 충분히 똑똑하지 않아서도 아니고, AI 경험이 부족해서도 아니다.

문제의 핵심은 데이터가 충분히 정리돼 있지 않다는 데 있다.

최근 기사에서 언급했듯, AI의 메모리는 본질적으로 데이터베이스 문제다. 에이전트에서 메모리를 제거하면 비용이 매우 높은 난수 생성기에 불과해진다. 에이전트는 사람의 데이터를 기계의 속도로 처리한다. 이 데이터가 구조화돼 있지 않고, 거버넌스가 적용돼 있지 않다면 에이전트는 대규모 환경에서 확신에 찬 오답을 만들어내게 된다.

대부분의 기업은 여전히 데이터가 어디에 존재하는지 파악하는 단계에 머물러 있다. 대규모 언어 모델에 데이터를 어떻게 노출할지까지 고민하는 경우는 더 드물다. AI의 메모리는 흔히 컨텍스트 윈도우라는 개념으로 단순화해 설명되지만, 실제로는 구조화된 저장과 관리가 필요한 데이터베이스에 더 가깝다. 여기에는 스키마 설계, 접근 제어, AI가 허위 사실을 지어내거나 민감한 정보를 잘못된 사용자에게 노출하지 않도록 막는 방화벽 등 트랜잭션 로그에 적용하는 것과 동일한 수준의 엄격함이 필요하다.

첫 번째 AI 시스템을 설계하고 있다면, 출발점은 메모리 계층이어야 한다. AI가 무엇을 알고 있어도 되는지, 그 지식은 어디에 저장되며, 어떤 방식으로 업데이트되는지를 먼저 결정해야 한다. 그 다음에야 프롬프트를 고민할 차례가 뒤따른다. 이때 가장 먼저 고려해야 할 요소는 따로 있다. 바로 추론이다.

추론부터 시작하라

과거에는 모델 학습에 들어가는 막대한 비용에 관심이 쏠렸다. 그러나 엔터프라이즈 환경에서는 이 부분이 크게 중요하지 않다. 현재 AI의 핵심은 추론, 즉 이미 학습된 지식을 실제 애플리케이션에 적용하는 단계에 있다. 다시 말해, 거버넌스가 적용된 기업 데이터를 모델과 결합할 때 AI는 비로소 실질적인 가치를 만들어낸다. 기업에서 AI 활용 역량을 키우는 가장 좋은 출발점은 거창한 에이전트 시스템이 아니라 간단한 검색 증강 생성(RAG) 파이프라인이다.

실무에서 이는 무엇을 의미할까? 인사 정책, 기술 문서, 고객 지원 로그처럼 지루하고 정리가 덜 된 문서 묶음을 하나 정한 뒤, 그 데이터만을 기반으로 사용자가 질문하면 답을 얻을 수 있는 시스템을 만들어보는 것이다. 이 과정은 기업 경쟁력을 높이는 중요한 문제들을 해결하는 데 유용하다. 예를 들면 다음과 같다.

• 데이터 수집 및 정리: PDF 문서를 어떤 기준으로 나누고 정리해야 모델이 내용을 제대로 이해할 수 있을지 고민한다.
• 거버넌스: 사용자가 권한이 없는 질문을 했을 때, 모델이 답변하지 않도록 어떻게 통제할 것인지 설계한다.
• 지연 시간: 응답이 느리다면 아무리 정확해도 실제 현장에서 활용되기 어렵다.

이런 작업은 지루하게 느껴질 수 있다. 하지만 AI 연구자 안드레 카파시는 대규모 언어 모델을 새로운 운영체제의 커널에 비유한 바 있다. 사용자는 커널과 직접 상호작용하지 않으며, 그 위에서 동작하는 애플리케이션을 사용한다. 결국 개발자의 역할은 사용자 인터페이스, 업무 로직, 데이터 연결 구조를 포함한 ‘사용자 영역’을 구축하는 데 있다.

표준화된 개발 경로를 구축하라

플랫폼 엔지니어링 역할을 맡고 있다면, 모든 것을 통제하고 싶다는 생각이 먼저 들 수 있다. 하나의 모델과 하나의 API를 정해두고, 모든 개발자가 이를 따르도록 강제하고 싶어지는 것이다. 그러나 이런 접근은 바람직하지 않다. 플랫폼팀이 이른바 ‘안 된다고만 말하는 조직’이 되어서는 안 된다. 통제 장치를 지나치게 강화하면, 개발자들은 개인 신용카드를 쓰거나 관리되지 않는 외부 API를 활용하는 방식으로 우회하게 된다.

대신 ‘표준화된 경로’를 구축해야 한다. AI 애플리케이션을 올바르게 구축하는 방식이 곧 가장 쉬운 선택이 되도록, 조합 가능한 서비스와 가드레일을 제공하는 전략이다. 예를 들어 vLLM 등 여러 제공자가 지원하는 ‘오픈AI 호환 API’와 같은 인터페이스를 표준으로 삼으면, 이후 성능 순위가 바뀌더라도 백엔드 모델을 유연하게 교체할 수 있다. 당장은 빠르고, 규정을 준수하며, 안정적으로 사용할 수 있는 모델 하나를 선택한 뒤 다음 단계로 나아가면 된다.

목표는 개발자의 속도를 억누르는 것이 아니라 올바른 방향으로 이끄는 것이다. 데이터 거버넌스가 기본적으로 적용된 안전한 실험 환경을 제공해, 큰 위험 없이 다양한 시도를 할 수 있도록 해야 한다.

또한 첫 애플리케이션을 만들 때는 반드시 사람이 개입하는 구조를 염두에 둬야 한다. 전체 과정을 한 번에 자동화하려고 하기보다는, 보고서 초안이나 SQL 쿼리의 1차 결과를 AI가 생성하고, 이를 사람이 검토한 뒤 실행하도록 설계해야 한다. 이는 잘못된 답변이 그대로 사용될 위험을 줄이고, 사람의 판단을 보조하는 도구로 AI를 활용하도록 만든다.

그렇다면 성능 순위를 참조하지 않고도 어떻게 모델이 충분히 괜찮은지 판단할 수 있을까? 추측할 필요는 없다. 직접 테스트하면 된다.

오픈AI와 앤트로픽은 모두 ‘평가 기반 개발’을 강조하지만, 처음부터 복잡한 체계를 도입할 필요는 없다. 모델이 수행하길 원하는 실제 사례 50~100개, 즉 정답이 명확한 질문과 답변 세트만 준비하면 된다. 새로운 모델이 등장해 성능 향상을 내세울 때마다, 이 사례들을 실행해 보면 된다. 현재 사용 중인 모델보다 더 빠르거나 더 저렴하게 문제를 해결한다면 교체하면 되고, 그렇지 않다면 굳이 신경 쓸 필요 없다. 결국 중요한 기준은 외부 리더보드가 아니라, 각 조직이 직접 만든 자체 기준이다.

지루함을 선택하라

요약하자면, 데이터에 집중해야 한다. 거버넌스에 집중해야 한다. 수많은 문서나 반복적인 업무에 파묻혀 있는 회사 내 특정 사용자를 위해, 지루해 보이지만 실제로 필요한 문제 하나를 해결하는 데 집중해야 한다. 성능 순위표는 굳이 신경 쓰지 않아도 된다. 이는 연구자에게 의미가 있는 지표일 뿐이다.

AI 시대의 승자는 거버넌스가 적용된 데이터 위에서 지능을 저렴하고, 쉽게, 안전하게 활용할 수 있도록 만드는 곳이 될 것이다. SNS에서 화제가 되는 결과를 만들지는 못할지 모르지만, 엔터프라이즈 환경에서 실제로 살아남는 애플리케이션을 만드는 데는 분명 도움이 된다.
dl-ciokorea@foundryco.com

時系列データのクセを見抜く――トレンド、季節性、構造変化

時系列予測の出発点は、「データは独立ではない」という事実です。今日の売上は昨日の売上と無関係ではなく、今週の利用数は先週の利用数とつながっています。これを無視して、ランダムにデータをシャッフルして学習・評価してしまうと、未来の情報が混ざり込み、見かけの精度が過剰に良くなることがあります。時系列で最初に守るべきルールは、過去で学んで未来で評価する、という当たり前を絶対に崩さないことです。

次に重要なのが、時系列には「形」があるということです。よく知られているのはトレンドと季節性です。トレンドは長期的な増減で、製品の成長や市場拡大のような要因が反映されます。季節性は周期的な揺れで、曜日、月、四半期、年次、さらには時間帯の周期が関わります。たとえばB2Bのアクティブユーザーは平日に偏り、週末に落ちることが多いです。ECはセールや給料日、年末年始の影響を強く受けます。アプリの利用は通勤時間帯にピークが来たりします。こうした周期は、モデルが勝手に学んでくれると思いがちですが、周期の長さや形は指標によって違うので、最初に可視化して“どう揺れているか”を掴むことが精度より先に重要です。

時系列で厄介なのは、トレンドや季節性だけで説明できない“構造変化”です。たとえば料金改定、UI刷新、大型キャンペーン、アルゴリズム変更、競合の参入、法規制、災害や社会的イベントなどがあると、指標の水準が段差のように変わることがあります。構造変化があると、過去の関係性がそのまま未来に続くという前提が崩れ、どんなモデルでも外しやすくなります。現場で「急に当たらなくなった」というとき、モデルのせいにする前に、指標定義の変更、計測の欠損、データの遅延、運用ルールの変更など、構造変化の候補を洗い出すのが近道です。

さらに、欠損や外れ値の扱いも時系列では重要です。欠損は「データが存在しない」のではなく「取れていない」ことが多く、計測障害を含んでいる場合があります。外れ値も、単なるノイズではなく、キャンペーンや障害など原因のあるイベントかもしれません。ここで安易に平均で埋めたり、機械的に除外したりすると、予測の目的とズレることがあります。たとえば障害検知やキャパシティ計画が目的なら、外れ値は学ぶべき重要な情報です。一方で通常時の需要予測が目的なら、異常値は別扱いして通常パターンを学ばせた方が安定します。つまり前処理は技術というより、目的と切り離せない設計です。

時系列予測で最初にやるべきことは、モデルを回すことではなく、データの形を理解して「何を当てたいのか」「どんな揺れを当てたいのか」「当たらないとき何が起きたら困るのか」を言葉にすることです。ここが曖昧だと、精度が良いのに役に立たない予測が生まれます。

手法の地図を作る――ベースラインから機械学習、深層学習まで

時系列予測の手法は多岐にわたりますが、実務での選び方は「複雑さの競争」にしない方がうまくいきます。まずは必ずベースラインを作ります。たとえば「直近値をそのまま未来に置く」「先週の同じ曜日の値を使う」「移動平均で滑らかにする」といった単純な予測です。驚くほど多くの指標で、これらは“そこそこ当たる”うえに、原因が説明しやすいです。ベースラインに勝てない高度なモデルは、運用コストをかける価値が薄いと判断できます。

次に、時系列専用の統計モデルがあります。代表例としてARIMA系や指数平滑があります。これらは過去の値の自己相関を捉えたり、トレンドや季節性を比較的素直に組み込めたりします。特徴は、短い系列でも動きやすく、パラメータが比較的解釈しやすいことです。ただし、多変量の外部要因を入れるのが難しい場合があり、外部要因が支配的な領域では限界があります。

トレンドと季節性を足し算で表現する加法モデルの考え方も有用です。曜日効果、年次効果、祝日などを成分として扱うことで、説明可能性を保ったまま予測できます。現場で「なぜその予測になったのか」を説明する必要が強いとき、こうした構造化されたモデルは強い味方になります。一方で、構造変化や突発イベントには弱いことが多く、イベント情報を別途入れる工夫が必要になります。

外部要因を積極的に使いたいときは、時系列を特徴量化して機械学習で回帰問題として解くアプローチが現実的です。たとえばラグ特徴量として「1日前、7日前、28日前の値」を入れたり、移動平均との差分、累積、休日フラグ、広告費、気温、価格、在庫などを特徴量にします。勾配ブースティングなどは非線形な関係を捉えやすく、外部要因が効く領域では強いことが多いです。ただし、特徴量設計を誤ると未来情報が漏れます。例えば「当日の売上」から作った特徴量を予測に使ってしまうなど、時間の矢印を逆流させるミスが起きやすいです。実務では、特徴量ごとに「いつ確定する情報か」を棚卸しし、予測時点で利用可能なものだけを使うルールが必要です。

深層学習の系列モデルは、長い依存や複雑なパターンを捉えられる可能性がありますが、データ量、安定性、説明可能性、運用コストの面でハードルが上がります。大量の系列があり、同じ構造が多くの対象に共有されるような問題では有効なことがあります。一方、単一指標を少量データで当てるだけなら、深層学習が必ずしも最適とは限りません。実務で大切なのは、最先端に飛びつくことではなく、目的・データ量・説明要件・運用体制の制約の中で、最も堅牢な選択をすることです。

評価指標も選び方が重要です。RMSEは大きな誤差を強く罰し、MAEは外れ値の影響を受けにくいです。売上のように大きなブレがあり、外れ値が重要な意味を持つ場合はRMSEが合うこともありますし、日次アクティブのように一定の誤差を継続的に減らしたいならMAEが扱いやすいこともあります。さらに、意思決定に直結するなら、誤差を金銭的損失に換算する指標に寄せるのも有効です。過剰在庫の損失と欠品の損失が非対称なら、左右対称な誤差指標だけでは不十分になります。

運用で勝つ――バックテスト、ドリフト検知、説明可能性

時系列予測を使える形にするためには、学習と評価のやり方を“時間に忠実”にする必要があります。具体的には、ローリング検証やウォークフォワード検証と呼ばれる方法で、学習期間を少しずつ進めながら未来を複数回予測し、実運用に近い形で性能を見ます。これにより「特定期間だけ当たっていただけ」という偶然を減らせます。さらに、予測の地平（1日先、7日先、28日先など）ごとに精度が大きく変わるので、どの地平が意思決定に重要かを先に決めて評価します。

次に、運用で必ず起きるのが“当たらなくなる”問題です。データの分布が変わるドリフトは、プロダクトの成長や市場変化で自然に起きます。ここで重要なのは、当たらなくなったときに原因を切り分けられる設計です。予測が外れたという事実だけでは、モデルが悪いのか、データが壊れたのか、外部ショックがあったのかがわかりません。実務では、データの到着遅延や欠損を検知するモニタリング、主要特徴量の分布変化を追うモニタリング、予測誤差の急増を追うモニタリングを分けて持つと、復旧が速くなります。

説明可能性も、使われる予測には欠かせません。現場が知りたいのは「明日売上がいくらか」だけではなく、「なぜそう見積もっているのか」「どの要因が効いているのか」「どれくらいブレるのか」です。そこで予測値とセットで、予測区間（不確実性の範囲）を出す価値があります。さらに、外部要因を使うモデルなら、寄与の方向性を示すことで、意思決定に使いやすくなります。例えば広告費を増やした場合のシナリオ、価格を変えた場合のシナリオなど、予測を“もしも”の計画に変換できると、単なる数当てから一段上がります。

運用を成立させる最後のコツは、予測の更新頻度と責任範囲を明確にすることです。毎日更新すべきなのか、週次で十分なのか。更新のたびにモデルを再学習するのか、一定期間固定するのか。予測が外れたときに誰が原因を見に行くのか。これらが曖昧だと、予測は置物になります。時系列予測は、モデルそのものより、運用設計が価値を決める領域です。堅牢なベースライン、時間に忠実な検証、ドリフトを前提にした監視、説明可能性、更新ルール。この五つが揃うと、予測は現場の意思決定に自然に組み込まれていきます。

A/Bテストの目的は「差を測る」ではなく「意思決定する」

A/Bテストは「AとBのどちらが良いか」を決めるための枠組みです。しかし、現場でありがちな失敗は、テストの目的が「差が出るかどうか」にすり替わることです。差が出たかではなく、差が出たときにどう動くのか、差が出なかったときにどう扱うのかまで含めて、意思決定として設計する必要があります。

最初に決めるべきなのは、仮説と主要指標です。たとえば「新しいオンボーディングで初回アクションが増える」という仮説なら、主要指標は初回アクション率かもしれません。一方で、初回アクションが増えても解約が増えるなら意味がありません。そこでガードレール指標として、翌週の継続率や問い合わせ率を置きます。主要指標だけを見て勝ちにすると、プロダクト全体としては悪化する、という事故を防げます。

次に重要なのが、どれくらいの差なら勝ちとするかです。ここで登場するのが最小検出効果という考え方です。実務では「統計的に有意か」より「ビジネスとして意味があるか」の方が重要なので、たとえばCVRが0.1%上がっても売上インパクトが小さいなら、開発コストに見合わないかもしれません。逆に、わずかな改善でも対象が巨大であれば十分に価値があります。最小検出効果は、必要サンプル数や期間の見積もりにも直結するため、実験を始める前に決めておく価値があります。

ここで気を付けたいのは、指標がひとつで済むとは限らない点です。平均だけ見ていると、特定の層だけが大きく反応して全体平均を押し上げているケースを見逃します。たとえば高額課金者には悪影響だが無課金ユーザーに良い影響があると、平均ではプラスに見えることがあります。だからといって最初から大量のセグメントを見ると、多重比較の問題で偶然の当たりが増えます。現実的には、事前に重要セグメントを少数に絞り、探索と確認を分けるのが安全です。

サンプルサイズ、ランダム化、汚染をどう扱うか

A/Bテストの品質を決める大きな要素は、サンプルサイズとランダム化の運用です。サンプルが少ないと、効果があっても検出できませんし、偶然の揺れで勝敗がひっくり返ります。ここで必要サンプル数を決める際に、ベースライン（現状の指標水準）、最小検出効果、許容する誤判定の確率を使います。細かい式を覚えなくても、「改善幅を小さく見積もるほど必要サンプルが増える」「ばらつきが大きい指標ほどサンプルが増える」という直感が重要です。

次に期間の決め方です。曜日効果や月初月末の偏りがある指標では、短期間で切ると偏って判断してしまいます。例えばB2Bのリード獲得は平日に偏りやすいですし、ECでは給料日やセール周期が効きます。理想は、少なくとも一つの周期をまたぐように期間を設計し、季節性が強いならホールドアウトを使った長期検証も視野に入れます。

そして、ランダム化が実務で最も壊れやすいポイントが汚染です。汚染とは、対照群と施策群がきれいに分かれず、互いの影響が混ざることです。典型例は、同じユーザーがスマホとPCでアクセスし、片方ではA、もう片方ではBを見てしまうケースです。あるいはSNSで新機能が話題になり、対照群も行動が変わってしまうケースもあります。さらにB2B領域では、同じ企業内の複数ユーザーが互いに影響し合うことが多く、ユーザー単位の割付では不十分になることがあります。

汚染への対策は、割付単位を適切に選ぶことに尽きます。個人を独立に扱えるならユーザー単位で良いですが、企業やチームなどのまとまりで影響が伝播するなら、クラスター単位で割り付ける発想が必要です。ただしクラスター化するとサンプル数の実効が減り、必要期間が伸びることがあります。だからこそ、実験を始める前に「どこで干渉が起きるか」を業務理解として洗い出しておくことが重要です。

もう一つの落とし穴は途中覗き見です。毎日結果を見て「今日はBが勝ってるから終わろう」とやると、偶然の揺れで勝っている瞬間を拾ってしまい、誤判定が増えます。覗き見自体が悪いのではなく、覗くなら覗くためのルールが必要です。例えば、決めた期間が終わるまでは判定しない、あるいは逐次検定の枠組みを採用して“覗く回数”を統計的に織り込む、といった運用です。現場では、まず「終了条件を事前に決める」だけでも事故が大きく減ります。

結果の読み方と、実装後に後悔しない判断基準

テストの結果を受け取ったとき、多くの人が最初に見るのはp値かもしれません。しかしp値は「差がないと仮定したときに、今の差以上が偶然で出る確率」を表す指標であって、「Bが良い確率」ではありません。しかも、サンプルが巨大なら小さな差でも有意になりますし、サンプルが小さければ大きな差でも有意にならないことがあります。つまりp値だけで判断すると、「意味のない差を採用する」か「有望な改善を捨てる」のどちらかに寄りがちです。

そこで、実務では効果量と不確実性をセットで見るのが有効です。効果量は、例えばCVRが何ポイント上がったか、売上が何%増えたかといった差の大きさです。不確実性は、その差がどれくらいブレる可能性があるかで、信頼区間として表現されることが多いです。信頼区間が「ビジネス上意味がある差」をまたいでいるなら、まだ判断が早いかもしれませんし、逆に区間ごと意味のある領域に入っているなら、p値に過剰にこだわらず意思決定できます。

また、よくある誤読は「有意でなかった＝効果がない」と結論づけることです。有意でないのは、単に情報が足りない可能性があります。効果量がプラスで、区間が広いなら、サンプル不足の疑いが強いです。ここで大切なのは、最初に決めた最小検出効果と照らし合わせて、「このテストはその差を検出できる設計だったのか」を振り返ることです。

さらに、セグメント別の結果を見るときは慎重さが必要です。テスト後に思いつくままに属性で切っていくと、どこかで偶然“勝ったセグメント”が必ず出てきます。これを本物と誤認すると、次の施策が迷走します。安全なやり方は、事前に重要セグメントを限定して仮説として持つか、テスト後の発見は探索結果として扱って次のテストで確認する、という二段構えです。

最後に、A/Bテストは勝って終わりではありません。リリース後に効果が薄れることもあります。新規性で一時的に行動が変わる、運用が変わる、ユーザー層が変わる、競合や市場が動くなど、理由はいくらでもあります。だからこそ、重要な変更ではホールドアウトを残して長期の差を監視したり、主要指標とガードレール指標を継続して追い、リグレッションを早期に検知できる状態を作ることが実務的には強いです。

A/Bテストは統計の問題に見えて、実はプロダクトの設計・運用・意思決定の総合格闘技です。仮説を明確にし、指標を選び、割付と期間を設計し、結果を不確実性込みで読む。この一連を丁寧に回すほど、テストは“勝敗を決める儀式”ではなく、学習を積み重ねる強力な仕組みになります。

相関と因果の違いを「反実仮想」で腹落ちさせる

まず、因果推論が扱うのは「AをやったからBが起きたのか」という問いです。ここで重要なのは、“同じ人（同じ対象）”に対して「Aをやった世界」と「Aをやらなかった世界」を比べたい、という発想になります。たとえば、クーポンを配ったユーザーの購入額が増えたとしても、それだけでは因果とは言えません。なぜなら、そもそも購買意欲が高いユーザーを優先して配っていたら、「意欲が高いから買った」だけかもしれないからです。

この「同じ人に二つの世界を用意したい」という考え方を、因果推論では反実仮想と呼びます。反実仮想とは、「もしクーポンを配っていなかったら、その人はどうなっていたか」という仮の世界です。現実には一人のユーザーを同時に二つの世界に置けないので、反実仮想は観測できません。観測できないものを推定したい、というのが因果推論の難しさであり、面白さでもあります。

ここで押さえるべきポイントは二つあります。ひとつは、因果効果は“比較”で定義されるということです。施策を実施した群の平均値だけ見ても、施策が効いたのかはわかりません。もうひとつは、比較相手が正しくないと、結果が簡単にねじれるということです。購買意欲、既存の利用頻度、地域、デバイス、広告接触状況など、施策にも結果にも影響する要因があると、群間の差は「施策の効果」と「元々の違い」が混ざってしまいます。この混ざりものが交絡で、因果推論は交絡をどう扱うかの体系でもあります。

現場でよく起きる「相関の罠」をもう少し具体的に考えます。たとえば新しいUIを導入したあとで離脱率が下がったとします。しかし、そのタイミングで広告流入が減り、既存ユーザー比率が増えていたらどうでしょう。離脱率の低下はUIの改善ではなく、流入の質が変わっただけかもしれません。あるいはキャンペーン開始と同時に季節要因で需要が伸びる時期に入っていたら、自然増を施策効果と取り違えるかもしれません。これらは「施策の前後で比べる」という素朴な比較が、反実仮想をうまく代替していない例です。

因果推論で最終的に推定したい量は、平均的にどれだけ効いたかという平均処置効果に限りません。実務では「誰に効いたか」が重要になります。新規ユーザーには効くが既存には効かない、低頻度層には効くが高頻度層には効かない、という形で効果が異なることは珍しくありません。個別の効果を直接当てにいくのは難しいとしても、少なくともセグメント別に効果が違う可能性を視野に入れて設計するだけで、因果推論は意思決定の精度を上げてくれます。

観察データで因果を推定する代表的アプローチ

理想はランダム化比較実験、つまりA/Bテストです。ランダムに割り付けることで、交絡が平均的に打ち消され、「施策をやった群」と「やらなかった群」が反実仮想の代理として成立しやすくなります。ただし現実には、倫理的・運用的・コスト的な理由でランダム化できないことが多いです。そこで観察データから因果を推定するアプローチが登場します。大事なのは、どの手法も「こういう前提が成り立つなら、反実仮想をそれなりに作れる」という条件付きの道具だという点です。前提が崩れたら、推定結果も崩れます。

最も基本的なのは共変量調整です。施策群と対照群で違いそうな特徴量を集め、回帰などで調整して差を推定します。直感的ですが、調整に入っていない未観測の要因が交絡として残ると、結論が簡単に歪みます。さらに、調整すべき変数と、調整してはいけない変数がある点にも注意が必要です。施策によって変化する中間変数を調整してしまうと、施策効果の一部を消してしまう可能性があるからです。ここは因果グラフの発想が役に立ちます。施策→（中間）→結果の矢印の途中を消すような調整は危ない、という直感を持っておくと事故が減ります。

次によく使われるのが傾向スコアです。これは「その人が施策を受ける確率」を特徴量から推定し、施策群と対照群が似た確率分布になるようにマッチングしたり重み付けしたりして比較可能性を上げます。傾向スコアの魅力は、特徴量が多くても「一つのスコア」に要約してバランスを取りにいけることです。ただし、結局は観測された特徴量でしかバランスを取れないので、未観測交絡には弱いです。また、極端に施策を受けやすい人と受けにくい人が混ざると、重みが暴れて推定が不安定になることがあり、実務ではスコア分布の重なり（オーバーラップ）を必ず確認し、無理な一般化を避ける必要があります。

時間の前後を使って推定する代表が差の差分です。介入前後で施策群と対照群の変化量を比べることで、時間に依存する共通の要因を相殺しようとします。たとえば一部地域だけで新機能を先行導入し、他地域は据え置きにしたとき、導入前後の変化を比較することで、季節性や市場全体の変動をある程度取り除けます。ただし差の差分には、「もし施策がなかったら両群は同じトレンドで動いていたはず」という平行トレンドの前提が要になります。導入前のデータでトレンドが近いかを確認したり、導入前の時点を仮の介入としてテストするなど、前提の妥当性チェックが重要です。

閾値で決まる施策に向くのが回帰不連続です。たとえばスコアが一定以上のユーザーだけに特典を付ける場合、閾値のすぐ上とすぐ下のユーザーは性質が似ていると期待できます。そこで閾値近傍だけを見て差を推定し、局所的な因果効果を得ます。強力ですが、結論は閾値近傍に限定されることが多く、全体への一般化には注意が必要です。また、スコアが人為的に操作されていないか、閾値の手前で不自然な分布になっていないかなど、健全性チェックが欠かせません。

最後に操作変数という考え方もあります。これは「施策を受けるかどうかに影響するが、結果に直接影響しない変数」を利用して因果を切り分けるアプローチです。たとえば担当者の割り当て、ルールの境界、配送距離などが“施策実施の揺らぎ”として使える場合があります。ただし、条件を満たす変数を見つけるのが難しく、満たしているかを完全に証明するのも容易ではありません。だからこそ、操作変数を使うときは、なぜそれが結果に直接影響しないと言えるのかを、データと業務知識の両方で説明することが求められます。

このように観察データの因果推論は、魔法のボタンではありません。どの手法も「反実仮想の代理を作るための工夫」であり、成立条件と限界がセットです。だからこそ、手法名を覚えるより先に、「自分はどの反実仮想を代替しようとしているのか」を言語化することが大切です。

実務で失敗しないための設計と検証の手順

因果推論で最も差がつくのは、モデル選びではなく、問いの切り方と設計です。最初にやるべきは、目的を具体化することです。「キャンペーンは効いたか」ではなく、「キャンペーンは新規の初回購入をどれだけ押し上げたか」「既存のリピート間隔をどれだけ短くしたか」「効果は配布後何日まで続くか」という形に落とします。アウトカムが変われば、必要な観測期間も、交絡の候補も変わるからです。

次に、処置の定義を曖昧にしないことが重要です。クーポン配布を処置とするのか、クーポンの閲覧を処置とするのか、利用を処置とするのかで、解釈が全く変わります。配布は運用上コントロールしやすいですが、効果が薄く見えることがあり、利用は効果が大きく見えますが自己選択が強く交絡が増えます。ここでの決定は、分析の都合ではなく「意思決定で変えられるレバーは何か」に合わせるのが筋です。

そのうえで、比較相手をどう作るかを選びます。ランダム化できるならA/Bテストが第一候補です。できない場合は、上で述べた観察データ手法の中から、業務の仕組みに合うものを選びます。たとえば地域ごとに導入タイミングが違うなら差の差分が自然ですし、スコア閾値で決めているなら回帰不連続が検討できます。ここで大事なのは、データだけ見て決めないことです。施策がどう運用されているか、どこで例外が起きるか、どのような判断で配られているかといった運用の理解が、因果推論の精度を左右します。

検証では、推定値だけでなく前提のチェックを必ず組み込みます。傾向スコアなら群間のバランスが整ったか、差の差分なら導入前のトレンドが似ていたか、回帰不連続なら閾値付近で不自然な操作がないか、といった確認が必要です。さらに、感度分析として「もし未観測交絡がこれくらいあったら結論が覆るか」を検討する姿勢も重要です。因果推論は“正解”を約束するものではなく、“正しさの根拠と弱点”を明確にすることで意思決定の質を上げる道具だからです。

最後に、結果を意思決定に接続します。点推定だけで「効いた」「効かなかった」と断じるのではなく、効果の不確実性を示しながら、ビジネス上の損益に変換して判断します。たとえば平均効果が小さく見えても、対象人数が大きければ総効果は大きいかもしれませんし、逆に効果が大きく見えても特定の偏った層でしか成立していないなら、拡大すると崩れるかもしれません。こうした読みを支えるのが、因果推論の設計・前提チェック・感度分析の一体運用です。

因果推論は、相関に飛びつかないためのブレーキであり、施策を改善し続けるためのハンドルでもあります。分析結果を一枚絵で終わらせず、「どういう前提で、どの範囲に、どれくらい効いたと言えるのか」を言葉で説明できる状態まで持っていくことが、最終的な価値になります。