AI에 대한 기대와 과열된 관심이 그 어떤 기술 변화보다 커졌다고 평가된다. 이런 흐름에 맞춰 투자 규모도 덩달아 커졌다. 가트너는 2025년까지 전 세계 AI 투자 규모가 약 1조 5,000억 달러에 이를 것으로 추산했다. 거대한 투자 규모에도 불구하고 대부분 조직은 약속했던 가치와 실제로 실현된 가치 사이의 만성적인 격차에 여전히 시달리고 있다.

가장 널리 인용되는 근거는 올해 초 MIT 보고서에서 나왔다. 이 보고서는 생성형 AI 파일럿 프로젝트의 95%가 실패한다고 밝혔다. 맥킨지 조사에서도 거의 80%에 이르는 기업이 생성형 AI를 사용하고 있지만, 거의 같은 비율의 기업이 수익성에 의미 있는 효과를 얻지 못했다고 응답했다.

AI가 어느 정도 효과를 내고 있다는 근거도 있다. 2025년 시스코의 ‘AI 준비도 지표(AI Readiness Index)’에 따르면, 전체 기업의 13%는 AI에서 지속적으로 측정 가능한 수익을 얻고 있다고 답했다. 비록 소수이지만 선도 기업은 AI에서 가치를 끌어내기 시작했다는 의미다. 이런 가치의 출처는 점점 기술 자체가 아니라 리더십의 명확성, 전략적 정렬, 실행 역량에서 나오고 있다. 시스코의 AI 준비도 지표는 AI에서 가치를 실현한 기업의 99%가 변화 수용을 전제로 한 명확한 전략을 갖고 있고, 임직원이 새로운 기술에 익숙해지도록 지원하는 공식 프로그램을 운영하고 있다는 점을 확인했다.

오늘날 CEO와 CIO는 한 세대를 가르는 전환점에 서 있다. AI를 단순한 비용 절감 수단이 아니라 역량과 여력을 창출하고 혁신을 촉진하며 인간 중심의 결과를 이끄는 동력으로 재정의해야 하는 시기이다. 앞으로의 길은 업무를 잘게 쪼개고, 어디에 자동화를 적용해야 하는지 다시 평가하며, 인재가 성장과 변혁에 집중할 수 있도록 권한을 부여하는 리더십에 달려 있다.

성공을 위한 준비 : AI의 약속과 현실

많은 CIO에게 가장 큰 과제는 최고 경영진과 이사회가 “AI가 필요하다”는 사실은 알고 있지만, 정작 무엇을 위해 AI가 필요한지 명확하게 알지 못한다는 점이다. 이 때문에 AI가 모든 문제를 해결하고 생산성을 급등시켜 줄 만능 해결책이라는 비현실적인 기대가 생긴다. 처음부터 목표가 비현실적이면 프로젝트를 성공적으로 완료하고도 실패로 간주하는 상황이 발생한다. 여러 사업 부문이 사업 성과를 측정할 KPI를 갖추지 못한 점도 이런 문제를 부추긴다.

대표적인 예가 컨택센터다. 컨택센터에서는 상담사 코칭, 가상 상담사, 근무 스케줄링, 통화 스코어링, 콜 노트 작성 등 다양한 영역에 AI 에이전트를 활용할 수 있다. 하지만 이런 활동의 가치를 측정하기가 어렵기 때문에 많은 기업이 단순히 상담사 수를 줄여 비용 절감에 초점을 맞추는 방식으로 대응해 왔다. 이런 접근은 신중하게 실행하지 않으면 쉽게 역효과를 낸다. 예를 들어, 금융 서비스 회사 클라르나(Klarna)는 상담사 약 700명을 감축한 뒤 고객 서비스 점수가 급락하자 인력을 다시 채용해야 했다. 이 사례는 기술 문제가 아니라 경영진이 영향도를 제대로 파악하고 계획을 세우지 못한 리더십 문제였다.

문제 진단 : 기술적 한계인가, 리더십의 공백인가

AI와 자동화 기술에서 ROI를 얻지 못하는 문제를 진단하는 과정에서 실제 원인을 혼동하는 경우가 많다. 복잡한 데이터를 통합하고 자동화를 확장하는 기술적 준비가 부족한 것은 여전히 해결해야 할 과제이다. 하지만 실제로 개선 조치를 취해야 할 지점은 기술 그 자체가 아니라 기술 투자를 어떻게 지휘하고 이끌어 가는지에 더 가까운 경우가 많다. 이런 상황은 AI를 성공적으로 도입하는 데 방해가 되는 장애물이 코드나 클라우드 환경 설정이 아니라 이사회와 경영진에 더 가깝다는 사실을 시사한다. 많은 실패가 시장의 과열과 유행에 밀려 신속함을 우선하는 경영진의 선택에서 비롯되고, 진정한 비즈니스 변화를 고민하지 않은 채 추진하기 때문에 발생한다.

AI 프로젝트를 시작하기 전에 무엇을 측정하고, 어떤 지표로 투자수익률을 계산할지에 대해 비즈니스와 명확히 정렬하는 과정도 중요하다. 전략적 우선순위와 연계된 명확한 비즈니스 케이스 없이 고립된 기술 실험 형태로 출발한 프로젝트는 가치가 모호해 효과를 측정하기 어렵고, 예산 조정 시 우선적으로 잘려 나가기 쉽다.

리더십의 전환점 : 비용 절감을 넘어

비즈니스 세계는 리더십 전환점에 서 있다. 인력 혁신이 처음으로 ‘인간만의 문제’가 아닌 지점이다. AI와 자율 에이전트가 빠르게 확산되면서 경영진은 조직 안에서 가치를 어떻게 만들어내고 유지할지에 대해 훨씬 더 복잡한 결정을 내려야 한다. 이 변화는 비용을 줄이는 차원을 넘어, 인간의 역량과 AI 기술 역량 사이의 관계를 다시 설계하고, 조직 문화와 프로세스가 이런 하이브리드 인력 환경에 적응할 수 있도록 만드는 작업을 요구한다.

기업 인텔리전스 전문 업체 알포텐셜(r.Potential)의 CEO 그렉 슈메이커는 “많은 기업이 더 많은 AI 모델과 컴퓨트, 에이전트를 구축하는 데 경쟁하고 있지만, 엔터프라이즈 AI 도입의 실제 병목은 공급 측이 아니라 기업이 어디에 어떻게 AI를 활용해 실제 일을 처리할지 모른다는 점에 있다”라고 말했다. 슈메이커는 “누가 어떤 일을 해야 하는지에 대한 실제 수요를 포착하고, 사람과 AI 역량을 현실적으로 조합한 구성안을 만들며, 이를 실제 비즈니스 성과와 연계하는 인간-디지털 업무 조정 계층이 빠져 있다고 본다. 이 문제를 풀지 못하면 다음 자동화 물결은 기업을 재편하는 수준을 넘어, 일 자체를 불안정하게 만들 것”이라고 경고했다.

슈메이커의 지적은 많은 경영진이 간과하는 지점을 잘 보여준다. AI의 잠재력은 단순한 기술 혹은 운영 과제가 아니라 리더십의 본질을 묻는 문제라는 점이다. 인간이 해야 할 업무와 기계로 자동화할 업무 사이 경계가 흐려지는 상황에서 IT와 비즈니스 리더는 사람, 기술, 문화의 깊은 통합을 통해 가치 창출을 극대화하는 데 집중해야 한다.

그렇기 때문에 최고 경영진은 투자 타임라인을 다시 고민하고, 기술 및 시장 변화에 맞춰 조직의 역량을 확장하는 방식을 재설계해야 한다. 이런 인적 자원 관리의 변화는 미래 인력 구조를 예측하고, 사람과 기계 기반 지능을 연계해 인력을 배치하는 능력을 필요로 한다. 혁신은 현재 성과를 조금 보태는 차원이 아니라, 조직이 관련 인프라와 체계를 갖추고 스스로를 재창조할 준비가 되어 있는지 여부를 중심에 둬야 한다.

업무와 가치 창출의 분해

AI에서 이해 가능한 ROI를 도출하려면 업무를 구성하는 핵심 요소를 정확히 이해해야 한다. 어떤 수익이든 기술 도입뿐 아니라 프로세스 변화를 함께 고려해야 한다. 목표는 반복 작업에만 쓰이는 영역이 아니라 인간의 판단, 공감, 창의성이 필요한 영역에서 인간의 노력을 증폭시키는 방식으로 AI를 활용하고, 사람을 보다 높은 가치의 감독 및 대외 커뮤니케이션 역할에 배치해 생산성과 기여도를 극대화하는 데 있다.

성공의 핵심은 AI를 통해 인재가 매출 성장과 혁신을 주도할 수 있도록 돕는 방향으로 초점을 재조정하는 것이다. 목표는 어떤 직무에서든 80%에 달하는 자동화 가능 업무를 AI에 맡기고, 고숙련 인력이 나머지 20%에 집중하도록 만드는 것이다. 이 마지막 20%가 새로운 매출 성장, 고객 충성도, 혁신적 돌파구를 이끄는 영역이기 때문이다.

AI 시대에는 모든 산업이 재편될 것이며, CIO와 CEO가 함께 진화하지 않으면 AI 투자는 허공에 사라지는 비용이 된다. AI에서 실질적 가치를 얻기 위한 열쇠는 리더십이 미래 지향적 사고를 갖추고, 새로운 기술과 변화를 기꺼이 수용하느냐에 달려 있다. 중요한 것은 가장 뛰어난 코더가 되는 것이 아니라, 올바른 리더십 구조를 설계하는 일이다. AI를 사람 중심의 목표를 확장하는 도구로 활용하고, 단순히 운영 지표와 스프레드시트를 AI 데이터로 채우는 수단으로 쓰지 않는 리더십이 필요하다. 이를 위해서는 모든 의사결정 과정에 엄격한 윤리와 거버넌스를 심고, 각 AI 프로젝트가 조직에 어떤 목적을 수행하는지에 대해 비즈니스 측면에서 확실히 합의해 두어야 한다.
dl-ciokorea@foundryco.com

The increasing hype around AI has exceeded any other technology shift, perhaps ever. This has been met with a corresponding amount of investment. Gartner estimates worldwide spending on AI through 2025 will be nearly $1.5 trillion. Despite the staggering amount, most organizations continue to grapple with a chronic gap between promise and realized value.

The most widely recognized data point to support this comes from an MIT report from earlier this year that reveals 95% of gen AI pilots fail. A McKinsey study also found that nearly 80% of companies use gen AI, yet almost as many report no significant impact to the bottom line.

But there’s proof AI is working, if modestly. The 2025 Cisco AI Readiness Index shows 13% of all companies get consistently measurable returns from AI. So while this is a minority, leading organizations are starting to see value. But the origins of that value increasingly stem from leadership clarity, strategic alignment, and execution, not the technology itself. The Cisco AI Readiness Index measured this and found 99% of companies that have realized value from AI have a well-defined strategy that embraces change, and includes formal programs to help employees get comfortable with the new technology.

Today’s CEOs and CIOs face a generational inflection point. They must redefine success for AI not as a means of cost-cutting, but as a driver for capacity creation, innovation, and human-centric outcomes. The path forward requires breaking down work, reassessing where automation helps, and empowering talent to focus on growth and transformation.

Setting the stage: AI promise vs. reality

Among many CIOs, the biggest challenge is the C-Suite and board know they need AI but aren’t sure what for. This creates unrealistic expectations that AI will be a panacea to all problems and send productivity skyrocketing. When the outcomes are unrealistic, a successful project may be deemed unsuccessful because the initial goals were incorrect. A contributing factor to this problem is that many business units don’t have the KPIs to create the business metrics to measure.

An example of this is with contact centers where AI agents could be used for agent coaching, virtual agents, scheduling, scoring calls, note taking and more. Measuring the value of these can be difficult, so many businesses have defaulted to cutting costs by reducing agents. This can backfire if not done in a measured way. Klarna, for instance, eliminated about 700 agents, saw customer service scores tank, and then hired people back. This wasn’t a technology problem but rather leadership didn’t put the right plan in place to understand the impact.

Diagnosing the problem: Tech limitations or leadership gaps?

Issues with achieving ROI on AI and automation technology efforts are often confused with the diagnosis of the issue at hand. A lack of tech readiness concerning integrating complex data and scaling automation remains a challenge. More often than not, however, the issue that gets acted upon may be less with the technology itself and more with the way technology efforts are governed and led. This would indicate the obstacles that exist to technology’s successful implementation lie more with the board than the code and cloud setup. Failures happen because business leaders prioritize expediency driven by market hype instead of thinking about genuine business transformation.

It’s also important that prior to AI projects being kicked off, there’s clear business alignment and an understanding of the metrics being measured to calculate ROI. Projects launched as isolated technology experiments without a well-defined business case tied to a strategic priority are hard to measure and often vague in value, leading to projects that are easy to cut.

The leadership inflection point: Beyond cost cutting

The business world sits at a leadership inflection point where for the first time, workforce transformation will be more than just human. With the rapid adoption of AI and autonomous agents, leaders now face complex decisions about how value is derived and maintained within their organizations. This shift requires cutting costs but also reimagining the relationship between human skills and the technical capabilities of AI, which ensures organizational cultures and processes can adapt to this new era of hybrid workforces.

“Everyone’s been racing to build more AI models, compute, and agents, but the real bottleneck to enterprise AI adoption isn’t supply, it’s that enterprises don’t know where or how to use AI to do real work,” says Greg Shewmaker, CEO of enterprise intelligence company r.Potential. “We believe the missing piece is the coordination layer between human and digital work, where you can capture actual workforce demand, generate realistic and deployable configurations of human and AI capabilities, and tie them to real business outcomes. If we don’t get this right, the next wave of automation won’t just reshape companies, it’ll destabilize work itself.” 

His point underscores what many executives miss: AI’s promise isn’t just a technological or operational challenge, it’s an existential leadership one. As the boundaries blur between tasks suited for humans and those automated by machines, IT and business leaders will need to focus on maximizing value creation through deep integration of people, technology, and culture.​

So it becomes critical for the C-suite to reconsider timelines related to investments and expand capacity in accordance with tech and market needs. This shift in human capital management involves being able to forecast the future workforce and deploy human resources in sync with machine-based intelligence. Innovation should take precedence that’s less about adding to current performance and more about ensuring organizations can remain agile and ready to facilitate innovation in terms of related infrastructure and preparedness to reinvent themselves.

Breaking down work and value creation

Understanding the key components of work is essential to developing understandable ROI from AI. Any returns must consider the adoption of technology and the transformation of processes. The goal should be to leverage AI to amplify human effort in areas that require human judgment, empathy, and creativity rather than in areas where there’s only repetition of tasks, thereby assigning human resources to higher-value supervisory and human roles where they can be most productive and valuable.

The key to success is to refocus on enabling talent to drive revenue growth and innovation through AI. So the goal is to apply AI strategically to liberate highly-skilled people from working on the 80% of any job that can, should, and must be automated so they can focus on the last 20%, which drives new revenue growth, customer loyalty, and innovation breakthroughs.

The AI era will reshape every industry, and if CIOs and CEOs aren’t evolving, the AI investment will be wasted. The key to realizing real value in AI is to ensure leadership is future-ready and embraces new skills and change. It’s not about being the best coder in the room but instilling the right leadership structure. This involves a leadership mentality that uses AI to further human-centric goals and not simply fill an operational spreadsheet with AI data. This requires strict ethics and governance modeled in every aspect of decision-making, and firm alignment on the business side where every AI project has a defined purpose for the organization.

In “Architecting a high-performance delivery engine,” I laid out the blueprint for a high-performance delivery engine. You’ve re-architected the organization, dismantled the cultural silos, and built a machine capable of turning boardroom promises into reality.

But a powerful engine is useless without a dashboard. Without the right telemetry, you’re driving blind. In the boardroom, driving blind isn’t just dangerous; it’s career-ending.

Too many CIOs still walk into the boardroom armed with data no one asked for. They fill their presentations with engine-room metrics, believing they’re demonstrating control and efficiency. The result isn’t reassurance; it’s frustration. They’re met with well-intentioned questions as board members try to connect the metrics to real outcomes, but ultimately leave dissatisfied. This palpable sense of disconnection isn’t just a feeling; it has material consequences. Gartner finds that CIOs who successfully communicate IT’s business value maintain funding levels 60% higher than their peers who don’t. Once you lose that credibility as a strategic partner, it’s almost impossible to get it back.

In Formula 1, the team principal on the pit wall isn’t staring at engine RPMs or oil pressure. They are watching lap times, tire degradation, and the gap to the car behind: the metrics that determine the outcome of the race. They measure impact, not just activity. The modern CIO must evolve from being the chief mechanic to the Team Principal, translating telemetry into a scoreboard that proves the organization is winning.

The vanity metric trap: Speaking the wrong language

The single greatest communication failure for technology leaders is the vanity metric: a number that is easy to measure and looks good on a chart, but it tells you nothing about business value. It’s the illusion of control: numbers that look impressive but don’t change the scoreboard. The real trap isn’t just using these metrics internally; it’s presenting them to an audience that speaks an entirely different language. Your board and your C-suite peers don’t care about IT activity; they care about business outcomes.

This disconnect sounds something like this:

You say: “We maintained 99.999% uptime across our core systems this quarter.”
The board thinks: “So what? The system is stable, but is it helping us win customers? Or are we just keeping the lights on for a system that’s losing us money?”

You say: “Our service desk closed over 5,000 tickets this quarter, beating our SLA.”
The board thinks: “Are my people any more productive, or are they just complaining more? High ticket volume might mean the technology is failing them, not that your team is succeeding.”

You say: “We successfully deployed 200 software updates across the enterprise.”
The board thinks: “I see a lot of activity, but did any of it move the needle on revenue? Did we reduce costs? Did we gain market share?”

Presenting these metrics is like a race car driver bragging about how many times they shifted gears: true, but meaningless if they finish last. You lose your audience and frame your organization as a cost center.

Now, imagine walking into that same room and saying: “Our new digital platform cut time-to-market for product launches by 30%, contributing an estimated $50M in new revenue this quarter.”

That is a podium finish moment. It’s a statement of value, not activity.

The 3D scoreboard: The CIO’s pit wall dashboard

This is a fixable problem. The board wants this information; they just need it in a consistent, strategic format. As the Harvard Law School Forum on Corporate Governance recently pointed out, boards are frustrated when tech presentations “feel complex with a hard-to-follow trajectory and no through line.” Their recommendation is for leaders to “align on key business, performance, and operational metrics and put them on a one-pager so progress can be consistently tracked over time.”

The 3D scoreboard is the framework to do exactly that. It’s the one-pager that translates complex telemetry into a clear, compelling story of value. The top level shows if you’re winning the race; the middle level explains why; the bottom level tells your teams how to fine-tune the engine.

Level 1: Dashboard (the boardroom score)

This is the top line of your scoreboard, answering the only question the board truly cares about: “Are we winning?” These are direct business outcomes, expressed in financial or strategic terms. This is the language of the annual report and the investor call.

Examples include:

• Strategic portfolio success: The percentage of board-approved strategic projects delivered on time and on value.
• ‘Grow vs. run’ spend ratio: The share of the tech budget dedicated to innovation (Grow) vs. just maintaining legacy systems (Run).
• Time-to-market (critical features): The speed from concept to customer for new features that drive revenue or competitive advantage.
• Business process automation (ROI): The quantified reduction in manual labor-hours and associated costs from new automation, directly impacting operating margin.
• Quantified technical debt: The financial risk (e.g., potential downtime cost, security breach impact) of not modernizing critical legacy systems.

Level 2: Diagnostics (the ‘why’)

While the board focuses on the final score, they’ll always want to understand the why. Your C-suite peers and business partners live in this layer. Diagnostic metrics are the shared metrics that measure the performance of a specific business capability, owned in partnership between technology and the business unit. They answer the question: “How are we winning?”

Examples include:

• Feature adoption rate: The uptake of new capabilities by business units, proving that technology investment is translating into active use.
• Digital revenue (% of total): A measure of the business’s digital maturity and the success of tech-dependent sales channels.
• Sales process automation: The percentage of the sales funnel that is automated, directly showing technology’s impact on sales velocity and margin.
• System-driven retention: The share of customer retention attributable to digital self-service, personalization, and automated support channels.
• Employee digital experience (DEX) score: A composite score measuring employee satisfaction with their tech tools, a key driver of productivity and talent retention.

Level 3: Drivers (the ‘how’)

This is the engine room telemetry. Driver metrics are the operational and engineering inputs your teams can directly control, but they are not for the boardroom. Their purpose is to give your product, platform, and security teams the real-time data they need to optimize the machine. They answer the question: “Is the machine running effectively?”

Examples include:

• Cycle time: The time from when work officially begins on a feature to when it is delivered to a customer.
• Service level objective (SLO) attainment: The percentage of time that a core business service (like user login) meets its agreed-upon performance and uptime targets.
• DORA: Mean time to recover (MTTR): The average time it takes to restore service after a production-impacting incident.
• Time to remediate critical vulnerabilities: The speed at which the most severe security flaws are identified and patched in production.
• DORA: Change fail rate: The percentage of deployments to production that result in a failure (like an outage or a hotfix).

The telemetry chain

The power of the 3D Scoreboard isn’t in any single metric; it’s in the story they tell together. This linkage is not theoretical; it is a proven driver of financial success.  The framework becomes a powerful storytelling engine when you can draw that clear line:

“This quarter, our engineering teams focused on reducing Cycle Time (Driver) for internal tools. This allowed us to deliver a new workflow tool to the sales team ahead of schedule, which increased our Sales Process Automation (Diagnostic) by 30%. Because that new automated system retired three legacy applications, we were able to reallocate a $1.5M maintenance budget directly to innovation, significantly improving our ‘Grow vs. Run’ Spend Ratio (Dashboard) for the quarter.”

That’s how you turn telemetry into testimony: proof that technology is driving business value.

Final thoughts: From mechanic to strategist

Data without a story is noise, and metrics without connection are vanity. The 3D Scoreboard gives you the language to prove value, reclaim credibility, and earn a permanent seat at the strategy table. It shifts your role from the manager defending an IT budget to the strategist proving how technology drives the business.

At the end of the day, your value is measured not by the health of the engine but by the number of races you win.

With the engine tuned and the scoreboard in place, the next challenge is deciding which races are worth entering. In my next article, I’ll explore portfolio management: the art of making disciplined investment choices to keep you on the podium.

This article is published as part of the Foundry Expert Contributor Network.
Want to join?

‘확장’은 종종 성공으로 오해된다. 이는 무언가 제대로 작동하고 있다는 신호처럼 여겨지기 쉽다. 그러나 실제 현장에서는 성장 압박이 로드맵뿐 아니라 아키텍처, 데이터 레이어, 사고 대응 체계, 고부하 환경에서 움직여야 하는 팀의 운영 역량까지 전반에 영향을 미친다. 초기 단계에서 충분히 괜찮다고 여겼던 서비스 수준 계약(SLA), 서비스 수준 목표(SLO), 지연 시간 예산은 새로운 동시 접속 및 트래픽 패턴이 나타나면 쉽게 무너질 수 있다. 겉으로는 건전해 보이는 지표가 실제로는 취약한 시스템을 가리고 있다가, 특정 기능 하나를 출시하는 순간 전체가 한꺼번에 붕괴하는 상황도 여러 차례 목격했다.

• 지표가 정렬되지 않고 운영 체계가 취약한 상태에서 너무 이른 시점에 규모 확장에 나서는 것은 여전히 제품 실패의 주요 원인으로 꼽힌다.
• 지표는 외부에서 가져온 벤치마크가 아니라, 각 조직의 구체적 맥락 안에서 의미를 가진다.
• DORA, 오류 예산, SLO 등 엔지니어링 준비 지표 역시 제품 성장에 맞춰 진화해야 한다. 그렇지 않으면 고부하 환경에서 실패로 이어질 수 있다.

지난 10여 년 동안 잠재력이 큰 팀이 잘못된 지표에 매달리다 소진되거나, 제품이 준비되지 않은 상태에서 무리하게 확장을 시도하다가 실패하는 사례를 지켜봐 왔다. 실제로 스타트업의 70%는 제품과 플랫폼이 충분히 성숙하지 않은 상태에서 성장을 시도해 결국 실패한다는 조사 결과가 있다. 핵심 과제는 더 빨리 성장하는 법이 아니라 시스템을 붕괴시키지 않고 성장하는 방법을 찾는 것이다. 이를 위해서는 지표, 제품의 성숙도, 엔지니어링 탄력성 전반에서 긴밀한 조율이 필요하다.

가장 먼저 배운 교훈 중 하나는 지표가 ‘트로피’가 아니라 ‘거울’이라는 점이다. 한때 ‘월간 활성 이용자’ 같은 단일 지표에 집착하면서 보기 좋은 그래프는 만들었지만, 사업 자체는 취약해졌다. 당시 확대하고 있었던 것은 가치가 아니라 겉모습이었다. 그래서 지금은 범용 KPI 대신 실제 가치 흐름을 보여주는 4~6개의 제품 특화 지표에 집중한다. 가입 전환율, 고객 획득 비용(CAC), 일일 활성 사용자 대비 월간 사용자(DAU-MAU) 비율, 첫 핵심 행동 수행률, 특정 행동 유지율 등이다. 지표는 성공을 확인하는 용도가 아니라 상황을 이해하게 해주는 도구여야 한다. 찰스 굿하트 교수는 “측정 기준이 목표가 되면 더 이상 좋은 측정 기준이 아니다”라는 법칙을 제시한 바 있다.

지표가 목표가 되기 시작하면 사람들은 실질적 성과가 아닌 숫자를 올리는 데 집중하거나 왜곡된 방식으로 문제를 해결하려 한다. 대표적 사례가 웰스파고(Wells Fargo) 교차판매 스캔들이다. 2010년대 웰스파고 경영진은 ‘고객 1인당 계좌 수’라는 지표에 지나치게 집착하면서 과도한 목표를 설정했고, 결국 직원들은 목표 달성을 위해 수백만 개의 유령 계좌를 개설하기 시작했다. 지표는 겉보기엔 좋아 보였지만, 고객 신뢰는 붕괴됐고 회사는 막대한 벌금을 감당해야 했다. 여기서 얻는 교훈은 단일 지표를 절대적 기준으로 삼아서는 안 된다는 점이다. 제품과 사용자가 실제로 얻는 가치를 균형 있게 반영하는 방식으로 성공을 정의해야 한다.

가드레일로서의 벤치마크

벤치마크는 분명 유용하지만, 기준점일 뿐 절대적 규칙으로 받아들여서는 안 된다. 비정상적으로 낮은 전환율 같은 이상 징후를 파악하는 데 도움이 되지만, 특정 제품의 성공을 어떻게 정의해야 하는지까지 규정하는 도구는 아니다. 과거 필자는 팀의 ‘챕터 2’를 다른 기업의 ‘챕터 10’과 비교하는 실수를 저질렀다. 어떤 SaaS 서비스가 첫날 유지율 50%를 기록했다는 이야기를 보고, 우리는 30%에 불과하다는 이유로 스스로를 과소평가했지만, 해결하려는 문제도, 시장 단계도, 사용자 구성도 완전히 다르다는 사실을 놓쳤다.

이런 비교 방식은 팀이 맞지 않는 경기장에서 뛰는 결과로 이어진다. 모든 제품은 출시 시점, 예산, 팀의 성숙도, 시장의 복잡성 등 서로 다른 맥락 속에 존재한다. 벤치마크가 참고 자료일 수는 있지만 의사결정을 지배해서는 안 된다. 이를 절대적 기준처럼 다루기 시작하면 객관성이 있다는 착각에 빠져 실제 제약 조건을 무시하거나 애초에 팀과 무관한 지표를 쫓게 된다.

현실적으로는 벤치마크를 일종의 일기예보처럼 활용하는 것이 유용하다. 다시 말해 어떤 환경에서 움직이게 될지 예상하게 해주지만, 경로 자체를 결정해주지는 않는다. 실제로 중요한 일은 제품의 가치를 정확하게 반영하는 지표가 무엇인지 파악하고, 그 지표를 중심으로 시스템 전체를 조율하는 것이다.

운영 준비

지표가 아무리 유망해 보여도 엔지니어링 준비 없이 제품을 확장하는 일은 부실한 지반 위에 건물을 올리는 것과 다르지 않다. 성장은 운영 시스템 전반에 부담을 준다. 배포 파이프라인, 관측 도구, 지연 시간 예산, 릴리스 주기 등이 모두 실시간으로 스트레스 테스트를 받는다. 그래서 우리는 배포 빈도, 변경 실패율 같은 DORA 지표를 단순한 엔지니어링 KPI가 아니라 확장 가능성을 가늠하는 초기 지표로 활용한다.

또한 성장 루프의 가속을 고민하기 전에 여러 질문을 던진다. 사고 대응 프로세스는 충분히 견고한가? 오류 예산을 마련해 두고 실제로 준수하고 있는가? 성능 저하가 고객 불편으로 이어지기 전에 충분히 빠르게 감지되고 있는가?

확장은 단순히 사용자를 더 많이 확보하는 문제가 아니다. 신뢰와 안정성을 해치지 않는 것이 핵심이다. 기술 부채가 당장 다음 릴리스를 막지는 않을 수 있지만, 이는 성장 압력이 커지는 순간 빠르게 누적된다. 그런 점에서 인프라와 플랫폼의 건강 상태가 결국 제품 전략의 일부라고 할 수 있다. 성장의 순간이 왔을 때 얼마나 빠르고 안전하게 움직일 수 있는지 결정하기 때문이다.

지표가 확장 과정에서 의미를 잃는 이유는 인프라 문제 때문만이 아니다. 더 큰 원인은 지표를 어떻게 해석하느냐에 있다.

올바른 지표 관리

대규모 성과 검토나 성장 현황을 공유하는 회의를 앞두고 있을 때, 필자가 이끄는 팀은 ‘데이터 위생 점검’을 준비한다. 이는 겉으로 드러나는 작업이 아니지만 반드시 필요한 과정이다. 핵심 이벤트가 올바르게 수집되고 있는지, 명명 규칙이 일관되는지, 퍼널이 실제 사용자 흐름을 정확히 반영하는지 꼼꼼히 확인한다. 이런 습관은 한때 온보딩 지표가 급증했다며 기뻐했다가, 알고 보니 특정 이벤트가 너무 일찍 발생하는 버그 때문이었다는 사실을 뒤늦게 확인한 경험에서 비롯됐다. 이 사건은 잘못된 데이터가 얼마나 큰 비용을 초래하는지 분명하게 보여줬다. 부정확한 데이터는 잘못된 확신으로 이어지며, 이런 확신은 가장 값비싼 오류다.

따라서 지금은 지표를 치명적 소프트웨어 버그를 수정하는 것만큼 중요하게 다룬다. 이는 단순한 개인적 성향이 아니라, 여러 조사 결과로도 확인되는 사실이다. 각종 설문에 따르면 경영진의 약 58%는 핵심 의사결정이 부정확하거나 일관되지 않은 데이터에 기반해 이뤄지는 경우가 많다고 답했다. 다시 말해 절반이 넘는 기업이 불안정한 숫자를 기반으로 의사결정을 내리고 있다. 장기적으로 보면 데이터 품질이 떨어지는 데 따른 비용도 적지 않다. 가트너 보고서는 데이터 품질 저하가 기업에 연간 평균 1,500만 달러의 손실을 초래한다고 밝혔다. 정확한 지표는 단순한 기술적 위생 문제를 넘어, 위험을 관리하는 수단이다. 성과를 자축하기 전에, 측정 체계가 잘못된 신호를 보내고 있지 않은지 반드시 확인해야 한다.

성장의 사각지대인 ‘대리 지표’에 주의할 이유

숫자가 오른다고 해서 항상 성공을 의미하는 것이 아니다. 실제 가치가 정체되거나 오히려 떨어지고 있음에도 불구하고, 겉으로만 성장하는 것처럼 보이게 만드는 지표들이 있다. 이를 ‘대리 지표’ 또는 ‘맹목적 지표’라고 부른다. 이런 지표들은 성공의 착시를 만들지만, 정작 핵심 가치 제안은 제자리인 경우가 많다. 대표적인 예가 앱 다운로드 수다. 다운로드는 폭증하는데 실제 활성 이용자는 정체 상태일 수 있다. 웹사이트 페이지뷰가 높아도, 클릭을 유도하는 마케팅 때문일 뿐 실제 유료 전환율은 낮을 수 있다. 이런 상황에서 숫자가 올라가는 그래프만 보고, 그 의미를 의심하지 않는 상태에 빠지기 쉽다.

착시를 피하기 위해 필자는 지표를 간단한 계층 구조로 정리해 관리한다. 일종의 ‘지표 피라미드’다. 가장 아래층에는 운영 지표가 있다. 이는 직접 통제하거나 영향을 줄 수 있는 숫자들이다. 예를 들어 영업 콜 횟수, 해결된 버그 수, 마케팅 집행 비용 등이 여기에 해당한다. 중간에는 행동 또는 제품 지표가 위치한다. 사용자 행동과 참여도를 보여주는 지표로, 일간 활성 이용자, 체류 시간, 기능 사용률 등이 포함된다. 이는 운영 활동의 결과물이지만, 완전히 통제할 수 있는 수치는 아니다.

피라미드의 최상단에는 결과 지표가 있다. 이는 궁극적 목표, 다시 말해 ‘왜 이 일을 하는가’를 보여주는 수치다. 매출, 고객 유지율, 고객 만족도처럼 실제로 전달된 가치를 반영하는 지표들이 여기에 해당한다. 이 피라미드는 전술적 지표와 전략적 목표를 자연스럽게 연결해 준다. 여러 팀이 활용하는 ‘북극성 지표’와도 유사하다. 최상위에 핵심 지표가 하나 있고, 그 아래 이를 견인하는 주요 지표들이 있으며, 가장 아래에는 의사결정과 문제 해결을 돕는 보다 세밀한 데이터가 위치하는 방식이다. 실제로 많은 제품 관리 가이드 역시 명확성을 위해 이런 지표 피라미드 접근을 권장한다.

이를 기반으로, ‘월간 세션 수’ 같은 지표가 상승하면 “이것은 성과인가, 단순한 출력인가?”라는 질문을 스스로 던진다. 세션이 늘어나는 것이 매출 증가나 유지율 향상처럼 결과 지표와 연관된다면 적극적 신호일 수 있다. 그러나 UI 변경처럼 단순히 앱을 더 자주 열게 만든 요인 때문이라면 이는 대리 지표에 불과하다. 피라미드 구조로 사고하면 하위 지표의 상승이 상위 목표 달성으로 이어지는지, 혹은 단순한 노이즈인지 명확하게 구분할 수 있다. 하단 지표가 올랐다고 해서 상단 지표가 움직인다는 보장은 없다는 점을 항상 상기하게 된다.

‘제품–시장 적합성’의 신화

스타트업 세계에서 제품–시장 적합성(Product Market Fit, PMF)만큼 찬사를 받는 개념도 드물다. 이는 모든 요소가 맞아떨어지는 마법 같은 순간, 즉 사용자가 열광하고 성장세가 폭발하며 마침내 성공했다고 느끼는 시점을 말한다. 하지만 필자는 PMF를 단 한 번의 깨달음처럼 다루는 입장에 점점 회의적이 됐다. 실제로 적합성은 고정된 목표가 아니라 계속 움직인다. 초기 성과가 장기적 적합성을 보장하지도 않는다. 고객의 요구는 변하고, 경쟁자는 대응하며, 어제 맞았던 것이 내일도 맞는다는 보장은 없다. 그래서 PMF를 도달점이 아니라 지속적인 조정 과정으로 바라본다.

따라서 신화적 순간을 쫓기보다 추세와 흐름을 살필 필요가 있다. “PMF를 달성했다”라고 선언하는 대신, 지금도 여전히 실제 사람들의 실제 문제를 제대로 해결하고 있는지, 그리고 다른 대안보다 더 나은 해결책을 제공하고 있는지를 물어야 한다. 오래 살아남는 팀은 적합성을 한 번 찾는 데 그치지 않고 지속적으로 다듬어 나가는 팀이다.

빠르게 돌아가는 제품 개발 사이클에서는 다음 프로젝트로 곧바로 넘어가며 돌아볼 시간을 놓치기 쉽다. 그래서 주요 릴리스나 성장 실험을 마칠 때마다 ‘반성 회의’를 여는 것을 의례로 삼고 있다. 이 자리에서는 크게 3가지 질문을 던진다.

1. 올바른 지표를 측정했는가?
2. 어떤 지표가 실제로 통찰을 줬고, 어떤 지표가 오히려 판단을 흐리게 했는가?
3. 성장 가설 중 무엇이 실제로 틀렸는가?

이 과정을 꾸준히 실천한 팀은 시간이 갈수록 데이터를 다루는 데 훨씬 능숙해졌다. 이때 지표는 점수판이나 압박 도구가 아니라, 앞으로 가야 할 방향을 비춰주는 손전등이 된다.

의식의 중요성

지금까지의 모든 논점을 하나로 묶는 주제는 성장에서 의식의 중요성이다. 북극성 지표, 성장 루프, 바이럴 계수, OKR 같은 프레임워크는 유용한 도구지만, 맥락과 자기 인식을 갖고 사용할 때만 효과가 있다. 그래서 팀에는 “숫자와 맥락(직관, 사용자 조사, 시장 신호)이 서로 다른 메시지를 제시한다면 맥락을 우선하라”라고 지시한다.

성장은 전략이 아니라 결과다. 과거의 스스로에게 조언할 수 있다면, “트렌드라인을 쫓지 말고, 이해를 쫓아라”라고 말하고 싶다. 역설적이게도 사용자와 가치에 대한 이해가 깊어질수록, 성장은 더 자연스럽게 뒤따르고 더 건강하며 지속 가능해진다.
dl-ciokorea@foundryco.com

올해 초 MIT는 “조직의 95%가 AI 투자에서 아무런 수익을 얻지 못하고 있다”는 조사 결과를 발표했다. 미국 내 생성형 AI 관련 내부 프로젝트에만 300억 달러 이상이 투입된 상황이었다. 왜 이렇게 많은 AI 프로젝트가 기대만큼의 ROI를 내지 못할까? IT 컨설팅 회사 코그니전트(Cognizant)의 글로벌 CIO 닐 라마사미는 “AI가 비즈니스 가치와 명확히 연결되지 않기 때문”이라며, “기술적으로 인상적이지만 실제 문제 해결이나 실질적 성과로 이어지지 않는 경우가 많다”라고 지적했다.

IT 책임자는 종종 유행에 휩쓸려 비즈니스 성과를 고려하지 않은 채 AI 실험에 뛰어든다. 아사나(Asana)의 CIO 사켓 스리바스타바는 “많은 기업이 비즈니스 결과보다 모델이나 파일럿 프로젝트부터 시작한다. 팀이 워크플로우를 다시 설계하거나 손익 책임자를 지정하지 않은 채 고립된 시연만 진행하는 경우가 많다”라고 설명했다.

제품 중심 사고의 부재, 부실한 데이터 관리, 부재한 거버넌스, 그리고 AI 활용을 장려하지 않는 조직 문화가 겹치면 부정적인 결과로 이어진다. 스리바스타바는 “프로세스를 바꾸지 않으면 AI는 현재의 비효율을 더 빠르게 반복할 뿐”이라고 경고했다.

조직이 부정적인 AI ROI를 피하기 위해서는 효과적인 변화 관리가 핵심이다. 다음은 CIO가 바로 실천할 수 있는 다섯 가지 변화 관리 지침이다. 이 지침을 지킨다면, 따르면 조직은 안티 패턴에서 교훈을 얻고, 성공적인 AI 프로젝트를 입증할 수 있는 측정 지표를 발견할 수 있을 것이다.

1. 비즈니스 목표를 명확히 하고 리더십 정렬을 통해 AI 프로젝트를 이끈다

AI 프로젝트는 최고경영진의 후원과 명확한 비전 없이는 성공하기 어렵다. CMIT 솔루션의 사장 겸 수석 vCIO 애덤 로페즈는 “강력한 리더십은 AI 투자를 실질적 결과로 전환하는 데 필수이다. CEO나 이사회 차원의 후원과 감독이 있을수록 ROI가 높다”라고 말했다.

예를 들어 IT 컨설팅 기업 제비아(Xebia)는 글로벌 CIO 스미트 샹커가 주재하는 ‘AI 추진위원회’를 운영하고 있다. 위원회에는 글로벌 CFO, AI 및 자동화 책임자, IT 인프라·보안 책임자, 비즈니스 운영 책임자가 포함돼 있다. 스리바스타바는 “AI 프로젝트마다 목표에 기반한 책임 리더를 지정해야 한다. 조직 전반의 프로젝트 관리 실을 세워 주요 사용례를 정의하고 성공 지표와 가드레일을 설정하며 진행 상황을 정기적으로 공유하라”라고 조언했다.

하지만 리더십이 확립돼도 직원 대부분은 일상 업무에서 AI를 어떻게 활용해야 할지 모른다. 스킬소프트의 CIO 올라 데일리는 “도구를 제공받더라도 대부분 직원은 어디서부터 시작해야 할지 모른다. 조직 내 AI 활용을 선도할 ‘챔피언’을 지정해 실질적 사용례와 팁을 공유해야 한다. 특히 코파일럿 같은 도구의 효율적인 사용법을 전파하는 것이 중요하다”라고 설명했다.

라마사미는 “리더는 데이터 중심 문화를 조성하고 AI가 실제 비즈니스 문제를 해결하는 비전을 제시해야 한다”라고 강조했다. 또, 이를 위해 경영진, 데이터 과학자, IT 부서 간 긴밀한 협력이 필요하며, 파일럿 프로젝트의 실행과 성과 측정을 거쳐야 한다고 덧붙였다.

2. 인재 프레임워크를 재편하고 업스킬링(역량 강화)에 투자한다

AI ROI를 높이기 위해 CIO는 인재 전략을 새롭게 설계해야 한다. 라마사미는 “CIO는 인재 및 관리 전략을 조정해 AI 채택과 ROI를 극대화해야 한다”며 “데이터 과학자, 프롬프트 엔지니어 같은 새로운 역할을 만들고 기존 직원을 재교육하는 접근이 필요하다”라고 말했다.

로페즈는 “인재는 모든 AI 전략의 핵심이다. 교육, 커뮤니케이션, 전문 인력 확보에 투자해야 직원이 AI를 받아들이고 성과를 낼 수 있다”라고 강조헸다. 또, 해커톤이나 사내 교육이 직원의 기술과 자신감을 높이는 효과가 크다고 덧붙였다.

스리바스타바는 “모든 직원에게는 기본적인 프롬프트 이해력과 안전 교육이 필요하고, 파워 유저에게는 워크플로우 설계와 AI 에이전트 구축 능력이 필요하다. 우리는 전사 설문을 통해 역량 수준을 파악하고 교육 목표를 설정해 성숙도가 제대로 향상됐는지 재측정했다”라고 밝혔다.

아스페리타스 컨설팅(Asperitas Consulting)의 클라우드 사업 책임자 스콧 휠러는 “AI 도입은 인적 역량뿐 아니라 업무 프로세스 자체를 다시 점검해야 한다”고 말했다. 즉, 어떤 업무를 누가 수행해야 하는지를 재정의해야 한다는 뜻이다.

스킬소프트의 데일리는 “현대의 인재 전략은 4B(Build, Buy, Borrow, Bot) 전략으로 균형을 맞춰야 한다”라며, “조직을 고정된 직무가 아니라 ‘역량의 집합체’로 보고, 내부 인력·소프트웨어·파트너·자동화 기술을 상황에 맞게 조합해야 한다”라고 설명했다.

스킬소프트의 팀은 깃허브 코파일럿을 활용해 고객용 학습 포털을 빠르게 구축했다. 이 경험을 통해 AI 도우미와 인간 개발자가 협업할 때 생산성이 비약적으로 높아진다는 점을 확인했다.

라마사미는 “직원이 AI 때문에 일자리를 잃을 것이라는 불안을 해소하려면, 왜 AI를 도입하는지 명확히 설명해야 한다”라고 지적했다. 스리바스타바 역시 “핵심은 신뢰다. AI가 반복 업무를 줄이고 임팩트를 높인다는 점을 보여주면 자연스럽게 채택이 뒤따른다”라고 말했다.

3. AI의 가치를 온전히 확보하기 위해 조직 프로세스를 재설계한다

인재 프레임워크를 바꾸는 것만으로는 충분하지 않다. 로페즈는 “AI의 잠재력을 완전히 발휘하려면 조직의 운영 방식 자체를 재구성해야 한다”고 조언했다. AI를 단순한 ‘부가 기능’이 아니라 핵심 운영 프로세스에 통합해야 한다는 의미다.

스리바스타바는 “AI 기반 워크플로우를 제품처럼 관리해야 한다. 요청, 우선순위, 로드맵을 체계적으로 운영하고, 문제 정의와 가치 가설을 명확히 설정해야 한다”라고 강조했다.

제비아는 AI 프로젝트마다 세 단계 검증 절차를 거친다. ‘가치 평가→비즈니스 승인→IT 이관 및 모니터링’의 구조다. 샹커는 “이 과정을 통해 부서 간 프로세스가 단순화되고 사일로가 줄어든다”라고 설명했다.

라마사미는 “대부분 기업이 필요한 변화 관리의 범위를 과소평가한다. 사일로형 의사결정에서 데이터 중심 방식으로 전환해야 한다”라며, “AI가 생성한 결과를 업무 프로세스에 자연스럽게 통합하고, 직원이 데이터 기반 통찰로 의사결정을 내릴 수 있어야 한다”라고 지적했다.

데일리는 “AI가 효율화할 수 있는 업무를 찾기 위해서는 현재의 워크플로우를 정확히 파악해야 한다. 업무 전문가가 프로세스를 검토해 최적화할 영역을 찾아야 하며, 각 부서에 AI를 어떻게 녹여낼지 질문을 던지는 인물을 지정해야 한다”라고 말했다.

스킬소프트는 AI 사용례를 체계화하기 위해 ‘에이전트 레지스트리’를 구축했다. AI 에이전트의 기능, 가드레일, 데이터 관리 방식을 문서화해 표준화하고 있으며, 이를 기반으로 윤리와 거버넌스를 포함한 기업 AI 관리 체계를 정립 중이다.

아스페리타스의 휠러는 “AI 채택을 가속화하려면 ‘AI 스왓팀(SWAT team)’을 운영해 초기 장애를 해결하고 사용자 지원을 강화하는 것이 효과적”이라고 조언했다.

4. 성과를 측정해 AI 투자 수익을 검증한다

ROI를 평가하려면 CIO는 AI 도입 이전의 기준선을 설정하고, 초기에 명확한 벤치마크를 세워야 한다. 많은 IT 리더가 가치 실현까지 걸리는 시간, 비용 절감, 시간 절감, 사람 직원이 처리하는 업무량, AI로 새로 창출된 매출 기회 같은 지표에 책임자를 지정할 것을 권고한다.

아스페리타스의 휠러는 “AI 프로젝트를 시작하기 전에 기준 측정값을 반드시 설정해야 한다”라며, 각 사업 부문의 예측 지표를 경영진의 정기 성과 리뷰에 포함시키라고 조언했다. 휠러는 많은 조직이 모델 정확도, 지연 시간, 정밀도 같은 기술 지표만 측정하고, 이 수치를 비용 절감, 매출 증가, 리스크 감소 같은 비즈니스 성과와 연결하지 못하는 실수를 저지른다고 지적했다.

그래서 다음 단계는 실질적 가치를 입증할 수 있는 명확하고 측정 가능한 목표를 세우는 것이다. CMIT 솔루션의 로페즈는 “프로젝트 초기 단계부터 측정 항목을 설계해야 한다”라고 말했다. 로페즈는 CIO가 각 AI 프로젝트마다 ‘처리 속도 20% 개선’, ‘고객 만족도 15% 상승’처럼 구체적인 KPI를 정의해야 한다고 조언했다. 또, 빠르고 정량화 가능한 결과를 낼 수 있는 소규모 파일럿부터 시작하라고 덧붙였다.

한 가지 명확한 측정 지표는 시간 절감이다. 소프트웨어 기반 서비스 회사 레몬그래스(Lemongrass)의 CTO 에이먼 오닐은 고객사가 SAP 개발 문서를 수작업으로 작성하는 장면을 여러 번 봤는데, 이 작업은 엄청난 시간이 소요되는 과정이다. 오닐은 “문서 작성을 생성형 AI로 처리하면 사람의 투입 시간을 분명하게 줄일 수 있고, 이 절감 효과를 매우 간단하게 달러 기준 ROI로 환산할 수 있다”라고 말했다.

업무당 투입되는 노동력의 감소도 중요한 신호다. 풀스택 기술 서비스 회사 TEK시스템즈(TEKsystems)의 CTO 램 팔라니아판은 “목표가 상담원이 처리하는 콜센터 문의 건수를 줄이는 것이라면, 이 수치를 명확한 지표로 정하고 실시간으로 추적해야 한다”라며, AI 도입 과정에서 새로운 매출 기회가 생길 가능성도 크다고 덧붙였다.

일부 CIO는 개별 사용례 별로 세분화된 KPI를 모니터링하며, 결과에 따라 전략을 조정한다. 예를 들어 아사나의 스리바스타바는 개발 효율성을 모니터링할 때 사이클 타임, 처리량, 품질, 트랜잭션당 비용, 리스크 이벤트 발생 건수를 추적한다. 또 에이전트 지원 실행 비율, 활성 사용자, 휴먼 인 더 루프 승인 비율, 예외 상황 에스컬레이션 비율도 함께 본다. 스리바스타바는 이런 데이터를 검토하면 프롬프트와 가드레일을 실시간으로 조정하는 데 도움이 된다고 설명했다.

핵심은 초기부터 측정 지표를 설정하고, 신호나 성과를 추적하지 않는 안티 패턴에 빠지지 않는 것이다. 스리바스타바는 “측정은 종종 프로젝트 후반에 뒤늦게 붙는 바람에 리더가 가치를 입증하지 못하고, 어떤 것을 확장해야 하는지도 결정하지 못한다”라고 설명했다. 또, “처음부터 명확한 핵심 미션 지표를 정하고 기준선을 세운 다음, AI를 업무 흐름 속에 직접 녹여 넣어야 직원이 더 중요한 판단이 필요한 일에 집중할 수 있다”라고 덧붙였다.

5. AI 문화를 거버넌스로 관리해 보안 사고와 불안정을 막는다

생성형 AI 도구는 이제 업무 현장에서 흔하게 쓰이지만, 여전히 상당수 직원은 이를 안전하게 사용하는 방법을 모른다. 스몰PDF(SmallPDF)의 2025년 조사에 따르면, 미국 기반 직원의 거의 1/5는 AI 도구에 로그인 자격 증명을 입력한 경험이 있었다. 로페즈는 “좋은 리더십은 거버넌스와 가드레일을 세우는 것에서 시작된다”라고 말했다. 여기에는 챗GPT 같은 도구에 민감한 비밀 레시피 데이터가 입력되지 않도록 하는 정책 수립도 포함된다.

AI를 많이 쓸수록 기업의 공격 표면도 넓어진다. 경영진은 AI 기반 브라우저의 보안 취약점, 섀도우 AI 사용, LLM의 환각 문제를 진지하게 고려해야 한다. 에이전트형 AI가 비즈니스 핵심 프로세스에 깊이 관여할수록, 제대로 된 권한 관리와 접근 제어 없이는 민감 데이터 노출이나 IT 시스템에 대한 악의적 침투 위험이 커진다.

소프트웨어 개발 관점에서 보면, AI 코딩 에이전트를 통해 비밀번호나 키, 토큰이 유출될 가능성도 매우 크다. 개발자는 외부 데이터나 도구, API에 접근하도록 MCP 서버를 사용해 AI 코딩 에이전트를 강화해 왔다. 그러나 월람(Wallarm) 조사에 따르면, 2025년 2~3분기 MCP 관련 취약점이 270% 증가했고, 동시에 API 취약점도 급증했다.

스리바스타바는 기업이 AI를 도입할 때 에이전트 ID, 권한, 감사 이력을 소홀히 하는 경우가 많다고 지적하며, “에이전트 ID 및 접근 관리를 도입해, 에이전트가 사람과 동일한 권한과 감사 가능성을 갖도록 해야 한다”라고 조언했다. 여기에는 로그 기록과 승인 절차도 포함된다.

위험이 이렇게 큰데도 관리 체계는 여전히 허술한 곳이 많다. 오딧보드(AuditBoard)의 보고서에 따르면, AI를 도입 중인 조직 비중은 82%에 이르지만, 거버넌스 프로그램을 완전히 구현한 곳은 25%에 불과하다. IBM 분석에 따르면, 데이터 유출 1건당 평균 피해액은 거의 450만 달러에 이르며, IDC는 ‘신뢰할 수 있는 AI’를 구축한 조직이 그렇지 않은 조직보다 AI 프로젝트 ROI가 2배 이상 높을 가능성이 60% 더 크다고 밝혔다. AI 거버넌스에 투자해야 하는 비즈니스 논리는 더할 나위 없이 분명하다.

스리바스타바는 “높은 목표 의식에 강력한 가드레일을 짝지어야 한다”라며 “데이터 수명 주기와 접근 제어를 명확히 하고, 평가와 레드팀, 그리고 위험이 큰 구간에는 휴먼 인 더 루프 검증 절차를 두어야 한다”라고 말했다. 또 “보안과 프라이버시, 데이터 거버넌스를 소프트웨어 개발 라이프사이클에 녹여 배포와 보안을 동시에 추진해야 한다. 데이터 계보나 모델 동작을 알 수 없는 블랙박스를 허용해서는 안 된다”라고 덧붙였다.

AI는 마법이 아니다

BCG에 따르면, 기업 가운데 22%만이 AI를 개념 증명 단계 이상으로 진척시켰고, 4%만이 상당한 가치를 창출하고 있다. 이런 냉정한 통계를 감안하면, CIO는 AI 투자 수익에 대해 비현실적인 기대를 세워서는 안 된다.

AI에서 의미 있는 ROI를 얻으려면 상당한 초기 노력이 필요하며, 조직 프로세스를 근본적으로 바꾸는 작업이 뒤따라야 한다. 마스터카드의 운영 CTO 조지 마달로니는 런타임(Runtime)과의 최근 인터뷰에서 생성형 AI 애플리케이션 도입은 본질적으로 변화 관리와 채택의 문제라고 밝혔다.

AI에는 함정이 끝없이 많고, 조직이 가치를 따지기보다 유행을 좇는 경우도 흔하다. 데이터 전략 없이 성급히 프로젝트를 시작하거나 너무 빨리 확장하거나 보안을 사후에 붙이는 경우도 많다. 많은 AI 프로그램이 목표한 수준에 도달하지 못하는 이유는 최고 경영진의 후원이나 거버넌스가 부족하기 때문이다. 반대로, 솔루션 업체의 홍보를 곧이곧대로 믿고 과도하게 지출하거나 AI 플랫폼을 기존 레거시 인프라와 통합하는 난이도를 과소평가하는 경우도 많다.

앞으로 AI의 비즈니스 영향을 극대화하려면, 확장을 뒷받침할 데이터 인프라와 플랫폼 역량에 투자하고, 사람의 반복 작업을 줄이고 매출이나 효율을 분명하게 끌어올릴 수 있는 소수의 핵심 사용례에 집중해야 한다.

AI 열기를 핵심 원칙에 다시 연결하고, 조직이 추구하는 비즈니스 전략을 명확히 이해하는 작업이 있어야만 ROI에 한 걸음씩 다가갈 수 있다. 탄탄한 리더십과 분명한 목표 없이 AI에만 기대면, AI는 손에 잡힐 듯 잡히지 않는 보상을 약속하는 흥미로운 기술에 그칠 뿐이다.
dl-ciokorea@foundryco.com

Earlier this year, MIT made headlines with a report that found 95% of organizations are getting no return from AI — and this despite a groundbreaking $30 billion investment, or more, into US-based internal gen AI initiatives. So why do so many AI initiatives fail to deliver positive ROI? Because they often lack a clear connection to business value, says Neal Ramasamy, global CIO at Cognizant, an IT consulting firm. “This leads to projects that are technically impressive but don’t solve a real need or create a tangible benefit,” he says.

Technologists often follow the hype, diving headfirst into AI tests without considering business results. “Many start with models and pilots rather than business outcomes,” says Saket Srivastava, CIO of Asana, the project management application. “Teams run demos in isolation, without redesigning the underlying workflow or assigning a profit and loss owner.”

A combination of a lack of upfront product thinking, poor underlying data practices, nonexistent governance, and minimal cultural incentives to adopt AI can produce negative results. So to avoid poor outcomes, many of the techniques boil down to better change management. “Without process change, AI speeds today’s inefficiencies,” adds Srivastava.

Here, we review five tips to manage change within an organization that CIOs can put into practice today. By following this checklist, enterprises should start to turn the tide on negative AI ROI, learn from anti-patterns, and discover which sort of metrics validate successful company-wide AI ventures.

1. Align leadership upfront by communicating business goals and stewarding the AI initiative

AI initiatives require executive sponsorship and a clear vision for how they improve the business. “Strong leadership is essential to translate AI investments into results,” says Adam Lopez, president and lead vCIO at managed IT support provider CMIT Solutions. “Executive sponsorship and oversight of AI programs, ideally at the CEO or board level, correlates with higher ROI.”

For example, at IT services and consulting company Xebia, a subgroup of executives steers its internal AI efforts. Chaired by global CIO Smit Shanker, the team includes the global CFO, head of AI and automation, head of IT infrastructure and security, and head of business operations.

Once upper leadership is assembled, accountability becomes critical. “Start by assigning business ownership,” advises Srivastava. “Every AI use case needs an accountable leader with a target tied to objectives and key results.” He recommends standing up a cross-functional PMO to define lighthouse use cases, set success targets, enforce guardrails, and regularly communicate progress.

Still, even with leadership in place, many employees will need hands-on guidance to apply AI in their daily work. “For most individuals, even if you give them the tools in the morning, they don’t know where to start,” says Orla Daly, CIO of Skillsoft, a learning management system. She recommends identifying champions across the organization who can surface meaningful use cases and share practical tips, such as how to get more out of tools like Copilot. Those with a curiosity and a willingness to learn will make the most headway, she says.

Finally, executives must invest in infrastructure, talent, and training. “Leaders must champion a data-driven culture and promote a clear vision for how AI will solve business problems,” says Cognizant’s Ramasamy. This requires close collaboration between business leaders, data scientists, and IT to execute and measure pilot projects before scaling.

2. Evolve by shifting the talent framework and investing in upskilling

Organizations must be open to shift their talent framework and redesign roles. “CIOs should adapt their talent and management strategies to ensure successful AI adoption and ROI for the organization,” says Ramasamy. “This could involve creating new roles and career paths for AI-focused professionals, such as data scientists and prompt engineers, while upskilling existing employees.”

CIOs should also view talent as a cornerstone of any AI strategy, adds CMIT’s Lopez. “By investing in people through training, communication, and new specialist roles, CIOs can be assured that employees will embrace AI tools and drive success.” He adds that internal hackathons and training sessions often yield noticeable boosts in skills and confidence.

Upskilling, for instance, should meet employees where they are, so Asana’s Srivastava recommends tiered paths: all staff need basic prompt literacy and safety training, while power users require deeper workflow design and agent-building knowledge. “We took the approach of surveying the workforce, targeting enablement, and remeasuring to confirm that maturity moved in the right direction,” he says.

But assessing today’s talent framework goes beyond human skillsets. It also means reassessing your work to be done, and who or what performs what tasks. “It’s essential to review business processes for opportunities to refactor them, given the new capabilities that AI brings,” says Scott Wheeler, cloud practice lead at cloud consulting firm Asperitas Consulting.

For Skillsoft’s Daly, today’s AI age necessitates a modern talent management framework that artfully balances the four Bs: build, buy, borrow, and bots. In other words, leaders should view their organization as a collection of skills rather than fixed roles, and apply the right mix of in-house staff, software, partners, or automation as needed. “It’s requiring us to break things down into jobs or tasks to be done, and looking at your work in a more fragmented way,” says Daly.

For instance, her team used GitHub Copilot to quickly code a learning portal for a certain customer. The project highlighted how pairing human developers with AI assistants can dramatically accelerate delivery, raising new questions about what skills other developers need to be equally productive and efficient.

But as AI agents take over more routine work, leaders must dispel fears that AI will replace jobs outright. “Communicating the why behind AI initiatives can alleviate fears and demonstrate how these tools can augment human roles,” says Ramasamy. Srivastava agrees. “The throughline is trust,” he says, “Show people how AI removes toil and increases impact; keep humans in the decision loop and adoption will follow.”

3. Adapt organizational processes to fully capture AI benefits 

Shifting the talent framework is only the beginning. Organizations must also reengineer core processes. “Fully unlocking AI’s value often requires reengineering how the organization works,” says CMIT’s Lopez, who urges embedding AI into day-to-day operations and supporting it with continual experimentation rather than treating it as a static add-on.

To this end, one necessary adaptation is toward treating internal AI-driven workflows like products and codifying patterns across the organization, says Srivastava. “Establish product‑management rigor for intake, prioritization, and roadmapping of AI use cases, with clear owners, problem statements, and value hypotheses,” he says.

At Xebia, a governance board oversees this rigor through a three-stage tollgate process of identifying and assessing value, securing business acceptance, and then handing off to IT for monitoring and support. “A core group is responsible for organizational and functional simplification with each use case,” says Shanker. “That encourages cross-functional processes and helps break down silos.”

Similarly for Ramasamy, the biggest hurdle is organizational resistance. “Many companies underestimate the change management required for successful adoption,” he says. “The most critical shift is moving from siloed decision-making to a data-centric approach. Business processes should integrate AI outputs seamlessly, automating tasks and empowering employees with data-driven insights.”

Identifying the right areas to automate also depends on visibility. “This is where most companies fall down because they don’t have good, documented processes,” says Skillsoft’s Daly. She recommends enlisting subject-matter experts across business lines to examine workflows for optimization. “It’s important to nominate individuals within the business to ask how to drive AI into your flow of work,” she says.

Once you identify units of work common across functions that AI can streamline, the next step is to make them visible and standardize their application. Skillsoft is doing this through an agent registry that documents agentic capabilities, guardrails, and data management processes. “We’re formalizing an enterprise AI framework in which ethics and governance are part of how we manage the portfolio of use cases,” she adds.

Organizations should then anticipate roadblocks and create support structures to help users. “One strategy to achieve this is to have AI SWAT teams whose purpose is to facilitate adoption and remove obstacles,” says Asperitas’ Wheeler.

4. Measure progress to validate your return   

To evaluate ROI, CIOs must establish a pre-AI baseline and set benchmarks upfront. Leaders recommend assigning ownership around metrics such as time to value, cost savings, time savings, work handled by human agents, and new revenue opportunities generated.

“Baseline measurements should be established before initiating AI projects,” says Wheeler, who advises integrating predictive indicators from individual business units into leadership’s regular performance reviews. A common fault, he says, is only measuring technical KPIs like model accuracy, latency, or precision, and failing to link these to business outcomes, such as savings, revenue, or risk reduction.

Therefore, the next step is to define clear, measurable goals that demonstrate tangible value. “Build measurement into projects from day one,” says CMIT’s Lopez. “CIOs should define a set of relevant KPIs for each AI initiative. For example, 20% faster processing time or a 15% boost in customer satisfaction.” Start with small pilots that yield quick, quantifiable results, he adds.

One clear measurement is time savings. For instance, Eamonn O’Neill, CTO at Lemongrass, a software-enabled services provider, shares how he’s witnessed clients documenting SAP development manually, which can be an extremely time-intensive process. “Leveraging generative AI to create this documentation provides a clear reduction in human effort, which can be measured and translated to a dollar ROI quite simply,” he says.

Reduction of human labor per task is another key signal. “If the goal is to reduce the number of support desk calls handled by human agents, leaders should establish a clear metric and track it in real time,” says Ram Palaniappan, CTO at full-stack tech services provider TEKsystems. He adds that new revenue opportunities may also surface through AI adoption.

Some CIOs are monitoring multiple granular KPIs across individual use cases and adjusting strategies based on results. Asana’s Srivastava, for instance, tracks engineering efficiency by monitoring cycle time, throughput, quality, cost per transaction, and risk events. He also measures the percentage of agent-assisted runs, active users, human-in-the-loop acceptance, and exception escalations. Reviewing this data, he says, helps tune prompts and guardrails in real time.

The resounding point is to set metrics early on, and not fall into the anti-patterns of not tracking signals or value gained. “Measurement is often bolted on late, so leaders can’t prove value or decide what to scale,” says Srivastava. “The remedy is to begin with a specific mission metric, baseline it, and embed AI directly in the flow of work so people can focus on higher-value judgment.”

5. Govern your AI culture to avoid breaches and instability

Gen AI tools are now commonplace, yet many employees still lack training to use them safely. For instance, nearly one in five US-based employees has entered login credentials into AI tools, according to a 2025 study from SmallPDF. “Good leadership involves establishing governance and guardrails,” says Lopez. That includes setting policies to prevent sensitive secret sauce data from being fed into tools like ChatGPT.

Heavy AI use also widens the enterprise attack surface. Leadership must now seriously consider things like security vulnerabilities in AI-driven browsers, shadow AI use, and LLM hallucinations. As agentic AI gets more involved in business-critical processes, proper authorization and access controls are essential to prevent exposure of sensitive data or malicious entry into IT systems.

From a software development standpoint, the potential for leaking passwords, keys, and tokens through AI coding agents is very real. Engineers have jumped at MCP servers to empower AI coding agents with access to external data, tools, and APIs, yet research from Wallarm found a 270% rise in MCP-related vulnerabilities from Q2 to Q3 2025, alongside surging API vulnerabilities.

Neglecting agent identity, permissions, and audit trails is a common trap that CIOs often stumble into with enterprise AI, says Srivastava. “Introduce agent identity and access management so agents inherit the same permissions and auditability as humans, including logging and approvals,” he says.

Despite the risks, oversight remains weak. An AuditBoard report found that while 82% of organizations are deploying AI, only 25% have fully implemented governance programs. With data breaches now averaging nearly $4.5 million each, according to IBM, and IDC reporting organizations that build trustworthy AI are 60% more likely to double the ROI of AI projects, the business case for AI governance is crystal clear.

“Pair ambition with strong guardrails: clear data lifecycle and access controls, evaluation and red‑teaming, and human‑in‑the‑loop checkpoints where stakes are high,” says Srivastava. “Bake security, privacy, and data governance into the SDLC so ship and secure move together — no black boxes for data lineage or model behavior.”

It’s not magic

According to BCG, only 22% of companies have advanced their AI beyond the POC stage, and just 4% are creating substantial value. With these sobering statistics in mind, CIOs shouldn’t set unrealistic expectations for getting a return.

Finding ROI from AI will require significant upfront effort, and necessitate fundamental changes to organizational processes. As Mastercard’s CTO for operations George Maddaloni said in a recent interview with Runtime, he thinks gen AI app adoption is largely about change management and adoption.

The pitfalls with AI are nearly endless and it’s common for organizations to chase hype rather than value, launch without a clear data strategy, scale too quickly, and implement security as an afterthought. Many AI programs simply don’t have the executive sponsorship or governance to get where they need to be, either. Alternatively, it’s easy to buy into vendor hype on productivity gains and overspend, or underestimate the difficulty of integrating AI platforms with legacy IT infrastructure.

Looking ahead, to better maximize AI’s business impact, leaders recommend investing in the data infrastructure and platform capabilities needed to scale, and hone on one or two high-impact use cases that can remove human toil and clearly drive revenue or efficiency.

Grounding AI fervor in core tenets and understanding the business strategy you’re aiming for is necessary to inch toward ROI. Because, without sound leadership and clear objectives, AI is only a fascinating technology with a reward that’s just always out of reach.

“Scale” is often mistaken for success — a signal that something works. But in practice, growth stresses not just the roadmap, but the architecture, the data layer, the incident response system and the team’s ability to operate under load. SLAs, SLOs and latency budgets that felt “good enough” at early stages begin to collapse under new concurrency and traffic patterns. I’ve seen healthy metrics mask brittle systems — until one feature launch brings everything crashing down.

• Scaling too early — without aligned metrics and operational resilience — remains a top reason for product failure.
• Metrics are only meaningful when rooted in your specific context, not borrowed benchmarks.
• Engineering readiness (DORA, error budgets, SLOs) must evolve alongside product growth or risk failure under load.

Over the past decade, I’ve watched promising teams burn out chasing vanity metrics and products buckle from premature scale. In fact, 70% of startups fail because they try to grow before the product and platform are truly ready. The real challenge isn’t how to grow faster — it’s how to grow without collapsing the system. That requires alignment across metrics, product maturity and engineering resilience.

One of the earliest lessons I learned: Metrics aren’t trophies — they’re mirrors. Chasing a single number, like monthly active users, once gave us impressive charts but a weak business. We were scaling vanity, not value. Today, instead of generic KPIs, I focus on 4–6 product-specific indicators — signup conversion rate, CAC, DAU-to-MAU ratio, first key action rate, retention in specific action — that reflect how value actually moves through the system. Metrics should guide awareness, not just validate success. As Goodhart’s Law reminds us: Once a measure becomes a target, it stops being a good measure.

People start gaming the number or optimizing for it at the expense of true outcomes. A notorious example was Wells Fargo’s sales scandal — management fixated on a metric (number of accounts per customer) and set such aggressive targets that employees began opening millions of fake accounts just to hit the goal. The metric looked great on paper, but it destroyed customer trust and led to billions in fines. The lesson: Don’t let any single metric become a false idol. Define success in a more balanced way that reflects real value creation for your product and users.

Benchmarks as guardrails

Benchmarks are useful — but only when treated as reference points, not commandments. They help spot when something’s off (say, an unusually low conversion rate), but they’re not meant to define what success should look like for your product. Early on, I made the mistake of comparing our “chapter two” to someone else’s “chapter ten.” I’d see another SaaS boasting 50% Day-1 retention and panic that we were underperforming at 30%, without factoring in that we were solving a different problem, at a different stage, with a different user base.

That’s how teams end up racing in a lane that isn’t theirs. Every product exists in its own context — timing, budget, team maturity, market complexity. Benchmarks can inform, but they should never dictate. Treating them as gospel can create a dangerous illusion of objectivity — leading you to ignore your actual constraints or chase metrics that were never yours to begin with.

In practice, I use benchmarks the way I use weather forecasts: They tell me what kind of conditions to expect, but they don’t determine the route. The real job is understanding which metrics actually reflect value for your product — and then tuning the rest of the system around that.

Operational readiness

No matter how promising the metrics look, scaling a product without engineering readiness is like building on soft ground. Growth puts operational systems under pressure — deployment pipelines, observability tools, latency budgets and release cadences all get stress-tested in real time.  That’s why we treat DORA metrics (like deployment frequency and change failure rate) as early indicators of scaling capacity, not just engineering KPIs.

Before dialing up growth loops, we ask: Are our incident response processes resilient? Do we have error budgets in place, and are they respected? Are performance regressions visible early enough to prevent customer pain?

Scaling isn’t just about acquiring more users — it’s about handling them without breaking trust or stability. Tech debt may not block your next release, but it will compound under pressure. In that sense, infrastructure and platform health are product decisions — because they shape how fast and safely you can move when growth actually arrives.

But metrics don’t just fail at scale because of bad infrastructure — they fail because of how we interpret them.

Metric hygiene

Before any big “results review” meeting or growth update, my team knows I’ll be declaring a data hygiene day. It’s not glamorous, but it’s essential. We verify that key events are tracked correctly, naming is consistent and funnels reflect actual user flows. This habit formed after we celebrated a spike in onboarding — only to later discover it was caused by a faulty event firing too early. That incident taught me the cost of bad data: It creates fake confidence and misleads decision-making. Bad data creates fake confidence – and fake confidence is the most expensive bug of all.

I now treat metric hygiene as seriously as fixing a critical software bug. This isn’t just my eccentricity; it’s borne out by broader evidence. Surveys indicate that 58% of business leaders claim key decisions are often based on inaccurate or inconsistent data. Imagine that – more than half of companies may be betting on wrong numbers, or at least shaky. In the long run, the cost of poor data quality is substantial: A Gartner study reveals that poor data quality costs organizations an average of $15 million annually. Clean metrics are not just technical hygiene — they’re a form of risk management. Before celebrating progress, make sure your measurement system isn’t lying.

Beware of proxy metrics, the ‘blind spots’ of growth

Not every growing number means you’re winning. In fact, some metrics can grow impressively while masking stagnation or decline in actual value. I call these proxy metrics (or sometimes “blind metrics”). They’re the numbers that give an illusion of success while your core value proposition languishes. Classic examples: App downloads can be skyrocketing, but active usage could be flat. Or page views on your site might be high (perhaps due to clickbait marketing) while conversion to paying customers remains low. We often become metric-blind in these cases: We see the graph going up, but don’t question what it really means.

To stay grounded, I organize metrics in a simple hierarchy — a metric pyramid of sorts. At the base are operational metrics (the day-to-day numbers you can directly control or influence: e.g., number of sales calls made, bugs resolved or marketing spend). In the middle are behavioral or product metrics (these show user behavior and engagement: e.g., daily active users, time spent, feature adoption rates — they result from your operations but aren’t solely under your control).

At the top are outcome metrics, which capture the ultimate goals or the “Why” — often things like revenue, customer retention rate or customer satisfaction that reflect delivered value. This pyramid ensures we connect the tactical metrics to strategic outcomes. It’s similar to the North Star framework many teams use, where a single top-level metric is supported by a few key drivers, and beneath those are a plethora of granular metrics. In fact, product management guides suggest using a metrics pyramid for clarity: At the top you have a North Star outcome, in the middle, the metrics tied to actions you’re taking to influence that outcome, and at the bottom, the finer data points that help troubleshoot and inform decisions.

When I see a metric like “monthly sessions” rising, I force myself to ask: Is this an outcome or just an output? More sessions could mean success if it correlates to the outcome (say, higher revenue or better retention), but it could also be a proxy metric — perhaps users are opening the app more frequently because of a UI change, but not actually getting more value. By structuring our thinking in a pyramid, we remind ourselves that an uptick at the bottom doesn’t guarantee movement at the top.

The myth of ‘product-market fit’

In startup lore, few concepts are more celebrated than product-market fit (PMF) — that magical moment when everything clicks: Users love the product, growth surges and you feel like you’ve “made it.” But I’ve grown skeptical of framing PMF as a one-time epiphany. In reality, fit is a moving target — a continuous process, not a milestone. Early traction doesn’t guarantee long-term alignment. Customer needs shift, competitors respond and what fit yesterday might not work tomorrow. That’s why I treat PMF as ongoing calibration, not a finish line.

So instead of chasing a mythical moment, I pay attention to trends and trajectories. Rather than declaring “we have PMF,” I ask: How well are we still solving a real problem for real people — and are we doing it better than alternatives? Teams that endure don’t just find fit once — they continuously refine it.

In fast-paced product cycles, it’s easy to jump from one project to the next without pausing. But I’ve made it a ritual that after every major release or growth experiment, we hold a reflection session. In that session, we ask three questions:

1. Did we measure the right things?
2. Which metrics truly gave us clarity, and which ended up misleading or blinding us?
3. Which of our growth assumptions were proven wrong by reality?

I’ve noticed that teams who embrace this reflective practice become much more data-savvy over time. The metrics then stop being a scorecard or cudgel, and become a flashlight — something that illuminates the path forward.

Final thoughts

If there’s one theme that ties all these lessons together, it’s the importance of consciousness in growth. Frameworks and tactics — North Star metrics, growth loops, viral coefficients, OKRs — all of these are useful tools, but only if wielded with self-awareness and context. I often tell myself and my team: When the numbers say one thing and your context (your intuition, user research, market signals) says another, trust the context.

Growth is an outcome, not a strategy. If I could send advice to my younger self, it would be: Don’t chase the trendline, chase understanding. Ironically, when you truly understand your users and your value, growth tends to follow naturally — and it will be healthier and more sustainable.

This article is published as part of the Foundry Expert Contributor Network.
Want to join?

Everyone has been car shopping and noticed the miles per gallon printed on the window sticker. You get excited when you see a number like 35 MPG, but once you drive the car home, your dashboard seems to stay closer to 26. It often feels as though those numbers assume you are driving downhill with the wind at your back.

A similar pattern shows up in conversations about AI productivity. Whether the estimates come from a major consulting report, a vendor eager to sell the latest platform or an urgent request from a CEO for a quick ROI projection, they almost always paint an overly optimistic picture. The results look great on paper, but they rarely hold up in practice. When leaders plan around those inflated expectations, they set themselves up to miss the mark.

As a digital and strategy consultant, I have found that we need a better way to set realistic expectations, one that balances the excitement of potential with the discipline of execution. Interestingly, the inspiration for that approach came not from technology but from finance.

Borrowing from finance: The power of discounting

Anyone who has taken an introductory finance course remembers the concept of discounted cash flow analysis. When valuing an investment, you do not simply total all future cash flows. You discount them to reflect both time and risk. A dollar tomorrow is worth less than a dollar today, especially if there is uncertainty about whether that dollar will ever appear.

A similar mindset helps when assessing AI productivity. The headline productivity gain, for example, “Copilot can double developer output,” represents the gross potential. To reach a realistic number that you can plan around, you need to apply discounts that account for three things: the human effort required to reach an outcome, the gradual ramp-up of adoption and the risk that comes with AI’s imperfections.

Human effort: The human + machine reality

Generative AI acts as an accelerator, not an autopilot. People are still essential to frame the problem, guide the model and validate the output. In software engineering, for instance, tools like GitHub Copilot can produce working code instantly, yet much of that code still needs debugging, testing and revision.

In one client pilot, our team found that engineers spent roughly a quarter of their time reviewing or rewriting AI-generated code. The net productivity gain was meaningful but well below the theoretical doubling of output that vendors often cite. It was closer to a 40% improvement, which proved far more believable and sustainable. The key lesson was clear: AI amplifies talent but does not replace human judgment. Accounting for that in your projections makes your models more credible and your plans more realistic.

Ramp-up and adoption curve

Another important discount reflects the pace of adoption. Productivity gains from AI do not arrive all at once. As with any enterprise technology, adoption follows a curve shaped by learning, experimentation and scaling.

One of our Fortune 500 manufacturing clients modeled this curve while deploying Copilot for code development. In the first year, only about a quarter of developers were active users. Over time, they projected steady growth in adoption, with both costs and benefits expanding as the tool became part of daily workflows. By modeling a four-year adoption period, they could present a credible ROI trajectory that matched the organization’s ability to absorb change. The result was a measured, believable forecast rather than a sharp, unrealistic surge.

Even with a strong business case, productivity must be earned. Adoption takes time, training and reinforcement. When you include that reality in your estimates, the projections become both defensible and actionable.

Risk adjustment: Accounting for AI’s hallucinations

Every productivity model should also include a discount for risk. Even the best systems can produce errors and the costs of those mistakes, both operational and reputational, can be significant.

We have all seen examples in the news. Earlier this year, a global technology company withdrew a marketing campaign after its AI image generator created offensive results. The issue was not a lack of oversight; it was an underestimation of risk. The company spent weeks addressing the problem, coordinating communications and repairing trust. That period of recovery consumed time and resources that could have been spent on productive work.

When estimating productivity, CIOs need to plan for these inevitable setbacks. The time and effort required to validate outputs, correct errors and perform remediation should be built into the analysis. Just as investors demand higher returns for riskier assets, technology leaders should temper productivity expectations for higher-risk AI applications.

From concept to practice

This idea of discounted productivity becomes powerful when applied in real situations. Imagine a software engineer using Copilot. The theoretical potential might suggest a doubling of productivity, but after adjusting for human oversight, the gradual adoption curve and risk, the realistic gain might fall closer to 30% or 40%.

When visualized, the result looks like a waterfall chart. You begin with the total AI opportunity, then reduce it step by step to account for human effort, phased implementation and risk. What remains is the achievable productivity impact, the number you can confidently share with your CFO and CEO, knowing it reflects how your teams actually operate. And as your teams gain experience, you may even outperform that estimate.

The bottom line: Your AI mileage will vary

AI is transforming how we work, but just like the miles per gallon rating on a new car, your results will depend on your terrain, your driver and your discipline. By adopting a discounted productivity mindset, CIOs and technology leaders can close the gap between AI promise and practical performance, setting expectations that are credible, defensible and achievable.

Because with AI, just like with driving, your mileage will vary.

This article is published as part of the Foundry Expert Contributor Network.
Want to join?