En el ámbito financiero, la gestión de carteras consiste en seleccionar estratégicamente un conjunto de inversiones alineadas con los objetivos financieros y la tolerancia al riesgo del inversor. Este mismo enfoque puede aplicarse a la cartera de sistemas de TI, con una salvedad clave: además del rendimiento financiero, la función de TI debe evaluar cada activo también desde el punto de vista de su rendimiento operativo.

La TI actual combina sistemas heredados, plataformas en la nube y tecnologías emergentes o de vanguardia, como la inteligencia artificial (IA). Cada una de estas categorías incluye activos críticos para la misión, pero no todos los sistemas aportan el mismo valor empresarial, financiero o de mitigación de riesgos. ¿Cómo pueden los CIO optimizar el rendimiento global de su cartera tecnológica?

A continuación, se exponen cinco criterios de evaluación para maximizar el valor de la cartera de TI.

Activos críticos

Los sistemas más críticos para el funcionamiento diario del negocio constituyen una categoría en sí mismos. Pueden ser visibles o estar ocultos en lo más profundo de la pila tecnológica, pero todos los activos deben evaluarse en función de su grado de criticidad.

Por ejemplo, una solución ERP puede ser un sistema imprescindible 24×7 porque interactúa con una cadena de suministro global y soporta gran parte del negocio de la empresa. En cambio, una aplicación de recursos humanos o un sistema de analítica de marketing probablemente podrían permanecer inactivos durante un día si el personal dispone de soluciones alternativas.

Este mismo análisis debe aplicarse a servidores, redes y sistemas de almacenamiento. ¿Qué recursos son absolutamente imprescindibles y de cuáles se podría prescindir, aunque sólo sea de forma temporal?

A medida que el departamento de TI identifica estos activos críticos, conviene revisar esta clasificación con los usuarios finales y la dirección para asegurar un consenso real.

Utilización de los activos

Según Zylo, proveedor especializado en la gestión de inventario, licencias y renovaciones de SaaS, “el 53% de las licencias de SaaS no se utilizan o están infrautilizadas de media, por lo que identificar el software inactivo debería ser una prioridad”. Este problema del “software sin usar” no se limita al SaaS: también aparece en sistemas antiguos y modernos infrautilizados, servidores y discos obsoletos, o tecnologías de red que no se utilizan, pero por las que se sigue pagando.

En muchos casos, este fenómeno se debe a que el departamento de TI está tan centrado en proyectos que no dispone de tiempo para revisar inventarios y niveles de obsolescencia. Como resultado, productos antiguos permanecen en catálogo y se renuevan automáticamente.

Si se quiere maximizar el rendimiento y la rentabilidad de la cartera de TI, este problema debe abordarse de forma sistemática. Cuando el propio departamento no puede dedicar tiempo suficiente, puede recurrirse a consultores externos que realicen una evaluación de uso de activos para identificar aquellos que nunca se utilizan o lo hacen de forma marginal, para reutilizarlos o retirarlos.

Riesgo de los activos

El objetivo de una cartera de TI es reunir activos relevantes hoy y que sigan siéndolo mañana. Por ello, es imprescindible evaluar el riesgo asociado a cada recurso tecnológico.

¿Existe riesgo de que el proveedor retire el producto o lo deje obsoleto? ¿Es estable el propio proveedor? ¿Dispone el departamento de TI del talento necesario para seguir operando determinados sistemas, independientemente de su calidad, como aplicaciones heredadas personalizadas escritas en COBOL o Assembler? ¿Se está encareciendo en exceso el funcionamiento de un sistema o de un hardware concreto? ¿Existe una hoja de ruta clara para integrar los sistemas actuales con las tecnologías que llegarán en el futuro?

Cuando un activo se considera de riesgo, deben definirse estrategias para sacarlo de esa situación o planificar su sustitución.

Valor de la propiedad intelectual

Conozco a un CIO del sector hotelero que presume de que su sistema de reservas y el mainframe en el que se ejecuta no han fallado en 30 años. Atribuye gran parte de ese éxito al código personalizado y al sistema operativo especializado que utiliza la compañía, y tanto él como su comité de dirección lo consideran una ventaja competitiva frente a sus rivales.

No es un caso aislado. Muchas organizaciones operan con su propia “receta secreta de TI”, que impulsa directamente el negocio. Esta receta puede ser un sistema heredado o un algoritmo de IA. Activos de este tipo, que constituyen auténtica propiedad intelectual tecnológica, son un argumento sólido para su conservación dentro de la cartera.

TCO y ROI de los activos

¿Rinden al máximo de su potencial todos los activos tecnológicos? Al igual que ocurre con las inversiones financieras, las tecnologías deben demostrar que siguen generando un valor medible y sostenible. Los dos principales indicadores son el coste total de propiedad (TCO) y el retorno de la inversión (ROI).

El TCO mide el valor de un activo a lo largo de su vida útil. Por ejemplo, unos servidores adquiridos para el centro de datos pudieron resultar rentables hace cuatro años, pero hoy ese mismo centro puede albergar racks obsoletos con tecnología anticuada, cuando resulta más eficiente trasladar la carga de trabajo a la nube.

El ROI, por su parte, se utiliza sobre todo al adquirir nueva tecnología. Se definen métricas para determinar cuándo se recuperará la inversión inicial. Una vez alcanzado el punto de equilibrio, se sigue monitorizando para comprobar cómo se materializa la rentabilidad o el ahorro esperado. Sin embargo, no todas las inversiones salen según lo previsto: el caso de negocio puede cambiar o surgir complicaciones imprevistas que conviertan una inversión prometedora en una carga.

Tanto en términos de TCO como de ROI, la cartera de TI debe gestionarse de forma activa para eliminar activos que ya no aportan valor o que generan pérdidas.

En resumen

La gestión de la cartera de TI es una función esencial y continua del CIO, pero con demasiada frecuencia se aborda de forma reactiva: se sustituye un sistema cuando los usuarios lo reclaman o se retira un servidor cuando deja de funcionar.

Tampoco ayudan el CEO, el CFO y otros interlocutores clave durante la elaboración del presupuesto tecnológico. Aunque suelen interesarse por el plazo de amortización de una nueva inversión, rara vez preguntan por la visión global de la cartera de TI: cómo están funcionando los activos en conjunto y qué sistemas deberán sustituirse para mantener o incrementar el valor para la empresa.

Para mejorar su gestión tecnológica, los CIO deberían aprovechar el potencial de la gestión de carteras. Esto implica crear una cartera formal de activos de TI y revisarla periódicamente con las áreas del negocio que tienen influencia directa en los presupuestos.

Este enfoque conecta especialmente bien con el director financiero y el director general, acostumbrados a trabajar con carteras financieras y de riesgo. Una mayor visibilidad de la cartera tecnológica también facilita al CIO presentar nuevas recomendaciones, justificar sustituciones o actualizaciones y obtener aprobaciones cuando sea necesario.

I’m not normally fond of year-end technology retrospectives, but 2025 was indeed a year of quantum leaps in the art of the possible and it has filled us all with measured optimism paired with some healthy and well-earned skepticism where AI is concerned. When I put architecture in perspective, I’m inclined to take a longer view of automation in all its variations over a decade. That’s why 2025 feels more like a footnote in a long series of events culminating in the perfect storm of opportunities we’ve been contemplating for some time now.

The composable infrastructure revolution

We’ve been moving toward self-aware, composable infrastructure in architecture for a while now and infrastructure-as-code was merely the first major inflection.

Let’s be honest, the old way of building IT infrastructure is breaking down. As an enterprise architect, the vicious cycle is very familiar. Tying agentic architecture demand-patterns to legacy infrastructure without careful consideration is fraught with peril. The old pattern is really predictable now: You provision systems, maintain them reactively and eventually retire them. Rinse and repeat.

That model is now officially unsustainable in the age of AI. What’s taking its place? Composable and intelligent infrastructure that can proactively self-assemble, reconfigure and optimize on the fly to match what the business needs.

For IT leaders, this shift from rigid systems to modular, agent-driven infrastructure is both a breakthrough opportunity and a serious transformation challenge. And the numbers back this up: the global composable infrastructure market sits at USD $8.3 billion in 2025 and is projected to grow at 24.9% annually through 2032.

What’s driving this hyper-accelerated growth? Geopolitical disruptions, supply chain chaos and AI advances are reshaping how and where companies operate. Business environments are being driven by reactive and dynamic agentic experiences, transactions and digital partnerships everywhere, all the time. Static infrastructure just can’t deliver that kind of flexibility based on marketing exercises that describe solution offerings as “on-demand,” “utility-based,” “adaptive” and “composable.” These are little more than half-truths.

A 2025 Forrester study commissioned by Microsoft found that 84% of IT leaders want solutions that consolidate edge and cloud operations across systems, sites and teams. As an architect in the consumer goods space, I found that our IT team would produce endless slide decks about composable enterprises ad nauseam, but infrastructure-as-code was the level of actual capability for some time.

Leaders wanted composable architecture that can pull together diverse components without hyperextended interoperability efforts. IBM’s research reinforces this, showing that companies with modular architectures are more agile, more resilient and faster to market — while also reducing the technical debt that slows everyone down.

The problem has been one of capacity and fitness for purpose. Legacy infrastructure and the underlying systems of record simply weren’t designed with agentic AI patterns in mind. My conversations with pan-industry architecture colleagues reflect the same crisis of expectation and resilience around agentic architectures.

Consider McKinsey’s 2025 AI survey that demonstrated 88% of organizations now use AI regularly in at least one business function and 62% are experimenting with AI agents. But most are stuck in pilot mode because their infrastructure can’t scale AI across the business.

If there are any winners in this race, they’ve broken apart their monolithic systems into modular pieces that AI agents can orchestrate based on what’s actually happening in real time.

AI agents: The new orchestration layer

So, what’s driving this shift? Agentic AI — systems that understand business context, figure out optimal configurations and execute complex workflows by pulling together infrastructure components on demand. This isn’t just standard automation following rigid, brittle scripts. Agents reason about what to assemble, how to configure it and when to reconfigure as conditions change.

The adoption curve is steep. BCG and MIT Sloan Management Review found that 35% of organizations already use agentic AI, with another 44% planning to jump in soon. The World Economic Forum reports 82% of executives plan to adopt AI agents within three years. McKinsey’s abovementioned State of AI research further highlights agentic AI as an emerging focus area for enterprise investment and describes AI agents as systems that can plan, take actions and orchestrate multi-step workflows with less human intervention than traditional automation.

As McKinsey puts it: “We’re entering an era where enterprise productivity is no longer just accelerated by AI — it’s orchestrated by it.” That’s a fundamental change in how infrastructure works.

IBM is betting big on this future, stating that “the future of IT operations is autonomous, policy-driven and hybrid by design.” They’re building environments where AI agents can orchestrate everything — public cloud, private infrastructure, on-premises systems, edge deployments — assembling optimal configurations for specific workloads and contexts. The scope of automation ranges from helpful recommendations to closed-loop fixes to fully autonomous optimization.

What composable architecture actually looks like

I recall no shortage of Lego-induced architecture references to composability over the last decade. Sadly, we conflated them with domain services and not how business capabilities and automation could and should inform how the Legos are pieced together to solve problems. Traditional infrastructure comes as tightly integrated stacks — hard to decompose, inflexible and reactive. The new composable model flips this, offering modular building blocks that agents can intelligently assemble and reassemble dynamically based on what’s needed right now.

Composability demands modularity and responsive automation

The foundation is extreme modularity — breaking monolithic systems into discrete, independently deployable pieces with clean interfaces. Composable infrastructure lets you dynamically assemble and disassemble resources based on application demands, optimizing how pooled resources get allocated and improving overall efficiency.

This goes far beyond physical infrastructure to include services, data pipelines, security policies and workflows. When everything is modular and API-accessible, agents can compose complex solutions from simple building blocks and adapt in real time.

Bringing cloud and edge together

Enterprise organizations are no longer treating cloud and edge as separate worlds requiring manual integration. The new approach treats all infrastructure — from hyperscale data centers to network edge — as a unified resource pool that agents can compose into optimal configurations.

McKinsey identifies edge-cloud convergence as essential for agentic AI: “Agents need real-time data access and low-latency environments. Combining edge compute (for inference and responsiveness) with cloud-scale training and storage is essential.” They further highlight how Hewlett Packard Enterprise (HPE) expanded its GreenLake platform in late 2024 with composable infrastructure hardware for hybrid and AI-driven workloads — modular servers and storage that let enterprises dynamically allocate resources based on real-time demand.

Agents running the show

Even IBM with its storied fixed-infrastructure history is all-in on agentic AI infrastructure capabilities — including agents and Model Context Protocol (MCP) servers — across its portfolio, making infrastructure components discoverable and composable by AI agents. These agents don’t just watch the infrastructure state; they actively orchestrate resources across enterprise data and applications, creating optimal configurations for specific workloads.

Management interfaces across IBM cloud, storage, power and Z platforms are becoming MCP-compatible services — turning infrastructure into building blocks that agents can reason about and orchestrate. Vendor-native agentic management solutions introduced similar AI-driven orchestration enhancements in 2024, letting large enterprises dynamically allocate resources across compute, storage and networking.

Self-aware and self-correcting infrastructure

Instead of manually configuring every component, composable architectures enable intent-based interfaces. You specify business objectives — support 10,000 concurrent users with sub-100ms latency at 99.99% availability — and agents figure out the infrastructure composition to make it happen.

Emerging intelligent infrastructure player Quali describes this as “infrastructure that understands itself” — systems where agentic AI doesn’t just demand infrastructure that keeps up, but infrastructure built from composable components that agents can understand and orchestrate.

Getting scale and flexibility in real time

Traditional infrastructure forces a choice: optimize for scale or build for adaptability. As architects, there are clear opposing trade-offs we must navigate successfully: Scale relative to adaptability, investment versus sustaining operations, tight oversight versus autonomy and process refactoring versus process reinvention.

Composable architectures solve this by delivering both. The dual nature of agentic AI — part tool, part human-like — doesn’t fit traditional management frameworks. People are flexible but don’t scale. Tools scale but can’t adapt. Agentic AI on composable infrastructure gives you scalable adaptability — handling massive workloads while continuously reconfiguring for changing contexts.

Self-composability and evolved governance

Agent-orchestrated infrastructure demands governance that balances autonomy with control. The earlier-mentioned MIT Sloan Management Review and BCG study found that most agentic AI leaders anticipate significant changes to governance and decision rights as they adopt agentic AI. They recommend creating governance hubs with enterprise-wide guardrails and dynamic decision rights rather than approving individual AI decisions one by one.

The answer lies in policy-based composition, defining constraints that bound agent decisions without prescribing exact configurations. Within those boundaries, agents compose and recompose infrastructure autonomously.

When AI agents continuously compose and recompose resources, you need governance frameworks that look nothing like traditional change management. A model registry that includes MCP connects different large language models while implementing guardrails for analytics, security, privacy and compliance. This treats AI as an agent whose decisions must be understood, managed and learned from — not as an infallible tool.

Making it happen in 2026

What should IT leaders do? Here are the most critical moves from my perspective.

Redesign work around agents first. Use agentic AI’s capacity to implement scalability and adapt broadly within parameterized governance automation rather than automating isolated tasks. Almost two-thirds of agentic AI leaders expect operating model changes. Build workflows that shift smoothly between efficiency and problem-solving modes.

Rethink roles for human-agent collaboration. Agents are an architect’s new partner. Reposition your role as an architect in the enterprise to adopt and embrace portfolios of AI agents to coordinate workflows, and traditional management layers change. Expect fewer middle management layers, with managers evolving to orchestrate hybrid human-AI teams. Consider dual career paths for generalist orchestrators and AI-augmented specialists.

Keep investments tied to value. Agentic AI leaders anchor investments to value — whether efficiency, innovation, revenue growth or some combination. Agentic systems are evolving from finite function agents to multi-agent collaborators, from narrow to broadly orchestrated tasks and other ecosystems and agents, and from operational to strategic human-mediated partnership.

The bottom line

The companies that will win in the next decade will recognize composability as the foundation of adaptive infrastructure. When every part of the technology stack becomes a modular building block and intelligent agents compose those blocks into optimal configurations based on real-time context, infrastructure becomes a competitive advantage instead of a constraint.

Organizations that understand agentic AI’s dual nature and align their processes, governance, talent and investments accordingly will realize its full business value. My architect’s perspective is that agentic AI will challenge established management approaches and, yes, even convince many of its ability to defy gravity. But with the right strategy and execution, it won’t just offer empty promises — it will deliver results. Further, our grounded expectations around the capacity of aging infrastructure and legacy demand patterns must guide us in ensuring we make intelligent decisions.

The question isn’t whether to embrace composable, agent-orchestrated infrastructure. It’s how fast you can decompose monolithic systems, build orchestration capabilities and establish the governance to make it work.

This article was made possible by our partnership with the IASA Chief Architect Forum. The CAF’s purpose is to test, challenge and support the art and science of Business Technology Architecture and its evolution over time, as well as grow the influence and leadership of chief architects both inside and outside the profession. The CAF is a leadership community of the IASA, the leading non-profit professional association for business technology architects. 

This article is published as part of the Foundry Expert Contributor Network.
Want to join?

오픈AI는 AI 칩 스타트업 세레브라스 시스템즈(Cerebras Systems)로부터 컴퓨팅 용량을 구매하는 수십억 달러 규모의 계약을 체결했다고 14일 밝혔다. 챗GPT 개발사인 오픈AI는 급증하는 사용자 수요에 대응하고, 데이터센터와 네트워크 자원에 가해지는 부담이 커지는 상황에서 충분한 인프라를 확보하기 위한 조치라고 설명했다.

이번 계약에 따라 오픈AI는 세레브라스가 설계한 칩을 활용해 챗GPT 추론 워크로드 일부를 운영하게 된다. 월스트리트저널(WSJ)의 14일 보도에 따르면 오픈AI는 3년에 걸쳐 최대 750메가와트 규모의 컴퓨팅 용량을 구매하기로 약정했다.

이번 행보는 대규모 AI 서비스가 전력 수급, 네트워킹, 데이터센터 간 연결성에 상당한 부담을 주고 있음을 보여준다. 오픈AI는 엔비디아의 지배적인 GPU보다 더 빠르고 비용 효율적인 대안을 찾고 있다.

오픈AI 경영진은 회사가 컴퓨팅 용량 제약에 직면해 있다고 지속적으로 경고해 왔다. 현재 오픈AI의 도구는 매주 8억 명이 넘는 사용자가 이용하고 있다. 이로 인해 인프라를 확장하기 위해 더 많은 파트너가 필요하다는 판단이 나오고 있다.

세레브라스와의 계약은 오픈AI가 인프라를 다각화하기 위해 추진해 온 일련의 노력의 연장선에 있다. 오픈AI는 브로드컴과 맞춤형 AI 칩을 개발하고 있으며, AMD의 최신 가속기 도입도 계획하고 있다. 이는 비용을 억제하고 엔비디아에 대한 의존도를 낮추기 위한 전략이다.

AI 인프라 재설계

오픈AI가 전용 추론 용량에 대규모로 투자한 것은 대형 AI 플랫폼들이 단일 가속기 모델을 넘어, 지연 시간에 민감한 워크로드를 지원하기 위해 인프라를 재구성하고 있음을 보여준다.

애널리스트들은 향후 AI 워크로드가 더욱 다양해지고 요구 수준도 높아질 것으로 보고 있다. 이에 따라 추론 성능에 최적화된 아키텍처에 대한 필요성이 커지고 있으며, 데이터센터 네트워크에 가해지는 부담도 한층 가중될 전망이다.

컨설팅 기업 카운터포인트리서치의 리서치 부문 부사장 닐 샤는 “이러한 변화로 하이퍼스케일러는 컴퓨팅 시스템을 다각화하고 있다”라며 “범용 AI 워크로드에는 엔비디아 GPU를 활용하고, 고도로 최적화된 작업에는 자체 AI 가속기를, 초저지연이 요구되는 특화 워크로드에는 세레브라스와 같은 시스템을 사용하는 방식”이라고 설명했다.

이로 인해 하이퍼스케일 환경에서 운영되는 AI 플랫폼은 단일하고 범용적인 클러스터에서 벗어나, 보다 계층화되고 이기종이 혼합된 인프라 전략으로 인프라 제공업체를 압박하고 있다.

사이버미디어리서치 산업연구그룹의 부사장 프라부 람은 “오픈AI가 세레브라스 기반 추론 용량을 도입한 것은 AI 데이터센터 설계 방식 전반에서 나타나는 광범위한 변화를 반영한다”라며 “이는 엔비디아를 대체하기 위한 움직임이라기보다, 추론이 확대되면서 나타나는 다각화 흐름에 가깝다”라고 분석했다.

람은 이 정도 규모에 이르면 인프라는 AI 공장과 유사한 형태를 띠게 된다며, 도시 규모의 전력 공급과 고밀도 동서 트래픽 네트워킹, 저지연 인터커넥트가 최대 연산 성능(FLOPS)보다 더 중요해진다고 설명했다.

테크인사이츠의 반도체 애널리스트 마니시 라왓은 “이 수준에서는 기존의 랙 밀도, 냉각 모델, 계층형 네트워크가 더 이상 실용적이지 않다”라며 “추론 워크로드는 학습처럼 간헐적으로 발생하는 작업이 아니라 지속적이고 지연에 민감한 트래픽을 생성하기 때문에, 더 평평한 네트워크 토폴로지와 고차수 스위칭, 연산·메모리·인터커넥트의 긴밀한 통합을 요구한다”라고 전했다.

규모 확장에 따른 복잡성 증가

엔비디아의 GPU 기반 모델은 여전히 업계 표준으로 자리 잡고 있지만, AI 클러스터가 확장될수록 특히 인터커넥트 수요가 늘어나면서 구조는 점점 더 복잡해지고 전력 효율성도 떨어지고 있다.

람은 “세레브라스의 웨이퍼 스케일 아키텍처는 다중 GPU 패브릭에서 필연적으로 발생하는 통신 오버헤드(여러 GPU가 데이터를 주고받는 과정에서 발생하는 통신 지연과 자원 소모)를 줄여 추론 처리량과 비용 측면에서 잠재적인 이점을 제공한다”라고 설명했다.

다만 애널리스트들은 인프라 다각화가 자체적인 운영 과제를 동반한다고 경고한다.

라왓은 “이러한 변화는 운영 복잡성을 높인다”며 “이기종 가속기를 운영하려면 여러 소프트웨어 스택과 서로 다른 장애 유형을 관리해야 하고, 데이터센터 전반에서 더 복잡한 용량 오케스트레이션이 필요하다”고 언급했다.

오픈AI는 수요 변동성이 큰 환경에서 특화된 컴퓨팅 용량에 대한 장기적 투자 약정을 맞추는 동시에, 워크로드를 실시간으로 가장 효율적인 가속기로 동적으로 분산해야 하는 과제에 직면해 있다. 이를 위해 오케스트레이션과 자원 활용에서 발생할 수 있는 공백을 최소화하는 것이 핵심 과제로 꼽힌다.

인프라를 여러 아키텍처로 분산하면서 이러한 투자 자산의 수명 주기를 관리하는 문제도 또 다른 부담이다. 샤는 “실리콘의 수명 주기인 18~24개월과 시설의 수명 주기인 15~20년 사이의 격차가 점점 벌어지고 있다”며 “칩 혁신 속도를 고려하면, 100억 달러(약 13조 원)를 넘는 특화 하드웨어가 데이터센터가 완전히 가동되기도 전에 기술적으로 구식이 될 위험이 있다”고 지적했다.

AI 인프라가 확장될수록 전력, 냉각, 네트워킹이 지배적인 제약 요인으로 부상하고 있다. 람은 “컴퓨팅 아키텍처를 전력망 규모의 전력 공급과 효율적인 데이터 이동에 맞출 수 있는 벤더가 차세대 AI 인프라의 방향을 규정하게 될 것”이라고 전했다.
dl-ciokorea@foundryco.com

In finance, portfolio management involves the strategic selection of a collection of investments that align with an investor’s financial goals and risk tolerance. 

This approach can also apply to IT’s portfolio of systems, with one addition: IT must also assess each asset in that portfolio for operational performance.

Today’s IT is a mix of legacy, cloud-based, and emerging or leading-edge systems, such as AI. Each category contains mission-critical assets, but not every system performs equally well when it comes to delivering business, financial, and risk avoidance value to the enterprise. How can CIOs optimize their IT portfolio performance?

Here are five evaluative criteria for maximizing the value of your IT portfolio.

Mission-critical assets

The enterprise’s most critical systems for conducting day-to-day business are a category unto themselves. These systems may be readily apparent, or hidden deep in a technical stack. So all assets should be evaluated as to how mission-critical they are.

For example, it might be that your ERP solution is a 24/7 “must have” system because it interfaces with a global supply chain that operates around the clock and drives most company business. On the other hand, an HR application or a marketing analytics system could probably be down for a day with work-arounds by staff.

More granularly, the same type of analysis needs to be performed on IT servers, networks and storage. Which resources do you absolutely have to have, and which can you do without, if only temporarily?

As IT identifies these mission-critical assets, it should also review the list with end-users and management to assure mutual agreement.

Asset utilization

Zylo, which manages SaaS inventory, licenses, and renewals, estimates that “53% of SaaS licenses go unused or underused on average, so finding dormant software should be a priority.” This “shelfware” problem isn’t only with SaaS; it can be found in underutilized legacy and modern systems, in obsolete servers and disk drives, and in network technologies that aren’t being used but are still being paid for.

Shelfware in all forms exists because IT is too busy with projects to stop for inventory and obsolescence checks. Consequently, old stuff gets set on the shelf and auto-renews.

The shelfware issue should be solved if IT portfolios are to be maximized for performance and profitability. If IT can’t spare the time for a shelfware evaluation, it can bring in a consultant to perform an assessment of asset use and to flag never-used or seldom-used assets for repurposing or elimination.

Asset risk

The goal of an IT portfolio is to contain assets that are presently relevant and will continue to be relevant well into the future. Consequently, asset risk should be evaluated for each IT resource.

Is the resource at risk for vendor sunsetting or obsolescence? Is the vendor itself unstable? Does IT have the on-staff resources to continue running a given system, no matter how good it is (a custom legacy system written in COBOL and Assembler, for example)? Is a particular system or piece of hardware becoming too expense to run? Do existing IT resources have a clear path to integration with the new technologies that will populate IT in the future?

For IT assets that are found to be at risk, strategies should be enacted to either get them out of “risk” mode, or to replace them.

Asset IP value

There is a CIO I know in the hospitality industry who boasts that his hotel reservation program, and the mainframe it runs on, have not gone down in 30 years. He attributes much of this success to custom code and a specialized operating system that the company uses, and he and his management view it as a strategic advantage over the competition.

He is not the only CIO who feels this way. There are many companies that operate with their “own IT special sauce” that makes their businesses better. This special sauce could be a legacy system or an AI algorithm. Assets like these that become IT intellectual property (IP) present a case for preservation in the IT portfolio.

Asset TCO and ROI

Is every IT asset pulling its weight? Like monetary and stock investments, technologies under management must show they are continuing to produce measurable and sustainable value. The primary indicators of asset value that IT uses are total cost of ownership (TCO) and return on investment (ROI).

TCO is what gauges the value of an asset over time. For instance, investments in new servers for the data center might have paid off four years ago, but now the data center has an aging bay of servers with obsolete technology and it is cheaper to relocate compute to the cloud.

ROI is used when new technology is acquired. Metrics are set that define at what point the initial investment into the technology will be recouped. Once the breakeven point has been reached, ROI continues to be measured because the company wants to see new profitability and/or savings materialize from the investment. Unfortunately, not all technology investments go as planned. Sometimes the initial business case that called for the technology changes or unforeseen complications arise that turn the investment into a loss leader.

In both cases, whether the issue is TCO or ROI, the IT portfolio must be maintained in a way such that losing or wasted assets are removed.

Summing it up

IT portfolio management is an important part of what CIOs should be doing on an ongoing basis, but all too often, it is approached in a reactionary mode — for example, with a system being replaced only when users ask for it to be replaced, or a server needing to be removed from the data center because it fails.

The CEO, the CFO, and other key stakeholders whom the CIO deals with during technology budgeting time don’t help, either. While they will be interested in how long it will take for a new technology acquisition to “pay for itself,” no one ever asks the CIO about the big picture of IT portfolio management: how the overall assets in the IT portfolio are performing, and which assets will require replacement for the portfolio to sustain or improve company value.

To improve their own IT management, CIOs should seize the portfolio management opportunity. They can do this by establishing a portfolio for their company’s IT assets and reviewing these assets periodically with those in the enterprise who have direct say over IT budgets.

IT portfolio management will resonate with the CFO and CEO because both continually work with financial and risk portfolios for the business. Broader visibility of the IT portfolio will also make it easier for CIOs to present new technology recommendations and to obtain approvals for replacing or upgrading existing assets when these actions are called for.

See also:

• Should CIOs rethink the IT roadmap?
• Innovative financing techniques can boost your IT budget
• Digital transformation works best when co-owned — but only if you do it right

업타임 인스티튜트(이하 업타임)의 ‘2026년 데이터센터 전망’ 조사에 따르면, 데이터센터 산업은 기술적 대응만으로 해결하기 어려운 전력 수급 과제에 직면하고 있다.

업타임 리서치 총괄 디렉터인 앤디 로렌스는 성명을 통해 “핵심 디지털 인프라는 계속해서 확대되고 있지만, AI가 수요 구조를 어떻게 변화시킬지를 두고 불확실성이 커지면서 투자 계획과 회복 전략 수립이 한층 어려워지고 있다. 데이터센터 설계와 구축 방식도 점차 다양화되고 있으며, 탄소 포집 기술, AI, 데이터센터 자동화 분야에서 투자와 기술 개발이 확대될 것으로 예상한다”라고 전망했다.

실제로 데이터센터 건설 속도와 새로운 발전 및 송전 설비를 실제로 가동하기까지 걸리는 시간 사이의 격차가 점차 벌어지고 있다는 점이 가장 큰 우려 요인으로 지목됐다.

로렌스는 “올해 전망은 2025년 예측을 바탕으로 하며, 업계의 지속적인 성장과 그에 따른 과제에 초점을 맞춘다. 현재로선 AI가 데이터센터 성장 속도를 높이는 강력한 변화 요인인 것으로 평가하고 있다”라고 설명했다. 업타임이 제시한 2026년 데이터센터 산업의 주요 전망 5가지를 소개한다.

1. AI 인프라 업체의 쏠림 현상 심화

업타임에 따르면, 많은 기업이 AI 도구를 실험하는 동안 AI를 뒷받침하는 인프라는 몇몇 소수 업체에 점점 더 집중되는 흐름을 보이고 있다.

업타임 리서치 디렉터인 다니엘 비조는 “기업과 소비자 전반에서 AI 도구 활용이 확대되고 있지만, 그렇다고 해서 AI 연산이나 AI 인프라까지 고르게 분산되는 것은 아니다. AI 연산 인프라의 집중도는 앞으로 몇 년간 오히려 더 높아질 것”이라고 설명했다.

업타임은 대부분 기업의 AI 인프라 투자가 비교적 제한적인 수준에 머물고 있다고 분석했다. 기업은 추론(inference)과 일부 학습에만 투자를 집중하고 있을 가능성이 크며, 추론 중심의 워크로드는 대규모 용량 확대를 필요로 하지 않는다는 설명이다.

비조는 “AI 연산 인프라가 소수 업체에 쏠리는 흐름은 향후 몇 년간 소폭이지만 계속 강화될 것”이라며 “2026년 말까지 생성형 AI와 인접 워크로드를 운영하기 위해 전 세계 데이터센터에 약 10기가와트(GW)의 새로운 IT 부하가 추가될 것”라고 전망했다. 그는 이어 “전 세계적으로 약 1,300만~1,500만 개의 GPU와 가속기가 배치된다는 의미이며, 이들 대부분은 슈퍼컴퓨팅 방식으로 구축될 것으로 본다”라고 말했다.

2. 데이터센터 확장 속도를 따라가지 못하는 전력 공급

업타임은 가장 시급한 과제로, 데이터센터가 3년 이내에 건설할 수 있는 반면 발전 설비 구축에는 훨씬 더 오랜 시간이 걸린다는 점을 꼽았다.

업타임 리서치 애널리스트인 맥스 스몰락스는 “태양광이나 풍력 발전 단지를 구축하는 데는 3~6년이 걸리고, 복합화력발전소는 약 6년이 소요된다. 기존 원자력발전소의 경우 낙관적으로 보더라도 10년 이상이 필요하다”라고 진단했다.

업타임은 데이터센터 규모가 상대적으로 작고 성장 흐름이 예측 가능하던 시기에는 이러한 격차를 관리할 수 있었지만, 현재는 프로젝트 규모가 수십에서 많게는 수백 메가와트 단위로 커지면서 단기간에 필요한 전력을 확보하는 것이 거의 불가능해졌다고 지적했다.

스몰락스는 “많은 데이터센터가 2026년부터 본격적으로 드러날 위기의 규모와 심각성에 충분히 대비하지 못한 상태일 가능성이 높다. 무엇을, 어떻게, 어디에 건설할 수 있는지를 결정하는 핵심 요소는 발전과 배전 설비가 될 것이며, 이러한 전력 위기는 수년간 이어질 수 있다”라고 내다봤다.

업타임은 주요 지역에서 전력 비용이 상승해 데이터센터 건설사가 점차 2차 시장으로 눈을 돌릴 것으로 전망했다. 또한 데이터센터가 전력망에 연결되는 조건으로, 전력 수요가 집중되는 시간대에는 외부 전력 사용을 줄이고 자체 발전 설비를 가동하는 등 수요 조절에 협력해야 할 가능성도 높다고 분석했다.

3. 탄소 포집 기술에 주목

일부 데이터센터는 천연가스 발전을 통해 전력을 확보하려 하고 있지만, 그 과정에서 또 다른 과제에 직면하고 있다. 성장에 필요한 전력 공급을 우선할 것인지, 아니면 개별 시설에 설정된 탄소중립 목표를 충족할 것인지를 두고 판단해야 하는 상황이다.

이런 상황에서 업타임은 탄소 포집 및 저장(CCS) 시스템이 2026년 이후 이론적 논의를 넘어 실용 단계로 전환될 것으로 전망했다. CCS는 발전이나 산업 공정에서 발생한 이산화탄소를 배출하지 않고 포집해 저장하거나 다른 장소로 운송해 처리하는 기술이다. 이는 그동안 경제성이 낮다는 평가를 받아왔지만, 업타임은 기술 성숙도 향상과 대안 에너지원의 비용 상승, 탄소 상쇄 비용 증가 등이 맞물리면서 CCS의 경쟁력이 재평가되고 있다고 분석했다. 다만 포집한 탄소를 현지에 저장할 수 있거나, 저비용으로 운송이 가능한 지역에서만 현실적인 선택지가 될 수 있다고 덧붙였다.

로렌스는 “이를 구현하는 한 가지 방식이 천연가스 발전이며, 이는 전력망에 연결된 가스 터빈이나 데이터센터 부지 내에 설치된 자체 가스 터빈 형태로 운영되는 경우가 많다. 최근 CCS 기술을 통합할 수 있는 기업과 협력하려는 데이터센터가 눈에 띄게 늘고 있다”라고 설명했다. 그는 이어 “이번 전망의 핵심은 일부 지역에서 CCS가 대규모로 적용 가능한 현실적인 선택지로 바뀌고 있다는 점”이라며, “기술 발전과 대안 에너지원의 높은 비용 등 여러 요인이 맞물리면서 CCS가 실제로 도입할 수 있는 기술로 자리 잡고 있고, 특정 환경에서는 충분히 확장 가능한 해법이 되고 있다”라고 분석했다.

4. 규모 확대가 새로운 과제로 부상

업타임은 데이터센터의 규모가 커지고 특정 지역에 집중될수록 운영 안정성 리스크도 함께 커지고 있다고 경고했다.

로렌스는 “개별 데이터센터의 물리적 규모뿐 아니라, 대규모 데이터센터가 특정 지역에 밀집되는 현상 자체가 상당한 리스크를 만들어내고 있다”라고 설명했다.

특히 노후화된 송전 설비와 간헐적으로 발전되는 재생 에너지의 비중 확대가 전력망 불안정성을 키우고 있으며, 대규모 데이터센터가 한 지역에 몰려 전력망 안정성에 직접적인 영향을 미치고 있다. 업타임은 이러한 변화에 규제 당국도 주목하고 있다고 전했다. 실제로 여러 국가에서 데이터센터가 더 큰 전압 변동을 견딜 수 있도록 요구하고, 전력망 이상 발생 시 부하 차단을 피하거나 지연하도록 하는 새로운 규제를 검토하고 있다.

5. 데이터센터 AI 자동화, 실운영 단계로 전환

2026년에는 AI 기반 데이터센터 자동화도 실험 단계를 벗어나, 일상적인 운영을 지원하는 수준으로 전환될 전망이다.

업타임의 리서치 애널리스트인 랜드 탈리브는 “2026년에는 AI에 기반한 데이터센터 운영이 목표 지향적으로 초기 단계에 접어들 것”이라고 설명했다. 그는 데이터센터 자동화가 냉각 및 전력 최적화를 위한 강화 학습, 하이브리드 디지털 트윈, 업무 흐름을 지원하는 산업용 코파일럿, 실시간 센서 데이터에 대응해 자동으로 반응하는 고도화된 규칙 기반 오케스트레이션 등을 중심으로 전개될 것이라고 내다봤다.

그는 “앞으로 1~2년 동안 업계는 완전한 무인·자율 운영으로 가기보다는, 사람이 관리·감독하는 범위 안에서 실용적인 자동화를 단계적으로 도입하는 방향으로 움직일 것”이라며 “이러한 자동화는 당장 데이터센터 운영을 대체하기보다는 업무 부담을 줄이고 더 안정적으로 운영되도록 지원하는 데 목적이 있다”라고 설명했다.

초대형 클라우드 업체와 코로케이션 업체는 비교적 빠르게 AI 자동화 도입을 추진할 것으로 예상되지만, 대부분의 업체는 점진적인 업그레이드를 통해 신중하게 접근할 가능성이 크다. 업타임은 전력 제약을 완화할 수 있는 비교적 쉬운 해법이 이미 대부분 소진됐다며, AI 지원 경쟁이 전력망과 공급망, 기존의 운영 안정성 전략에 부담을 주고 있다고 지적했다.

로렌스는 “AI가 지배적인 화두로 떠오른 지는 오래되지 않았다”라며 “많은 데이터센터 업체가 명확한 AI 수요가 확인되기 전까지는 신중한 계획 단계에 머물고 있다”라고 전했다.
dl-ciokorea@foundryco.com

구글은 전력망 연결 지연이 데이터센터에 전력을 공급하는 데 가장 큰 장애물이 되고 있다며, 지연 기간이 최대 12년에 이를 수 있다고 내다봤다. AI 워크로드가 급증하는 가운데, 구글은 클라우드 용량 확장을 제한하는 인프라 위기가 본격화되고 있다고 강조했다.

구글의 글로벌 지속가능성 및 기후 정책 총괄인 마스든 한나는 지난 15일 열린 미국기업연구소(AEI) 행사에서 “전력망의 핵심 과제는 송전 장벽”이라며, 여러 지역의 전력 기업이 데이터센터 신규 연결까지 4년에서 10년이 걸린다고 안내하고 있다고 설명했다. 그중 일부 기업은 전력망 연결 요청을 검토하는 데만 12년이 필요하다고 통보한 것으로 알려졌다.

실제로 데이터센터 전력 소비가 급격히 늘어날 것이라는 전망은 꾸준히 제기되고 있다. 지난해 12월 로렌스버클리국립연구소가 발표한 연구에 따르면, 데이터센터 전력 사용량은 2023년 176테라와트시(TWh)에서 2028년 325~580TWh 수준으로 증가할 전망이다. 하지만 전력망은 이처럼 증가하는 수요를 감당하지 못하고 있으며, 미국에서만 발전 및 에너지 저장 설비 등 약 2,300기가와트(GW) 규모의 전력 용량이 아직도 전력망 연결을 기다리고 있는 상황이다.

기업의 IT 인프라를 총괄하는 CIO에게 전력망 문제는 클라우드 용량 확장에 대한 기존 인식을 바꿔놓고 있다. 그레이하운드 리서치의 수석 애널리스트 산칫 비르 고기아는 “이제 클라우드가 무한하다는 전제를 버려야 한다. 지금의 병목은 반도체나 소프트웨어가 아니라 전기 공급”이라고 지적했다.

전력망 전반으로 확산되는 구조적 지연

구글이 겪고 있는 연결 지연은 특정 기업이 아니라 전력망 전반에 누적된 문제다. 버클리국립연구소 자료에 따르면 전력망 연결 대기 기간은 2000~2007년에 추진된 프로젝트의 경우 2년이 채 걸리지 않았지만, 2018~2024년에는 평균 4년 이상으로 2배 넘게 늘어났다. 2000~2019년 사이 전력망 연결을 신청한 전체 설비 가운데 2024년 말까지 실제 상업 운전에 도달한 비율은 13%에 불과했다.

이 같은 지연의 근본 원인으로는 급증하는 전력 수요를 감당하지 못하는 노후 송전 인프라가 지목됐다. 한나는 “지역 간 송전선로를 새로 구축하려면 허가 절차만 7~11년이 소요된다”라고 설명했다. 그는 “SPP(Southwest Power Pool) 예측에 따르면 송전 인프라 확충 속도가 지금처럼 수요를 따라가지 못할 경우, 전력을 공급하지 못하는 ‘부하 손실’ 상황이 최대 115일에 이를 수 있다”라고 언급했다.

전력망 전반에 걸친 지연은 기업으로 하여금 클라우드 용량에 대한 기본 가정을 재고하게 하고 있다. 북부 버지니아와 산타클라라처럼 초대형 데이터센터 구축의 최적지로 꼽히던 지역조차 공급할 전력이 빠르게 소진되고 있는 상황이다.

인프라 제약은 클라우드 시장의 경쟁 구도도 바꾸고 있으며, 기술 역량이 아니라 전력에의 접근성이 경쟁의 핵심 요소로 떠오르고 있다. 고기아는 “이제 경쟁은 누가 더 많은 GPU 인스턴스를 먼저 내놓느냐의 문제가 아니다. 누가 먼저 전력망에 접근하느냐의 싸움으로 바뀌고 있다”라고 말했다.

대안으로 떠오른 ‘코로케이션’

기존 전력망 연결을 수년씩 기다릴 수 없게 되면서, 주요 클라우드 업체는 발전소 바로 옆에 데이터센터를 짓는 코로케이션 방식을 대안으로 선택하고 있다. 이는 송전망을 거치지 않고 발전원과 직접 연결하는 방식이다. 고기아는 전력 공급이 제한된 지역의 코로케이션 수요가 급증하면서 계약 가격이 약 20% 상승했다고 밝히며, 이 비용이 지역별 가격 차이를 통해 클라우드 고객에게 전가되고 있다고 설명했다.

구글도 이 같은 방안을 검토하고는 있지만, 한나는 회사가 여전히 전력망에 연결된 데이터센터를 최우선 방식으로 삼고 있다고 강조했다. 그는 “전력을 더 빨리 확보하기 위한 선택”이라면서도, 데이터센터가 발전소 전력을 단독으로 사용하는 고립형 시설이 아니라 전력망에 연결돼 다른 수요처와 전력을 함께 사용하는 형태를 유지하길 원한다고 밝혔다.

그에 따르면 다른 클라우드 업체 역시 전력 회사와 직접 협상에 나서거나 발전소 인근 토지를 확보하고, 배터리부터 소형 모듈 원자로(SMR)에 이르기까지 다양한 전력 인프라에 대한 투자 가능성을 검토하고 있다.

다만 코로케이션은 새로운 안정성 문제를 동반한다. 고기아는 데이터센터가 전력망과 분리된 상태에서 단일 발전원에 의존할 경우 기존의 이중화 전략을 적용하기 어려워질 수 있다고 지적했다. 그는 “전통적인 클라우드 리전은 이중 전력 공급망과 중복 변전소, 네트워크 전반에서 전력을 끌어올 수 있는 구조를 갖춰 왔다. 반면 코로케이션 데이터센터는 종종 고립된 섬처럼 운영된다”라고 말했다.

임시 대응을 넘어 구조적 해법 필요

코로케이션이 단기적인 대응책이 될 수는 있지만, 송전 용량 부족이라는 근본 문제를 해결하려면 보다 폭넓은 정책적 개입이 필요하다는 지적도 나온다. 이와 관련해 미국 연방 규제 당국은 지난 2023년 전력망 연결 절차를 개선하기 위해 나선 바 있다. 기존에 신청 순서대로 처리하던 방식 대신, 준비가 가장 잘 된 사업을 우선 연결하는 ‘준비 우선’ 클러스터 모델을 도입하고, 부지 확보 요건을 강화하는 한편 보증금 부담도 높였다. 다만 실제 이행은 여전히 더디고 전력망 자체의 용량 부족 문제를 해결하기에는 역부족인 상황이다.

미국 에너지부는 첨단 송전 기술을 활용할 경우 최대 100GW의 추가 용량을 확보할 수 있을 것으로 보고 있다. 다만 이를 현실화하려면 전력 기업이 해당 기술을 도입하도록 유도할 수 있는 규제 환경 변화가 필요하다. 골드만삭스 리서치는 데이터센터 확장을 지원하기 위해 2030년까지 약 7,200억 달러에 달하는 전력망 투자가 필요할 것으로 추산했다.

고기아는 “클라우드 업체나 리전을 선택할 때 이제는 기술적 적합성뿐만 아니라, 해당 사업자가 향후 5년 동안 워크로드를 감당할 수 있는 전력 사용 역량을 확보하고 있는지 여부도 확인해야 한다. 지금 같은 시장에서는 훨씬 더 신중하게 선택해야 한다”라고 조언했다.
dl-ciokorea@foundryco.com

IDC의 최신 ‘전 세계 분기별 개인용 컴퓨팅 기기 추적 보고서’에 따르면 2025년 4분기 글로벌 PC 출하량은 전년 동기 대비 9.6% 증가했다. 다만 메모리 부족 사태가 기업과 소비자 시장 모두에 영향을 미칠 것으로 예상되면서, 출하량 증가세가 지속될 가능성은 크지 않은 것으로 분석됐다.

IDC는 메모리 수급 상황이 빠르게 변화하고 있다는 점을 고려할 때 12개월 뒤 PC 시장이 크게 달라질 것으로 내다봤다. IDC는 “이번 실적에는 윈도우 10 지원 종료로 인한 업그레이드 수요, 연초 관세에 대한 우려로 벤더가 당초 계획보다 많은 재고를 앞당겨 확보한 점이 영향을 미쳤다”라고 설명했다.

IDC 리서치 매니저 지테시 우브라니는 “메모리 부족이 산업 전반에 영향을 미치고 있으며, 그 여파가 향후 2년간 시장의 역학 구조를 재편할 가능성이 크다”라고 전망했다.

IDC는 지난달 공개한 보고서에서 “글로벌 반도체 생태계가 전례 없는 메모리 칩 부족 상황에 직면해 있으며, 이로 인한 파급 효과가 기기 제조사와 최종 사용자에게까지 확산돼 2027년까지 이어질 수 있다. AI 데이터센터에서 발생하는 수요가 공급을 계속해서 웃돌면서 디램(DRAM) 가격이 크게 상승했고, 이로 인해 수급 불균형이 심화되고 있다”라고 진단했다.

올해 PC 가격은 높은 수준 유지

IDC 연구진은 메모리 시장이 “수요가 공급을 크게 웃도는 전례 없는 변곡점에 놓여 있다”라며, “장기간 호황과 불황이 반복돼 온 산업이지만, 이번에는 양상이 다르다. AI 인프라와 워크로드가 빠르게 확대되면서 메모리 생태계 전반에 상당한 압박을 가하고 있다”라고 분석했다.

램 가격 급등은 기업용 PC 시장에도 당분간 영향을 미칠 가능성이 크다. 인포테크 리서치 그룹의 수석 자문 이사 테오 안토니아디스는 2026년은 물론 2027년까지도 가격이 높은 수준으로 유지될 것으로 내다봤다. 그는 “이로 인해 PC 가격은 최대 20%까지 오를 수 있으며, PC와 스마트폰 시장에서 명확한 승자와 패자가 갈릴 것”이라고 설명했다.

안토니아디스는 “장기 공급 계약과 같은 헤징 전략을 갖추고, 출하 물량이 많으며 충분한 현금 보유고를 확보한 벤더가 유리한 위치에 설 것”이라고 설명했다. 반면 “가격 경쟁력을 핵심으로 삼아 낮은 마진에 의존하거나 규모가 작은 업체는 이 기간 동안 어려움을 겪을 가능성이 크다”라고 전망했다.

대기업이 여전히 노트북은 3년, 데스크톱은 5년 주기로 교체하고 있는지, 아니면 사용 기간을 더 늘리고 있는지를 묻는 질문에 안토니아디스는 “아직 현실을 부정하고 있는 상태”라고 진단했다. 그는 “2026년 예산이 지난 분기인 2025년 4분기에 확정됐기 때문에, 아직 이 문제를 논의하는 고객을 거의 보지 못했다”라고 설명했다.

다만 그는 실제 교체 견적을 받는 과정에서 가격 변화를 체감하게 되면 일부 전략 수정과 구매 축소가 나타날 가능성이 있다고 내다봤다. 그는 “가격이 내려가지 않을 경우 2027년에는 저성능 PC를 활용한 VDI(Virtual Desktop Infrastructure)가 다시 부상하고, 노후 PC로 인한 생산성 저하를 상쇄하기 위해 클라우드 기반 솔루션을 다시 한번 확대하려는 움직임이 나타날 수 있다”라고 전망했다.

IDC 월드와이드 모바일 디바이스 트래커의 리서치 부사장 장 필리프 부샤르는 “일부 제조사가 이미 발표한 시스템 가격 인상 외에도, 메모리 재고를 유지하기 위해 평균적인 PC 메모리 사양이 낮아질 수도 있다. 앞으로 1년이 매우 변동성이 큰 시기가 될 것”이라고 내다봤다.

IDC는 지난달 보고서에서 메모리 부족 사태가 AI PC를 중심으로 한 업계의 성장 구조를 흔들 수 있다고 지적했다. IDC는 NPU를 탑재한 모든 PC를 AI PC로 정의하고 있는데, 이러한 기기는 본질적으로 더 많은 램을 요구하는 경향이 있다. 실제로 마이크로소프트의 코파일럿+ PC는 최소 16GB 램을 필요로 한다.

연구진은 소규모 언어 모델과 대규모 언어 모델이 점차 기기 내부에 탑재되면서 메모리의 중요성이 더욱 커지고 있다고 분석했다. 연구진은 “이에 따라 고급형 시스템 상당수가 32GB 이상으로 전환되는 흐름이 나타나고 있지만, 업계가 램 증설의 필요성을 인식하는 시점에 오히려 비용 부담이 지나치게 커졌다는 점이 문제다. 설령 공급을 확보하더라도 추가 비용이 과도해진 상황이다. 그 결과 가격 인상이나 마진 축소, 혹은 신규 시스템에서 램 용량을 낮추는 선택이 불가피해질 수 있다”라고 내다봤다.

우브라니는 지난 1~2년간 메모리 부족 문제가 없었음에도 기업용 AI PC 수요가 다소 주춤한 흐름을 보여왔다고 설명했다. 그는 “클라우드 기반 AI 옵션의 완성도가 매우 높아지면서, 많은 이용자가 클라우드 AI와 온디바이스 AI의 차이를 체감하지 못하고 있는 점이 주요 배경”이라고 말했다.

그는 “이번 메모리 공급난의 영향으로 벤더가 하이브리드 AI를 본격적으로 내세우기 시작할 수도 있다. 메모리 부족으로 인해 일부 시스템은 최신 AI 애플리케이션을 원활하게 구동하지 못할 수 있기 때문”이라고 덧붙였다.

대기업이 AI PC나 코파일럿 PC에 프리미엄을 지불할지, 아니면 해당 방향을 선택할 경우 공급사에 더 저렴한 SKU 제공을 요구할지에 대한 전망도 제시됐다. 안토니아디스는 “AI PC 분야에서 시장 흐름에 맞설 만한 영향력을 가진 기업은 없다고 본다. 기존에 장기 벤더 계약을 체결해 둔 기업이 상대적으로 유리한 위치에 설 것”이라고 설명했다.
dl-ciokorea@foundryco.com

MS의 부회장 브래드 스미스 이름으로 공개된 글에 따르면, MS는 데이터센터가 가져오는 혜택이 지역사회가 감당해야 할 부담을 상회해야만 장기적인 성공이 가능하다고 판단했다며, 지역과 상생하기 위한 다섯 가지 원칙을 제시했다.

MS가 제시한 5대 원칙 가운데 첫 번째는 데이터센터 전력 사용으로 인한 주민 전기요금 인상을 막겠다는 약속이다. MS는 국제에너지기구(IEA) 자료를 인용해 미국 데이터센터 전력 수요가 2035년까지 현재 200테라와트시(TWh)에서 640테라와트시로 세 배 이상 증가할 것이라고 설명했다. 이에 따라 MS는 데이터센터에 필요한 발전·송전·변전 인프라 비용을 기업이 직접 부담하고, 전력회사 및 주(州) 규제기관과 협력해 대규모 전력 사용자에 적합한 전기요금 체계를 적용하겠다고 밝혔다. 핵심 목표는 데이터센터 전력 수요 증가가 주거용 전기요금 인상으로 이어지지 않도록 하는 것이다.

두 번째 약속은 물 사용 관리다. 데이터센터 냉각 과정에서 사용되는 물에 대한 지역사회의 우려를 고려해 물 사용량을 최소화하고, 사용한 양보다 더 많은 물을 지역에 환원하겠다는 목표를 제시했다. 이를 위해 폐쇄형 냉각 시스템 도입, 재활용수 활용, 누수 탐지, 습지 복원 프로젝트 등이 주요 수단으로 언급됐다.

세 번째는 지역 주민을 위한 일자리 창출이다. 데이터센터 건설과 운영 과정에서 발생하는 일자리가 외부 인력에 집중되지 않도록 지역 주민을 대상으로 한 직업 훈련과 견습 프로그램을 확대하겠다는 계획이다. 커뮤니티 칼리지와 직업 교육기관과의 협력을 통해 데이터센터 운영에 필요한 기술 인력을 양성하는 것이 핵심이다.

네 번째 약속은 세수 확대다. 마이크로소프트는 데이터센터 부지와 시설에 대해 재산세 감면을 요구하지 않고, 지역 병원·학교·도서관·공원 등 공공서비스 재원으로 활용될 수 있도록 정당한 세금을 납부하겠다고 밝혔다. 이는 데이터센터가 지역 재정에 실질적으로 기여하는 구조를 만들겠다는 취지다.

마지막은 지역 AI 역량 강화다. 데이터센터가 위치한 지역 주민들이 AI 기술 확산의 수혜자가 될 수 있도록 학교, 도서관, 비영리단체와 협력해 AI 교육과 훈련 기회를 제공하겠다는 계획이다. 학생과 성인, 소상공인을 대상으로 한 AI 리터러시 교육이 주요 내용이다.

마이크로소프트는 “AI가 가져올 긍정적인 변화를 믿지만, MS 같은 기술 기업은 지역사회가 직면한 과제를 정면으로 해결해야 할 책임도 있다”라며 2026년 상반기 중 이 같은 약속들을 실행에 옮기겠다고 밝혔다.
jihyun.lee@foundryco.com

메타가 AI 인프라를 최상위 전략 과제로 격상하고, 신규 조직인 ‘메타 컴퓨트(Meta Compute)’를 출범했다. 메타 컴퓨트는 데이터센터와 네트워크의 구축·운영 책임을 단일 리더십 체계로 통합한다.

메타의 CEO 마크 저커버그는 소셜미디어를 통해 “메타는 향후 10년 동안 수십 기가와트(GW) 규모의 전력을 사용하는 AI 인프라를 구축할 계획이며, 장기적으로는 그 규모를 수백 기가와트 이상으로 확대할 것”이라며 “이 인프라를 어떻게 설계하고 투자하며 파트너십을 맺느냐가 중요한 전략적 경쟁력이 될 것”이라고 밝혔다.

해당 조직은 산토시 자나르단과 다니엘 그로스가 공동으로 이끈다. 자나르단은 기존과 같이 메타의 데이터센터와 네트워크 기반 전반을 총괄하고, 그로스는 AI 인프라의 장기 용량 계획과 벤더 전략, 비즈니스 모델링을 담당한다.

저커버그는 “두 사람은 최근 메타에 사장 겸 부회장으로 합류한 디나 파월 맥코믹과 긴밀히 협력해, 정부와 국가 단위 파트너와의 협업을 통해 메타 인프라의 구축과 배치, 투자, 재원 조달을 추진할 것”이라고 설명했다. 맥코믹은 미국 백악관에서 국가안보회의(NSC) 전략 담당 부보좌관을 지낸 인물로, 배우자인 데이브 맥코믹은 펜실베이니아주 출신 연방 상원의원이자 상원 에너지 소위원회 위원장을 맡고 있다.

이번 조치는 주요 클라우드 업체가 네트워크 성능과 전력 공급에 극단적인 부담을 주는 초대형 AI 클러스터 구축 경쟁에 나서고 있는 상황에서 나왔다. AI 인프라 규모가 커질수록 데이터센터와 네트워크, 전력 설비 전반에 대한 계획을 더욱 긴밀하게 조율할 필요가 있다는 이유다.

이 같은 규모에서는 인프라 제약이 AI 확장의 결정적인 한계 요인으로 작용한다. 신규 데이터센터를 어디에 건설할 수 있는지, 각 시설을 어떤 방식으로 상호 연결할지와 같은 판단이 AI 전략 전반에 직접적인 영향을 미칠 수 있다.

메타는 최근 비스트라(Vistra), 테라파워(TerraPower), 오클로(Oklo) 등 전력 기업과 대규모 계약을 체결한 바 있다. 해당 계약은 오하이오와 펜실베이니아 지역 데이터센터 클러스터에 전력을 공급하기 위해 최대 6.6GW, 즉 원자력 발전소 여러 기에 해당하는 규모의 에너지를 확보하는 것을 목표로 하고 있다.

데이터센터 네트워크에 미치는 영향

업계 분석가들은 AI 경쟁에서 네트워크와 고성능 연결 기술이 더 이상 보조 요소가 아니라, AI 성능과 확장성을 좌우하는 핵심 경쟁 요소로 자리 잡고 있음을 보여준다고 분석했다.

카던스 인터내셔널의 수석부사장 툴리카 실은 메타의 이번 이니셔티브가 데이터센터 네트워크의 변화 필요성을 분명히 보여준다고 설명했다. AI 인프라 내부에서 발생하는 막대한 데이터 흐름을 감당하려면, 네트워크가 고대역폭과 초저지연을 동시에 충족하는 방향으로 빠르게 진화해야 한다는 것이다.

실은 “데이터센터의 규모와 GPU 집적도가 커질수록 네트워크와 광학 부품 공급망에 가해지는 압박이 더욱 커질 것”이라며 “이에 따라 보다 고도화된 연결 기술과 더 빠른 광섬유에 대한 수요가 증가하게 될 것”이라고 진단했다.

일부 전문가는 인프라 아키텍처 전반의 변화로 이어질 가능성에도 주목했다.

포레스터의 수석 애널리스트 비스와지트 마하파트라는 “메타는 DSF(Disaggregated Scheduled Fabric)와 비스케줄링 패브릭을 새로운 51데라비트(Tbps)급 스위치 및 스케일업 네트워킹용 이더넷과 함께 사용하고 있다. 이로 인해 스위치용 반도체, 광 모듈, 오픈 랙 표준 전반에 걸쳐 부담이 커지고 있다”라고 설명했다. 이어 그는 “메타가 백본 네트워크 확장과 AI 클러스터 확대를 추진하면서, 생태계 전반에 더 빠른 광 연결 기술과 더 큰 광섬유 용량을 요구하고 있다”라고 분석했다.

이제 네트워크는 단순한 보조 수단이 아니라 AI 확장을 가로막는 핵심 제약 요소로 부상하고 있다. 실은 대규모 AI 환경에서 네트워크 병목을 피하려는 주요 클라우드 업체에게 차세대 연결 기술이 연산 자원 접근성만큼이나 중요한 요소가 되고 있다고 설명했다.

네트워크 아키텍트에 미치는 영향

수십 기가와트 규모의 AI 인프라를 계획하려면 데이터센터 설계자와 네트워크 아키텍트는 과거보다 훨씬 긴밀하게 전력과 네트워크를 통합해야 한다.

실은 “아키텍트는 에너지 소비와 열 분산, 워크로드 배치를 균형 있게 설계하는 동시에 중복 구성과 지능형 라우팅을 통해 안정성을 확보해야 한다”라면서, “이 정도 규모에서는 성능과 신뢰성을 유지하기 위해 전력 사용을 고려한 설계와 지연을 최소화한 네트워크가 필수적”이라고 분석했다.

마하파트라는 프로메테우스와 하이페리온과 같은 대형 AI 슈퍼클러스터를 예로 들며, 이러한 환경에서는 지역 단위로 견고하게 연결된 네트워크와 유연한 인프라 구성, 그리고 지속적인 확장을 가능하게 하는 임시 배치 구조가 요구된다고 설명했다. 그는 미래 AI 수요가 불확실한 상황에서, 여러 시설에 워크로드를 분산할 수 있는 설계가 중요해지고 있다고 평가했다.
dl-ciokorea@foundryco.com

As organizations accelerate their shift from traditional data center environments to hybrid and multi-cloud architectures, the scale and complexity of these initiatives demand a new caliber of project leadership. Having recently led a multi-year enterprise-wide data center transformation with global stakeholders, I’ve seen firsthand that technology alone is not what ensures success. Leadership is the key.

Even the most advanced platforms and tools can fall short without a project manager who brings the right mindset, adaptability and technical fluency. These programs are simultaneously technical undertakings and organizational-change journeys.

Based on lessons learned from managing one of the most ambitious transformations in my organization, here are the five skills essential for any project manager responsible for navigating cloud and data center modernization.

1. Systems thinking & architectural awareness

Data center transformations operate at an enterprise scale, where no system exists in isolation. Every application, integration point and data flow is part of a wider ecosystem and understanding that ecosystem is critical from day one. Systems thinking means looking beyond servers and environments to examine business processes, downstream dependencies, data protection needs and operational realities.

This requires asking targeted questions such as:

• What is the business impact if this application is down for four hours or more?
• How many teams, processes or users rely on it?
• What are its recovery objectives and how does it interact with upstream and downstream systems?

With these insights, project managers can make informed decisions about cutover sequencing and avoid grouping applications solely by physical infrastructure — an approach that often leads to outages or misplaced dependencies. Indeed, a recent empirical study of migrating legacy systems to cloud platforms identified a lack of architectural mapping and understanding of interdependencies as a key risk factor in migration failures.

Takeaway

Architectural awareness isn’t memorizing components; it’s understanding how a single change reverberates across the entire enterprise system.

2. Elastic governance & proactive risk anticipation

Large-scale migrations rarely follow a predictable or linear path. They unfold in iterative phases, each introducing new variables, technical constraints and lessons learned. Because of this, a traditional waterfall approach quickly becomes a liability. What teams need instead is an elastic governance framework that provides structure while adapting to shifting realities.

Elastic governance means adjusting processes, decision models and approval flows as new insights surface. Each application and business unit often carries its own architecture, dependencies and constraints, so a one-size-fits-all model simply doesn’t work. During our migration, daily interactions with implementation teams, developers and product owners gave me real-time visibility into emerging issues and allowed us to refine our approach continuously.

This approach mirrors trends highlighted in the ISACA Journal’s 2023 article, “Redefining Enterprise Cloud Technology Governance.” ISACA argues that traditional governance frameworks are far too rigid for modern cloud environments. Instead, they advocate for adaptive, decentralized models that empower teams to respond quickly as new constraints and dependencies emerge.

Vendor-related challenges were especially common with aging legacy systems. Proactive engagement — rather than reactive firefighting — helped us avoid failures and maintain momentum.

Takeaway

Governance should guide, not grind. Flexibility is essential for managing uncertainty and sustaining progress in complex transformations.

3. Stakeholder coordination and strategic communication

In enterprise-wide transformation programs, stakeholder alignment is often the difference between controlled progress and project derailment. Every migration window, firewall rule adjustment, environment change or sequence shift requires close coordination across security, networking, infrastructure, operations, product teams and business leadership — all operating with their own priorities and pressures.

Research shows that stakeholders often have different “frames” of a digital transformation and successful programs actively manage these perspectives to create shared understanding and alignment. Similarly, a 2023 KPMG report highlights that building trust among stakeholders — particularly around risk, security and compliance — is essential for successful cloud adoption.

A critical part of this role is translation. The project manager must convert technical constraints into clear, business-friendly updates while also translating business expectations into actionable direction for engineering teams. This dual fluency reduces misunderstanding and accelerates decision-making.

To maintain alignment, structured communication becomes essential. I established predictable rhythms — daily standups, weekly product syncs, monthly executive briefings and shared dashboards — to ensure transparency, quick escalation and consistent visibility into progress and risks.

Takeaway

The stronger and more structured the communication, the smoother and more predictable the migration.

4. Technical fluency & decision facilitation

Modernization initiatives involve ongoing decisions about whether to re-host, re-platform or re-architect applications. While a project manager doesn’t need to be the most technical person in the room, they must understand the implications of each option well enough to facilitate informed decision-making.

Technical fluency builds credibility with developers, architects, vendors and deployment teams. It also enables the project manager to ask the right questions, challenge assumptions and guide discussions toward solutions. This is especially important given the “6 Rs” of cloud migration — re-host, re-platform, refactor (re-architect) and others — which are commonly used to rationalize workloads based on business goals and technical fit.

Takeaway

Technical fluency enables clarity, connection and better decisions.

5. Resilience & change leadership

Data center transformations are long, complex and filled with uncertainties. Unexpected technical issues, compliance demands and shifting business priorities can slow down momentum and strain teams. According to the KPMG report mentioned earlier, many organizations struggle with operational resilience — more than half experienced outages or compliance issues in their cloud operations over the past year. This reinforces the importance of proactive governance and risk management. In such environments, a resilient project manager provides clarity, maintains stability and ensures the team keeps moving forward.

During our project, an unexpected compliance mandate required rapid reprioritization and additional resources. With leadership support, we realigned the plan and still met the migration deadline. Maintaining team morale during such periods is just as important as technical delivery.

Takeaway

Resilient teams don’t resist change; they stay confident through it.

Integrating the 5 skills: The project manager as transformation leader

A data center transformation is more than a technical project — it reshapes processes, roles and behaviors across the organization. When these five skills come together, the project manager transitions from a delivery role into a true transformation leader.

• Systems thinking eliminates hidden dependencies.
• Elastic governance adapts to evolving needs.
• Stakeholder coordination maintains across-the-board alignment.
• Technical fluency builds trust and accelerates decision-making.
• Resilience keeps teams focused during disruption.

The most effective transformation leaders balance discipline with flexibility.

Measuring success beyond migration

Traditional success metrics such as reduced downtime, regulatory compliance and cost optimization are important. But true success becomes clear only when the organization demonstrates improved adaptability and stronger collaboration between IT and the business.

When a project manager embeds adaptability deep into the organization, the transformation continues long after the final cutover.

The future-ready project manager

Looking ahead, managing a data center transformation a decade from now will be fundamentally different. The next generation of migrations will involve greater complexity, including advanced automation, AI-driven orchestration, multi-cloud environments and more sophisticated compliance and security requirements. Without continuous upskilling, project managers will struggle to lead confidently in this evolving landscape.

Future-ready leaders must be both technologically fluent and human-centered. They need to leverage data effectively, make decisions at the pace of AI and automation and understand emerging tools and methodologies. At the same time, they must maintain essential human leadership qualities — trust, accountability, resilience and the ability to inspire teams under pressure.

By balancing these technical and human skills, project managers remain indispensable. They not only ensure that migrations succeed technically but also guide teams and organizations with purpose, clarity and adaptability, enabling sustainable transformation that goes beyond the immediate project and strengthens the organization’s long-term capabilities.

Closing thoughts

Data center transformation was not an easy migration, as it was a complicated and most ambitious undertaking by the organization. Orchestrating more than a hundred stakeholders was not an easy feat and we accomplished it with meticulous planning and risk management. Hence, a project manager with those five skills doesn’t just lead, they become the transformation agents for the organization. As the saying goes: Real transformation happens when leadership turns complexity into clarity and uncertainty into forward motion.

This article is published as part of the Foundry Expert Contributor Network.
Want to join?

삼성전자는 2026년 메모리 반도체 공급 부족으로 전자 산업 전반에 걸쳐 가격 인상이 발생할 것이라고 경고했다. 최대 규모 생산 역량을 갖춘 삼성전자조차 자사 제품이 가격 급등에서 자유로울 수 없음을 인정한 만큼, 기업 IT 구매자는 어느 벤더를 선택하든 비용 상승을 피하기 어려워지고 있다.

삼성전자 글로벌 마케팅 총괄 이원진 사장은 블룸버그와의 인터뷰에서 메모리 반도체 공급 부족이 산업 전반의 가격에 영향을 미칠 것으로 내다봤다. 이 사장은 “2026년에는 반도체 공급과 관련한 문제가 발생할 것이며, 이는 삼성전자만의 문제가 아니라 모든 기업에 영향을 미칠 것이다. 공급 문제는 산업 전반의 현실”이라고 설명했다.

테크인사이츠의 반도체 애널리스트 마니시 라와트는 삼성전자 자체 제품군조차 가격 압박에서 보호받지 못할 정도로 시장 역학이 빠르게 변화하고 있다고 분석했다. 라와트는 “메모리 제조사는 규모의 경제와 재고 관리, 장기 계약을 통해 기술 생태계의 완충 역할을 해왔다. 삼성전자가 압도적인 생산 능력을 보유하고 있음에도 변동성을 완화하지 못한다는 점은 시장이 불균형 상태에 놓여 있음을 시사한다”라고 평가했다.

AI 인프라가 기존 메모리 공급을 잠식

이 같은 시장 불균형은 메모리 제조사가 AI 데이터센터용 HBM에 생산 역량을 집중하면서 발생하고 있다. HBM이 기존 디램보다 높은 수익성을 제공하는 만큼, 삼성전자와 SK하이닉스, 마이크론 등은 전통적인 기업·소비자용 메모리 제품에서 생산 능력을 줄이고 HBM으로 전환하고 있다.

가트너의 수석 애널리스트 카니시카 차우한은 “지속적인 AI 투자로 메모리 수요는 강세를 보이고 있다. AI 애플리케이션에 사용되는 HBM은 기존 메모리보다 높은 가격이 형성되기 때문에, 벤더들이 더 많은 생산 역량을 HBM에 배분하고 있다”라고 설명했다.

마이크론 임원에 따르면 AI 가속기용 HBM 생산은 기가바이트당 표준 디램 대비 약 3배의 웨이퍼 용량을 소모한다. 이로 인해 메모리 제조사는 소비자 및 기업용 제품에서 생산을 재조정할 수밖에 없으며, 그 결과 물량이 적은 산업 및 PC 고객을 중심으로 기존 디램 공급이 감소하고 있다고 차우한은 분석했다.

SK하이닉스는 지난해 10월 실적 발표에서 2026년 HBM, 디램, 낸드 생산 역량이 “사실상 완판 상태”라고 밝혔다. 마이크론 역시 최근 소비자 메모리 시장에서 완전히 철수하고, 기업 및 AI 고객에 역량을 집중하는 전략으로 방향을 전환했다.

기업용 하드웨어 비용 급등

이 같은 공급 제약으로 인해 기업용 하드웨어 전반의 가격이 급등하고 있다. 삼성전자는 지난해 9월 32GB DDR5 모듈 가격을 149달러에서 239달러로 약 60% 인상했으며, DDR5 계약 가격은 2025년 초 개당 약 7달러에서 19.50달러로 100% 이상 급등했다.

카운터포인트리서치에 따르면 디램 가격은 올해 들어 이미 약 50% 상승했으며, 2025년 4분기에 추가로 30% 오르고 2026년 초에는 다시 20% 상승할 것으로 전망된다. 이 기관은 기업 데이터센터에서 널리 사용되는 DDR5 64GB RDIMM 모듈 가격이 2026년 말에는 2025년 초 대비 2배 수준에 이를 수 있다고 내다봤다.

차우한은 가트너가 기존 디램 시장에서 심각한 공급 부족이 발생하면서 2026년 디램 가격이 47% 상승할 것으로 전망했다고 전했다.

주요 클라우드 업체의 구매 협상력은 증가

이런 가격 압박과 공급 제약이 기업 IT 구매 시장의 힘의 균형을 재편하고 있다. 기업 조달 관점에서는 메모리 제조사의 규모가 크다고 해서 안정성을 보장받긴 어려운 상황이다. 라와트는 “2026년으로 갈수록 공급 경쟁이 심화되면서 물량보다는 제조사와의 전략적 관계가 구매 협상력에 더 큰 영향을 끼칠 것”이라고 분석했다.

이미 주요 클라우드 업체는 장기 공급 계약과 생산 능력 사전 확보, 직접적인 팹 투자 등을 통해 낮은 비용과 안정적인 물량을 동시에 확보하고 있다. 반면 중견 기업은 상대적으로 짧은 계약과 스팟 구매에 의존하며, 대규모 구매자가 우선적으로 물량을 확보한 이후 남은 생산 능력을 두고 경쟁해야 하는 구조에 놓였다.

라와트는 “이 같은 불균형은 중견 기업에 이중의 제약을 가한다”라며 “투입 비용 상승과 납기 지연이 동시에 발생하면서 인프라 확장이나 신규 워크로드 배포, 빠른 혁신을 추진하는 데 직접적인 제약이 된다”라고 설명했다.

삼성전자는 평택 사업장에 신규 메모리 생산 라인을 구축할 계획을 발표했지만, 본격적인 양산은 2028년에야 시작될 예정이다.

기업 입장에서는 2026년 이후 메모리 수급 제약이 IT 조달 전략 전반에 영향을 미칠 가능성이 높다. 이에 따라 하드웨어 계획 단계에서부터 공급 가용성과 비용 변동성을 함께 고려해야 할 필요성이 커지고 있다.
dl-ciokorea@foundryco.com

엔비디아 CEO인 젠슨 황의 주장대로 범용 컴퓨팅 시대가 저물고 있다면, 지금은 200여 년 전 핵심 동력원이 마력에서 증기로 전환되던 시기에 버금가는 근본적인 변화가 이뤄지고 있다고 볼 수 있다.

전환의 중심에는 AI 확산과 맞물려 새롭게 재구성되고 있는 데이터 인프라 전반이 자리하고 있다. 전례 없는 수준의 연산 성능을 뒷받침하기 위해 데이터 저장과 접근 방식에서도 속도와 신뢰성, 확장성이 동시에 요구되고 있다.

AI는 지금까지 볼 수 없었던 수준의 데이터 집약적 워크로드를 만들어내며 기업 인프라의 구조 자체를 빠르게 바꾸고 있다. 전 세계 데이터센터 용량 확장에 투입되는 막대한 투자 규모가 이를 보여준다. 최근 잇따른 발표 가운데 메타의 6,000억 달러 투자 계획도 그중 하나다. 지난해 4월 맥킨지는 “연산 수요 증가 속도를 따라잡기 위해 필요한 비용이 7조 달러에 달할 것”이라고 진단한 바 있다. AI 확산의 흐름이 유지된다면 이 추산치는 더 커질 가능성도 있다.

이 같은 흐름은 데이터 스토리지에도 근본적인 변화를 요구하고 있다. 기존 스토리지는 데이터베이스나 가상화처럼 예측 가능하고 순차적인 워크로드를 전제로 설계됐다. 그러나 AI 환경에서는 수천 개의 GPU 스레드가 병렬 및 무작위, 고대역폭 접근을 동시에 요구하면서 기존 모델을 뒤흔들고 있다.

이로 인해 발생하는 성능 문제는 인프라 전반에 연쇄적으로 확산된다. 스토리지가 이를 감당하지 못하면 GPU는 데이터를 기다리며 유휴 상태에 놓이고, 학습 주기는 지연되며, 전체 비용은 급격히 증가한다. 충분한 데이터를 공급받지 못한 GPU가 한 시간이라도 지연되면 ROI를 확보하는 시기도 늦춰진다. 학습 자체가 투자이기 때문에, 중단되거나 비효율적인 학습 주기는 가치 실현까지 걸리는 시간을 늘린다. 아울러 데이터가 손상되거나 유실되면 모델 전체를 다시 학습해야 하는 경우도 많아, 예상치 못한 막대한 비용이 발생할 수도 있다.

이 문제의 영향은 학습 단계에만 국한되지 않는다. AI에서 실제 수익을 창출하는 단계는 추론이며, 느리거나 불안정한 데이터 파이프라인은 AI 애플리케이션이 창출할 수 있는 매출과 사업 성과를 직접적으로 떨어뜨린다. 이에 대응해 기존 스토리지 벤더는 아키텍처를 AI 수요에 맞게 개조하려 하고 있지만, 상당수는 여전히 성능과 확장성 측면에서 한계를 벗어나지 못하고 있다.

결국 변화는 불가피하다. 출발점은 AI가 목적에 맞게 설계된, 본질적으로 고성능을 전제로 한 스토리지 시스템을 필요로 한다는 인식이다.

신뢰의 기본 요소

이 같은 성능 압박은 ‘신뢰’라는 더 근본적인 문제를 드러낸다. 대규모 AI 모델은 학습 데이터에 중단 없이 접근할 수 있다는 전제를 바탕으로 한다. 메타데이터 서버 장애나 데이터 손상 등 어떤 형태로라도 중단이 나타나면 생산성은 크게 떨어지고 결과의 신뢰성이 훼손될 수 있다.

이 맥락에서 신뢰성은 하나의 지표로만 설명되지 않는다. 여기엔 내구성, 가용성, 복구 가능성도 포함된다. 단순한 기술적 안전장치의 문제가 아니라, 시스템을 중단 없이 운영하고 데이터 무결성을 지켜낼 수 있는지가 곧 AI 투자를 실제 성과로 이어지게 하는 핵심 요소이기 때문이다.

문제는 여전히 많은 시스템이 여러 개의 물리적 디스크를 논리적으로 하나로 묶는 로컬 RAID(Redundant Array of Independent Disks)나 고가용성(HA) 페어 아키텍처에 의존하고 있다는 점이다. 이런 구조는 소규모 장애에는 대응할 수 있지만, AI 환경처럼 수십, 수백 대 노드가 동시에 동작하는 상황에서는 한계를 드러낸다. 반면 최신 설계는 다중 단계 소거 코딩(MLEC)과 비공유(shared-nothing) 아키텍처를 활용해 클러스터 전체 차원의 복원력을 확보한다. 이를 통해 여러 구성 요소에서 동시에 장애가 발생하더라도 가동 시간을 안정적으로 유지할 수 있다.

기존 시스템 문제로 인한 파급 효과는 상당할 수 있다. 가트너는 “2026년까지 AI에 적합한 데이터가 뒷받침되지 않는 AI 프로젝트의 60%를 조직이 포기하게 될 것”이라고 경고했다. 실제로 데이터 품질 저하는 기업당 연간 1,290만~1,500만 달러의 손실을 발생시키고 있으며, 데이터 파이프라인 장애로 인한 인사이트 손실과 서비스 수준 계약(SLA) 미준수 비용은 시간당 약 30만 달러에 이르고 있다.

AI 속도에 맞는 스토리지

AI 시스템이 요구하는 수준의 신뢰성을 확보하려면 기술적·운영적 아키텍처 전반을 다시 설계해야 한다. 예를 들어 복원력은 애플리케이션 변화에 따라 기존 스토리지 제품에 사후적으로 덧붙이는 요소가 아니라, 처음부터 구조 안에 내재돼야 한다.

기술 측면에서는 다중 단계 소거 코딩과 같은 현대적인 분산 데이터 보호 방식이 핵심으로 떠오르고 있다. 이는 전통적인 RAID의 제한적인 장애 대응 범위를 넘어, 여러 노드에 걸친 보호를 제공함으로써 다수의 구성 요소가 동시에 장애를 일으켜도 데이터 무결성을 유지할 수 있도록 한다.

동시에 플래시와 디스크를 결합한 하이브리드 아키텍처는 비용 효율성을 높이는 데 기여한다. 고성능이 요구되는 데이터는 플래시에 두고, 상대적으로 중요도가 낮은 정보는 비용이 낮은 저장 매체로 계층화하는 방식이다. 여기에 모듈형 비공유 구조를 적용하면 단일 장애 지점을 제거할 수 있고, 전용 하드웨어 없이 표준 서버 노드를 추가하는 것만으로 성능 확장이 가능해진다.

운영 측면에서도 충족해야 할 요구 사항이 있다. 예를 들어 자동화된 데이터 무결성 검사는 데이터 손상이 AI 파이프라인으로 유입되기 전에 이를 감지하고 격리할 수 있다. 또한 정기적인 복구 훈련은 AI 운영 환경이 요구하는 촉박한 시간 내에 복원 절차가 실제로 작동하는지를 검증하는 역할을 한다. 이런 기술적·운영적 요소를 거버넌스와 규제 준수 체계와 정렬하면 기술적 위험과 규제 리스크를 동시에 줄일 수 있다.

분명한 점은 이러한 역량이 더 이상 선택 사항이 아니라는 것이다. 이제는 AI 인프라가 설계되는 방식의 핵심 요소가 됐다. 앞으로 AI 워크로드와 데이터셋은 계속 확장할 수밖에 없으며, 이에 따라 스토리지 아키텍처 역시 전체 교체 없이도 용량과 성능을 확장할 수 있도록 모듈형이면서 벤더 중립적인 구조로 진화해야 한다.
dl-ciokorea@foundryco.com

If Jensen Huang is right that the era of general-purpose computing is coming to an end, then we are witnessing a transformation as profound as the shift from horsepower to steam power two centuries ago.

At the heart of this new revolution are the converging developments across AI and data infrastructure, where unprecedented computational power is aligning (or at least attempting to) with an equally demanding need for speed, reliability and scale in how information is stored and accessed.

By creating the most data-intensive workloads ever seen, AI is radically reshaping enterprise infrastructure. The eye-watering sums being spent on expanding global datacenter capacity bear this out, with Meta’s $600 billion plan among the most recent in a slew of announcements. Back in April this year, McKinsey put a $7 trillion price tag on what they thought would be required “to keep pace with the demand for compute power.” If the momentum behind AI continues unabated, that figure may need to be revised upwards.

The situation also has fundamental implications for data storage. Traditional storage was built for predictable, sequential workloads like databases and virtualization. AI upends that model, with thousands of GPU threads hammering existing systems with parallel, random, high-throughput access.

The performance problems this can create cascade across infrastructure components. When storage cannot keep up, GPUs sit idle, training cycles stall and overall costs soar. Every hour of underfed GPUs delays ROI because training is an investment and stalled or inefficient epochs push out time to value. The risks extend even further. If data is corrupted or lost, entire models often need to be retrained, creating enormous and unexpected costs. The impact goes beyond training inefficiency. Inference is the revenue-generating component, and slow or unstable data pipelines directly reduce the commercial return of AI applications. In response, legacy vendors are trying to retrofit existing architectures to meet AI demand, but despite their best efforts, most of these designs still limit performance and scalability.

Something has to give, starting with the recognition that AI requires purpose-built, natively high-performance storage systems.

Reliability 101

These performance pressures also expose a deeper problem — reliability. Large-scale AI models rely on uninterrupted access to training data, and any disruption, whether it’s a metadata server failure, data corruption or a myriad of other issues, can significantly impact productivity and compromise results.

Indeed, reliability in this context is not a single metric; it’s the product of durability, availability and recoverability. These are crucial issues because the ability to maintain continuous operations and data integrity isn’t just a technical safeguard; it’s what determines whether AI investments actually deliver value.

The problem today is that many legacy systems still rely on local RAID or HA-pair architectures, which protect against small-scale failures but falter at AI scale. In contrast, modern designs utilize multi-level erasure coding and shared-nothing architectures to deliver cluster-wide resilience, ensuring sustained uptime even under multiple simultaneous failures.

The knock-on effect of legacy shortcomings is enormous, with Gartner warning that “through 2026, organizations will abandon 60% of AI projects unsupported by AI-ready data.” If that wasn’t bad enough, poor data quality already drains $12.9–$15 million per enterprise annually, and pipeline failures cost around $300,000 per hour in lost insight and missed SLAs.

Storage at the speed of AI

Building the level of reliability AI systems need requires rethinking how systems are technologically and operationally architected. For instance, resilience must be embedded from the outset, rather than being retrofitted to legacy storage products as applications change around them.

At a technological level, capabilities such as multi-level erasure coding (MLEC), a modern distributed data protection mechanism, will replace traditional RAID’s limited fault tolerance with protection that spans multiple nodes, ensuring data remains intact even if several components fail simultaneously.

At the same time, hybrid flash-and-disk architectures help control cost by keeping high-performance data on flash while tiering less critical information to lower-cost media. Meanwhile, modular, shared-nothing designs eliminate single points of failure and allow performance to scale simply by adding standard server nodes with no proprietary hardware required.

Then there are operational requirements to address. For example, automated data integrity checks can detect and isolate corruption before it enters AI pipelines, while regular recovery drills ensure restoration processes work within the tight timeframes AI production demands. Aligning these technical and operational layers with governance and compliance frameworks minimizes both technical and regulatory risk.

Make no mistake, these capabilities are not just nice-to-haves; they are now fundamental to the way AI infrastructure should be designed. Inevitably, AI workloads and datasets will continue to expand, and storage architectures will need to be modular and vendor-neutral, allowing capacity and performance upgrades without wholesale replacement.

This article is published as part of the Foundry Expert Contributor Network.
Want to join?

삼성전자는 지난달 AI 데이터센터 플랫폼을 위해 설계된 소캠2 LPDDR5 기반 메모리 모듈을 공개했다.

소캠2는 기존 대비 성능을 끌어올린 새로운 메모리 폼팩터다. 해당 모듈인 CAMM(Compression Attached Memory Module)은 델이 노트북용 메모리 기술로 처음 개발했으며, 이후 업계 전반의 채택을 촉진하기 위해 표준화 기구에 이관됐다. CAMM2는 이 기술을 산업 표준으로 개발한 첫 번째 세대다.

소캠2의 특징은 스마트폰과 태블릿에 사용되는 LPDDR5 메모리를 기반으로 한다는 점이다. 이를 통해 DDR 메모리 수준의 고성능·고대역폭을 제공하면서도 전력 소모를 낮출 수 있다.

삼성전자는 소캠2가 서버에 사용되는 표준 DDR5 RDIMM 대비 2배의 대역폭을 제공하면서도 소비 전력은 더 낮다고 설명했다. 다른 분석에 따르면 소캠2는 표준 DDR5 메모리 대비 1.5배에서 2배 수준의 성능을 내면서도 전력 소모는 약 55% 수준인 것으로 나타났다.

소캠2 모듈은 하나의 칩에 여러 층의 메모리를 쌓는 적층 기술을 적용해 집적도를 높였다. 이로 인해 기존 DDR5 메모리 스틱보다 크기가 작으며, 동일한 용량의 DRAM을 기준으로 할 때 메인보드에서 차지하는 공간도 줄어든다. 소캠2는 DDR 메모리와 함께 사용할 수 있으며 시스템 메모리로 단독 구성하는 것도 가능하다.

델은 CAMM 메모리 사양을 공동 설계하기 위해 여러 파트너를 참여시킨 뒤 이를 JEDEC 표준화 기구에 이관했다. 따라서 소캠2는 특정 벤더의 독자적인 해법이 아닌 업계 표준으로 인식되고 있다. JEDEC은 이후 CAMM 사양에 ECC를 비롯한 다양한 오류 정정 기능을 추가하며, 엔터프라이즈 환경을 고려한 사양으로 보완했다.

오브젝티브 애널리시스의 대표 짐 핸디는 소캠이 기존 하드웨어를 단순히 재포장한 기술이나 억지 문제를 만들어낸 해법은 아니라고 설명했다. 그는 업계가 실제로 직면한 과제를 해결하기 위한 기술이며, 필요성과 수요가 분명하다고 평가했다.

핸디는 “서버 프로세서 제조사와 엔비디아가 소캠을 적극적으로 지지하는 이유는 더 빠른 인터페이스를 확보할 수 있고, 상대적으로 낮은 전력 소모로 좁은 공간에 많은 메모리를 집적할 수 있기 때문”이라고 설명했다.

소캠2가 적층 메모리를 사용한다는 점이 제조 비용을 높일 수 있다는 관측도 나온다. 하지만 핸디는 실제로는 그렇지 않다고 봤다. 그는 “메모리 벤더들은 기존 DRAM과 동일한 가격대로 다양한 적층 구성을 판매하고 있으며, 패키징 기술 역시 낸드 플래시 업체가 사용하는 방식과 같다. 눈에 띄는 가격 차이가 발생할 가능성은 크지 않다”라고 설명했다.

SK하이닉스도 소캠2 메모리를 지원할 계획을 발표했지만, 구체적인 출시 일정은 공개하지 않았다. 업계에서는 마이크론과 삼성전자에 비해 개발 일정이 다소 뒤처진 것으로 보고 있다. 소캠2는 엔비디아가 베라 루빈 플랫폼을 출시하는 시점인 2026년 2분기 전후로 상용화될 것으로 예상되고 있다.
dl-ciokorea@foundryco.com