엔터프라이즈 아키텍트 관련 기획 기사에서 생성형 AI가 언급된 적은 있지만, 기업 기술 전반에 미치는 영향은 지금까지 크게 드러나지 않았다. 그러나 지금은 주요 서비스형 소프트웨어(SaaS) 기업이 에이전틱 AI 솔루션을 잇달아 내놓으면서 아키텍처와 아키텍트 역할 자체가 변화하고 있다. 그렇다면 지금 CIO와 아키텍트는 무엇을 알아야 할까?

기업, 특히 CEO는 생산성을 높이고 성장세를 회복하기 위해 AI 도입이 필요하다고 꾸준히 목소리를 내왔고, 분석가들도 같은 의견을 전하고 있다. 예를 들어 가트너는 향후 5년 동안 IT 업무의 75%가 AI를 활용한 직원에 의해 수행될 것이라고 전망했다. 이는 새로운 시장 진출, 추가 제품·서비스 개발, 마진을 높일 기능 확충처럼 IT 업무가 새로운 가치를 만들어내도록 적극적으로 나서야 한다는 의미일 수 있다.

생산성이 이처럼 근본적으로 변화한다면, 기업에는 비즈니스 프로세스와 이를 운영하는 기술 전반에 대한 새로운 계획이 필요하다. 최근 사례들은 기업이 새로운 운영 모델을 도입하지 않으면 기술 투자 효과를 제대로 얻기 어렵다는 점을 보여주고 있다.

에이전틱 AI 도입은 기업의 프로세스뿐 아니라 소프트웨어 개발 방식, 맞춤화, 기술 구현 방식까지 모두 바꿀 가능성이 높다. 따라서 아키텍트는 소프트웨어가 어떻게 개발되고 조정되며 배포되는지 재설계하는 최전선에 서게 된다.

기술 업계 일부에서는 생성형 AI가 기업용 소프트웨어와 이를 제공하는 대형 벤더에 근본적 변화를 가져올 것으로 보고 있다. 그러나 포레스터(Forrester) 총괄 애널리스트 디에고 로 주디체는 “AI가 본격화된다고 해서 소프트웨어 산업이 붕괴된다는 주장은 터무니없다. 그런 결론을 내려면 AI에 가장 낙관적인 전문가의 예상조차 뛰어넘는 수준의 완전무결한 AI가 전제돼야 한다”라고 말했다. 로 주디체는 최근 열린 원 컨퍼런스에서 비즈니스 기술 리더 4,000명에게 “변화는 분명 진행되고 있지만, 이는 최근 축적된 성과를 기반으로 일어나는 것”이라고 설명했다.

로 주디체는 “애자일은 조직 간 조율을 개선했고, 데브옵스는 개발과 운영 사이의 벽을 허물었다. 이는 모두 목표가 같았다. 바로 아이디어와 구현 사이의 간극을 줄이는 것이다”라고 말했다. 그는 AI가 기업용 소프트웨어 개발 방식을 바꿀 것이라는 점을 부정하지는 않았지만, 애자일과 데브옵스가 그랬듯 AI도 소프트웨어 개발 생애주기를 개선하고 결국 아키텍처 전반을 고도화하게 될 것이라고 강조했다. 다른 점은 변화의 속도다. 콘텐츠 관리 소프트웨어 기업 엄브라코의 AI 스태프 엔지니어 필 휘태커는 “개발 역사상 이런 속도의 변화는 없었다”라고 진단했다.

복잡성 증가와 프로세스 변화

소프트웨어 개발 및 맞춤화 주기가 바뀌고 에이전틱 애플리케이션이 보편화되면서, 아키텍트는 복잡성과 새로운 비즈니스 프로세스를 염두에 둔 계획을 수립해야 하는 상황이다. 에이전틱 AI가 지금까지 직원이 수동으로 처리하던 업무를 맡게 된다면 기존 비즈니스 프로세스를 그대로 유지하기는 어렵다.

로 주디체는 아마존웹서비스(AWS) 같은 AI 선도 기업이 대규모 인력 감축에 나선 이후 과열된 논쟁에 다시 한번 의견을 전했다. 그는 원 컨퍼런스에서 “모든 직원이 자신의 일을 도와주는 봇 하나씩을 갖게 될 것이라는 생각은 단순한 발상이다”라며, “기업은 각 역할과 비즈니스 프로세스를 면밀히 분석해, 적절한 작업에 적절한 에이전트를 배치하는 데 예산과 자원을 쓰고 있는지 확인해야 한다. 이 과정을 거치지 않으면 필요하지 않은 곳에 에이전틱 기술을 도입해 복잡한 업무를 처리하지도 못하면서 기업의 클라우드 비용만 늘리는 결과를 초래하게 된다”라고 경고했다.

AI 기반 로우코드 플랫폼 기업 아웃시스템즈(OutSystems)의 CIO 티아고 아제베두는 “중요한 정보에 접근할 수 있는 에이전트를 만드는 일은 생각보다 쉽다”라고 말했다. 그는 “그래서 데이터 구분이 필요하다. 에이전트를 배포할 때는 이를 통제할 수 있어야 한다. 에이전트가 많아질수록 비용도 함께 늘어난다”라고 설명했다.

하지만 휘태커는 결정론적 방식과 비결정론적 방식 사이의 차이가 무엇보다 크다고 지적했다. 비결정론적 방식은 결과가 매번 달라질 수 있기 때문에, 항상 동일한 결과를 내는 결정론적 에이전트를 일종의 가드레일로 둬야 한다는 것이다. 그는 어떤 비즈니스 결과를 결정론적·비결정론적 방식 중 어디에 둘 것인지 정의하는 일이 아키텍처의 핵심 역할이라고 설명했다. 또한 휘태커는 여기서 AI가 조직의 빈틈을 메우는 데 도움을 줄 수 있다고 덧붙였다. 아키텍트로 일한 경험이 있는 휘태커는 기업이 AI를 적극 실험해 자사 아키텍처에 어떤 이점을 줄 수 있는지, 그리고 궁극적으로 비즈니스 성과에 어떤 영향을 미칠 수 있는지 확인하는 일이 매우 중요해질 것이라고 강조했다.

가트너 애널리스트 대릴 플러머와 알리시아 멀러리는 “실질적 경쟁력을 확보하는 길은 과장된 기대를 쫓거나 AI의 잠재력을 깎아내리는 데 있지 않다. 가치를 창출하는 중간지점을 찾는 데 있다”라고 밝혔다. 두 사람은 “AI의 가능성은 분명하지만, 그 가치를 온전히 실현할 가능성은 보장되지 않는다. 가트너 조사에 따르면 AI 프로젝트 가운데 ROI를 달성하는 경우는 5개 중 1개에 불과하고, 진정한 변화를 이끄는 사례는 50개 중 1개 수준에 그친다”라고 전했다. 또 다른 조사에서는 조직의 리더가 디지털 전환을 제대로 이끌 수 있다고 신뢰하는 직원이 32%에 불과하다는 결과도 나왔다. 이에 대해 아제베두는 “에이전트는 아키텍처 복잡성을 더해주기 때문에 아키텍트 역할이 더 중요해지고 있다”라고 분석했다.

과거 아키텍트는 주로 프레임워크 중심의 업무를 수행해왔다. 휘태커는 이제 직원, 애플리케이션, 데이터베이스, 에이전틱 AI가 얽혀 있는 엔터프라이즈 환경을 관리하려면 새로운 기술 모델을 이해하고 도입해야 한다고 설명했다. 그는 그중 하나로 MCP를 언급하면서, MCP가 AI 모델을 데이터 소스와 연결하는 표준 방식을 제공해, 지금처럼 각기 다른 방식으로 구성된 통합 구조나 검색 증강 생성(RAG) 구현의 복잡성을 줄여줄 수 있다고 언급했다. AI는 이러한 새로운 복잡성을 다루는 데도 도움을 제공할 전망이다. 로 주디체는 “기획, 요구사항 관리, 에픽 생성, 사용자 스토리 작성, 코드 생성, 코드 문서화, 번역까지 지원하는 다양한 도구가 등장하고 있다”라고 설명했다.

새로운 책임

포레스터(Forrester) 시니어 애널리스트 스테판 반레켐은 이제 에이전틱 AI가 주요 엔터프라이즈 아키텍처 도구의 핵심 기능으로 자리 잡고 있다고 설명한다. 그는 “에이전트는 데이터 검증, 역량 매핑, 아티팩트 생성 같은 작업을 자동화해 아키텍트가 전략과 전환 업무에 집중할 수 있게 한다”라고 말했다. 반레켐은 셀로니스, SAP 시그나비오, 서비스나우가 도입한 에이전틱 통합 기술을 사례로 들었다. 휘태커는 아키텍트가 조직을 보호하고 에이전틱 AI의 의사결정과 결과에 책임을 지는 역할로 더욱 중요해지고 있다고 진단했다.

일부 아키텍트는 이런 변화가 기존 전문 영역을 약화시킨다고 생각할 수도 있다. 그러나 휘태커는 오히려 역할의 범위를 넓힐 기회라고 봤다. 그는 “아키텍트는 여러 영역을 깊이 있게 파고들 수 있다. 사람을 한 가지 범주에 가둬두는 방식은 결코 바람직하지 않다”라고 말했다.

전통적으로 아키텍처는 무언가를 설계하고 구축한 뒤 고정된 형태로 존재하는 구조를 의미했다. 하지만 에이전틱 AI가 기업에 확산되면서 아키텍처를 관리하는 아키텍트의 역할은 더욱 유동적으로 변하고 있다. 이제는 설계 및 구축 감독뿐 아니라, 계획을 꾸준히 모니터링하고 조정하는 역할까지 요구된다. 이를 ‘오케스트레이션’이라고 부르기도 하며, 일종의 지도 읽기에 가깝다는 비유도 나온다. 아키텍트가 경로를 설계하더라도, 실제 환경의 다양한 변수로 인해 길이 달라질 수 있기 때문이다. 날씨 변화나 쓰러진 나무 때문에 길을 우회해야 하듯, 아키텍트 역시 비즈니스 환경이 바뀌면 계획을 수정하고 새로운 방향을 이끌어야 한다.

또한 새로운 아키텍트 역할 역시 기술 발전에 따라 계속 변하게 될 전망이다. 로 주디체는 조직의 자동화 수준이 더 높아질 것이라고 내다봤고, 아제베두는 조직 전반에 구축되는 에이전트를 묶어 카탈로그 형태로 관리하는 ‘오케스트레이션’ 관점에 힘을 실었다. 아키텍트와 CIO가 조직 전체의 조율자로 역할을 확장할 수 있는 기회라는 설명이다.

직함이 무엇이든, 아키텍처의 중요성은 그 어느 때보다 커지고 있다. 휘태커는 “AI가 더 많은 코드를 작성하게 될수록 아키텍트가 되는 사람도 더 늘어날 것”이라며 “앞으로는 눈앞에 있는 수많은 에이전트를 조율하고 통제하는 일이 아키텍트의 본래 역할이 될 것”이라고 말했다. 그는 기술 담당자가 점점 더 많은 개발 업무를 에이전트와 AI에 맡기게 되면서, 개별 에이전트와 프로세스가 어떻게 작동해야 하는지를 설계하는 책임이 더욱 확대되고 많은 기술 직원이 이 역할을 분담하게 될 것이라고 설명했다.

그는 “AI가 코드를 생성해줄 수는 있지만, 코드의 보안을 확인하는 책임은 여전히 사람에게 있다”라고 강조했다. 이에 따라 IT 조직은 코드를 직접 개발하는 팀에서, AI가 만든 기술을 점검·수용하고 이를 실제 비즈니스 프로세스에 배치하는 역할을 수행하는 아키텍처 중심 조직으로 변화하게 될 것이라고 전망했다.

이미 조직 내에 섀도우 AI가 깊숙이 스며든 상황에서, 휘태커는 기업이 도입한 AI 에이전트와 비즈니스가 조율하도록 지원하면서 동시에 고객 데이터와 사이버 보안 체계를 보호할 수 있는 아키텍트 팀의 필요성이 커지고 있다고 강조했다. AI 에이전트는 기업의 운영 구조를 다시 그려내고 있으며, 동시에 아키텍트 역할의 미래 또한 새롭게 정의하고 있다.
dl-ciokorea@foundryco.com

In a previous feature about enterprise architects, gen AI had emerged, but its impact on enterprise technology hadn’t been felt. Today, gen AI has spawned a plethora of agentic AI solutions from the major SaaS providers, and enterprise architecture and the role of enterprise architect is being redrawn. So what do CIOs and their architects need to know?

Organizations, especially their CEOs, have been vocal of the need for AI to improve productivity and bring back growth, and analysts have backed the trend. Gartner, for example, forecasts that 75% of IT work will be completed by human employees using AI over the next five years, which will demand, it says, a proactive approach to identifying new value-creating IT work, like expanding into new markets, creating additional products and services, or adding features that boost margins.

If this radical change in productivity takes place, organizations will need a new plan for business processes and the tech that operates those processes. Recent history shows if organizations don’t adopt new operating models, the benefits of tech investments can’t be achieved.

As a result of agentic AI, processes will change, as well as the software used by the enterprise, and the development and implementation of the technology. Enterprise architects, therefore, are at the forefront of planning and changing the way software is developed, customized, and implemented.

In some quarters of the tech industry, gen AI is seen as a radical change to enterprise software, and to its large, well-known vendors. “To say AI unleashed will destroy the software industry is absurd, as it would require an AI perfection that even the most optimistic couldn’t agree to,” says Diego Lo Giudice, principal analyst at Forrester. Speaking at the One Conference in the fall, Lo Giudice reminded 4,000 business technology leaders that change is taking place, but it’s built on the foundations of recent successes.

“Agile has given better alignment, and DevOps has torn down the wall between developers and operations,” he said. “They’re all trying to do the same thing, reduce the gap between an idea and implementation.” He’s not denying AI will change the development of enterprise software, but like Agile and DevOps, AI will improve the lifecycle of software development and, therefore, the enterprise architecture. The difference is the speed of change. “In the history of development, there’s never been anything like this,” adds Phil Whittaker, AI staff engineer at content management software provider Umbraco.

Complexity and process change

As the software development and customization cycle changes, and agentic applications become commonplace, enterprise architects will need to plan for increased complexity and new business processes. Existing business processes can’t continue if agentic AI is taking on tasks currently done manually by staff.

Again, Lo Giudice adds some levity to a debate that can often become heated, especially in the wake of major redundancies by AI leaders such as AWS. “The view that everyone will get a bot that helps them do their job is naïve,” he said at the One Conference. “Organizations will need to carry out a thorough analysis of roles and business processes to ensure they spend money and resources on deploying the right agents to the right tasks. Failure to do so will lead to agentic technology being deployed that’s not needed, can’t cope with complex tasks, and increases the cloud costs of the business.

“It’s easy to build an agent that has access to really important information,” says Tiago Azevedo, CIO for AI-powered low-code platform provider OutSystems. “You need segregation of data. When you publish an agent, you need to be able to control it, and there’ll be many agents, so costs will grow.”

The big difference, though, is deterministic and non-deterministic, says Whittaker. So non-deterministic requires guardrails of deterministic agents that produce the same output every time over the more random outcomes of non-deterministic agents. Defining business outcomes by deterministic and non-deterministic is a clear role for enterprise architecture. He adds that this is where AI can help organizations fill in gaps. Whittaker, who’s been an enterprise architect, says it’ll be vital for organizations to experiment with AI to see how it can benefit their architecture and, ultimately, business outcomes.

“The path to greatness lies not in chasing hype or dismissing AI’s potential, but in finding the golden middle ground where value is truly captured,” write Gartner analysts Daryl Plummer and Alicia Mullery. “AI’s promise is undeniable, but realizing its full value is far from guaranteed. Our research reveals the sobering odds that only one in five AI initiatives achieve ROI, and just one in 50 deliver true transformation.” Further research also finds just 32% of employees trust the organization’s leadership to drive transformation. “Agents bring an additional component of complexity to architecture that makes the role so relevant,” Azevedo adds.

In the past, enterprise architects were focused on frameworks. Whittaker points out that new technology models will need to be understood and deployed by architects to manage an enterprise that comprises employees, applications, databases, and agentic AI. He cites MCP as one as it provides a standard way to connect AI models to data sources, and simplifies the current tangle of bespoke integrations and RAG implementations. AI will also help architects with this new complexity. “There are tools for planning, requirements, creating epics, user stories, code generation, documenting code, and translating it,” added Lo Giudice.

New responsibilities

Agentic AI is now a core feature of every major EA tool, says Stéphane Vanrechem, senior analyst at Forrester. “These agents automate data validation, capability mapping, and artifact creation, freeing architects to focus on strategy and transformation.” He cites the technology of Celonis, SAP Signavio, and ServiceNow for their agentic integrations. Whittaker adds that the enterprise architect has become an important human in the loop to protect the organization and be responsible for the decisions and outcomes that agentic AI delivers.

Although some enterprise architects will see this as a collapse of their specialization, Whittaker thinks it broadens the scope of the role and makes them more T-shaped. “I can go deep in different areas,” he says. “Pigeon-holing people is never a great thing to do.”

Traditionally, architecture has suggested that something is planned, built, and then exists. The rise of agentic AI in the enterprise means the role of the enterprise architect is becoming more fluid as they continue to design and oversee construction. But the role will also involve continual monitoring and adjustment to the plan. Some call this orchestration, or perhaps it’s akin to map reading. An enterprise architect may plan a route, but other factors will alter the course. And just like weather or a fallen tree, which can lead to a route deviation, so too will enterprise architects plan and then lead when business conditions change.

Again, this new way of being an enterprise architect will be impacted by technology. Lo Guidice believes there’ll be increased automation, and Azevedo sides with the orchestration view, saying agents are built and a catalogue of them is created across the organization, which is an opportunity for enterprise architects and CIOs to be orchestrators.

Whatever the job title, Whittaker says enterprise architecture is more important than ever. “More people will become enterprise architects as more software is written by AI,” he says. “Then it’s an architectural role to coordinate and conduct the agents in front of you.” He argues that as technologists allow agents and AI to do the development work for them, the responsibility of architecting how agents and processes function broadens and becomes the responsibility of many more technologists.

“AI can create code for you, but it’s your responsibility to make sure it’s secure,” he adds. Rather than developing the code, technology teams will become architecture teams, checking and accepting the technology that AI has developed, and then managing its deployment into the business processes.

With shadow AI already embedded in organizations, Whittaker’s view shows the need for a team of enterprise architects that can help business align with the AI agents they’ve deployed, and at the same time protect customer data and cybersecurity posture.

AI agents are redrawing the enterprise, and at the same time replanning the role of enterprise architects.