보는 AI에서 하는 AI로! '멀티모달 액션 모델(MAM)'이 가져올 소프트웨어 조작의 혁명

단순히 질문에 답을 하거나 문서를 요약해 주던 인공지능의 시대가 빠르게 저물고 있습니다. 이제 AI는 화면을 눈으로 보며 마우스를 움직이고, 필요한 정보를 텍스트 박스에 타이핑하며, 사람이 일하는 방식 그대로 소프트웨어를 다루기 시작했습니다. 이처럼 API 연동 없이도 컴퓨터 화면 전체를 인지하고 인간처럼 UI(사용자 인터페이스)를 조작하는 기술의 중심에 바로 멀티모달 액션 모델(MAM, Multimodal Action Models)이 있습니다.

수많은 기업이 업무 자동화를 시도하지만, 프로그램마다 다른 복잡한 구조와 API의 부재로 인해 늘 한계에 부딪히곤 합니다. 사람이 수작업으로 처리하던 반복 업무를 AI가 온전히 대신하는 시대는 어떻게 실현되는 걸까요?

이 글을 읽고 나면 눈앞에 다가온 에이전트 인공지능 기술의 핵심인 멀티모달 액션 모델(MAM)의 개념과 기존 자동화 도구(RPA)와의 차이점, 그리고 실제 동작 원리와 기업의 도입 전략까지 한눈에 파악하실 수 있습니다.

화면을 눈으로 보고 마우스를 움직이는 AI의 탄생

기존의 대형 언어 모델(LLM)이 텍스트를 입력받아 텍스트를 출력하는 수준이었다면, 여기에 시각 능력이 결합된 멀티모달 LLM(LMM)은 이미지를 읽고 분석하는 수준까지 발전했습니다. 하지만 여전히 이들은 '관찰자' 혹은 '조언자'의 영역에 머물러 있었습니다. 분석한 결과를 바탕으로 실제 컴퓨터에 로그인하고, 엑셀을 켜서 타이핑을 하는 등의 '실행'은 온전히 인간의 몫이었기 때문입니다.

멀티모달 액션 모델(MAM)은 이러한 관찰을 넘어 직접적인 '행동(Action)'을 수행하도록 설계된 지능형 모델입니다. MAM은 화면 캡처 이미지를 실시간으로 받아 들여 운영체제(OS)나 웹 브라우저 내의 버튼 위치, 입력 폼, 메뉴 등을 인지합니다. 그런 다음 사용자의 자연어 목표 지시("지난달 정산 리스트에서 미납된 회원 정보를 찾아서 이메일로 보내줘")를 기반으로 마우스 클릭 좌표와 키보드 타이핑 시퀀스를 동적으로 생성해 직접 실행합니다.

즉, 사람이 화면을 모니터로 보며 눈과 손을 이용해 PC를 제어하듯, AI가 비주얼 인지 엔진(눈)과 입력 제어 모듈(손)을 유기적으로 결합하여 소프트웨어를 다루는 셈입니다.

기존 RPA(로보틱 프로세스 자동화)와의 결정적 차이점 세 가지

많은 이들이 MAM을 보며 기존의 RPA(Robotic Process Automation)를 떠올립니다. 하지만 기술적 구현 방식과 유연성 면에서 두 기술은 완전히 다른 세대에 속합니다.

비교 항목	기존 RPA	멀티모달 액션 모델 (MAM)
인식 방식	HTML DOM 트리 구조 혹은 하드코딩된 화면 좌표	렌더링된 픽셀 이미지 자체를 시각적으로 인지
대응성	웹사이트 UI 레이아웃이 1픽셀만 바뀌어도 에러 발생	화면 구조가 변경되거나 버튼 위치가 바뀌어도 맥락에 맞춰 탐색
업무 흐름 제어	미리 정의된 조건문(If-Else)과 하드코딩된 룰북 기반	자연어로 된 모호한 업무 목표를 바탕으로 스스로 추론하여 실행 계획 수립

1. 픽셀 기반의 비주얼 컨텍스트 이해

RPA는 웹 브라우저의 HTML 태그 구조를 직접 뒤지거나 특정 해상도의 고정된 좌표값에 의존해 작동합니다. 때문에 서비스가 업데이트되어 디자인이 약간만 달라져도 에러를 내며 멈춰 서기 일쑤였습니다. 반면 MAM은 사람처럼 모니터 화면의 전체 픽셀 변화를 이해합니다. 버튼의 모양이 둥글게 변하거나 메뉴의 위치가 오른쪽에서 왼쪽으로 이동하더라도, 픽셀 이미지에서 버튼의 '텍스트'와 '의미적 역할'을 찾아내 유연하게 대응합니다.

2. 자연어 기반의 유연한 추론과 동적 계획 수립

RPA로 복잡한 업무를 자동화하려면 기획자와 개발자가 수많은 분기 조건을 일일이 순서도로 작성해야 했습니다. 반면 MAM은 "고객 상담 이력 중에서 불만 섞인 피드백만 추려내 스프레드시트에 카테고리별로 기재해줘"라는 자연어 명령어 한 줄만으로 충분합니다. AI가 직접 감정을 평가하고 분류하여 스스로 스프레드시트를 열고 입력하는 복잡한 태스크를 알아서 쪼개어 단계별 계획(Sub-goals)을 세웁니다.

3. API 장벽의 허물기

과거의 자동화는 시스템 간의 API가 깔끔하게 뚫려 있어야 안정적으로 구동되었습니다. 하지만 대다수의 레거시 ERP, 사내 인트라넷, 혹은 외부 협력사의 플랫폼은 보안이나 기술적 한계로 API를 지원하지 않습니다. MAM은 사람이 다루는 화면 자체를 매개로 작동하기 때문에 API가 전무한 구형 윈도우 프로그램이나 폐쇄형 금융망 시스템도 무리 없이 연동 및 조작할 수 있습니다.

멀티모달 액션 모델의 핵심 작동 메커니즘

MAM이 사용자의 모호한 자연어 명령을 구체적인 마우스 클릭과 타이핑으로 전환하는 과정은 크게 세 단계로 이루어집니다.

graph TD
    A[사용자의 자연어 명령어 입력] --> B[1. 스크린 파싱 및 객체 감지]
    B --> C[2. 에이전트 행동 계획 수립]
    C --> D[3. OS/브라우저 이벤트 실행]
    D --> E{목표 달성 여부 확인}
    E -- 미완료 --> B
    E -- 완료 --> F[업무 종료 및 결과 보고]

1. 스크린 파싱 및 세그멘테이션 (Screen Parsing)

현재 모니터에 나타난 화면을 캡처한 뒤, 이미지 처리 모델을 통해 화면 내의 의미 있는 객체들을 식별합니다. 텍스트 박스, 드롭다운 메뉴, 로그인 버튼, 닫기 아이콘 등을 각각 분리하여 레이블을 붙이고, 해당 컴포넌트의 좌표 데이터를 확보합니다.

2. 논리적 행동 계획 수립 (Action Planning)

입력받은 최종 목표에 도달하기 위해 필요한 일련의 중간 단계들을 실시간으로 기획합니다. 예를 들어 '로그인 버튼 클릭' -> '아이디 입력칸 활성화' -> '키보드 타이핑' -> '비밀번호 입력칸 활성화' -> '로그인 승인'과 같은 세밀한 순서를 설계합니다.

3. 이벤트 바인딩 및 실행 루프 (Execution & Feedback Loop)

설계된 행동에 맞춰 실제 윈도우 OS API나 웹 드라이버를 통해 마우스 좌클릭, 드래그, 키보드 단축키 등의 물리적 이벤트를 발생시킵니다. 이벤트 실행 직후 화면이 어떻게 변화했는지 다시 캡처하여 계획대로 되었는지 피드백 루프를 돌며 평가합니다. 만약 예기치 못한 경고 팝업이 뜨면 이를 실시간으로 분석해 '닫기' 버튼을 누르거나 작업을 잠시 중단하는 등 동적인 대처를 취합니다.

실제 도입 시 마주하는 장애물과 대처 전략

멀티모달 액션 모델이 뛰어난 패러다임이긴 하지만, 기업 실무에 본격적으로 도입하기 위해서는 극복해야 할 과제들이 분명 존재합니다.

신뢰성과 오류의 누적 현상

AI 에이전트가 소프트웨어를 다룰 때, 10단계의 과정 중 단 한 번만 엉뚱한 버튼을 눌러도 전체 작업 흐름이 꼬일 수 있습니다. 특히 화면 로딩 속도가 늦어져 빈 화면에 클릭을 하거나, 예기치 않은 광고 팝업에 가로막히면 오류가 누적(Error Propagation)되어 전혀 엉뚱한 작업으로 이어집니다. * 대처 전략: 시스템 결함이나 지연을 식별할 수 있는 견고한 피드백 메커니즘을 적용하고, 작업 시작 전 핵심 경로마다 체크포인트를 두어 실패 시 이전 단계로 자동 복구(Rollback)되도록 가이드라인을 수립해야 합니다.

보안 및 데이터 유출 리스크

MAM이 사내 시스템의 모든 화면을 캡처하고 텍스트를 인지하는 만큼, 민감한 개인정보나 재무 데이터가 외부 클라우드 AI 서버로 유출될 우려가 있습니다. 또한 AI가 제어권을 잃어 중요 데이터베이스의 삭제 버튼을 누르는 사고가 발생할 수도 있습니다. * 대처 전략: 중요한 금융 거래, 회원 탈퇴, 대규모 결제 등 치명적인 타격을 줄 수 있는 액션 영역에는 반드시 인간이 최종 확인을 누르도록 하는 HITL(Human-in-the-Loop) 단계를 설계해야 합니다. 또한 보안이 극도로 중요한 시스템의 경우 가벼운 경량형 로컬 MAM 모델(sLMM 기반)을 온프레미스로 구축하여 운영하는 것을 권장합니다.

맺으며: AI 에이전트 시대를 향한 실천적인 걸음

과거의 자동화가 딱딱하고 고정된 규칙에 맞춰 인간이 프로그램을 섬기는 형태였다면, 멀티모달 액션 모델이 주도하는 미래는 프로그램이 인간의 자연어 맥락을 이해하고 알아서 움직이는 형태가 될 것입니다. 비즈니스 생산성을 한 단계 끌어올리고자 하는 기업이라면, 당장 대규모 시스템을 MAM으로 바꾸기보다는 단순 데이터 조회, 단순 CRM 전산 업데이트와 같은 로우 리스크(Low-Risk) 반복 업무부터 실험적으로 적용하며 노하우를 쌓아가야 합니다. 화면을 관찰하던 AI가 행동하는 AI로 진화하는 이 혁명의 시기에, 새로운 기술 흐름에 먼저 올라타는 기업이 궁극적인 운영 효율의 패권을 거머쥐게 될 것입니다.