본문 바로가기

← Insights 공유 · 7분 · 읽음 9 · 추천 0 · 댓글 0

에이전트 입력 표현의 다양한 시도: Markdown, HTML/DOM, Image/Screenshot

AI 에이전트는 더 이상 “텍스트만 잘 읽는 모델”로 보기 어렵다. 특히 웹 브라우저나 GUI 환경에서 동작하는 에이전트는 사용자의 지시문뿐 아니라, 웹페이지 구조, 버튼 위치, 화면 레이아웃, 스크린샷, 클릭 가능한 영역까지 함께 이해해야 한다.

AI 에이전트는 더 이상 “텍스트만 잘 읽는 모델”로 보기 어렵다. 특히 웹 브라우저나 GUI 환경에서 동작하는 에이전트는 사용자의 지시문뿐 아니라, 웹페이지 구조, 버튼 위치, 화면 레이아웃, 스크린샷, 클릭 가능한 영역까지 함께 이해해야 한다.

최근 연구와 실험에서는 에이전트에게 입력을 어떻게 전달할 것인가를 두고 다양한 접근이 등장하고 있다. Markdown이나 plain text처럼 단순한 텍스트를 그대로 전달하는 방식, HTML/DOM 구조를 전달하는 방식, 그리고 사람이 화면을 보듯 screenshot/image를 입력으로 주는 방식이 함께 검토되고 있다.

중요한 점은 이것이 단순히 “Markdown에서 Image로 진화한다”는 식의 일방향 흐름은 아니라는 것이다. 오히려 학계와 업계에서는 작업의 성격에 따라 Text, HTML/DOM, Image/Screenshot을 어떻게 조합할지 실험하고 있다고 보는 편이 더 적절하다.


1. 에이전트 입력 표현의 다양한 시도

에이전트 입력은 크게 세 가지 관점으로 나누어 볼 수 있다.

첫째, Markdown / Plain Text는 가장 단순하고 토큰 처리에 친화적이다. 설명, 요약, 계획, 최종 응답 생성에는 여전히 강력하다. 하지만 실제 UI의 공간 배치, 버튼 위치, 시각적 강조, 레이아웃 정보는 대부분 손실된다.

둘째, HTML / DOM은 웹페이지의 구조, 속성, 선택자 정보를 담고 있다. 버튼, 링크, 폼 필드처럼 클릭 가능한 대상을 추적하기 좋다. 그러나 실제 웹페이지의 HTML은 너무 길고, 숨은 요소나 보일러플레이트가 많아 그대로 LLM에 넣기에는 비효율적일 수 있다.

셋째, Image / Screenshot은 사람이 보는 화면과 가장 유사한 입력이다. 브라우저뿐 아니라 데스크톱 앱, 임의의 GUI 환경에도 적용할 수 있다는 장점이 있다. 대신 OCR, 정밀한 좌표 판단, 긴 작업에서의 비용과 지연 시간이 문제가 된다.

그래서 최근 흐름은 “어떤 입력 방식이 승자인가?”보다 “작업 단계에 따라 어떤 표현을 섞어 쓸 것인가?”에 가깝다.


2. HTML/DOM 접근: 구조는 풍부하지만 실제 웹은 복잡하다

HTML/DOM 접근은 웹 에이전트 연구에서 중요한 출발점이다. 웹페이지의 구조, 버튼, 링크, 폼, aria-label, selector 같은 정보는 에이전트가 “무엇을 클릭해야 하는지” 판단하는 데 큰 도움이 된다.

Mind2Web 연구는 실제 웹사이트 기반의 일반 웹 에이전트 벤치마크를 제시했다. 2,000개 이상의 open-ended task, 137개 웹사이트, 31개 도메인을 포함하며, 실제 웹의 복잡성을 다루는 방향을 제시했다. 동시에 이 연구는 raw HTML이 LLM에 그대로 넣기에는 너무 크기 때문에, 먼저 작은 LM으로 필터링하면 효과와 효율이 개선될 수 있다고 설명한다.

즉 HTML/DOM은 “구조 이해”에는 강하다. 하지만 화면에서 무엇이 눈에 띄는지, 어떤 버튼이 시각적으로 가까운지, 어떤 영역이 사용자에게 중요하게 보이는지는 HTML만으로 완전히 설명하기 어렵다.

실무적으로는 DOM을 그대로 던지는 것보다, 필요한 요소만 추출하고 정리해서 에이전트에게 제공하는 방식이 더 현실적이다.


3. Image/Screenshot 접근: 사람처럼 화면을 보고 조작한다

스크린샷 기반 접근은 에이전트가 실제 사용자의 화면을 보고 동작하도록 만드는 방향이다. Anthropic의 Computer Use는 Claude가 화면을 보고, 커서를 움직이고, 버튼을 클릭하고, 텍스트를 입력하는 방식으로 컴퓨터를 사용할 수 있음을 소개했다. 다만 공개 당시에도 아직 실험적이며 오류가 있을 수 있다고 설명했다.

OpenAI의 Computer-Using Agent도 비슷한 방향이다. CUA는 GPT-4o의 vision capability와 강화학습 기반 reasoning을 결합해 GUI의 버튼, 메뉴, 텍스트 필드와 상호작용하도록 설계되었다.

UI-TARS는 한 발 더 나아가, 스크린샷만을 입력으로 받아 human-like interaction을 수행하는 native GUI agent 모델을 제안했다. 논문에서는 GUI perception, grounding, task execution을 다루는 여러 벤치마크에서 강한 성능을 보였다고 설명한다.

스크린샷 접근의 장점은 명확하다. 사람이 보는 화면을 그대로 입력으로 쓰기 때문에 레이아웃과 시각적 맥락을 보존할 수 있다. 또한 웹뿐 아니라 데스크톱 앱, 사내 도구, 복잡한 GUI에도 적용할 수 있다.

하지만 아직 한계도 크다. 정확한 OCR, 클릭 좌표의 정밀도, 화면 변화 추적, 긴 작업에서의 안정성은 계속 개선이 필요한 영역이다.


4. 실전에서는 하이브리드가 주류

실전적인 웹 에이전트는 한 가지 입력 표현만 고집하기보다 여러 표현을 함께 쓰는 경우가 많다.

WebVoyager는 실제 웹에서 end-to-end browsing을 수행하는 멀티모달 웹 에이전트 연구다. 이 연구는 시각 정보인 screenshot과 텍스트 정보인 HTML elements를 함께 사용한다. 특히 스크린샷을 주요 입력으로 사용하면 HTML DOM이나 accessibility tree의 과도한 장황함을 피할 수 있다고 설명한다.

이 접근은 꽤 현실적이다.

이미지는 전체 레이아웃과 화면 상태를 보여준다. DOM은 클릭 대상, 속성, selector 같은 정밀한 구조 정보를 제공한다. 보조 텍스트는 에이전트가 목표, 히스토리, reasoning을 유지하는 데 도움을 준다.

따라서 “Markdown vs HTML vs Image”의 경쟁으로 보기보다, 각 표현이 가진 강점을 조합하는 설계 문제로 보는 것이 좋다.


5. Optical Compression: 텍스트를 이미지로 압축할 수 있을까?

최근 흥미로운 논의 중 하나는 Optical Compression이다. 아이디어는 간단하다. 긴 텍스트를 그대로 텍스트 토큰으로 넣는 대신, 이미지 형태로 표현하면 더 많은 정보를 더 적은 vision token으로 담을 수 있지 않겠느냐는 것이다.

Sean Goedecke는 이 관점에서 “텍스트를 이미지처럼 다루면 더 많은 맥락을 담을 수 있는가?”라는 문제를 제기했다. 그는 DeepSeek-OCR 논문을 바탕으로, 텍스트 토큰보다 이미지 토큰이 긴 문맥을 압축적으로 표현할 가능성을 언급한다.

DeepSeek-OCR 논문은 optical 2D mapping을 통해 long context를 압축하는 가능성을 탐색했다. 논문 초록에 따르면 text token 수가 vision token 수의 10배 이내인 경우, 즉 compression ratio가 10× 미만일 때 OCR precision 97%를 달성했고, 20× 압축에서도 약 60%의 정확도를 보였다고 한다.

물론 이것이 곧바로 “텍스트를 전부 이미지로 바꾸자”는 결론은 아니다. OCR 오류, 정보 손실, 모델별 성능 편차, reasoning 품질 저하 가능성은 여전히 고려해야 한다.

다만 이 시도는 에이전트의 장기 기억, 오래된 context 압축, 문서 아카이브 표현 방식에서 흥미로운 연구 방향을 보여준다.


6. 아직 남아 있는 문제와 실무 시사점

웹·GUI 에이전트가 빠르게 발전하고 있지만, 아직 장기적이고 복합적인 실제 업무를 안정적으로 수행하기에는 한계가 있다.

OSWorld2.0은 이러한 현실을 잘 보여주는 벤치마크다. 이 연구는 108개의 long-horizon real-world workflow를 포함하며, 각 작업은 사람 기준 median 약 1.6시간이 걸리는 현실적인 end-to-end 업무로 구성되어 있다. 또한 Claude Opus 4.7 기준 평균 318 tool calls가 필요하다고 설명한다.

더 중요한 점은 성능이다. OSWorld2.0 결과에 따르면 최고 성능 모델도 binary completion 기준 20.6% 수준이며, partial score는 54.8%에 머문다. 연구진은 현재 에이전트가 아직 professional-level computer use와는 거리가 있다고 평가한다.

실패 패턴도 실무적으로 익숙하다.

에이전트는 제약 조건을 놓치기도 하고, 중간에 새로 들어온 정보를 놓치기도 한다. 사용자에게 물어봐야 할 상황에서 추측해버리기도 하고, 마지막 검증 단계를 생략하기도 한다.

그래서 실무 적용에서는 다음처럼 생각하는 것이 좋다.

Markdown / Text는 설명, 계획, 요약, reasoning trace, 최종 답변 생성에 적합하다. HTML / DOM은 구조 파악, 버튼·폼 타게팅, 정형 정보 추출에 유리하다. Image / Screenshot은 레이아웃 인식, GUI 조작, 시각 검증에 강하다.

결론적으로 미래는 Markdown을 버리는 것이 아니다. 작업 단계에 따라 Text, HTML, Image를 동적으로 라우팅하는 방향이 더 현실적이다.


마무리

에이전트 입력 표현은 아직 확립된 정답이 있는 영역이 아니다.

Markdown은 단순하고 강력하지만 화면 이해에는 약하다. HTML/DOM은 구조 정보가 풍부하지만 실제 웹에서는 너무 장황할 수 있다. Image/Screenshot은 사람의 화면 인식에 가깝지만 비용과 정확도 문제가 남아 있다.

따라서 지금 중요한 것은 “어떤 표현이 최종 승자인가?”를 정하는 것이 아니라, 업무 단계별로 어떤 표현을 언제, 어떻게 섞어 쓸 것인가를 설계하는 것이다.

AI 에이전트를 실제 업무에 적용하려면 결국 입력 표현도 하나의 아키텍처가 된다. 좋은 에이전트는 좋은 모델만으로 만들어지지 않는다. 에이전트가 무엇을 보고, 어떤 구조를 이해하고, 어떤 정보를 기억하며, 어떤 기준으로 행동할지를 함께 설계해야 한다.


References


이 글은 위키독스 블로그에 처음 실었습니다.

댓글 0

첫 댓글을 남겨 주세요.