AI 에이전트 차단에 빡쳐서 한국인이 만든 insane-search 근황... 진짜 폼 미쳤다 🔥

아니 요즘 AI 코딩 에이전트들 성능 진짜 엄청나잖아요. 근데 정작 검색 좀 시키려고 하면 "죄송합니다, 해당 사이트는 로봇 차단 설정(WAF) 때문에 읽을 수 없습니다" 하면서 손 놔버릴 때 많죠. 특히 네이버 블로그나 쿠팡, 레딧 같은 곳 긁어오라고 하면 403 Forbidden 에러 뱉으면서 눕는 꼬라지를 보고 있으면 뒷목이 뻐근해집니다.

"아니, 인간 브라우저로는 눈만 뜨면 들어가는 페이지를 왜 너는 못 읽냐고!"

이런 억하심정을 품은 게 저뿐만이 아니었나 봅니다. 결국 참다 참다 빡친 한국인 개발자가 직접 기상천외한 우회 도구를 만들어 버렸습니다. 이름부터 살벌한 insane-search가 그 주인공인데, 이거 써보니까 진짜 신세계가 따로 없습니다.

맨날 403 띄우던 AI 에이전트, 참교육당하던 시절은 끝났다

원래 Claude Code나 기타 자율형 AI 에이전트들이 웹 검색할 때 쓰는 라이브러리는 생각보다 단순합니다. 대부분 파이썬의 requests나 간단한 HTTP 클라이언트를 대충 던지는 식입니다. 이러니까 보안 장벽이 조금이라도 있는 사이트에 들어가면 바로 "어라? 봇이네?" 하고 뺨을 맞고 쫓겨나는 겁니다.

특히 한국 사이트들은 크롤링 차단에 매우 진심입니다. 네이버나 쿠팡은 물론이고 대형 커뮤니티들도 AI 봇이 들어와서 리소스를 갉아먹는 것을 극도로 싫어합니다. 결국 AI 에이전트들은 매번 차단당해서 "검색 실패"라는 핑계를 대며 허접한 답변만 내놓기 일쑤였습니다.

하지만 이제 이야기가 달라졌습니다. insane-search 플러그인을 장착하는 순간, AI 에이전트는 절대 쉽게 포기하지 않는 광기의 수집가로 진화합니다.

"브라우저가 보면 AI도 본다" insane-search 작동 원리와 사이다 감성

이 플러그인의 핵심 철학은 정말 심플하고 명확합니다. "인간이 웹 브라우저로 접속해서 볼 수 있는 공개된 정보라면, AI 에이전트도 어떻게든 볼 수 있어야 한다." 이 단순한 목표를 이루기 위해 개발자는 무려 4단계로 구성된 광기의 어댑티브 스케줄러(Adaptive Scheduler)를 구현했습니다.

단계별로 우회 방식을 집요하게 바꿔가며 결국 뚫어내는 구조입니다.

Phase 0 (꼼수 뒤지기): 굳이 무거운 브라우저를 띄우지 않고, 해당 사이트가 제공하는 RSS 피드나 오픈 API, 혹은 검색 엔진 캐시 등 조용히 뚫려 있는 백도어 엔드포인트를 먼저 찌릅니다.
Phase 1 (가벼운 잽 던지기): Jina Reader 같은 공개 프록시 리더나 다양한 User-Agent 목록을 돌려가며 가장 가벼운 방식으로 데이터를 요청해 봅니다.
Phase 2 (TLS 위장술): 여기서부터 기술이 들어갑니다. 일반 봇 필터들은 HTTP 요청 헤더뿐만 아니라 TLS 악수 단계의 핑거프린트(JA3)까지 감시합니다. 이를 우회하기 위해 curl_cffi라는 라이브러리를 써서 진짜 구글 크롬 브라우저가 요청하는 것처럼 완벽하게 위장합니다.
Phase 3 (최종 병기 가동): 이래도 안 뚫리면 마지막 수단으로 백그라운드에 진짜 헤드리스 브라우저(Playwright)를 실행시킵니다. 실제로 사용자가 브라우저를 켠 것처럼 자바스크립트를 렌더링하고, 그 과정에서 발생하는 네트워크 트래픽을 가로채서 데이터를 빨아먹습니다.

이 4단계 파이프라인 덕분에 웬만한 방어벽은 그냥 두부 자르듯이 서걱서걱 썰어버립니다.

네이버, 쿠팡, 유튜브 자막까지? 진짜 다 긁어오는 무설정 깡패 툴

게다가 사용법이 미치도록 편합니다. 원래 이런 우회 스크래핑을 하려면 비싼 유료 프록시 API 키를 사서 설정 파일에 집어넣고 난리를 쳐야 하잖아요. 하지만 이 툴은 귀찮은 설정이 단 하나도 필요 없는 0-Setup을 지향합니다.

그냥 플러그인을 깔아두면 끝입니다. AI 에이전트가 평소처럼 웹 서핑을 시도하다가 에러가 나면, 뒤에서 이 플러그인이 알아서 작동하여 4단계 무기를 하나씩 꺼내 듭니다. 유튜브 링크를 던져주면 자막이나 메타데이터를 싹 긁어오고, 네이버 블로그 글이나 쿠팡 상품 정보도 거침없이 가져옵니다.

Claude Code 유저라면 터미널에서 다음 몇 줄만 입력하면 바로 쓸 수 있습니다.

# 1. 마켓플레이스 저장소 등록
/plugin marketplace add https://github.com/fivetaku/gptaku_plugins.git

# 2. insane-search 플러그인 설치
/plugin install insane-search@gptaku-plugins

이렇게 한 번만 등록해 두면 알아서 의존성(Playwright, curl-cffi 등)까지 자동 설치하고 실행됩니다. 그야말로 숟가락만 얹으면 밥상을 다 차려주는 깡패 같은 편의성입니다.

합법과 불법의 경계선? 개발자가 직접 못 박은 선 넘지 않는 선비 정신

하지만 개발자는 이 부분에 대해서도 확실한 선을 그었습니다. insane-search는 유료 회원제 사이트의 결제 장벽을 넘거나, 아이디와 비번을 요구하는 비공개 로그인 페이지를 뚫지 않습니다. 철저하게 누구나 URL만 치면 들어갈 수 있는 '공개된 페이지'만을 대상으로 우회 성능을 극대화합니다.

즉, 숨겨진 리소스를 훔치는 것이 아니라, 눈앞에 있는 걸 보지도 못하게 눈가리개를 씌우는 방화벽을 걷어내는 역할만 하는 것입니다. 일종의 AI 에이전트용 '라식 수술'이라고 이해하면 편합니다.

요즘 Claude Code나 에이전트 기반 코딩에 푹 빠져 있으신가요? 그렇다면 이 플러그인은 선택이 아니라 필수입니다. 맨날 봇 차단 에러 때문에 멍 때리던 에이전트가 눈을 부릅뜨고 정보를 다 긁어오는 모습을 보면 카타르시스가 느껴질 정도입니다.

여러분 생각은 어떠신가요? 아직도 403 에러 날 때마다 직접 브라우저 켜서 복사 붙여넣기 하는 노가다를 하고 계시지는 않겠죠? 시간 아깝게 삽질하지 말고 얼른 설치해 보세요. 시간 아껴서 국밥 한 그릇 더 사 먹는 게 이득입니다.