웹사이트들이 AI 에이전트를 일괄로 막는 대신 접속에 조건을 달기 시작했다. 인터넷 인프라 업체 Cloudflare는 9월 15일부터 광고로 수익을 내는 신규 도메인에 ‘에이전트는 광고가 실린 페이지에서 차단’을 권장 설정으로 제시했다. 검색 크롤링은 허용하고 AI 학습은 거부하는 설정이 함께 묶였다. 사이트 운영자는 언제든 바꿀 수 있다.
항공사·리뷰·쇼핑 사이트는 약관과 유료 라이선스, 제휴로 에이전트 접근을 다룬다고 미국 IT 매체 문의에 답했다. Meta는 10월 6일 개인 에이전트와 기업이 일하는 방식을 정하는 개방형 표준 ‘Personal Agent Protocol’을 예고했다.
Cloudflare, 광고 사이트에 ‘에이전트는 광고 페이지에서 차단’ 권장
Cloudflare는 신규 도메인을 만드는 사이트에 사업 모델별 권장 설정을 보여준다. 광고로 돈을 버는 사이트라면 검색 허용, AI 학습 거부, 광고 게재 페이지에서 에이전트 차단이 기본 제안이다. 광고가 없는 사이트는 셋 다 허용이다.
| 구분 | 광고 수익 없는 사이트 | 광고 수익 사이트 |
|---|---|---|
| 검색 크롤러 | 허용 | 허용 |
| AI 학습 크롤러 | 허용 | 학습 거부 |
| AI 에이전트 | 허용 | 광고 게재 페이지에서 차단 |
자료: Cloudflare 블로그(2026년 9월 15일). 신규 도메인 권장 설정이며 가입 때나 이후 언제든 변경할 수 있다
이유는 광고 구조에 있다. Cloudflare는 블로그에서 “광고 수익은 사람이 실제로 페이지를 봐야 생긴다”며 학습은 그 방문을 답변으로 대체하고 에이전트는 “광고를 볼 사람 없이 페이지를 가져간다”고 설명했다. 매튜 프린스 Cloudflare 공동창업자 겸 CEO는 보도자료에서 이번 조치를 두고 검색을 가치 있게 만드는 개방성을 지키면서 웹을 만드는 사람과 기업이 자기 작업물의 쓰임을 의미 있게 통제하도록 하는 것이 인터넷을 더 낫게 만드는 방법이라고 밝혔다.
기존 고객은 사정이 다르다. 예전에 ‘AI 봇 차단’을 켜 둔 사이트는 새 에이전트 설정이 ‘광고 페이지에서 차단’으로 옮겨 가고, 꺼 둔 사이트는 모든 항목이 허용으로 남는다. 모든 사이트에서 에이전트를 막겠다는 게 아니다. 광고 사이트에 권장값을 제시하고 기존 차단 설정을 옮겨 주는 조치다.
AI 학습 크롤러 비중 22%→52%…검색과 학습을 갈라놓은 이유
이 구분이 지금 필요해진 배경은 크롤러 통계에 드러난다. Cloudflare가 7월 1일 낸 블로그에 따르면 자사 네트워크에서 관측된 크롤러 요청 가운데 AI 학습용 비중이 지난해 봄 22%에서 올해 6월 52%로 올랐다. 1년 남짓 만에 30%포인트가 뛰었다.
문제는 같은 크롤러가 검색과 학습을 겸하는 경우가 많다는 점이다. 사이트가 학습을 막으려고 크롤러를 통째로 차단하면 검색 노출까지 사라진다. Cloudflare는 이 혼합형 크롤러가 검증된 크롤러 트래픽의 36.6%로 가장 큰 단일 범주라고 9월 15일 보도자료에서 밝혔다.
그래서 Cloudflare는 검색 색인은 두고 학습만 거부하는 ‘Disallow AI Training’ 설정을 새로 만들고, 크롤러를 검색·학습·에이전트 세 갈래로 나눠 따로 통제하게 했다. 에이전트는 채팅 속 페이지 호출이나 브라우저 사용 에이전트처럼 사람을 대신해 페이지를 방문하는 이용자 지시형을 말한다. 애플·구글·마이크로소프트 크롤러는 검색과 학습을 분리해 거부를 받아들이거나 받아들이기로 약속한 ‘책임 있는 크롤러’로 분류됐다.
Cloudflare는 학습을 막는 장치를 켠 사이트가 17%, 검색 봇을 막은 사이트는 1% 미만이라고 밝혔다. 모수는 Cloudflare를 쓰는 사이트다. 에이전트 쪽에는 학습 거부 같은 의사를 전할 표준이 아직 없다고 Cloudflare는 적었다.
항공사는 약관, Yelp는 유료…사이트마다 갈린 접속 조건
그렇다고 모든 사이트가 문을 연 것은 아니다. 항공사 두 곳은 열어 두지 않았다. 델타항공의 히나 차브다 글로벌 커뮤니케이션 총괄은 제3자 AI 에이전트가 고객을 대신해 델타 항공편을 검색하거나 예약하게 하는 제휴·연동이 현재 없다고 밝혔다. 외부 AI 에이전트를 포함한 신기술이 고객 경험을 높일 방법은 계속 평가하겠다고 했다. 개방하더라도 보안과 고객 경험을 염두에 두겠다는 단서가 붙었다.
유나이티드항공은 이용약관을 내놨다. 사전 서면 허가 없이 로봇·스파이더 같은 자동 장치나 수동 절차를 쓰지 말라는 조항이다. 특정 에이전트를 막았는지 묻는 후속 질문에는 답이 없었다.
돈을 받고 여는 곳도 있다. Yelp는 데이터 라이선스 프로그램으로 콘텐츠 이용료를 낸 에이전트가 아니면 사람이 아닌 트래픽을 허용하지 않는다고 밝혔다. eBay는 서드파티 쇼핑 에이전트의 구매 완료를 일괄 금지하지는 않되, 허가받지 않은 에이전트와 자동 수집, 모델 학습 이용은 제한한다고 했다.
월마트는 또 다르다. 메타 ‘뮤즈’의 파트너인 월마트는 사람 확인 버튼이 작동하지 않아 에이전트가 실패한 사례가 있었는데 의도적인 차단은 아니었다고 해명했다. 보안 장치의 부작용이었다는 설명이다. 아마존은 지난달 뮤즈의 접근을 막고 성명에서 다른 사업자를 대신해 구매하는 외부 앱은 공개적으로 운영하며 서비스 제공자의 참여 결정을 존중해야 한다고 밝혔다. 이 대치는 Meta ‘Muse for Small Business’ 기사에서 다뤘다.
같은 질문에 약관으로, 가격으로, 제휴로 답이 갈린다. 아디다스·질로·피자헛은 답하지 않았거나 언급을 거절했고, Cloudflare는 개인 에이전트 차단에 관해 공유할 구체적 데이터가 없다고 했다.
Meta, 개인 에이전트 표준 ‘Personal Agent Protocol’ 예고
접속 조건이 사이트마다 다르면 에이전트를 만드는 쪽도 곤란하다. Meta가 10월 6일 내놓은 답이 개방형 표준이다. Meta for Business 발표에 따르면 Meta(뮤즈·메타 비즈니스 에이전트)와 Sierra가 Genesys·NiCE·Decagon·Rocket·Shopify·Stripe·Walmart와 함께 개발 중이며, 개인 에이전트가 기업과 상호작용하는 방식을 규정한다. 다루는 범위는 인증, 이용자 신원 전달, 웹사이트·API·기업 에이전트를 거칠 때 기업의 가시성, 에이전트 간 통신이다. 누구나 구현할 수 있게 열어 둔다는 것이 Meta의 설명이다.
Meta는 발표문에서 일부 기업이 개인 에이전트를 웹사이트에서 막는 것으로 대응해 왔다며 “우리는 그 이유를 이해한다”고 적었다. 그러면서 “개인 에이전트를 돌려보내는 것은 그 뒤에 있는 고객을 돌려보내는 것”이라고 주장했다. 기업이 우려하는 지점을 함께 해결하겠다는 취지다. 뮤즈는 로그인·예약·구매처럼 결과가 따르는 행동은 이용자의 명시적 승인을 받는다는 원칙도 내놨다.
다만 표준은 아직 예고 단계다. Meta는 작업을 미리 소개하는 것이라고 했고, 사양 공개 시점과 참여사 확대는 정해지지 않았다.
‘에이전트를 가진 쪽이 쇼핑객을 가진다’…남은 쟁점
접속 조건은 결국 누가 이용자와의 접점을 쥐느냐의 문제로 이어진다. 루카 시안 버지니아대 다든경영대학원 교수는 미국 경제 매체 인터뷰에서 뮤즈를 둘러싼 진짜 싸움은 기업 사이에서 벌어지고 소비자는 전리품이라고 말했다. 그는 “에이전트를 가진 쪽이 쇼핑객과의 관계를 가진다”며 모든 유통업체가 이를 안다고 덧붙였다.
이마케터의 맥스 윌런스 애널리스트는 소비자가 뮤즈 같은 에이전트를 더 쓸수록 아마존이 소비자 여정에서 자신의 역할을 지키려 할 것이라고 봤다.
이 논쟁에는 이해당사자도 있다. Cloudflare는 AI 봇의 유료 접근 시장을 운영하고 에이전트용 브라우저를 시험하는 업체이기도 하다. 이 회사는 에이전트용 거부 표준이 인터넷 표준화 기구 IETF 논의에서 성숙하면 에이전트 설정을 다시 살피겠다고 밝혔다.
연관 기사
