개별 차단 그만… 빅테크 4사, AI 학습 거부 ‘통합 표준’ 수용
IETF서 제안… 오픈AI·구글·MS·앤트로픽 합의
구글 검색 선호 매체로 추가
오픈AI, 구글, 마이크로소프트, 앤트로픽 등 글로벌 AI 시장을 이끄는 주요 빅테크 기업들이 언론사 및 웹사이트 운영자의 AI 학습 거부(Opt-out) 절차를 하나로 통합하는 신규 인터넷 표준을 도입한다.
31일(현지 시간) IT 전문 매체 더버지(The Verge)가 서치엔진라운드테이블(Search Engine Roundtable)을 인용해 보도한 바에 따르면, 이들 4개 기업은 웹사이트 운영자가 여러 AI 크롤러에 대한 학습 거부 의사를 개별 설정할 필요 없이 한 번에 적용할 수 있는 공유 표준을 수용하기로 합의했다.
이번에 제안된 ‘공유 정책 토큰(Policy Token)’ 신호는 국제인터넷표준화기구(IETF) 내 표준화 작업을 주도하는 앤트로픽의 케빈 켈리 기술 리드가 제안한 것이다. 해당 표준은 웹사이트의 크롤링 및 수집 범위를 지정해온 기존 ‘robots.txt’ 파일 내부에서 구동된다. 이전까지 발행인들은 오픈AI, 구글, 앤트로픽 등 각 AI 기업의 크롤러에 맞춰 개별적으로 거부 명령을 작성해야 하는 번거로움을 겪어왔다.
이번 합의에 따라 4개 사는 웹사이트의 robots.txt 파일에서 해당 공통 정책 토큰을 확인하면 데이터 수집 및 AI 모델 학습을 제한하게 된다.
다만, 해당 거부 설정이 검색 엔진 노출 자체를 차단하는 것은 아니다. 마이크로소프트 측은 차세대 AI 모델 학습이나 환각 방지를 위한 검증 출처 참조(Grounding)를 선택적으로 거부할 수 있는 세부 제어 기능을 제공하되, 검색 엔진인 빙(Bing)의 검색 결과 노출에는 영향이 없을 것이라고 밝혔다. 구글 역시 기존과 마찬가지로 검색 노출 저해 없이 AI 검색 기능 노출 및 AI 학습 활용 여부만 선택적으로 제어할 수 있는 방식을 적용할 예정이다.
한편, 공통 신호를 가장 먼저 제안한 앤트로픽은 이미 해당 방식을 플랫폼에 도입하기 시작했으며, 구글과 마이크로소프트는 내년 중 정식 지원을 시작할 계획이다. 오픈AI 또한 향후 수 개월 내에 새로운 거부 토큰을 시스템에 반영할 방침이다.
브랜드 이름, 아직도 취향으로 정하시나요? (feat. TBWA코리아)
전략 기반의 네이밍 원칙 4가지
뉴스콘텐츠는 저작권법 제7조 규정된 단서조항을 제외한 저작물로서 저작권법의 보호대상입니다. 본 기사를 개인블로그 및 홈페이지, 카페 등에 게재(링크)를 원하시는 분은 반드시 기사의 출처(로고)를 붙여주시기 바랍니다. 영리를 목적으로 하지 않더라도 출처 없이 본 기사를 재편집해 올린 해당 미디어에 대해서는 합법적인 절차(지적재산권법)에 따라 그 책임을 묻게 되며, 이에 따른 불이익은 책임지지 않습니다.
- 에디터최석영 (csyeong720@ditoday.com)
