AI 검색 최적화, GEO는 학습 데이터에서 시작된다·서치서울 강연 요약 3편: Common Crawl 사례

AI 검색 최적화를 고민할 때 우리는 대부분 AI가 답을 만드는 순간에 집중합니다. 어떤 콘텐츠가 인용되는지, 어떻게 써야 답변에 들어가는지요. 그런데 그보다 훨씬 앞 단계에서 이미 승부가 갈리고 있다면 어떨까요? 우리 사이트가 AI가 배우는 자료에 아예 들어가 있지 않다면요.

이 질문을 정면으로 다룬 강연이 지난 9월 열린 2026 서치서울(Search Seoul)에 있었습니다. Common Crawl* Foundation의 Stephen Burns 연사는 강연 「학습 데이터야 말로 새로운 랭킹 요인이다(Training Data Is the New Ranking Factor)」에서 AI가 우리를 알게 되는 출발점은 학습 데이터이고, 그 문을 여닫는 건 콘텐츠가 아니라 CDN과 robots.txt 같은 인프라 설정이라고 짚었습니다. 강연 핵심 내용을 정리를 통해 우리 사이트가 AI의 학습 데이터에 들어가 있는지, 아니라면 무엇부터 점검하면 좋을지 함께 살펴보세요.

*Common Crawl(커먼 크롤)은 인터넷의 방대한 웹페이지를 수집하여 누구나 무료로 사용할 수 있도록 공개하는 미국의 비영리 단체이자, 이들이 구축한 세계 최대 규모의 ‘공개 웹 아카이브(데이터셋)’입니다.

AI 검색 최적화, 답변 단계만 신경 쓰면 될까?

AI가 콘텐츠를 알게 되는 과정은 네 단계로 설명하 수 있습니다. ① 크롤러(CCBot, 웹 데이터 수집 로봇)가 웹을 수집하고, ② 수집한 데이터가 누구나 쓸 수 있는 공개 아카이브인 Common Crawl에 쌓이고, ③ AI 연구소들이 이 데이터를 걸러 모델을 학습시키고, ④ 마침내 모델이 우리 브랜드를 알게 됩니다. 그런데 업계는 대부분 마지막 ④단계만 최적화하고 있다는 겁니다.

“학습 데이터에 포함되는 것 자체가 랭킹 요소입니다.”

Stephen Burns, Common Crawl Foundation

여기에는 세 가지 의미가 있습니다. 첫째, 학습 데이터는 온페이지, 기술 SEO, 링크 빌딩보다 더 앞 단계에서 작동합니다. 둘째, 학습 데이터에 들어갈지는 콘텐츠 전략이 아니라 CDN, robots.txt, 서버 렌더링 방식 같은 인프라 결정에 달려 있습니다. 셋째, 아직 업계 대부분은 이를 점검할 틀조차 없습니다. 바로 이 세 번째가 기회라는 것이 연사의 이야기입니다. 경쟁사보다 먼저 이해하면 그만큼 앞서갈 수 있으니까요.

크롤됨, 학습됨, 검색됨은 서로 다릅니다

크롤러가 다녀갔다고 해서 AI가 그 내용을 배웠다는 뜻은 아닙니다. 크롤됨, 학습됨, 검색됨을 서로 단계입니다. Common Crawl에 들어간 건 재료일 뿐이고, 그 재료가 모델 학습에 쓰이기까지는 아무도 측정하지 않는 필터가 있습니다. ‘검색됨’은 AI가 답을 만들 때 우리 페이지를 실시간으로 가져오는 것인데, 모델이 애초에 우리를 배운 적이 없다면 이것만으로는 한계가 있죠.

그래서 품질이 좋다고 학습이 보장되지는 않습니다. AI 연구소들은 학습 전에 내용을 뽑아내고, 걸러내고, 중복을 지웁니다. JavaScript 안에 묻힌 글, 얄팍한 템플릿 페이지, 다른 곳과 겹치는 내용은 이 과정에서 사라질 수 있어요. 그러니 페이지를 더 많이 만드는 것보다, 내용을 뽑아내기 쉽고, 다른 곳과 다르며, 외부 출처가 뒷받침하는 페이지를 만드는 것이 중요합니다.

“AI 가시성에서는 근접성이 이깁니다.”

Stephen Burns, Common Crawl Foundation

어떤 사이트가 수집되는지도 생각보다 다르게 정해집니다. CCBot은 페이지랭크가 아니라 조화 중심성을 씁니다. 페이지랭크가 “우리 집으로 오는 길이 몇 개인가?”를 묻는다면, 조화 중심성은 “우리 집이 도시 중심에서 얼마나 가까운가?”를 묻는 셈이죠. 그래서 링크도 많고 구글 순위도 좋은 유명 사이트가 웹의 중심에서 멀리 떨어져 있다는 이유로 학습 데이터에 빠질 수 있다고 합니다.

발행에서 AI 답변까지는 몇 달이 걸립니다

페이지를 발행해도 AI 답변에 반영되기까지는 시간이 걸립니다. CCBot(웹 데이터 수집 로봇)이 며칠에서 몇 달 뒤 페이지를 발견하고, 월간 크롤에 담기고, 몇 주 뒤 아카이브가 공개되고, 학습에 쓰이기까지 다시 몇 달에서 1년이 걸리죠. 그 전까지 우리 페이지는 AI가 실시간으로 가져오는 ‘검색됨’ 단계에서만 존재합니다.

일례로 멜버른의 SEO 전문가 Ash Nallawalla의 고객사 제품이 Bing Chat에서 사라졌는데, 알고 보니 CDN*이 CCBot을 막고 있었다고 해요. 설정을 고친 뒤 이 제품이 다시 나타나기까지 4개월이 걸렸습니다. 모델의 학습 시점도 생각보다 늦습니다. 여전히 많은 서비스에서 쓰이는 GPT-4o는 2023년 10월까지의 데이터로 학습했고, 최신 모델도 대략 6개월은 늦다고 하죠. 브랜드의 핵심 내용이 다음 학습에 들어가려면, 지금 바로 크롤러가 들어올 수 있게 열어 둬야 합니다.

* CDN(Content Delivery Network) : 전 세계에 분산된 서버 네트워크를 통해 사용자에게 웹 콘텐츠를 더 빠르게 전달하는 서비스

기본 설정이 AI 크롤러를 막고 있을 수 있습니다

고품질 웹사이트의 약 35%가 CDN 기본 설정 때문에 자신도 모르게 AI 크롤러를 막고 있고, 그중 가장 큰 비중이 Cloudflare라고 합니다.

미국의 대표적인 소아암 치료 기관인 로스앤젤레스 아동병원의 사례가 있습니다. 아이가 백혈병 진단을 받은 부모가 ChatGPT에 “로스앤젤레스에서 소아 백혈병 치료를 받으려면 어디로 가야 하나요?”라고 물었을 때, 이 병원이 나오지 않았다는 겁니다. 연사는 콘텐츠나 권위의 문제가 아니라, 병원의 누구도 결정하지 않은 CDN 기본 설정이 AI 크롤러를 막고 있었기 때문이라고 설명했습니다. 한국의 은행, 병원, 공공기관, 대학에서도 같은 일이 일어날 수 있다고 덧붙였죠.

“기본값이 여러분 대신 결정하게 두지 마세요.”

Stephen Burns, Common Crawl Foundation

Cloudflare*는 AI 크롤러를 검색, 에이전트, 학습 세 종류로 나누고, 광고가 있는 페이지에서는 에이전트와 학습 크롤러를 기본으로 막도록 바꾸고 있습니다. CCBot은 학습 크롤러에 속합니다. 문제는 Googlebot처럼 여러 용도를 겸하는 크롤러는 가장 엄격한 규칙을 따른다는 점인데요. 학습 크롤러를 막다가 검색 크롤러까지 막을 수 있다는 뜻입니다. 지금 설정이 무엇을 막고 있는지 직접 확인하고, 의식적으로 설정해야 합니다.

*Cloudflare(클라우드플레어)는 전 세계 웹사이트의 속도를 빨라지게 하고 해킹으로부터 안전하게 보호해 주는 글로벌 사이버 보안 및 네트워크 서비스 기업

한국어 사이트라면 영어도 함께 발행하세요

최신 크롤 기준 Common Crawl에서 한국어 페이지 비중은 0.84%로, 16번째로 많은 언어입니다. 최근 세 번의 크롤에서 계속 늘었고 우크라이나어, 스웨덴어, 아랍어, 힌디어보다 앞서 있죠. 다만 나라 전체의 비중이 개별 사이트를 지켜 주지는 않습니다. robots.txt나 인프라 설정이 잘못돼 있으면 그 1% 안에서도 보이지 않을 수 있습니다.

그리고 영어는 크롤 전체의 41%를 차지합니다. 한국어로만 발행하면 모델이 배울 재료가 그만큼 적다는 뜻이죠. 그래서 한국어만이 아닌 영어로도 발행하라고 권했습니다. 벨기에의 한 SEO 전문가가 이를 고객사에 시험해 보니, 영어 폴더를 둔 사이트는 ChatGPT 인용이 122%, Copilot 인용이 52%, 구글 AI 노출이 28% 늘었다고 합니다. 답변 직전에 페이지를 가져오는 ChatGPT의 봇도 네 번 중 세 번은 영어 페이지를 고른다고 해요. 다만 영어 페이지는 AI가 브랜드의 기준 정보로 삼기 쉬우니, 반드시 최신 상태로 관리해야 합니다.

AI 가시성 감사, 다섯 가지만 확인하세요

연사는 에이전시가 바로 서비스로 제공할 수 있는 AI 가시성 감사 항목을 정리했습니다.

1. CCBot이 들어올 수 있는가: robots.txt, CDN, 방화벽을 확인합니다.
2. Common Crawl 인덱스에 있는가: 우리 도메인이 마지막으로 수집된 시점을 확인합니다.
3. 조화 중심성 점수: 점수가 낮으면 수집 우선순위와 시간이 줄어듭니다.
4. 구조화된 데이터: 스키마가 없는 엔티티는 학습에 잘 담기지 않습니다.
5. JavaScript 비중: AI 크롤러는 초창기 Googlebot처럼 동작해, JavaScript가 많은 페이지는 제대로 읽히지 않을 수 있습니다.

연사는 이 항목을 도메인만 넣으면 1분 안에 확인해 주는 무료 도구(audit.stephenburns.ai)도 공개했습니다. 시연 사례는 Hyatt 호텔이었는데요. 분석에 따르면 Hyatt 홈페이지는 robots.txt를 요청하는 단계부터 “요청이 너무 많다”는 429 오류가 돌아왔고, 샘플로 확인한 500개 주소 중 정상 응답은 하나도 없었으며, 2025년 9월부터 2026년 8월까지 12개월 동안 Common Crawl에 한 번도 담기지 않았습니다. 하위 도메인은 수집되는데 정작 대문은 닫혀 있었던 셈이죠. Common Crawl을 막는 규칙 하나가 결국 AI 생태계 전체를 막고 있었던 겁니다.

인덱싱과 랭킹에서, 학습과 검색으로

키워드 리서치, 링크, 기술 SEO는 여전히 중요합니다. 다만 이제는 그게 전부가 아니라고 연사는 말합니다. 예전 검색이 인덱싱과 랭킹의 세계였다면, 지금은 학습과 검색의 세계라는 거죠. “AI 답변에 어떻게 들어갈까”만 고민했다면, 앞으로는 “우리 사이트가 AI가 배우는 자료 안에 들어가 있는가”부터 확인해 보세요.

편집자 노트: 영어로 발행할 때는 해외 검색어부터 보세요

연사가 권한 ‘영어도 함께 발행하기’를 실천하려면, 해외 사람들이 우리 카테고리를 영어로 어떻게 찾는지부터 알아야 합니다. 한국 선크림을 예로 들어 볼까요? 리스닝마인드로 미국 구글 검색을 조회해 보면 ‘korean sunscreen’은 월 3만 3,566회, ‘best korean sunscreen’은 월 1만 33회 검색되고, ‘korean sunscreen for oily skin’(월 920회)처럼 피부 타입을 붙인 질문도 있습니다(최근 3개월 월평균). 한국어 페이지만 있는 브랜드라면 이 질문들에 답할 영어 페이지가 없는 셈이죠. 해외 사람들이 실제로 쓰는 표현으로 영어 페이지를 만들면, 연사가 말한 ‘모델로 들어가는 관문’을 더 정확하게 열 수 있습니다.

우리 브랜드도 같은 방법으로 확인할 수 있습니다. 리스닝마인드에서는 한·미·일 키워드를 조회해, 해외에서 어떤 표현과 조건을 붙여 상품을 찾는지 볼 수 있어요. 무료 체험에서 확인해보세요.

※ 해당 글은 서치서울 2026의 「학습 데이터야 말로 새로운 랭킹 요인이다(Training Data Is the New Ranking Factor)」강연을 요약 및 재편집한 글입니다.

AI 검색 최적화 자주 묻는 질문

참고 자료
· Stephen Burns(Common Crawl Foundation), 서치서울 강연 「학습 데이터야 말로 새로운 랭킹 요인이다(Training Data Is the New Ranking Factor)」