오늘 내 블로그의 색인 상태를 Google Search Console에서 직접 뜯어보다가, 그동안 막연하던 그림 하나가 또렷해졌다. 애드센스 심사는 누가 사람이 앉아서 페이지를 넘겨보는 게 아니라, 구글이 이미 갖고 있는 크롤·색인 인프라 위에서 자동으로 돌아간다. 그리고 그 자동화가 무엇을 근거로 삼는지는 Search Console에 사이트를 등록하면 색인 정보로 들여다볼 수 있다. 오늘 배운 이 관계를 정리해 둔다.
한눈에 보기
| 질문 | 오늘 정리한 답 |
|---|---|
| 애드센스는 사람이 심사하나? | 아니다. 구글의 자동 크롤·색인 인프라를 기반으로 자동 평가된다 |
| 그 ‘기반 정보’는 어디서 오나? | Googlebot이 사이트를 크롤·색인한 데이터 |
| 내가 그걸 직접 볼 수 있나? | 있다 — Search Console에 속성(사이트) 등록 → 색인 리포트 확인 |
| 무엇을 봐야 하나? | 색인/미색인 수, 미색인 사유, 사이트맵, URL별 색인 상태 |
| 오늘의 함정 | ‘미색인’ 숫자가 커도 대부분 색인 대상이 아닌 자동생성 URL일 수 있다 |
1. 애드센스 심사는 ‘사람’이 아니라 ‘크롤 엔진’ 위에서 돈다
애드센스에 사이트를 신청하면 승인/거절 결과가 온다. 이때 착각하기 쉬운 게 “담당자가 내 글을 읽고 판단한다”는 그림이다. 실제로는 구글이 이미 웹 전체를 크롤하고 색인하는 그 인프라가 내 사이트에도 똑같이 적용되고, 애드센스는 그 위에서 자동으로 사이트의 콘텐츠 양·품질·정책 부합 여부를 평가한다.
그래서 “Low value content(저품질 콘텐츠)” 같은 판정도 사람의 주관적 코멘트가 아니라, 구글이 크롤·색인하며 파악한 내 사이트의 상태에서 나오는 신호에 가깝다. 결국 애드센스를 잘 통과하려면 구글의 크롤러가 내 사이트를 어떻게 보고 있는지를 먼저 알아야 한다.
2. 크롤러는 사실 둘이다 — Googlebot과 Mediapartners-Google
한 가지 오늘 명확해진 디테일. 구글이 내 사이트에 보내는 크롤러는 목적이 다른 둘이 있다.
| 크롤러 | 목적 | 결과가 보이는 곳 |
|---|---|---|
| Googlebot | 검색 색인 — 페이지를 이해하고 검색결과에 넣을지 판단 | Search Console 색인 리포트 |
| Mediapartners-Google | 애드센스 — 페이지 내용을 파악해 맞는 광고를 매칭 | 애드센스 대시보드 |
둘은 별개지만 뿌리는 같다. 애드센스가 “가치 있는 콘텐츠가 충분한가”를 볼 때 기대는 근거는 결국 Googlebot이 만든 색인 이해다. 즉 검색에 제대로 색인되는 사이트가 애드센스에도 유리하다. 그리고 그 “검색에 제대로 색인되고 있나”를 확인하는 도구가 바로 Search Console이다.
3. 자동화의 근거를 여는 열쇠 — Search Console 속성 등록
Google Search Console(GSC)은 구글이 내 사이트를 크롤·색인한 결과 데이터를 사이트 주인에게 열어주는 창구다. 쓰려면 먼저 속성(Property)을 등록해야 한다. 속성에는 두 종류가 있다.
| 속성 유형 | 범위 | 인증 |
|---|---|---|
| 도메인 속성 (Domain) | http/https · www/non-www · 하위 경로 전부 | DNS TXT 레코드 |
| URL 접두어 속성 (URL prefix) | 입력한 정확한 URL 형태만 | HTML 파일·메타태그·GA 등 |
내 사이트는 sc-domain:seongwon.net 형태의 도메인 속성으로 잡혀 있었다. 도메인 속성은 www·비www·http·https를 한 번에 묶어 보여줘서, “어디서 크롤됐는지”를 놓치지 않는 장점이 있다(오늘도 www. 서브도메인으로 크롤된 검색 URL이 잡혀 있는 걸 이 덕분에 봤다).
4. Search Console에서 실제로 확인하는 것들
속성을 등록하면 애드센스가 기대는 “색인 상태”를 아래 리포트들로 직접 볼 수 있다.
| 리포트 | 무엇을 알려주나 |
|---|---|
| Pages (색인 생성) | 색인된 페이지 수 vs 색인 안 된 페이지 수, 그리고 사유별 분류 |
| 사유 목록 | Crawled – currently not indexed(크롤됐지만 미색인), Discovered(발견만 됨), noindex 제외, redirect, 404 … |
| Sitemaps | 제출한 사이트맵, 읽힌 시각, 발견된 URL 수 — 사이트맵이 깨끗한지 확인 |
| URL 검사 | 특정 URL 하나의 색인 여부·크롤 허용·색인 허용 확인, 그리고 색인 요청 |
특히 중요한 개념 — ‘크롤됨 vs 색인됨’은 다르다
Discovered (발견됨) : URL 존재는 알지만 아직 크롤 안 함
Crawled - not indexed (크롤됨): 크롤은 했지만 색인에 넣지 않기로 함
Indexed (색인됨) : 검색결과에 노출될 수 있음“Crawled – currently not indexed”는 오류가 아니다. 구글이 크롤은 했지만 지금은 색인할 가치가 없다고 판단했다는 상태 신호일 뿐이다. 그래서 이 숫자를 볼 때는 ‘어떤 URL이 여기 들어있는지’를 반드시 열어봐야 한다.
5. 오늘 몸으로 배운 교훈
| 교훈 | 내용 |
|---|---|
| 미색인 숫자에 속지 말 것 | “색인 안 됨 100+”이어도 대부분 /feed/(RSS)·/tag/·검색결과처럼 원래 색인 대상이 아닌 자동생성 URL일 수 있다. 실제 글이 몇 개나 걸려 있는지를 봐야 한다 |
| 색인 위생 = noindex | 얇은 태그·날짜 아카이브·검색결과 페이지는 noindex로 빼서 “저가치 표면”을 줄인다. 글 본문의 색인에는 영향을 주지 않는다 |
| 진짜 글은 색인 요청 | 색인 가치가 있는데 ‘크롤됨-미색인’에 머문 글은 URL 검사 → 색인 요청으로 우선 크롤 큐에 넣을 수 있다 |
| 반영엔 시간이 걸린다 | noindex·색인 요청 같은 변경을 구글이 재크롤해 반영하는 데 보통 2~4주. 바꾸자마자 결과가 바뀌지 않는다 |
결론적으로, 애드센스는 구글의 자동 크롤 엔진이 만든 색인 이해 위에서 돌아가고, 그 자동화의 근거는 내가 Search Console에 속성을 등록하기만 하면 색인 정보로 확인할 수 있다. 애드센스 승인을 “운”으로 기다리는 대신, 구글이 내 사이트를 어떻게 크롤·색인하고 있는지를 데이터로 보고 손보는 게 훨씬 빠른 길이라는 걸 오늘 배웠다.
— 정성원 · seongwon.net · 직접 점검하며 정리한 운영 노트
참고
- Google Search Central — Googlebot
- Google Search Console 고객센터 — 페이지 색인 생성 보고서
- Google AdSense 고객센터 — 사이트 승인 및 콘텐츠 정책
답글 남기기