검색에 안 나올 때 확인 순서 — 색인 문제를 8단계로 좁힌다

사이트를 만든 지 몇 달이 지났는데 검색해도 안 나옵니다. 어디서부터 봐야 할지 모르겠다면 범위를 좁혀 가는 순서가 있습니다. 위에서부터 하나씩 확인하면 대부분 원인이 잡힙니다.

1단계 — 색인이 됐는지부터 확인

"검색에 안 나온다"는 두 가지로 갈립니다. 색인이 아예 안 된 것과 색인은 됐는데 순위가 낮은 것입니다. 대응이 완전히 다르므로 먼저 구분해야 합니다.

• 구글에서 site:도메인 으로 검색합니다. 결과가 0이면 색인 자체가 안 된 상태입니다
• 특정 페이지는 서치콘솔의 URL 검사로 확인합니다. 여기가 가장 정확합니다
• 내 브랜드명으로 검색했을 때도 안 나온다면 색인 문제일 가능성이 높습니다

색인은 됐는데 순위가 낮은 경우라면 이 글의 나머지 단계는 원인이 아닙니다. 콘텐츠와 링크 쪽을 봐야 합니다.

2단계 — robots.txt

가장 흔하고 가장 허무한 원인입니다. 개발 중에 막아 둔 것을 오픈하면서 풀지 않은 경우가 많습니다.

• 도메인/robots.txt 를 직접 열어 봅니다
• Disallow: / 한 줄이 있으면 사이트 전체가 막힌 것입니다
• 특정 디렉터리만 막혀 있는지도 확인합니다
• robots.txt 로 막으면 크롤링이 안 되므로 noindex 도 읽지 못합니다. 두 방법을 동시에 쓰면 의도와 반대로 작동합니다

3단계 — noindex

페이지 소스에서 <meta name="robots" content="noindex"> 를 찾습니다. 헤더로 내려오는 X-Robots-Tag 도 같은 역할을 하는데, 소스만 봐서는 안 보이므로 응답 헤더를 확인해야 합니다.

워드프레스라면 설정에서 "검색엔진이 사이트를 색인하지 않도록 요청" 체크가 켜져 있는지 확인하세요. 이 한 칸 때문에 몇 달을 허비하는 경우가 실제로 있습니다.

4단계 — canonical이 엉뚱한 곳을 가리키는가

rel="canonical" 이 다른 URL을 지목하고 있으면 이 페이지는 대표가 아니라고 선언한 셈입니다. 검색엔진은 지목된 쪽을 색인합니다.

• 모든 페이지의 canonical이 홈으로 걸려 있는 실수가 자주 보입니다
• 템플릿에 하드코딩된 경우, 개발 서버 주소가 그대로 남은 경우도 있습니다
• http/https, www 유무가 섞여 있으면 신호가 분산됩니다

5단계 — 리다이렉트와 응답 코드

• 200이 아니라 3xx가 여러 번 이어지는지 확인합니다. 체인이 길면 크롤링이 중단될 수 있습니다
• 없는 페이지가 200을 반환하는 소프트 404 는 색인 낭비를 만듭니다. 없는 주소는 404를 줘야 합니다
• 리다이렉트가 전부 홈으로 향하면 개별 페이지 신호가 사라집니다

URL 구조를 바꾼 적이 있다면 301 리다이렉트 정리를 먼저 점검하세요.

6단계 — 사이트맵과 내부링크

사이트맵은 제출했는데 색인이 안 된다면 대개 다른 원인이 있습니다. 사이트맵은 발견을 돕는 도구이지 색인을 보장하는 장치가 아닙니다.

• 사이트맵에 적힌 URL이 실제 접속되는 주소와 정확히 같은지 확인합니다. 슬래시 하나, www 유무까지
• noindex 페이지를 사이트맵에 넣으면 모순 신호가 됩니다
• 어디서도 링크되지 않은 페이지는 발견 우선순위가 낮습니다. 메뉴나 목록에서 최소 한 번은 연결되게 만드세요

자세한 점검 항목은 사이트맵 제출했는데 색인이 안 될 때에 정리해 두었습니다.

7단계 — 내용이 충분한가

여기까지 문제가 없다면 남는 것은 콘텐츠입니다. 서치콘솔에 "크롤링됨 - 현재 색인이 생성되지 않음", "발견됨 - 현재 색인이 생성되지 않음" 으로 표시된다면 기술적으로는 접근되지만 색인할 이유를 못 찾았다는 신호에 가깝습니다.

• 다른 페이지와 내용이 거의 같은 페이지가 많은가
• 목록만 있고 본문이 사실상 없는 페이지인가
• 같은 내용이 파라미터만 다른 여러 주소로 존재하는가

이 경우는 기술 수정이 아니라 페이지를 합치거나 내용을 채우는 쪽으로 접근해야 합니다.

8단계 — 시간

새 도메인은 색인까지 시간이 걸립니다. 위 항목이 모두 정상이고 사이트가 열린 지 얼마 안 됐다면 기다리는 것도 방법입니다. 다만 손 놓고 기다리기보다 내부링크를 늘리고 새 글을 꾸준히 올리는 쪽이 발견 속도를 높입니다.

robots.txt와 noindex의 차이가 헷갈린다면 두 방식의 차이를, 검색 결과에 제목이 다르게 나온다면 제목이 바뀌는 이유를 참고하세요.