사이트맵을 제출했는데 색인이 안 됩니다 — sitemap.xml이 하는 일과 못 하는 일

"사이트맵 제출했는데 왜 색인이 안 되나요"는 가장 자주 받는 질문 중 하나입니다. 답부터 말씀드리면 사이트맵은 발견을 돕는 파일이지 색인을 보장하는 파일이 아닙니다. 다만 제 경험상 이 질문을 하는 사이트의 상당수는 색인 이전에 사이트맵 자체가 망가져 있습니다. 순서대로 확인해 보겠습니다.

가장 흔한 문제 — 사이트맵에 정작 글이 없습니다

여러 사이트의 사이트맵을 점검하면서 반복해서 마주친 상황이 있습니다. 파일은 정상적으로 열리고 오류도 없는데, 목록 페이지 주소만 들어 있고 개별 글 주소가 통째로 빠져 있었습니다. 어떤 사이트는 21개만 들어 있던 사이트맵을 실제 글까지 포함하도록 고치자 49개가 됐고, 다른 사이트는 이미 사라진 도메인 주소로 URL이 생성되고 있었습니다. 어느 쪽이든 검색엔진은 "이 사이트에는 페이지가 스무 개뿐"이라고 이해합니다.

원인은 대부분 자동 생성 로직입니다. 게시판이나 플러그인이 만들어 주는 사이트맵은 특정 조건의 글을 조용히 빼는 경우가 많습니다. 사이트맵은 만들어 두는 파일이 아니라 열어서 세어 보는 파일이라고 생각하는 편이 안전합니다.

3분 점검 — 이 세 가지만 보면 됩니다

• 직접 열어 본다. 브라우저에서 /sitemap.xml을 열고 URL이 실제로 몇 개인지 셉니다. 사이트에 있는 페이지 수와 자릿수가 맞는지 봅니다.
• 무작위로 다섯 개를 눌러 본다. 200으로 열리는지, 리다이렉트되지는 않는지, 404가 섞여 있지는 않은지 확인합니다.
• 대표 주소와 일치하는지 본다. 사이트맵에는 www가 붙어 있는데 실제 사이트는 비www로 통일돼 있다면, 모든 URL이 리다이렉트를 한 번 거치게 됩니다.

404나 리다이렉트가 섞인 사이트맵은 신뢰도를 깎습니다. 검색엔진이 "이 사이트가 주는 목록은 정확하지 않다"고 학습하면 이후 제출의 효과도 함께 떨어집니다.

lastmod를 거짓으로 쓰면 역효과입니다

일부 도구는 사이트맵을 생성할 때마다 모든 URL의 lastmod를 오늘 날짜로 찍습니다. 내용이 바뀌지 않았는데 매일 수정됐다고 알리는 셈입니다. 이런 신호가 반복되면 검색엔진은 그 값을 무시하기 시작합니다. 실제로 글을 고쳤을 때만 날짜가 바뀌도록 만들어야 lastmod가 재수집을 앞당기는 신호로 작동합니다. priority와 changefreq는 사실상 참고되지 않으므로 시간을 쓸 필요가 없습니다.

사이트맵이 멀쩡한데도 색인이 안 된다면

여기서부터가 진짜 원인입니다. 서치콘솔의 페이지 리포트에서 '크롤링됨 - 현재 색인이 생성되지 않음' 또는 '발견됨 - 현재 색인이 생성되지 않음'이 대부분이라면, 이는 기술 문제가 아니라 판단의 문제입니다. 앞의 것은 읽고 나서 담을 가치가 없다고 본 상태이고, 뒤의 것은 알고는 있으나 읽을 순서를 미룬 상태입니다. 둘 다 사이트맵을 다시 제출한다고 해결되지 않습니다.

이때 확인할 것은 세 가지입니다. 같은 내용이 여러 주소로 존재하지 않는지, 다른 페이지에서 그 글로 가는 내부 링크가 하나라도 있는지, 그리고 그 글이 이미 검색 결과에 있는 글들보다 새로 주는 정보가 있는지입니다. 세 번째가 비어 있으면 아무리 요청해도 색인은 잘 되지 않습니다. 이 부분은 검색에 안 잡히는 이유에서 자세히 다뤘습니다.

규모가 커지면 나누십시오

사이트맵 하나에는 URL 5만 개, 압축 전 50MB까지 담을 수 있습니다. 이 선을 넘으면 사이트맵 색인 파일을 만들어 여러 개로 나눠야 합니다. 수천 페이지 규모부터는 글·상세·카테고리처럼 성격별로 나누는 편이 낫습니다. 어느 묶음의 색인율이 낮은지 리포트에서 바로 갈라 볼 수 있어 진단이 빨라지기 때문입니다.

제출한 다음에는 무엇을 보나

제출 직후의 '성공' 표시는 파일을 읽었다는 뜻일 뿐입니다. 실제로 봐야 할 것은 며칠 뒤 페이지 리포트에서 색인된 페이지 수가 올라가는지, 그리고 색인되지 않은 사유의 구성이 바뀌는지입니다. 사유별 숫자가 어떻게 움직이는지가 다음에 무엇을 고쳐야 하는지 알려 줍니다. 매주 확인할 리포트는 이 글에 정리해 두었습니다. 새 사이트라면 애초에 시간이 걸린다는 점도 감안해야 합니다.