구글 URL 검사엔 색인됐다는데 검색엔 안 뜹니다 — 8월 28일 장애로 드러난 원인

8월 28일 오전(미국 동부시간 기준) 구글 검색이 콘텐츠를 색인은 했지만 실제 검색 결과에는 보여주지 않는 사고를 냈다. 월스트리트저널, 뉴욕타임스, CNN처럼 하루에도 수십 건씩 기사를 올리는 매체들의 최근 기사가 구글 검색 결과에서 통째로 빠졌다. 담당자 입장에서 더 신경 쓰이는 대목은 따로 있다 — 서치콘솔 URL 검사 도구는 이 기사들을 '색인됨'으로 표시하고 있었다는 점이다. 색인 보고서를 아무리 들여다봐도 이상이 없는데 실제 검색에는 안 뜨는 상황, 이게 내 사이트에서 벌어지면 어디서부터 확인해야 하는지 이번 사고를 기준으로 정리한다.

8월 28일, 무슨 일이 있었나

이번 장애는 한국시간으로 8월 28일 저녁 7시 15분 무렵 시작해 8시 35분 전후로 정상화됐다. 약 한 시간 반 동안 신문사·통신사 등 콘텐츠를 상시로 갱신하는 사이트들에서 방금 올라간 기사가 구글 검색 결과에 잡히지 않는 현상이 보고됐다. 구글은 별도의 공식 블로그 공지는 내지 않았지만, 문제를 인지하고 있다는 사실은 확인됐다. 사후에 검색 전문 매체들이 재현 테스트를 한 결과로는, 문제가 색인 단계가 아니라 색인된 문서를 실제 검색 결과 화면에 뽑아 보여주는 '서빙' 단계에서 생긴 것으로 추정됐다. 즉 구글 시스템 내부에는 문서가 이미 들어와 있었는데, 그걸 사용자 화면까지 전달하는 마지막 구간에서 막혔다는 뜻이다.

"색인됨"과 "검색에 노출됨"은 다른 상태다

이번 사고가 실무자에게 남긴 가장 뚜렷한 교훈은 색인과 노출을 같은 것으로 취급하면 안 된다는 사실이다. 서치콘솔 URL 검사 도구가 보여주는 '색인됨' 상태는 구글이 해당 URL을 크롤링해 색인 데이터베이스에 등록했다는 뜻이지, 지금 이 순간 검색 결과 화면에 반드시 뜬다는 보장은 아니다. 색인과 실제 결과 노출 사이에는 순위 산정, 캐시, 지역·서버별 결과 배포 같은 단계가 더 있고, 이번 사고처럼 그중 한 구간만 일시적으로 막혀도 '색인은 됐지만 검색에는 안 뜨는' 상태가 만들어진다.

평소 색인 문제를 진단할 때 URL 검사 결과만 보고 "색인됐으니 문제없다"고 결론 내리는 경우가 많은데, 이번 사고는 그 결론이 항상 맞지는 않는다는 걸 보여준 사례다. 특히 발행 직후 노출이 곧바로 매출이나 트래픽으로 이어지는 사이트라면, 색인 상태 하나만 보고 안심했다가 실제로는 몇 시간째 검색에서 빠져 있는 걸 뒤늦게 알아차리는 일이 생길 수 있다.

이 사고가 내 사이트 문제인지 가리는 순서

내 사이트의 글이 검색에 안 뜨는 걸 발견했을 때, 이번 같은 구글 측 전역 장애인지 우리 사이트만의 문제인지부터 가려야 대응 방향이 갈린다. 첫째, 구글 서치 상태 대시보드에 진행 중이거나 최근 종료된 이슈가 있는지 먼저 확인한다. 둘째, 같은 시간대에 나와 무관한 업종의 다른 사이트에서도 비슷한 증상이 보고되는지 검색 관련 커뮤니티나 SNS에서 확인한다. 우리 사이트만 겪는 증상이면 전역 장애가 아니라 로봇 배제, 캐노니컬, 서버 응답 지연 같은 우리 쪽 원인을 봐야 한다.

셋째, 서치콘솔 URL 검사에서 '색인됨'으로 나오는데 실제 검색에는 없다면, 몇 분에서 몇 시간 간격을 두고 같은 검색을 반복해 시간이 지나면 스스로 해소되는지 지켜본다. 이번 사고처럼 서빙 단계 장애라면 원인이 풀리는 즉시 별다른 조치 없이 노출이 돌아온다. 넷째, site: 검색과 실제 타깃 키워드 검색 결과를 나란히 비교해 문서가 아예 색인에서 빠진 것인지, 순위 밖으로 밀린 것인지, 이번처럼 노출 자체가 일시적으로 막힌 것인지를 구분한다. 이 네 단계를 순서대로 밟으면 며칠씩 원인도 모른 채 설정을 뒤지는 일을 줄일 수 있다.

발행 즉시 노출이 중요한 사이트가 준비해둘 것

언론사처럼 발행과 동시에 검색 유입이 걸려 있는 사이트라면 이런 서빙 장애를 완전히 막을 방법은 없다. 대신 장애가 우리 문제인지 구글 문제인지를 빨리 가려내는 체계를 갖추는 게 현실적인 대응이다. 사이트맵의 lastmod를 발행 즉시 갱신하고 IndexNow로 새 URL을 바로 알려두면, 최소한 "우리는 정상적으로 신호를 보냈다"는 근거가 남는다. 순위·노출을 자동으로 추적하는 모니터링을 걸어두면 특정 시간대에 노출이 뚝 끊기는 패턴을 사람이 눈치채기 전에 잡아낼 수 있고, 이게 우리 사이트만의 현상인지 업계 전반의 현상인지도 다른 사이트 데이터와 비교해 더 빨리 판단할 수 있다.

사고가 실제로 터졌을 때는 원인이 불확실한 상태에서 성급하게 로봇 배제 설정이나 캐노니컬, 사이트맵을 손대지 않는 것도 중요하다. 이번처럼 구글 쪽 문제였다면 우리 쪽 설정을 건드릴수록 장애가 풀린 뒤에도 새로운 문제를 만들 수 있다. 담당자에게 상황을 보고할 때도 "색인은 정상, 노출만 일시 중단"이라는 표현을 정확히 써서, 콘텐츠나 SEO 설정을 잘못 손봤다는 오해가 생기지 않게 해야 한다.

점검 순서 요약

발행한 콘텐츠가 검색에 안 뜬다는 보고를 받으면 다음 순서로 좁혀간다. ① 구글 서치 상태 대시보드에서 진행 중인 이슈 여부를 확인한다. ② 같은 시간대 다른 사이트의 유사 증상 보고를 검색·커뮤니티에서 확인한다. ③ 서치콘솔 URL 검사로 색인 상태와 실제 검색 결과를 따로 비교한다. ④ 몇 시간 간격을 두고 재검색해 시간에 따라 자연 해소되는지 지켜본다. 이 네 가지가 모두 '구글 쪽 이슈'를 가리킬 때만 기다리고, 우리 사이트만의 증상이라는 결론이 나오면 그때부터 색인 자체가 안 된 경우의 8단계 진단으로 넘어간다. 색인 보고서 갱신이 며칠씩 밀렸다 몰아서 반영되는 것처럼 지연을 색인 문제로 오인하지 않는 습관과, 구글봇 방문 자체가 줄었는지 크롤 통계로 확인하는 절차를 평소에 익혀두면 이런 사고가 다시 나도 원인 없는 처방을 내리는 일을 줄일 수 있다.