워드프레스 사이트가 Google에 색인되지 않을 때 확인할 항목
워드프레스로 사이트를 운영하다 보면 콘텐츠를 열심히 발행했는데도 Google 검색 결과에 전혀 나타나지 않는 상황을 겪을 수 있습니다. 색인이 되지 않으면 아무리 좋은 글을 써도 검색 유입 자체가 발생하지 않습니다. 이 글에서는 색인 문제가 발생했을 때 순서대로 점검할 수 있는 항목들을 정리했습니다.
Google Search Console에서 색인 상태 먼저 확인하기
문제를 진단하기 전에 현재 상태를 정확히 파악하는 것이 먼저입니다. Google Search Console에 사이트를 등록했다면 URL 검사 도구를 사용해 특정 페이지가 색인되어 있는지 바로 확인할 수 있습니다.
검사하고 싶은 URL을 입력하면 해당 페이지의 색인 여부, Google이 마지막으로 크롤링한 날짜, 크롤링 중 발생한 오류 등을 확인할 수 있습니다. 색인이 되어 있지 않다면 그 이유도 함께 표시되기 때문에 다음 단계로 넘어가기 전에 반드시 이 도구부터 확인하는 것이 좋습니다.
Search Console이 아직 설정되어 있지 않다면 지금 바로 등록하는 것을 권장합니다. 색인 문제 외에도 사이트의 검색 성능을 전반적으로 파악하는 데 필수적인 도구입니다.
검색 엔진 노출 차단 설정 확인하기
워드프레스에는 검색 엔진의 크롤링을 차단하는 설정이 기본으로 내장되어 있습니다. 이 설정이 실수로 활성화되어 있는 경우가 생각보다 많습니다.
워드프레스 읽기 설정 확인
워드프레스 관리자 페이지에서 설정 → 읽기로 이동하면 하단에 ‘검색 엔진이 이 사이트를 색인하지 못하도록 차단’이라는 체크박스가 있습니다. 사이트를 개발 중일 때 이 옵션을 켜두고 이후에 끄는 것을 잊어버리는 경우가 자주 발생합니다. 이 항목이 체크되어 있다면 해제한 뒤 저장해야 합니다.
robots.txt 파일 확인
robots.txt 파일은 검색 엔진 크롤러에게 어떤 페이지를 크롤링할 수 있는지 알려주는 파일입니다. 사이트 루트 디렉토리에 위치하며 yourdomain.com/robots.txt로 직접 접근해 내용을 확인할 수 있습니다.
아래와 같은 내용이 있다면 Google 크롤러의 접근을 전면 차단하고 있는 것입니다.
User-agent: *
Disallow: /
이 경우 Disallow: / 부분을 Disallow: 로 수정하거나 해당 규칙을 제거해야 합니다. 플러그인을 통해 robots.txt를 관리하고 있다면 플러그인 설정에서 수정할 수 있습니다.
사이트맵 제출 및 상태 점검
사이트맵은 Google이 사이트의 구조와 콘텐츠를 파악하는 데 도움을 줍니다. 사이트맵이 제대로 생성되어 있고 Search Console에 제출되어 있는지 확인해야 합니다.
사이트맵 생성 확인
Yoast SEO, Rank Math, All in One SEO 같은 SEO 플러그인을 사용하고 있다면 대부분 자동으로 사이트맵을 생성합니다. 일반적으로 yourdomain.com/sitemap.xml 또는 yourdomain.com/sitemap_index.xml 주소로 접근했을 때 XML 형식의 사이트맵이 표시되어야 합니다.
해당 주소에 접근했을 때 404 오류가 뜨거나 아무것도 표시되지 않는다면 사이트맵이 제대로 생성되지 않고 있는 것입니다. 플러그인의 사이트맵 기능이 활성화되어 있는지 확인하고, 필요하다면 다시 활성화하거나 사이트맵을 수동으로 재생성합니다.
Search Console에 사이트맵 제출
Search Console의 Sitemaps 메뉴에서 사이트맵 URL을 제출할 수 있습니다. 이미 제출한 사이트맵의 상태도 이곳에서 확인할 수 있으며, 오류가 표시되고 있다면 해당 내용을 참고해 문제를 수정해야 합니다.
페이지별 노인덱스(noindex) 설정 확인
사이트 전체는 색인이 허용되어 있더라도 특정 페이지에 noindex 태그가 설정되어 있으면 그 페이지만 색인에서 제외됩니다.
SEO 플러그인을 사용하는 경우, 각 게시물이나 페이지의 편집 화면에서 SEO 설정 섹션을 확인해야 합니다. Yoast SEO를 기준으로 설명하면, 각 글 하단의 Yoast SEO 메타박스에서 고급 탭을 클릭하면 ‘이 페이지를 검색 결과에 표시하기’라는 옵션이 있습니다. 이 값이 ‘아니오’로 설정되어 있으면 해당 페이지에 noindex가 적용된 것입니다.
또한 카테고리, 태그 아카이브 페이지에도 noindex가 설정되어 있는 경우가 있으므로, 색인을 원하는 페이지 유형의 설정을 하나씩 확인해 보는 것이 좋습니다.
크롤링 오류 및 접근성 문제 확인
Google이 사이트를 크롤링하려고 해도 서버 오류나 접근 제한 때문에 제대로 크롤링하지 못하는 경우도 있습니다.
서버 응답 코드 확인
Search Console의 페이지 보고서에서는 크롤링 중 발생한 오류 목록을 확인할 수 있습니다. 404(페이지 없음), 500(서버 오류) 등의 오류가 반복적으로 발생하고 있다면 해당 URL의 문제를 해결해야 합니다.
URL 검사 도구에서 직접 색인 요청을 했을 때 ‘크롤링을 허용하지 않음’ 같은 메시지가 뜬다면 서버 설정이나 보안 플러그인에서 Googlebot의 접근을 막고 있을 가능성이 있습니다.
보안 플러그인 설정 확인
Wordfence나 iThemes Security 같은 보안 플러그인이 Googlebot을 악성 봇으로 오인해 차단하는 사례가 드물게 발생합니다. 보안 플러그인의 차단 목록이나 방화벽 규칙을 확인해 Googlebot의 IP 대역이 차단되어 있지 않은지 점검해 보세요.
사이트 속도 및 Core Web Vitals 점검
페이지 로딩 속도가 지나치게 느리면 Google 크롤러가 페이지를 제대로 렌더링하지 못하고 크롤링 예산을 소진해 색인이 늦어질 수 있습니다. 직접적인 색인 차단은 아니지만, 색인 속도에 영향을 줄 수 있는 요소입니다.
Google PageSpeed Insights나 Search Console의 Core Web Vitals 보고서를 통해 페이지 성능을 확인하고, 속도가 크게 떨어지는 페이지가 있다면 이미지 최적화, 캐싱 플러그인 도입, 불필요한 플러그인 비활성화 등을 통해 개선하는 것을 고려해 볼 수 있습니다.
콘텐츠 품질 및 중복 콘텐츠 문제
기술적인 문제가 없는데도 색인이 되지 않거나 색인 후 순위가 낮다면 콘텐츠 품질 문제일 수 있습니다.
얇은 콘텐츠(Thin Content)
내용이 매우 짧거나 실질적인 정보가 없는 페이지는 Google이 색인할 가치가 없다고 판단해 색인을 하지 않거나 제외할 수 있습니다. 공백 페이지, 자동 생성된 태그 아카이브 페이지, 내용이 거의 없는 게시물 등이 여기에 해당합니다.
가치 있는 콘텐츠가 아닌 페이지는 noindex 처리하거나 내용을 보강하는 방식으로 정리하는 것이 좋습니다.
중복 콘텐츠
동일하거나 유사한 내용이 여러 URL에 노출되는 경우 Google은 어느 페이지를 색인할지 혼동할 수 있습니다. 워드프레스에서는 카테고리, 태그, 날짜 아카이브, 저자 페이지 등 동일한 콘텐츠를 다양한 URL로 보여주는 구조가 기본적으로 생성됩니다.
이런 경우에는 canonical 태그를 올바르게 설정하거나 중복이 발생하는 아카이브 페이지에 noindex를 적용하는 방식으로 처리합니다. SEO 플러그인을 사용하면 이 설정을 비교적 쉽게 관리할 수 있습니다.
새 사이트라면 시간이 필요할 수 있습니다
사이트를 막 개설했거나 새로 마이그레이션한 경우라면, 기술적으로 아무 문제가 없더라도 Google이 사이트를 발견하고 색인하는 데 시간이 걸릴 수 있습니다. 특히 외부 링크가 거의 없는 신규 사이트는 크롤러가 발견하기까지 더 오래 걸리는 경향이 있습니다.
Search Console에 사이트맵을 제출하고, URL 검사 도구에서 색인을 직접 요청하는 방법으로 Google이 사이트를 더 빨리 발견하도록 도울 수 있습니다. 이후에는 정기적으로 콘텐츠를 업데이트하고 외부 링크를 자연스럽게 늘려가는 것이 색인 속도를 높이는 데 도움이 됩니다.
점검 항목 요약
여러 항목이 복합적으로 문제가 될 수 있으므로, 아래 순서대로 하나씩 확인해 보는 것을 권장합니다.
- Google Search Console URL 검사 도구로 색인 상태 및 오류 확인
- 워드프레스 읽기 설정에서 검색 엔진 차단 체크박스 해제 여부 확인
- robots.txt 파일에서 크롤링 차단 규칙 확인
- 사이트맵 생성 여부 및 Search Console 제출 확인
- 개별 페이지의 noindex 설정 확인
- 서버 응답 오류 및 보안 플러그인의 Googlebot 차단 여부 확인
- 콘텐츠 품질 및 중복 콘텐츠 문제 확인
- 신규 사이트의 경우 크롤링 요청 후 충분한 시간 대기
색인 문제는 단 하나의 원인 때문에 발생하는 경우도 있지만, 여러 가지 요인이 겹쳐 있는 경우도 많습니다. 위 항목들을 체계적으로 점검하면 대부분의 색인 문제 원인을 찾아낼 수 있습니다.
