워드프레스 웹사이트 크롤링 문제 해결 방법

워드프레스 웹사이트가 검색되지 않을 때 해결할 수 있는 몇 가지 방법을 소개합니다. 특히 로봇 파일과 Noindex 설정에 대해 자세히 설명해 드리겠습니다.

1. 사이트 설정 확인하여 크롤링 문제 해결

워드프레스 관리자에서 '설정 > 읽기'로 이동해 '검색 엔진이 이 사이트를 색인하지 않도록 요청'이라는 옵션이 체크되어 있는지 확인합니다. 만약 체크되어 있다면, 이를 해제해야 검색 엔진이 사이트를 찾을 수 있습니다. 이 설정은 검색 엔진에게 사이트를 색인하지 말라는 신호를 보내기 때문에 매우 중요합니다.

2. 로봇 파일 (robots.txt) 확인하여 크롤링 문제 해결

크롤링 문제 해결_다음웹마스터도구

 

로봇 파일은 검색 엔진에게 어떤 페이지를 크롤링할 수 있고 어떤 페이지를 크롤링하지 말아야 하는지 알려주는 파일입니다. 예를 들어, robots.txt 파일에 Disallow: /라고 쓰여 있으면 검색 엔진이 모든 페이지를 보지 않게 됩니다. 이 설정은 모든 검색 엔진에게 전체 웹사이트 접근을 차단하는 규칙이며, 원하지 않는 결과를 초래할 수 있으니 주의해야 합니다. 일반적으로 /wp-admin/ 디렉토리를 Disallow:로 설정하여 관리자 페이지 크롤링을 막지만, 전체 사이트를 막는 설정은 피해야 합니다.

또한, Allow:와 Disallow: 명령어를 잘 활용해 검색 엔진이 중요한 콘텐츠를 잘 찾을 수 있도록 해야 합니다. 예를 들어, /wp-admin/ 디렉토리는 Disallow:로 설정해 크롤링을 막고, admin-ajax.php 파일은 Allow:로 설정해 필요한 AJAX 기능은 크롤링할 수 있도록 설정할 수 있습니다.

로봇 파일 작성 예시

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: Yeti
Disallow: /private/

User-agent: daum
Disallow: /confidential/

Sitemap: https://www.example.com/sitemap.xml

위 예시는 모든 검색 엔진(User-agent: *)에게 /wp-admin/ 디렉토리를 제외하고 크롤링을 허용하며, 관리자 AJAX 파일은 허용하는 설정입니다. 또한 네이버 크롤러인 Yeti에게는 /private/ 디렉토리를, 다음 크롤러인 daum에게는 /confidential/ 디렉토리를 크롤링하지 못하도록 설정하였습니다. 마지막으로 사이트맵의 위치를 알려 검색 엔진이 더 쉽게 사이트를 탐색할 수 있도록 도와 크롤링 문제 해결합니다..

3. Noindex 메타 태그 확인여 크롤링 문제 해결

특정 페이지가 검색 결과에 나타나지 않도록 할 때 noindex 메타 태그를 사용할 수 있습니다. 그러나 이 태그가 잘못 사용되면 검색 엔진이 중요한 페이지를 색인하지 않을 수 있습니다. 워드프레스에서 Yoast SEO나 Rank Math 같은 SEO 플러그인을 사용한다면, 각 페이지나 게시물의 SEO 설정에서 noindex가 설정되어 있는지 확인해 보세요. 중요한 페이지에 noindex가 설정되어 있다면 이를 해제해야 합니다.

4. 검색 도구 사용하기

구글, 네이버, 다음, 빙에는 각각 '서치 콘솔' 같은 도구가 있습니다. 여기에 사이트를 등록하고 사이트맵을 제출하면 검색 엔진이 더 쉽게 사이트를 찾을 수 있습니다. 이 도구를 통해 로봇 파일 설정이나 noindex 태그로 인해 발생하는 문제도 쉽게 찾을 수 있습니다.

5. 사이트맵 제출하여 크롤링 문제 해결

사이트맵은 검색 엔진에 사이트 구조와 페이지 목록을 전달해 크롤링을 돕는 파일입니다. Rank Math나 Yoast SEO 같은 플러그인을 사용해 사이트맵을 만들고, 각 검색 엔진의 서치 콘솔에 제출하면 검색 엔진이 내 사이트를 더 잘 알 수 있습니다. 사이트맵에 중요한 페이지가 포함되어 있는지 확인하고, 검색 엔진이 사이트를 제대로 크롤링할 수 있도록 도와주세요.

내가 사용한 사이트 맵이 https://사이트.com/sitemap_index.xml 인지 https://사이트.com/sitemap.xml 인지 정확히 보신 후 사이트맵을 제출 하셔야 합니다. 두가지 모두 내 사이트 맵이지만 경로를 달리할 경우 사이트 맵을 못 읽을 수도 있으니 확인하시고 사이트 맵을 제출하세요. 유튜브에서 혼용하여 알려주시니 혼동하시는 분들도 계실 것입니다.

6. URL 검사 도구 사용하기

구글 서치 콘솔에는 'URL 검사'라는 기능이 있습니다. 특정 페이지가 검색될 수 있는지 확인하고, 문제가 있으면 '인덱싱 요청'을 눌러 검색 엔진이 그 페이지를 보게 할 수 있습니다. 네이버, 다음, 빙도 비슷한 기능을 제공하니 이를 활용해 로봇 파일이나 noindex 설정으로 인해 차단된 페이지가 있는지 확인하세요.

7. 사이트 속도 최적화하기

검색 엔진이 사이트를 찾을 때, 사이트가 너무 느리면 잘 보지 못할 수 있습니다. 캐시 플러그인이나 이미지 최적화를 통해 사이트 속도를 개선하면 검색 엔진 크롤링에 도움이 됩니다.

8. 플러그인 문제 확인하기

어떤 플러그인이 검색 엔진이 사이트를 찾는 것을 방해할 수 있습니다. 모든 플러그인을 하나씩 비활성화하며 문제가 해결되는지 확인하세요. 특히 Yoast SEO, Rank Math, 또는 WP Fastest Cache 같은 플러그인들이 검색 인덱싱에 영향을 줄 수 있으니 우선적으로 확인해 보세요. 특히 SEO 관련 플러그인에서 잘못된 설정으로 인해 페이지가 검색되지 않을 수 있으니 주의해야 합니다.

9. 서버 설정 확인하기

호스팅 서버의 방화벽이나 .htaccess 파일이 검색 엔진이 사이트에 접근하는 것을 방해할 수 있습니다. 서버 설정을 확인해 검색 엔진이 접근할 수 있도록 해야 합니다. 특히 .htaccess 파일에 잘못된 규칙이 있는지 확인하고, 검색 엔진 봇이 접근할 수 있도록 설정하세요.

10. 구글 서치 콘솔 경고 확인하기

구글 서치 콘솔에 로그인해 '페이지 인덱싱' 섹션을 확인하면 크롤링 오류나 경고 메시지가 있을 수 있습니다. '로봇 파일로 인해 차단됨' 또는 'noindex로 인해 색인되지 않음'과 같은 메시지를 보고 문제가 있으면 해결하세요.

이 방법들을 하나씩 시도해 보면 검색 엔진이 내 사이트를 더 잘 찾게 될 것입니다. 그래도 해결되지 않는다면, 검색 엔진의 고객 지원센터에 문의해 보세요.

 

최고의 워드프레스 플러그인 10가지--->바로가기

워드프레스 오류 해결 가이드: 워드프레스 페이지 로딩 오류--->바로가기