구글 서치 콘솔에 사이트맵을 제대로 제출했는데도, 며칠 몇주 지나도 구글에서 페이지 색인 생성되지 않아 노출이 되지 않는 경우가 있다.
처음에는 구글이 하는 일이 원래 느리니깐 그럴 수도 있겠다 싶었지만, 수익형 워드프레스를 운영하는 입장에서 시간은 돈이다;;;
본 포스팅에서는 이러한 문제를 해결하는 방법을 알아보고자 한다.
1. robots.txt 파일의 역할
robots.txt는, 쉽게 말해, 검색엔진(봇)이 자신의 웹사이트를 크롤링할 때 어떤 것은 크롤링해도 되고, 어떤 것은 크롤링하지 못하게끔 규칙을 설정한 파일이라고 보면 된다. robots.txt가 어떻게 작성되었는지에 따라 본인의 웹사이트가 검색이 될 수도 있고 안될 수도 있다.
따라서 웹사이트를 만들고나서 바로 설정해야 하는 중요한 파일이다.
2. 자신의 robots.txt 파일 확인
먼저 본인의 robots.txt 파일이 제대로 작성되어 있는지 확인한다.
예를 들어, 본인의 도메인명이 abc.com 이라면 웹브라우저의 주소창에서 abc.com/robots.txt를 입력해 보자. 그럼 다음과 같은 유사한 화면이 출력될 것이다.
#START YOAST BLOCK ————————— User-agent: * Disallow: / ————————— #END YOAST BLOCK
여기서 User-agent는 검색봇을 의미하고, *는 ‘모두’를 의미한다. 즉, ‘User-agent: *’라는 의미는 ‘모든 검색봇에 해당한다’라는 의미이다.
다음 줄 ‘Disallow: /’는 ‘색인을 허용하지 않는다’라는 의미이다.
따라서 이 두줄은 결국, ‘모든 검색봇은 색인을 허용하지 않는다’라는 의미이다.
3. 페이지 색인 생성 문제 발생 원인
이러한 문제점을 호소하는 사용자들의 공통점은 바로 Yoast SEO 라는 플러그인을 설치했다는 점이다. Yoast SEO는 워드프레스를 사용하는 사용자라면 거의 모르는 사람이 없을 정도로 유명하고 훌륭한 플러그인이다.
하지만 어떠한 과정에서 발생했는지는 알 수는 없지만, Yoast SEO의 기본 설정에서 Disallow: 가 기본설정으로 되었다는 점이 문제의 핵심이다.
4. 해결방안
robots.txt 파일을 변경하는 방법은 크게 두가지가 있다. 취향에 따라 선택하면 된다.
1. robots.txt 파일 작성 및 업로드
이쯤 되면, Yoast SEO에 대한 불신이 생긴 사용자가 있을 것이다. 필자가 바로 그렇다
일반 텍스트 편집기를 이용해서 파일을 직접 만드는 방법이다. 다음과 같은 txt 파일을 만들자.
User-agent: * Allow: / Sitemap: https://abc.com/sitemap_index.xml
위에서 sitemap은 본인의 사이트맵 주소를 입력하면 된다.
본인의 사이트맵 확인 방법은 웹브라우저 주소창에 abc.com/sitemap.xml을 입력한다. 그러면 본인의 실제 사이트맵 주소가 웹브라우저 주소창에 나올 것이다. 필자의 사이트맵 주소는 /sitemap_index.xml로 나와서 위의 robots.txt 파일에 그렇게 입력하였다.
그리고 작성한 robots.txt 파일을 루트 디렉토리에 업로드하면 된다.
2. Yoast SEO 재설정
워드프레스로 접속해서 Yoast SEO << tools 를 클릭한다.
그럼 우측 창에 다음과 같은 화면이 나올 것이다.
여기서 두번째 파란 글씨인 File editor 를 클릭하면 다음과 같은 화면이 나올 것이다.
여기서 바로 robots.txt를 편집할 수 있다. 업로드도 필요없고 간편하다.
편집한 후에는 아래에 있는 Save changes to robots.txt 버튼을 클릭하여 수정된 파일을 저장하도록 하자.
5. 결론
구글에서 본인의 웹사이트가 검색이 되지 않거나, 구글 서치 콘솔에서 방문자 수가 나오지 않는다면 robots.txt 파일을 확인해 보자.
그리고 구글봇은 실시간으로 반영하지 않기 때문에 robots.txt를 변경했다고 하더라도 검색에 반영되는 데는 며칠이 걸릴 수도 있다. 참고하기 바란다.