구글봇이 자동으로 내가 발행한 글을 크롤링하지 못하는 경험을 하실 겁니다. 때문에 직접 글을 작성한 후 구글서치콘솔을 통해 색인생성을 요청하게 됩니다. 하지만 색인생성 요청을 하긴 전 우선적으로 실시간 URL 테스트를 진행하게 되는데 이때 Robots.txt라는 에러 메시지를 보게 됩니다. URL 테스트 오류 중 하나인 Robots.txt를 찾을 수 없음 문제의 해결 방법에 대해 자세히 알아보도록 하겠습니다.
구글서치콘솔 URL 검사
발행한 글이 구글봇에 의해 정상적으로 크롤링이 되고 있는지 확인해 보는 방법이 있습니다. 바로 구글서치콘솔의 URL 검사라고 하는 항목을 활용하는 것입니다. URL 검사 항목을 선택한 후 내가 발행한 글의 주소와 글 발행 시 생성된 번호를 입력합니다. (예시: https://www.abcedf.com/1)
이렇게 입력하면 아래와 같이 'URL이 Google에 등록되어 있지 않음'이라는 메시지를 확인하게 된다면 이것은 내가 발행한 글이 색인생성 되어 있지 않고, 이는 구글 검색엔진에 노출되지 않고 있다는 것을 의미합니다.
그리고 아래 '페이지 색인이 생성되지 않음: 크롤링됨 - 현재 색인이 생성되지 않음'의 세부항목을 살펴보겠습니다.
| Sitemaps | Sitemaps | 감지된 참조 사이트맵이 없습니다. |
| 참조 페이지 | 감지된 페이지 없음 | |
| 크롤링 | 최근 크롤링 | 해당사항 없음 |
| 크롤링에 사용된 에이전트 | 해당사항 없음 | |
| 크롤링 허용 여부 | 해당사항 없음 | |
| 페이지 가져오기 | 해당사항 없음 | |
| 색인 생성 허용 여부 | 해당사항 없음 |
구글에 발행된 글이 노출되지 않았다면 아래 Sitemaps과 크롤링을 통해서 상세한 내용을 확인할 수 있습니다. 해당 페이지를 감지할 수 없고, 크롤링에 대한 정보도 해당사항이 없습니다.
때문에 구글에 발행한 글을 알리고 위해서는 우선 실시간 URL 테스트를 통해 작성한 글이 구글에 노출되기에 문제가 없는 확인하는 과정이 필요합니다.
그런데 실시간 URL 테스트를 한 후 간혹 '실패: Robots.txt를 찾을 수 없음'이라는 오류 항목을 경험하게 됩니다. 이는 아래와 같은 경우에 발생할 수 있습니다.
- 티스토리 서버가 불안전한 상태인 경우
- 구글서치콘솔이 문제가 있는 경우
- 사용자가 작성한 글에 오류가 있는 경우
티스토리 서버가 불안한 상태인 경우
이 경우는 사용자가 직접 티스토리 서버에 있는 Robots.txt의 상태를 확인할 수 없습니다. 때문에 이미 제출한 Sitemap의 상태가 정상인지 확인해 봅니다. 제가 경험한 바로는 티스토리 서버 및 사용자가 사용하고 있는 인터넷에 문제가 있을 경우 Sitemap을 가져올 수 없음이라는 상태를 확인할 수 있습니다. 그리고 Robots.txt를 찾을 수 없음 메시지를 보게 됩니다.
구글서치콘솔이 문제가 있는 경우
이 경우는 사용자가 사이트의 문제 여부를 직접 확인할 수 없습니다. 다만 구글에서 전달된 메일을 통해 문제의 지속 여부를 확인할 수 있습니다.
사용자가 작성한 글에 오류가 있는 경우
처음 글을 발행하거나 혹은 이미 발행되었던 글을 수정하게 되는 경우 사용자는 실시간 URL 테스트를 하게 됩니다. 저의 경우 이미 발행된 글을 수정한 후 색인생성 여부를 확인했을 때 아직 구글봇이 크롤링하지 않았다는 것을 확인하게 되었습니다. 그래서 실시간 URL 테스트를 하게 되었는데요. 이때 Robots.txt라는 메시지와 함께 오류가 발생했음을 알았습니다. 하지만 이 경우 별다른 조치는 취하지 않았고, 5분 정도 경과 후에 다시 실시간 URL 테스트를 통해 색인생성 요청이 가능하다는 화면을 확인할 수 있었습니다.
구글서치콘솔을 사용하다 보면 처음 보는 오류에 놀라게 되는 경우가 있습니다. 또 어떻게 조치해야 할지 몰라 당황하게 됩니다. 하지만 일시적인 이유로 오류가 발생하게 되고 잠시 후 재시도했을 때 기존의 문제를 해결할 수 있는 경우가 있습니다.
만약 아래와 같이 최근 크롤링에 대한 정보를 확인할 수 있다면 정상적으로 구글봇에게 발행된 글의 존재를 알렸음을 의미합니다. 그리고 색인생성 요청을 해도 좋습니다.
robots.txt 테스터
사이트에 발행된 글의 robots.txt를 직접 테스트할 수도 있습니다. 아래 사이트에 접속한 후 확인된 속성을 선택합니다.
그리고 테스트가 필요한 글의 발행 번호를 입력한 후 테스트를 진행하면 입력한 글의 상태를 확인할 수 있습니다. 하지만 티스토리 블로그에 발행한 글일 경우에는 서버에 접근할 권한이 사용자에게 없기 때문에 오류가 발생해도 별다른 조치를 할 수 있는 것은 아닙니다.
구글서치콘솔 실시간 URL 테스트 오류 중 'Robots.txt를 찾을 수 없음'과 관련된 오류의 해결방법에 대해 알아보았습니다.
댓글