워프드레스 사이트나 티스토리 블로그를 구글 서치콘솔에 등록하게되면 글을 작성 할 때 새로운 페이지에서 색인 생성 문제가 감지 된다는 메일을 받을 것입니다.
그럼 이것이 항상 문제가 되는 것일까요?? 많은 경우 색인생성에서 제외되어야 하는 URL일 수있습니다.
색인 생성에 대해 어떤 문제들은 간단한 수정만으로도 해결 가능합니다.
어떤 문제들이 발생하는지, 해결되어야하는 문제인지 확인하고 해결해보도록 하겠습니다.
구글 서치콘솔 페이지 색인이 생성되지 않는 이유와 해결방법에 대해 알아보자
페이지 색인이 생성되지 않는 이유는 여러가지가 있습니다. 위 이미지를 확인해보면, NOINDEX 태그에 의한 제외, 찾을 수없음(404), 붕족페이지, robots.txt에 의한 차단 등
이런 것들은 어떤 이유에서 발생하고 해결방법은 무엇일까요? 차례대로 한번 알아보도록 하겠습니다.
1. NOINDEX 태그에 의해 제외되었습니다.
Google이 페이지의 색인을 생성하려고 시도했을 때 ‘noindex’ 지시문이 발견되어 색인을 생성하지 못했습니다.
만약에 내가 의도적으로 해당 페이지의 색인을 생성하지 않으려고 한 것이라면 아주 잘된 일입니다.
하지만 페이지 색인을 의도적으로 막은 것이 아니라면 이 페이지의 색인을 생성 하려면 ‘noindex’ 지시문을 제거해야 합니다.
이 문제를 해결하려면 어떻게 해야 할까요??
아이콘을 클릭하면 URL 검사를 하게 되며 클릭하세요 .- 적용 범위 > 색인 생성 > 색인 생성이 허용됩니까? 보고서에는 NOINDEX가 색인 생성을 방해하고 있음이 표시되어야 합니다. “noindex”라는 단어에 대한 페이지 소스 또는 응답 헤더를 검색 할 수 있습니다 .
- 라이브 버전에 NOINDEX 태그가 아직 존재하는지 확인하세요.
- 라이브 URL 테스트를 클릭하세요.
- 가용성 > 색인 생성 > 색인 생성이 허용됩니까? noindex 지시어가 여전히 감지되는지 확인하세요. noindex가 더 이상 존재하지 않으면 색인 생성 요청을 클릭하여 Google에 페이지 색인 생성을 다시 시도하도록 요청할 수 있습니다.
- noindex가 여전히 존재하는 경우 페이지의 색인을 생성하려면 이를 제거해야 합니다.
- 이 페이지의 색인을 생성하려면 태그나 HTTP 헤더를 제거해야 합니다.
2. 찾을 수 없음(404)
이 페이지는 요청 시 404 오류를 반환했습니다. Google은 명시적인 요청이나 사이트맵 없이 이 URL을 발견했습니다.
어떤 뜻이냐, 바로 사이트맵에 제출되지 않은 URL이 발견되고 검색이 되었다는 말입니다. 이것은 이전에 있다가 사이트 주소가 바뀌거나, URL이 변경되었음에도
구글 BOT에서 계속 인식하고 크롤링을 시도하는 것입니다. 이것을 해결하기 위해서는 301 리디렉션을 통해 이전 사이트, 새로바뀐 사이트가 어떤 것인지 표시를 해줌으로써
구글 봇이 중복으로 크롤링하거나 같은 글의 두개의 URL로 인식하여 중복처리하는 것을 막아야 합니다.
페이지가 이동된 경우 301 리디렉션을 사용하여 새 위치로 이동하여야 합니다.
이는 다른 페이지로 리디렉션되는 비표준 URL입니다. 따라서 이 URL은 색인이 생성되지 않습니다.
리디렉션의 대상 URL은 Google이 해당 대상 URL에 대해 어떻게 생각하는지에 따라 색인이 생성되거나 생성되지 않을 수 있습니다.
리디렉션이 포함된 표준 URL을 색인화할 수 있습니다.
3. robots.txt에 의해 차단된 URL
robots.txt 파일은 크롤러가 사이트에서 액세스할 수 있는 URL을 검색엔진 크롤러에 알려주는 것입니다. 말그대로 robot.txt 파일이 구글에 사이트가 엑세스 할 수있게 도와 준다는 말입니다.
이 파일은 웹페이지가 Google에 표시되는 것을 방지하기 위한 방식이 아닙니다.
웹페이지가 Google에 표시되지 않도록 하려면 NOINDEX로 색인 생성을 차단하거나 비밀번호로 페이지를 보호해야 합니다. robots.txt 규칙에서 크롤링을 제한하는 URL들이 “robots.txt에 의해 차단됨” 섹션에 표시될 것입니다.
예를들어 워드프레스 YOAST SEO 플러그인에서는 모든 피드 URL에 NOINDEX 태그를 자동으로 추가 합니다.
하나의 글을 작성하게 되면 워드프레스에서는 모든 항목에 대해서 피드를 생성하는것을 막는 것입니다.
“robots.txt에 의해 차단됨” 섹션에서 내가 의도적으로 만는 규칙에 의해 차단 된 것이 아닌
정상적으로 크롤링 되어야 하는 항목에 대해서만 찾아서 robots.txt 블록을 제거하고 ‘noindex’ 명령어를 사용하면 됩니다.
4. 사용자가 선택한 표준이 없는 중복페이지
저의 사이트에서는 “사용자가 선택한 표준이 없는 중복 페이지”는 하나로 확인되었습니다.
워드프레스 자체 기능으로 모든글을 작성하면 URL 뒤에 피드가 붙습니다. 이것은 /feed 사이트의 RSS피드이고, 플러그인을 통해 수정이 가능합니다.
저같은 경우에도 Yoast SEO 플러그인을 이용하고 있어서 1개로 확인이 되는 것같습니다.
Yoast SEO 플러그인에서는 모든 피드 URL에 대해 자동으로 “NOINDEX” 태그를 추가한다고하네요, 그래서 저는 많은 들중에서 하나만 있었던것 같습니다.
그리고 이것은 특별한 문제가 아니고, 워드프레스에서 자동으로 생성한 기능이므로 특별하게 문제가 되는 것이 아니니 많은 글들이 해당 항목에 있다 해도 무시해도 될 것 같습니다.
오늘은 구글 서치콘솔에서 확인되는 색인에 대한 문제점 그리고 어떻게 해결하는 것인가에 대해 알아보았습니다.
끝으로 많은 도움이 되었으면 좋겠습니다.
