요즘 김대리닷넷에 상품을 올리는 데 많은 꽤 시간을 할애하고 있다.

게으름을 부리다가도 곤히 잠든 애들 얼굴을 보면 정신이 번뜩 든다. 그래서 눈 크게 뜨고 다시 컴퓨터 앞에 앉아 미룬 작업들을 이어가곤 한다.

며칠 전에는 상품을 올리거나 디자인 변경 등 평소 하던 작업이 아닌 다른 일로 시간을 다 보내다가오랜만에 당황스런 상황과 맞닥뜨렸다. 상품 메타데스크립션이 제대로 보이는지 확인하기 위해 김대리닷넷에 올린 특정 상품 몇 개를 구글에서 검색 해봤는데 전혀 검색이 되지 않는 거다.

구글서치콘솔 등록도 마치고 SEO 플러그인을 활성화까지 했기 때문에 키워드로 검색하면 몇 페이지 뒤에라도 나와야 하지만 끝 페이지까지 가도 보이지 않았다.

이럴 땐 사이트 이름과 제목까지 그대로 쳐서 검색을 하면 해당 상품이 노출되어야 한다. 그러나 메인 페이지만 보이고 상품은 전혀 노출되지 않는 상황.

 

1. 현재의 문제 현상

  • 우커머스 상품이 검색되지 않는다. 정확하게는 Shop 페이지와 카테고리는 검색되고, Product 페이지가 검색되지 않는다.
  • 블로그 포스트도 검색되지 않는다. 이건 포스트를 2개 밖에 안 올린 상황이라 좀 더 지켜봐야 하지만, 어쨌든 검색되지 않고 있다.

 

2. 짐작되는 문제 원인

모든 현상에는 다 이유가 있는 법. 짐작되는 문제의 원인은 다음과 같다.

 

2-1. 도메인 변경에 의한 중복문서

김대리닷넷은 지금의 kimdaeri.net 이 아닌, 다른 도메인이었다. 이름도 아예 달랐다. 작업을 하던 중에 문득 ‘김대리’라는 이름을 사용하면 컨셉과 잘 맞겠다는 생각이 들었는데, 마침 구매 가능한 도메인이 있길래 ‘얼씨구나’하고 구매를 했다.

새로 구매한 도메인을 연결한 시점은 사이트의 전체적인 구성이 어느정도 끝난 상태였고 상품도 샘플로 몇 개 올렸을 때였다. 아무래도 새로 연결한 도메인의 페이지들이 기존에 구글에서 크롤링하고 인덱스한 예전 도메인의 페이지들의 중복문서가 된 듯 하다.

 

2-2. 사이트 내 중복문서

상품 페이지 레이아웃과 구성을 잡는 일에 꽤 많은 시간을 보냈는데, 그 때문에 몇 개의 상품 페이지를 수시로 복사하여 제목과 대표이미지만 바꾼채 공개해 두었다. 섹션 배치나 사이드바 구성 등을 비교하기 위해서 동일한 내용의 여러 페이지를 공개 상태로 둔 것이 문제가 된 것.

 

2-3. 성급한 SEO 플러그인 세팅과 구글서치콘솔 등록

이렇게 작업을 하는 동안에는 사이트를 비공개 상태로 해놓거나, 다른 이유로 공개상태로 해 놓는다면 SEO 플러그인을 꺼놓고 구글서치콘솔에 사이트 등록도 하지 말았어야 했다. 알고 있는 내용이었지만 페이지라도 좀 더 빨리 인덱스가 되었으면 하는 욕심이 이런 문제를 일으켰다.

주의사항을 다시 정리하면 다음과 같다.

  • 사이트 오픈 전에는 비공개 상태에서 작업 할 것
  • SEO 플러그인 설정은 사이트가 오픈한 이후에 할 것
  • 구글서치콘솔(웹마스터도구) 역시 사이트 오픈 후 등록할 것
  • 사이트가 공개된 상태에서 중복문서를 만들지 말 것

 

3. 웹마스터도구 확인

구글서치콘솔(웹마스터도구)에서 링크검사로 수 차례 색인 생성 요청을 시도했으나 며칠이 지나도 문제 페이지들이 전혀 색인되지 않았다.

URL이 google에 등록되어 있지 않음
url이 google에 등록되어 있지 않음

해당 url은 맨 처음 올린 상품(레이아웃 표준)이기 때문에 시간 상으로는 충분히 색인되고도 남았어야 한다.

이와 같은 문제들을 가진 페이지는 대부분 상품 페이지였는데, 다른 중복 페이지까지 합하면 무려 42페이지가 검색에서 누락돼 있는 상황이었다. 아니.. 상황이다. (현재형)

 

구글서치콘솔 중복문서 문제 - 현재 색인이 생성되지 않음
페이지가 ‘발견’되었으나 현재 색인이 생성되지 않은 상태라고 한다.

여기서 눈 여겨 봐야할 것이 ‘발겸됨 – 현재 색인이 생성되지 않음’ 문구다. 구글검색로봇이 저 페이지를 발견한 상태이지만 색인을 생성하지 않았다는 뜻.

구글의 관련 도움말을 찾아보면, 위 문구에 대해 다음과 같이 설명하고 있다.

 

발견됨 – 현재 색인이 생성되지 않음: Google에서 페이지를 발견했지만 페이지가 아직 크롤링되지 않았습니다. 일반적으로 Google은 URL을 크롤링하려고 했지만 사이트가 과부하 상태이기 때문에 Google에서 크롤링 일정을 변경했습니다. 그렇기 때문에 보고서에 마지막 크롤링 날짜가 비어 있는 것입니다.

 

무슨 과부하 상태? 정말 그렇다면 안심이긴 한데, 좀 의심된다.

최근 구글검색노출에 민감한 윅스(WIX)의 도움말을 살펴보면 ‘발견됨 – 현재 색인이 생성되지 않음’에 대해 다음과 같이 설명하고 있다.

 

이 상태는 Google이 URL을 수집하였으나, 색인하거나 검색엔진에 표시하지 않기로 결정하였음을 의미합니다. 이는 반드시 페이지에 오류가 있음을 의미하는 것이 아니며, 해당 메세지는 주로 콘텐츠 품질과 관련이 있습니다.

 

이게 맞는 말 같다. 색인하거나 검색엔진엔진에 표시하지 않기로 결정했다는 문구가 얼마나 무서운지.. 그리고 아래와 같이 덧붙인다.

 

사이트의 다른 페이지에 동일한(혹은 매우 유사한) 콘텐츠가 나타나면 색인되지 않을 수 있습니다.

 

처음에 예상했던 것처럼 중복문서로 인한 검색노출 제외다. 중복문서 무서운 줄은 알고 있었지만 이렇게 가차 없다니.. 이번 일을 계기로 검색엔진최적화 글쓰기 방법에 중복문서 관련 새로운 항목을 추가하였다.

 

4. 현재까지의 조치

지금까지 조치한 사항은 다음과 같다. 404 에러 문제는 신경 안써도 될 것 같다. 어차피 인덱스가 자체가 안됐으니. 기뻐해야 할지 슬퍼해야 할지..

  1. 중복문서 삭제하거나 비공개 처리
  2. 일부 상품은 제목을 살짝 변경 (URL은 고정)
  3. 웹마스터도구에서 크롤링 재요청
  4. 트위터와 페이스북, 텀블러 그리고 다른 도메인의 블로그에서 공유하거나 링크생성

 

새로운 문제에 대한 해결법을 알 수 있는 좋은 기회라 생각하기로 했다.

이후 진행 과정은 이곳에 이어서 기록할 예정이다.

Write A Comment