[사이트 색인 문제 해결법] 구글에 내 사이트가 안 뜨는 이유 (404, robots.txt, 대체 페이지 문제 총정리)

✨ 이런 메일 받아본 적 있나요?

하루는 조용하다가,
어느 날 갑자기 서치콘솔(Google Search Console)에서
불안한 제목의 메일이 옵니다.

"페이지에 문제가 발생했습니다."
"색인이 생성되지 않았습니다."
"사이트에 영향을 줄 수 있습니다."

---

✨ 열어보면 더 무섭습니다

메일을 열어보면,
이런 복잡하고 무서운 메시지가 가득합니다.

• 적절한 표준 태그가 포함된 대체 페이지
• 찾을 수 없음(404)
• robots.txt에 의해 차단됨

'이게 뭐야...? 내 사이트 망하는 거야?'
이런 불안함, 한 번쯤 느껴보셨죠?

 

 

---

✨ 시작하며
서치콘솔에서 색인 오류 알림을 받으면 "뭔가 큰일 난 것 같다"는 느낌이 들 수 있습니다.
하지만 당황할 필요 없습니다. 대부분은 관리 과정에서 자연스럽게 발생하는 일이고, 필요한 것만 골라서 해결하면 됩니다.
이번 글에서는 404 오류, robots.txt 차단, 대체 페이지 문제 이 세 가지를 진짜 초보자도 따라할 수 있게 하나씩 정리해보겠습니다.

---

실제 저의 서치콘솔 오류 내역 공개

---

🛠️ 1. 404 오류 (찾을 수 없음)

404 오류란?

• 구글이 예전에 수집했던 URL을 크롤링했는데
• 그 페이지가 삭제됐거나, 주소가 바뀌어
• 더 이상 존재하지 않을 때 발생하는 오류입니다.

예시

• 예전 글을 지웠는데, 구글은 그 링크를 아직 기억하고 크롤링함.
• URL을 바꿨는데 리디렉션을 안 걸어둔 경우.

---

해결 방법 (초간단)

1) 서치콘솔에서 404 오류 URL 확인하기

• Google Search Console > 색인 > 페이지
• "찾을 수 없음(404)" 리스트에서 오류 URL을 찾습니다.

2) 실제로 URL을 브라우저에 입력해서 확인

• 진짜 없는 페이지인지 직접 확인합니다.

3) 상황별로 대응하기

상황대처 방법

관련 있는 비슷한 페이지가 있다	301 리디렉션 걸기 (URL 이동)
관련 페이지가 없다	URL 제거 요청 보내기

---

301 리디렉션 쉽게 하는 법

• 워드프레스 → Redirection 플러그인 설치 → 새 리디렉션 추가
• 티스토리 → 별도 설정 불가 (대신 URL 제거 요청)

301 리디렉션 예시
옛날 글 → 새로운 비슷한 글로 자연스럽게 연결

---

정리

• 404는 무조건 나쁜 건 아님.
• 하지만 방치하면 사용자 경험과 SEO에 나쁜 영향이 생길 수 있음.
• 중요한 URL이라면 꼭 리디렉션하거나 제거 요청 필요.

---

🛠️ 2. robots.txt 차단 문제

robots.txt란?

• 사이트에 들어오는 검색 엔진 로봇(크롤러)에게
  "어디까지 읽어도 되는지" 알려주는 파일입니다.

예시

• 관리자 페이지(/admin)는 막고
• 블로그 글(/post)은 허용하는 식.

---

문제 상황

• 중요한 포스트나 페이지가 robots.txt 때문에 막혀서
  구글이 접근 자체를 못 하게 되는 경우.

---

해결 방법 (초간단)

1) 내 robots.txt 열어보기

• 브라우저에
  내사이트주소/robots.txt 입력

2) 확인할 것

• "Disallow: /" 만 적혀 있다 → 사이트 전체 차단 (위험)
• "Disallow: /admin" 처럼 특정 경로만 차단되어 있다 → 정상

3) 수정이 필요한 경우

상황조치 방법

중요한 페이지가 막혀 있다	Allow 설정으로 바꾸기
필요 없는 내부 경로만 막혀 있다	그대로 둬도 됨

---

robots.txt 수정 방법

• 워드프레스 → Yoast SEO 플러그인 이용해 수정 가능
• 티스토리 → 수정 불가 (티스토리는 기본적으로 큰 문제 없음)

정상적인 robots.txt 예시

makefile

복사편집

User-agent: * Allow: / Disallow: /admin

---

정리

• 모든 차단이 문제는 아님.
• 중요한 글/페이지가 차단됐다면 수정해야 한다.
• 아닌 경우는 그냥 넘어가도 된다.

---

🛠️ 3. 대체 페이지 문제 (Canonical 이슈)

대체 페이지란?

• 구글이 비슷한 내용을 가진 여러 페이지를 보고,
• "이거 다 비슷하니까 이 URL 하나만 색인할게."
• 라고 판단한 상태를 말합니다.

예시

• 비슷한 글 2~3개가 있을 때, 구글이 대표 하나만 선택하는 경우.

---

문제 상황

• 원래 내 페이지가 검색되길 바랐는데,
  다른 URL이 대표로 선택되었을 수 있음.

---

해결 방법 (초간단)

1) 서치콘솔에서 대체 페이지 URL 확인

• 색인 > 페이지 > 대체 페이지로 이동
• 문제된 URL을 클릭해 확인

2) 페이지 소스 보기

• 브라우저에서 "페이지 소스 보기"
• <link rel="canonical" href="..."> 이 부분을 찾음.

3) canonical 링크 확인

상황조치 방법

내 URL이 맞다	정상 (문제 없음)
다른 URL이 걸려 있다	수정 필요 (플러그인 설정 등 수정)

4) 추가로 해야 할 것

• 글 제목, 본문 내용을 더 독창적으로 수정
• 비슷한 글끼리 통합하거나, noindex 처리

---

정리

• 모든 대체 페이지가 문제는 아님.
• 대표 URL로 잘 연결된 거면 굳이 고칠 필요 없다.
• 원하는 글이 색인 안 되고 있다면 수정 필요.

---

🎯 마지막, 진짜 중요한 이야기

꼭 고쳐야 할까?

✅ 이런 경우는 반드시 고쳐야 합니다

• 중요한 포스트(수익 글, 대표 글)가 색인 안 되는 경우
• 신경 써서 만든 글이 다른 글에 밀려버린 경우
• 삭제된 글이 검색에 계속 남아 사이트 신뢰도에 영향을 줄 때

---

✅ 이런 경우는 그냥 놔둬도 됩니다

• 예전에 테스트로 만든 페이지가 404 뜨는 경우
• 관리용 내부 경로가 robots.txt로 막힌 경우
• 비슷한 글끼리 잘 묶여 있는 대체 페이지 오류 (대표 URL 문제 없음)

---

✨ 요약의 한마디

구글 색인 오류는
"심각해 보일 뿐 대부분은 관리 차원의 자연스러운 일"입니다.

중요한 페이지만 골라 제대로 대응하고,
나머지는 과감히 무시하는 것도 하나의 전략입니다.

👉 핵심은, "내 사이트 전체 품질"을 떨어뜨리지 않는 것.