SEO최적화팁

1. robots.txt와 sitemap.xml이란?

두 파일은 검색엔진이 우리 사이트를 어떻게 탐색하고 색인할지를 결정하는 핵심 도구입니다.
사용자 눈에는 보이지 않지만, 검색 노출에는 아주 큰 영향을 줍니다.

2. robots.txt – 봇에게 "들어와도 되는 곳" 알려주기

robots.txt는 검색봇에게 어떤 페이지를 허용(Allow)할지, 차단(Disallow)할지를 알려주는 파일입니다.

예시 - 전체 차단 (절대 하면 안됨):

User-agent: *
Disallow: /

→ 모든 검색봇에게 사이트 전체 접근을 막는 설정입니다. 실수로 설정되어 있다면 검색 결과에 노출되지 않아요!

예시 - 기본 설정:

User-agent: *
Disallow: /admin/
Allow: /

TIP: 로그인, 관리자, 회원정보 페이지 등은 Disallow로 차단하고,
일반 콘텐츠 영역은 Allow로 열어두세요.

3. sitemap.xml – 검색엔진에게 "지도" 제공하기

sitemap.xml은 우리 사이트에 어떤 페이지가 존재하는지 검색봇에게 알려주는 파일입니다.
복잡한 구조나 동적 페이지가 많은 사이트에서는 색인 속도를 높이는 데 필수입니다.

예시 주소:
https://example.com/sitemap.xml

TIP: sitemap은 robots.txt에 위치를 함께 명시하면 검색엔진이 쉽게 인식할 수 있어요.

4. 두 파일을 함께 쓰는 법

robots.txt 파일 맨 아래에 sitemap 경로를 추가하면, 검색엔진이 사이트 구조를 빠르게 파악합니다.

User-agent: *
Disallow: /admin/
Allow: /

Sitemap: https://example.com/sitemap.xml

TIP: 대부분의 사이트는 이 방식으로 설정하면 기본적인 크롤링 최적화가 됩니다.

5. 실전 적용 팁

검색에 뜨면 안 되는 페이지: 로그인, 마이페이지, 주문내역 등은 Disallow로 차단

사이트맵은 꼭 등록: 특히 상품 수가 많거나 블로그 콘텐츠가 많은 경우, sitemap.xml이 매우 효과적입니다

robots.txt에 sitemap 경로 추가: 검색엔진이 sitemap을 자동 인식하도록 도와줍니다

파일이 실제로 존재하는지 확인: 일부 서버에는 기본 미설정일 수 있으니 직접 업로드 필요

6. 자주 발생하는 실수

robots.txt에서 전체 차단: 실수로 Disallow: / 설정하면 사이트 전체가 비공개가 됩니다

sitemap.xml 경로 오타: robots.txt에 잘못된 sitemap 경로가 적혀 있으면 색인이 누락될 수 있어요

서버에 파일 없음: 실제로 해당 경로에 파일이 없는데도 robots.txt에 적어놓은 경우, 검색엔진이 무시합니다

7. 사이트맵 만들 때 이것만 기억하세요!

아래 무료 생성 사이트를 참고해 sitemap을 만들 수 있지만,
모든 페이지가 포함되는 자동 생성 sitemap은 조심해야 합니다.

• XML-sitemaps.com – 간단하게 만들기
• Technical SEO Sitemap Generator – 세부 설정 가능
• Screaming Frog – 설치형, 전체 크롤링

추천 방식: 메뉴 중심으로 직접 작성한 sitemap이 가장 깔끔하고 안전합니다.

직접 만든 예시:

  <?xml version="1.0" encoding="UTF-8"?>
  <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
	<url>
	  <loc>https://example.com/</loc>
	  <changefreq>daily</changefreq>
	  <priority>1.0</priority>
	</url>
	<url>
	  <loc>https://example.com/about</loc>
	  <changefreq>monthly</changefreq>
	  <priority>0.8</priority>
	</url>
  </urlset>
	

생성 후에는 반드시 robots.txt에 아래처럼 경로를 추가해 주세요:
Sitemap: https://example.com/sitemap.xml