|
회사소개·홍보
20 병원·성형·뷰티10 프랜차이즈·음식점13 대출·보험·상담7 자동차용품·렌탈5 인테리어·이사9 학원소개·공부방9 종교·협회7 피티·행사·박람회10 쇼핑몰2 여행사·펜션5 |
 라이센스 (9)
|
제공되는 메뉴얼 (2)
|
세무서신고,사업자등록 (17)
|
전자지불서비스 (7)
| ||||
|
문자메세지 (7)
|
도메인 및 웹호스팅 (41)
|
개인정보,보안서버인증 (16)
|
호스팅이전 및 재설치 (11)
| ||||
|
A/S 정책 (4)
|
업그레이드정책 (4)
|
솔루션설치 (10)
|
솔루션기능 (97)
| ||||
|
초보자이용안내 (78)
|
프로그램수정 (24)
|
솔루션구매신청방법 (9)
|
해외관련 (3)
|
🤖 내 사이트를 검색엔진이 알수 있도록 설정하는 robots.txt 가이드
웹사이트를 만들고 나면 구글, 네이버 등의 포털 사이트에 우리 사이트가 잘 나오길 바라게 됩니다.
이때 "어떤 정보를 가져가고, 어떤 정보는 숨길지"를 정해주는 도구가 바로 robots.txt 입니다.
1. 검색로봇(Crawler)이란?
검색로봇은 수많은 사이트를 매일 돌아다니며 정보를 수집하는 '우편배달부'와 같습니다.
이 로봇들이 수집해 간 정보가 포털 사이트의 검색 결과에 나타나게 되는 것입니다.
2. robots.txt 파일 만들기 (기본 설정)
robots.txt 는 메모장으로 쉽게 만들 수 있으며
사이트의 가장 상위 폴더(루트 디렉토리)에 올려두기만 하면 됩니다.
• User-agent : 어떤 로봇에게 지시를 할 것인가
• Disallow : 어떤 경로를 허용하지 않을 것인가
• Allow : 어떤 경로를 허용할 것인가
robots.txt는 기본규칙이 모두 허용이므로
보통은 접근을 차단할 경로나 파일을 지정합니다.
목적 |
작성 코드 |
|---|---|
사이트 전체 허용 |
User-agent: * |
사이트 전체 차단 |
User-agent: * |
특정 폴더 차단 |
User-agent: * Disallow: /html/ |
특정 폴더 차단 + 하위 폴더 1개만 허용 |
User-agent: * Allow: /security/open/ |
3. robots.txt 파일 만들기 (고급 설정)
robots.txt에서 사용하는 특수 기호(*, $)를 활용하면 더 효율적인 관리가 가능합니다.
목적 |
작성 코드 |
|---|---|
특정 파일만 검색 거부 |
User-agent: * |
특정 확장자 전체 차단 (예: .html) |
User-agent: |
Tip: 검색로봇의 이름(User-agent)은 다양합니다.
구글은 Googlebot, 네이버는 Yeti, 다음은 DAUMOA 등을 사용합니다.
특정 회사 로봇만 정교하게 제어하고 싶을 때 로봇 이름을 정확히 써주면 됩니다.
4. 메타태그(Meta Tag) 활용하기
특정 페이지만 검색을 제한하고 싶을 경우에는
meta 를 이용한 소스를 페이지에 적용하는 것이 더 효과적입니다.
구분 |
작성 코드 |
|---|---|
페이지 숨김 |
<meta name="robots" content="noindex"> |
링크 추적 금지 |
<meta name="robots" content="nofollow"> |
복합 적용 |
<meta name="robots" content="noindex, nofollow"> |
1. robots.txt 의 기본값은 전체 허용입니다.
- 파일이 없거나 Disallow 내용이 없다면 모든 페이지의 수집이 허용됩니다.
2. Allow 는 Disallow 보다 우선권을 가집니다.
- robots.txt 는 규칙이 차례대로 적용하게 되나 Allow를 지정하면 차단 규칙보다 우선권을 가집니다.
sitemap.xml 제출, 제목(Title)과 설명(Description)등 정확한 내용의 메타태그 설정들이 필요하며
각 포털 사이트에도 검색등록을 별도로 해주셔야 검색결과가 더 정확하고 빠르게 반영됩니다.
sitemap.xml 파일을 사이트의 페이지 URL 정보를 담고 있는 파일로
검색엔진이 사이트의 콘텐츠를 보다 원활하게 수집할 수 있도록 도와줍니다.
적용방법은 robots.txt 파일 하단에 아래 소스를 추가해주시면 됩니다.
Sitemap: https://도메인/sitemap.xml
sitemap.xml 제작 방법은 네이버 서치어드바이저 가이드를 참고해주시기 바랍니다.
* sitemap.xml 은 솔루션에서 기본으로 제공되는 파일이 아닙니다.
* 직접 제작이 어려운 경우 sitemap.xml 생성 사이트를 활용하실 수 있습니다.
단, 해당 파일 제작 및 생성 사이트 이용에 대한 기술지원은 제공되지 않는 점 양해 바랍니다.
상세정보 보기
장바구니담기
찜하기
구매문의
숏폼 동영상
