[IT상식] 검색엔진과 크롤러에 대하여 (About Search Engine & Crawler)

검색엔진에 대하여

네이버 : 웹 마스터 도구
구글 : 검색 콘솔

에서 각 검색엔진 서비스를 제공한다.

 

이용과정
1. 검색엔진에 내 사이트 url 등록
2. 내 사이트 인증
3. 관련 문서 제출
4. SEO (Search Engine Optimization) 검색엔진최적화 설정



검색엔진이 내 사이트를 어떻게 찾을까?
 - 크롤러가 인터넷을 돌아다닌다.
크롤러 : 구글은 구글봇, 네이버는 예티라고 하는 크롤러가 각각 있다.

robots.txt는 웹 마스터 도구에서 만들어 프로젝트 폴더 최상단에 둠
sitemap.xml 파일 생성해주는 웹페이지 - 아무데나 들어가서 내 사이트 url을 넣어주고 엔터 쳐서 생성된 sitemap.xml 파일 다운로드하여 동일하게 프로젝트 폴더 최상단에 둠

크롤러는 robots.txt를 읽게된다. 크롤러의 검색을 위해 생성되는 파일임
웹 마스터 도구 : 위 파일과 sitemap.xml를 최상단 폴더에 저장해둬야함

 ( 모든 검색 로봇 접근 가능하도록 설정 후 파일 다운로드하여 최상단 폴더 위치에 두기 )