웹 크롤링 관련

robots.txt

목적:

1) 과도한 *웹 크롤링, 요청으로 인한 과부하 방지

2) 크롤링되어야 하거나 되면 안되는 페이지를 지정하지 않으면, 크롤 버짓의 낭비가 초래될 수 있다. 이를 방지하기 위함

3) SEO 측면 활성화

* 웹 크롤링: 웹 상의 정보를 검색하고 수집하는 방법(원하는 데이터를 가지고 저장하기까지의목적이 크다.)

* 크롤 버짓: 탐색 엔진이 특정 사이트에서 탐색할 수 있는 웹 페이지 수 

 

robots.txt는 텍스트 파일로 저장됨으로써 컴퓨터 내에서 받아들이는 작성 형태로 지정해야 인식하여 동작함

웹 크롤러가 수집하는 걸 명령하는 파일이라고 생각하면 됨

 

참고 사이트

https://seo.tbwakorea.com/blog/robots-txt-complete-guide/

https://seo.tbwakorea.com/robots.txt

 

이는, 곧 SEO(검색엔진최화) 영향을 주는데,

웹 크롤러가 크롤링하면서  수집한 정보를 검색 엔진으로 저장하게 되고, 검색한 것을 인덱싱하여 해당 정보를 랭킹 순서대로 검색한 화면에 보여주게 됨!

그러면서, 웹 페이지가 노출이 되어 자연스럽게 광고 효과를 볼 수 있는 것이다.

 

이는 곧, 자사 홈페이지를 최적화 할 수 있다 / 양질의 백링크를 통해 광고효과를 얻을 수 있다 / 

* 양질의 백링크 : 백링크는, 한 사이트에서 다른 사이트로 이동하는 것이고 양질의 백링크는 이어진 링크가 충분히 유입이 된 링크로부터 유입되는 경로를 나타냄

 

robots.txt 삽입 위치

 

위의 그림과 같은 위치에  robots.txt를 넣으면 됨

 

 

참고 사이트

https://brunch.co.kr/@webbible/5

SEO의 기본, Robots.txt 세팅하기

https://seo.tbwakorea.com/blog/seo-guide-2022/#part1

SEO (검색엔진 최적화)란? - 구글, 네이버 가이드 총정리

https://velog.io/@attosisss_/CSR-%EA%B3%BC-SSR%EC%9D%98-%EC%B0%A8%EC%9D%B4-%EA%B7%B8%EB%A6%AC%EA%B3%A0-SEO