② 공부/보안 관련
robot.txt 파일 설정하기
robot.txt robots.txt는 웹사이트에서 크롤링하며 정보를 수집하는 검색엔진 크롤러(또는 검색 로봇)가 액세스 하거나 정보 수집을 해도 되는 페이지가 무엇인지, 해서는 안 되는 페이지가 무엇인지 알려주는 역할을 하는 .txt (텍스트) 파일 작성 방법 robots.txt 기본 형식 User-agent: * (모든 검색봇 차단) Disallow: /forbidden/ 구성요소 User-agent : 규칙이 적용되는 크롤러 지정 Allow : 크롤링 허용 경로(/ 부터의 상대 경로) ⇒ 일부 검색엔진에서 해석하지 못함 Disallow : 크롤링을 제한할 경로(/ 부터의 상대 경로) Sitemap : 사이트맵이 위치한 경로의 전체 URL(https:// 부터 /sitemap.xml 까지의 전체 절대..