Tstory1 Robots.txt 대해서 알아봐요. 블로그에서 robots.txt의 내용은 확인할 일이 있었습니다. 그래서 Robots.txt 파일에 대해서 알아보니 다음과 같습니다. robots.txt 파일은 웹 사이트가 검색 엔진으로부터 로봇이나 크롤러 등의 프로그램에게 어떤 페이지를 인덱싱할 수 있는지를 지시하는 파일입니다. 이 파일은 웹 사이트의 루트 디렉터리에 위치하며, 검색 엔진 로봇이 해당 파일을 참고하여 웹 사이트를 크롤링할 때 어떤 페이지를 크롤링해야 하는지를 결정합니다. robots.txt 파일에는 크롤러가 접근할 수 있는 디렉토리 및 파일의 경로를 지정할 수 있습니다. 또한 크롤러가 접근하지 말아야 하는 디렉터리나 파일도 지정할 수 있습니다. 이렇게 지정된 정보를 바탕으로 검색 엔진은 웹 페이지를 인덱싱 하는 데 사용할 수 있는 페이지.. 2023. 4. 2. 이전 1 다음 반응형
