크롤러는 기본적으로 웹 서버의 권장 사항에 따라 자동화된 크롤러에 필요한 웹 페이지를 선택합니다. 웹 서버의 권장 사항을 무시하려면 타겟 사이트의 로봇 제외 프로토콜에 따름 확인란을 선택 해제합니다.
일반적으로 이 권장 사항을 따르면 원하지 않는 컨텐트가 포털로 크롤링되는 것을 제한하는 데 도움이 됩니다. 그러나 일부 사이트에서는 이러한 권장 사항이 매우 엄격합니다. 크롤러가 사이트로부터 아무런 컨텐트도 가져오지 못하는 경우에는 이 옵션을 설정하지 마십시오.
기본적으로 크롤러는 소스 웹 사이트에서 사용하는 경우 가져온 웹 페이지의 URL을 저장합니다. URL을 소문자로 변경하려면 모든 URL을 소문자로 변환을 선택합니다.
일부 웹 사이트 영역의 컨텐트 또는 특정 페이지를 가져오지 못하도록 하려면 다음과 같이 수행합니다.
제외할 영역을 지정하려면
제외 추가를 누른 다음, 텍스트 상자에 제외하려고 하는 웹 사이트 영역의 URL을 입력합니다.
와일드카드 기호(*)를 사용하면 제외 대상을 더 광범위하게 설정할 수 있습니다. 예를 들어, 사이트에서 판매 정보를 크롤링하지 않으려면 http://mycompany.com*sales로 입력할 수 있습니다. 이 경우, 크롤러는 mycompany.com 사이트에서 URL에 "sales"라는 단어가 들어 있는 어떤 페이지도 가져오지 않습니다.
참고: 와일드카드는 텍스트의 어느 쪽에 사용해도 됩니다. 예를 들어, sales를 입력할 경우, 크롤러는 모든 타겟 사이트에서 URL에 "sales"라는 단어가 들어 있는 어떤 페이지도 가져오지 않습니다.
중요: 제외와 포함 항목을 함께 등록할 경우, 제외는 포함된 페이지에만 적용됩니다. 예를 들어, sales는 제외하고 http://mycompany.com은 포함시켰다면 크롤러는 http://mycompany.com의 페이지는 모두 가져 오되 URL에 "sales"가 들어 있는 페이지는 제외합니다.제외를 제거하려면 해당 제외를 선택하고
를 누릅니다.모든 제외를 선택하거나 선택 해제하려면, 제외 왼쪽의 확인란을 선택하거나 선택 해제합니다.
기본적으로 크롤러는 제외에 지정된 페이지는 크롤링하거나 가져오지 않습니다. 크롤러가 제외된 페이지의 링크를 통해서 제외되지 않은 페이지로 이동하여 이 페이지를 반드시 가져와야 하는 경우에는 제외된 페이지는 크롤링만 하고 가져오지는 않음을 선택합니다.
크롤링할 범위를 특정 웹 사이트 영역 또는 특정 페이지로 제한하려면
크롤러가 크롤링할 위치를 지정하려면
포함 추가를 누른 다음, 텍스트 상자에 크롤링할 웹 사이트 영역의 URL을 입력합니다. 웹 사이트에는 다른 사이트에 대한 링크도 들어 있을 수 있으므로 포함을 사용하여 크롤링 대상을 특정 사이트로 제한할 수 있습니다. 다른 사이트는 크롤링하지 못하도록 하려면 크롤링할 사이트의 기본 URL을 포함 목록에 추가합니다(예: http://mycompany.com).
와일드카드 기호(*)를 사용하면 포함 대상을 더 광범위하게 설정할 수 있습니다. 예를 들어, 싱글 사인온(SSO)에 대한 정보만 크롤링하고 싶으면 http://mycompany.com*sso로 입력할 수 있습니다. 이 경우, 크롤러는 mycompany.com 사이트에서 URL에 "sso"라는 단어가 들어 있는 페이지만 가져오게 됩니다.
참고: 와일드카드는 텍스트의 어느 쪽에 사용해도 됩니다. 예를 들어, sso를 입력할 경우, 크롤러는 모든 타겟 사이트에서 URL에 "sso"가 들어 있는 페이지를 모두 가져옵니다.
중요: 포함과 제외 항목을 함께 등록할 경우, 제외는 포함된 페이지에만 적용됩니다. 예를 들어, http://mycompany.com은 포함시키고 sso는 제외했다면 크롤러는 http://mycompany.com의 페이지는 모두 가져 오되 URL에 "sso"가 들어 있는 페이지는 제외합니다.포함을 제거하려면 해당 포함을 선택하고
를 누릅니다.모든 포함을 선택하거나 선택 해제하려면, 포함 왼쪽의 확인란을 선택하거나 선택 해제합니다.