반응형 Crawling1 개발 보안 시리즈 [웹스파이더] 웹 크롤러를 '스파이더'라고 부르는 이유는 무엇입니까? 인터넷 전체 혹은 대부분의 사용자가 실제로 접속하는 부분은 월드 와이드 웹(World Wide Web)이라고 합니다. 대부분의 웹사이트 URL에 있는 "www"가 바로 여기에서 온 것입니다. 진짜 거미(스파이더)가 거미줄을 기어다니듯이 검색 엔진 봇이 웹(원래는 '거미줄'이라는 뜻임) 전체를 기어다니므로('크롤'의 원래 뜻) '스파이더'라고 부르는 것은 자연스러운 일입니다. 웹 크롤러의 작동 방식 인터넷은 끊임없이 변화하며 확대하고 있습니다. 인터넷에 얼마나 많은 웹페이지가 있는지 알 수 없으므로, 웹 크롤러 봇은 종자, 즉 알려진 URL 목록에서 시작합니다. 먼저 해당 URL에서 웹페이지를 크롤링합니다. 이 과정에서 다른 URL에 대한 하이퍼 링크.. 2021. 5. 3. 이전 1 다음 반응형
