크롤링이란?

크롤링

"크롤러" 또는 "스파이더"라는 프로그램으로 웹 사이트에서 데이터를 추출하는 것을 의미한다.

구체적으로는 어플리케이션 또는 웹사이트에 올라온 데이터 정보를 모두 추출하여 자신의 서버에 저장하는 것을 말한다. 

이 때 웹API 가 필요한데 무료로 제공할 수도, 유료로 제공할 수도 있지만 사이트에서 공식적으로 제공하는 api를 이용해서 데이터를 수집하는 것이 제일 안전하다. 

 

허용되지 않은 경로로 데이터를 추출해오는 것 자체는 가능하더라도, 그것이 당사자들에게 손해를 입히는 일이라면 아래 뉴스 처럼 피해 보상 책임을 물어야하게 될 수도 있기 때문이다. 

 

(크롤링은) 주로 경쟁 관계에 있는 업체 사이에서 빈번하게 발생한다.김 변호사는 “크롤링은 리그베다위키 사건, 잡코리아 사건 등에서 위법하다고 명확히 정리가 됐었고 이번 사건에서 (위법성이) 다시 확인된 것”이라고 설명했다.

원준성 민후 변호사는 “보통 웹상에 뿌려져 있는 정보를 긁어오는 것이 통상의 크롤링이라면 
이 사건은 외부에 공개돼 있지도 않고 야놀자 내부에서만 사용하는 프로그램을 여기어때 측이 분석한 다음 
데이터베이스와 연결된 API 주소 등을 파악해 직접 명령을 넣어서 받아간 것”이라며 “그렇기 때문에 재판부도 불법성이 크다고 판단했다”고 부연했다.

뉴스링크: https://www.etoday.co.kr/news/view/2069993