직장인에게 데이터 정리는 필수다. 데이터 양이 많아지면 웹사이트에서 엑셀로 복붙하는데는 한계가 있다. 자동화가 필요한데, 제품 개발에 바쁜 개발자에게 부탁하려니 눈치가 보인다. 그렇다고 직접 파이썬으로 크롤링하려니 배우고 오류나고… 이게 더 큰 비용이다.
이를 두세번의 클릭으로 처리할 수 있는 툴이 리스틀리다. 다들 해외 서비스인 줄 알았지만, 국내에서 개발된 서비스다. 이미 아마존과 쿠팡 등 주요 기업들이 쓰고 있는, 리스틀리 체험 간증기를 모아보았다.
1. 원클릭에 모든 제품을 긁어준다
물건을 팔려면 경쟁업체 분석이 필요하다. 커머스 업체는 매일같이 네이버 쇼핑과 쿠팡에서 키워드를 검색하고, 인턴 1명이 ‘하루 종일’ 엑셀로 옮긴다. 리스틀리는 이를 10분만에 끝내준다.
2. 스크롤도 알아서 해준다
네이버 지식쇼핑은 마우스를 아래로 스크롤하면 상품이 더 나온다. 리스틀리는 이런 스크롤도 자동 지원한다. 그냥 설정 가서 자동스크롤 횟수만 지정하면 끝이다.
3. 데스크탑에서 모바일 모드로 크롤링도 쌉가능
데스크탑과 모바일은 노출 형식과 순서가 다르기에 따로 수집해야 한다. 그런데 데스크탑에서 모바일 주소로 접속해도, 자동으로 데스크탑 페이지로 전환시키는 게 요즘 트렌드다. 상관 없다.
4. 원하는 특정 파트만 크롤링할 수도 있다
당연히 웹페이지 전체가 아닌 부분만 필요할 때가 있다. 이때는 전체가 아닌 부분만 긁으면 된다. 방법은 간단하다.
이 기능이 특히 유용한 것은, iframe 내부 데이터도 수집할 수 있기 때문이다. LISTLY PART를 선택한 후 iframe 영역에 가면, 자동으로 iframe 표시가 뜬다. 그때 클릭하면 iframe 내부 데이터도 수집할 수 있다.
5. 수십 페이지를 한 번에 긁어준다
세상은 넓고, 경쟁사와 제품은 많다. 웹페이지는 하나 긁는다고 끝이 아니라 수십 페이지를 긁어야 할 일이 많다.
리스틀리에서는 이 역시 한 번에 스크래핑이 가능하다. 아래와 같이 2페이지, 3페이지 등의 주소를 넣어주면 이걸 한번에 긁어준다.
6. 그 수십 페이지 안의, 모든 상세페이지를 한 번에 긁어준다!!!
가장 미쳤다고 생각할 기능이다. 리스틀리에는 하이퍼링크도 함께 뽑아주는 옵션이 있다. 이를 활용하면, 목록 속의 모든 상세페이지를 한 번에 긁을 수 있다.
7. ‘더 보기’ 버튼도 자동으로 눌러서 수집해준다
쿠팡은 상세페이지가 지저분하지 않도록 ‘상품정보 더보기’ 버튼이 존재한다. 제품 페이지 하나하나 ‘더보기’ 버튼을 누르면 끝이 없다. 리스틀리는 이것도 자동으로 누르고 수집해준다.
8. 이미지도 스크래핑할 수 있다
아래 이미지는, 위의 방식으로 쿠팡 상세페이지의 ‘이미지 주소’를 긁은 것이다. 이처럼 텍스트 뿐 아니라 이미지도 한두번 클릭으로 수집할 수 있다.
이는 전세계적으로 많은 사용자가 이용하고 있다. 자료수집 뿐 아니라, 쿠팡에서 긁어 아마존에 팔거나, 아마존에서 긁어 한국에 팔거나 등, 커머스에 유용하게 활용할 수 있기 때문이다.
9. SNS 댓글도 수집할 수 있다
소셜미디어 담당이나 대행사 직원들은 이벤트 때마다 당첨자 취합에 힘들어한다. Ctrl+c / ctrl+v 도 짜증나는데, 계속해서 더보기를 클릭해야 한다. 혹시라도 빠진 댓글 없는지 확인도 해야 한다.
리스틀리의 ‘더 보기’를 자동으로 눌러주는 기능을 활용해 놓침 없이 모든 댓글을 긁을 수 있다. 인스타 뿐 아니라 페이스북에서도 이 기능을 활용 가능하다.
끝판왕. 커스터마이제이션까지 되는 유료 버전
아무리 잘 만든 툴이라도 모든 걸 해결할 수는 없다… 아니, 있다. 왜냐면 회사에서 겪는 어려움을 리스틀리에 문의하면 커스터마이징을 해준다. 마우스 스크롤, 더 보기 버튼 클릭을 넘어, 각종 조건을 건 데이터도 크롤링이 가능하다.
