시작하기에 앞서 하나의 퀴즈!

아래와 같이 상품이 진열되어 있는 페이지에서, 아무런 행동을 취하지 않고 데이터를 추출할 경우 총 몇 개의 데이터가 뽑힐까요?

정답은 바로

.

.

.

.

.

?

3번! "알 수 없다." 입니다.

아니! 이런 무책임한 답은 무엇😲…? 이 아닙니다! (오해하지 마세요~🤗)

정확히는 ‘해당 페이지에 불러와져있는 데이터 만큼’ 추출되기 때문에 알 수 없는 것인데요.

웹사이트의 구조와 데이터를 불러오는 방식에 따라 문제의 페이지에는 지금 120개의 상품이 다 불러와져 있는 상태일 수도 있고, PC 화면에 보이는 만큼만 불러와져 있는 상태일 수도 있으며, 웹 개발자가 설정한 특정 개수만큼만 불러와져 있는 상태일 수도 있습니다. 

참고로 대부분의 사이트에서는 한 번에 많은 양의 데이터를 전부! 불러올 경우 웹사이트가 용량을 처리하면서 버벅거리는 문제가 발생할 수 있어, 이렇게 사용자에게 보여지는 정보들을 나눠서 불러오는 방식을 취하고 있습니다.

그런데 여기서 가장 주목해야 할 문장은  ‘데이터를 불러오다' 라는 말인데요.

네 맞습니다.

웹스크래핑의 가장 첫 단계는 ‘추출할 웹사이트에서 데이터를 불러오는 것' 부터 시작합니다.

스크롤을 내려 준비된 정보의 끝에 다다랐을 때 다음 데이터를 불러오는 방식을 '무한 스크롤'이라고 합니다. 이런 형태의 웹페이지에서는 스크롤을 아무리 내려도 다음 페이지로 이동하는 버튼이나 페이지 번호가 보이지 않고, 하단에 또다른 정보가 생성되는데요.

만약 스크롤을 내릴때마다 스크롤바의 길이가 짧아지거나, 화면 하단에 데이터 로딩을 나타내는 애니메이션이나 글이 보인다면 아래의 방식으로 데이터를 추출해보세요.

1. 스크롤이 되지 않을때까지 최대한 스크롤바를 아래로 내립니다.
2. 더 이상 불러올 정보가 없는 것을 확인한 후 리스틀리를 클릭해 데이터를 추출합니다.

참고 : 위와 같은 액션을 자동화 해 둔 것이 바로 비즈니스 플랜에서 설정할 수 있는 ‘자동 스크롤’ 기능입니다. 자동 스크롤에 대해  더 알고싶으신 분은 다음 링크를 참고해주세요.😊

➡︎ [비디오 튜토리얼] 자동 스크롤 설정하기

페이지 하단에 ‘더보기’, ‘Load more’, ‘More’ 등의 버튼이 배치되어 해당 버튼을 클릭해야 다음 정보가 보이는 페이지도 원리는 동일합니다. 

이렇게 ‘데이터를 충분히 불러온 상태'를 만든 후 추출을 진행하시면, 기본 추출만으로도 한 페이지에 있는 데이터는 전부 추출 할 수 있습니다. 

매우 단순하지만 중요한 팁!

오늘의 내용이 사용자님의 데이터 업무에 도움이 되셨길 바랍니다.😍