[이미지] AI(Dall-E)가 생성한 ‘챗 GPT와 한 달 살기' 

[이미지] 리스틀리가 제공하는 동영상 튜토리얼(Youtube)

Q. 그럼 리스틀리 이전, 웹스크래핑이 필요한 적은 없으셨나요? 직접 파이썬 등으로 코드를 짜셨나요?

 Goos  네, 데이터 수집 툴을 사용하기 전에도 직접 반려동물 사료 상품 정보와 성분 정보, 사용 후기를 수집했던 경험이 있습니다. 반려동물의 품종마다 상품의 기호성과 기능이 어떤지 분석하는 검색엔진을 만들었었거든요. 비동기로 대량 수집이 필요해서, 웹 크롤링 서버를 자체적으로 개발해서 사용했었습니다.

Q. 리스틀리와 ChatGPT를 활용했던 프로젝트 중 기억에 남는 사례가 있나요?

 Goos  무쇠 프라이팬 제품의 사용 후기 1000개를 리스틀리로 수집한 후 AI로 감정 분석을 한 적이 있어요. 후기 중에 "이 제품 때문에 동네 삼겹살 식당에 가지 못하고 있다"라는 후기가 있었는데, GPT-3.5, GPT-4, Claude 3(Haiku, Sonnet, Opus) 등 대부분의 AI 모델이 부정적인 감정으로 분석하더라고요. 그런데 유일하게 GPT-4o만 이 후기를 긍정적이라고 분석했죠. 확실히 한국어의 어려움 때문에 AI도 맥락을 완벽히 이해하는 데는 한계가 있다는 걸 느꼈지만, GPT-4o의 분석 정확도는 인상적이었습니다.

[이미지] NewsGPT 서비스 화면

Q. Goos님께서 직접 만든 프로덕트에 대해서도 궁금한데요. NewsGPT라는 서비스를 론칭하셨다고 들었는데, 어떤 서비스인가요?

 Goos  NewsGPT는 OpenAI의 저렴한 GPT-4o mini API를 활용해 만든 뉴스 요약 서비스입니다. 제가 만든 ‘SMART+ER’ 프롬프트를 실무에 적용해 보기 위한 실험적인 프로젝트였어요. 뉴스 기사를 크롤링 해 요약하고, AI의 의견을 덧붙이는 기능을 제공합니다. Cursor IDE를 사용해 단 2일 만에 개발했죠.

SMART+ER 프롬프트는 한 번의 입력만으로 원하는 결과를 도출하는 ‘One Shot Prompting’을  목표로 합니다. 예를 들어, 해외의 AI/IT 관련 뉴스를 News Agent가 수집을 합니다. 그 뒤 수집해온 데이터 내용을 News Factory에 등록하죠. 그러면 AI Agent가 SMART+ER의 프롬프트 지시대로 뉴스 제목 및 본문 번역, 전체 요약, 핵심 요약, 대표 키워드 생성, 기사 태그 생성, 카테고리 분류, AI 오피니언 생성까지 복잡한 작업을 한 번에 처리할 수 있습니다. 이 모든 과정이 0.9원 정도의 비용으로 처리된다는 점이 놀라울 정도죠.

이 서비스를 통해 수강생들에게 실제 데이터를 기반으로 어떻게 적용할 수 있는지 보여주고자 했습니다. 예상보다 성능이 뛰어나서, 한 화장품 브랜드로부터 글로벌 블로그 운영을 위한 AI+CMS 솔루션 개발 요청까지 받게 되었어요. 앞으로 이 프로젝트를 계속 확장해 나갈 예정입니다.

▶︎ News GPT 바로가기

Q. 앞으로 리스틀리 기능이나 ChatGPT의 프롬프트를 활용해 개발하고 싶은 다른 프로덕트가 있나요?

 Goos  일단 리스틀리의 기능이 너무 좋아서 웬만한 정보는 모두 가져올 수 있는데요. 법원 경매 정보와 부동산, 주식 관련 정보를 수집해서 LLM으로 요약/정리 한 후, 투자 방향에 대해 어드바이스 해주는 AI 프로젝트를 준비하고 있습니다.

Q. 리스틀리 및 ChatGPT를 활용해 프로덕트를 만들고자 하는 분들, 특히 개발이나 코딩에 대해 알지 못하는 비개발자분들에게 조언 부탁드립니다.

 Goos  대량의 데이터를 수집하면, 아무래도 그 과정에서 결측치나 오염된 정보가 수집이 될 수 있습니다. 이때 수집된 데이터는 ChatGPT에 검수를 하면 바로 문제 해결이 가능해서, 리스틀리와 ChatGPT가 구글 시트 지원이 되는 걸 활용하시면 좋을 것 같습니다.

리스틀리로 수집한 데이터를 바로 ChatGPT에서 구글 시트를 불러서 작업할 수 있거든요. 1) 리스틀리로 데이터 수집 → 2) Google Sheet 저장 → 3) ChatGPT 데이터 가공/검수/번역/요약/분류 → 4) 콘텐츠 생성/활용 이 패턴을 기억하시면 좋습니다.

이해가 쉽도록 예시 하나를 들어볼게요, 만약 쇼핑몰을 운영하시는 분들이라면 경쟁사의 1~2점짜리 후기를 리스틀리로 수집하고 경쟁사의 제품 단점을 GPT로 분석하는 거죠. 그 후 해당 분석을 통해서 우리 제품의 장점을 부각시키는 전략도 고려해 보시면 좋을 것 같습니다.

Q. AI를 깊게 파고드는 Goos님의 시선에선 기술이 발전함에 따라 크롤링 분야에서 어떤 트렌드나 혁신이 나타날 것으로 예상하시나요?

 Goos  ChatGPT가 브라우징 기능을 지원하면서, 현재는 사용자가 AI에게 URL 주소로 맥락을 제공하면 text 기반으로만 변환해서 제공되고 있어요. 그러나 앞으로는 이미지, 영상까지 웹 스크래핑된 내용을 분석해서 요약/정리가 되지 않을까 싶습니다.

패션 쇼핑몰이 있다고 가정할게요. 상의, 하의, 액세서리, 신발 등 카테고리/분류 정보를 text로 제공하면 이를 가져다 활용이 가능하지만, 제공되지 않는 경우 수집한 데이터를 일일이 사람이 분류해왔죠. 그러나 GPT-4o 기술이 업그레이드되면서, 이제 웹 스크래핑과 동시에 이미지 인식을 통해서 자동 분류/태깅이 가능한 시대가 열리고 있습니다.

[이미지] AI(Dall-E)가 생성한 ‘소방관과 AI의 화재진압 연구' 

Q. 현재까지 AI와 관련된 강의를 진행하시면서 가장 기억에 남는 수강생의 피드백은 무엇이었나요?

 Goos  지난달 수강생 중 한 분이 소방관이셨는데, 자유주제 미션에서 해외 논문을 번역하고 요약해서 빠르고 안전하게 화재를 진압하는 연구를 AI와 함께 진행하고 계시더군요. 그래서 이분께는 더 쉽게, 더 많은 정보를 알려드려야겠다는 마음에 밀착 케어를 해드렸어요.ㅎㅎ

아래는 그 소방관님께서 강의가 끝나고 남겨주신 후기입니다. 이 후기를 보고 처음으로 ‘아, 강의 시작하기를 잘했다'라는 마음이 들더라고요. 더 많은 분들에게 SMART+ER 프롬프트를 알려야겠다는 사명감으로 책 집필까지 결심하게 되었습니다.

▶︎ 소방관 수강생의 모두의 AI 강의 후기

[이미지] 모두의 AI ‘나만의 Ai 챗봇 만들기’ 주말 클래스 현장, 모두의 AI 제공

Q. 마지막으로 모두의 AI 오프라인 강의에 대해 얘기해 볼까요? 기존 온라인 강의와 오프라인 강의의 가장 큰 차이는 무엇인가요?

 Goos  온라인 화상 강의를 수강하시면서 더 쉽고 빠르게 일상생활/실무에 적용하고 싶다는 피드백이 많았습니다. 또한 웹스크래핑도 개개인의 브라우저 세팅이나 사소한 설정값의 차이로 화면으로 제가 시연하는 것과 수강생분들이 직접 하는 과정에서 차이가 발생하는 경우도 있었죠.

그래서 8월부터 서울 강남에서 오프라인 강의를 시작했어요. 온라인 한 달 과정을 빡세게(?) 2일로 함축해, 14시간 속성으로 ‘나만의 Ai 챗봇 만들기’ 과정을 진행합니다. 1일차에는 프롬프트의 기본을 배우게 됩니다. 다만, 저는 프롬프트 엔지니어링 같은 어려운 내용은 모두 제거했어요. 프롬프트 디자인이라는 용어로 전 국민 프롬프트 SMART+ER 사용법을 알려드립니다.

2일차에는 SMART+ER 프롬프트로 나만의 AI 챗봇을 만들게 되는데 이때 바로 리스틀리를 이용해서 데이터 수집하는 방법에 대해서도 실습을 통해 배우게 되죠. 막상 강의 끝나고 혼자 하려면 잘 안되는 부분이 있어서, 웹 스크래핑 기술 하나 정도는 터득하실 수 있도록 실습으로 1시간 편성이 되어있습니다 🙂 제 강의는 아래의 링크를 통해 신청 가능합니다.

▶︎ 모두의 AI 오프라인 강의 신청

이렇게 리스틀리를 통해 수집한 데이터와 AI 툴을 활용해 다양한 프로덕트를 만들어내는 AI 공장장 Goos 님의 이야기를 들어보았습니다.

인터뷰의 내용에서 알 수 있듯, 성공적인 데이터 분석과 프로덕트 개발을 위해서는 좋은 품질의 데이터가 필수적입니다. ‘천리 길도 한 걸음부터!’라는 속담처럼, 리스틀리로 추출한 데이터를 바탕으로 광활한 AI 세상에 한 발짝 나아가 보는 건 어떠실까요?

모두의AI, Goos님과의 인터뷰였습니다.