채용플랫폼 이용패턴 분석 팀프로젝트7 - Funnel 관점에서 로그분석2

Posted Oct 29, 2024

By Sun Hyuk Kim

23 min read

최종 분석 주제 : 채용 플랫폼 구직자 이탈 감소를 위한 검색 필터 A/B 테스트 제안

오늘 할 일

주간 점검
중간발표 검토
funnel 관점에서 로그데이터 해석 후 활용방안 논의해보기 (계속)
- 퍼널 여정 별 누락된 로그이벤트 찾기
- 가입시점별 코호트분석 이슈 검토
- 가설 설정해보기
- 퍼널 재정의

오늘 한 일

주간 점검 공유
중간 발표
로그데이터 퍼널 분석 논의
- 퍼널 여정 별 누락된 로그이벤트 찾기
- 퍼널 재정의

내일 할 일

가설 수립 및 검증 : 전환율을 개선하고싶은 퍼널 선택 후 가설 설정해보기

Issues & Challenges

주간 점검

지금까지 한일
- 팀 연구 주제 선정 : 채용플랫폼의 구직자 이용 패턴 분석을 통해 이탈요인 파악 및 개선점 제안
  - 도입배경
    - 2022년 ~ 2023년 로그데이터 트래픽 수를 확인해보니 점차 감소되는 추세가 관찰됨
      - 트랙픽 수 감소는 유저 이탈로 판단 → 유저 이탈요인을 파악하고 개선점 제안
  - 로그데이터 분류 : 전체 로그데이터 → 퍼널 설정후 여정별 로그데이터 분류
변경사항
- 개발 환경 세팅 통일 (동일 버전 라이브러리 사용)
- 로그데이터 timestamp 결측치 24개 해결
- 퍼널 로그데이터 분류 시 response_code 컬럼 값을 200으로 필터링
  - 시스템에서 정상적으로 반응한 로그이벤트만 사용하는게 적절하다고 판단
  - 임시코드(3xx)나 에러코드(4xx)는 제외하고 향후 에러로 인한 이탈요인에 활용
이슈사항
- 퍼널 분석 이슈
  - 퍼널 여정을 분기별로 나눴을때 이탈율이 증가하는 경향이 관찰됨
    - 유저별 중복값(재수정, 재등록, 중복조회, 추가지원 등) 가능성 있음
  - 22년 1분기 ~ 23년 1분기 지원서 제출 유저 확인 안됨
    - 우리가 설정한 지원서 제출 로그이벤트는 23년 5월부터 사용됨을 확인함
    - 전체 로그데이터 시점 기준 지원서 제출 path를 찾아야함
- 퍼널 분석을 여정별 시간흐름을 고려하는 작업이 필요한지 여부
  - 퍼널 여정이 불확실한 부분이 관찰됐고 논의끝에 퍼널 재정의 결정

중간 발표 : 팀소개, 주제 선정 과정, 협업 사항, 팀이슈 공유

주제 선정 과정

1. 첫째 날 데이터 선정 관점 : 동기부여↑, 창의성↑, 결과물↑

평소에 좀 더 관심있는 주제
좀 더 창의적이고 혁신적인 접근이 가능할 것 같은 주제
배운 내용들을 다양하게 활용할 수 있는 데이터
주제와 데이터 크기, 컬럼명을 봤을때 좀 더 흥미있는 주제 선정
- 주제 1 : 국내 채용시장 및 채용 플랫폼 이용패턴 분석
- 주제 2 : 구독서비스 프로덕트데이터 분석 ⇒ 주제 2 선정
코멘트 : 우리에게 2가지 데이터가 주어졌는데, 처음에는 데이터를 깊게 살펴보기전에 어떤 데이터가 좀 더 흥미가 있는지 선택하는 시간을 가졌고 주제2를 선정함

2. 팀 연구 주제 찾기

비즈니스 관점에서 배운 내용들을 활용할 수 있는 주제 선정하기
- 시장, 기업, 프로덕트, 데이터를 종합적으로 보고 주제 선정하기
  - 데이터와 컬럼명을 보고 분석할 수 있는 주제 찾아보기
  - OTT 산업이 무엇인지, 트렌드와 문제점이 어떤것이 있는지 파악해보기
  - 기술 블로그 등 OTT 플랫폼 기업 사례 찾아보기
  - 차별성을 위해 컨셉 정해보기
    - 기업 투자 설명회, 배급사 & 제작사 제안, 주주총회 등
⇒ 주제 후보 선정 : 이탈율(구독 취소) 감소를 위한 프로덕트데이터 분석
코멘트 : 선택한 데이터셋을 바탕으로 팀 연구 주제를 데이터 내/외 관점에서 비즈니스 관점을 포함하여 어떤 주제를 고를 수 있을지 논의하였고, 논의결과 이탈율(구독취소) 관점에서 데이터 분석을 진행하기로 결정함

3. 이슈 발생 : 선택한 데이터가 우리가 기대했던 흥미를 충족하지 못함

주제 후보 : 이탈률(구독 취소) 감소를 위한 프로덕트 데이터 분석
- 콘텐츠, 에피소드, 장르 데이터를 활용하여 개인화된 추천 알고리즘 만들기
구독서비스 데이터에서 아쉬운 부분
- 데이터를 살펴보니 한계점 명확하게 관찰됨(장르 데이터 결측치 70%)
- 우리가 원한 데이터가 변형되었음을 확인 ⇒ 흥미 감소
- 장르 데이터가 대부분 결측치로 표기되어 콘텐츠와 묶어서 분석하기 어렵다
  - 장르 데이터를 왜 100% 가공해서 주지 않았을까?
    - 장르 데이터를 활용하면 발생되는 문제를 차단하기 위해?
    - 장르와 연관된 컬럼(콘텐츠, 에피소드 등)을 활용하는걸 원치않아서?
- 구독료가 넷플릭스나 유튜브 프리미엄보다 비싸다
- web기반으로만 서비스가 이용되고 있다
- 모바일보다 PC유저가 훨씬 많았다

⇒ 비밀이 많은 데이터! 다른 데이터를 선택해볼까?

주제 변경 고민
- 흥미 있는 주제를 선택했지만 우리가 선택한 데이터가 흥미를 충족하지 못함
  - 채용플랫폼 데이터가 분석할 내용이 다양하다는 의견
- 수강생의 최종 목표는 취업 → 기업이 흥미 있는 포트폴리오가 유리하다는 의견
- 멘토, 선생님, 실무자 자문 → 도메인도 중요, 문제해결 과정도 중요하다
코멘트 : 우리가 선택한 데이터를 살펴보니, 기대했던 부분(장르 관련 데이터를 활용하여 개인화된 추천 알고리즘 만들기)을 수행하는데 한계가 명확한 것을 확인하였고, 기업에서 제공한 데이터가 애매하게 가공돼서 전달된것이 주된 원인으로 판명됐다. 이부분에서 우리는 아쉬울 수 밖에 없었고, 데이터를 다시 선택해보는 의견이 검토되었다. 이과정에서 취업에 어떤 데이터가 유리할 것인지 논의가 되었고, 우리는 도메인보다 문제를 정의하고 해결하는데 초점을 두기로 결정했다.

4) 주제 변경 : 주제1 국내 채용시장 및 채용 플랫폼 이용패턴전환 결정!
- 변경사유 : 배운 내용을 바탕으로 분석할 수 있는 방향이 더 다양하다고 판단됨
- 로그데이터를 통해 분석할 수 있는 데이터가 좀 더 풍부하다
- 로그데이터를 통해 다양하게 분석할 수 있다
- 실제데이터를 사용한 느낌이 든다 (투자정보 추적)

코멘트 : 주제1번 데이터를 살펴보니, 우리가 배운내용들을 더 다양하게 분석할 수 있다고 판단했고, 가공되지않은 실제데이터를 분석하는 느낌을 받아 데이터셋을 변경하기로 결정했다.

5) 팀 연구 주제 선정 : 채용플랫폼의 구직자 이용 패턴 분석을 통해 이탈요인 파악 및 개선점 제안
- 도입배경
- 2022년 ~ 2023년 로그데이터 트래픽 수를 확인해보니 점차 감소되는 추세가 관찰됨
- 트랙픽 수 감소는 유저 이탈로 판단 → 유저 이탈요인을 파악하고 개선점 제안

코멘트 : 데이터셋 변경으로 새로운 팀 연구 주제를 선정하는 시간을 가졌고, 팀원들과 논의끝에 구직자 이용 패턴을 통해 이탈요인을 파악하고 개선하는 방향으로 설정했다.

협업 사항

일정 세부 계획 공유
- 1주차(10/21 ~ 10/25) : 주제 선정 및 간단한 EDA
- 2주차(10/28 ~ 11/1) : 1차 결론 도출 (EDA+지표+제안)
- 3주차(11/4 ~ 11/8) : 최종 결론 도출 (추가 EDA 및 세부분석 + 태블로 대시보드 구현)
  - 모의발표 (11/8금 or 11/10일)
- 4주차(11/11) : 19:00까지 결과물 제출 (colab + 보고서 + 개인협업일지) + 발표 ppt
코멘트 : 프로젝트 기간동안 주차별로 어떤 일정들을 진행할 것인지 전반적인 계획을 공유하고, 진행사항에 따라 세부적인 일정들을(일간 계획 등) 조정하는 식으로 팀운영을 설정했다.
업무 분장
- 회의 ⇒ 하루 3번 (오전 1번, 오후 2번)
  - 회의 목적 : 원활한 커뮤니케이션과 팀 목표 방향성 설정
  - 회의 내용
    - 오전 회의 : 지난번에 무엇을 했고, 오늘은 무엇을 할지
    - 1차 오후 회의 : 오전에 진행한 내용 공유
    - 2차 오후 회의 : 1차 오후 회의 내용 공유
    - 일과 마무리
- 협업 내용 공유 ⇒ 노션
  - 선호하는 업무 우선 배치, 전반적인 흐름은 가급적 팀단위로 진행
코멘트 : 이번 프로젝트는 다같이 이야기를 나누는 과정속에서 개인이 얻지 못할 인사이트(팀원들의 아이디어)를 얻어가는데 초점을 잡았고, 여러번의 회의진행을 통해 팀원들이 프로젝트 흐름을 꾸준히 확인하고 참여하도록 유도했다. 실제로 자유롭게 이야기를 나누는 시간을 자주 가지다보니, 개인의 주장을 뒷받침하는 내용들이 팀원들의 아이디어에서 주로 발견됐다. 어려움을 겪는 이슈들이 팀원들의 아이디어를 통해 해결되는 일들이 발생되고 있다.
진행 사항
- 팀 연구 주제 선정 : 채용플랫폼의 구직자 이용 패턴 분석을 통해 이탈요인 파악 및 개선점 제안
- 2022년 ~ 2023년 로그데이터(URL) 분류
  - 전체 로그데이터 → 퍼널 설정후 여정별 로그데이터 분류
코멘트 : 데이터셋을 바꿨고, 팀 연구 주제를 다시 설정하고, 이번 데이터셋에 가장 중요한 로그데이터를 3~4일 동안 역추적하는 작업을 계속 진행하고있다.

팀이슈

1. 분석 환경 통일의 중요성

팀원별로 전처리 결과가 다르게 나오는 현상 발생
원인은 pandas 버전 불일치 → 팀원 간 버전을 공유하고, 해당 버전에 맞춘 가상 환경을 구축하여 문제를 해결
코멘트 : 분석 환경이 통일되지않아 동일한 코드에서 다른 결과물이 발생됐으며, 이번 프로젝트를 통해 초급 프로젝트에서 간과했던 부분을 점검할 수 있었다.

2. 로그데이터 퍼널 분석 관련 이슈 - 2가지 있었는데, 중간 발표 후 논의하는 시간을 수업 외 시간 포함해서 길게 논의해서 후술함

로그데이터 퍼널 분석 논의

퍼널 여정 별 누락된 로그이벤트 찾기 (완료)
- 퍼널에서 분류한 지원서 제출 로그이벤트 apply/complete가 23년 5월 24일 이전 기록 없음
- 23년 5월 24일에 지원서 제출 후, 같은 지원서로 다른기업에 동시 제출하는 oneclick기능추가됨
  - oneclick 기능을 추가하기위해 apply/complete 페이지가 생성된 것으로 추정됨
  - 23년 5월 24일 이전, 지원서 제출을 확인하는 로그이벤트가 무엇인지 알 수 없음
- 지원서 제출 로그이벤트는 어떤게 있을까?
  - 서버로 보내는 지원서 제출 로그이벤트 : apply/step4 + post method
  - 서버에 보내고 지원서 제출을 유저가 확인받는 로그이벤트 : apply/complete
- 서버로 보내는 apply/step4 + post method 로그이벤트는 22년~23년 계속 사용되고 있음
- 따라서, 지원서를 서버에 보내거나 보낸 사실을 확인받는 로그이벤트 중 변경되지 않은 path 사용
⇒ 지원서 제출 로그이벤트 변경 : apply/complete → apply/step4 + post method
퍼널 재정의 (완료)

기존 퍼널 여정을 다시 확인해보니, 전단계로 가는 상황이 관찰됨
- 사례1 : 채용 공고 조회 → 기본 이력서 작성 완료 → 지원서 입력
- 사례2 : 채용 공고 조회 → 지원서 입력 → 기본 이력서 작성 완료 → 지원서 제출
- 이런 사례들이 충분히 발생할 수 있고, 우리가 퍼널 여정을 제대로 설정하지 못했다고 판단함
퍼널 재정의 : 방문 → 채용 공고 조회 → 지원서 입력 → 지원서 제출
- 데이터 수집 기간: 2022.01.01 ~ 2023.12.31
- 고객 정의: 데이터 수집 기간 내 회원가입을 완료한 유저
- 필터링 : response_code 컬럼 값 200 (정상 데이터만 집계)
- 퍼널 여정
  1. 방문 → 데이터 수집 기간 내 기록된 고유 유저 id 수
  2. 채용 공고 조회 → api/jobs/job_title + get method
  3. 지원서 입력 → jobs/id/apply/step1 + get method
  4. 첫 지원서 제출 → jobs/id/apply/step4 + post method

후속과제 : 전환율을 개선하고 싶은 퍼널 여정 선택 후 가설 설정해보기

Reflection

언제나 그렇듯 오늘도 무수한 이야기를 나눴고, 지난번에 해결한 이슈들(퍼널 설정)이 문제가 있었음을 확인했다. 우리가 로그데이터 추적을 전체데이터에서 퍼널 여정별로 분류하는 것으로 축소해서 진행을 했었고, 1차적으로 완성한 퍼널을 분기별 시점 등 추가적으로 세분화해서 분석하는 시간들을 가졌다. 이과정에서 우리가 가설을 설정하지 않고 심층 분석을 진행하다보니, 우리가 분석한 부분들이 나중에 활용될 수 있을지 의구심이 들었다. 그래서 우리는 주제 선정부터 문제정의와 퍼널 분석하는 이유를 다시 점검해봤고, 이과정에서 기존에 설정한 퍼널이 적절하지 않았음을 확인했다. 중간 발표가 있어 수업 외 시간을 활용하여 팀원들과 함께 퍼널을 재정의했고, 내일부터는 개선하고싶은 여정을 선택하여 가설을 수립하고 검증해보는 접근을 진행하고자 한다. 매번 회의를 길게하고있어서 팀원들이 지치지 않을까 걱정되는 부분이 있었는데, 생각이상으로 적극적으로 회의에 참여해주고 있어서 감사할 따름이다. 긍정적인 부분은 회의를 진행하면서 서로 부족한부분을 채워주고 앞으로 나아가고 있다는 점이다. 이번 프로젝트를 진행하면서 시각이 넓어진것은 확실하고, 앞으로도 긍정적인 시너지가 창출되었으면 한다.

Data_analysis, Team_project2

Data_analysis

This post is licensed under CC BY 4.0 by the author.