채용플랫폼 이용패턴 분석 팀프로젝트10 - 퍼널 재조정 및 가설 찾기2

최종 분석 주제 : 채용 플랫폼 구직자 이탈 감소를 위한 검색 필터 A/B 테스트 제안

오늘 할 일

• 가설 재수립 및 검증 : 전환율을 개선하고싶은 퍼널 선택 후 가설 설정해보기 (계속)

오늘 한 일

1. 가설 논의 및 퍼널 재조정 : 가설 검증시 발생된 이슈사항 논의 및 로그이벤트 재확인 **
   • 퍼널 채용공고조회 로그이벤트 변경 : 특정기업 채용공고 페이지 → 전체 채용 페이지
2. 가설 재수립 : 구직자의 필터별 지원서 제출 전환율이 다를것이다
   • 전환율 정의 : 지원서를 제출한 고유 유저 수 / 채용공고조회한 고유 유저 수

내일 할 일

• 가설 재수립 및 검증 : 구직자의 필터별 지원서 제출 전환율이 다를것이다
  • 코드 구축후 분석결과를 통해 인사이트 도출
• 퍼널 외 분석 진행
  • 획득 관점 분석 아이디어 수립후 분석
  • 리텐션 관점 분석 아이디어 수립후 분석

---

Issues & Challenges

가설에 대한 논의 및 퍼널 재조정

• 가설 분석 중 이슈 발생 : 지원서 제출에 대해 팀원마다 해석을 다르게하고 있었음
  • 관점1 : 모든 채용 공고 조회수 대비 지원서 제출 수
  • 관점2 : 고유 유저수 기준으로 채용공고조회에 도달한 유저 중 지원서를 제출한 유저
  • 해석이 각자 다른이유 : 지원서 제출 비율 정의를 적절하게 설정하지 못함
    • 지원서 제출 비율 : 유저별 (지원서 제출수 / 채용공고조회수)의 평균
    • 퍼널 관점(방문유저 → 채용공고조회에 도달한 유저수 → 지원서 제출로 도달한 유저수) 에서
      • 사용되지 않은 지원서 제출수 와 채용공고조회수 가 지원서 제출 비율 정의에 추가됨
      • 즉, 고유 유저수 관점으로 진행을 하고있었는데 횟수라는 옵션이 추가됨
      • 퍼널과 가설의 기준이 달라 해석의 차이가 발생함
  • 조치사항 : 채용관련 로그이벤트 재확인 및 퍼널 재조정
    • 채용관련 로그이벤트 흐름
      1. jobs → 채용페이지 접근
      2. api/jobs/job_title → 채용페이지에서 액션(필터, 검색, 정렬 등 사용)
      3. jobs/id/id_title → 특정 기업의 채용공고 페이지 화면
      4. api/jobs/id/other_jobs → 특정 기업의 채용공고 페이지 화면에서 다른 공고 추천 폼
      5. jobs/id/apply/step1 → 채용공고에서 지원서 제출 1단계 진입
      6. api/jobs/id/apply/step1 → 지원서 제출 1단계를 서버로 전송
      7. jobs/id/apply/step2 → 지원서 제출 2단계 진입
      8. api/jobs/id/apply/step2 → 지원서 제출 2단계를 서버로 전송
      9. jobs/id/apply/step3 → 지원서 제출 3단계 진입(3단계가 없는 채용공고 있음)
      10. api/jobs/id/apply/step3 → 지원서 제출 3단계를 서버로 전송
      11. jobs/id/apply/step4 → 지원서 제출 4단계 진입
      12. api/jobs/id/apply/step4 → 지원서 제출 4단계를 서버로 전송(지원서 제출 완료)
      13. jobs/id/apply/complete → 지원서 제출이 완료되었음을 구직자가 확인하는 페이지
    • 퍼널 재조정 : 퍼널 여정 중 채용공고조회 로그이벤트 변경
      • 특정기업 채용공고 페이지 jobs/id/id_title→ 전체 채용 페이지 jobs
      • 퍼널 재조정 사유
        • 퍼널 개선 전 : 방문 → 채용공고조회 → 지원서 입력 → 지원서 제출
        • 퍼널 개선 후 : 방문 → 채용공고조회 → 지원서 제출
        • 퍼널 개선 전과 개선 후의 채용공고조회 기준이 다름
          • 퍼널 개선 전 채용공고조회 : 채용 페이지의 검색 필터링 액션
          • 퍼널 개선 후 채용공고조회 : 지원서 입력 직전 기업 채용공고 페이지
          • 채용공고조회 기준을 축소하면서 이탈률을 개선할 수 있는 요인이 축소됨
            • 채용 페이지에 접근안하고 기업 채용공고 페이지에 접근하는 사례가 발견됨
            • 퍼널의 여정을 역방향으로 가는것을 방지하다보니 퍼널 기준을 축소함
            • 축소한 퍼널 기준으로 작업을 진행하다보니 채용공고조회가 지원서 입력 기준이됨
              • 채용 페이지 → 지원서 제출 이 아닌,
              • 지원서 입력 직전 → 지원서 제출 관점이 됨
      • 재설정된 퍼널 분석 결과 (퍼널 재설정 최종의 최종…)
        • 퍼널 분석 : 방문 → 채용공고조회 → 지원서 제출
          • 데이터 수집 기간: 2022.01.01 ~ 2023.12.31
          • 고객 정의: 데이터 수집 기간 내 방문한 유저
          • 필터링 : response_code 컬럼 값 200 (정상 데이터만 집계)
          • 퍼널 여정
            1. 방문 → 데이터 수집 기간 내 기록된 고유 유저 id 수 → 21,333명
            2. 채용 공고 조회 → jobs → 15,687명
            3. 첫 지원서 제출 → api/jobs/id/apply/step4 + post → 9,608명

        

가설 재수립 : 구직자의 필터별 지원서 제출 전환율이 다를것이다

• 전환율을 개선하고싶은 여정 : 채용 공고 조회 → 지원서 제출

• 전환율 = 지원서 제출한 ‘고유’ 유저 수 / 채용 공고 조회 ‘고유’ 유저 수

  \[전환율= \frac{지원서 제출한 '고유'유저수}{채용 공고 조회 '고유' 유저수}\]
• 가설 설정 : 구직자의 필터별 지원서 제출 전환율이 다를것이다

  • 로그데이터에서 확인되는 채용페이지 필터

    

앞으로 해야할 일

• 가설 검증 코드 구축후 분석결과를 통해 인사이트 도출
• 퍼널 외 분석 아이디어 수립후 분석결과와 인사이트 공유

Reflection

• 우리가 팀프로젝트를 진행하기전 반대의견을 적극적으로 내기로했고, 실제로 회의를 진행하면서 다양한 의견들이 나올수 있었다. 이과정에서 각자의 도메인 지식들이 시너지를받아 여러가지 아이디어들이 발생하고 프로젝트에서 긍정적인 흐름이 진행되고있었다. 그런데, 가설을 설정할때부터 문제가 발생했는데, 팀원들이 만든 여러가설들이 분석을 시작하기전에 해당 가설들이 정말로 우리가 주어진데이터에서 정확하게 분석할 수 있는 가설인가?에서 전부 반박되어 진행을 못했다. 우리팀원의 놀랍고도 예리한 통찰력들로인해 분석을 못하는 상황이 발생한 것이다. 그러다보니 안전한 분석을위해 퍼널 여정을 굉장히 제한적으로 설정하게되었고, 제한된 여정에서 개선을 시도하다보니 아이디어도 나오지 않고 아이디어를 제안하면 여정안에서 데이터를 추적할 수 없거나 여정밖에서 진행되는 가설이 될수밖에 없었다. 불가능한 부분을 모두 찾아 분석을 막아버리니 진행할 수 없는 상황이 발생된 것이다. 가설이 제대로 설정이 안된다면 데이터 범위나 다른부분에서 원인이 있을수도 있다는 것을 파악해서 왜 이렇게됐을까 고민을하다보니 나온 결론이다. 우리는 완벽주의관점을 문제로 파악하고 회의를 통해 분석에서 발생될 수 있는 불가능한 부분을 모두 고려하지않고, 일부는 우리가 채용플랫폼에서 상상할 수 있는 흐름으로 가정하고 데이터의 한계를 고려하여 진행하기로 결정했다. 불가능한 모든 부분을 고려하지 않다보니, 퍼널을 재설정해도 문제가 발생되지않았고 좀 더 다양한 분석을 다시 진행해 볼 수 있었다. 그과정에서 우리가 분석할 수 있는 가설도 설정할 수 있었다. 다사다난 했지만 이번주도 긍정적으로 마무리될 가능성이 높아지고있다.