채용플랫폼 이용패턴 분석 팀프로젝트18 - 프로젝트 발표

최종 분석 주제 : 채용 플랫폼 구직자 이탈 감소를 위한 검색 필터 A/B 테스트 제안

오늘 할 일

• 프로젝트 발표

오늘 한 일

1. 프로젝트 발표 : 도입부와 배경, 후속과제 마무리 담당

내일 할 일

• 수업들어야죠

---

Issues & Challenges

프로젝트 발표

• 최종 분석 주제 : 채용 플랫폼 구직자 이탈 감소를 위한 검색 필터 A/B 테스트 제안
• 도입부와 분석 배경 및 목적, A/B 테스트 후속 과제와 마무리 진행
• 목차(발표부분 볼드처리)
  1. 분석 배경 및 목적
     1. 분석 배경
     2. 분석 목적
  2. 데이터 소개
     1. 테이블 설명
  3. 퍼널 분석
     1. 퍼널 정의
     2. 데이터 전처리
     3. 퍼널 분석
  4. 문제 정의
     1. 현황 분석
     2. 문제점 파악
     3. A/B 테스트 제안
  5. A/B 테스트 설계
     1. 체크리스트
     2. 설계서
     3. 후속 과제

• 발표 내용 일부

  

  • 우리는 제공받은 채용 플랫폼 데이터를 가상 기업 SpaceXPunch로 설정하여 몰입도를 높여 ‘채용 플랫폼 구직자 이탈 감소를 위한 검색 필터 A/B 테스트 제안’이라는 주제로 프로젝트를 진행했다.
  • 이탈 감소, 필터, A/B 테스트 등 웹과 앱에서 비즈니스 분석가로서 주로 수행할 수 있는 주요 부분을 활용하여 풍부한 데이터 분석을 프로젝트에 녹일 수 있었다.

  

  

  • 우리는 채용 플랫폼에서 제공받은 2년치 로그데이터를 확인해보니, 지속적으로 활성 사용자 수가 감소되고 있었고, 사용자 이탈을 방지하기 위한 서비스에서 이탈하는 주요 지점을 파악하여 인사이트를 기반으로 실행 가능한 개선 방안을 도출하고자 다양한 시도를 수행했다.

  

  • 데이터 테이블을 총 8개로 이루어졌으며, 채용 플랫폼 고객은 구직자와 채용 기관이 있으나 제공받은 데이터는 주로 구직자와 관련된 정보로 이루어져있었다. 아쉬운점은 우리가 2년치의 로그데이터를 반드시 활용하기로 결정했고, 이과정에서 로그와 연결된 데이터는 지원서 제출과 북마크 정보밖에 없어 로그를 활용하면 지원서를 제출한 정보만 연결되어 모든 데이터를 사용하는데 한계가 있었다. 이부분이 대단히 아쉬웠지만 우리는 로그분류를 본 프로젝트에 핵심분석으로 선정하여 로그 외 데이터를 메인으로 사용하지 않았다.

  

  • 본격적인 분석에 앞서, 데이터를 살펴보고 제공받은 채용플랫폼에서 구직자의 퍼널 여정을 로그데이터 기반으로 정의해보는 시간을 가졌다. 처음에는 일반적인 플랫폼의 흐름인 회원가입 시도와 완료, 기본 이력서 입력, 지원서 입력 등의 다양한 여정을 넣어봤지만 로그인 없이 채용 공고를 조회하거나 회원가입후 기본 이력서 없이 지원서를 제출하는 등 퍼널 여정을 역으로 이어지는 흐름들이 발생하였다. 우리는 퍼널 여정이 역으로가는 흐름을 차단하고자 일부 퍼널을 축소하여 정의하였다. 우리가 채용 플랫폼의 2년치 전체 로그데이터를 제공받은것이 아니라는것이 확인되었기에 유입경로는 카카오, 페이스북 등 10% 미만으로 관찰되어 수행할 수 없는 한계점이 있었다.

  

  • 로그데이터 기반 퍼널 여정을 확인하기위해 로그데이터를 전처리하는 과정을 거쳤다. 2년치 데이터양은 17백만개로 전부 제공받지 못한 양을 확인할 수 있었고, 결측치는 사용자 이용 패턴인 URL에 3.74% 존재하여 패턴을 임의로 조작하지 못하기에 일괄 삭제 처리하였다.
  • 그밖에도 timestamp는 UTC 기준으로 설정되어 KST로 시간대를 변환하였고, 일부 누락된 마이크로초 변환도 수행하였다.

  

  • 우리가 중점적으로 분석해야하는 사용자 이용 패턴인 URL은 파싱하여 path와 query로 나누어 해석하는 작업을 수행하였다. 본프로젝트에서 대단히 아쉬운점은 제공받은 기업의 로그분류를 전달받지 못하여 채용플랫폼들을 조사해서 제일 유사한 기업의 웹페이지를 참고하여 로그를 역추적하여 분류작업을 수행하였다. 이과정이 본 프로젝트에서 제일 많은 시간을 사용하였고 약 1주일동안 로그분석을 진행하여 분석할 수 있는 수준까지 끌어올릴 수 있었다.

  

  • response_code는 정상적인 통신만 필터링 하여 분석에 활용하였다.

  

  • URL을 파싱하여 jobs(채용 관련), company(기업 관련), userid(프로필 관련) 등으로 분류하는 작업을 수행하였고, 시간의 흐름을 고려하여 로그들이 어떤 의미를 갖고 사용자가 어떤 패턴을 가지고있는지 확인할 수 있었다.

  

  • 이전에 정의한 퍼널에 대해 로그분류된 path를 적용하여 여정 별 전환율을 확인할 수 있었다. 이과정에서 지원서 제출이 전환율이 가장 낮게 관찰되어 개선하기로 결정하였다.

  

  • 채용 공고를 조회한 사용자 중에서 지원서 제출로 도달하기까지 어떤 패턴을 가장 많이하는지 확인해보니, 검색 필터 사용이 가장 높게 나왔다. 우리는 사용자의 검색 필터 행동에 주목하여 필터를 개선함으로서 지원서 제출 전환율을 높이고자 하였다.

  

  • 우선, 사용자들이 어떤 검색 필터를 주로 사용하는지 확인해보니 업무 분야와 경력, 지역 필터 사용률이 높게 관찰됐다. 하지만, 사용자가 많이 사용하는 필터가 반드시 지원서 제출률이 높게 관찰되지는 않았다. 그리고, 외국어 필터처럼 사용률은 가장 낮지만 지원서 제출률을 가장 높은 필터가 관찰되었는데 우리는 자신의 강점을 활용하고자하는 사용자들만 외국어 필터를 선택하여 지원서 제출률이 높다고 판단했다.

  

  • 해당 채용 플랫폼의 검색 필터 관련 문제점들을 살펴봤다. 우선, 사용자가 자주 사용하는 필터의 순서대로 배치되지않아 원하는 필터를 빠르게 선택하는데 어려움이 있다고 판단했다.

  

  • 다음으로는 특정 필터의 하위카테고리가 적절하지 않은 항목이 있다고 판단했다. 예를 들어, 업무 분야 필터의 경우 하위카테고리 중 세부 분류가 명확하지 않은 운영, 경영지원, 비즈니스 항목이 있었고 사용률이 극히 낮은 투자항목이 존재하였다. 하위카테고리가 명확하지않고 자주사용하지 않는 항목이 섞여 항목의 개수가 늘어난다면 사용자가 원하는 필터를 빠르고 정확하게 선택할 수 없어 문제가 발생될 수 있다고 판단했다.

  

  • 경력 필터의 하위카테고리도 단순히 신입, 경력, 인턴으로 분류되어있어 실제 채용 공고의 92%가 경력 공고임에도 경력이 세분화되지않아 원하는 경력의 채용 공고를 찾을 수 없는 문제점을 발견했다.

  

  • 마지막으로 필터 UI 가독성을 문제점으로 판단했다. 예를 들어, ‘데이터 분석가’라는 직무를 찾고싶으나, 해당 채용 플랫폼에서는 데이터 분석가가 명확하게 분류되고있지 않았고, 기획/PM이나 마케팅, 비즈니스 항목 등 어디로 분류되어있을지 사용자가 판단하기 쉽지 않다고 판단했다.

  

  • 앞서 언급한 채용 플랫폼의 검색 필터 관련 문제점들 중 우리는 전체적인 필터 UI 자체가 명확하지 않고 불편하다고 판단하여 검색 필터 UI를 최우선으로 개선하고싶은 문제로 선정하였고, A/B 테스트 설계서를 작성하여 통계적으로 유의미한 결과가 나오는지 판단하고 싶었다.
  • 로그데이터를 분석해보니, 사용자가 채용 플랫폼의 평균 웹페이지 전환 시간은 6.68초지만 검색 필터의 평균 클릭 전환 시간은 10.31초로 관찰됐다. 우리는 이 차이를 사용자가 검색 필터를 신중하게 선택하는 경향과 UI 자체가 직관적이지않아 선택 과정에 여러 단계를 요구하여 상대적으로 많은 시간이 필요할 수 있다고 판단하였다.
  • 이를토대로 우리는 검색 필터가 복잡하지않고 직관적으로 사용자가 자신에게 맞는 공고를 빠르고 효율적으로 찾을 수 있게 개선할 필요성을 느꼈다.
  • 국내 채용 플랫폼을 벤치마킹하고자 사람인과 원티드, 잡코리아의 검색 필터 UI를 관찰해보니 검색 필터를 최대한 펼쳐놓아 사용자가 한눈에 파악할 수 있도록 선택권을 주는 특징이 관찰됐다.

  

  • 우리는 A/B 테스트 설계서를 작성하기전에, 본 분석에 A/B 실험이 필요한 이유와 활용도 등을 체크리스트를 작성하여 점검하는 과정을 거쳐 설계서를 작성하였다.

  

  • A/B 테스트 설계서에는 검색 필터 UI 변경을 통해 해당 채용 플랫폼의 지원서 제출 전환율을 개선하고자 하였다. 실험 가설은 ‘검색 필터 UI를 기존의 우측상단 드롭다운 형식에서(기존A안) 중앙 상단 스프레드 형식(변경B안)으로 변경할 때 지원서 제출 전환율이 올라갈 것이다’로 설정하였다.

  

  • 샘플사이즈는 2년치 월 별 필터를 선택한 고유 사용자 수의 평균과 지원서 제출 전환율 평균을 산출하여 실험에 필요한 인원과 실험 기간, 최소감지효과를 산출하였다.

  

  • A안과 B안의 검색 필터 UI를 피그마로 작성하여 제안하였다.

  

  • 성과 판단 지표는 성공 지표를 우선적으로 판단하였고, 보조 지표와 가드레일 지표는 레슨런으로 활용하고자 설정하였다. 지표 고객은 우리가 설정한 여정을 주로 이용해주는 고객을 대상으로 우선적으로 설정하였다. 소수의 고객을 주목할 수 있지만 검색 필터 UI를 변경하는데는 적절하지 않다고 판단했고, 활성 사용자수도 지속적으로 감소하고있어 전체 고객을 주목할 필요가 있었다.

  

  • A/B 테스트 결과가 유의미하게 나올경우, B안을 토대로 기존에 분석했던 채용 플랫폼의 검색 필터 문제점들 중 A/B 테스트 제안으로 도달하지않은 문제점들을 추가적으로 검색 필터 UI를 변경하는 A/B 테스트를 각각 수행할 계획은 제시하였다.

Reflection

• 프로젝트 전에 학습한 퍼널분석과 A/B 테스트, 로그 분석 등을 활용하여 프로젝트를 진행할 수 있어서 더 몰입할 수 있었고 기억에 남는다.
• 프로젝트 이슈를 언제나 팀원들과 함께 진행하면서 문제를 해결하고 다양한 인사이트를 도출하여 시야를 넓힐 수 있었다.
• 이번 프로젝트에서 로그 데이터를 메인으로 사용했지만, 로그 명세서를 전달받지 못하여 전처리에서 많은 시간을 소비했다. 명세서를 전달받았다면 좀 더 다양한 분석시도를 했을것이다.
• 전달받은 데이터셋에서 로그 데이터와 나머지 데이터간 연결이 매끄럽지 않아 제공받은 데이터를 온전히 활용할수없어 아쉬움이 남는다.
• 프로젝트를 진행하면서 팀원들이 참여할 수 있는 영역이 많았고, 각자 업무를 훌륭하게 수행해서 얻어가는 프로젝트로 마무리된것같아 만족스럽다.