채용플랫폼 이용패턴 분석 팀프로젝트12 - 가설 검증 마무리 및 보고서 스토리라인 잡기

Posted Nov 5, 2024

By Sun Hyuk Kim

18 min read

최종 분석 주제 : 채용 플랫폼 구직자 이탈 감소를 위한 검색 필터 A/B 테스트 제안

오늘 할 일

주말 논의 내용 공유
금주 프로젝트 일정 공유
가설 검증 마무리 : 검색 필터별 구직자의 지원서 제출 전환율이 다를것이다
- 검증 결과에 따른 제안 근거 보완하기 : 시각화 및 통계분석 자료 보완
- 필터 최적화를 위한 추가 분석 자료 생각해보기
- A/B 테스트 시나리오와 디자인 만들기 : A/B 테스트 설계서, 피그마
보고서 스토리라인 잡기

오늘 한 일

주말 논의 내용 정리
금주 프로젝트 일정 공유
가설 검증 마무리 : 검증 결과에 따른 제안 근거를 시각화 및 통계분석 자료 보완
보고서 스토리라인 잡기

내일 할 일

A/B 테스트 시나리오와 디자인 만들기 : A/B 테스트 설계서, 피그마
보고서 스토리라인 채우기

Issues & Challenges

주말 논의 내용

우리가 분석 주제(채용플랫폼의 구직자 이용 패턴 분석을 통해 이탈요인 파악 및 개선점 제안)를 정한후 데이터를 선택(로그데이터)하고,
핵심가치(지원서 제출)를 도달하기전에 이탈하는 고객을 개선하고자 AARRR에서 활성화 관점 퍼널 분석을 진행하고,
가설을 설정(검색 필터별 구직자의 지원서 제출 전환율이 다를것이다)하여 검증후 제안까지 진행함
주말에는 AARRR 관점에서 퍼널 외 획득, 리텐션, 수익 관점에서 분석 아이디어를 도출하는 시간을 가졌는데,
데이터 관점에서 주어진 데이터의 한계로 분석할 수 없었고,
보고서나 PPT에 넣기에는 우리의 분석 주제 흐름과 이어지지 않아 본 프로젝트에서는 제외하기로 결정함
대신, 우리가 설정한 가설에 대한 분석 자료를 좀 더 상세하게 보완하고, 제안내용을 A/B 테스트 시나리오까지 작성하여 스토리를 탄탄하게 다지기로 결정함
이과정에서 최종 주제 설정을 논의하고 ‘구직자의 채용플랫폼 이탈감소를 위한 검색 필터 A/B 테스트 제안’으로 선정함

금주 일정 공유

요약
- 화요일까지 가설 검증 마무리하고,
- 화요일부터 보고서, PPT, colab 작업을 진행하고,
- 목요일 수업끝나기전 결과물 점검후 주말 추가근무 결정하고,
- 금요일에 모의발표 진행후 차주 월요일 최종점검 마무리
전체 일정
- 1주차(10/21 ~ 10/25) : 주제 선정 및 간단한 EDA
- 2주차(10/28 ~ 11/1) : 1차 결론 도출 (가설 수립 및 검증후 제안까지 도달)
- 3주차(11/4 ~ 11/8) : 최종 결론 도출 및 결과물 작성 (추가 EDA 및 세부분석 + 태블로 대시보드 구현)
  - 모의발표 (11/8금 or 11/10일)
- 4주차(11/11) : 19:00까지 결과물 제출 (colab + 보고서 + 개인협업일지) + 발표 ppt
금주 일정
- 월요일 ~ 화요일 : 가설 검증 마무리
  - 가설 분석 자료 보완하기 : 시각화 및 통계분석 추가
  - 필터 최적화를 위한 추가 분석 자료 생각해보기
  - A/B 테스트 시나리오와 디자인 만들기
- 화요일 ~ : 보고서, PPT, colab 작성
  - 보고서 및 PPT, colab 담당자 주도하에 보고서 스토리라인 세부내용을 팀원에게 나눠서 채우고 보완하기
    - 각 담당자는 스토리라인 세부내용을 팀원에게 요청하기
  - 매일 보고서 작성 업데이트 기록 (날짜, 제목, 변경이력 등)
    - 매일 오전 10시, 오후 3시, 오후 6시에 진척 과정 점검
  - 보고서 초안 작성후 점검 (보고서 점검후 PPT 작성을 진행할지는 PPT 담당자가 결정)
  - PPT 초안 작성후 점검
    - PPT 디자인 잡기(시각화, 대시보드 등)
- 목요일 오후 5시 : 결과물 점검(보고서, PPT, colab)후 일정 조정
  - 작업이 많이 남았다면 주말포함하여 진행
- 금요일 : 발표시나리오 작성후 모의발표 진행
- 주말 : 결과물 점검
- 차주 월요일(11/11) : 결과물 및 발표 최종점검
일일 일정
- 오전 10시 : 금일 작업물(보고서, PPT, colab) 계획 점검 (오늘 우리가 어떤것들을 계획했는지)
- 오후 3시 : 중간 점검 (예정대로 작업이 진행되고 있는지, 나누고픈 이야기가 있는지)
- 오후 6시 : 일일 마무리 및 보고서 작성 업데이트 (오늘 우리가 계획한 작업을 완료했는지, 내일은 무엇을 할것인지)

가설 검증 마무리 : 검증 결과에 따른 제안 근거를 시각화 및 통계분석 자료 보완

설정한 가설 : 필터별 구직자의 지원서 제출 전환율이 다를것이다
- 가설에 따른 제안
  1. 개인화된 필터링 채용 공고 추천
  2. 필터링 순서 변경
  3. 필터링, sort 세부분류 변경

(팀원A, B + 내가 한 일) 검증 결과에 따른 제안 근거 보완하기 : 시각화 및 통계분석 자료 보완
1. 개선전 검색 필터 디자인 정의
2. 용어 명확화 : 필터 사용률, 지원서 제출률
3. 검색 필터 구역 설정 : sort를 2구역, sort외 필터 기능을 1구역으로 지정하여 보고서에 명시
4. 시각화 컬러 설정
5. 가설에 따른 제안 별 시각화 추가로 할 수 있는것들 만들기
  1. 산출물 막대그래프로 순위 시각화
  2. Job 필터 세부분류 변경 사유 시각화
  3. career_type 필터 세부분류 변경 사유 시각화
  4. remote + stock 필터를 sort 기능(2구역) 이동 사유 시각화
(팀원C, D, E) A/B 테스트 시나리오(설계서)와 디자인 만들기 : A/B 테스트 체크리스트 + 설계서

검증 결과에 따른 제안 근거를 시각화 및 통계분석 자료로 보완하기
- 가설 검증 결과 산출물
- 개선전 검색 필터 디자인 : 2줄 Z패턴 방식으로 가정
- 용어 변경 :
  - 전환율 필터링 선호도 → 필터 사용률
  - 최종 전환율 → 지원서 제출률
- 검색 필터 구역 설정 → PPT 진행시 오른쪽 상단에 필터 구역은 계속 표기
  - 1구역 : 필터 기능(sort 외)
  - 2구역 : 정렬 기능(sort)
- 시각화 컬러 설정 : 검정(배경), 파랑, 초록, 버건디, 회색, 흰색
- PPT용 산출물 시각화 : 필터별 선호율 순위 + 필터별 지원서 제출 전환율 순위 (막대그래프)

필터링 세부분류 변경 : 예를들어, 업무 분야(job) 필터에서 구직자가 자주 사용하지않거나, 채용공고가 없는 세부 업무 분야를 통합or제거 검토(ex : job=3, job=4 통합 or 제거)

Job(업무분야) 세부분류 변경 (4개 조정)
- Job 의 필터 선호도는 높지만, 전환율은 낮다 → Job 세부분류 변경 필요 - SW 개발 - HW 개발 - 게임 개발 → 이미 상위 업무 분야인 SW개발과 HW개발 이 존재함 → tag(산업) 필터 이동이 더 적절해보임 - 디자인 - 기획/PM - 마케팅 - 운영 → CS (좀 더 명확한 분야명 표기) - 경영지원 - 비즈니스 → 영업 (좀 더 명확한 분야명 표기) - 투자 → 제거
- 필터를 사용한 유저는 74명으로 전체 필터링 이용 유저수의 0.005% 밖에 안됨 (74/15687)
- job(채용공고) + application(지원서) 마스터 테이블 상으로도 0.0025% 유저만 투자 채용공고 지원한것으로 관찰됨

시각화 아이디어 : 트리맵

트리맵 x : job_field, y : 채용공고수(퍼센트)
투자가 채용공고 비중이 낮은것을 표시(0.29%)
자주 사용하지않아 투자항목을 제거하기로 결정
HW개발(0.76%), 게임개발(0.45%), 투자(0.29%)

코드

  
  import pandas as pd
  import plotly.express as px
            
  # CSV 파일 경로
  df_job = pd.read_csv('/hrdata/Job.csv')
  df_job = df_job.iloc[:, 1:]
  df_job
            
  # job_field별 갯수 계산
  job_counts = df_job['job_field'].value_counts().reset_index()
  job_counts.columns = ['job_field', 'count']
            
  # 누적비율 계산
  job_counts['percentage'] = (job_counts['count'] / job_counts['count'].sum()) * 100
  job_counts['percentage'] = job_counts['percentage'].round(2)  # 소수점 둘째 자리까지 반올림
            
  # 트리맵 시각화
  fig = px.treemap(job_counts, 
                   path=['job_field'], 
                   values='count', 
                   title='Job Field Distribution',
                   color='percentage',
                   color_continuous_scale='Blues',  # 파란색 계열
                   hover_data={'percentage': True})
            
  # 트리맵 내에 텍스트 추가
  fig.update_traces(textinfo='label+value+percent entry')
            
  # 그래프 출력
  fig.show()

내일할일
1. A/B 테스트 설계서 작성하기
2. A/B 테스트 실험 가설 별 UI 디자인 피그마로 만들어보기

보고서 스토리라인 잡기

주제 : 구직자의 채용플랫폼 이탈감소를 위한 검색 필터 A/B 테스트 제안

도입배경
채용플랫폼에서 월별 트래픽 수가 감소하는 경향을 보임
- → 이용자가 이탈하는것으로 판단, 이탈요인을 감소하고자 함 → 어떻게? 로그데이터(이용패턴)를 통해!

메인내용
구직자의 채용플랫폼의 핵심가치를 지원서 제출로 판단하고, 해당 여정을 퍼널로 설정
- 지원서 제출로 판단한 이유 적기
- 퍼널 정의: 방문 → 채용 공고 조회 → 지원서 제출
- 퍼널 분석: 핵심 가치인 ‘지원서 제출’로 넘어가는 전환율을 개선하기로 결정
- 데이터전처리 : 로그데이터 퍼널 분류, 파생변수(path, query)생성 → urllib 활용해서
- 가설 수립 및 검증
  - 가설 : 필터별 구직자의 지원서 제출 전환율이 다를것이다
    - 검증결과 : 유저마다 필터별 선호도와 지원서 제출 전환율 차이가 있음
    - 필터에 대한 분석으로 가설 제안 근거 찾기
- 가설에 따른 제안
  - A/B 테스트 제안 → A/B 테스트 시나리오 제출
    1. 개인화된 필터링 채용 공고 추천
    2. 필터링 순서 변경
    3. 필터링, sort 세부분류 변경

한계점
- 어쩌구
- 저쩌구

Reflection

남은 일정들을 파악하여 우리가 기한내 작업을 완료할 수 있을지 생각해봤을때, 충분히 가능한것으로 판단되어 월요일부터 흐름이 좋다. 현재까지는 처음에 설정한 팀프로젝트 취지인 지금까지 배워왔던 분석 기법들을 최대한 활용하고 있고, 강의시간에 제대로 배우지않은 로그분석과 A/B 테스트 체크리스트와 설계서 작성 뿐만아니라 UI 디자인을 피그마로 만들어보는 시도까지 진행하고있다. 이번 팀프로젝트는 얻어가는부분이 너무나도 많아서 만족스럽다. 내가 원하는것 이상으로 좋은 흐름을 가고있다는것은 그만큼 좋은 동료들의 노력이 있었기에 가능한것으로 보였고, 좋은 동료들과 팀프로젝트를 마무리할 수 있어 감사하다. 누군가에게는 우리팀이 인원이 많기에 다양한 시도를 했다고 볼수도있지만, 우리는 이야기를 많이나누면서도 빠르게 결단한것이 주요했다고 생각한다. 첫번째로는 처음 선택한 데이터셋에 의구심을 갖고 빠르게 다른 데이터셋을 선택한것이 가장 주요했다고 판단되고, 두번째로는 팀원들이 적극적으로 의견을 나누면서도 타협하는 과정을 모두가 거쳤다는것이 핵심이라고 생각한다. 이번 프로젝트 팀원은 협업에 익숙한 팀원과 익숙하지 않은 팀원이 섞여있었음에도 모두다 각자의 위치에서 최선을 다했기때문에 좋은 시너지가 발생된것같다. 아직 1주일이라는 프로젝트기간과 제일 중요한 기간이기때문에 어떤일이 생길지 모르지만, 우리가 제일 진행에 어려움을 겪었던 가설지옥을 극복하고나니 크게 우려되지않는다. 지금처럼만 계속해보자.

Data_analysis, Team_project2

Data_analysis

This post is licensed under CC BY 4.0 by the author.