How I predicted LGD at the hackathon and got a job

Hello everyone! My name is Andrey, I recently joined the VS Robotics team and am engaged in a project of an auto-builder of scripts for robot-operator dialogues. In this post I want to share the story of my employment and the solution to the LGD prediction problem, which helped me a lot with this. It's no secret that novice DS specialists have to overcome serious difficulties in order to get a starting position. I was lucky to get offers by participating in the competition and bypassing grueling interviews and torments of doubts about my own competence. I hope my story will be useful and will draw the attention of newcomers to hackathons and conferences as excellent tools for actively looking for a job.

Introduction - Past Life and First Steps in Data Science

   , , .      , .   ,    ,  -  , -  .     , , data scientist — .  ,   ,   ,   ,     .

       , Python.   « Python». 2020   ,    .  Data Science   .

 ,   ,  —  .      ,   . https://ict2go.ru/companies/19/,  ,   ScoringDay 2021      dsbattle.com LGD Prediction. (-3)       «».   , !

 ,  !

0. , «  ?»,  baseline-  . . .   ,    . , , CatBoost. ,    ,    Kaggle,    .

,      .  github  colab.

, LGD (Loss Given Default), ,     ,   . MAE — mean absolute error, .

   1400   —  691,  — , ,    . , , .       .

1.     35   2 :  — 24  — (, ,  ..),  — 11  — ( , ,  ).

   — LGD — ,     . 

U- ,  ,  —   ,   .

   .   ,    38% ,   60%   , . .  

,       (  )    ().

2. , ,     . , ,   , -   .      ,   .       .

  art     !   ,    , .      ,        —   ,     .   .

   Kaggle — ,  ,  .

,  2  «/ ». ,   ,    .

,   LGD     ,   .

       — «  ». , «», « », « », «...», « »  « ».    —   .  — , , .     .     ,    . :

    .

  «»  « ».       .   ,    50  . ( — «corporation»)  100 . . ( — «big»).

  ,   LGD .

  pairplot ,    — « », «   »,   .

:

• « » ;

  
  
  
  
  

• « »  «   »   ,   (      — , ,   « »);

  
  
  
  
  

• , « » – LGD 0 ( ). .

  
  
  
  
  

,   70 « » LGD  ,   ,  . 4 .        — « ».

100   .

3.     .     (    , ), . , .

  ,  , , .   (debt_equity)     (debt_op_profit).

9 : 4   5 .   «» (ar_revenue),      .

4.   .     ,   . CatBoost , . « »   -  9 .

, , 0.086.       0.066.

« LGD — » .

, , LGD = 1,   ,    0, .

  ,   ,   0.087: ,      CatBoost  ,    — 0.086. , ,   « », , « ».

  .

« », ,  ,  lgd.    —   . (ar_revenue) . ,     .

, ,  ,     ,   , ,   ,    .   :     ! ,     -  . , ,      .

 0.086    .       .       .      (  ),   . , , .

,  -  —     . ,  — !

 

        ,    —  .   DS-   , ,  , ,     .

    (   ),      VS Robotics . ,  ,   , !  ,         ,   ,       . , ,      VS Robotics!

     ,   .

1. ,     —  ,  —  45  baseline. , , -  ,  .

   
   
   
   
   

2.     ,   , . . data scientist’, ,   ,   - ,       .

   
   
   
   
   

3.    !  —  , .          — , , .

   
   
   
   
   

4. , .

   
   
   
   
   

5.  — - ,   , ,    .

   
   
   
   
   

6.        - ,       ,   ,   -  -  .

   
   
   
   
   

,  !    !