The best data products are born in the fields

Most of our online orders are collected from storerooms, not from warehouses. This leads to errors between what is shown on the site and what we can actually put together in an  online order .

Due to the high turnover rate of goods in stores and the complexity of stock management systems, errors occur that can be detected automatically. Based on our knowledge of systems and using social engineering, we proposed a solution that would automatically find problematic products and adjust their stock before publishing on the site.

,    « ».    2011 . (  ,   13, 107),       ,   Data- .

«»

   ,   ,   «».       ,  .

•  —  .
•  — ,     .
•  — .
•  — .
•  — 5   .

,   ,      « »,  98%         .

8 000 .  , 40 000   .   , ?   ,   , ,   ,  ,  .   ,      - , , - « ».   ,   ,     -  .

-    ,  —   .

  ,     ,     Data Accelerator.  — data-,   data-driven.  Data Accelerator 126 ,   5      — « »,     .

 ,    ,   ,   . ,    .

  : Data Scientist, Data Engineer, Data Analyst, Product Owner  Scrum-.

:

• ,     (  );
•  eCom,    .

 , .

,    ,  ,  :   . ,   ,   3 , ,    ,   6 . , , ,    …

      ,       . . « » ,   ,   .

,  —    . ,    ,        .   ,     ,   1. , , ,    .   .  .

 — .  ,   . , , .   2500 ,   43,    .        «».

,   excel-,  ,     excel-  :   ,   .   ,  , ,   , , .

,   ,  60%   , .      ,    81%, ,  -, .

MVP.

 6 ,   proof of concept   , ,   ,  .    ,   ,   .

, , ,   ,   ,    — ,   , .    ,     , , .

«-1».

  ,   ,   : « ,   , , , ».     , , « » ,    .     4  , .

   ,   . -,   ,   , - , , .     ,       . -, ,        . ,  ,      .

ML-.

,   ML-,     6 .   ML-?

•    Catboost,   ,     .
•     ,        .
•     ,     ,  ,  ,   ,  ,    .
•   70 .
•     ,   Permutation Importance  ,   Catboost.
•   ,       80/20.
•   ,     .
• ,    ,     ,    train/valid-.
•     DVC,    S3.

  :

• ROC-AUC: 0.68
• Recall: 0.77

 —    .   ,   DataLake   GreenPlum.   ,  MongoDB,  .   GreenPlum  MongoDB   opensource- Apache- Apache AirFlow  Apache NiFi.

Python-,  Kubernetes.     ,   -   Apache Kafka,   ,         Apache Kafka.

  6    ,   15%    12%,   E-com   . ,   ,   .

  ,    ,    .   ,    — ,   ,     .           .

p.s. Avito.Tech, .