Перейти до вмісту

MLOps

Матеріал з K2 ERP Wiki

Training pipeline — це pipeline для навчання або перенавчання моделі. 4. Monitoring виявив data drift. * governance;

  • documentation;
  • model cards;
  • fairness checks;
  • explainability;
  • audit trail;
  • privacy controls;
  • human review;
  • monitoring;
  • incident response;
  • rollback;
  • risk classification. це набір практик. # Inference. Data versioning — це контроль версій datasets. GenAIOps здатна охоплювати:

Окремо варто відзначити процесів і інструментів; так само реалізовано monitoring, retraining, governance і безпечного використання в production виступає ключовою рисою керування повним життєвим циклом моделей машинного навчання: від експериментів і навчання до deployment забезпечується через MLOps або Machine Learning Operations. Після approval запускається deployment. Model registry зберігає:

MLOps здатна реалізовуватися в cloud-платформах. Суть training pipeline: модель повинна навчатися відтворювано, з контрольованими даними, параметрами, метриками й версіями. Практична роль: MLOps-стек зазвичай складається з кількох інструментів: orchestration, tracking, registry, serving, monitoring і infrastructure. Rollback — це повернення до попередньої стабільної версії моделі.== Тематичні мітки ==

CI/CD для ML — це автоматизація процесів перевірки, збірки, тестування й deployment ML-систем.
  • цифровізувати навчання моделі;
  • зберігати версії моделей;
  • відтворювати експерименти;
  • оперативно розгортати модель;
  • контролювати якість після запуску;
  • виявляти деградацію;
  • відстежувати data drift;
  • запускати retraining;
  • робити rollback;
  • забезпечувати безпеку доступів;
  • логувати прогнози;
  • пояснювати рішення для бізнесу;
  • відповідати вимогам governance. У класичному software development достатньо контролювати код, тести, deployment і monitoring застосунку. Відправити alert, якщо розподіл прогнозів змінився.

2.=== Batch scoring === 

→ Preprocessing

Типовий життєвий цикл ML-моделі містить кілька етапів:

Практична порада: MLOps особливо потрібен там, де модель регулярно оновлюється, впливає на бізнес-рішення або функціонує з критичними даними.== GenAIOps == |- | базовий фокус | інформаційні дані й data pipelines | Моделі й ML lifecycle |- | Контроль | Data quality, lineage, schema, freshness | Training, evaluation, deployment, monitoring |- | Взаємозв’язок | Подає якісні інформаційні дані | Використовує інформаційні дані для моделей |}

Rollback

MLOps потрібен для того, щоб machine learning працював стабільно, відтворювано й безпечно в реальних бізнес-процесах.

  • якість нових даних;
  • зміни schema;
  • leakage;
  • target availability;
  • metrics;
  • fairness;
  • comparison with current model;
  • rollback plan. * Матеріали щодо MLOps, LLMOps, DataOps, model monitoring, data drift, responsible AI і ML governance. Inference pipeline — це pipeline для використання навченої моделі. Це потрібно, тому що модель залежить від даних так само сильно, як від коду. Критерій

6.

MLOps багато взяв із DevOps, але має додаткові складності. * API endpoint;

  • batching;
  • scaling;
  • latency;
  • model loading;
  • version routing;
  • canary deployment;
  • monitoring;
  • logging;
  • authentication;
  • resource management. інформаційні дані проходять validation. Практична роль: batch inference підходить, коли прогноз не потрібен миттєво, а здатна бути підготовлений заздалегідь. Для старту: MLflow часто виступає як зручним першим інструментом для experiment tracking і model registry. * відтворити training;
  • зрозуміти походження даних;
  • порівняти datasets;
  • знайти помилки;
  • відстежити data lineage;
  • виконати audit;
  • контролювати compliance. * Data Scientist;
  • ML Engineer;
  • Data Engineer;
  • MLOps Engineer;
  • DevOps Engineer;
  • Cloud Engineer;
  • Software Engineer;
  • Security Engineer;
  • Product Owner;
  • Business Owner;
  • Risk або Compliance Officer;
  • Data Steward.

LLMOps містить:

7. Рівень

  • логувати експерименти;
  • зберігати metrics;
  • зберігати artifacts;
  • реєструвати моделі;
  • порівнювати runs;
  • пакувати моделі;
  • підтримувати deployment workflows. Підказка: MLOps workflow має описувати не лише “як навчити модель”, а й “як перевірити, запустити, спостерігати й відкотити”.

MLOps і DevOps

GenAIOps — це ширший підхід до operational practices для генеративного AI. * model ownership;
  • approvals;
  • documentation;
  • risk classification;
  • audit trail;
  • access control;
  • compliance;
  • data lineage;
  • model lineage;
  • explainability;
  • fairness;
  • monitoring requirements;
  • incident response. Приклади:
→ Data validation

критично: online inference має вимоги до latency, reliability, fallback і scaling. * code tests;

  • data validation;
  • pipeline tests;
  • model evaluation;
  • security checks;
  • artifact build;
  • container build;
  • deployment to staging;
  • approval gate;
  • deployment to production;
  • rollback.== MLOps у бізнесі ==

Model monitoring — це спостереження за моделлю після deployment. → Training

* data poisoning;
  • model stealing;
  • adversarial examples;
  • insecure model endpoint;
  • exposed API keys;
  • supply chain attacks;
  • insecure containers;
  • unauthorized model access;
  • leakage через logs;
  • unsafe model artifacts;
  • dependency vulnerabilities.

</syntaxhighlight>

Model card

'''LLMOps''' — це MLOps-практики для Large Language Models.== A/B testing ==
'''Суть deployment:''' модель стає частиною реальної системи, яка отримує запити й повертає прогнози.</div>

</div>

* MLflow;
* Kubeflow;
* Airflow;
* Prefect;
* Dagster;
* DVC;
* lakeFS;
* Feast;
* TensorBoard;
* Weights & Biases;
* Neptune;
* ClearML;
* BentoML;
* KServe;
* Seldon;
* Ray;
* Docker;
* Kubernetes;
* Terraform;
* Prometheus;
* Grafana;
* Evidently AI;
* WhyLabs. Навчити модель. * модель залишається тільки в notebook;
* немає experiment tracking;
* немає data versioning;
* немає model registry;
* ручний deployment;
* немає monitoring;
* немає rollback;
* відсутній owner моделі;
* невідомо, яка модель у production;
* немає retraining strategy;
* не контролюється drift;
* немає security review;
* немає human approval для ризикових моделей;
* немає model card;
* business metrics не пов’язані з model metrics. Інструменти:
</div>
== MLOps і DataOps ==

 → Evaluation

<div style="background:#e7f3ff; border-left:6px solid #2b7cff; padding:12px; margin:12px 0;">

* почати з experiment tracking;
* версіонувати код, інформаційні дані й модель;
* створити model registry;
* цифровізувати training pipeline;
* перевіряти інформаційні дані перед training;
* використовувати validation gates;
* запускати staging deployment;
* додавати monitoring;
* контролювати data drift;
* мати retraining policy;
* мати rollback;
* документувати model card;
* обмежувати доступи;
* логувати прогнози;
* пов’язувати model metrics із business metrics. '''Суть життєвого циклу:''' ML-модель не закінчується на training. 1. * персональні інформаційні дані;
* consent;
* data minimization;
* anonymization;
* pseudonymization;
* encryption;
* retention policy;
* access logs;
* training data permissions;
* model outputs;
* deletion requests;
* compliance requirements. Якщо metrics кращі — модель переходить у staging.<div style="background:#e7f3ff; border-left:6px solid #2b7cff; padding:12px; margin:12px 0;">

 → Deployment

* data pipelines;
* training jobs;
* batch inference;
* retraining;
* validation;
* scheduled workflows;
* dependency management;
* monitoring pipeline runs. Raw data

'''Concept drift''' — це зміна зв’язку між input data і target. '''Практична роль:''' explainability оптимізує не лише пояснювати рішення для бізнесу, а й знаходити помилки в даних, features або моделі. Перевірити retrieval quality.<div style="background:#ecfdf5; border-left:6px solid #10b981; padding:12px; margin:12px 0;">
<div style="background:#ecfdf5; border-left:6px solid #10b981; padding:12px; margin:12px 0;">
'''критично:''' модель, яка показує хороші метрики під час навчання, здатна оперативно втратити якість у production, якщо зміняться інформаційні дані, поведінка користувачів або бізнес-процес. Model card здатна містити:
</div>
== MLOps maturity levels ==

7. Приклади:

Feature store оптимізує:

'''Критично:''' ML-моделі, які впливають на людей, потрібно перевіряти не лише на середню якість, а й на справедливість для різних груп.</div>

'''Критично:''' якщо немає версії даних, неможливо чесно відтворити модель і пояснити, чому вона дала певний результат. Форми deployment:
Приклади напрямів:
'''Model degradation''' — це погіршення якості моделі з часом. Зберегти прогнози.</div>
<div style="background:#eafaf1; border-left:6px solid #2ecc71; padding:12px; margin:12px 0;">
'''критично:''' Kubeflow потужний, але потребує Kubernetes-експертизи й не завжди потрібен для невеликих команд.<div style="background:#e8f8f5; border-left:6px solid #16a085; padding:12px; margin:12px 0;">

'''Практична користь:''' shadow deployment дає можливість протестувати модель у реальних умовах без ризику для користувачів. Типові stages:

<syntaxhighlight lang="text">

A/B testing оптимізує оцінити:

* data ingestion;
* data validation;
* preprocessing;
* feature engineering;
* training;
* evaluation;
* model registration;
* deployment;
* monitoring;
* retraining.<div style="background:#e7f3ff; border-left:6px solid #2b7cff; padding:12px; margin:12px 0;">
== Ray у MLOps ==
'''Практична роль:''' orchestration tools допомагають запускати ML-процеси за розкладом, подіями або залежностями. MLOps потрібен тоді, коли ML-модель застосовують, коли потрібно не лише для дослідження, а впливає на реальні процеси.</div>
'''Ray''' застосовується для для масштабування ML workloads.== Canary deployment ==
== Online inference ==

<div style="background:#fff4e5; border-left:6px solid #f39c12; padding:12px; margin:12px 0;">
Data versioning оптимізує:
5. '''Model card''' — це документ, який описує модель, її призначення, обмеження, метрики й ризики. Запустити integration tests. '''Практична роль:''' inference pipeline гарантує, що модель у production отримує інформаційні дані в тому самому форматі, в якому вона очікує їх після training. '''Небезпека:''' ML без MLOps здатна виглядати успішно на демо, але бути нестабільним, невідтворюваним і ризикованим у production. # Аналіз помилок. * Документація cloud-платформ щодо production ML і model deployment. MLflow здатна допомагати:

== Inference pipeline ==

'''Небезпека:''' concept drift здатна зруйнувати якість моделі навіть тоді, коли формат і розподіл даних здаються нормальними. '''Docker''' застосовується для для пакування ML-сервісів у containers. * нова модель функціонує гірше;
* зросли помилки;
* зросла latency;
* з’явився bias;
* порушився business process;
* deployment був неправильний;
* production monitoring показує ризики. Розгорнути на 100% або зробити rollback.=== Retraining workflow ===

як приклад:

Вони допомагають:

У MLOps можуть брати участь різні ролі:

* змінилася поведінка клієнтів;
* з’явився новий ERP-продукт;
* змінився сезон;
* змінився канал продажів;
* змінилася структура документів;
* змінився формат даних;
* зламався upstream pipeline. '''Практична користь:''' experiment tracking дає можливість порівнювати експерименти й відтворювати результат, а не покладатися на пам’ять або випадкові notebook-файли. MLOps
== Model monitoring ==
'''Суть CI/CD для ML:''' зміни в коді, даних або моделі мають проходити автоматичні перевірки перед production.</div>

'''Практична роль:''' model serving робить модель доступною для інших систем як стабільний сервіс. * Документація Ray. Перевірити latency і cost. '''Висновок:''' без DataOps складно побудувати надійний MLOps, тому що модель залежить від стабільності й якості даних.<div style="background:#eafaf1; border-left:6px solid #2ecc71; padding:12px; margin:12px 0;">

== Privacy в MLOps ==

'''Fairness monitoring''' — це контроль того, чи модель не створює нерівномірну якість або шкоду для різних груп. Причини:
'''Практична роль:''' Ray корисний, коли ML workload потрібно масштабувати на багато CPU, GPU або machines. ! ! ML pipeline здатна включати:

== Retraining ==

* фінансових рішень;
* медицини;
* HR;
* fraud detection;
* compliance;
* юридичних процесів;
* customer-facing decisions;
* debugging;
* довіри користувачів.<div style="background:#eef2ff; border-left:6px solid #4f46e5; padding:12px; margin:12px 0;">

* 1% користувачів;
* 5% запитів;
* окремий регіон;
* окремий сегмент;
* внутрішні користувачі. 4.<div style="background:#fff7ed; border-left:6px solid #fb923c; padding:12px; margin:12px 0;">

! '''Kubernetes''' застосовується для для orchestration containers у production. Retraining здатна запускатися:
Retraining здатна бути:
== Kubeflow ==
</div>
<div style="background:#eafaf1; border-left:6px solid #2ecc71; padding:12px; margin:12px 0;">
</div>
</div>
Приклад:

</div>

'''Model versioning''' — це контроль версій моделей. Вони можуть керувати:
</div>

'''MLOps''' — це практики й інфраструктура для керування ML-моделями в production. * рекомендація на сайті;
* fraud scoring під час платежу;
* персоналізація сторінки;
* chatbot response;
* real-time pricing;
* moderation;
* risk decision. '''Практична роль:''' retraining оптимізує моделі адаптуватися до нових даних, але потребує контролю якості.<div style="background:#e7f3ff; border-left:6px solid #2b7cff; padding:12px; margin:12px 0;">

5. '''Airflow''', '''Prefect''' і '''Dagster''' використовуються для orchestration pipelines. '''Batch inference''' — це запуск моделі на великій кількості даних за розкладом або подією.== Model serving ==
MLOps підтримує responsible AI через:
<div style="background:#e7f3ff; border-left:6px solid #2b7cff; padding:12px; margin:12px 0;">

</div>

== Airflow, Prefect і Dagster ==

'''Kubeflow''' — це платформа для ML workflows на Kubernetes. Причини:
'''Суть LLMOps:''' для LLM критично контролювати не лише модель, а й prompts, context, retrieval, tools, hallucinations, cost і safety. * Документація DVC, Feast і lakeFS. '''Training-serving skew''' — це ситуація, коли модель у production отримує features, які відрізняються від features під час навчання. '''Практична роль:''' MLOps — це командна дисципліна. 5.</div>

* MLflow;
* Weights & Biases;
* Neptune;
* Comet;
* ClearML;
* TensorBoard. * різницю в error rates;
* bias у training data;
* proxy variables;
* fairness metrics;
* segment performance;
* adverse impact;
* drift по групах;
* explainability для чутливих рішень. Він здатна включати:
'''Основна ідея:''' MLOps потрібен для того, щоб ML-модель не залишалась експериментом у notebook, а стабільно, безпечно й контрольовано працювала в реальному бізнес-процесі. # Feature engineering. Перевірити schema і data quality. '''Data lineage''' — це відстеження походження даних і шляху їх обробки.<div style="background:#e8f8f5; border-left:6px solid #16a085; padding:12px; margin:12px 0;">

* KServe;
* Seldon;
* BentoML;
* Ray Serve;
* TensorFlow Serving;
* TorchServe;
* Triton Inference Server;
* custom FastAPI service. 3. # Документування й аудит.</div>
'''MLflow''' — це open-source платформа для experiment tracking, model packaging, model registry і ML lifecycle.</div>
'''Explainability''' — це здатність пояснити, чому модель дала певний прогноз. Data lineage показує:

Методи:

* AWS SageMaker;
* Google Vertex AI;
* Azure Machine Learning;
* Databricks Machine Learning;
* Snowflake ML;
* managed model registry;
* managed feature store;
* managed endpoints;
* cloud monitoring;
* cloud pipelines. '''критично:''' без model registry важко зрозуміти, яка саме модель зараз функціонує в production і на яких даних вона була навчена. Потрібно зберігати:

MLOps залежить від DataOps, тому що ML-моделі потребують якісних даних. * DVC;
* lakeFS;
* Delta Lake;
* Apache Iceberg;
* Pachyderm;
* custom data lineage systems.</div>

4.=== Online model deployment ===
MLOps застосовується для у різних ML-сценаріях. Її не можна на 100% покласти лише на data scientist або лише на DevOps. '''Feature store''' — це централізоване сховище features для training і inference.</div>
== CT: Continuous Training ==

'''Практична порада:''' managed cloud MLOps здатна пришвидшити старт, але потрібно контролювати vendor lock-in, cost, security і governance. 7. Модель перенавчається.== MLOps і відповідальне AI ==
Ризики:

</div>

6. # Оцінювання якості. Нова модель порівнюється з production.<div style="background:#e7f3ff; border-left:6px solid #2b7cff; padding:12px; margin:12px 0;">
== Explainability ==

! Explainability важлива для:
<div style="background:#eef2ff; border-left:6px solid #4f46e5; padding:12px; margin:12px 0;">
Популярні інструменти:

<div style="background:#eef2ff; border-left:6px solid #4f46e5; padding:12px; margin:12px 0;">

'''Shadow deployment''' — це режим, коли нова модель отримує реальні input, але її прогнози не впливають на користувача або бізнес-рішення.

Приклади:

  • prediction distribution;
  • input distribution;
  • data drift;
  • concept drift;
  • model quality;
  • latency;
  • errors;
  • throughput;
  • resource usage;
  • business metrics;
  • fairness metrics;
  • alerting. Запустити модель. Він охоплює experiment tracking, data versioning, model registry, training pipelines, deployment, monitoring, data drift, concept drift, retraining, rollback, governance, security і privacy. 5. Оцінити на validation і test set. Задеплоїти нову версію prompt.
Canary deployment — це поступове розгортання нової моделі на невелику частину traffic. Зареєструвати модель у registry.

1. * manual;

  • scheduled;
  • trigger-based;
  • continuous;
  • approval-based;
  • automated with evaluation gates. Створити features.== Training pipeline ==

Governance

Перевага: MLOps дає можливість перетворити ML із разового експерименту на повторюваний, контрольований і вимірюваний production-процес.

Continuous Training або CT — це регулярне або подієве перенавчання моделі.== Model degradation ==

Практична порада: кожен model deployment має мати план rollback до попередньої робочої версії.

Data lineage

Правило: якщо інформаційні дані не потрібні для моделі, їх не потрібно збирати, зберігати або передавати в training pipeline. * prompt versioning;

  • model selection;
  • evaluation datasets;
  • RAG pipeline;
  • vector database monitoring;
  • hallucination tracking;
  • guardrails;
  • prompt injection defense;
  • cost monitoring;
  • latency monitoring;
  • response quality;
  • human feedback;
  • tool calling monitoring;
  • safety evaluation.

Суть canary deployment: нова модель перевіряється на малому обсязі реального traffic перед повним запуском.== Fairness і bias monitoring == Приклади:

Увага: автоматичне перенавчання без контролю здатна розгорнути гіршу модель. Версії потрібні для: Рівні зрілості MLOps можна умовно поділити так: Kubeflow здатна використовуватися для: Це корисно для: 3. Запустити evaluation dataset. Перевірити monitoring.=== LLMOps workflow ===

ML pipeline — це автоматизована послідовність кроків для підготовки даних, навчання, перевірки, deployment або inference.== Див. так само ==

1. Критично: ML-модель у production без monitoring здатна довго давати погані прогнози, поки це не помітить бізнес-середовище.
  • завантаження даних;
  • перевірку schema;
  • очищення даних;
  • створення features;
  • розбиття на train/validation/test;
  • training;
  • hyperparameter tuning;
  • evaluation;
  • збереження моделі;
  • реєстрацію в model registry;
  • створення training report. Pipeline збирає нові інформаційні дані. Перевірити hallucination rate. Ray здатна допомагати з:
 Критично: model degradation потрібно виявляти метриками й alerting, а не випадковими скаргами користувачів. Governance містить:

Головна думка: MLOps перетворює ML із разового експерименту на керований production-процес із версіями, перевірками, monitoring, retraining, rollback і відповідальністю.== Cloud MLOps == Потрібно перевіряти:

Shadow deployment

  • повторно використовувати features;
  • уникати training-serving skew;
  • контролювати feature definitions;
  • зберігати offline features;
  • подавати online features;
  • версіонувати features;
  • підтримувати consistency;
  • прискорювати розробку моделей. Головне правило: MLOps має робити ML-процес відтворюваним, контрольованим, безпечним і вимірюваним. * назву моделі;
  • призначення;
  • training data;
  • evaluation data;
  • metrics;
  • known limitations;
  • intended use;
  • out-of-scope use;
  • fairness analysis;
  • privacy considerations;
  • deployment details;
  • owner;
  • approval status. * за розкладом;
  • після появи нових даних;
  • при data drift;
  • при падінні метрик;
  • після зміни бізнес-процесу;
  • після ручного approval;
  • при зміні source data.
  • різний preprocessing;
  • різні джерела даних;
  • різний час оновлення версій;
  • різні правила обчислення;
  • помилки в online features;
  • відсутність feature store;
  • зміни в business logic.

Data drift

Джерела

  • rollback;
  • порівняння моделей;
  • audit;
  • A/B testing;
  • відтворення прогнозів;
  • аналізу помилок;
  • governance;
  • controlled deployment.
  • звідки прийшли інформаційні дані;
  • які transformations застосовувалися;
  • які pipeline їх обробляв;
  • яка реліз системи dataset використовувалася;
  • які features створені;
  • яка модель була навчена на цих даних.== Загальний SEO-опис ==
2.
  • Документація MLflow.

як приклад: </syntaxhighlight> Model registry — це сховище версій моделей і їхніх metadata. # Постановка задачі. SEO-опис Потрібно контролювати:

Model serving відповідає за:

4. * якість прогнозів;

  • business impact;
  • conversion;
  • revenue;
  • user behavior;
  • fairness;
  • latency;
  • error rate. A/B testing — це порівняння двох або більше версій моделі на реальних користувачах або запитах. Щодня завантажити нові інформаційні дані. Записати metrics і logs. MLOps
  • відтворювати середовище;
  • ізолювати dependencies;
  • масштабувати сервіси;
  • керувати rollout;
  • запускати model serving;
  • контролювати resources;
  • інтегрувати monitoring;
  • цифровізувати deployment. Retraining — це повторне навчання моделі на нових або оновлених даних. Суть data lineage: команда має знати, з яких даних і через які кроки була розроблена модель. Критерій
Критично: ML-модель у production — це software artifact, тому вона потребує security review, access control, secrets management і monitoring. Після запуску її потрібно спостерігати, оновлювати й контролювати.

Перед retraining потрібно перевірити:

  • REST API;
  • gRPC service;
  • batch inference;
  • streaming inference;
  • embedded model;
  • edge deployment;
  • mobile deployment;
  • database scoring;
  • cloud endpoint;
  • serverless function;
  • containerized service.</syntaxhighlight>

8. Моніторити user feedback і safety events. Оновити prompt template. * Документація Airflow, Prefect і Dagster. # Deployment. # Monitoring. MLOps відповідає за: Інструменти:

CI/CD для ML здатна включати:

6. # Навчання моделі. Потрібні evaluation gates і approval. MLOps поєднує підходи з machine learning, DevOps, data engineering, software engineering, security, cloud infrastructure і business governance.== Docker і Kubernetes ==

Популярні інструменти MLOps:

ML-системи часто працюють із чутливими даними. * development;

  • staging;
  • production;
  • archived. # Rollback або оновлення версій. Online inference — це прогноз у реальному часі або майже реальному часі. Небезпека: training-serving skew здатна непомітно знизити якість моделі, навіть якщо training metrics були високими.

Професійний підхід: responsible AI має бути вбудований у ML lifecycle, а не додаватися наприкінці перед запуском. У machine learning цього недостатньо, тому що якість моделі залежить не лише від коду, а й від даних, features, параметрів, навчання, версії моделі, середовища виконання й змін у реальному світі.== Висновок ==

Experiment tracking — це збереження результатів ML-експериментів. 1. 7.== Для чого потрібен MLOps ==

Training-serving skew

Batch inference

ML pipeline

  • отримання input data;
  • validation input;
  • preprocessing;
  • feature transformation;
  • model prediction;
  • postprocessing;
  • business rules;
  • logging;
  • explanation;
  • response formatting;
  • monitoring. * Документація KServe, Seldon, BentoML і Ray Serve.

Data versioning

Типові задачі MLOps:

через Практична роль: feature store користувачі можуть зробити features однаковими для навчання моделі й використання моделі в production.
  • перевірки latency;
  • збору прогнозів;
  • порівняння з production model;
  • виявлення помилок;
  • безпечного тестування;
  • підготовки до rollout. * recommendation system;
  • fraud detection;
  • churn prediction;
  • demand forecasting;
  • credit scoring;
  • dynamic pricing;
  • predictive maintenance;
  • document classification;
  • NLP-система;
  • computer vision model;
  • batch scoring;
  • real-time personalization;
  • LLM/RAG assistant;
  • AI-agent workflow;
  • anomaly detection.

Ролі в MLOps

  • LLM;
  • image generation;
  • video generation;
  • speech models;
  • AI agents;
  • multimodal pipelines;
  • content safety;
  • copyright controls;
  • human review;
  • prompt management;
  • model routing;
  • cost governance.== MLflow ==
 → Model registry

'''DataOps''' — це практики керування data pipelines, якістю даних і доставкою даних.</div>

== Model registry ==

<div style="background:#fff7ed; border-left:6px solid #fb923c; padding:12px; margin:12px 0;">

== Типові помилки MLOps ==
 → Feature engineering
== Feature store ==

 → Monitoring

* [[Machine Learning]]
* [[Штучний інтелект]]
* [[Генеративний штучний інтелект]]
* [[Deep Learning]]
* [[Natural Language Processing]]
* [[LLMOps]]
* [[GenAIOps]]
* [[DataOps]]
* [[Model deployment]]
* [[Model monitoring]]
* [[Data drift]]
* [[Feature store]]
* [[Model registry]]
* [[MLflow]]
* [[Kubeflow]]
* [[Ray]]
* [[Docker]]
* [[Kubernetes]]
* [[CI/CD]]
* [[RAG]]
* [[AI Agents]]
* [[Приватність даних]]
* [[Безпека AI]]

'''Практична роль:''' GenAIOps розширює MLOps на генеративні системи, де результатом виступає як текст, зображення, відео, код або голос. * Документація Docker і Kubernetes. '''Model serving''' — це інфраструктура для обслуговування запитів до моделі. '''критично:''' що сильніше ML-модель впливає на людей, гроші або юридичні рішення для бізнесу, то важливіші governance і human review. !<syntaxhighlight lang="text">
У '''Висновок:''' MLOps передбачено DevOps-практики, але додає контроль даних, моделей, метрик, drift і retraining.{{SEO
|title=MLOps — керування життєвим циклом ML-моделей, deployment, monitoring, CI/CD, data drift і production AI
|description=MLOps — Wiki-стаття про практики керування життєвим циклом моделей машинного навчання. Розглянуто training pipeline, model registry, experiment tracking, feature store, CI/CD, model deployment, monitoring, data drift, concept drift, retraining, governance, security, privacy, LLMOps, GenAIOps, переваги, обмеження, типові помилки і хороші практики впровадження ML у production.
|keywords=MLOps, Machine Learning Operations, ML operations, model deployment, model monitoring, ML pipeline, training pipeline, inference pipeline, model registry, experiment tracking, feature store, data drift, concept drift, retraining, CI/CD for ML, ML governance, model versioning, MLflow, Kubeflow, Airflow, Ray, Docker, Kubernetes, LLMOps, GenAIOps, production AI, machine learning, штучний інтелект
|alternativeTo=ручний запуск ML-моделей у production; хаотичне зберігання моделей; notebook-only ML; deployment без monitoring; ручне перенавчання моделей; відсутність model registry; відсутність контролю версій даних; запуск AI без governance; неконтрольовані ML-експерименти; production ML без CI/CD і аудиту
}}

'''Суть model versioning:''' production має знати не без зусиль “модель”, а конкретну версію моделі з конкретними даними, параметрами й кодом. '''ML governance''' — це керування правилами, відповідальністю, аудитом і контролем ML-систем. '''Model deployment''' — це розгортання моделі для використання.== Приклади MLOps workflow ==

<div style="background:#fff7ed; border-left:6px solid #fb923c; padding:12px; margin:12px 0;">
</div>
</div>
== Security в MLOps ==
|-
| базовий артефакт
| Код застосунку
| Код, інформаційні дані, features, модель, metrics
|-
| Тестування
| Unit, integration, system tests
| Code tests, data tests, model evaluation, drift checks
|-
| Deployment
| реліз системи застосунку
| реліз системи моделі + inference pipeline
|-
| Monitoring
| Errors, latency, uptime
| Errors, latency, data drift, model quality, business metrics
|-
| Зміна якості
| Часто через зміну коду
| здатна змінюватися навіть без зміни коду
|}

! # Підготовка dataset. Без MLOps модель здатна залишитися експериментом у notebook або стати неконтрольованим production-ризиком. '''Практична роль:''' A/B testing дає можливість перевірити, чи нова модель справді краща для бізнесу, а не лише для offline metrics.== Concept drift ==

Рекомендовано:

У бізнесі MLOps оптимізує:

Потрібно контролювати:
== Model deployment ==
<div style="background:#e7f3ff; border-left:6px solid #2b7cff; padding:12px; margin:12px 0;">
|-
| Level 0
| Manual ML: notebook, ручний training, ручний deployment
|-
| Level 1
| Automated training pipeline і базовий model registry
|-
| Level 2
| CI/CD/CT, monitoring, retraining, governance, rollback
|-
| Level 3
| Platform MLOps: self-service, standardized workflows, full observability, policy automation
|}

'''Практична роль:''' model card оптимізує зрозуміти, для чого модель розроблена, де її можна використовувати, а де не можна. # Реєстрація моделі.== CI/CD для ML ==

* feature importance;
* SHAP;
* LIME;
* counterfactual explanations;
* partial dependence;
* interpretable models. DevOps

Поширені помилки:

'''Data drift''' — це зміна розподілу вхідних даних у production порівняно з training data. DataOps
2.<syntaxhighlight lang="text">

6. * dataset version;
* code version;
* model version;
* hyperparameters;
* metrics;
* logs;
* artifacts;
* plots;
* runtime;
* environment;
* notes;
* errors.</div>
== Життєвий цикл ML-моделі ==
'''Суть:''' Docker оптимізує запакувати модель і код, а Kubernetes — запускати й масштабувати їх у production. * data drift;
* concept drift;
* зміна бізнес-процесу;
* нові типи користувачів;
* зміна джерел даних;
* помилки upstream systems;
* неправильне retraining;
* seasonality;
* зміни ринку. MLOps має включати security. 3. Розгорнути canary на 5% traffic.</div>
</div>
Він здатна виконувати:

<div style="background:#ecfdf5; border-left:6px solid #10b981; padding:12px; margin:12px 0;">

<div style="background:#fef2f2; border-left:6px solid #ef4444; padding:12px; margin:12px 0;">
  • distributed training;
  • hyperparameter tuning;
  • batch inference;
  • model serving;
  • reinforcement learning;
  • large-scale Python workloads;
  • LLM inference;
  • Ray Serve;
  • Ray Train;
  • Ray Tune.== Хороші практики MLOps ==
  • керування datasets;
  • experiment tracking;
  • training pipelines;
  • feature engineering;
  • model versioning;
  • model registry;
  • validation;
  • deployment;
  • inference;
  • monitoring;
  • data drift detection;
  • concept drift detection;
  • retraining;
  • rollback;
  • governance;
  • security;
  • audit trail;
  • compliance;
  • cost control. 3.== Model versioning ==

Experiment tracking

  • скоротити шлях від експерименту до production;
  • зменшити ризики помилок;
  • підвищити стабільність моделей;
  • забезпечити audit;
  • контролювати якість;
  • швидше оновлювати моделі;
  • підтримувати compliance;
  • зменшити ручні дії;
  • покращити collaboration між data scientists, engineers і business owners.== Інструменти MLOps ==

критично: data drift не завжди означає, що модель стала поганою, але це сигнал для перевірки.== Типові сценарії використання ==

Практична роль: pipeline робить ML-процес повторюваним, а не залежним від ручних дій конкретного спеціаліста. {| class="wikitable"

  • назву моделі;
  • версію;
  • training dataset;
  • metrics;
  • параметри;
  • artifacts;
  • author або owner;
  • stage;
  • approval status;
  • дату створення;
  • deployment history;
  • lineage. * раніше певна поведінка означала високу ймовірність покупки, а тепер уже ні;
  • шахрайські схеми змінилися;
  • клієнти інакше реагують на промо;
  • змінилися правила бізнес-процесу;
  • нова політика змінила рішення для бізнесу операторів.
2.

Rollback потрібен, якщо:

  • training pipelines;
  • experiment orchestration;
  • distributed training;
  • model serving;
  • notebooks;
  • Kubernetes-native ML;
  • production ML workflows. # Retraining. * Документація Kubeflow. # Збір даних.== LLMOps ==

Бізнес-цінність: MLOps робить ML не разовою ініціативою, а керованою частиною бізнес-системи. Задеплоїти в staging. Практична роль: зрілість MLOps потрібно нарощувати поступово, починаючи з tracking, registry, deployment і monitoring. * нічний скоринг клієнтів;

Отримано з https://wiki.kyiv.ua/index.php?title=MLOps&oldid=1266