«Современные подходы к унификации разработки и развертывания систем машинного обучения»

Актуальность. Пока цифровизация воплощает в жизнь концепцию DataOps, мир Big Data вводит новую парадигму – MLOps. По аналогии с DevOps и DataOps, в связи с популяризацией методов Machine Learning и ростом их практических внедрений, у бизнеса появилась потребность в организации непрерывного сотрудничества и взаимодействия между всеми участниками процессов работы с моделями машинного обучения от бизнеса до инженеров и разработчиков Big Data, включая Data Scientist’ов и ML-специалистов. Понятие MLOps еще достаточно молодое, однако с каждым днем оно становится все более востребованным. Цель данной работы состоит в изучении подходов к унификации разработки и развертывания систем машинного обучения.

---

Многие хотят знать: какова цена курсовой работы по сетям? Воспользовавшись нашим калькулятором, вы сможете узнать цену вашей курсовой работы. Мы также подарим вам скидку 1000 рублей на первый заказ!

---

. Для достижения поставленной цели необходимо решить задачи:  изучить теоретические основы машинного обучения;  привести характеристику Airflow, используемого в цикле MLOps. Объектом проводимого в рамках курсовой работы является машинное обучение, а предметом – инструменты машинного обучения для разработчиков. Теоретическая значимость работы над курсовым проектом состоит в систематизации и закреплении полученных в период обучения знаний по основной образовательной программе, получение и развитие навыков работы с текстовой информацией, дополнение терминологического словаря по изученной теме. В рамках работы над курсовым проектом были применены в качестве методологической основы следующие методы: анализ (теоретической информации), синтез, табличное и графическое представление информации, приемы динамического и статистического анализа. Работа состоит из введения, двух глав, заключения, списка использованных источников и заключения.

В результате проделанной работы была достигнута поставленная цель: изучены подходы к унификации разработки и развертывания систем машинного обучения. Для достижения поставленной цели были решены задачи:  изучены теоретические основы машинного обучения;  приведена характеристика Airflow, используемого в цикле MLOps. Из всех выгод внедрения MLOps наиболее значимыми считаются следующие преимущества Agile-подходов применительно к специфике промышленного развертывания Machine Learning: сокращение сроков получения качественных результатов за счет надежного и эффективного управления жизненным циклом машинного обучения; воспроизводимые рабочие процессы и модели благодаря методам и средствам Continuous Development/Integration/Training (CI/CD/CT); простота развертывания высокоточных ML-моделей в любом месте и в любое время; система комплексного управления и непрерывного контроля ресурсов машинного обучения; устранение организационных барьеров и объединение опыта разнопрофильных ML-специалистов. Таким образом, с помощью MLOps можно оптимизировать следующие аспекты ML-операций: унифицировать цикл выпуска моделей машинного обучения и созданных на их основе программных продуктов; автоматизировать тестирование артефактов Machine Learning, таких как проверка данных, тестирование самой ML-модели и ее интеграции в production-решение; внедрить гибкие принципы в проекты машинного обучения; поддерживать модели машинного обучения и наборы данных для их в системах CI/CD/CT; сократить технический долг по ML-моделям. Примечательно, что организационные приемы MLOps должны быть независимыми от языка, фреймворка, платформы и инфраструктуры.

1. Антохина, Ю. А. Основы искусственного интеллекта : учебное пособие / Ю. А. Антохина, А. А. Оводенко, М. Л. Кричевский, Ю. А. Мартынова. – Санкт-Петербург : ГУАП, 2022. – 169 с. 2. Готовы ли вы к MLOps: что такое Machine Learning Operations Maturity Model [Электронный ресурс] / bigdataschool.ru. URL: https://www.bigdataschool.ru/blog/mlops-google-maturity-model.html?ysclid=lc4mqibt7t674865073 (дата обращения 26.12.2022). 3. Жизненный цикл модели машинного обучения [Электронный ресурс] / neerc.ifmo.ru. URL: https://neerc.ifmo.ru/wiki/index.php?title= Жизненный_цикл_модели_машинного_обучения (дата обращения 26.12.2022). 4. Мониторинг Machine Learning в production: полезные советы и MLOps-инструменты [Электронный ресурс] / bigdataschool.ru. URL: https://www.bigdataschool.ru/blog/mlops-and-ml-model-monitoring-in-production.html?ysclid=lc4j6sw0j5931905546 (дата обращения 26.12.2022). 5. Насколько созрел ваш MLOps: многокритериальная 5-уровневая модель зрелости Machine Learning Operations [Электронный ресурс] / bigdataschool.ru. URL: https://www.bigdataschool.ru/blog/gigaom-mlops-maturity-model.html?ysclid=lc4mmgvtu537522667 (дата обращения 26.12.2022). 6. Операции машинного обучения (MLOps) [Электронный ресурс] / azure.microsoft.com. URL: https://azure.microsoft.com/ru-ru/products/machine-learning/mlops/ (дата обращения 26.12.2022). 7. Что такое MLOps? Самый подробный текст про работу с ML-системами, который вы найдете в интернете [Электронный ресурс] / habr.ru. URL: https://habr.com/ru/company/selеctel/blog/703460/ (дата обращения 26.12.2022). 8. Что такое MLOps? Теоретический конспект [Электронный ресурс] / selеctel.ru. URL: https://selеctel.ru/blog/what-is-mlops/?ysclid=lc4hh72axu865793238 (дата обращения 26.12.2022). 9. AirFlow: что это, как работает и причем здесь облака [Электронный ресурс] / mcs.mail.ru. URL: https://mcs.mail.ru/blog/airflow-what-it-is-how-it-works?ysclid=lc4lc6w1zy674179513 (дата обращения 26.12.2022). 10. Apache Airflow [Электронный ресурс] / airflow.apache.org. URL: https://airflow.apache.org/ (дата обращения 26.12.2022). 11. MLOps-платформа как инструмент для упрощения разработки [Электронный ресурс] / cloud.mts.ru. URL: https://cloud.mts.ru/upload/iblock/5a9/32fscqymc1ue4po0xfm086qhhc5qop01/Modul-8_-urok-1.pdf#:~:text=MLOps%20(Machine%20Learning%20Operations) (дата обращения 26.12.2022).