[Azure] ML작업 : 데이터 사이언스에 DevOps 적용

이종인

 

aka.ms/AIML50

 

*Programming vs ML

 

*DevOps Process

(1) 계획

(2) 개발

(3) 개발+테스트

(4) 릴리즈

(5) 제품

(6) 모니터+학습

 

DevOPs : 최종 고객에게 끊임없이 가치를 전달 할 수 있게 사람, 프로세스, 제품을 결합하는 것을 말함

 

*ml.azure.com

Pipelines - 훈련 워크플로우

Pipeline Endpoints - 훈련 워크플로우 엔드포인트

 

*Azure ML Pipelines

데이터 소스, 데이터셋, 컴퓨팅 타겟을 사용해 단계를 설정하는 워크플로우

훈련을 알아서 실행

재사용성

ML 컨셉들을 추적, 버져닝

 

*Azure Pipelines

게이트, 작업항목, 과정 등을 관리

다른 서비스와의 통합

코드 혹은 코드를 사용하지 않은 이벤트로 트리거

Azure 에 Jupyter notebook 도입

 

*Collaboration

소스 컨트롤

 -> 코드와 코멘트만 있음

 -> 또한 파이프 라인의 모든 부분

 -> 그리고 인프라 및 종속성

 -> 그리고 아마도 데이터의 일부분

 -> 모든 것은 소스 컨트롤에

지속적인 통합(Continuous Integration)

 -> 코드 변경에 의해 트리거

 -> AML 파이프라인을 갱신, 실행

 -> 코드 품질, linting, 유닛테스트

 -> 풀 리퀘스트 프로세스

 -> 코드 품질은 중요

지속적인 배포(Continuous Delivery)

 -> 모델 등록에 의해 트리거

 -> 테스트와 스테이징된 환경에 배포

 -> 통합과 로드테스트를 실행

 -> 모델 롤아웃 컨트롤

 

*Azure Pipeline Release

Artifacts

Stages

 

*AML Pipeline

데이터 전처리

훈련

모델 등록

 

*Azure DevOps Release Pipeline

 -> ACI에 배포

 -> AKS에 배포

 

모델이 소프트웨어에 내장된 경우

Azure Cognitive Services API

Azure Pipeline을 통해서 조율하고 관리할 수 있음

 

모든 코드와 인프라는 소스 컨트롤에 있음

알려진, 공유된 데이터 소스

AML Pileplines 과 Azure Pipelines

재훈련 전략