[AI] Adaptive Transfer Learning

source dataset을 사람의 주관대로 선택하면, 결론적으로 transfer했을 때, 성능이 좋아질지 아니면 나빠질지 확신하기 어려움

 

*Ngiam et al., 2018 의 방법론

1. 미리 source dataset로 학습해놓은 모델을 이용해서, target dataset 에 대해서 inference

2. 이전 단계에서 얻은 결과 중 확률이 높게 나온 class가 높은 가중치를 가지도록 source class별 가중치(importance weight) 산출

3. 이전 단계에서 얻은 가중치를 기반으로 배치 샘플링하여 다시 한번 사전학습

4. 이전 단계에서 사전 학습한 모델을 최종 타겟 학습의 초기값으로 사용

 

*사전학습 방식의 Transfer Learning 의 한계

 

*Transfer Learning 연구 방향

(1) how to select source : 어떤 source dataset이 얼마나 target에서 효과가 있느냐를 전이성(transferability)이라고 할 때, transferability의 proxy로서 미리 source dataset으로 학습된 모델의 결과를 사용

(2) what is knowledge : 학습된 모델을 knowledge로 볼 수도 있고, source dataset 자체를 knowledge로 보고 data 자체를 transfer하여 joint-training 또는 multi-task learning 방식으로 target domain 에서 학습하거나, weight가 아닌 achitecture만 transfer 하는 방법이 있음

(3) how to apply knowledge :