[AI] Bi-FPN

*협찬
https://m.smartstore.naver.com/digshop

디그샵 : 네이버쇼핑 스마트스토어

BiFPN은 FPN에서 레이어마다 가중치를 주어 좀더 각각의 층에 대한 해상도 정보가 잘 녹을 수 있도록 하는 장치이며, 2020년 1월 Object Detection SOTA인 EfficientDet에 등장하는 개념

 

예를들어, 컨볼루션 네트워크는 각각의 단계마다 다른 특징을 추출하게 되는데 FPN은 여러 해상도를 가지는 특징들 전부를 예측에 이용함으로써 정확도를 높임

 

Feature Pyramid Network(FPN)는 2017년 공개된 이후 대부분의 Object Detection 연구에서 사용되고 있음

 

One-Stage Detector의 대표격인 모델인 RetinaNet, M2Det, AutoML의 Neural Architecture Search를 FPN 구조에 적용한 NAS-FPN 등 FPN을 적용하고, 성능을 개선하고자 하는 연구들이 많이 진행됨

 

하지만 선행 연구들은 모두 서로 다른 input feature들을 합칠 때 구분없이 단순히 더하는 방식을 사용하고 있는데, 이를 지적함

 

서로 다른 input feature들은 해상도가 다르기 때문에 output feature에 기여하는 정도를 다르게 가져가야 함을 주장하며, (단순히 더하면 같은 weight로 기여하게 됨) 간단하지만 효과적인 weighted bi-directional FPN(BiFPN) 구조를 제안

 

이 구조를 사용하면 서로 다른 input feature들의 중요성을 학습을 통해 배울 수 있으며, 이를 통해 성능을 많이 향상시킬 수 있음

 

scale이 다른 경우에도 connection이 존재하는 cross-scale connection을 적용

 

Simplified PANet 방식은 PANet에서 input edge가 1개인 node들은 기여도가 적을 것이라 생각하며 제거를 하여 얻은 Network 구조를 의미하고, 여기에 같은 scale에서 edge를 추가하여 더 많은 feature들이 fusion되도록 구성을 한 방식이 BiFPN임

 

PANet은 top-down과 bottom-up path를 하나만 사용한 반면, 이러한 구조를 여러 번 반복하여 사용. 이를 통해 더 high-level한 feature fusion을 할 수 있음을 주장.