[AI] NER

NER = Named Entity Recognition

CRF = Conditional Random Field

 

*CRF

-input : Bi-LSTM을 통해 나온 모든 hidden vector

-output : sequence labeling에서 가장 높은 점수를 가지는 정답 label을 출력

-BIOES scheme 사용 : B(Begin), I(Inside), O(Outside), E(End), S(Sinlge)

 

*NER 구조 변경

(1) Cell : RNN(장기 메모리 상실), GRU, LSTM

(2) 층 추가 : 

(3) 방향 추가 : Bi-LSTM

 

SQuAD : Stanford Question Answering Dataset

IMDB : IMDB Review Sentiment Analysis

 

Albert

 

BERT : Bert는 Transfomer와 달리, positional encoding을 사용하지 않고, position embedding을 사용한다.

BERT : Transformer 모델에서 Encoder부분만 사용하여 Input을 Embedding한다.

 

Multi-Head Attention : 

MLM=Masked Language Model : 

NSP=Next Sentence Prediction : 

Dynamic Embedding : 

 

Transfomer :