[AI] Transformer & ALBERT

(1) Seq2Seq 문제점 : 인코더가 입력 시퀀스를 하나의 벡터로 압축하는 과정에서 입력 시퀀스의 정보가 일부 손실된다는 단점 -> Attention으로 해결

(2) Transformer

(3) Positional Encoding

(4) Encoder

(5) Encoder 의 Multi-Head Attention

 - Self Attention의 

 - Q, K, V vector 얻기

 - Scaled Dot-product Attention

(6) Multi-Head Attention

(7) Position Wise FFNN

(8) Residual Connection과  Layer Normalization

 

ALBERT

- (1) Word Embedding Size : Hidden Layer Size(768) 에서 더 작은 Embedding Size(128) 로 바꿈

- (2) Attention 과 FFN(Feed Forward Network) 간의 파라미터 공유

 

ELECTRA

- (1) RTD : Replaced Token Detection

 

ICLR = International Conference on Learning Representations

 

AI 적용 분야 : Pair Trading

Cointegration (공적분)