*soynlp
- soynlp는 한국어 처리를 위한 파이썬 패키지 중 하나다.
- soynlp 는 "LOVIT*DATA SCIENCE"님이 작업하는 한국어 정보처리를 위한 비지도학습 기반 자연어처리 라이브러리 입니다.
- Word Piece Model 과 다르게 KoNLPy 에 등록된 형태소 분석기를 이용할 경우, 미등록단어 문제가 발생할 수 있습니다.
- 정확한 단어로 토크나이징이 될 필요가 없다면 Word Piece Model 사용
반응형
'스타트업 > AI' 카테고리의 다른 글
| [AI] 한국어 불용어 (0) | 2020.09.01 |
|---|---|
| [AI] Word Piece Model (0) | 2020.08.26 |
| [AI] 자연어 처리 (0) | 2020.08.19 |
| [AI] BERT을 이용한 NER 적용 방법 정리 (0) | 2020.08.18 |
| [AI] firebase (0) | 2020.08.14 |