F7 project

컴퓨터가 자연어를 이해하는 기술이 크게 발전한 이유중 하나 OoV 해결(완화) OoV : Out of Vocabulary 단어 집합에 존재하지 않는 단어들이 생기는 상황 (TrainSet 당시 없던 단어가 TestSet에 있을 경우) OoV(Out of Vocabulary)문제란 무엇인가? 위 내용을 더 간략하게 아래와 같이 이야기 할 수 있다. - Train데이터로 만든 단어 사전에 없는 단어가 발생 "단어 사전에 없는 단어" 자세한 설명 학습(Train)데이터에 대해 모든 단어를 토큰화 하여 Vocabulary를 만들고, 그 Vocabulary를 기준으로 정수 인코딩(단어를 컴퓨터가 계산가능하도록 숫자로 표현)을 하게된다. 이때, 실 예측(Test)데이터에 학습(Train)데이터에 없는 새로운 단어 ..