F7 project

시작에 앞서 본 내용은 학습 내용을 기록하기 위함이며 내용에 틀린 점이 있을 수 있으니 이점 유의 부탁드립니다. 인공지능 모델 인공지능 모델이란? $x$가 주어졌을 때, $y$를 반환하는 함수 $y = f(x)$ 파라미터(Weight Parmeter) $\theta$란? $f$ 함수가 동작하는 방식($x$가 들어왔을 때, 어떤$y$를 뱉어낼 것인가?)을 결정 한다. 학습이란? $x$와 $y$의 쌍으로 이루어진 데이터가 주어졌을 때, $x$로부터 $y$로 가는 관계를 배우는 것 $x$와 $y$를 통해 적절한 파라미터($\theta$)를 찾아내는 것 이다. 모델이란? 상황에 따라 알고리즘 자체를 이야기 하거나, 파라미터를 이야기 한다. 좋은 인공지능 모델이란? 1. 좋은 인공지능 모델 일반화(Generali..

EDA Exploratory Data Analysis 탐색적 데이터 분석 EDA란 데이터 분석에 있어 매우 중요한 초기 분석 단계이다. 수집한 데이터를 다양한 각도에서 관찰하고 이해하는 과정 해결하고자 하는 문제를 데이터를 통해 해결 방안을 찾는 과정 시각화, 통계을 통해 가설을 검정하는 과정 EDA 목적 가설을 세우기 전에 데이터를 이해하기 위함 데이터의 분포 및 값을 검토함으로써 데이터를 잘 이해하기 위함 데이터의 잠재적인 문제를 발견하기 위함 다양한 각도에서 살펴보는 과정을 통해 문제정의 단계에서 미쳐 고려하지 못한 다양한 패턴을 발견하고, 이를 바탕으로 기존의 가설을 수정하거나 새로운 가설을 세울 수 있다. EDA 과정 문제 정의 단계에서 세웠던 연구, 질문 및 가설을 바탕으로 분석 계획을 세운다..

컴퓨터가 자연어를 이해하는 기술이 크게 발전한 이유중 하나 OoV 해결(완화) OoV : Out of Vocabulary 단어 집합에 존재하지 않는 단어들이 생기는 상황 (TrainSet 당시 없던 단어가 TestSet에 있을 경우) OoV(Out of Vocabulary)문제란 무엇인가? 위 내용을 더 간략하게 아래와 같이 이야기 할 수 있다. - Train데이터로 만든 단어 사전에 없는 단어가 발생 "단어 사전에 없는 단어" 자세한 설명 학습(Train)데이터에 대해 모든 단어를 토큰화 하여 Vocabulary를 만들고, 그 Vocabulary를 기준으로 정수 인코딩(단어를 컴퓨터가 계산가능하도록 숫자로 표현)을 하게된다. 이때, 실 예측(Test)데이터에 학습(Train)데이터에 없는 새로운 단어 ..

본 내용은 ML, DNN을 학습함에 있어서 기록하는 것으로 틀린 내용이 존재합니다. Batch Size란? 모델이 학습하는 과정에서 최적화(Gradient descent)를 한번에 몇개의 데이터를 가지고 할 지 데이터 그룹의 크기를 나타내는 단위. Batch Size에 따른 명명 법 Full Batch : Full-Batch size Gradient descent 1epoch당 전체 데이터에 대해 1회 parameter update가 발생한다. Mini Batch: Mini-Batch size Greadient descent 1epoch당 전체 데이터에 대해 (전체 데이터 / Batch size)올림한 횟수의 parameter update가 발생한다. 1 Batch size(SGD) : Stochasti..

시작에 앞서 본 내용에서는 Batch-Normalization이란 무엇이며 왜 해야하는가에 대해 스스로 어느정도 이해하고 있는지 정리해볼 예정입니다. Batch-Normalization Min Batch 내의 분포를 스케일링 하는 과정 Why? Batch 단위로 학습을 하면 발생되는 문제 : Internal Covariant Shift Internal Covariant Shift : 학습 과정에서 계층 별로 입력의 데이터 분포가 달라지는 현상 위와 유사하게 Batch 단위로 학습을 하게 되면 Batch 단위간에 데이터 분포의 차이가 발생할 수 있다. 이 문제를 개선하기 위한 개념이 Batch Normalization How? 각각의 Min-Batch 마다 적용 각각의 Batch마다 적용함으로써, 크게 분..