F7 project

Deep 하게 Parameters 매개변수 | Arguments 인수 Overview 이 글은 Parameters(파라미터), 매개변수, Arguments(알규먼트), 인자, 인수와 같은 용어들이 서로 혼용되어 사용되는 것에 대한 혼동을 겪는 사람들을 위해 작성되었습니다. 이러한 용어들은 공식 문서나 블로그에서 종종 등장하는데, 용어들의 개념과 차이점을 명확히 설명하여 혼동을 해소하고자 합니다. In summary Parameters(파라미터)는 매개변수라고도 부르며, 함수에 전달된 값을 받는 변수를 지칭한다. * Python에서 함수를 선언(정의)할 때 함수 이름 뒤에 따라오는 "()"괄호 안에 작성한다. Arguments(알규먼트)는 인자 또는 인수라고 부르며, 함수에 전달된 값을 지칭한다. * Py..

지도 시각화 GeoPandas !pip install geopandas import pandas as pd import geopandas as gpd import matplotlib.pyplot as plt path = '/content/drive/MyDrive/NLP_project/프로젝트 #1/project/data/' test = pd.read_csv(f'{path}map/count.csv') kr_sido = gpd.read_file(f'{path}map/a', encoding='cp949') kr_sido = kr_sido.merge(test, on='CTP_KOR_NM') kr_sido from mpl_toolkits.axes_grid1 import make_axes_locatable..

gdoc 확장자 Google Drive, Colab txt파일 올릴 때 조심하세요 Google Drive 설정 변경 Google Drive - 우측 상단 톱니바퀴 클릭 - 일반에서 업로드 항목 변환 체크 확인 - 업로드 항목을 Google Docs 편집기 형식으로 변환 X

Project Google {Colab, Drive}를 이용한 분산처리 Project : 인기게임 순위 1~1000위에 해당하는 리뷰 수집 및 리뷰를 통한 게임사 및 유저에 의미있는 키워드 추출 프로젝트 [데이터 수집 과정에서 발생한 큰 두가지 문제] 1. 실시간으로 변하는 게임 순위에 따른 유동적인 데이터 수집 방법? - 실시간으로 변하는 게임 순위 정보 각 Pc에 분산하여 처리 2. 프로젝트 기간 내 데이터를 수집 및 업데이트 방법? - 여러 Pc를 사용하여 각 순위에 해당하는 리뷰 크롤링 및 오류 발생 시 지금까지 수집된 데이터 기간부터 이어서 수집 [여러 Pc를 사용] : 문제 해결 방안으로 중복하여 등장한 방법 하나의 Pc에서 여러 Pc를 컨트롤 하며 데이터를 수집할 방법을 고민하여 본 내용과 ..

Python으로 배우는 수학 집합의 연산 집합의 연산 합집합, 교집합, 차집합, 대칭 차집합 집합 set_a = set((1, 2, 3) set_b = {2, 3, 4} Python에서 집합은 set() 함수와 {} 중괄호로 구현이 가능합니다. 합집합 모든 원소를 한 군데 합쳐놓은 집합 set_a = {1, 2, 3} set_b = {2, 3, 4} print(set_a | set_b) # A ∪ B {1, 2, 3, 4} 합집합은 모든 원소를 한 군데 합쳐놓은 집합을 의미하며, Python에서 합집합은 | 수직선 기호로 구현이 가능합니다. 교집합 공통으로 포함하는 원소로 이루어진 집합 set_a = {1, 2, 3} set_b = {2, 3, 4} print(set_a & set_b) # A ∩ B {..

시작에 앞서 본 내용은 새롭게 알게 된 정보 또는 방법론을 기록하기 위함이며 내용에 부족한 점이 있으니 이점 유의 부탁드립니다. 띄어쓰기 없이 여러 번 반복되는 문자 처리 바로 알아보기 re.sub(f'(\\S{{{n},}}?)\\1+', '\\1', i) 활용방향 Ex_Before : "Eazyyyyyyyyyyy" , "아ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 진짜 웃겨ㅕㅕㅕㅕ", "어쩔티비어쩔티비어쩔티비어쩔티비" Ex_After : "Eazy" , "아ㅋ 진짜 웃겨ㅕ", "어쩔티비" 텍스트 전처리 과정에서 위 예시와 같이 의미 없는 반복된 문자를 마주하게 되는데, 이 처럼 띄어쓰기 없이 반복되는 문자는 단어 토큰을 증가시키는데 한몫 한다. 여러 번 반복되는 문자를 한 자리만 남도록 하여 단어 토큰 통일화하려는 시도로써,..

시작에 앞서 본 내용은 학습 내용을 기록하기 위함이며 내용에 틀린 점이 있을 수 있으니 이점 유의 부탁드립니다. __init__ initialize, constructor 생성자, 초기화자, 초기화 함수 용어 설명 가변 객체(Mutable Object) : 값이 변하더라도 메모리에 할당된 주소 값이 일정한 객체 Ex. List, Dict,... 등 객체(Object) : 클래스에 선언된 모양 그 자체 클래스의 인스턴스(instance) 모든 인스턴스를 대표하는 포괄적인 의미 인스턴스(Instance) : 클래스가 메모리에 할당된 상태 인스턴스는 객체에 포함된다. 추상적인 개념과 구체적인 객체 사이의 관계에 초점을 맞출 경우에 사용 원본으로부터 생성된 복제본을 의미 추후 클래스 및 객체, 인스턴스에 대해 ..

시작에 앞서 본 내용은 학습 내용을 기록하기 위함이며 내용에 틀린 점이 있을 수 있으니 이점 유의 부탁드립니다. 인공지능 모델 인공지능 모델이란? $x$가 주어졌을 때, $y$를 반환하는 함수 $y = f(x)$ 파라미터(Weight Parmeter) $\theta$란? $f$ 함수가 동작하는 방식($x$가 들어왔을 때, 어떤$y$를 뱉어낼 것인가?)을 결정 한다. 학습이란? $x$와 $y$의 쌍으로 이루어진 데이터가 주어졌을 때, $x$로부터 $y$로 가는 관계를 배우는 것 $x$와 $y$를 통해 적절한 파라미터($\theta$)를 찾아내는 것 이다. 모델이란? 상황에 따라 알고리즘 자체를 이야기 하거나, 파라미터를 이야기 한다. 좋은 인공지능 모델이란? 1. 좋은 인공지능 모델 일반화(Generali..

본 내용은 Conda, Vscode, Python, 등 설치 후 연결하는 과정만 기록한 내용입니다. Show All Commands Mac command + shift + p Window control + shift + p 2. Select Interpreter 클릭 3. 가상환경 선택

home에 .vimrc 파일 생성 또는 수정 $ vim ~/.vimrc 아래 설명할 모든 내용은 .vimrc를 작성하여, 에디터를 꾸미는 과정입니다. 설정 목차 1. 구문 강조(Syntax Highlighting) 2. 줄 번호(Line Number) 3. 자동 들여쓰기(Auto Indent) 4. 탭(Tap) 5. 검색(Search) 6. 커서(Cursor) 7. 언어 인코딩(Language Encoding) 8. 환경-추후 post작성 기획 1. 구문 강조(Syntax Highlighting) - 설정 전, 후 비교 - 설정 방법 if has("syntax") syntax on endif 1. 구문 강조(Syntax Highlighting)-색 변경 - 설정 전, 후 비교 - 설정 방법 set t_C..

EDA Exploratory Data Analysis 탐색적 데이터 분석 EDA란 데이터 분석에 있어 매우 중요한 초기 분석 단계이다. 수집한 데이터를 다양한 각도에서 관찰하고 이해하는 과정 해결하고자 하는 문제를 데이터를 통해 해결 방안을 찾는 과정 시각화, 통계을 통해 가설을 검정하는 과정 EDA 목적 가설을 세우기 전에 데이터를 이해하기 위함 데이터의 분포 및 값을 검토함으로써 데이터를 잘 이해하기 위함 데이터의 잠재적인 문제를 발견하기 위함 다양한 각도에서 살펴보는 과정을 통해 문제정의 단계에서 미쳐 고려하지 못한 다양한 패턴을 발견하고, 이를 바탕으로 기존의 가설을 수정하거나 새로운 가설을 세울 수 있다. EDA 과정 문제 정의 단계에서 세웠던 연구, 질문 및 가설을 바탕으로 분석 계획을 세운다..

우분투(Ubuntu) 깃(Git) & 깃허브(GitHub) git 패키지 리스트 업데이트 apt-get을 통해서 패키지 리스트 업데이트 진행 $ sudo apt-get install git 더보기 Reading package lists... Done Building dependency tree... Done Reading state information... Done git is already the newest version (1:2.34.1-1ubuntu1.4). git set to manually installed. 0 upgraded, 0 newly installed, 0 to remove and 33 not upgraded. Git 설치 $ sudo apt install git 더보기 Readi..

sum() Signature: sum(iterable, /, start=0) Docstring: Return the sum of a 'start' value (default: 0) plus an iterable of numbers Type: builtin_function_or_method sum() python 내장 함수 반복가능(iterable)한 type을 전부 더해준다. = 반복가능(iterable)한 type : - String, List, Tuple, Dictionary, Range, Set - 단, String은 sum()을 지원하지 않는다. 'start' value를 우선으로 하여 item을 다 합한 값을 반환한다. iterable = → 반복가능(iterable)한 type을 입력 받는다...

컴퓨터가 자연어를 이해하는 기술이 크게 발전한 이유중 하나 OoV 해결(완화) OoV : Out of Vocabulary 단어 집합에 존재하지 않는 단어들이 생기는 상황 (TrainSet 당시 없던 단어가 TestSet에 있을 경우) OoV(Out of Vocabulary)문제란 무엇인가? 위 내용을 더 간략하게 아래와 같이 이야기 할 수 있다. - Train데이터로 만든 단어 사전에 없는 단어가 발생 "단어 사전에 없는 단어" 자세한 설명 학습(Train)데이터에 대해 모든 단어를 토큰화 하여 Vocabulary를 만들고, 그 Vocabulary를 기준으로 정수 인코딩(단어를 컴퓨터가 계산가능하도록 숫자로 표현)을 하게된다. 이때, 실 예측(Test)데이터에 학습(Train)데이터에 없는 새로운 단어 ..

시작에 앞서 본 내용은 학습 내용을 기록하기 위함이며 내용에 틀린 점이 있을 수 있으니 이점 유의 부탁드립니다. 문자열 포맷팅 Formatted String 문자열 포맷팅이란? 문자열안에 원하는 어떤 값 또는 계산된 값을 삽입하여 문자열로 사용하기 위한 방법 이를 문자열 보간법이라고도 한다. 문자열 포맷팅 방법 Python에는 3가지의 문자열 포맷팅 방법이 있으며 이는 아래와 같다 1. 고전적인 문자열 포맷팅(Classic String Format) >>> blog_name = 'F7 project' >>> visit_num = 20 >>> print('Blog : "%s"의 방문자 수는 %d 입니다.' %(blog_name, visit_num)) Blog : "F7 project"의 방문자 수는 20 ..

본 내용은 ML, DNN을 학습함에 있어서 기록하는 것으로 틀린 내용이 존재합니다. Batch Size란? 모델이 학습하는 과정에서 최적화(Gradient descent)를 한번에 몇개의 데이터를 가지고 할 지 데이터 그룹의 크기를 나타내는 단위. Batch Size에 따른 명명 법 Full Batch : Full-Batch size Gradient descent 1epoch당 전체 데이터에 대해 1회 parameter update가 발생한다. Mini Batch: Mini-Batch size Greadient descent 1epoch당 전체 데이터에 대해 (전체 데이터 / Batch size)올림한 횟수의 parameter update가 발생한다. 1 Batch size(SGD) : Stochasti..

시작에 앞서 본 내용에서는 Batch-Normalization이란 무엇이며 왜 해야하는가에 대해 스스로 어느정도 이해하고 있는지 정리해볼 예정입니다. Batch-Normalization Min Batch 내의 분포를 스케일링 하는 과정 Why? Batch 단위로 학습을 하면 발생되는 문제 : Internal Covariant Shift Internal Covariant Shift : 학습 과정에서 계층 별로 입력의 데이터 분포가 달라지는 현상 위와 유사하게 Batch 단위로 학습을 하게 되면 Batch 단위간에 데이터 분포의 차이가 발생할 수 있다. 이 문제를 개선하기 위한 개념이 Batch Normalization How? 각각의 Min-Batch 마다 적용 각각의 Batch마다 적용함으로써, 크게 분..

HTML 삽입 미리보기할 수 없는 소스 데이터 확인 Summary - kaggle - load Raw data df = pd.read_csv('./data/train.csv') df.info() 더보기 RangeIndex: 891 entries, 0 to 890 Data columns (total 12 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 PassengerId 891 non-null int64 1 Survived 891 non-null int64 2 Pclass 891 non-null int64 3 Name 891 non-null object 4 Sex 891 non-null object 5 Age 714 no..

.split() Signature: .split(self, sep=None, maxsplit=-1) Docstring: Return a list of the words in the string, using sep as the delimiter string. Type: method_descriptor​ .split() str 내장 함수 괄호안의 첫번째 파라메터 문자를 구분자로 하여 문자열을 나눠 준다. 구분자(delimiter) : 임의의 기호로 성립되는 열을 구성 요소로 구분 짓기 위한 문자 . 앞에 str(문자열)을 입력 기존 str(문자열)을 나누어 list로 반환한다. → list type으로 반환 sep = → 나눌 기준이될 문자열을 입력받는다. → 파라메터에 입력값이 없다면 모든 빈공백을 기준으..

[DNN project]: 타이타닉 생존자 예측 및 간단한 페이지 제작 code : Python, JS, HTML ide : Jupyter Notebook, VSC, 코랩 library : pandas, numpy, matplotlib, seaborn, torch, Flask, ... DATA Kaggle Titanic Titanic - Machine Learning from Disaster | Kaggle www.kaggle.com Feature engineering 어떤 column이 있는지, 어떤 데이터를 유의미 하게 분류할것인가 전처리는 어떻게 진행 할것인지 모델 생성 Deep Classification Hidden Layer 활성함수 LeakyReLU default사용 OutPut Layer를 ..