오답노트

Linux https://ko.wikipedia.org/wiki/%EB%A6%AC%EB%88%85%EC%8A%A4 리눅스 - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. 리눅스(Linux)개발자리누스 토르발스 (커뮤니티 주체)프로그래밍 언어C, 어셈블리어OS 계열유닉스 계열상태사용중,개발 중소스 형태오픈 소스최초 버전 출시일19 ko.wikipedia.org 리누스가 처음 출시한 운영체제 커널인 리눅스 커널에 기반을 둔 오픈 소스 유닉스 계열 운영체제이다. 리눅스는 자유로이 재배포가 가능하므로 누구든지 어떠한 목적으로든 배포판을 만들 수 있다. Ubuntu https://namu.wiki/w/%EC%9A%B0%EB%B6%84%ED%88%AC 우분투 - 나무위키 설치 전에 Live C..

드래곤볼 지금까지 배운 머신러닝 딥러닝에 대해서 총 망라하는 시간이였다. 강사님께서 재밌게도 드래곤볼을 모으는 식으로 7개의 과제로 나누어 드래곤볼을 모아가는 과정으로 풀어내서 너무 재미있었다. 그리고 강사님께서 유머 감각도 뛰어나셔서 본인이 직접 초사이언이 되어버리신.. ㅋㅋㅋㅋㅋ 그리고 과제를 하나하나 달성하는 성취감이 있어서 재미있었다. 마지막 과제는 개인으로 해결한 뒤, 팀원들 끼리 모여 어떻게 모델링으로 더 성능을 향상 시킬 수 있을지 토의했었다. Kaggle Competition 캐글을 연속으로 두번이나 진행하니, 정신적으로 육체적으로 피로가 엄청났다. 심지어 이번 캐글은 시계열 데이터로 진행했는데, 안그래도 어려운 개념이라서 더 힘들었다. 그래서 캐글 전날 튜토리얼 때 어떻게하면 더 점수가 ..

1. F12를 눌러 개발자 도구를 연다 2. Console 탭으로 들어간다. 맨 아래 ' > '를 클릭한다. 3. 아래 코드를 입력한다. function ClickConnect(){ console.log("Working"); document.querySelector("#toggle-header-button").click() } setInterval(ClickConnect, 10000) 4. 10분 마다 코랩 헤더가 열렸다 닫히면서 중지가 방지된다.

미니프로젝트 4차 이번 미니프로젝트는 저번주에 배웠던 언어지능에 대한 미니프로젝트였다. 정제되지 않은 문자열 데이터를 통해 분류 모델을 만드는 것이 목표였다. 이번에는 오랜만에 캐글을 통해서 에이블러들과 경쟁을 했는데, 성능이 썩 좋게 나오지 않아 힘들었다. 이번 미니프로젝트부터 에이블스쿨에서 에이블러들을 위해 모일 수 있는 장소를 마련해주었다. 분당에 있는 교육장과 마포에 공간을 대여하여 에이블러들이 전날까지 예약을 하여 사용할 수 있도록 하였고, 현장에도 매니저님들이 에이블러들이 사용하는 공간을 안내해주고 관리 해주셨다. 처음 이용하는날 시간을 잘못 계산해서 지각을 해버렸는데.. 뭐 어쩔 수 없지.. 다음부터 안늦으면 되니깐.. 그래서 다음날 지각을 하진 않았는데.. 조원들이 아무도 나오지 않았다....

언어지능 딥러닝 언어지능 딥러닝 사실 지금까지 배운 내용들로 봤을 때 '어려워봤자 얼마나 어렵겠어 ㅎㅎ' 라고 생각했다가 큰 코 다쳤다. AI는 데이터를 먼저 이해해야 하는게 시작인데, 국어를 이해해야한다.. 이 때에는 잘 몰랐는데, 국어를 제대로 이해하지 않고 있으면 EDA를 제대로 못할 가능성이 있고, 그것은 곧 좋은 모델을 만들 수 없다는 것과 직결되게 된다. 수업은 이론위주로 진행되었고, 언어지능의 밑바닥부터 현재에 이르기 까지 개념이 어떻게 발전되었는지 차근차근 배워서 기초가 탄탄하게 된 것 같다. 아쉬운 점이 있다면 난이도가 있는 만큼 실습시간이 상대적으로 부족했다. 파이토치도 이때 처음 접해서 익숙하지 않아 힘들었다.

미니프로젝트 3차 어정쩡한 시각지능 수업이 지나고 바로 찾아온 미니프로젝트... 다행히 나는 학부생 시절에 영상처리를 한 경험이 있어 전처리는 금방 할 수 있었지만.. 케라스는 이번에 처음 배웠기 때문에 그 부분이 좀 힘들었다. 이번 시각지능은 전체적으로 별로라고 생각이 든다. 우선, 수업과 미니프로젝트가 연계가 되지 않는다는 점. 미니프로젝트를 진행하신 강사님은 스스로 찾아보고 문제를 해결해보라고 하셨고, 그 의도는 나도 너무나 이해는 잘 되지만, 최소한 강의에서 OpenCV를 가르쳐야 하지 않았을까라는 아쉬움이 있다. 그리고 OpenCV를 배우지 않은 에이블러의 반응에 당황하는 강사님을 보면서 에이블 스쿨과 외부 강사진 간의 소통이 이루어지지 않고 있다는 생각이 들었다. 내가 좀 깊게 생각하는 것도 ..

koBERT https://github.com/SKTBrain/KoBERT GitHub - SKTBrain/KoBERT: Korean BERT pre-trained cased (KoBERT) Korean BERT pre-trained cased (KoBERT). Contribute to SKTBrain/KoBERT development by creating an account on GitHub. github.com 기존 BERT는 140개의 언어셋으로 학습된 모델이다. 하지만 한국어에 대한 성능 한계를 극복하고자 한국어 위키백과를 학습시킨 모델이 바로 koBERT이다. 본 포스트는 koBERT를 불러와 사용하는 방법을 요약했다. 코드의 원본은 아래와 같다. 코드 원본 naver_review_classif..

N-gram N은 숫자를 의미하는데 문장에서 N개의 단어를 보고 다음에 나올 단어를 조건부확률으로 계산하는 방법이다. 1개의 단어를 선택하면 unigram 2개의 단어를 선택하면 bigram 3개의 단어를 선택하면 trigram 4개의 단어를 선택하면 4-gram 이고 4개 이상 단어는 숫자를 붙힌다. N이 너무 길면 다음 단어가 아예 없을 수 있다. N이 짧으면 다음 단어를 예측할 확률은 존재하지만 그게 원하는 예측값은 아닐 수 도 있다. 즉 적절한 N을 설정하는 것이 중요하다. N-gram 예시 I am a boy에서 am a 로 다음 단어를 예측하는 조건부 확률은 다음과 같다. P( w | am a) = count(am a w) / count(am a) w 에 boy를 대입 했을 때, 위 식을 풀어..

BERT BERT는 2018년에 구글에서 발표한 새로운 방식의 언어 학습 모델이다. 이는 NLP에서도 전이 학습이 가능하게 된 중요한 발전이된 모델인데, 논문 발표 이후 모델을 공개하여 누구나 사용 가능하도록 하였다. 전이학습은 미리 모델을 학습 시킨뒤 그 모델을 가져와 비슷한 다른 일을 하게하는 것이다. Pre - Training : 방대한 양의 텍스트로 부터 언어의 패턴을 학습하여 문법적, 의미적, 문장간의 관계성을 인코딩한다. Fine - Tuning : 다양한 일을 수행하기 위해 BERT의 pre-trained 모델 위에 Linear 레이어를 올린다. BERT 구조 BERT는 Encoder 여러개가 쌓여있는 형태로 되어있다. BERT는 크게 base 와 large 모델이 있다. base 는 12개..

http://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer Discussions: Hacker News (65 points, 4 comments), Reddit r/MachineLearning (29 points, 3 comments) Translations: Arabic, Chinese (Simplified) 1, Chinese (Simplified) 2, French 1, French 2, Japanese, Korean, Russian, Spanish, Vietnamese Watch: MIT’s Deep jalammar.github.io Transformer Transformer는 RNN의 단점을 개선한 모델이다. Lo..