전직 선생님이 전직하는 이야기

오늘부터는 딥 러닝 모델링보다는 활용으로 주안점이 옮겨 간다.   언어 모델 LLM 딥 러닝을 바탕으로 만들어진 언어 모델을 LLM(Large Language Model)이라고 한다. LLM은 수천억~수조 개의 파라미터를 바탕으로 텍스트를 학습하여, 각종 언어적 상호작용을 할 수 있는 모델이다. 대표주자로는 그 유명한 ChatGPT나 colab의  Gemini같은 것들이 있다. 이런 LLM은 사실 최근까지 꽤 치명적인 단점을 가지고 있었고,불과 수 개월 전부터 이런 단점들을 극복할 방법들이 등장하기 시작했다. 따라서 오늘은 LLM의 특징, 한계, 극복방안에 대해 알아본다.            LLM의 등장 NLP(Natural Language Processing)란 컴퓨터로 하여금인간의 언어를 이해할 수..

오늘은 총복습 + CNN을 배운다. ADsP도 잘 끝났고, 2주 후 SQLD, 4주 후 경영정보시각화... 바쁘다 바빠.   CIRSP-DM 한기영 강사님께서 주구장창 강조하시는 CRISP-DM. 어제 ADsP 시험에서도 요긴하게 써먹었더랬다. Business Understanding비즈니스 문제 정의가설 수립데이터 분석의 방향성 수립 Data Understanding 원본식별분석을 위한 구조 만들기 : Data Dictionary 구성, x record가 하나의 자료(사건)임을 잊지말자.EDA & CDA : 단변량분석 / 이변량분석 등 활용 Data Preparation모든 셀은 값이 있어야 한다. : NaN이 없어야 한다.모든 값은 숫자여야 한다. : 가변수화를 진행해야 한다.숫자의 범위가 일치해야 ..

성능 튜닝의 기본 방법 튜닝의 기본 목표는 val 성능을 잘 뽑는 것이다. 우리가 추구하는 바는 모집단을 예측하는 거니까. 따라서 모델링의 최종 지향점은 일반화 성능이다. 이를 위하여 다양한 시도를 해 볼 수 있는데,learning_rate을 조절한다거나, epochs를 바꾼다거나, node를 늘릴 수도 있겠지. 딥러닝에서 우리가 조절해야 할 하이퍼파라미터는 다음과 같다.1. Epoch 와  learning_rate - 둘이 약한 Trade-off 관계인 것처럼 다루어야 한다. - Epoch가 부족하면 학습이 채 되지 않을 수 있고, 지나치면 과적함의 위험이 커진다.2. Hidden layer의 수, node의 수 - 늘어날수록 파라미터(가중치)의 개수가 늘어난다. - 파라미터의 수가 많다 = 연결이 많..

ADsP 시험도 점점 다가오는 해피(?) 할로윈. 힘내서 가보자.   히든 레이어 심화 지난 시간에, 우리는 law data의 모든 feature가 히든 레이어에 할당되는 것을 보았다. 이를 Fully Connected라고 하며, Dense를 활용하여 모델을 구성한다. 하지만 히든 레이어마다 서로 다른 feature를 할당할 수도 있다.이를테면, '집값에 영향을 주는 요인'을1. 방 수, 면적, 인테리어2. 지하철 접근성, 주변 편의시설, 공원 접근성으로 나눌 수 있다. 이를 Locally Connected라고 한다. 이것은 히든 레이어가,나름대로 law feature들을 조합하여 의미있는 새로운 feature를 만들어 낸 것이라고 볼 수 있다. 이런 측면에서 보았을 때,딥러닝에서는 히든 레이어를 생성하..

5일간의 미니프로젝트가 끝나고 다시 수업으로 돌아갈 시간. 에이블스쿨의 3 Step 중 첫 단계의 마지막 교육 과정이다. 딥러닝 기초 나흘, 심화 나흘이 지나고 나면 두 번 연달아 미니프로젝트를 하고,에이블데이까지 마치면 첫 과정이 끝나는 거지. 자, 딥러닝 가보자.  딥러닝 개요 딥러닝은 기본적으로 인간의 신경망 구조에서 영감을 얻었다. 익히 알려진 대로,우리 신경망은 자극 - 반응의 과정을 연결해 주는 역할을 한다. 당연히 자극이 다르면 반응이 다른데,파블로프의 개 실험에서 나온 것처럼 우리는 학습에 의해 이 반응을 조절한다. 곱창을 싫어하는 사람이, 어쩌다 정말 맛있게 한 번 먹고 나면 곱창 보고 침이 고일 수 있는거지.  그것처럼 딥러닝 인공신경망은,학습에 따라 입력되는 자극(= 데이터)에 따른 ..