전직 선생님이 전직하는 이야기

목차1. 이변량 분석 : 수치 → 수치2. 이변량 분석 : 범주 → 수치3. 평균과 분산에 대하여 내일 AICE. 급하다. 빠르게 가자.    이변량 분석 : 수치 → 수치 지난 시간에 가설에 대해 배웠다. 이변량 분석은 결국 x가 y에 영향을 끼치는지를 보는 가설 검정 과정이라고 할 수 있겠지. 데이터사이언스가 늘 그렇듯이 자료의 타입(범주형/수치형)에 따라 분석 방법이 다르다. 그중 첫번째. x도 수치고 y도 수치인 경우를 보자.  이변량 분석은 일반적으로 시각화와 수치화를 통해 진행된다. 수치 → 수치 이변량 분석 방법론시각화scatterplot, regplot, jointplot, pairplot, heatmap수치화상관계수, 상관분석    시각화1. scatterplot  산점도. 하나의 row..

목차1. 데이터 분석 개요2. 일변량 데이터 분석 : 수치형3. 일변량 데이터 분석 : 범주형4. 가설 검정 새로운 강사님이 오시는 첫 날을 휴가로 보내고,홀로 초면인 한기영 강사님을 뵌 나. 이전 이장래 강사님과는 약간 다른 스타일이신데, 원리에 굉장히 많은 시간을 할애하신다. 뚝딱뚝딱 코드 치는 거에도 익숙해졌다 싶었는데,또 이런 강의를 들으니 낯설기도 어렵기도 하다. 내가 뭘 할 수 있니열심히 요약해야지, 어제 안 한 부분까지 해서 싹 훑어보자.  데이터분석 개요 데이터분석, DX 컨설턴트의 주 업무 중 하나이자, 지금까지 달려 온 이유. 데이터의 종류(수치형/범주형)에 따른 적절한 분석 방법을 익혀비즈니스에 도움이 되는 인사이트를 도출하는 것이 목적이다.  CRISP-DM   CRISP-DM크리스..

미니프로젝트가 끝나고 첫 수업. 에서 휴가를 쓴 나 미니프로젝트 동안 느꼈던 많은 부족함도 있고, 특히 시각화 부분은 많이 다듬어야겠다고 생각했다. 사흘 뒤면 AICE 시험도 있고, 이제 집 밖에 나갈 일정은 한동안 없으니 신나게 키보드 두드려야지. 오늘 휴가를 쓰긴 했는데, 생각보다 일찍 돌아온 탓에 미프 자료로 이것저것 끄적거려봤다. 따라서 오늘은 미니프로젝트 데이터 추가탐색을 해 보겠다.  미니프로젝트 데이터 추가 탐색 미프 후기는 따로 쓰겠지만, 미니프로젝트에서는 1일차에 구매자 분석을 통한 이탈률 예측,2일차에 토익 점수 예측을 주제로 데이터 전처리, 탐색을 진행했다. 그 중에 오늘 좀 더 만져본 건 토익 점수 예측 데이터다. 사실 구매자 분석이 좀 더 하고 싶었는데, 나는 그것도 할 시간이 될..

목차 - 데이터프레임 합치기 : pd.concat(), pd.merge() - 데이터프레임 세부 조정 : rolling(), shift(), pivot(), melt()  본격적인 가을을 앞두고 마지막 pandas 수업이 끝났다. 코딩마스터스도 40문제 정도 풀었고, 다음주면 드디어 첫 미니프로젝트. 그리고 다음주 토요일은 AICE Associate 시험까지. 바빠서 힘들기도 하고, 신나기도 하는 요즘이다. 집이 점점 개판이 돼 간다 추석동안 못 했던 스터디들이 몰려 좀 많이 늦은 시간이 되었지만, 한번 가 보자.    데이터프레임 합치기 저번 AICE에서 나에게 공포를 선사했던 concat()과 merge() 되시겠다. 아무래도 흔히 보는 xlsx 파일은 시트 하나하나가 데이터프레임이고,데이터베이스 무..

목차 - 열 변경 : rename(), drop(), map(), replace() - 결측치 처리 : isna(), dropna(), fillna(), ffill(), bfill(), interpolate() - 범주값 처리 : cut(), qcut(), one-hot encoding  연휴가 끝나고 돌아온 TIL. 오늘은 데이터프레임의 열 이름 변경, 생성, 삭제와 범주값 변경, 생성 그리고 결측치 및 가변수의 처리를 배웠다. 나날이 배우는 것도 많아진다만, 다음 주에 있을 AICE에 응시하는 객기를 부린 고로 오늘도 힘 내 보자.   열 변경 데이터프레임을 다루다 보면 열을 변경할 일이 많다. AICE에서 가장 먼저 요구하는 사항 역시 이 부분이니만큼 데이터 전처리의 첫단계라 할 수 있겠다.  re..

목차 1) 데이터프레임 조회 - loc()과 iloc() 2) 데이터프레임 집계 - gruopby() 3) 집계함수   쏜살같이 흘러간 교육 2주차. 추석 연휴를 앞둔 마지막 시간이니만큼 많은 것들을 배웠다. 저번에 데이터를 요리조리 뜯어보는 과정을 배웠다면,이번에는 데이터에서 의미를 도출할 때 필요한 도구들을 배웠단 느낌이다.비슷해 보이지만 아무튼 다르다. 오늘 과정의 핵심을 요약하자면 .loc[]과 .groupby()를 들 수 있겠다. 따라서 오늘의 포스팅은 이 둘을 중심으로 진행되겠다. 강사님께서 마지막에 matplotlib.pyplot을 이용한 시각화도 다뤄 주셨는데,그래프 색깔 바꾸면서 노느라 나중에 다시 나올 내용이라고 하셔서 온전히 집중하진 못한 것 같다.    데이터프레임 조회 : loc[..

목차 1) numpy 기초 2) pandas DataFrame의 구조와 기능  파이썬 문법을 배우던 데이터 다루기 강의가 끝나고, 데이터 다듬기로 넘어왔다. 데이터 다듬기부터는 실제 데이터테이블(보통 수백 개 이상의 데이터가 있다.)을 다루게 되며,이를 다루기 위해 정보처리 라이브러리 numpy와 pandas, 시각화 라이브러리 matplotlib과 seaborn을 쓴다. 오늘은 numpy의 배열(array)과 pandas의 Series, DataFrame에 대해 배우고,이를 다루기 위해 DataFrame의 속성과 pandas 함수에 대해 알아보자.   numpy 기초 numpy는 본질적으로 수학적 처리를 위한 라이브러리이다. 강사님께서는 데이터분석 측면에서 기반이 된다는 정도만 알고 있으면 된다셨다. ..

오늘은 데이터 다루기 마지막 날. 파이썬이 외부의 파일이나 프로그램과 어떤 식으로 상호작용하는지를 배웠다. 데이터분석 전반에서 많이 쓰이지는 않지만, 파이썬의 확장성을 체험해볼 수 있었다. 목차- 파일 읽고 쓰기- 워드클라우드 만들기- 엑셀 파일 다루기- 이메일 보내기    파일 읽고 쓰기  말 그대로 외부 파일을 읽고 쓰고 수정하는 법. 데이터분석 플로우에서는 pandas의 내장 함수 read_csv나 read_json 등을 많이 활용한다. 그것들의 전신이 되는 파이썬 내장 함수를 알아보자.   open('파일명.확장자', '모드')주로 변수에 할당해서 f = open('MyFile.txt', 'w')와 같이 쓴다. '모드'에 들어가는 게 뭐냐에 따라서 기능이 조금씩 다른데wwrite새로 만들기, 동명..

오늘은 목차 없다. 처음부터 끝까지 함수다. 함수(Function, 函數). 중학생 시절 수학선생님께서 함수의 함이 상자(서랍함 할때 그 함)라고 알려 주셨었다. 지금 생각해 보면 뼈문과인 나에게 참 적절한 설명이었다고 생각한다. 어떤 입력값(input)이 마술상자(함)에 들어갔다 뿅 바뀌어서 나오는거지(output). 결국 함수 선언이란 그 마술상자 안의 구조를 만드는 거고. 정확한 인식인지는 모르겠지만, 이때문에 나에게 함수는어떤 동작을 실행하는 객체(object)에 가깝다. 메서드는 동작 그 자체, 함수는 어떤 동작을 시키는 애. 함수와 return 함수는 기본적으로 처리를 하지, 반환을 하지는 않는다. 상자에 배출 기능은 없는 것이다. 그래서 배출 기능(반환)을 달아줘야 하는데, 그게 return..

목차1. while 문2. 제어문 심화 시간이 모자랐던 어제, 밀린 TIL을 마무리해본다. 이미 TIL에서 Today는 물건너갔다. while 문 정해진 조건에 해당하지 않게 될 때까지 반복적으로 수행한다. 반복시킨다는 점에서는 for문과 비슷하지만 일반적으로 사용법이 다르다고 한다. 각자가 동작하는 원리를 보면 for 문 : iterabel한 자료형의 요소들을 하나씩 훑으며 시행한다.while 문 : 특정 조건을 충족하는 한 무한히 수행한다. 이런 차이가 있는데, 따라서 for문은 list, dict등을 채우거나,해당 자료의 요소마다 연산을 시행할 때 쓴다. 하지만 while문은 심플하게 동작을 반복한다. 강사님 설명으로는 while문이 잘 안 쓰인다던데,for문으로 대체가능해서 그런 걸까...? 여튼..