크레마클럽

데싸노트의 실전에서 통하는 머신러닝 책을 읽을 기회가 생겨 간단하게 읽고 서평을 써 보게 되었다. 피처 엔지니어링 + TOP 10 알고리즘 + 실무 노하우로 익히는 실무형 문제풀이 해법서라고 소개되고 있다.

저자는 해외의 데이터 사이언티스트로서 머신러닝과 데이터 과학을 공부한 것으로 보인다. 이 책을 읽고 찾아보니 AI분야에선 근래에 활발히 연구되고 있는 딥러닝 외에도 머신러닝이 필요에 맞추어 사용되고 있다고 한다. 딥러닝이 목적이 세분화 되어있고 사용하기 까다롭다고 한다면 딥러닝을 제외한 머신러닝은 정형화가 잘 되어 있고 사용하기 좀 더 쉬운 알고리즘으로 보인다.

이 책에선 다음의 10가지 알고리즘을 다룬다고 한다. 

선형 회귀

2. 로지스틱 회귀

K-최근접 이웃

나이브 베이즈

결정 트리

랜덤 포레스트

XG부스트

라이트GBM

K-평균 군집화

주성분 분석(PCA)

알고리즘은 달라도 머신러닝 실행 순서는 학습 -＞ 예측 -＞ 평가로 진행된다고 한다. 이 부분은 거의 정형화되어 있어서 성능에 큰 영향을 미치지 않는다고 한다. 쓰레기가 들어오면 쓰레기가 나온다고 한다. 머신러닝에 딱맞는 말이라고 하는데 좋은 데이터가 좋은 머신러닝 모델을 만든다고 소개하고 있다. 내가 생각했을 때도 알고리즘 자체는 정형화되어 있다고 한다면 딥러닝을 제외하고 머신러닝을 생각했을 때 좋은 데이터를 많이 확보하는 게 관건이 될 것으로 생각 된다.

이 책은 TOP 10 알고리즘을 송략하면서 무엇보다 데이터 분석과 가공에 공을 들인다고 한다. 데이터에 어떤 가공 기법이 필요한지 하나하나 분석하며 클리닝, 피처 엔지니어링, 차원 축소 등의 기법을 사용 한다고 한다. 이렇게 데이터 분석 능력을 기르며 알고리즘을 익히면 현업과 캐글에서도 통하는 실력을 갖추게 된다고 한다.

머신러닝을 줄여서 ML, 우리말로 기계학습이라고도 한다. 의미만 살펴보면 머신이 학습을 하는 것을 말하는 것이다. 어떻게 학습을 하는지 전통적인 프로그램과 머신러닝을 비교하며 알아볼 수 있다.

예를 들어 입력값에 10을 더하는 프로그램을 사람이 만든다고 하면 입력값으로 3을 주면 출력값은 13이 된다. 이처럼 전통적인 프로그램에서는 사람이 모델을 만들지만 사람이 만든 분석 프로그램인 머신러닝 알고리즘에 입력값과 해당 정답값에 대한 결괏값을 입력해 주면, 입력값과 정답값 간의 관계를 찾아서 머신러닝 알고리즘이 새로운 프로그램(모델)을 만들어 준다고 한다.

즉 머신러닝은 머신러닝 알고리즘으로 입력된 데이터(입력값과 정답값) 간의 관계를 밝혀내서 그 관계를 새로운 프로그램(머신러닝 모델)으로 만들어 새로운 데이터가 주어졌을 때 결과를 예측하는 일련의 과정이라고 한다.

이 책에서 다루진 않지만, 딥러닝은 우리말로 심층학습이라고도 하는데 인공 신경망을 기반으로 한 특수한 머신 러닝 기법으로, 빅데이터 기술과 하드우에 발전, 새로운 알고리즘 등장으로 각광받게 되었다고 한다. 딥러닝은 이 책에서 다루는 머신러닝 알고리즘과는 달리, 주로 자연어 처리나 이미지, 비디오 분석 같은 목적으로 사용된다고 한다. 물론 딥러닝도 엑셀 같은 형태의 데이터들을 더 잘 다룰 수 있게 진화하고 있으나, 아직까지 해당 분야에서 성능이 탁월하지는 못하다고 한다.

딥러닝은 인간의 두뇌 작동 방식을 본떠 개발된 것으로 입력층과 출력층 사이에 은닉층을 두어 인간의 신경망처럼 작동한다고 한다. 그래서 이를 인공 신경망이라고 부른다고 한다.

그럼 이것으로 데싸노트의 실전에서 통하는 머신러닝 책의 리뷰를 마칠까 한다.

이 글은 골든래빗으로 부터 책을 증정받아 작성되었습니다.

골든래빗 출판사로부터 책을 제공받아 작성했습니다

책 바로가기

데싸노트의 실전에서 통하는 머신러닝을 선택하기 전에 반드시 아셔야 할 내용이 하나 있습니다. 머신러닝과 딥러닝은 다른 것입니다. 입문 단계에서 가장 많이 헷갈리고 혼용하는 것이 용어입니다. 동일 카테고리에서 특히 많은 혼동이 있는 듯 합니다. 이제는 조금 옛날 이야기가 되어버렸지만 새롭게 인공지능의 붐을 일으킨 알파고 이후 인공지능 == 머신러닝 == 딥러닝으로 알고 있는 사람이 많아져 더욱 용어에 혼란을 느끼는 사람이 많은 듯 합니다. 그래서 이 책은 제목 그대로 머신러닝만을 다루고 있습니다. CNN, RNN, transfomer, GAN 등을 기대하고 이 책을 읽으실 생각이면 다른 책을 찾으러 가셔야 합니다.

각 장은 다양한 머신러닝 알고리즘 중 선정된 10가지 알고리즘을 간단한 데이터 셋을 이용해 해당 알고리즘에 맞는 데이터 셋과 풀이 전처리에 대해서 이야기 하고 있습니다. 탑 다운 학습자와 바텀 업 학습자에게 모두 괜찮은 책입니다. 책에서 소개하는 10가지 기법 말고도 머신러닝에는 다양한 기법들이 존재하지만 책에서 다루고 있는 10가지 조차 제대로 이해하고 다룰 수 없다면 사실 다른 알고리즘을 사용하긴 쉽지 않습니다. 탑 다운 학습자의 문제는 지식에 구멍이 뚫려 있다는 것입니다. 아마 그런 문제를 해결하고 싶으셔서 이 책을 고민하고 계실겁니다. 써보긴 했는데 정확히 이렇게 쓰는게 맞는건가 싶기도 하고, 데이터 셋을 좀 더 잘 만져보고 싶으신 분들에게 준 레퍼런스용으로 괜찮다고 생각합니다.

위 이미지처럼 사용할 알고리즘과 데이터 셋, 평가지표 등 요소를 한 눈에 볼 수 있는 편집 덕에 바텀 업 학습자들에게 특징과 어떤 결과를 얻어내기 위해 분석하고 알고리즘을 사용하는지 이해하기 용이 했습니다.

또 데이터 셋을 막상 열었고, 예제를 따라하고는 있지만 각 특징들의 의미를 이해 못한 채 타자 연습만 하기도 하고, 각 특징들을 분석하면서 설명은 해주지만 한 눈에 가시화가 안되서 답답했던 경험이 있었어서 이런 편집에 가산점을 주고 싶습니다. 이런 특징들의 세부 내용을 알고 분석하기 위해선 해당 도메인 지식이 어느정도 수반되기는 하지만 고민 할 수 있는 기회를 한 번 더 주기 때문에 만족스러운 책의 특징이었습니다.

마지막으로 이 책의 장점으로 해당 장에서 새롭게 나온 함수들을 이렇게 정리해줘서 봤던거 같은데?로 해당 함수를 빠르게 찾을 수 있다는 것입니다. 이미지에 나온 함수들의 경우 데이터 분석을 좀 해보신 분들이라면 저게 뭐 그리 어려운 함수라고 그러지라고 생각하실 수도 있습니다. 하지만 처음 학습하는 학습자에게는 익숙해지기 전까지 볼 때마다 새로운게 함수고, 한 번 더 정리해서 볼 수 있고, 필요에 따라선 전 장에 정리 된 함수를 모아서 일종의 Cheat Sheet를 만들 수 있는 유용한 요소 였습니다.

3줄 요약

• 머신러닝과 딥러닝이 다르다는 것을 명심하고 해당 도서는 머신러닝 책이다
• 탑다운, 바텀업 모두에게 추천 할 만 하다
• 데이터 셋 및 목표 요약, 데이터 셋 분석, 함수 정리는 이 책의 큰 편집적 장점이다.

TAGGED IN

오늘 살펴볼 책은 골든래빗 출판사에서 출판한 "데싸노트의 실전에서 통하는 머신러닝"입니다.

이 책의 구성을 먼저 살펴 보겠습니다.

1단계 배경지식 익히기

• 한눈에 살펴보는 머신러닝 - 인공지능,머신러닝,딥러닝의 개념을 살펴보고 가장 많이 사용하는 머신러닝 알고리즘 10개의 성능을 비교해 봅니다.
• 파이썬 기초 익히기 - 머신러닝을 처음 도전하는 분들을 위해 머신러닝에서 사용하는 기본적인 파이썬을 살펴 봅니다.
• 판다스와 넘파이 - 머신러닝을 사용하기 위해서는 필수 요소인 판다스와 넘파이 다루는 법을 살펴 봅니다.

2단계 답을 알려줘야 학습하는 지도학습 알고리즘

• 선형회귀 : 보험료를 예측하는 문제를 실습하면서 머신러닝의 가장 기본적인 모델인 선형회귀 모델을 다루어 보고 머신러닝의 개념을 이해합니다.
• 로지스틱회귀 : 유명한 타이타닉 생존자 예측 문제를 해결하면서 분류 알고리즘인 로지스틱 회귀에 대해 살펴 봅니다.
• k-최근접 이웃 : 와인 등급 예측하기 문제를 통해서 결측치 처리하는 문제, 스케일링 방법등에 대해 살펴 봅니다.
• 나이브 베이즈 : 문자 데이터셋을 분석해서 스팸 문자인지 아닌지 필터링 하면서 나이브 베이즈 모델(조건부 확률 기반의 분류모델)을 이해 합니다.
• 결정트리 : 결정트리 모델은 스무고개와 같이 질문을 통해 대답을 찾아가는 모델입니다. 학력,교육연수,혼인상태,지업정보 등을 담은 데이터를 통해 연봉을 예측하면서 결정트리를 이해합니다.
• 랜덤 포레스트 : 중고차 가격을 예측하면서  K-폴드교차검증과 랜덤 포레스트 알고리즘에 대해 알아봅니다.
• XGBoost : 부스팅알고리즘은 트리 모델을 기반으로 한 최신 알고리즘 중 하나로 랜덤 포레스트보다 훨씬 빠른 속도와 더 좋은 예측 능력을 보여줍니다. 커플 성사 여부를 예측하면서 XGBoost 사용법을 살펴 봅니다.
• LightGBM : 이상거래 예측하기 문제를 해결하면서 최신 부스팅 모델인 LightGBM 모델을 살펴 봅니다. LightGBM은 리프 중심 트리 분할 방식을 사용하여 XGBoost보다 빠르고 놓은 정확도를 보여 주는 경우가 많습니다.

3단계 비지도학습 알고리즘

• K-평균 군집화 : 온라인 쇼핑몰에서 고객이 구매한 물품,검색한 물품,살펴본 물품 정보를 이용해 고객에게 추천 서비스를 제공합니다. 이때 K-평균군집화 알고리즘으로 분류하여 어떤 물건을 선택 했을때 해당 그룹의 물품을 추천해 봅니다.
• 주성분 분석(PCA) : 주성분 분석의 목적은 데이터의 차원을 축소하는데 있습니다. 차원 축소를 하여 데이터 용량은 줄이되 가능한 그 특성을 보존해 내는 기법입니다. 많은 특징을 담고 있는 고객데이터셋을 축소하여 한눈에 예측하는 그래프를 그려 보면서 주성분 분석에 대해 알아 봅니다.

이 책은 가장 많이 사용되는 Top10 의 알고리즘을 살펴보고 그 알고리즘들이 어떤 경우에 사용되는지 하나씩 예를 들어서 분석을 하면서 알고리즘의 이해를 돕고 있습니다.

먼저 가장 기본이 되는 선형회귀 알고리즘 부터  캐글 컴피티션 우승자가 많이 사용하는 검증된 부스팅 모델인 LightGBM 모델까지 살펴 봅니다.

머신러닝을 공부하면서 머신러닝의 알고리즘에 대한 설명을 해 주는 문서들은 많지만 어떤 경우에 어떤 알고리즘을 사용해야 되는지 알려주는 문서들은 많지 않은것 같습니다.

실제로 같은 문제를 해결 하더라도 여러가지 알고리즘으로 접근이 가능한데, 어떤 알고리즘이 더 적합한지는 여러가지 알고리즘으로 훈련을 하고 매개변수를 직접 변경해 보기도 하면서 가장 좋은 방법을 찾아 내는 것이 데이터 과학자가 걸어가야 할 길인것 같은데요~

이 책은 먼저 문제를 정의하고 이 문제에서 사용할 수 있는 데이터를 살펴 보고 그 데이터를 사용하기 위해 전처리 과정(결측치 처리,훈련데이터와 테스트 데이터 분리,필요에 따른 스케일링 등)을 거쳐 모델을 훈련하고 훈련한 결과의 예측값을 살펴 보면서 우리가 데이터과학자가 되어 데이터 분석하는 방법에 대한 이해를 실습을 통해서 스스로 깨닫게 만들어 줍니다.

이 책은 머신러닝에 입문하려는 분들이 처음 접하기 쉽게 파이썬 기초,넘파이와 판다스에 대해 정리를 해주고 있어서 프로그래밍을 했던 분들이라면 무리 없이 따라 하실 수 있도록 구성이 되어 있습니다.

머신러닝 입문서가 정말 많은 것은 사실이지만 입문 하시는 분들이 쉽게 접근 할 만한 책은 많지 않은것 같아요.

이 책을 읽으면서 느낀 것은 머신러닝 입문하는 분들에게 한줄기 빛이 되어 줄것 같은 생각이 드네요.

이 책은 골든래빗 출판사에서 전자책으로 제공받아 북스포일러를 작성하였습니다.