데이터 분석을 위한 환경 구축하기

-

데이터 분석을 위한 환경 구축 시작



데이터 분석을 위해 이용되는 도구들은 다양하나,
앞으로 ML과 관련한 부분도 함께 다루기 위해 Jupyter Notebook 기반의 GUI Tool 환경을 구축 하려고 합니다.

환경 구축 하기

가이드 : https://medium.com/@margaretmz/anaconda-jupyter-notebook-tensorflow-and-keras-b91f381405f8


가이드를 따르는 동안 발생한 문제

1. tensorflow 설치시 에러

$ pip install tensorflow
Collecting tensorflow
Could not find a version that satisfies the requirement tensorflow (from versions: )
No matching distribution found for tensorflow
#python3 -m pip install --upgrade https://storage.googleapis.com/tensorflow/mac/cpu/tensorflow-1.12.0-py3-none-any.whl

해결 방법

  • https://www.tensorflow.org/install/pip
  • https://stackoverflow.com/questions/38896424/tensorflow-not-found-using-pip

2. python version 안 맞아서 tensorflow import 시 에러


해결 방법
  • conda create -n [name] python=3.5
  • python 3.5.6 버젼으로 환경을 구성하면 이슈가 없음

3. tensorflow sample code 수행시 로그 메시지 발생


4. jupyter notebook 환경에서 tensorflow import 시 not found module 에러

 해결방법
  • 세팅한 환경 내에 jupyter를 설치하여, 설치한 jupyter를 기동함

몇가지의 진행과정에서 예외 상황들이 일부 있었지만,
가이드에서 말하는데로 아래와 같은 단계까지 완성했고, 
이제 본격적으로 코드와 함께 분석 실습을 진행해보도록 해봅시다~


END


댓글

댓글 쓰기

이 블로그의 인기 게시물

JTDS&Mabatis 에서 MSSQL NVARCHAR 처리

-
MSSQL을 사용할 때 인덱스가 걸려있는 VARCHAR 컬럼데이터를 조회시 NVARCHAR로 데이터를 넘길경우 인덱스가 걸리지 않아 성능에 문제가 발생하는 사례가 존재한다.  하여 보통은 jtds 드라이버 설정시  sendStringParametersAsUnicode=false  값을 주어 유니코드 처리하지 않게 함으로서 VARCHAR로 처리 되도록 하여 해결을 하고 있다.  근데 문제는  VARCHAR 와 NVARCHAR 가 섞여있을 경우에는 어떻게 해야 하는가?  사실 이문제는 아래와 같이 풀면 해결이 될거라고 생각했다.  1) 드라이버에서는 유니코드를 사용하지 않음 처리.      - sendStringParametersAsUnicode=false  2) mybatis mapper 에 jdbcType 을 부여     - #{column, jdbcType=NVARCHAR}  혹은 1)번을 부여하지 않고( default 는 sendStringParametersAsUnicode=true 이다. )  #{column, jdbcType=NVARCHAR} 와 #{column, jdbcType=VARCHAR} 를 명시해주면 되지 않을까?  라고 생각했었다.  하지만, 결론은 안된다는거...  그래서 jtds 드라이버 소스코드를 살펴 보았다.  역시...NVARCHAR 사용을 위한 setNString() 에서 아래와 같은 코드로 구현이 되어있었고,   [ JtdsCallableStatement.java ]   public void setNString(String parameterName, String value)           ...
자세한 내용 보기

"구글이 목표를 달성하는 방식 OKR" - 독서 후기

-
이미지
저자 : 크리스티나 워드케 옮김 : 박수성  팀장을 6여년 해오면서 매년 고민되는 것이 있다. "어떻게 하면 팀이 성과를 잘 내면서 개인(구성원)의 발전이 이루어 낼수 있을까?". 사실 2가지 다 이루어 진다면, 아마 너무나도 좋을것이다. 하지만 대부분의 경우, 그렇게 되기가 쉽지가 않다. 다만, 내가 겪은 1가지는 일반적으로 "성과가 나는 팀"에서는 "구성원들의 만족도가 높고, 성장도 동반될 가능성이 높다"는 것이다. 그래서 난 지인이 추천해주는 이 책을 읽어 보기로 했다.  OKR 은 구글에서 목표를 달성하기 위해서 진행하는 하나의 수단이라고 생각 된다. 구글과 관련한 업무 혁신 관련 도서들은 이 책 외에도 많다. "스프린트" 라는 책이나, "구글은 어떻게 일하는가?" 에서도 비슷하면서도 약간은 다른 이야기들을 해준다. 다만, 내가 읽었던 책들 중에서 이 책이 가장 심플하고, 명확하고, 직관적이였다는 것은 맞는거 같다.  OKR ( Object Key Results ) 에 대해서 책 내용을 하나의 표로 나타내면, 이렇다.  간단하게 표로 표현해서 모든 부분들이 해결이 된다는 것을 의미하지는 않는다. 목표 수립을 위한 과정들이 가장 중요하고, 그리고 그것을 달성하기 위해 주기적으로 상기시키고 집중하는게 이 OKR의 취지라고 생각이 든다.  팀을 운영하다보면, 방향성과 목표에 혼란이 오거나, 산적한 업무들(우선순위나 의사결정권자의 변심 등등)로 인해 본래 달성하고자 했던 부분들을 놓치게되는 경우가 종종 있다. 비단 외부적인 요인이 아니더라도 목표달성을 실패하는 경우는 많다. 목표를 지속적으로 확인하지 못해서 일 수도 있고, 목표를 정확하게 정의하지 못했거나, 목표를 정확하게 평가할 기준들이 모호할 때에도 이런 일은 일어난다.   이 책에서는 목표는 심플해야 하고, 평가 기준은 명확히 하며, 정해진 목표는 주기적으로 ...
자세한 내용 보기

Lecture 2 "Supervised Learning Setup Continued" -Cornell CS4780 SP17

-
이미지
Lecture 2 "Supervised Learning Setup Continued" by Cornell CS4780, Machine Learning for Decision Making SP17 * 부족한 영어 실력으로 잘못된 해석이 있을 수 있습니다. 수정이 필요한 부분이 있다면 알려주시면 감사하겠습니다. 개요 Supervised Learning Setup ( continue ) Train and Test H ( hypothesis class ) and Algorithm TA ( Terrible Algorithm ) Cases Loss Function Generalization 1. Supervised Learning Setup ( continue ) (x៷,y៷) ~ P 우리는 P(y|x)를 모르며, 그래서 ML을 통해 알고자 하는 것입니다. 동일 분포를 가지는 환경에서 수행이 되어야 한다고 강조하고 있습니다. (  IID  참고 ) 노키아 사례를 통해 "동일 분포" 구성이 얼마나 중요한지 알수 있습니다. 사진 촬영시 얼굴인식을 통한 부가기능을 제공함. 얼굴 인식시 사용한 데이터가 "백인"이 아니였음. 미국 유저들에게서 "얼굴인식"이 잘 되지 않는 문제 발생. Example : Facial Recognize in Image 각 pixel 은 RGB( Red / Green / Blue ) 의 데이터로 구성됨 1장의 Image는 화소에 따라, 6M 개의 pixel 을 가짐 1장의 Image를 x = { ... } 로 표현한다면, 6M * 3 (RGB) = 18M 의 실수형 데이터 조합으로 표현가능 Dense / Sparse Dense : 전체 공간에 데이터가 빽빽하게 차 있는 경우 ( 극히 일부 데이터가 0 ) Sparse : 전체 공간에 비해 데이터가 희소한 경우 ( 대부분의 데이터가 0 ) ...
자세한 내용 보기