파이썬 배포판 아나콘다(Anaconda)를 설치하는 이유

파이썬을 설치한다는 건 쉽게 이야기하면 파이썬으로 짠 스크립트, 즉 파일 확장자가 .py인 파일을 실행할 수 있는 인터프리터를 설치한다는 뜻이다. 역시 가장 쉬운 방법은 사실 파이썬 공식 웹사이트에서 설치파일을 다운 받아 실행하는 거다.

그런데 파이썬을 오래 사용하다 보면 다양한 라이브러리(패키지)를 추가로 설치하게 되고, 이 라이브러리들이 의존성 문제로 복잡하게 얽힐 수 있다. 당장은 어찌저찌 사용할 수 있지만 시간이 지나면 파이썬과 라이브러리들이 계속 업데이트 될 거고, 새로운 버전들끼리 또 서로 꼬여버리는 경우가 반드시 생긴다. 물론 가상환경 어쩌구 해가지고 어떻게든 잘 관리하면서 사용할 수도 있겠지만, 이런 성가신 문제 해결하느라 정작 파이썬으로 하고 싶은 걸 못 하고 성격만 나빠질 수 있다.

그래서 배포판을 사용하면 좋다. 파이썬 배포판이란 파이썬 인터프리터, 표준 라이브러리 모듈, 디버거, 테스팅 도구, 통합 개발 환경(IDE), 사용자 설명서 등을 한 번에 설치할 수 있도록 묶어놓은 패키지를 말한다. ActivePython, CPython, Jython, WinPython 등이 있으나 가장 유명한 건 Anaconda.

Anaconda(아나콘다)는 일반적인 용도의 개발을 위한 파이썬 인터프리터 뿐만 아니라 Numpy, Pandas, Matplotlib 등 1500개가 넘는 데이터 분석 패키지를 함께 제공하기 때문에 인기가 많다. 패키지 관리도 conda라는 시스템을 통해 쉽게 할 수 있다.

아나콘다 vs 미니콘다

그런데 정작 아나콘다를 설치하려고 하면 너무 무겁다. 함께 설치되는 패키지가 정말 너무 많기 때문에 실제로 설치하려면 하드 용량도 3GB 정도 잡아먹고 설치 시간도 오래 걸린다.

이때 떠오르는 대안은 Miniconda(미니콘다), 아나콘다의 라이트 버전이다. 미니콘다는 정말 기본적인 요구 사항만 포함하고 있고, 내가 사용하는 패키지를 그때그때 설치해서 사용하면 그만이기 때문이다. 난 미니콘다로 설치했다.

미니콘다 설치 방법 (아나콘다 동일)

윈도우 기준으로 설명하자면 다운로드 페이지 접속해서 내 PC 운영체제 확인 후 파이썬 버전 설치파일을 다운 받아 실행하면 끝이다. (PC 운영체제 확인은 Windows “설정” > “시스템” > “정보” 들어가면 확인할 수 있다. 보통 64비트 운영 체제, x64 기반 프로세서와 같은 식으로 써있다.)

그런데 설치 파일 실행 후 진행 과정에서 유의해야 할 포인트가 좀 더 있긴 하다.

설치 유형

열심히 next를 누르다 보면 설치 유형을 선택하라고 한다.

현재 로그인 한 사용자 전용으로 설치할 것인지(Just Me), 다른 사용자들도 모두 사용할 수 있도록 설치할 것인지(All Users) 골라야 한다.

Just Me가 권장(recommended) 값이다. 만약 All Users를 선택하면 나중에 추가 라이브러리를 설치하거나 가상 환경 설정할 때 관리자(Administator) 권한이 필요해서 오히려 더 불편해진다.

Just Me를 선택하자.

설치 위치

파이썬의 권장 설치 위치는 사용자 홈 디렉토리(내 PC > 로컬 디스크(C) > Users > 사용자명)이다.

그런데 이 때 사용자명에 공백이나 한글이 포함되지 않는 게 좋다. 공백이나 한글이 포함되어 있으면 특정 파이썬 모듈이 제대로 설치되지 않거나 동작에 이상이 있을 수 있기 때문이다.

만약 공백이나 한글이 포함되어 있다면 그냥 윈도우에 새 사용자를 추가해서 사용하는 게 안전하다. 사용자 홈 디렉토리 이름을 변경하는 건 매우 위험천만한 작업이기 때문에.

고급 옵션

설치를 마치는 시점에 고급 옵션을 선택하는 체크박스가 뜬다.

Add Anaconda to my PATH environment variable

환경변수를 설정할지 결정해야 한다. 그런데 환경변수 설정하는 이유가 뭘까.

별 거 아니고 그냥 명령 프롬프트(cmd) 창에서 파이썬 인터프리터를 실행할 때 그 파일의 세부 경로 없이 그냥 python이라고 칠 수 있도록 간편하게 등록을 해놓는 거다.

그런데 이 선택사항은 미니콘다 혹은 아나콘다 파이썬을 제거할 때를 포함하여 다양한 상황에서 예상치 못한 문제를 일으킬 수 있기 때문에, 그리고 결국엔 환경변수를 등록을 해놓지 않아도 파이썬 인터프리터를 사용할 수 있는 도구를 사용하게 되기 때문에 굳이 체크할 필요가 없다고 생각한다.

Register Anaconda as my default Python

이번에 설치한 아나콘다(미니콘다) 파이썬을 기본 파이썬으로 인식하도록 하는 거다. 이전에 이미 다른 파이썬이 설치되어 있고 그걸 기본으로 사용하는 상황이라면 선택 해제 해야되지만, 이번에 설치한 걸 기본으로 쓸 거면 체크된 대로 두는 게 좋다.

패키지 관리 (conda, pip)

이제 설치는 다 된 거고, 실제로 파이썬을 사용하려면 이런저런 라이브러리(패키지)를 추가로 설치하게 된다. 설치 및 관리할 때는 아래와 같은 우선순위를 생각하면 편하다.

1. conda : 아나콘다(미니콘다)에서는 패키지 목록 (https://docs.anaconda.com/anaconda/packages/pkg-docs)을 직접 관리하기 때문에 여기서 관리되는 패키지들은 conda install 명령어를 통해 설치한다.
2. conda-forge : 아나콘다 기본 저장소 conda에 포함되지 않은 일부 패키지들은 사용자들이 관리하는 conda-forge 저장소(https://conda-forge.org)에서 제공하기도 한다. 이것들은 conda install -c conda-forge 명령어를 통해 설치한다.
3. pip : 아나콘다 기본 저장소 conda나 conda-forge 저장소에서 제공하지는 않지만 PyPI에서 제공하는 패키지들은 표준 파이썬 패키지 관리도구인 pip를 이용하여 설치할 수 있다. (아나콘다나 미니콘다 설치해도 어차피 pip가 같이 설치되기 때문에) pip install 명령어를 통해 설치한다.

https://wikidocs.net/book/1 

파이썬 코딩 도장

https://dojang.io/course/view.php?id=7 

A byte of Python

https://epsimatt.gitbook.io/byte-of-python/about_python 

파이썬 가상환경 사용하기

https://dojang.io/mod/page/view.php?id=2470 

파이썬 GUI - Kivy

https://kivy.org/#home 

Python3에서 PyQt5 설치 방법

> pip3 install pyqt5

Python3에서 Qt Designer 설치 방법

> pip3 install pyqt5-tools

Windows 10 기준 Qt Designer 실행파일 위치

C:\Users\{사용자}\AppData\Local\Programs\Python\Python36-32\Lib\site-packages\pyqt5-tools\designer.exe

----------------------------------------------------------------

Windows 10 Anaconda3 기준 실행파일 위치

C:\Users\{사용자}\Anaconda3\Library\bin\designer.exe

파이썬을 이용하여특정 홈페이지에 로그인 후 세션(쿠키)을 유지하면서 다른 페이지를 요청하는 소스

import urllib
import urllib2

url = "http://www.suninatas.com/member/mem_action.asp"
login_form={"Hid":"아이디","Hpw":"암호"}
login_req=urllib.urlencode(login_form)
request=urllib2.Request(url,login_req)
response = urllib2.urlopen(request)
cookie = response.headers.get('Set-Cookie')

data = response.read()

print cookie


url2 = "http://suninatas.com/main/auth_check.asp"
request2 = urllib2.Request(url2)
request2.add_header('cookie',cookie)
response2 = urllib2.urlopen(request2)

data2 = response2.read()

print data2

우리 써니나타스 홈페이지를 시험 삼아 코딩을 해보았다

잘 봐야 될 부분은

urlencode / headers.get('Set-Cookie') / add_header('cookie', 쿠키값) 부분이다.

이 소스를 잘 활용하면 sql blind injection 공격 시 값을 쉽게 뽑아 낼 수 있다.(추후 포스팅)

참고로.. cookiejar 를 이용한 방법도 있지만 내가 원하는 기능은 이 걸로도 충분하다.

=======================

# -*- coding: cp949 -*-

import urllib2

import os

import time as tm

import numpy as np

import matplotlib.dates as date

import datetime

import sys

gap=input("몇초 동안의 자료를 수집할까요?")

lines=np.empty((gap,3))

for i in range(0,gap):

    url="http://openapi.seoul.go.kr:8088/****/json/ListAvgOfSeoulAirQualityService/1/5";

    data=urllib2.urlopen(url).read();

    stp=data.find("PM10")+6;

    edp=data.find("PM25")-2;

    asctime=str(tm.asctime())

    asctime=asctime[4:24]

    if asctime[0:3]=='Sep':

        asctime=asctime.replace('Sep','9')

    asctime=asctime.replace(':','')

    asctime=asctime.replace(' ','')

    asctime=int(asctime)

    lines[i][0]=asctime

    lines[i][1]=tm.time()

    lines[i][2]=float(data[stp:edp])

    loading=gap-i

    print loading

    tm.sleep(1)

dts=map(datetime.datetime.fromtimestamp,lines[:,1])

fds=date.date2num(dts)

lines[:,1]=fds

filename0=str(lines[0][0])

filename0=filename0.replace('.','')

filename0=filename0[:9]

filename1=str(lines[gap-1][0])

filename1=filename1.replace('.','')

filename1=filename1[:9]

nlocaltime=str(tm.localtime())

ystp=nlocaltime.find('tm_year')+8

yedp=ystp+4

nyear=str(nlocaltime[ystp:yedp])

mstp=nlocaltime.find('tm_mon')+7

medp=nlocaltime.find(', tm_mday')

nmon=str(nlocaltime[mstp:medp])

dstp=nlocaltime.find('tm_mday')+8

dedp=nlocaltime.find(', tm_hour')

nday=str(nlocaltime[dstp:dedp])

if os.path.exists(nyear+nmon+nday):

    os.chdir(nyear+nmon+nday)

else:

    os.mkdir(nyear+nmon+nday);

    os.chdir(nyear+nmon+nday)

np.savetxt(filename0+' to '+filename1+'.txt',lines,header='asctime(m,d,h,m,s,y),date2num,pm10(microgram/cubic meter)')

os.chdir(os.path.dirname(os.getcwd()))

print filename0+' to '+filename1+'.txt 로 저장되었습니다.'

========================= 

텍스트 파일로 자료 저장하기 끝.

=========================

자료를 바탕으로 그래프 그리기.

=========================

# -*- coding: cp949 -*-

import os

import numpy as np

import matplotlib.pyplot as plt

import matplotlib.dates as date

import glob as gb

getdate=str(input("원하는 자료의 년도,월,일 을 기호 없이 입력해 주십시오."))

os.chdir(getdate)

filelist=gb.glob('*.txt')

hfmt = date.DateFormatter('%m/%d %H:%M:%S')

for i in range(0,len(filelist)):

    check=raw_input(filelist[i]+"을 그릴 까요?(y/n)")

    if check == 'y':

        numtime,pm10=np.loadtxt(filelist[i],unpack=True,skiprows=1,usecols=[1,2])

        fig=plt.figure(i)

        ax=fig.add_subplot(111)

        ax.xaxis.set_major_locator(date.AutoDateLocator())

        ax.xaxis.set_major_formatter(hfmt)

        plt.plot(numtime,pm10)

        plt.xticks(rotation='vertical')

        plt.subplots_adjust(bottom=.3)

        plt.xlabel('Time')

        plt.ylabel('$\mu$g/m^3')

        plt.title(filelist[i])

        figname=filelist[i]

        figname=figname[:-4]

        if os.path.exists('fig'):

            os.chdir('fig')

        else:

            os.mkdir('fig');

            os.chdir('fig')

        plt.savefig(figname+".png")

        os.chdir(os.path.dirname(os.getcwd()))

        print figname+'.png 로 저장되었습니다.'

    else:

        pass