pysqark실행중 psutil 메세지 처리(Mac OSX에 psutil 설치하기)

빅데이터 분석을 위한 스파크2 프로그래밍 책으로 Spark를 공부중입니다. 

예제를 따라하던중 pyspark로 wordcount 테스트 중에

UserWarning: Please install psutil to have better support with spilling 이라는 메시지가 나옵니다.

뭐 내용상 psutil을 설치해 달라는 얘기입니다.

저는 우선 Mac OSX에서 테스트 중이라 Mac에 설치하는 방법을 알아봤습니다.

https://pypi.org/project/psutil/#files 에서 가장 아래있는 psutil-5.6.3.tar.gz 파일을 다운로드 받았습니다.

 

다운로드 받고 압축을 해제한 폴더를 응용프로그램(/Applications)하위로 이동시키고

/Applications/psutil-5.6.3/으로 이동합니다.

python setup.py build 명령어를 실행하니 쭉~ 빌드가 됩니다.

빌드가 끝나면 

python setup.py install 을 하면 쭉~ install되는듯 합니다.

문제없이 install되었습니다. 

 

이제 다시 pyspark를 실행해서 위에서 실행한 wordcount를 다시 해봤습니다.

이제 warning 메시지가 사라지고 결과가 잘 생성되었습니다.

 

참고로 psutil을 설치하지 않아도 결과 파일은 생성되는 듯 합니다. 

그래도 개발자다 보니 깔끔하게 하는게 좋지 싶어서 해결해 봤습니다.

 

참고 : https://xpace.tistory.com/123