YARN을 이용한 Spark cluster구성 중 에러

hadoop의 yarn을 이용한 spark cluster를 구성중입니다.

공부중이라 그냥 이슈사항만 작성합니다.

 

core-site.xml, yarn-site.xml 파일이 위치한 경로를

시스템 환경설정 파일(.profile, .bash_profile 등)에 HADOOP_CONF_DIR, YARN_CONF_DIR로 환경설정을 추가해 줍니다.

export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export YARN_CONF_DIR=/usr/local/hadoop/etc/hadoop

 

우선 다음의 명령어를 이용하 spark-shell을 실행했을때

# spark-shell --master yarn 

 

아래와 같은 에러가 발생하면

cluster.YarnSchedulerBackend$YarnSchedulerEndpoint: Attempted to get executor loss reason for executor id 1 at RPC address xxx.xxx.xxx.xxx:57668, but got no response. Marking as slave lost.

 

yarn-site.xml 파일에 아래의 property를 추가하고 yarn을 다시 실행해 주세요.

<property>

     <name>yarn.nodemanager.pmem-check-enabled</name>

     <value>false</value>

</property>

<property>

     <name>yarn.nodemanager.vmem-check-enabled</name>

     <value>false</value>

</property>

 

yarn 시작 : stop-yarn.sh

yarn 종료 : start-yarn.sh

 

참고 : 

https://m.blog.naver.com/PostView.nhnblogId=estern&logNo=220812610745&proxyReferer=https%3A%2F%2Fwww.google.com%2F