목록2019/07/08 (1)
khstar
YARN을 이용한 Spark cluster구성 중 에러
hadoop의 yarn을 이용한 spark cluster를 구성중입니다. 공부중이라 그냥 이슈사항만 작성합니다. core-site.xml, yarn-site.xml 파일이 위치한 경로를 시스템 환경설정 파일(.profile, .bash_profile 등)에 HADOOP_CONF_DIR, YARN_CONF_DIR로 환경설정을 추가해 줍니다. export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop export YARN_CONF_DIR=/usr/local/hadoop/etc/hadoop 우선 다음의 명령어를 이용하 spark-shell을 실행했을때 # spark-shell --master yarn 아래와 같은 에러가 발생하면 cluster.YarnSchedulerBacke..
빅데이터
2019. 7. 8. 17:24