khstar

hadoop의 yarn을 이용한 spark cluster를 구성중입니다. 공부중이라 그냥 이슈사항만 작성합니다. core-site.xml, yarn-site.xml 파일이 위치한 경로를 시스템 환경설정 파일(.profile, .bash_profile 등)에 HADOOP_CONF_DIR, YARN_CONF_DIR로 환경설정을 추가해 줍니다. export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop export YARN_CONF_DIR=/usr/local/hadoop/etc/hadoop 우선 다음의 명령어를 이용하 spark-shell을 실행했을때 # spark-shell --master yarn 아래와 같은 에러가 발생하면 cluster.YarnSchedulerBacke..

빅데이터 분석을 위한 스파크2 프로그래밍 책으로 Spark를 공부중입니다. 예제를 따라하던중 pyspark로 wordcount 테스트 중에 UserWarning: Please install psutil to have better support with spilling 이라는 메시지가 나옵니다. 뭐 내용상 psutil을 설치해 달라는 얘기입니다. 저는 우선 Mac OSX에서 테스트 중이라 Mac에 설치하는 방법을 알아봤습니다. https://pypi.org/project/psutil/#files 에서 가장 아래있는 psutil-5.6.3.tar.gz 파일을 다운로드 받았습니다. 다운로드 받고 압축을 해제한 폴더를 응용프로그램(/Applications)하위로 이동시키고 /Applications/psutil-..

Eclipse에서 Python 샘플 프로젝트를 만들어 보려고 합니다. 우선 Eclipse Marketplace에서 PyDev를 설치하고(구글에 Eclipse Python Plugin 설치를 검색하시면 많이 나올겁니다.) Project를 생성합니다. Project Name을 입력하니 오류가 납니다. 이런 된장 ㅜㅜ 이 문제를 해결하기 위해 Preferences 로 들어갑니다. 전 맥이라 상단 메뉴의 Eclipse -> 환경설정입니다. 윈도우라면 Window -> Preferences가 아닐까 싶네요.. ;; 환경설정 페이지가 열리면 왼쪽 트리 메뉴에서 PyDev -> Interpreters -> Python Interpreters를 선택합니다. Python Interpreters 화면의 Browser fo..

기본적으로 Mac에는 Python이 설치되어 있습니다. 하지만 2.x 버전이 설치되어 있습니다. 터미널에서 python -V 명령어를 실행하면 버전을 확인할 수 있습니다. 이번에 빅데이터를 공부하면서 spark을 공부중입니다. 참고로 어렵네요 죈장 ㅜㅜ 그런데 spark이 향후 Python의 경우 3.x 버전만 지원한다고 합니다. 하여 3.x 버전의 python을 설치해 보도록 하겠습니다. 우선 python 홈페이지로 이동합니다. https://www.python.org/ 기본적으로 최신 버전을 다운로드 받으려는 경우는 Downloads -> Mac OS X 에 마우스만 올려도 다운로드 링크가 나옵니다. 하지만 전 3.7.1을 설치할 겁니다. Downloads-> Mac OS X를 선택하면 다음과 같이 ..

Apache Spark 설치를 하면서 향후 python2 지원을 중단한다고 하여 CentOS 7에 3.7.1을 설치했습니다. 전 /usr/local 에 설치하도록 하겠습니다. wget 명령어를 사용해서 python 3.7.1을 다운로드 받습니다. wget https://www.python.org/ftp/python/3.7.1/Python-3.7.1.tgz 위와 같이 다운로드 받고 있고요. 다운로드를 다 받으면 tar 명령어를 이용해서 압축을 해제합니다. path가 spark으로 되어 있네요. ㅜㅜ /usr/local 이라고 생각해주세요. tar zxvf Python-3.7.1.tgz 명령어로 압축을 해제합니다. 이제 Python-3.7.1로 이동합니다. cd Python-3.7.1로 이동해서 config..

flume에서 hive로 JSON 스트림 데이터를 추가하는 작업을 테스트 중입니다. 과정에서 테이블이 잘못 만들어져서 다시 만들기 위해 기존 테이블을 Drop 했는데 에러가 발생합니다. 이런 죈장. ㅜㅜ 에러 로그는 캡쳐를 못했네요.. 또 죈장 ㅜㅜ 암튼 Drop 하는데 에러가 발생한다면 hive에서 hive>show locks extended; 를 하면 Lock된 정보가 표시됩니다. Lock 되어 있는 지도 모르고 계속 요청 했더니 리스트가 많네요. ㅜㅜ 검색을 해보면 unlock을 하면 된다고 하는데 hive> unlock database medical; 을 하니까 추가로 아래와 같은 메시지가 나옵니다. ㅜㅜ FAILED: Execution Error, return code 1 from org.apa..

flume에서 실시간으로 json데이터를 읽어서 hive에 데이터를 추가하는 작업을 테스트 중입니다. 그 과정에서 flume에 아래와 같은 에러 메시지가 발생하는데 말그대로 transactional이 테이블에 설정되어 있지 않다는 거네요. caused by: org.apache.hive.hcatalog.streaming.InvalidTable: Invalid table db:kalyan, table:users2: 'transactional' property is not set on Table hive에서 테이블 생성시 CREATE TABLE IF NOT EXISTS kalyan.users2 ( userid BIGINT, username STRING, password STRING, email STRING,..

빅데이터 ㅜㅜ flume을 통해서 Hive에 Data를 넣고 정상적으로 데이터가 들어갔는지 조회를 했는데 아래와 같은 에러가 발생했다. FAILED: SemanticException [Error 10265]: This command is not allowed on an ACID table db명.테이블명 with a non-ACID transaction manager. Failed command: select * from 테이블명 hive-site.xml에 아래와 같은 설정을 추가해서 해결했다. 정확힌 이유는 모르겠다. hive.support.concurrency true hive.enforce.bucketing true hive.exec.dynamic.partition.mode nonstrict hiv..

최근에 RxSwift에 공부 중입니다. 개인적으로 좀 어렵네요. 완전히 새로 배우는 느낌?? 우선 UIPickerView에 Observable을 Binding하는 방법은 쉽습니다. 저도 잘 모르지만 RxSwift에 대해서는 조금은 알고 계신 분이 봐야 이해될 겁니다. 자세히 설명을 해드리고 싶어도 ㅜㅜ 아래의 코드를 그대로 적용하시면 UIPicker가 생성은 됩니다. // // ViewController.swift // RxswiftUIPickerView // // Created by khstar on 13/06/2019. // Copyright © 2019 khstar. All rights reserved. // import UIKit import RxSwift import RxCocoa class V..

앱에 다국어를 적용하면 적용 대상 국가에 대한 앱 정보를 입력해야할 경우가 생깁니다. App Store Connector에서 현지화 정보를 입력하는 방법을 알아보겠습니다. 간단합니다. 버전 정보에서 왼쪽을 보면 한국어 또는 기본 국가 이름이 있습니다. 해당 부분을 선택하면 정보를 추가할 수 있는 국가 표시됩니다. 미국은 미리 추가해둔 상태입니다. 밑으로 보시면 다른 국가 들을 추가 할 수 있습니다. 밑에 빨간 체크 박스를 선택하면 기본 국가의 이미지를 그대로 사용하고 앱 정보 설명만 추가하시면 됩니다. 아래와 같이 체크박스를 해제하면 국가별 이미지를 추가할 수 있습니다.