khstar

flume에서 실시간으로 json데이터를 읽어서 hive에 데이터를 추가하는 작업을 테스트 중입니다. 그 과정에서 flume에 아래와 같은 에러 메시지가 발생하는데 말그대로 transactional이 테이블에 설정되어 있지 않다는 거네요. caused by: org.apache.hive.hcatalog.streaming.InvalidTable: Invalid table db:kalyan, table:users2: 'transactional' property is not set on Table hive에서 테이블 생성시 CREATE TABLE IF NOT EXISTS kalyan.users2 ( userid BIGINT, username STRING, password STRING, email STRING,..

빅데이터 ㅜㅜ flume을 통해서 Hive에 Data를 넣고 정상적으로 데이터가 들어갔는지 조회를 했는데 아래와 같은 에러가 발생했다. FAILED: SemanticException [Error 10265]: This command is not allowed on an ACID table db명.테이블명 with a non-ACID transaction manager. Failed command: select * from 테이블명 hive-site.xml에 아래와 같은 설정을 추가해서 해결했다. 정확힌 이유는 모르겠다. hive.support.concurrency true hive.enforce.bucketing true hive.exec.dynamic.partition.mode nonstrict hiv..