X-Pack 라이센스 만료 NoSQL/Big Data/DB

X-Pack 설치한지 한달이 지나니 아래처럼 로그인 불가능


elasticsearch.yml 와 kibana.yml 파일에 아래 설정을 추가 하고 모두 재시작을 해야만 정상.

처음 한 두개의 프로세스만 재시작 했을때는 에러가 계속 나서 당황.

xpack.security.enabled: false 

위 설정으로 로그인 기능이 사라지고 아래와 같이 변경되었으나 모니터링을 못함.





zeppelin 0.7.1 테스트 NoSQL/Big Data/DB

엘라스틱서치 5.2.1 에 연결해서 테스트중...


logstash 에서 필요 없는 필드 제거 NoSQL/Big Data/DB



           mutate {

                    gsub => [

                               "event_time", "2016-12-13", "2017-02-17"

                    ]

                    remove_field =>["logging_level", "user_id", "qos_type", "qos_bitrate", "message"]

          }


logstash 타임스탬프 대신에 다른 필드 사용하기 NoSQL/Big Data/DB

logstash 필터 설정에서 빨간 색 부분이 자동생성되는 타임스탬프 대신에 
필드에 정의된 event_time 으로 대체하겠다는 내용

filter {

          csv {

                    separator => "   "

                    columns => [

                               "event_time","logging_level","remoteaddr","if_id","device_id",

                               "x_os_info","x_service_info","x_device_info","x_link",

                               "bm_user_id","al_user_id","time","mdn",

                               "bitrate","ch","if_ver","muser_num","play_type","cnts_free","pg_mode",

                               "user_pack","user_cast","position","runtime","cnts_cast","tgroup","tvalue",

                               "ch_desc","dtime","stream_type","stream_id","imei","qos_type","qos_bitrate",

                               "buffer_rate","qos_meta","rsrp","p_date"

                    ]

          }

          date {

                    match => [ "event_time" , "yyyy-MM-dd HH:mm:ss.SSS" ]

          }

}


리눅스 쉘 명령으로 한줄 건너 처리하기 NoSQL/Big Data/DB

MySQL 데이터를 tsv 로 export 후에 다른 곳에서 사용하려니 데이터가 너무 많아 시간이 오래 걸린다.

시간을 절만으로 줄이기 위해 한줄 건너 처리할 방법을 찾아보니 아래처럼 하면 되네~

sed -n 1~2p 2016-12-13.tsv

1 2 3 4 5 6 7 8 9 10 다음

Google Analytics