logstasht接收nginx日誌出現Unrecognized character escape 'x' (code 120)

最近在用logstash統計nginx access log, 發現如果nginx log裡面帶有中文轉譯的字符的時候, logstash 會沒有辦法正確解析(json parse fail) nginx的log.

DeepinScreenshot_select-area_20190508125002

怎麼會呢, 不是都已經轉成json了嗎？我們這就去nginx log看一下什麼狀況, 可以看到錯誤的好像是 user_agent \xE4\xBD\

Elasticsearch 聚合基礎(二): 度量聚合(metric)

什麼是度量計算？就是將抓取出來的資料, 做加總、取平均、抓最大最小等等..
當然其他還有很多, 不過這邊就介紹最常用的部分～有興趣看添加度量指标| Elasticsearch: 权威指南| Elastic

假設我們的原始資料結構如下

Elasticsearch 的聚合搜尋, 可以說是最常的用的功能了. 什麼是聚合搜尋呢？就是針對搜尋出來的結果, 再去做計算. 比如可以計算最大值、平均值、最小值、總和、95%、分組、累加... 等等的計算.

這篇從基礎的分組開始帶大家了解如何做聚合搜尋, 以及他的概念.

示範環境: Ubuntu 16.04.4 LTS

首先, logstash 需要 java, 所以我們就先安裝java

apt-get install python-software-properties
apt-get install software-properties-common
add-apt-repository ppa:webupd8team/

示範環境: Ubuntu 16.04.4 LTS

首先, elasticsearch 需要 java, 所以我們就先安裝java

apt-get install python-software-properties
apt-get install software-properties-common
add-apt-repository ppa:webupd8team/