B i M A P

遠東商銀 | 活用 ELK,即使是 AP Log 也能快速上手

近年來,各行各業紛紛進行數位轉型,但是轉型後,並不是結束,而是又將面臨新的挑戰-各類硬體設備 Log、AP Log......等等,而 BiMAP 的任務就是協助企業,找出有價值的資訊。在這大數據的時代,Log 的資料量,少則 1~2 筆/天,多則可達 100GB/天!! 內容非常繁雜,且不一定全部都是企業最需要的資訊,那麼問題來了:

  1. 這些 Log 都要保存嗎?檔案量這麼大,我的儲存空間有限,要存放多久?
  2. 要如何在有如茫茫大海的巨量資料中,找到有價值的資訊?
  3. 針對重要的資訊,要如何透過有效的視覺化,讓企業可以一眼知曉目前的概況?

為此,大數據解決的方案備受重視,也因為 ELK 是一個開源項目,使得越來越多企業紛紛加入使用 ELK 的行列。


講解logstash-資料paring


這一次有幸,遠東商銀透過線上課程發掘到 BiMAP 集先鋒科技,也認同我們的實力,以及在業界的許多企業案例。透過事前的溝通,希望舉辦為期 2 天的客製化教育訓練課程,並透過這個契機,培訓內部的大數據人才。


針對此次的客製化課程,我們做了以下的規劃:


第一天

  1. ELK 8.0 安裝建置
  2. Kibana - 如何做資料驗證
  3. Kibana - Data Views 觀念
  4. Kibana - Discover 全文檢索、KQL語法說明
  5. Kibana - Data Visualizer 製圖操作說明
  6. Kibana - Dashboard實作、匯入匯出儀表板


第二天

  1. Logstash - 如何進行資料正規化、企業常用情境說明
  2. Logstash - 進階:JDBC、ASN、GeoIP 地理位置處理、CIDR 網段解析
  3. AP Log 實務處理 Demo
  4. Elasticsearch - ES Template 概念應用與維運
  5. Elasticsearch - Bulk 批量資料處理
  6. Elasticsearch - API 應用




聯絡我們快速上手


延伸閱讀
elaine的大頭照
Elaine 同學

在大數據時代,資料量大、即時又多樣,因此非常需要像是ELK、InfluxDB這些資料分析處理工具,來協助我們將暗藏的重要訊息解密,如果你也有興趣,讓我們一起進入資料處理的領域探索吧!