前言
有鑑於近年來大數據議題倍受重視，不論是企業利用 ELK 來搭建大數據平台，進行
SRE、網路、資安等應用，學術單位也開始重視相關人才的培訓，希望藉由這個趨勢，讓未來的社會新鮮人能盡早習得目前業界所重視的技能。此次有幸於台灣大學-計資中心合辦，資安大數據分析課程，時間為期
8 週，並於第 9
週以整個培訓內容，進行黑客松競賽，幫培訓計劃下一個完美的句點。
比賽活動紀錄
黑客松競賽
- Logstash 資料正規化
- Apache，透過網頁流量，理解日常網頁服務流量營運狀況，能否有效降低客訴發生率。
- Fortigate，理解企業最常使用的網路管理設備，以及如何進行網路流量監控。
- WAF，如何分析企業日常資安攻擊樣態，練習如何製作儀表版，有效協助企業日常防禦。
- Kibana 儀表板製作
透過普通、中等、難，三種題組，讓同學依難度自由選擇，在能力範圍內，想盡辦法進行解題，並從中理解資料邏輯，將資料正規化做到最佳。
如何藉由多種不同
visualize，並搭配資料特性，呈現出資料的多種樣態，同時需要思考如何可以讓資訊的呈現更有價值性，並在競賽中的短時間內，盡可能將資訊透過儀表版，發揮至最大價值。
ELK 大數據分析課程
透過約一學期的課程，我們進行了以下課程的規劃，希望以由淺入深的方式，一步步讓同學了解資料特性，如何進行資料正規化，最後製作出具有說服力的儀表版。
| 基礎說明 24hr | ELK 基礎說明 | 什麼是 ELK |
| ELK 可以做什麼 | ||
| ELK 特色說明 | ||
| ELK 應用情境介紹 | ||
| Elasticsearch 特有名詞說明 | ||
| 常見 ELK 架構說明 | ||
| Kibana 基礎說明 | CSV 簡易導入方式 | |
| 資料輸入 Elasticsearch 的三種方法 | ||
| Data Visualizer 操作方法 | ||
| 資料驗證方法 | ||
| Index Name 與 Index Pattern | ||
| Discover 使用方法說明 | ||
| Filter 與 KQL | ||
| 輕鬆將資料製圖製表的 Visualize | ||
| 儀表板製作與調整 | ||
| 儀表板與圖表下載 | ||
| Kibana 實做 | ||
| Logstash 基礎說明 | Logstash 介紹 | |
| 資料解析範例 | ||
| 多樣化的資料輸入模式 | ||
| 資料輸出 | ||
| 輕鬆正規化資料的方法 | ||
| 常用語法簡介 | ||
| Logstash 實作 | ||
| Elasticsearch 基礎說明 | 使用 API 操縱 Elasticsearch | |
| 利用 _Cat API 獲得重要資訊 | ||
| Elasticsearch Template 的建立與介紹 | ||
| 常用 Elasticsearch 檢索方法 | ||
| Text 與 Keyword 的差異 | ||
| 常用復合查詢介紹 |
總結
經過這一次，與台灣大學計資中心合辦的資安大數據培訓課程，學生從完全陌生，到最後透過競賽將第一次接觸的
Log，盡最大努力呈現給競賽評審。過程中哪怕對於 Log
中有不熟悉的名詞，但也是以最大程度的理解，透過圖像化的方式進行表達。相信整個課程，有真正帶給所有的學生，理解大數據領域整個的流水線過程，且當中所有遇到的困難，一定會成為學生日後成長的基石。
