行政院臺灣資安卓越中心計畫 x NTU 臺灣大學 | ELK 大數據課程 第一屆黑客松競賽

前言

有鑑於近年來大數據議題倍受重視，不論是企業利用 ELK 來搭建大數據平台，進行 SRE、網路、資安等應用，學術單位也開始重視相關人才的培訓，希望藉由這個趨勢，讓未來的社會新鮮人能盡早習得目前業界所重視的技能。此次有幸於台灣大學-計資中心合辦，資安大數據分析課程，時間為期 8 週，並於第 9 週以整個培訓內容，進行黑客松競賽，幫培訓計劃下一個完美的句點。

比賽活動紀錄

黑客松競賽

1. Logstash 資料正規化
透過普通、中等、難，三種題組，讓同學依難度自由選擇，在能力範圍內，想盡辦法進行解題，並從中理解資料邏輯，將資料正規化做到最佳。
1. Apache，透過網頁流量，理解日常網頁服務流量營運狀況，能否有效降低客訴發生率。
2. Fortigate，理解企業最常使用的網路管理設備，以及如何進行網路流量監控。
3. WAF，如何分析企業日常資安攻擊樣態，練習如何製作儀表版，有效協助企業日常防禦。
2. Kibana 儀表板製作
如何藉由多種不同 visualize，並搭配資料特性，呈現出資料的多種樣態，同時需要思考如何可以讓資訊的呈現更有價值性，並在競賽中的短時間內，盡可能將資訊透過儀表版，發揮至最大價值。

ELK 大數據分析課程

透過約一學期的課程，我們進行了以下課程的規劃，希望以由淺入深的方式，一步步讓同學了解資料特性，如何進行資料正規化，最後製作出具有說服力的儀表版。

基礎說明 24hr	ELK 基礎說明	什麼是 ELK
		ELK 可以做什麼
		ELK 特色說明
		ELK 應用情境介紹
		Elasticsearch 特有名詞說明
		常見 ELK 架構說明
	Kibana 基礎說明	CSV 簡易導入方式
		資料輸入 Elasticsearch 的三種方法
		Data Visualizer 操作方法
		資料驗證方法
		Index Name 與 Index Pattern
		Discover 使用方法說明
		Filter 與 KQL
		輕鬆將資料製圖製表的 Visualize
		儀表板製作與調整
		儀表板與圖表下載
		Kibana 實做
	Logstash 基礎說明	Logstash 介紹
		資料解析範例
		多樣化的資料輸入模式
		資料輸出
		輕鬆正規化資料的方法
		常用語法簡介
		Logstash 實作
	Elasticsearch 基礎說明	使用 API 操縱 Elasticsearch
		利用 _Cat API 獲得重要資訊
		Elasticsearch Template 的建立與介紹
		常用 Elasticsearch 檢索方法
		Text 與 Keyword 的差異
		常用復合查詢介紹

總結

經過這一次，與台灣大學計資中心合辦的資安大數據培訓課程，學生從完全陌生，到最後透過競賽將第一次接觸的 Log，盡最大努力呈現給競賽評審。過程中哪怕對於 Log 中有不熟悉的名詞，但也是以最大程度的理解，透過圖像化的方式進行表達。相信整個課程，有真正帶給所有的學生，理解大數據領域整個的流水線過程，且當中所有遇到的困難，一定會成為學生日後成長的基石。