前言
有鑑於近年來大數據議題倍受重視,不論是企業利用 ELK 來搭建大數據平台,進行
SRE、網路、資安等應用,學術單位也開始重視相關人才的培訓,希望藉由這個趨勢,讓未來的社會新鮮人能盡早習得目前業界所重視的技能。此次有幸於台灣大學-計資中心合辦,資安大數據分析課程,時間為期
8 週,並於第 9
週以整個培訓內容,進行黑客松競賽,幫培訓計劃下一個完美的句點。
比賽活動紀錄
黑客松競賽
- Logstash 資料正規化
- Apache,透過網頁流量,理解日常網頁服務流量營運狀況,能否有效降低客訴發生率。
- Fortigate,理解企業最常使用的網路管理設備,以及如何進行網路流量監控。
- WAF,如何分析企業日常資安攻擊樣態,練習如何製作儀表版,有效協助企業日常防禦。
- Kibana 儀表板製作
透過普通、中等、難,三種題組,讓同學依難度自由選擇,在能力範圍內,想盡辦法進行解題,並從中理解資料邏輯,將資料正規化做到最佳。
如何藉由多種不同
visualize,並搭配資料特性,呈現出資料的多種樣態,同時需要思考如何可以讓資訊的呈現更有價值性,並在競賽中的短時間內,盡可能將資訊透過儀表版,發揮至最大價值。
ELK 大數據分析課程
透過約一學期的課程,我們進行了以下課程的規劃,希望以由淺入深的方式,一步步讓同學了解資料特性,如何進行資料正規化,最後製作出具有說服力的儀表版。
基礎說明 24hr | ELK 基礎說明 | 什麼是 ELK |
ELK 可以做什麼 | ||
ELK 特色說明 | ||
ELK 應用情境介紹 | ||
Elasticsearch 特有名詞說明 | ||
常見 ELK 架構說明 | ||
Kibana 基礎說明 | CSV 簡易導入方式 | |
資料輸入 Elasticsearch 的三種方法 | ||
Data Visualizer 操作方法 | ||
資料驗證方法 | ||
Index Name 與 Index Pattern | ||
Discover 使用方法說明 | ||
Filter 與 KQL | ||
輕鬆將資料製圖製表的 Visualize | ||
儀表板製作與調整 | ||
儀表板與圖表下載 | ||
Kibana 實做 | ||
Logstash 基礎說明 | Logstash 介紹 | |
資料解析範例 | ||
多樣化的資料輸入模式 | ||
資料輸出 | ||
輕鬆正規化資料的方法 | ||
常用語法簡介 | ||
Logstash 實作 | ||
Elasticsearch 基礎說明 | 使用 API 操縱 Elasticsearch | |
利用 _Cat API 獲得重要資訊 | ||
Elasticsearch Template 的建立與介紹 | ||
常用 Elasticsearch 檢索方法 | ||
Text 與 Keyword 的差異 | ||
常用復合查詢介紹 |
總結
經過這一次,與台灣大學計資中心合辦的資安大數據培訓課程,學生從完全陌生,到最後透過競賽將第一次接觸的
Log,盡最大努力呈現給競賽評審。過程中哪怕對於 Log
中有不熟悉的名詞,但也是以最大程度的理解,透過圖像化的方式進行表達。相信整個課程,有真正帶給所有的學生,理解大數據領域整個的流水線過程,且當中所有遇到的困難,一定會成為學生日後成長的基石。