前言
大部份的客戶，通常在使用 Elastic 時，多選用 Self Managed
(自行建置)，官方的文件上可以看到 Basic 與 License
功能上的差異。可能大部份的使用者還並不知道，雖然目前官方提供的 License 版本有
Gloden、Platinum、Enterprise，但於今年 (2021 三月)，已不在技援 Golden 版本的
License。但在討論 License
以前，可能更多的疑問是，具體的功能差別是什麼，是否為使用者比較在乎的功能，升級的效益是什麼?
(自行建置)，官方的文件上可以看到 Basic 與 License
功能上的差異。可能大部份的使用者還並不知道，雖然目前官方提供的 License 版本有
Gloden、Platinum、Enterprise，但於今年 (2021 三月)，已不在技援 Golden 版本的
License。但在討論 License
以前，可能更多的疑問是，具體的功能差別是什麼，是否為使用者比較在乎的功能，升級的效益是什麼?
ELK 是以 Logstash、Elasticsearch、Kibana 所組成的解決方案，以 Elasticsearch
為核心，且 License 的計算即是以 Elasticsearch
的執行個體數為計價單位，其餘的軟體服務為免費使用。假設建立了一套 ES Cluster 為
3 個 node，即需購買 1 個 License for 3 node。
為核心，且 License 的計算即是以 Elasticsearch
的執行個體數為計價單位，其餘的軟體服務為免費使用。假設建立了一套 ES Cluster 為
3 個 node，即需購買 1 個 License for 3 node。
ELK 在行銷的策略上，提供了一個很好的使用生態系，讓全世界的用戶可以使用 Basic
版本建立屬於自已的 Log
整合應用。主要也是了解到大部份的使用者，在初期使用時，必需要克服的撞牆期，在此同時可能都還沒辦法感受到很多實用便利的功能，更不用說機器學習。當假以時日的去熟悉
ELK 後，再考慮是否啟用 License 去使用更多進階的功能，讓大數據發揮最大的價值。
版本建立屬於自已的 Log
整合應用。主要也是了解到大部份的使用者，在初期使用時，必需要克服的撞牆期，在此同時可能都還沒辦法感受到很多實用便利的功能，更不用說機器學習。當假以時日的去熟悉
ELK 後，再考慮是否啟用 License 去使用更多進階的功能，讓大數據發揮最大的價值。
ELK Basic
在初期建置的時後，一定從 Basic 開始入手，並評估資料量進行 ES Cluster
的規劃，並透過 Logstash 做資料正規化，再藉由 Kibana
進行資料的驗證，或其他應用，此為 ELK 的標準 SOP。
的規劃，並透過 Logstash 做資料正規化，再藉由 Kibana
進行資料的驗證，或其他應用，此為 ELK 的標準 SOP。
當一切準備就緒後，就是建立 Dashboard，讓不同來源的
Log，可以有效的被利用，找問題，甚至可以做關聯式分析，也因為有 Logstash
的正規化，在 Dashboard 的製作上可以達到 Low Code 甚至 No Code
的效果。但接下來問題是，能否在問題發生當下進行告警? 必竟不太可能 24
小時盯著電腦，也不符合效益。我們可以在 Kibana 的 Stack Management 中看到
Alerts and Actions，其實這個命名是有用意的，因為在 Basic 版本可以設定告警
(alerts)，但無法進行通知 (Actions)，只能從 Kibana 上查詢是否有異常觸發。
Log，可以有效的被利用，找問題，甚至可以做關聯式分析，也因為有 Logstash
的正規化，在 Dashboard 的製作上可以達到 Low Code 甚至 No Code
的效果。但接下來問題是，能否在問題發生當下進行告警? 必竟不太可能 24
小時盯著電腦，也不符合效益。我們可以在 Kibana 的 Stack Management 中看到
Alerts and Actions，其實這個命名是有用意的，因為在 Basic 版本可以設定告警
(alerts)，但無法進行通知 (Actions)，只能從 Kibana 上查詢是否有異常觸發。
每隔一段時間，可能都會需要輸出一些 csv
報表做分析，但如果需要在會議上，或是對主管做簡報，可能就需要有一些圖表當成素材，但
Basic 也僅支援到 csv 的輸出。
報表做分析，但如果需要在會議上，或是對主管做簡報，可能就需要有一些圖表當成素材，但
Basic 也僅支援到 csv 的輸出。
可能在一些大公司會希望有權限功能，Basic 也提供了基本的 rbac
可以使用，例如：建立 role 並指派可存取的頁面、index、space
等等，在將一個或多個 role 指定給某用戶帳號，但並沒有提供 AD、SSO
等等的整合功能。
可以使用，例如：建立 role 並指派可存取的頁面、index、space
等等，在將一個或多個 role 指定給某用戶帳號，但並沒有提供 AD、SSO
等等的整合功能。
不過其實整體來看，在 Basic 的階段，已經可以將 ELK 整個 pipeline
搭建得相當完整，透過 Kibana 也可以滿足許多資料視覺化的需求。
搭建得相當完整，透過 Kibana 也可以滿足許多資料視覺化的需求。
常用的 Feature List：
- elasticsearch cluster setup | ES Cluster 建置
- discover | 全文檢索
- visualize and dashboard | 視覺化圖表及儀表版
- role-based access control | 用戶角色權限設置
- alerting | 告警顯示 (非通知)
- csv reports | 報表輸出
ELK Platinum
以 Platinum 的用戶來說，不外乎大部份都是需要 AD、SSO 的登入驗證，以及告警
(Actions) 的需求，而且通常升級之後，基本上算是任督二脈都打通了，這時後通常 ELK
的使用已經持續了一段時間，並儲存了一定程度的資料量，是一個使用機器學習的好時機，也希望能藉此讓問題發生前，可以找到一些蛛絲馬跡。
(Actions) 的需求，而且通常升級之後，基本上算是任督二脈都打通了，這時後通常 ELK
的使用已經持續了一段時間，並儲存了一定程度的資料量，是一個使用機器學習的好時機，也希望能藉此讓問題發生前，可以找到一些蛛絲馬跡。
在權限的部份，不僅僅只能到 index level，而是可以細到
document-level、field-level，讓用戶看不見某些欄位。
document-level、field-level，讓用戶看不見某些欄位。
在告警的部份，可以設定告警動作 (Actions) 進行 Email、Jira、Webhook
等等的通知行為，當中也包含了當 Machine Learning
到一些異常時，也可以即時通知，進行後續的處理。
等等的通知行為，當中也包含了當 Machine Learning
到一些異常時，也可以即時通知，進行後續的處理。
在硬體成本的部份，某些資料可以需要儲存一年以上，雖然可以將資料移轉於 cold node
上，但無法很有效的降底硬體的儲存成本，且依舊會納入節點數的計算，意即會徒增
License 的費用，但資料可能只是備份用途居多，效益並不高。所以 Platinum 有提供
snapshot 的功能可以讓使用者進行 backup and restore，不僅是可以壓縮儲存於 local
硬體設備上，也可以支援 AWS S3、HDFS、Azure、GCP 等雲平台。
上，但無法很有效的降底硬體的儲存成本，且依舊會納入節點數的計算，意即會徒增
License 的費用，但資料可能只是備份用途居多，效益並不高。所以 Platinum 有提供
snapshot 的功能可以讓使用者進行 backup and restore，不僅是可以壓縮儲存於 local
硬體設備上，也可以支援 AWS S3、HDFS、Azure、GCP 等雲平台。
此外，我們也可以根據 Log 的特性，在 Kibana
上建立視覺化的關聯式圖型，讓應用及呈現更加的適合人為閱讀，且不需要花費過多的
effort。
上建立視覺化的關聯式圖型，讓應用及呈現更加的適合人為閱讀，且不需要花費過多的
effort。
常用的 Feature List：
- LDAP、AD、PKI Authentication | 整合其他登入應用
- Single sign-on (SAML、OpenID Connect、Kerberos) | 整合 SSO 登入應用
- Field and document-level security | field 與 document
級別的權限設定 - Graph exploration | 關聯式資料的視覺化應用
- Anomaly detection on time series | 機器學習偵測異常資料
- Alerting on anomalies | 機器學習異常告警通知
- alerting and actions | 告警設定及通知
- snapshot and restore | snapshot 備份及還原功能
結論
集先鋒科技在 ELK 的領域中，已深耕超過 8 年以上，我們提供任何關於 ELK
的應用服務，協助企業在使用 ELK 的過程中，可以發揮 Log 的最大價值。
的應用服務，協助企業在使用 ELK 的過程中，可以發揮 Log 的最大價值。
我們相信這會是一個過程，所以如同前言所提及的，從一開始 Basic
的使用，再慢慢的升級到 Platinum 使用更多進階的功能，Machine Learning
即是最重要的 feature 之一。在這個過程中，集先鋒科技除了協助客戶使用 ELK
以外，更重要的是規畫符合成本效益的方法，讓 ELK
可以在可控的預算內，發揮最大的價值。
的使用，再慢慢的升級到 Platinum 使用更多進階的功能，Machine Learning
即是最重要的 feature 之一。在這個過程中，集先鋒科技除了協助客戶使用 ELK
以外，更重要的是規畫符合成本效益的方法，讓 ELK
可以在可控的預算內，發揮最大的價值。
進一步了解 ELK 的其他應用
讓我們提供更多協助聯絡我們
