Elasticsearch|Modify Linux Setting for Best Performance

瀏覽人次: 1636
2021-07-15 更新

elasticsearch logo

Disable swapping

大部份的狀況 Elasticsearch 會獨立安裝在 Server 上,因為 ES 以 Java 為開發基礎,所以 Memory 的消耗量會由 JVM 來做控制,所以其實並不需要 Server 有 swap 的機制,以確保 ES 保有最好的效能。

我們可以暫時關閉 swap,所以:

sudo swapoff -a

執行完上面的指令,並不需要重新啟動 Elasticsearch 的服務,但如果要永久停用該設定,要手動修改 /etc/fstab 的設定檔,將 swap 相關的設定註解,所以:

vi /etc/fstab 取消掉開機啟動swap
#/dev/mapper/centos-swap swap swap defaults 0 0

如果是 Windows 的用戶,可以禁用分頁文件來達成類似的效果,所以:

System Properties → Advanced → Performance → Advanced → Virtual memory

Configure swappiness

如果不希望停用 swap 的話,在 Linux OS 中,有另一個 vm.swappiness 參數可以設置為 0,這個設定可以讓 OS 在正常服務的狀況下,不要做 swap 交換,但依舊可以在 Memory 耗盡時啟用 swap,所以:

vi /etc/sysctl.conf

vm.swappiness = 0

Configuring system settings

ulimit

我們可以在 Linux OS 上,調整 ulimit 的設定,通常會先以 root 角色進行設定,再切換至會啟動 elasticsearch 的用戶。我們這邊將開啟檔案的上限調為 65536,所以:

sudo su
ulimit -n 65535
su elasticsearch

/etc/security/limits.conf

我們可以讓系統針對 elasticsearch 開放一些限制,比如檔案開啟上限(nofile)、執行緒的使用上限(nproc),因此我們可以永久性設定某些參數,共有兩個地方需要設定,所以:

vi /etc/security/limits.conf 
elasticsearch - nofile 65536 elasticsearch soft nproc 4096 elasticsearch hard memlock unlimited elasticsearch soft memlock unlimited

vi /etc/security/limits.d/20-nproc.conf
soft nproc 65536

Systemd configuration

Linux 上所啟用的服務會有一些默認限制,像是 memory,我們可以做一些調整,所以:

sudo systemctl edit elasticsearch

[Service]
LimitMEMLOCK=infinity

sudo systemctl daemon-reload

/etc/sysctl.conf

fs.file-max

      • 打開檔案的上限數,通常設為 65536。

vm.swappiness

      • 設定當 memory 達多少以下,再啟動 swap 機制,通常可以為 0。

vm.max_map_count

      • ES 預設使用 mmapfs 目錄來存放 indices,通常預設的 mmap  使用上限太低,導致 Memory 耗用太多,因此可以調高

kernel.pid_max

      • Linux 可以開放的最大執行緒數量,如果沒有調高此參數,ES 服務可開啟最大執行緒的量,還是會受到這個參數的限制。
vi /etc/sysctl.conf 
fs.file-max=65536 vm.swappiness=0 vm.max_map_count=262144 kernel.pid_max=65535

有任何問題,或是想看新主題?

聯絡我們

快速跳轉目錄

✦ 集先鋒 Bimap – 企業建置高速穩定的海量日誌分析平台✦

集中不同的結構化資料和非結構化日誌,並進行關聯性的大數據整合,客製化儀表版、自訂事件告警、機器學習等等,以滿足各種大數據的應用場景和解決方案。