Logman|How to collect Windows SqlServer Performance Log

瀏覽人次: 900

logman collect windows log

Performance Counter 和 Logman 都是Microsoft 上收集系統效能計數器的方式,
差別是 Logman 為指令,Performance Counter 有提供 UI, 2 個的功用相同, 用
Performance Counter 也可以收集, 但需要逐一的點選。

使用效能計數器收集方式

建議收集的五大類 OS 內容包含

  • LogicalDisk 的所有計數器
  • Memory 的所有計數器
  • Network Interface 的所有計數器
  • Processor 的所有計數器
  • Paging File 的所有計數器

建議收集不同的SQLserver 的相關計數器,包含如下:

SQLServer:Buffer ManagerBuffer cache hit ratio 
SQLServer:Buffer ManagerPage life expectancy
SQLServer:SQL StatisticsBatch Requests/Sec
SQLServer:SQL StatisticsSQL Compilations/Sec
SQLServer:SQL StatisticsSQL Re-Compilations/Sec
SQLServer:General StatisticsUser Connections
SQLServer:Locks(_Total)Lock Waits/Sec
SQLServer:Access MethodsPage Splits/sec
SQLServer:General StatisticsProcesses blocked
SQLServer:Buffer ManagerCheckpoint pages/sec
SQLServer:Buffer ManagerPage reads/sec
SQLServer:Buffer ManagerPage writes/sec
SQLServer:Buffer ManagerLazy writes/sec
SQLServer:Databases(*)*
Process(sqlservr)% Privileged Time
Process(sqlservr)% Processor Time
Process(sqlservr)% User Time
Process(sqlservr)IO Data Operations/sec
Process(sqlservr)Page Faults/sec
Process(sqlservr)Private Bytes
Process(sqlservr)Thread Count
Process(sqlservr)Virtual Bytes
Process(sqlservr)Working Set

建議設定的相關參數

  • 抽樣區隔 : 15秒,30秒,60秒
  • 錄製時段 : 每天0點~24點, 包含週六週日
  • 保存成為csv 格式,
    日誌文件比較小,不要保留位二進制格式(文件大小會太大)

使用 logman 命令收集流程

  • 將 bimap_mssql.ZZZ 檔案改名為 bimap_mssql.ZIP。
  • 將 bimap_mssql.ZIP 解壓縮到 C 槽根目錄
    (C:),解壓縮完成後的目錄結構,應該會有 C:bimap (內有 UPLOAD, SENT
    兩個子目錄,以及 9個檔案)。
  • 執行 createSQL.cmd 開始採集資料,並檢查 C: bimap 中是否有 2 個 csv
    的文件產生。
  • 修改 C:bimapftp-csv.txt 中的 IP 地址,用戶名和密碼, 以便自動發送 log
    到 ftp server 中。
  • 將設定和執行自動排程,如果 OS 是 Windows 中文版,請執行
    02SetScheduleC.bat 如果 OS 是 Windows 2003/2008/2012,請執行
    02SetSchedule.bat。
  • 每天凌晨 00:10,Windows Schedule 會自動將當日採集的 log,並自動 FTP 到
    ftp Server 中。

使用 logman 部署腳本說明

1. 啟動 Logman 的 OS 和 SQL 的收集腳本

創建文件名 C:bimapcreateSQL.cmd

logman.exe stop MSPOC 
logman.exe delete MSPOC
logman.exe create counter MSPOC -o C:bimap%COMPUTERNAME% -f csv -v mmddhhmm -c "LogicalDisk(*)*" "Memory*" "Network Interface(*)*" "Paging File(*)*" "Processor(*)*" -si 60
logman.exe start MSPOC
logman.exe stop SqlPOC
logman.exe delete SqlPOC
logman.exe create counter SqlPOC -o C:bimap%COMPUTERNAME%_SQL -f csv -v mmddhhmm -cf C:bimapSqlServerPerformanceIndicator.txt -si 60
logman.exe start SqlPOC

其中的 -si 60 中可以依據具體需求,可以調整為 30 秒或是 15 秒

2. 選擇需要收集的SQL 相關參數

  • 收集SQLServer 需要的收集的計數器, 可以依據實際的需求, 進行調整
  • 創建文件名:C:bimapSqlServerPerformanceIndicator.txt
SQLServer:Buffer ManagerBuffer cache hit ratio 
SQLServer:Buffer ManagerPage life expectancy
SQLServer:SQL StatisticsBatch Requests/Sec
SQLServer:SQL StatisticsSQL Compilations/Sec
SQLServer:SQL StatisticsSQL Re-Compilations/Sec
SQLServer:General StatisticsUser Connections
SQLServer:Locks(_Total)Lock Waits/Sec
SQLServer:Access MethodsPage Splits/sec
SQLServer:General StatisticsProcesses blocked
SQLServer:Buffer ManagerCheckpoint pages/sec
SQLServer:Buffer ManagerPage reads/sec
SQLServer:Buffer ManagerPage writes/sec
SQLServer:Buffer ManagerLazy writes/sec
SQLServer:Databases(*)*
Process(sqlservr)% Privileged Time
Process(sqlservr)% Processor Time
Process(sqlservr)% User Time
Process(sqlservr)IO Data Operations/sec
Process(sqlservr)Page Faults/sec
Process(sqlservr)Private Bytes
Process(sqlservr)Thread Count
Process(sqlservr)Virtual Bytes
Process(sqlservr)Working Set

3. 設定自動收集發送log命令

  • 將要收集的方式, 自動化收集 SQL 等
  • 創建 C:bimapcollectSQL.bat 命令, 以自動化收集 MS 的log
logman.exe stop MSPOC 
logman.exe stop SqlPOC
move /Y C:bimap*.csv C:bimapUPLOAD
logman.exe start MSPOC
logman.exe start SqlPOC
ftp -s:C:bimapftp-csv.txt
move /Y c:bimapUPLOAD*.csv c:bimapSENT 
FORFILES /P c:bimapSENT /M *.csv /C "cmd /c Del @PATH" /d -10

如果無須ftp 發送,改成 rem ftp -s:C:bimapftp-csv.txt 即可

4. 創建 ftp 自動上傳

創建 C:bimapftp-csv.txt

Open 192.168.xxx.xxx 
AAAA (Username)
BBBB (Password)
prompt
bin
lcd c:TTPOCUPLOAD mput *.csv
mput *.csv
bye

5. 設定伺服器重啓時,自動收集 log

創建 C:TTPOCONSTART.bat

logman.exe start MSPOC 
logman.exe start sqlPOC

6. 啓動定時任務執行 (英文版)

  • 創建 SetSchedule.bat (英文版),可以使用 schtasks
    啟動排程設定,或是在圖型介面中設定排程啟動時間
  • 可以設定每天啟動一次, 或是每小時啟動一次,依據實際的需求調整
%SystemRoot%system32schtasks.exe /create /tn TTPOC_Daily /tr c:TTPOCcollect.bat /sc daily /st 00:10 /ru system 
%SystemRoot%system32schtasks.exe /create /tn TTPOC_OnStart /tr c:TTPOConstart.bat /sc onstart /ru system
Schtasks /query /tn TTPOC_Daily
Schtasks /query /tn TTPOC_OnStart

7. 啓動定時任務執行 (中文版)

  • 創建 SetScheduleC.bat

  • 和 SetSchedule.bat 原理相同 ,只要需要把 daily 改成每日即可
%SystemRoot%system32schtasks.exe /create /tn TTPOC_Daily /tr c:TTPOCcollect.bat /sc 每日 /st 00:10 /ru system 
%SystemRoot%system32schtasks.exe /create /tn TTPOC_OnStart /tr c:TTPOConstart.bat /sc onstart /ru system
Schtasks /query /tn TTPOC_Daily
Schtasks /query /tn TTPOC_OnStart

結論

通常 BiMAP 最常與企業討論兩件事,一為如何收集
Log,二為收集哪些數據才有用?

因為層層資安的問題,導致在收集 Log 時常會遇到,無法安裝 agent 的問題,此時
Windows 中的 logman 則是一個很好的方法,在搭配收集必要的數據於 Elasticsearch
中進一步分析,盡可能的縮小問題範圍。

快速跳轉目錄

✦ 集先鋒 Bimap – 企業建置高速穩定的海量日誌分析平台✦

集中不同的結構化資料和非結構化日誌,並進行關聯性的大數據整合,客製化儀表版、自訂事件告警、機器學習等等,以滿足各種大數據的應用場景和解決方案。