監(jiān)控數(shù)據(jù)的存儲是由historysyncer進(jìn)程負(fù)責(zé)寫入數(shù)據(jù)庫,historysyncer進(jìn)程應(yīng)對大流量數(shù)據(jù)的方式是,一方面通過批量插入來提高寫庫的效率,另一方面通過多進(jìn)程的方式來擴(kuò)展數(shù)據(jù)處理能力。在寫庫過程中,歷史數(shù)據(jù)寫入history表,即使數(shù)據(jù)變?yōu)槔鋽?shù)據(jù)也需要留在history表中供前端UI訪問。趨勢數(shù)據(jù)寫入trends表,相較于歷史數(shù)據(jù),趨勢數(shù)據(jù)的寫庫負(fù)載要低的多,是因?yàn)閷τ诿總€監(jiān)控項(xiàng)來說,平均每小時只需要寫庫一次,其他時間只需要更新趨勢緩存,不需要寫庫。在historysyncer進(jìn)程的觸發(fā)器計算階段,主要訪問值緩存,但是如果值緩存不能命中則需要查詢history表,這種情況下就需要使用history表索引了??紤]索引對insert操作的影響,索引在提高查詢速度的同時也降低了寫入性能。觸發(fā)器計算之后生成的event信息也需要寫入數(shù)據(jù)庫,這些信息存儲在events表、problem、escalation等表中。因此,這些表的數(shù)據(jù)增長率取決于Zabbix生成的事件的數(shù)量,當(dāng)事件數(shù)量陡增時,這些表的寫入壓力也會隨之增加。在數(shù)據(jù)存儲方面主要體現(xiàn)了熱數(shù)據(jù)和冷數(shù)據(jù)的轉(zhuǎn)換過程以及數(shù)據(jù)規(guī)模對讀寫性能的影響。zabbix主動模式和被動模式的優(yōu)缺點(diǎn)。服務(wù)zabbix優(yōu)惠嗎
1、Zabbix_Server:zabbix_server作為**組件,用來獲取agent存活情況和監(jiān)控數(shù)據(jù)。所有的配置、統(tǒng)計、操作數(shù)據(jù)均通過server進(jìn)行存取到database;2、Zabbix_Database:用戶存儲所有的zabbix的配置信息、監(jiān)控數(shù)據(jù)的數(shù)據(jù)庫;3、Zabbix_Web:zabbix的web界面,管理員通過web界面管理zabbix配置以及查看zabbix相關(guān)監(jiān)控信息,通常與zabbix_server運(yùn)行在同一臺主機(jī)上,也可以單獨(dú)部署在**的服務(wù)器上;4、Zabbix_Proxy:通常用于分布式監(jiān)控,代理zabbix_server收集部分被監(jiān)控的數(shù)據(jù)并統(tǒng)一發(fā)送給server端;(通常大于500臺主機(jī)需要使用)5、Zabbix_Agent:部署在被監(jiān)控主機(jī)上,負(fù)責(zé)收集被監(jiān)控主機(jī)的數(shù)據(jù),并發(fā)送給servre端或者proxy端;ZabbixServer、Proxy、Agent都有自己的配置文件以及l(fā)og文件,重要的參數(shù)需要在這里配置,后面會詳細(xì)說明。廣東zabbix那個好Zabbix前端的高可用性如何?
在江蘇常州,一家長期專注于 Zabbix 產(chǎn)品化二次開發(fā)的研發(fā)機(jī)構(gòu)-縱目信息(ZMOPS),正在為這一愿景付諸實(shí)踐。以數(shù)據(jù)采集→處理→分析→觀測為產(chǎn)品主干,以 Zabbix 為底層**打造的統(tǒng)一監(jiān)控產(chǎn)品應(yīng)用于數(shù)十個行業(yè),同時不斷推進(jìn)基于 Zabbix 的物聯(lián)網(wǎng)數(shù)據(jù)平臺的開源。Argus 是一個面向私有化及混合云數(shù)據(jù)中心提供***多層次的統(tǒng)一監(jiān)控和運(yùn)維管理平臺,幫助用戶實(shí)時對各類IT資源(網(wǎng)絡(luò)設(shè)備、服務(wù)器、存儲、數(shù)據(jù)庫、中間件等)執(zhí)行性能指標(biāo)監(jiān)控,實(shí)現(xiàn)事前運(yùn)維。
對于大部分監(jiān)控項(xiàng)而言,隨著時間流逝,監(jiān)控數(shù)據(jù)會快速地脫離Zabbix server的使用范圍,進(jìn)入冷數(shù)據(jù)區(qū)。雖然冷數(shù)據(jù)脫離了Zabbix server的使用范圍,但是Zabbix仍然不能對冷數(shù)據(jù)進(jìn)行離線化,因?yàn)榍岸薝I和網(wǎng)絡(luò)API需要訪問這些冷數(shù)據(jù),這些訪問一般***于少量監(jiān)控項(xiàng)的讀取。從Zabbix server的角度來說,對于任一特定監(jiān)控項(xiàng),數(shù)據(jù)的熱區(qū)和冷區(qū)分界線是固定的,并且熱區(qū)的數(shù)據(jù)量相對于冷數(shù)據(jù)要小得多。如果使用mysql來存儲監(jiān)控數(shù)據(jù),由于索引的存在,數(shù)據(jù)的寫入性能會隨著存儲規(guī)模的增加而降低,查詢性能也是一樣。因此,控制數(shù)據(jù)規(guī)模成為解決數(shù)據(jù)庫訪問性能的關(guān)鍵。如果將熱數(shù)據(jù)和冷數(shù)據(jù)分開存儲,并且在需要時讓數(shù)據(jù)在兩者之間進(jìn)行流動,則對于Zabbix server而言,可以**降低數(shù)據(jù)規(guī)模。如果進(jìn)一步考慮如何實(shí)現(xiàn)熱數(shù)據(jù)表的**小化,就需要建立一種動態(tài)機(jī)制,每次修改觸發(fā)器表達(dá)式后按照觸發(fā)器的數(shù)據(jù)需求量在冷熱數(shù)據(jù)之間進(jìn)行雙向調(diào)整。zabbix大流量數(shù)據(jù)的接收。
從統(tǒng)計意義上說,每次接受連接的時候,對于每個trapper進(jìn)程來說都有相同的概率獲得連接,***的結(jié)果就是所有連接在所有trapper進(jìn)程之間均衡分配。如果考慮每個連接中包含的數(shù)據(jù)量不均衡,那么當(dāng)某個trapper進(jìn)程接受的某個連接包含較多的數(shù)據(jù)時,意味著該進(jìn)程需要花更多的時間來讀取和處理數(shù)據(jù),這就意味著下一次接受連接的時間被推遲。對于poller進(jìn)程,道理也是一樣,每個poller進(jìn)程都以相同的概率從Zabbixserver端的配置緩存接收到任務(wù),從而實(shí)現(xiàn)數(shù)據(jù)分配均衡。預(yù)處理進(jìn)程的工作模式與trapper進(jìn)程不同,預(yù)處理進(jìn)程采用manager-worker模式,即manager進(jìn)程是***的數(shù)據(jù)入口,負(fù)責(zé)從trapper和poller接收所有數(shù)據(jù),然后通過unix域套接字將數(shù)據(jù)分配給各個worker進(jìn)程處理。其分配的規(guī)則是,每次每個worker只分配一個數(shù)據(jù),只有當(dāng)worker完成前一個任務(wù)之后才會分配下一個任務(wù)。***,historysyncer進(jìn)程之間的數(shù)據(jù)均衡也是遵循機(jī)會均等的機(jī)制。其主要特點(diǎn)是,每個循環(huán)**多處理1000個監(jiān)控值,所以每次寫數(shù)據(jù)庫的監(jiān)控值也不會超過1000個。我們會發(fā)現(xiàn),總體的數(shù)據(jù)處理過程都基于監(jiān)控數(shù)據(jù)之間的**性,從而可以靈活地在各個進(jìn)程之間調(diào)度。太硬核!Zabbix、Prometheus等5種監(jiān)控工具總結(jié)!湖南zabbix服務(wù)保證
Zabbix如何實(shí)現(xiàn)對大流量監(jiān)控數(shù)據(jù)的高效處理?服務(wù)zabbix優(yōu)惠嗎
Zabbix是由AlexeiVladishev開發(fā)的一種網(wǎng)路監(jiān)視、管理系統(tǒng),基于Server-Client架構(gòu)??捎糜诒O(jiān)視各種網(wǎng)路服務(wù)、伺服器和網(wǎng)路機(jī)器等狀態(tài)。Zabbix使用MySQL、PostgreSQL、SQLite、Oracle或IBMDB2儲存資料。Server端基于C語言、Web前端則是基于PHP所制作的。Zabbix可以使用多種方式監(jiān)視??梢灾皇褂肧impleCheck不需要安裝Client端,亦可基于SMTP或HTTP等各種協(xié)定做死活監(jiān)視。在客戶端如UNIX、Windows中安裝ZabbixAgent之后,可監(jiān)視CPU負(fù)荷、網(wǎng)路使用狀況、硬碟容量等各種狀態(tài)。而就算沒有安裝Agent在監(jiān)視對象中,Zabbix也可以經(jīng)由SNMP、TCP、ICMP檢查,以及利用IPMI、SSH、telnet對目標(biāo)進(jìn)行監(jiān)視。另外,Zabbix包含XMPP等各種Item警示功能。Zabbix的授權(quán)是屬于GPLv2。Zabbix能監(jiān)視各種網(wǎng)絡(luò)參數(shù),保證服務(wù)器系統(tǒng)的安全運(yùn)營,并提供靈活的通知機(jī)制以讓系統(tǒng)管理員快速定位/解決存在的各種問題。是一個基于WEB界面的提供企業(yè)級的開源分布式系統(tǒng)監(jiān)視以及網(wǎng)絡(luò)監(jiān)視功能的企業(yè)級的開源解決方案。服務(wù)zabbix優(yōu)惠嗎
上海觀縱科技有限公司位于上海市奉賢區(qū)望園南路1288弄80號1904、1909室,擁有一支專業(yè)的技術(shù)團(tuán)隊(duì)。在觀縱科技近多年發(fā)展歷史,公司旗下現(xiàn)有品牌webfunny,walkingfunny,argus等。公司不僅*提供專業(yè)的一般項(xiàng)目:技術(shù)服務(wù)、技術(shù)開發(fā)、技術(shù)咨詢、技術(shù)交流、技術(shù)轉(zhuǎn)讓、技術(shù)推廣;軟件開發(fā);人工智能基礎(chǔ)軟件開發(fā);人工智能應(yīng)用軟件開發(fā);數(shù)據(jù)處理服務(wù);信息技術(shù)咨詢服務(wù);信息系統(tǒng)集成服務(wù):信息系統(tǒng)運(yùn)行維護(hù)服務(wù);計算機(jī)系統(tǒng)服務(wù);軟件銷售;計算機(jī)軟硬件及輔助設(shè)備批發(fā);計算機(jī)軟硬件及輔助設(shè)備零售;電子產(chǎn)品銷售;通信設(shè)備銷售;通訊設(shè)備銷售;咨詢策劃服務(wù);市場調(diào)查(不含涉外調(diào)查);廣告制作;廣告發(fā)布;廣告設(shè)計、代理;會議及展覽服務(wù);貨物進(jìn)出口。(除依法須經(jīng)批準(zhǔn)的項(xiàng)目外,憑營業(yè)執(zhí)照依法自主開展經(jīng)營活動) 許可項(xiàng)目:建筑智能化系統(tǒng)設(shè)計;建設(shè)工程施工;網(wǎng)絡(luò)文化經(jīng)營;互聯(lián)網(wǎng)信息服務(wù)。(依法須經(jīng)批準(zhǔn)的項(xiàng)目,經(jīng)相關(guān)部門批準(zhǔn)后方可開展經(jīng)營活動,具體經(jīng)營項(xiàng)目以相關(guān)部門批準(zhǔn)文件或許可證件為準(zhǔn)),同時還建立了完善的售后服務(wù)體系,為客戶提供良好的產(chǎn)品和服務(wù)。自公司成立以來,一直秉承“以質(zhì)量求生存,以信譽(yù)求發(fā)展”的經(jīng)營理念,始終堅(jiān)持以客戶的需求和滿意為重點(diǎn),為客戶提供良好的webfunny前端監(jiān)控,webfunny前端埋點(diǎn),全鏈路應(yīng)用性能監(jiān)控,Argus-IT運(yùn)維監(jiān)控,從而使公司不斷發(fā)展壯大。