filebeat通過將每次發(fā)送的數(shù)據(jù)狀態(tài)都存儲在registry文件中來確保數(shù)據(jù)不丟失。如果發(fā)送的output端沒有返回確認信息，filebeat將會繼續(xù)嘗試發(fā)送上--次的數(shù)據(jù)，直到output端返回給filebeat確認接收信息為止。
當向output端發(fā)送數(shù)據(jù)，或者還沒有接收到output端返回的確認信息時，如filebeat因異常退出而關閉，那么在filebeat重啟后，將會把上一次發(fā)送的數(shù)據(jù)再發(fā)送一遍，以確保數(shù)據(jù)至少被接收一次。所以在output端可能會出現(xiàn)重復的數(shù)據(jù)。我們可以通過shutdown_timeout來設置filebeat關閉前等待的時間。
當使用kafka作為output時，如果不要求數(shù)據(jù)的完整性，則可以容忍少量的丟失數(shù)據(jù)。我們也可以通過設置required_acks參數(shù)來提高filebeat發(fā)送數(shù)據(jù)的效率，required__acks默認值為1,表示等待kafka接收副本返回確認信息;設置為o,表示kafka不返回確認接收信息，filebeat將會持續(xù)發(fā)送;設置為-1，表示需要等待kafka所有副本確認接收信息后，才繼續(xù)發(fā)送。

百度快照推廣調解網(wǎng)站優(yōu)化頁面的同時擔保精采的用戶體驗度
鄭州到德宏物流專線
深圳到萊陽物流專線
邯鄲到鷹潭物流專線
影響托管成本和定價的因素是什么？
西安到益陽物流專線
青島到禹城物流專線
溫州到日照物流專線