大日志處理問題


 問題描述:有幾個壓縮好的大日志文件,壓縮后,2,3G,解壓后估計有5,6G

需要將這些日志解析出來,存儲到分布樹數據庫中去。看了下線上的機器,雖然

每個機器的絕對內存都可以將這些數據讀入進去,但是正常可用內存卻只有幾個G

而且還要被其他程序占用,解析代碼用JAVA來寫,運行JAVA代碼的時候可以指定

使用的內存XMS,XMX。

解決方法: 由於日志信息允許有一定的丟失,所以可以采用將文件切割的辦法,

將大文件切割為一個個的小文件,然后JAVA代碼在將這些小文件讀進去處理。這樣

以來運行時占用的內存就可以控制在一定范圍內。

 日志切割采用SHELL腳本下面的:split -b 100m $openFile 將日志切分為每個100M

這樣每次只需要讀入100M的數據進行處理。一行一條數據的話,切割完也就丟失幾十條

日志信息而已,可以接受。

 


注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



對 log4j 生成的日志內容處理問題 窗口處理問題 亂碼處理問題 鏈表的處理問題 線程處理問題 大數處理問題 處理問題感悟 文件處理問題 精度處理問題 圖片處理問題
 
粤ICP备14056181号  © 2014-2021 ITdaan.com