Cat導致內存不足原因分析-創(chuàng)新互聯

背景

線上幾億的數據在回刷的時候容器服務會出現OOM而重啟，導致任務中斷

創(chuàng)新互聯公司是一家專業(yè)提供樂亭企業(yè)網站建設,專注與成都網站設計、成都網站制作、H5高端網站建設、小程序制作等業(yè)務。10年已為樂亭眾多企業(yè)、政府機構等服務。創(chuàng)新互聯專業(yè)的建站公司優(yōu)惠進行中。內存泄露分析

jmap -histo pid找出了有幾十億的java.lang.StackTraceElement對象，找不到被誰引用了
jmap -dump:format=b,file=heapdump.hprof piddump內存
下載到本機mac上，用mat（MemoryAnalyzer）分析，得到內存泄露報告，看到內存全部被com.dianping.cat.message.internal.DefaultMessageManager$Context引用，找到了罪魁禍首
在這里插入圖片描述

原因分析

com.dianping.cat.log4j.Log4j2Appender在打印錯誤Exception的時候會調用Cat.logError方法

public class Log4j2Appender extends AbstractAppender {....
    public void append(LogEvent event) {try {Level level = event.getLevel();
            if (level.isMoreSpecificThan(Level.WARN)) {this.logError(event);
            }
        } catch (Exception var3) {if (!this.ignoreExceptions()) {throw new AppenderLoggingException(var3);
            }
        }
    }
   ....
    private void logError(LogEvent event) {Throwable exception = event.getThrown();
        if (exception != null) {Message message = event.getMessage();
            if (message != null) {Cat.logError(message.getFormattedMessage(), exception);
            } else {Cat.logError(exception);
            }
        }

    }
}

Cat類的logError函數最終調用到了DefaultMessageManager.shouldLog方法

public class Cat {...
    public static void logError(String message, Throwable cause) {try {getProducer().logError(message, cause);
        } catch (Exception var3) {errorHandler(var3);
        }

    }
    ...
    public static void logError(Throwable cause) {try {getProducer().logError(cause);
        } catch (Exception var2) {errorHandler(var2);
        }
    }
 }

public class DefaultMessageProducer implements MessageProducer {public void logError(String message, Throwable cause) {if (Cat.getManager().isCatEnabled()) {if (this.shouldLog(cause)) {   ....
            }
        } else {cause.printStackTrace();
        }
    }
        private boolean shouldLog(Throwable e) {return this.m_manager instanceof DefaultMessageManager ? ((DefaultMessageManager)this.m_manager).shouldLog(e) : true;
    }

DefaultMessageManager類的m_context在shouldLog的時候把異常堆棧保存下來了，如果Cat事務不關閉，隨著異常越來越多就導致了內存溢出

public class DefaultMessageManager {private ThreadLocalm_context = new ThreadLocal();
    boolean shouldLog(Throwable e) {DefaultMessageManager.Context ctx = (DefaultMessageManager.Context)this.m_context.get();
        return ctx != null ? ctx.shouldLog(e) : true;
    }

	class Context {// 內存不足就是由于錯誤堆棧信息沒有限制導致的
        private Setm_knownExceptions;

        public Context(String domain, String hostName, String ipAddress) {....
            this.m_knownExceptions = new HashSet();
        }

        public boolean shouldLog(Throwable e) {if (this.m_knownExceptions == null) {this.m_knownExceptions = new HashSet();
            }

            if (this.m_knownExceptions.contains(e)) {return false;
            } else {// 這里沒有限制大小，只要有異常就往Set里面添加，這里應該做一個優(yōu)化
                this.m_knownExceptions.add(e);
                return true;
            }
        }
   }
}

解決方案

手動調用Cat.getManager().reset();方法清空保存的異常堆棧信息

public void reset() {DefaultMessageManager.Context ctx = (DefaultMessageManager.Context)this.m_context.get();
        if (ctx != null) {if (ctx.m_totalDurationInMicros == 0L) {ctx.m_stack.clear();
                ctx.m_knownExceptions.clear();
                this.m_context.remove();
            } else {// 這里會釋放錯誤日志堆棧信息
                ctx.m_knownExceptions.clear();
            }
        }
    }

你是否還在尋找穩(wěn)定的海外服務器提供商？創(chuàng)新互聯www.cdcxhl.cn海外機房具備T級流量清洗系統配攻擊溯源，準確流量調度確保服務器高可用性，企業(yè)級服務器適合批量采購，新人活動首月15元起，快前往官網查看詳情吧

網站名稱：Cat導致內存不足原因分析-創(chuàng)新互聯
標題來源：http://m.kartarina.com/article48/ccgpep.html

成都網站建設公司_創(chuàng)新互聯，為您提供微信公眾號、定制網站、移動網站建設、網站建設、全網營銷推廣、ChatGPT

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源：創(chuàng)新互聯

猜你還喜歡下面的內容