查看: 124|回复: 0

基于jvm的计算框架尽量避免fullgc

[复制链接]
论坛徽章:
1
spark徽章
日期:2018-05-03 15:46:21
发表于 2019-9-2 09:38 | 显示全部楼层 |阅读模式

框架 开源 JVM

如果是公司自研计算框架,或者基于开源社区改造一款更符合自己公司业务场景的计算框架,
Java系统应该是推荐,那么如果一次性拉取TB数据进行分析的话,如果堆内存不足很容易oom

那么这时需要一次拉取一个批次,根据内存分配情况分批拉取数据,此时,如果并发上来了,很多人同时操作,
一次要计算很大批量的数据,那么jvm很容易会将这些对象移至老年代,反复,堆内存不足,ogc,stop the world
计算任务排队,卡死。。。

所以应该合理预估并发,一次请求创建的对象大小,合理设置jvm参数,尽可能减少stw
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2019-11-16 04:46 , Processed in 0.374771 second(s), 29 queries .