admin管理员组

文章数量:1516870

记录spark异常

1. spark内存溢出：数据倾斜问题

Container killed by YARN for exceeding memory limits…
Consider boosting spark.yarn.executor.memoryOverhead

内存溢出，百度了好多，都说调整这个那个参数，都未成功。

后发现是数据倾斜问题造成（某一个task执行特别慢的时候，关注一下条数）

解决：根据提示代码1040行定位到原因，某个rdd groupBy的key全为空，导致数据倾斜

2. Stage cancelled because SparkContext was shut down

小数据量8千万跑的时候没问题，3亿条一起跑，通过聚合join之类的操作 出现这个异常，后发现是reparation设置太大了，设置了15000

解决：reparation设置的8000然后就没问题了，这个值需要根据数据量及大小预估，3亿条数据约300G左右，相当于一个partition有40M

本文标签： 异常BoostingsparkmemoryOverheadexecutor

版权声明：本文标题：spark异常：Consider boosting spark.yarn.executor.memoryOverhead 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.betaflare.com/biancheng/1738334973a2076741.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。