自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Keep Learning

学习Spark、CarbonData 、Alluxio等,且为其Contributor,Github为:https://github.com/xubo245。欢迎微信联系601450868!...

原创 Spark问题14之Spark stage retry问题

更多代码请见:https://github.com/xubo245基因数据处理系列之SparkBWA1.解释1.1 简述当partitions超过节点数量的时候Lost executor的问题,已经提交到SparkBWA中,https://github.com/citiususc/SparkBWA...

2017-03-06 10:48:37 3591 0

原创 Spark问题13之Total size of serialized results of 30 tasks (2.0 GB) is bigger than spark.driver.maxResul

更多代码请见:https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本:alluxio(tachyon) 0.7.1,spark-1.5.2,hadoop-2.6.01.问题描述当使用cs-bwamem输出文件到local的sam时,...

2017-03-06 10:47:43 5704 0

原创 Spark问题12之kryoserializer shuffle size 不够,出现overflow

更多代码请见:https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本:alluxio(tachyon) 0.7.1,spark-1.5.2,hadoop-2.6.01.问题描述1.1运行cs-bwamem是出现序列化shuffle ...

2017-03-06 10:47:30 3726 2

原创 Spark问题11之广播失败

更多代码请见:https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本:alluxio(tachyon) 0.7.1,spark-1.5.2,hadoop-2.6.01.问题描述运行是出现Error cleaning broadcas...

2017-03-06 10:47:20 4553 0

原创 Spark问题10之Spark运行时节点空间不足导致运行报错

更多代码请见:https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本:alluxio(tachyon) 0.7.1,spark-1.5.2,hadoop-2.6.01.问题描述1.1 简述在写了脚本运行多个application的时...

2017-03-06 10:47:08 1832 0

原创 Spark问题9之Spark通过JNI调用c的问题解决

更多代码请见:https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本:alluxio(tachyon) 0.7.1,spark-1.5.2,hadoop-2.6.01.问题描述1.1 描述当scala通过JNI调用c时,使用spar...

2017-03-06 10:46:51 2584 6

原创 Spark问题8之worker lost

更多代码请见:https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本:alluxio(tachyon) 0.7.1,spark-1.5.2,hadoop-2.6.01.问题描述1.1 第一次八个节点七个节点dead,worker都l...

2017-03-06 10:46:39 1136 0

原创 Spark问题7之如何让节点执行指定的core数

更多代码请见:https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本:alluxio(tachyon) 0.7.1,spark-1.5.2,hadoop-2.6.01.问题描述1.1使用1,2的代码会有1个节点执行连个core1.2...

2017-03-06 10:46:18 1764 0

原创 Spark问题6之Spark丢失excutor之后appport占CPU90%

更多代码请见:https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本:alluxio(tachyon) 0.7.1,spark-1.5.2,hadoop-2.6.01.问题描述1.1 spark lost excutorhadoop...

2017-03-06 10:46:04 781 0

原创 Spark问题5之ERROR LiveListenerBus SparkListenerBus has already stopped

更多代码请见:https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本:alluxio(tachyon) 0.7.1,spark-1.5.2,hadoop-2.6.01.问题描述1.1 描述将uniref按照序列长度[0,100).[...

2017-03-06 10:44:19 10905 4

原创 Spark问题4之Excutor lost

更多代码请见:https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本:alluxio(tachyon) 0.7.1,spark-1.5.2,hadoop-2.6.01.问题描述1.1Mcnode1 的一个excutor丢失: E...

2017-03-06 10:44:09 985 0

原创 Spark问题3之SparkException:Error notifying standalone scheduler's driver endpoint

更多代码请见:https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本:alluxio(tachyon) 0.7.1,spark-1.5.2,hadoop-2.6.01.问题描述1.1运行alluxioHDFS.sh的时候出现错误:h...

2017-03-06 10:43:56 1402 0

原创 Spark问题2之window下载hdfs文件的hosts设置

更多代码请见:https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本:alluxio(tachyon) 0.7.1,spark-1.5.2,hadoop-2.6.01.问题描述window下打开hdfs,会出现问题:hdfs常配置了...

2017-03-06 10:43:10 674 0

原创 Spark问题1之读入参考序列的adam格式报错empty max

原因:读取方法不对// val rdd = sc.loadParquetContigFragments(args(0)) 解决办法:val rdd = sc.loadSequence(args(0)) 运行记录:hadoop@Master:~/xubo/project/load/loadfa...

2017-03-06 10:42:49 1416 0

提示
确定要删除当前文章?
取消 删除