自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Keep Learning

学习Spark、CarbonData 、Alluxio等,且为其Contributor,Github为:https://github.com/xubo245。欢迎微信联系601450868!...

原创 Adam学习27之序列化问题解决办法

1.问题:1.1 描述当读入fastq文件后,需要进行转换,比如collect或者读取属性,会出现没有序列化的问题1.2 问题代码:package org.dsw.coreimport org.apache.spark.{SparkContext, SparkConf} import org.bd...

2016-12-16 17:29:55

阅读数 637

评论数 0

原创 Spark生态之Alluxio学习25--spark从HDFS和Alluxio读取时间比较

更多代码请见:https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本:alluxio-1.3.0(tachyon),spark-1.5.2,hadoop-2.6.01.解释想要分析alluxio加速效果,发现alluxio会出现长尾...

2016-12-15 18:42:05

阅读数 649

评论数 3

原创 Spark生态之Alluxio学习24--分别读取HDFS和Alluxio的数据进行line count比较分析

更多代码请见:https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本:alluxio-1.3.0(tachyon),spark-1.5.2,hadoop-2.6.01.解释测量alluxio和hdfs哪个速度快 2.代码:2.1 h...

2016-12-15 18:41:37

阅读数 738

评论数 0

提示
确定要删除当前文章?
取消 删除