自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Keep Learning

学习Spark、CarbonData 、Alluxio等,且为其Contributor,Github为:https://github.com/xubo245。欢迎微信联系601450868!...

原创 Scala学习2之spark学习6之scala版本不同的问题

Spark之scala版本不同的问题: 用sbt编译有问题,但可以执行: hadoop@Master:~/cloud/testByXubo/sh_spark_xubo/WordCountByTimeNoSort$ sbtRun.sh [info] Set current project to ...

2016-01-29 22:30:57

阅读数 3964

评论数 0

原创 Scala学习1之用sbt和脚本一步编译打包运行scala程序

用sbt和脚本一步编译打包运行scala程序 脚本: cp /home/hadoop/cloud/scala-2.10.5/sbt/LocalScala1/build* ./ cp -r /home/hadoop/cloud/scala-2.10.5/sbt/LocalScala1/proj...

2016-01-29 17:34:55

阅读数 2968

评论数 1

原创 spark学习5之sbt问题

Spark和scala之sbt问题 按照参考【1】顺利安装了sbt,并显示 hadoop@Master:~/cloud/scala-2.10.5$ sbt sbt-version [info] Set current project to scala-2-10-5 (in build file...

2016-01-28 22:11:29

阅读数 6668

评论数 1

原创 hadoop之WordCoun输出文件用时间命名,避免每次运行都要修改

hadoop之WordCoun输出文件用时间命名,避免每次运行都要修改 代码: //public class WordCount { // //} import java.io.IOException; import java.text.SimpleDateFormat; import ja...

2016-01-28 21:41:30

阅读数 521

评论数 0

原创 JAVA问题总结之30--输出当前精度为毫秒的时间并且按时间批量建立文件

JAVA问题总结之30--输出当前精度为毫秒的时间并且按时间批量建立文件 1.TimeByMs.java package java1; import java.util.Date; import java.text.*; public class TimeByMs { public ...

2016-01-28 21:30:51

阅读数 1049

评论数 0

原创 spark学习4之集群上直接用scalac编译.scala出现的MissingRequirementError问题(已解决)

报错代码: hadoop@Master:~/cloud/test/sh_spark_xubo/SparkPi$ scalac org/apache/spark/examples/SparkPi.scala error: scala.tools.nsc.MissingRequirementErr...

2016-01-27 21:40:28

阅读数 1552

评论数 3

原创 spark学习3之examples中的SparkPi

Spark examples之SparkPi 环境: 服务器:ubuntu spark 1.5.2 编写环境:window eclipse 可以直接在集群上跑,为了熟悉流程,先下载到window,然后打成jar包上传运行: 1.下载SparkPi.scala: 地址:/home/hado...

2016-01-27 19:36:24

阅读数 2603

评论数 0

原创 Spark问题之More than one scala library found in the build path

Spark问题之More than one scala library found in the build path 在window的eclipse上搭建spark时出错: More than one scala library found in the build path (D:...

2016-01-26 22:28:25

阅读数 4125

评论数 0

原创 Spark1.5.2在eclipse生成jar提交到集群运行

Spark1.5.2在eclipse生成jar提交到集群运行 环境: window7 ubuntu spark1.5.2 1.WordCountSpark.scala代码: //class WordCountSpark { // //} import org.apache.spar...

2016-01-26 22:05:52

阅读数 2077

评论数 3

原创 window上连接集群跑hadoop问题之java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.

环境: window7 64位 集群hadoop2.6.0,ubuntu window上连接集群跑hadoop问题之java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.$Windows. 参照htt...

2016-01-26 15:32:51

阅读数 15006

评论数 0

原创 aspera connect使用的问题

aspera connect使用的问题: 为何ascp老是报错? 网络的问题? hadoop@Mcnode1:~/.aspera/connect/etc$ ascp -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k ...

2016-01-20 21:16:34

阅读数 7771

评论数 10

原创 课程流恢复步骤和恢复后的地址

课程流恢复步骤和恢复后的地址 (一)课程流恢复步骤: 1.安装apache、php、mysql和phpmyadmin等 2.代码、附件和数据库迁移 之前备份的phpwind代码不全,需要重新下discuz!3.1的代码,然后再附件等data迁移进来 数据库备份的是20...

2016-01-20 15:50:29

阅读数 553

评论数 0

原创 用Aspera connect从NCBI上下载SRA格式数据

用Aspera connect从NCBI上下载SRA格式数据: 一. window 1.下载地址: http://downloads.asperasoft.com/connect2/ 2.安装很简单,略 3.下载: 数据下载地址: http://www.ncb...

2016-01-13 22:08:29

阅读数 13205

评论数 2

原创 BWA软件安装和使用

BWA软件安装和使用: 1.安装请参考【1】 2.使用: hadoop@Mcnode1:~/cloud/adam/xubo/data/down-sratool/sra$ bwa aln ../../dmel-all-chromosome-r5.37/dmel-all-chromosome-...

2016-01-13 20:54:48

阅读数 7415

评论数 0

原创 使用fastq-dump下载SRA数据

使用fastq-dump下载SRA数据 环境和配置请见系列博文 1.下载: fastq-dump -Z DRR047093 然后会显示信息:如果文件过大会有很多 可以显示制定条数 fastq-dump -X 5 -Z DRR047093 文件位置:自己安装sratoolkit时配置的位置 ...

2016-01-13 19:45:25

阅读数 11045

评论数 2

转载 使用速铂Aspera下载NGS数据

使用速铂Aspera下载NGS数据 参考:http://boyun.sh.cn/bio/?p=1933

2016-01-13 17:06:18

阅读数 1149

评论数 0

原创 ubuntu下使用sratoolkit将sra文件转换成fastq文件

ubuntu下使用sratoolkit将sra文件转换成fastq文件: 环境:ubuntu14.04 sratoolkit.2.5.5-ubuntu64 1.下载 下载地址: http://trace.ncbi.nlm.nih.gov/Traces/sra/sra.cgi?cmd=show...

2016-01-13 13:57:18

阅读数 6295

评论数 0

原创 window下使用sratoolkit将sra文件转换成fastq

window下使用sratoolkit将sra文件转换成fastq 并将fastq转换成fasta文件 1.ncbi下载sra文件 ftp://ftp-trace.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/S...

2016-01-12 22:24:53

阅读数 6859

评论数 2

原创 SRAtoolkit使用

SRAtoolkit使用 1.下载安装: http://trace.ncbi.nlm.nih.gov/Traces/sra/sra.cgi?view=toolkit_doc&f=std .sra转fastq文件: 待完成

2016-01-12 22:23:27

阅读数 7148

评论数 2

原创 linux在history上加上命令执行时间,用户和IP源等

1.设置显示时间和用户: echo 'export HISTTIMEFORMAT="%F %T `whoami` "' >> /etc/profile 执行source生效: source /etc/profile 查看结果: his...

2016-01-12 12:17:08

阅读数 2281

评论数 1

原创 linux常用指令

1.列出文件清单并按时间排序,且显示的是k或者M,而非字节: ll 相当于ls -l -t 按时间排序 -h  文件的实际大小,带单位显示 hadoop@Master:/var/log$ ll -h -t total 4.5M -rw-r----- 1 syslog ...

2016-01-11 14:39:55

阅读数 846

评论数 5

原创 人类基因组参考基因组

人类基因组参考基因组: GRCh38下载地址: ftp://ftp.1000genomes.ebi.ac.uk/vol1/ftp/technical/reference/GRCh38_reference_genome/ 使用以上数据的有: https://githu...

2016-01-08 22:25:25

阅读数 5097

评论数 0

原创 SNAP建立索引的时候出现问题

hadoop@Mcnode1:~/cloud/adam/xubo/snap$ ./snap-aligner index ../../down/xubo/GRCH38/GCA_000001405.15_GRCh38/seqs_for_alignment_pipelines.ucsc_ids/GCA_...

2016-01-08 21:49:18

阅读数 893

评论数 2

原创 amplab实验室的SNAP算法运行和操作

amplab实验室的SNAP算法运行和操作: 环境:ubuntu14.04 1.安装: 参考【1】和【2】,需要: g++ version 4.6zlib 1.2.8 from http://zlib.net/ 安装: sudo apt-get install g+...

2016-01-08 17:07:16

阅读数 1021

评论数 0

原创 待学习

工具: adam—使用Apache Avro, Apache Spark 和 Parquet的基因组处理引擎,有专用的文件格式,Apache 2软件许可。bioscala —Scala语言可用的生物信息学程序库 论文: https://scholar.google.com/s...

2016-01-07 15:14:15

阅读数 388

评论数 0

提示
确定要删除当前文章?
取消 删除