自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Keep Learning

学习Spark、CarbonData 、Alluxio等,且为其Contributor,Github为:https://github.com/xubo245。欢迎微信联系601450868!...

原创 c语言复习2值指针实战

2015阿里巴巴招聘在线笔试试题_数据研发工程师 题目: (2) 已知inta[]={1,2,3,4,5};int*p[]={a,a+1,a+2,a+3};int**q=p;表达式* (p[0]+1) +**(q+2)的 值是 _。 A.5 B.6 C.7 D.8 E.4 F.9 分析:...

2016-03-30 11:02:19 434 0

原创 C语言复习1之指针

1.变量的属性 c语言中变量的地址和值的概念,比如: int x=1; printf("x value:%d\n",x); printf("x address:%d\n",&x); 输出: x value:1 x addre...

2016-03-30 10:27:13 563 0

原创 Spark中组件Mllib的学习1之Kmeans错误解决

解决办法:(中间比较多,为了方便看到,放在最开始) txt文件格式不对,用WPS转存的是UTF-16,spark跑的时候有问题 代码和数据请参考【1】【2】 问题: hadoop@Master:~/cloud/testByXubo/sh_spark_xubo/mllib/kmeans/KMea...

2016-03-29 18:09:59 3160 0

原创 Linux学习6之环境下暂停进程和恢复暂停的进程

1.查看进程号,有很多中方式: 比如: top 下图PID即为进程号 或者: hadoop@Mcnode4:~$ ps -aux| grep bwa hadoop 9394 4.5 78.4 5722420 4786516 pts/27 Sl+ 3月27 77:35 bwa me...

2016-03-28 21:34:17 2961 0

原创 Scala学习8之排序算法比较和实现(scala)

排序算法比较和实现(scala)+查找 待完成: 插入排序 冒泡排序 希尔排序 快速排序 归并排序 直接选择排序 堆排序 桶排序 计数排序 基数排序 。。。

2016-03-24 21:29:28 741 0

原创 Java问题总结之32-内存释放

l归纳起来,对象清除的途径有:  (1) 依靠Java的垃圾回收机制回收内存空间。  (2) 调用System.gc()方法,请求垃圾回收。  (3) Java系统开始运行时,自动调用java.lang.Object.finalize()方法释放内存空间。  (4) 在程序中重写的fina...

2016-03-24 20:42:42 1266 0

原创 Java问题总结之31-成员变量声明

[修饰符]    类型    变量名; 修饰符有: ①public。指明变量为公有,即程序中的其他类均可访问此类中的变量。 ②protected.指明变量为受保护访问。可被同一个包中的其他类、不同包中此类的子类以及此类自身所访问和引用。 ③private。指明变量为私有访...

2016-03-24 20:24:08 567 0

原创 Scala学习7之scala与java不同之总结3-特质和接口

1.scala和java为了避免出现菱形继承的问题,都只能继承一个类,但都可以继承多个特质(scala)或者接口(java); java中使用接口interfere,接口里面只能包含抽象方法,不能包含字段,也不能包含具体的方法; 而scala使用的是特质trait,既可以包含抽线方法,也可以包含具...

2016-03-24 12:17:24 1566 1

原创 Scala学习6之scala与java的不同之总结2-重写override

scala与java的不同之总结2 1.重写    scala: override def getAge(){} java: @override public Int getAge(){} 2.scala可以使用private[this]来更细化限定权限 3.scala对抽象类继承时...

2016-03-24 11:20:27 1115 0

原创 Scala学习5之scala与java的不同之总结1

1.scala不同声明变量的具体类型,只需要声明是var还是val,即变量或不变量,由编译器自动判断。而java需要具体声明,比如Int,String 2.scala函数声明返回值是声明在后面,而且可以不用return,直接在最后写返回变量或常量即可。比如     def main(args:...

2016-03-24 10:04:22 1761 0

原创 Linux学习5之查找文件中的某个字符串并返回所在行号

指令: head filename |grep -n string 运行记录: hadoop@Mcnode1:~/cloud/adam/xubo/data/test20160310/GCA_000001405.15_GRCh38$ cat GCA_000001405.15_GRCh38_full...

2016-03-17 19:31:42 5822 0

原创 基因数据处理17之使用scala对BWA运行结果进行各阶段程序时间提取和统计求和

提取代码: package test import scala.io.Source import java.io.File._ import java.io.PrintWriter object logPatternBwaAll extends App { val out=new Print...

2016-03-17 18:54:13 811 0

原创 基因数据处理16之scala对BWASW运行结果进行时间统计

说明: 环境如上篇 对BWASW数据处理的时候pattern需要修改,由于有很多这样的段: [bsw2_aln] read 17598 sequences/pairs (10000016 bp) ... [bsw2_aln] read 17644 sequences/pairs (1...

2016-03-17 18:47:03 976 0

原创 基因数据处理15之scala对BWA运行结果进行时间提取

环境: window  eclpise 4.3.2 scala 2.10.4 正则表达式 代码: package test import scala.io.Source import java.io.File._ import java.io.PrintWriter object logP...

2016-03-16 18:21:19 1166 0

原创 Linux学习6之shell筛选当前目录下文件并逐个对其进行操作

代码: hadoop@Master:~/cloud/adam/xubo/code$ cat a.sh #!/bin/bash #SRR003161h20t1 #samtools view -h -S SRR003161h20t1.sam >SRR003161h20t1.bam #sam...

2016-03-15 21:13:56 4624 0

原创 Linux学习5之shell显示当前目录下所有的文件和文件夹

hadoop@Mcnode4:~/cloud/adam/xubo/data/test20160310/bwa3sh/test142234$ cat showFileAndDirectory.sh #!/bin/bash dir=$(ls -l ./ |awk '!/^d/ {prin...

2016-03-15 20:27:39 4149 0

原创 NetBeans IDE 中国教育考试版(2007)使用说明和演示教程

NetBeans IDE 中国教育考试版(2007)使用说明和演示教程 官方网址:http://www.neea.edu.cn/hotinfo/infor.jsp?infoid=26910&class_id 官方说明: 为适应新技术的发展,同时向考生提供更好的学习...

2016-03-15 15:57:33 6774 3

原创 Linux学习4之shell脚本中的小数运算

1.awk hadoop@Mcnode1:~/cloud/adam/xubo/data/test20160310/test$ cat demical.sh #!/bin/bash echo `awk -v x=2.45 -v y=3.123 'BEGIN{printf "...

2016-03-15 12:51:59 17923 0

原创 Linux学习3之shell的if大小比对使用

if的大小比对: #!/bin/sh a=10 b=20 if [ $a == $b ] then echo "a is equal to b" elif [ $a -gt $b ] then echo "a is greater than b&quo...

2016-03-15 10:20:48 5978 0

原创 Linux学习2之shell脚本计算代码段运行的时间(精确到毫秒)

最后一种最简洁! 基本的一种,可以调试,提升三种 hadoop@Mcnode1:~/cloud/adam/xubo/data/test20160310/test$ cat a.sh #!/bin/bash startTime=`date +"%Y-%m-%d %H:%M:%S.%N&q...

2016-03-14 22:03:02 9299 1

原创 Linux学习1之shell中将脚本文件调用函数的输出值输出到文件

一般a.sh等脚本文件可以很容易的将a.sh的echo等数据输出到文本文件,如: ./a.sh >1.txt 但是无法将脚本文件调用函数的输出值输出到文件 可以使用%>: hadoop@Mcnode1:~/cloud/adam/xubo/data/test20160310/te...

2016-03-14 21:33:38 2732 0

原创 基因数据处理14之BWA三种方式bwa、BWA_SW、BWA_MEM使用

1.构建索引: bwa index ref.fa 或者从ftp下载,请参考【1】 2.BWA: bwa.sh为脚本文件 hadoop@Master:~/cloud/adam/xubo/data/test20160310/bwa3sh$ cat bwa.sh #!/bin/bas...

2016-03-13 20:30:44 8359 0

原创 基因数据处理13之bwa处理SRR003161

基因数据处理13之bwa处理SRR003161 hadoop@Master:~/cloud/adam/xubo/data/test20160310$ bwa aln GCA_000001405.15_GRCh38/GCA_000001405.15_GRCh38_full_analysis_s...

2016-03-13 19:04:05 1118 0

原创 基因数据处理12之samtool的tview来查看sam的匹配文件

基因数据处理12之samtool的tview来查看sam的匹配文件 具体的之前有文章讲过:http://blog.csdn.net/xubo245/article/details/50836185 记录: 1. 运行 samtools tview SRR003161h20Sorte...

2016-03-13 17:41:41 6214 0

原创 基因数据处理11之sam文件格式

基因数据处理11之sam文件格式 SAM的全称是sequence alignment map format。而BAM就是SAM的二进制文件(B取自binary) 1. read名称 2. SAM标记 3. chromosome 4. 5′端起始位置 5. MAPQ(mapping qu...

2016-03-13 16:44:49 2809 0

原创 基因数据处理10之BWA处理速度太慢

基因数据处理9之BWA处理速度太慢: hadoop@Mcnode1:~/cloud/adam/xubo/data/data_HDFS/GRCH38/GCA_000001405.15_GRCh38/test20160310$ bwa aln GCA_000001405.15_GRCh38/GCA_0...

2016-03-13 14:30:00 1753 0

原创 基因数据处理9之BWA小数据集测试(成功)

基因数据处理9之BWA小数据集测试(成功) hadoop@Mcnode1:~/cloud/adam/xubo/data/data_HDFS/GRCH38/GCA_000001405.15_GRCh38/test20160310$ cat SRR003161.fastq |head -20 >...

2016-03-12 22:52:38 1593 0

原创 基因数据处理8之BWA_MEM小数据集处理(成功)

基因数据处理7之BWA_MEM小数据集处理 环境:ubuntu14.04 6G内存 参考基因:GRCH38 来源请参考【1】 fastq数据:SRR003161.fastq 的头20行,即5条reads 操作记录: hadoop@Master:~/cloud/adam/xubo/data/te...

2016-03-12 22:09:58 3086 0

原创 基因数据处理7之BWA_MEM运行太长

基因数据处理6之BWA_MEM运行太长 hadoop@Master:~/cloud/adam/xubo/data/test20160310$ bwa mem GCA_000001405.15_GRCh38/GCA_000001405.15_GRCh38_full_analysis_set.fna...

2016-03-12 22:03:50 1928 0

原创 基因数据处理6之BWA_MEM无法分配内存

基因数据处理之BWA_MEM无法分配内存:      建立BWA索引的时候内存不足,现在用BWA-MEM又内存不足,真耗内存 hadoop@Mcnode1:~/cloud/adam/xubo/data/data_HDFS/GRCH38/GCA_000001405.15_GRCh38/test...

2016-03-12 14:26:10 2584 5

原创 基因数据处理5之GRCH38数据源和查看信息

数据源: ftp://ftp.ncbi.nlm.nih.gov/genomes/all/GCA_000001405.15_GRCh38/seqs_for_alignment_pipelines.ucsc_ids/GCA_000001405.15_GRCh38_full_analysis_set....

2016-03-11 19:29:06 6707 0

原创 基因数据处理4之BWA索引内存不够

基因数据处理4之BWA索引内存不够 hadoop@Mcnode1:~/cloud/adam/xubo/data/data_HDFS/Ref/RefFromBwaGit$ bwa index GRCH38.fa [bwa_index] Pack FASTA... 37.70 sec ...

2016-03-11 16:19:57 2442 0

原创 基因数据处理3之bwakit安装和使用

基因数据处理3之bwakit安装和使用 1.下载 方法1: http://bio-bwa.sourceforge.net/ 方法2: https://github.com/lh3/bwa/tree/master/bwakit 方法3:  wget http://sou...

2016-03-11 12:28:28 1725 0

原创 基因数据处理2之ftp数据快速查找

基因数据处理2之ftp数据快速查找 linux下可以用grep: curl -s "ftp://ftp.1000genomes.ebi.ac.uk/vol1/ftp/current.tree" | grep NA12878 运行结果: hadoop@Mcno...

2016-03-10 21:21:07 1190 0

原创 基因数据处理1之mapping_to_cram

基因数据处理1之mapping_to_cram 参考资料: A Worked Example Obtain some public data We will use the first 100,000 read-pairs from a yeast data set. curl ftp://...

2016-03-10 12:17:52 1943 0

原创 使用samtools来对sam/bam/cram相互转换

使用samtools来对sam/bam/cram相互转换 sam bam samtools view -h NA12878.bam >NA12878_2.sam samtools view -b -S NA12878.sam > NA12878_2.bam samtoo...

2016-03-09 22:58:59 24366 0

原创 SAMtools的常用指令

1.Samtools的help: hadoop@Mcnode1:~/cloud/adam/xubo/data/data_HDFS/adam$ samtools --help Program: samtools (Tools for alignments in the SAM format) Ve...

2016-03-09 22:27:40 4723 1

原创 问题之htslib安装时没有zlib

问题之htslib安装时没有zlib 问题: HTSlib uses compression routines from the zlib library . Building HTSlib requires zlib development files to be installed on ...

2016-03-09 21:16:21 3308 0

原创 Samtools说明文档网址变更

很多地方都有这个连接: samtools的说明文档:http://samtools.sourceforge.net/samtools.shtml 但是连不上了,所以现在的地址为:http://www.htslib.org/doc/samtools.html 分析原因: 连接超时 sa...

2016-03-09 15:02:41 1899 0

原创 htslib和Samtool安装步骤

htslib和Samtool安装步骤 (一)htslib安装:参考【1】 1.下载: git clone https://github.com/samtools/htslib.git 2.安装指令: autoconf # Generate the con...

2016-03-09 14:52:43 13822 0

提示
确定要删除当前文章?
取消 删除