hdfs优化-小文件合并

一.背景

hdfs的namenode存储元数据，包含fsimage(存储文件的owership和permissions,文件包含哪些blockid),block保存在哪个datanode,这些信息在启动后加载到内存，所以如果小文件特别多，则会对内存造成很大的压力。 解决方法：可以使用小文件合并的方式来解决此问题，优化hdfs的存储。这里的小文件指的是小于blocksize(hadoop2.x为128M)的文件。这里使用的SequenceFile方法来处理。

二.处理代码示例

这里使用的idea进行连接hadoop集群进行测试使用

package com.boyka.hdfs.smallfiles;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import org.apache.commons.compress.utils.IOUtils;import org.apache.commons.io.FileUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.SequenceFile;import org.apache.hadoop.io.Text;import org.junit.After;import org.junit.Before;import org.junit.Test;public class HdfsDemon {   FileSystem fs;   Configuration conf;   @Before   public void setup() throws IOException {      // 默认加载jar配置  core-site.xml  hdfs-site.xml拷贝到/src目录      System.setProperty("HADOOP_USER_NAME","root");      conf = new Configuration();      fs = FileSystem.get(conf);   }   @After   public void close() throws IOException {      fs.close();   }   /**    * 处理小文上传    * [[@throws](http://my.oschina.net/throws)](http://my.oschina.net/throws) Exception    */   [[@Test](http://my.oschina.net/azibug)](http://my.oschina.net/azibug)   public void seq() throws Exception {      Path path = new Path("/user/seq");      SequenceFile.Writer writer = SequenceFile.createWriter(fs, conf, path, Text.class, Text.class);//存储到hdfs的path路径      File file = new File("/Users/mac/Documents/needfile/test");      for(File f : file.listFiles()) {         writer.append(new Text(f.getName()),new Text(FileUtils.readFileToString(f)));//内容类型为Text Text      }      writer.close();   }   /**    * 查看sequencefile,循环获取小文件的内容    * [[@throws](http://my.oschina.net/throws)](http://my.oschina.net/throws) IOException    */   @Test   public void catseq() throws IOException {      Path path = new Path("/user/seq");      SequenceFile.Reader reader = new SequenceFile.Reader(fs, path, conf);      Text key = new Text();      Text value = new Text();      while(reader.next(key, value)) {         System.out.println(key);         System.out.println(value);         System.out.println("--------------------");      }      reader.close();   }}

上传小文件之后：

读取小文件效果：