关于我们
技术分享
技术分享
hadoop HDFS 设置文件复试数(备份数)
hadoop HDFS 设置文件复试数(备份数)
2020-07-16
HDFS高可恢复行,高抗灾行,很重要一点就是通过存放多个副本来保证的,但是根据集群的规模不同,可能要设置不同的复制数,可通过配置文件和程序来实现。
方法一:通过配置文件实现
在hdfs-site.xml中有个属性在hdfs-site.xml中有个属性
<property> <name>dfs.replication</name> <value>3</value> <description>Default block replication. The actual number of replications can be specified when the file is created. The default is used if replication is not specified in create time. </description> </property>value默认为3,这个可以根据自己的情况设置。
方法二:在程序中设置
Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create(hadoop_path), conf); Path path = new Path(hadoop_path); FSDataOutputStream out = fs.create(path); // 控制复本数量-wt fs.setReplication(path, (short) 1);
这里把复制数设为了1,在hdfs中只保存一个副本,通过管理webUI查看

- 标签:
-
容灾备份
您可能感兴趣的新闻 换一批
热门文章
现在下载,可享30天免费试用