hadoop中怎么將文件上傳到指定datanode-創新互聯

這期內容當中小編將會給大家帶來有關hadoop中怎么將文件上傳到指定datanode，文章內容豐富且以專業的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

創新互聯成立與2013年，是專業互聯網技術服務公司，擁有項目成都網站設計、成都網站制作、外貿網站建設網站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元西固做網站,已為上家服務,為西固各地企業和個人服務,聯系電話:028-86922220

package hgs.dfsclient.test;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.CreateFlag;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.permission.FsCreateModes;
import org.apache.hadoop.fs.permission.FsPermission;
import org.apache.hadoop.hdfs.DFSClient;
import org.apache.hadoop.hdfs.DFSOutputStream;
import org.apache.hadoop.hdfs.protocol.*;
import java.io.File;
import java.io.IOException;
import java.net.InetSocketAddress;
import java.net.URI;
import java.net.URISyntaxException;
import java.util.EnumSet;
import java.util.List;
import java.util.Random;
public class MainTest {
    public static void main(String[] args) throws IOException, URISyntaxException {
        Configuration conf =  new Configuration();
        conf.addResource(new File("D://hdfsconf/core-site.xml").toURI().toURL());
        conf.addResource(new File("D://hdfsconf/hdfs-site.xml").toURI().toURL());
        String url = conf.get("fs.defaultFS");
        System.out.println(url);
        Path path = new Path("/user/test.txt");
        DFSClient client = new DFSClient(new URI("hdfs://192.168.0.191:9000/"),conf);
        //favor datanode
        InetSocketAddress [] favor = {new InetSocketAddress("192.168.0.191", 50012)};
        createAndFillFile(client,conf,favor,"/user/test.txt4");
        listBlockLocation(client, conf, "/user/test.txt4",true );
        client.close();
    }
        //將數據傳輸到指定的datanode
    public static void createAndFillFile(DFSClient client,Configuration conf,
                                         InetSocketAddress [] favor,String src) throws IOException {
        DFSOutputStream dfsOutputStream = client.create(src, FsCreateModes.applyUMask(
                FsPermission.getFileDefault(), FsPermission.getUMask(conf)), EnumSet.of(CreateFlag.CREATE, CreateFlag.OVERWRITE),
                true, (short) 1, 32 * 1024 * 1024,
                null, 8192, null, favor, null);
        byte[] b = new byte[1024*3*3];
        for(int i = 0 ;i<100000;i++){
            fileByte(b);
            dfsOutputStream.write(b);
        }
        dfsOutputStream.close();
    }
    static Random rand = new Random(System.nanoTime());
    public static void fileByte(byte[] b){
        if(b != null ){
            rand.nextBytes(b);
        }
    }
        //獲取文件的block位置
    public static void listBlockLocation(DFSClient client,Configuration conf,String src,boolean needLocation) throws IOException {
        DirectoryListing directoryListing = client.listPaths(src, HdfsFileStatus.EMPTY_NAME,
                needLocation);
        HdfsFileStatus[] fileStatuses = directoryListing.getPartialListing();
        for(int i=0 ; i <fileStatuses.length ; i++){
            HdfsLocatedFileStatus hl = (HdfsLocatedFileStatus)fileStatuses[i];
            LocatedBlocks locatedBlocks = hl.getLocatedBlocks();
            List<LocatedBlock> locatedBlocks1 = locatedBlocks.getLocatedBlocks();
            for(LocatedBlock lb : locatedBlocks1 ){
                DatanodeInfo[] locations = lb.getLocations();
                for(DatanodeInfo li : locations){
                    System.out.println("addr:"+li.getIpAddr()+"--port:"+li);
                }
            }
        }
    }
}

上述就是小編為大家分享的hadoop中怎么將文件上傳到指定datanode了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注創新互聯-成都網站建設公司行業資訊頻道。

網站名稱：hadoop中怎么將文件上傳到指定datanode-創新互聯
URL標題：http://m.kartarina.com/article4/cdcooe.html

成都網站建設公司_創新互聯，為您提供網站維護、品牌網站建設、域名注冊、網頁設計公司、關鍵詞優化、網站營銷

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯