欢迎来到站长教程网!

Ubuntu

当前位置:主页 > 服务器教程 > Ubuntu >

轻松使用Hadoop RPC

时间:2019-11-08|栏目:Ubuntu|点击:

Hadoop RPC是Hadoop的一个重要部分,提供分布式环境下的对象调用功能,源码在org.apache.hadoop.ipc中。而HBase也几乎完全copy了这部分的源码,只是在配置项上面有所改动。

关于Hadoop RPC的机制分析和源码解读,网上已经有许多资料,一搜一大把,这里就不在描述了。本文通过一个小例子,介绍如何调用Hadoop RPC。

1. 应用场景

Hadoop RPC在整个Hadoop中应用非常广泛,Client、DataNode、NameNode之间的通讯全靠它了。

举个例子,我们平时操作HDFS的时候,使用的是FileSystem类,它的内部有个DFSClient对象,这个对象负责与NameNode打交道。在运行时,DFSClient在本地创建一个NameNode的代理,然后就操作这个代理,这个代理就会通过网络,远程调用到NameNode的方法,也能返回值。

在我的应用场景中,需要一个元数据服务器,各节点经常需要去查询元数据,可以使用这套RPC机制。

2. Protocol

被远程访问的类,也就是Server端,必须实现VersionedProtocol接口,这个接口只有一个方法getProtocolVersion,用来判断Server和Client端调用的是不是一个版本的,一般Server的代码修改一次,版本号就得改一次。

在例子中,我们定义一个接口MyProtocol,继承VersionedProtocol,里面定义Server端需要实现的方法。

这里MyProtocol接口只有一个方法println,输入一个Text,打印出来,并返回一个Text。

MyProtocol.java代码如下:

1 import org.apache.hadoop.io.Text;
2 import org.apache.hadoop.ipc.VersionedProtocol;
3
4 public interface MyProtocol extends VersionedProtocol {
5 public Text println(Text t);
6 }

 

3. Server

Server端实现上述的Protocol接口,里面需要启动一个RPC.Server,它是一个Thread。

构造方法是RPC.getServer(Object instance, String bindAddress, int port, Configuration conf)

instance:表示提供远程访问的对象,一般Server都会传入this作为参数; bindAddress:Server绑定的ip地址; port:Server绑定的端口; conf:Configuration对象,不用解释了吧。

MyServer实现了MyProtocol接口中定义的println方法,将参数打印到控制台,并返回finish。

MyServer.java代码如下:

1 import java.io.IOException;
2 import java.net.UnknownHostException;
3
4 import org.apache.hadoop.conf.Configuration;
5 import org.apache.hadoop.io.Text;
6 import org.apache.hadoop.ipc.RPC;
7 import org.apache.hadoop.ipc.RPC.Server;
8
9 public class MyServer implements MyProtocol{
10 private Server server;
11
12 public MyServer(){
13 try {
14 server = RPC.getServer(this, "localhost", 8888, new Configuration());
15 server.start();
16 server.join();
17 } catch (UnknownHostException e) {
18 e.printStackTrace();
19 } catch (IOException e) {
20 e.printStackTrace();
21 } catch (InterruptedException e) {
22 e.printStackTrace();
23 }
24 }
25
26 @Override
27 public Text println(Text t){
28 System.out.println(t);
29 return new Text("finish");
30 }
31
32 @Override
33 public long getProtocolVersion(String protocol, long clientVersion) throws IOException {
34 return 1;
35 }
36
37 public static void main(String[] args) {
38 new MyServer();
39 }
40
41 }

 

4. Client

Client端需要创建一个Server的远程代理,并可以通过操作这个代理,来调用到Server端的方法。

创建代理可以调用RPC.waitForProxy(Class protocol, long clientVersion, InetSocketAddress addr, Configuration conf)

protocol:一个Protocol的class,它必须是继承VersionedProtocol的接口; clientVersion:客户端的版本号,如果与服务端不一致,则会抛错; addr:一个InetSocketAddress对象,包含了ip和port; conf:不解释。

上一篇:“惊群”,看看Nginx是怎么解决它的

栏    目:Ubuntu

下一篇:在Eclipse中配置Hadoop插件

本文标题:轻松使用Hadoop RPC

本文地址:http://www.jh-floor.com/fuwuqijiaocheng/Ubuntu/122900.html

广告投放 | 联系我们 | 版权申明

重要申明:本站所有的文章、图片、评论等,均由网友发表或上传并维护或收集自网络,属个人行为,与本站立场无关。

如果侵犯了您的权利,请与我们联系,我们将在24小时内进行处理、任何非本站因素导致的法律后果,本站均不负任何责任。

联系QQ:888888 | 邮箱:888888#qq.com(#换成@)

Copyright © 2002-2017 青云站长教程网 版权所有 琼ICP备xxxxxxxx号