2014年12月2日 星期二

[移动] Mosquitto简要教程(安装/使用/测试)

http://blog.csdn.net/shagoo/article/details/7910598

上篇文章《Android主流推送方案分析(MQTT/XMPP/GCM)》中,我们给大家介绍了,如何在移动领域使用灵巧的消息传输协议MQTT来完成消息推送,最后也提到了开源项目Mosquitto。实际上,Mosquitto是一个实现了MQTT3.1协议的代理服务器,由MQTT协议创始人之一的Andy Stanford-Clark开发,它为我们提供了非常棒的轻量级数据交换的解决方案。本文的主旨在于记录Mosquitto服务的安装和使用,以备日后查阅。

1、获取&安装

Mosquitto提供了Windows、Linux以及qnx系统的版本,安装文件可从http://mosquitto.org/files/binary/地址中获取(建议使用最新的1.1.x版本)。Windows系统下的安装过程非常简单,我们甚至可以把Mosquitto直接安装成为系统服务;但是,在实际应用中,我们更倾向于使用Linux系统的服务器,接下来我们就将重点介绍Linux版Mosquitto的安装方法。

在Linux系统上安装Mosquitto,本人建议大家使用源码安装模式,最新的源码可从http://mosquitto.org/files/source/地址中获取。解压之后,我们可以在源码目录里面找到主要的配置文件config.mk,其中包含了所有Mosquitto的安装选项,详细的参数说明如下:

[html] view plaincopy
  1. # 是否支持tcpd/libwrap功能.  
  2. #WITH_WRAP:=yes  
  3.   
  4. # 是否开启SSL/TLS支持  
  5. #WITH_TLS:=yes  
  6.   
  7. # 是否开启TLS/PSK支持  
  8. #WITH_TLS_PSK:=yes  
  9.   
  10. # Comment out to disable client client threading support.  
  11. #WITH_THREADING:=yes  
  12.   
  13. # 是否使用严格的协议版本(老版本兼容会有点问题)  
  14. #WITH_STRICT_PROTOCOL:=yes  
  15.   
  16. # 是否开启桥接模式  
  17. #WITH_BRIDGE:=yes  
  18.   
  19. # 是否开启持久化功能  
  20. #WITH_PERSISTENCE:=yes  
  21.   
  22. # 是否监控运行状态  
  23. #WITH_MEMORY_TRACKING:=yes  
这里需要注意的是,默认情况下Mosquitto的安装需要OpenSSL的支持;如果不需要SSL,则需要关闭config.mk里面的某些与SSL功能有关的选项(WITH_TLS、WITH_TLS_PSK)。接着,就是运行make install进行安装,完成之后会在系统命令行里发现mosquitto、mosquitto_passwd、mosquitto_pub和mosquitto_sub四个工具(截图如下),分别用于启动代理、管理密码、发布消息和订阅消息。



2、配置&运行

安装完成之后,所有配置文件会被放置于/etc/mosquitto/目录下,其中最重要的就是Mosquitto的配置文件,即mosquitto.conf,以下是详细的配置参数说明。

[html] view plaincopy
  1. # =================================================================  
  2. # General configuration  
  3. # =================================================================  
  4.   
  5. # 客户端心跳的间隔时间  
  6. #retry_interval 20  
  7.   
  8. # 系统状态的刷新时间  
  9. #sys_interval 10  
  10.   
  11. # 系统资源的回收时间,0表示尽快处理  
  12. #store_clean_interval 10  
  13.   
  14. # 服务进程的PID  
  15. #pid_file /var/run/mosquitto.pid  
  16.   
  17. # 服务进程的系统用户  
  18. #user mosquitto  
  19.   
  20. # 客户端心跳消息的最大并发数  
  21. #max_inflight_messages 10  
  22.   
  23. # 客户端心跳消息缓存队列  
  24. #max_queued_messages 100  
  25.   
  26. # 用于设置客户端长连接的过期时间,默认永不过期  
  27. #persistent_client_expiration  
  28.   
  29. # =================================================================  
  30. # Default listener  
  31. # =================================================================  
  32.   
  33. # 服务绑定的IP地址  
  34. #bind_address  
  35.   
  36. # 服务绑定的端口号  
  37. #port 1883  
  38.   
  39. # 允许的最大连接数,-1表示没有限制  
  40. #max_connections -1  
  41.   
  42. # cafile:CA证书文件  
  43. # capath:CA证书目录  
  44. # certfile:PEM证书文件  
  45. # keyfile:PEM密钥文件  
  46. #cafile  
  47. #capath  
  48. #certfile  
  49. #keyfile  
  50.   
  51. # 必须提供证书以保证数据安全性  
  52. #require_certificate false  
  53.   
  54. # 若require_certificate值为true,use_identity_as_username也必须为true  
  55. #use_identity_as_username false  
  56.   
  57. # 启用PSK(Pre-shared-key)支持  
  58. #psk_hint  
  59.   
  60. # SSL/TSL加密算法,可以使用“openssl ciphers”命令获取  
  61. # as the output of that command.  
  62. #ciphers  
  63.   
  64. # =================================================================  
  65. # Persistence  
  66. # =================================================================  
  67.   
  68. # 消息自动保存的间隔时间  
  69. #autosave_interval 1800  
  70.   
  71. # 消息自动保存功能的开关  
  72. #autosave_on_changes false  
  73.   
  74. # 持久化功能的开关  
  75. persistence true  
  76.   
  77. # 持久化DB文件  
  78. #persistence_file mosquitto.db  
  79.   
  80. # 持久化DB文件目录  
  81. #persistence_location /var/lib/mosquitto/  
  82.   
  83. # =================================================================  
  84. # Logging  
  85. # =================================================================  
  86.   
  87. # 4种日志模式:stdout、stderr、syslog、topic  
  88. # none 则表示不记日志,此配置可以提升些许性能  
  89. log_dest none  
  90.   
  91. # 选择日志的级别(可设置多项)  
  92. #log_type error  
  93. #log_type warning  
  94. #log_type notice  
  95. #log_type information  
  96.   
  97. # 是否记录客户端连接信息  
  98. #connection_messages true  
  99.   
  100. # 是否记录日志时间  
  101. #log_timestamp true  
  102.   
  103. # =================================================================  
  104. # Security  
  105. # =================================================================  
  106.   
  107. # 客户端ID的前缀限制,可用于保证安全性  
  108. #clientid_prefixes  
  109.   
  110. # 允许匿名用户  
  111. #allow_anonymous true  
  112.   
  113. # 用户/密码文件,默认格式:username:password  
  114. #password_file  
  115.   
  116. # PSK格式密码文件,默认格式:identity:key  
  117. #psk_file  
  118.   
  119. # pattern write sensor/%u/data  
  120. # ACL权限配置,常用语法如下:  
  121. # 用户限制:user <username>  
  122. # 话题限制:topic [read|write] <topic>  
  123. # 正则限制:pattern write sensor/%u/data  
  124. #acl_file  
  125.   
  126. # =================================================================  
  127. # Bridges  
  128. # =================================================================  
  129.   
  130. # 允许服务之间使用“桥接”模式(可用于分布式部署)  
  131. #connection <name>  
  132. #address <host>[:<port>]  
  133. #topic <topic> [[[out | in | both] qos-level] local-prefix remote-prefix]  
  134.   
  135. # 设置桥接的客户端ID  
  136. #clientid  
  137.   
  138. # 桥接断开时,是否清除远程服务器中的消息  
  139. #cleansession false  
  140.   
  141. # 是否发布桥接的状态信息  
  142. #notifications true  
  143.   
  144. # 设置桥接模式下,消息将会发布到的话题地址  
  145. # $SYS/broker/connection/<clientid>/state  
  146. #notification_topic  
  147.   
  148. # 设置桥接的keepalive数值  
  149. #keepalive_interval 60  
  150.   
  151. # 桥接模式,目前有三种:automatic、lazy、once  
  152. #start_type automatic  
  153.   
  154. # 桥接模式automatic的超时时间  
  155. #restart_timeout 30  
  156.   
  157. # 桥接模式lazy的超时时间  
  158. #idle_timeout 60  
  159.   
  160. # 桥接客户端的用户名  
  161. #username  
  162.   
  163. # 桥接客户端的密码  
  164. #password  
  165.   
  166. # bridge_cafile:桥接客户端的CA证书文件  
  167. # bridge_capath:桥接客户端的CA证书目录  
  168. # bridge_certfile:桥接客户端的PEM证书文件  
  169. # bridge_keyfile:桥接客户端的PEM密钥文件  
  170. #bridge_cafile  
  171. #bridge_capath  
  172. #bridge_certfile  
  173. #bridge_keyfile  
  174.   
  175. # 自己的配置可以放到以下目录中  
  176. include_dir /etc/mosquitto/conf.d  
最后,启动Mosquitto服务很简单,直接运行命令行“mosquitto -c /etc/mosquitto/mosquitto.conf -d”即可开启服务。接下来,就让我们尽情体验Mosquitto的强大功能吧!当然,有了Mosquitto,我们就可以安心地抛弃“简陋”的rsmb了,有兴趣的话,大家还可以尝试把Mosquitto服务运用到上一篇的Android推送服务中。

另外,Mosquitto是个异步IO框架,经测试可以轻松处理20000个以上的客户端连接。当然,实际的最大承载量还和业务的复杂度还有比较大的关系。下图是本人在一台普通Linux机器上进行的压力测试结果,大家可以参考。



友情提醒:测试的时候不要忘记调整系统的最大连接数和栈大小,比如:Linux上可用ulimit -n20000 -s512命令设置你需要的系统参数。

[移动] Android推送方案分析(MQTT/XMPP/GCM)

http://blog.csdn.net/shagoo/article/details/7899466

本文主旨在于,对目前Android平台上最主流的几种消息推送方案进行分析和对比,比较客观地反映出这些推送方案的优缺点,帮助大家选择最合适的实施方案。

方案1、使用GCM服务(Google Cloud Messaging)
简介:Google推出的云消息服务,即第二代的C2DM
优点:Google提供的服务、原生、简单,无需实现和部署服务端。
缺点:Android版本限制(必须大于2.2版本),该服务在国内不够稳定、需要用户绑定Google帐号,受限于Google。

方案2、使用XMPP协议(Openfire + Spark + Smack)
简介:基于XML协议的通讯协议,前身是Jabber,目前已由IETF国际标准化组织完成了标准化工作。
优点:协议成熟、强大、可扩展性强、目前主要应用于许多聊天系统中,且已有开源的Java版的开发实例androidpn。
缺点:协议较复杂、冗余(基于XML)、费流量、费电,部署硬件成本高。

方案3、使用MQTT协议(更多信息见:http://mqtt.org/
简介:轻量级的、基于代理的“发布/订阅”模式的消息传输协议。
优点:协议简洁、小巧、可扩展性强、省流量、省电,目前已经应用到企业领域(参考:http://mqtt.org/software),且已有C++版的服务端组件rsmb。
缺点:不够成熟、实现较复杂、服务端组件rsmb不开源,部署硬件成本较高。

方案4、使用HTTP轮循方式
简介:定时向HTTP服务端接口(Web Service API)获取最新消息。
优点:实现简单、可控性强,部署硬件成本低。
缺点:实时性差。

对各个方案的优缺点的研究和对比,推荐使用MQTT协议的方案进行实现,主要原因是:MQTT最快速,也最省流量(固定头长度仅为2字节),且极易扩展,适合二次开发。接下来,我们就来分析使用MQTT方案进行Android消息的原理和方法,并架设自己的推送服务。

1、推送原理分析




实际上,其他推送系统(包括GCM、XMPP方案)的原理都与此类似。

2、推送服务端准备

a> 下载&解压rsmb安装包(下载地址:http://www.alphaworks.ibm.com/tech/rsmb
b> 进入对应的目录,比如32位的Linux系统则应该进入linux_ia32目录。
c> 编辑配置文件broker_1883.cfg,配置如下:

[html] view plaincopy
  1. port 1883  
  2. max_inflight_messages 10  
  3. max_queued_messages 1000  
d> 运行./broker broker_1883.cfg,显示如下:
20120823 110454.039 CWNAN9999I Really Small Message Broker
20120823 110454.039 CWNAN9997I Licensed Materials - Property of IBM
20120823 110454.039 CWNAN9996I Copyright IBM Corp. 2007, 2010 All Rights Reserved
20120823 110454.039 CWNAN9995I US Government Users Restricted Rights - Use, duplication or disclosure restricted by GSA ADP Schedule Contract with IBM Corp.
20120823 110454.039 CWNAN0049I Configuration file name is broker_1883.cfg
20120823 110454.040 CWNAN0053I Version 1.2.0, Aug 18 2010 17:03:35
20120823 110454.040 CWNAN0054I Features included: bridge
20120823 110454.040 CWNAN9993I Author: Ian Craggs (icraggs@uk.ibm.com)
20120823 110454.040 CWNAN0014I MQTT protocol starting, listening on port 1883
... ...
这样,推送服务的服务端就已经准备好了,监听1883端口。

3、推送客户端准备

a> 下载&解压AndroidPushNotificationsDemo项目(下载地址:https://github.com/tokudu/AndroidPushNotificationsDemo
b> 将该项目导入Eclipse中(File -> Export -> Existing Projects into Workspace)
c> 修改PushService.java中的MQTT_HOST常量为推送服务端的IP地址。
d> 启动Android模拟器,并安装该项目。

注意:在新版本的Android SDK中可能会遇到以下错误。
... ...
08-23 02:28:44.184: W/dalvikvm(282): VFY: unable to find class referenced in signature (Lcom/ibm/mqtt/MqttPersistence;)
08-23 02:28:44.194: I/dalvikvm(282): Failed resolving Lcom/tokudu/demo/PushService$MQTTConnection; interface 35 'Lcom/ibm/mqtt/MqttSimpleCallback;'
08-23 02:28:44.194: W/dalvikvm(282): Link of class 'Lcom/tokudu/demo/PushService$MQTTConnection;' failed
08-23 02:28:44.194: E/dalvikvm(282): Could not find class 'com.tokudu.demo.PushService$MQTTConnection', referenced from method com.tokudu.demo.PushService.connect
08-23 02:28:44.194: W/dalvikvm(282): VFY: unable to resolve new-instance 42 (Lcom/tokudu/demo/PushService$MQTTConnection;) in Lcom/tokudu/demo/PushService;
... ...
08-23 02:28:44.404: E/AndroidRuntime(282): java.lang.VerifyError: com.tokudu.demo.PushService
08-23 02:28:44.404: E/AndroidRuntime(282):     at com.tokudu.demo.PushActivity$1.onClick(PushActivity.java:32)
08-23 02:28:44.404: E/AndroidRuntime(282):     at android.view.View.performClick(View.java:2408)
08-23 02:28:44.404: E/AndroidRuntime(282):     at android.view.View$PerformClick.run(View.java:8816)
08-23 02:28:44.404: E/AndroidRuntime(282):     at android.os.Handler.handleCallback(Handler.java:587)
08-23 02:28:44.404: E/AndroidRuntime(282):     at android.os.Handler.dispatchMessage(Handler.java:92)
08-23 02:28:44.404: E/AndroidRuntime(282):     at android.os.Looper.loop(Looper.java:123)
08-23 02:28:44.404: E/AndroidRuntime(282):     at android.app.ActivityThread.main(ActivityThread.java:4627)
08-23 02:28:44.404: E/AndroidRuntime(282):     at java.lang.reflect.Method.invokeNative(Native Method)
08-23 02:28:44.404: E/AndroidRuntime(282):     at java.lang.reflect.Method.invoke(Method.java:521)
08-23 02:28:44.404: E/AndroidRuntime(282):     at com.android.internal.os.ZygoteInit$MethodAndArgsCaller.run(ZygoteInit.java:868)
08-23 02:28:44.404: E/AndroidRuntime(282):     at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:626)
08-23 02:28:44.404: E/AndroidRuntime(282):     at dalvik.system.NativeStart.main(Native Method)
... ...
原因是发布的时候没有加入wmqtt.jar包,解决办法如下:
1> 在项目根目录下创建libs目录,并把wmqtt.jar包移入该目录。
2> 重新配置项目的Java Build Path(右键菜单中的Properties选项中)。
3> 重新打包发布即可。

运行效果如下:



点击“Start Push Service”按钮即可开启推送服务。这时我们可以看到rsmb的服务日志中打出以下提示:
20120823 113742.297 CWNAN0033I Connection attempt to listener 1883 received from client tokudu/9774d56d682e549c on address 192.168.28.39:3345
其中的“9774d56d682e549c”就是对应的客户端ID号。

4、发送服务准备

a> 下载&解压PHP版的发送服务端代码send_mqtt.zip(下载地址:http://download.csdn.net/detail/shagoo/4520102
b> 修改etc/config.php中推送服务端的IP地址和端口号,即MQTT_SERVER_HOSTMQTT_SERVER_POST常量。
c> 打开对应的URL地址,就可以看到发送服务的界面,实际上就是向对应的推送客户端推送消息。



接着,我们在该界面中填入客户端ID(9774d56d682e549c)和推送消息(test)并点击“Send Push Message”按钮,服务端就可以向客户端推送消息了。我们看到,客户端上立马就可以收到刚刚推送的消息,如下图。



当然,以上方案还存在许多的不足,比如,如果客户端没有保持连接,发送的消息就会被丢弃。不过,我们可以利用MQTT协议开发出更强大的服务端来替代rsmb,更可以加入队列、缓存等功能进行优化,有兴趣的朋友不妨试试。可参考开源项目Mosquittohttp://mosquitto.org/),相关内容我们会在下一篇《Mosquitto简要教程(安装/使用/测试)》中介绍。