商业性 Web 站点大都提供站点认证功能以保护某些受限资源,HTTP 协议和 J2EE 规范对 Web 站点的认证过程都已有了详尽的定义,常见浏览器都能根据相应协议提供对应的界面形式帮助用户完成站点的认证过程。但在某些情况下,我们需要编写程序直接获 取站点的受保护资源,在这类情况下,就不能利用浏览器给定的界面去完成认证,而需要我们根据不同的协议人工地发送相应请求以完成整个认证过程。本文根据这 种需求给出一个基于 Apache HttpClient 应用包的解决方案。
J2EE 站点认证简介
出于安全性的需要和用户授权管理的考虑,常见的 J2EE 站点对特定资源都会加入认证/授权机制。例如一个公网上的论坛,一个只对特定用户开放的 RSS 或 Atom Feed,这些资源都必须在确信访问者为被授权用户时才能向访问者开放。为了实现这样的功能,J2EE 站点通常会采用某种站点认证机制,其中常见的有 HTTP Basic 认证和 J2EE Form-Based 认证。
HTTP Basic 认证
HTTP Basic 认证是 HTTP 认证协议(rfc2617)所定义的标准认证方式。要求 HTTP Basic 认证的服务器会在客户端访问受保护资源时向客户端发出请求,要求客户端上传用户名和密码对。服务器在收到用户名/密码并验证通过后,才将保护资源的内容返 回给客户端。它的工作机制如下图:
图 1. HTTP Basic 认证原理
图 2. Firefox 在收到步骤 2 中请求时弹出的用户名/密码输入框
J2EE Form-Based 认证
Form-Based 认证不同于 HTTP Basic 认证,它是 J2EE 对于认证方式的一种扩展。它使用自定义的 HTML 表单(通常为 login.jsp)作为输入用户名和密码的用户界面,最终将用户在表单上填入的用户名/密码提交至服务器。它的工作机制如下:
图 3. Form-Based 认证原理
Apache HttpClient 认证功能简介
Apache HttpClient 是 Apache 开源组织提供的纯 Java 实现的 HTTP 开源包。它能模拟各类 HTTP 客户端所需功能,例如 HTTP/HTTPS 连接,GET/PUT 请求,甚至提供了超时重试的功能。
HttpClient 也提供了对标准 HTTP 认证的接口,在最新的 HttpClient 3.1 中,支持的认证方式有:
- Basic 认证:即前面提到的 rfc2716 规范中定义的 HTTP Basic 认证方式。
- Digest 认证:一种基于摘要的更为安全的认证协议,虽然它的应用没有 Basic 认证方式广泛。
- NTLM 认证:微软制定的认证协议规范,然而此项标准的细节却并不公开。
使用 Apache HttpClient 通过 HTTP Basic 认证
由于 HttpClient 内置支持 HTTP Basic 认证方式,因而使用 HttpClient 通过 HTTP Basic 认证的步骤显得较为简单。
- 为 HttpClient 的状态对象添加用户名/密码对。可以注意到在 setCredentials 方法中的另一个参数为 AuthScope 对象。事实上我们添加的每个用户名/密码对都与一个 AuthScope 对象相关联。AuthScope 对象确定了此用户名/密码对的适用站点,在示例中所给出的用户名/密码对将只适用于 www.sample.com 位于 80 端口上的资源。HttpClient 在与其他站点交互时将不会使用此用户名/密码对,这样有效地防止了机密数据被传送至不必要的站点。
- 开 启 HttpClient 提供的占先式(Preemptive)认证功能。开启了这个功能后,HttpClient 对于那些处在之前请求过的URI空间范围内的资源,会主动地随请求一起向服务器发送 Basic 认证数据,而不是等待服务器返回是否需要认证的响应后再提交认证。在多数情况下,能够减少请求-响应传递的次数,从而间接提高了服务器的响应能力。值得注 意的是在这种情况下必须在 AuthScope 对象中明确指定适用站点,以避免向不相关的站点泄漏敏感数据。
- 创建 GetMethod 对象,此对象将使用 GET 方式对保护资源发出 HTTP 请求。
- setDoAuthentication(true) 语句将告知 HttpClient 在服务器端发回需要认证的请求后,自动将我们在步骤 1 中设置的用户名/密码对发送至服务器,以完成认证过程。
清单 1. Basic 认证示例
由 于 Basic 认证方式直接向服务器发送未经加密的用户名/密码对,导致这些敏感数据很容易在网络传输过程中被截取,因此安全性很低。所幸 HttpClient 对基于安全套接字层(SSL)的 HTTP 协议(HTTPS)提供了足够的支持,而且使用起来也很简单。不过之前需确保本地机器已经安装好 JSSE(Sun 提供的 JDK 1.4 及之后的版本已集成 JSSE)。
- HttpClient client = new HttpClient();
- // 1
- client.getState().setCredentials(
- new AuthScope("www.sample.com", 80, AuthScope.ANY_REALM),
- new UsernamePasswordCredentials("username", "password")
- );
- // 2
- client.getParams().setAuthenticationPreemptive(true);
- // 3
- GetMethod get = new GetMethod("http://www.sample.com/protected.html");
- // 4
- get.setDoAuthentication( true );
- try {
- // 5
- int status = client.executeMethod( get );
- // process the content from the response
- …
- } finally {
- get.releaseConnection();
- }
使用 HttpClient 进行标准的 SSL 连接对用户来说是透明的。参照清单 1,用户只需用符合 HTTPS 协议的 URL 作为参数生成 GetMethod 对象即可。除此之外,HttpClient 还允许用户定制 SSL 使得客户端程序能够自动接受不同类型的证书。
利用 HttpClient 实现一个自定义的 SSL 协议包括以下 3 个关键步骤:
- 定制一个实现了 org.apache.commons.httpclient.protocol.SecureProtocolSocketFactory 接口的工厂类。这个工厂类的作用是开启一个与服务器通讯的 Socket 并进行必需的初始化动作。关于实现该接口的具体细节,HttpClient 项目的主页上有详细的代码实例和注释说明。
- 利用之前创建的工厂类对象、HTTPS 协议名称和默认端口号实例化一个新的 org.apache.commons.httpclient.protocol.Protocol 对象。
- 注册这个自定义的 Protocol 对象使其与某个协议名绑定,当 HttpClient 处理此类协议时,将默认调用这个自定义 Protocol 对象。
使用 Apache HttpClient 通过 Form-Based 认证
- // 1
- SecureProtocolSocketFactory sampleSSLSocketFactory = new SampleSSLSocketFactory();
- // 2
- Protocol httpsProtocol = new Protocol("https", sampleSSLSocketFactory, 443);
- // 3
- Protocol.registerProtocol("https", httpsProtocol);
- HttpClient client = new HttpClient();
- client.getState().setCredentials(
- new AuthScope("www.sample.com", 80, AuthScope.ANY_REALM),
- new UsernamePasswordCredentials("username", "password")
- );
- // Request the protected resource via SSL
- GetMethod get = new GetMethod("https://www.sample.com/protected.html");
- get.setDoAuthentication( true );
- try {
- int status = client.executeMethod( get );
- // process the content from the response
- …
- } finally {
- get.releaseConnection();
- }
Form-Based 认证相对 HTTP Basic 认证而言过程较为复杂,需要开发者记录下相关的 cookie 信息和部分 header 字段并多次向站点发出请求。它的大致原理如下:
注意:不同的应用可能有不同的配置方式,开发者可以先在浏览器中手动访问受保护资源,获取 login.jsp。进行分析后即可获知对应的认证服务资源 j_security_check 的位置以及对应的用户名与密码在表单中的字段。
以下给出一个示例:
清单 3. Form-Based 认证示例
其中各个步骤解释如下:
- HttpClient client = new HttpClient();
- client.getState().setCookiePolicy(CookiePolicy.COMPATIBILITY);
- // 1
- GetMethod authget = new GetMethod("httpwww.sample.comsampleAppsample.rss");
- try {
- client.executeMethod(authget);
- }
- catch (HttpException httpe) {
- httpe.printStackTrace();
- }
- catch (IOException ioe) {
- ioe.printStackTrace();
- }
- // 2
- NameValuePair[] data = new NameValuePair[2];
- data[0] = new NameValuePair("j_username", username);
- data[1] = new NameValuePair("j_password", password);
- PostMethod authpost = new PostMethod("http://www.sample.com/sampleApp/j_security_check");
- authpost.setRequestBody(data);
- // 3
- Header hCookie = authget.getRequestHeader("Cookie");
- Header hHost = authget.getRequestHeader("Host");
- Header hUserAgent = authget.getRequestHeader("User-Agent");
- if (hCookie == null || hHost == null || hUserAgent == null) {
- return null;
- }
- authpost.setRequestHeader(hCookie);
- authpost.setRequestHeader(hHost);
- authpost.setRequestHeader(hUserAgent);
- authget.releaseConnection();
- try {
- client.executeMethod(authpost);
- // 4
- Header header = authpost.getResponseHeader("location");
- if (header != null) {
- String newuri = header.getValue();
- GetMethod redirect = new GetMethod(newuri);
- client.executeMethod(redirect);
- // process the content from the response
- redirect.releaseConnection();
- }
- } catch (HttpException httpe) {
- httpe.printStackTrace();
- return null;
- } catch (IOException ioe) {
- ioe.printStackTrace();
- return null;
- }
- authpost.releaseConnection();
- 使用 GET 方式请求 sample.rss。服务器收到连接后将在响应中给出连接信息,HttpClient 在接收到响应后会将其保存至 cookie 中。
- 准备第二次对 j_security_check 的连接,将用户名和密码填入新的 POST 请求的正文。
- 将 cookie 和部分 header 字段拷贝至新请求的报头中,并发送请求。
- 从认证成功的响应中获取重定向,并对重定向指向的资源发出请求,获取并处理内容。
随着 Web 2.0 时代的到来,Web 站点的数据和内容显得愈加重要。而为了收集这些数据,人们需要利用计算机本身的搜集能力,通过后台请求,而不是浏览器交互的方式去获取站点的数据。而商业 站点中普遍存在的认证/授权机制显然成为了开发此类数据收集程序的一道屏障。Apache HttpClient 根据这些需求,提供了多种 HTTP 认证机制的实现方案。开发人员也可以利用 HttpClient 强大的底层功能,设计特定方案以通过 J2EE 站点的认证体系。
原文链接:http://www.ibm.com/developerworks/cn/java/j-lo-httpclient-j2ee/