2013年10月4日 星期五

httpClient 带验证码登录实现

http://lzj0470.iteye.com/blog/1401444

在实现之前，需要注意一个问题。关于Cookie，如果能很好跟踪上到Cookie，基本上，实现都是小事一碟。
在网络上，有提到过验证码老是提示有错。貌似思路流程都是正确的。兄弟，如果你在半个小时还没搞清楚，先休息一下，听听歌，打打游戏。再想过。
推断为什么会出现这种问题。问题是你登录验证码页面(jsp,aspx)，实际上就是一个会话或者Cookie记录。此时，你有去连接登录页面，有可能已经重新生成一个新的验证码啦。你用了之前的验证码，指定会提示验证码错误。
在这里，我只能说一下我遇到的这种问题的解决办法。如果还有其他情况，可以私下M我，我们继续过。
一、抓取一个农业网站思路步骤如下：
1、首先需要获取验证码页面，把它以图片的格式保证下来。（图片格式需要通过抓包的工具查看。如：httpWatch）并跟踪到的cookie保存下来。cookie必须要跟抓包工具看到的cookie一致。
2、提交登录页面所需要的字段和验证码，字段尽可能全部提交上去。
二、代码实现。
Java代码  
  1. import java.io.BufferedReader;  
  2. import java.io.File;  
  3. import java.io.FileNotFoundException;  
  4. import java.io.FileOutputStream;  
  5. import java.io.IOException;  
  6. import java.io.InputStreamReader;  
  7.   
  8. import org.apache.commons.httpclient.Cookie;  
  9. import org.apache.commons.httpclient.Header;  
  10. import org.apache.commons.httpclient.HttpClient;  
  11. import org.apache.commons.httpclient.HttpException;  
  12. import org.apache.commons.httpclient.NameValuePair;  
  13. import org.apache.commons.httpclient.cookie.CookiePolicy;  
  14. import org.apache.commons.httpclient.methods.GetMethod;  
  15. import org.apache.commons.httpclient.methods.PostMethod;  
  16. import org.apache.commons.httpclient.params.DefaultHttpParams;  
  17.   
  18. public class __10086 {  
  19.   
  20.     public void test() throws HttpException, IOException{  
  21.         String url = "http://12582.10086.cn/user/login/verifycode.aspx";  
  22.         HttpClient httpClient = new HttpClient();  
  23.         DefaultHttpParams.getDefaultParams().setParameter("http.protocol.cookie-policy", CookiePolicy.BROWSER_COMPATIBILITY);  
  24.         GetMethod getMethod = new GetMethod("http://12582.10086.cn/user/login/verifycode.aspx");    
  25.         getMethod.setRequestHeader("Host", "12582.10086.cn");  
  26.         getMethod.setRequestHeader("User-Agent", "Mozilla/5.0 (Windows NT 5.2; rv:5.0.1) Gecko/20100101 Firefox/5.0.1");  
  27.         getMethod.setRequestHeader("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");  
  28.         getMethod.setRequestHeader("Accept-Language", "zh-cn,zh;q=0.5");  
  29.         getMethod.setRequestHeader("Accept-Charset", "GB2312,utf-8;q=0.7,*;q=0.7");  
  30.         getMethod.setRequestHeader("Connection", "keep-alive");  
  31. //      getMethod.setRequestHeader("Cookie", "Hm_lvt_6e06bb5a029d6c5473951d1079638828=1328777184942; Hm_lvt_e64244e1e591d0337e17a12b714c0996=1328777186856; WT_FPC=id=183.16.35.230-1530895312.30204303:lv=1328174810886:ss=1328174810886; ASP.NET_SessionId=gj25p555exiqjd45kdcqoq55; BIGipServernxt-wz=369797312.20480.0000; Hm_lpvt_6e06bb5a029d6c5473951d1079638828=1328777184942; Hm_lpvt_e64244e1e591d0337e17a12b714c0996=1328777186856; .12582portals=4CF97704261E34DBE12913CBA18211005E960282A771D94FF3709BAFC99610A7397BE8293ADB2E876A0A7380AC4A158016419745F27511D6E79F82A408D009519D6DDFE18A578E5CFC5F48025C75B33B6EBD43953A7DB05AEBAAB856E0AA29112818B4910350AADACD2012F5DE56297B1F6622ED7F4959D31E19C474E48F7773D7966437");  
  32.         getMethod.setRequestHeader("Cache-Control", "max-age=0");  
  33.         int code = httpClient.executeMethod(getMethod);  
  34.         Header header = getMethod.getResponseHeader("Set-cookie");   
  35.         System.out.println(header.getValue());  
  36.         String headerCookie = header.getValue();  
  37.         String SessionId = headerCookie.substring(headerCookie.indexOf("NET_SessionId=") + "NET_SessionId=".length(), headerCookie.indexOf(";"));  
  38.         System.out.println(SessionId);  
  39.         String BIGipServernxt = headerCookie.substring(headerCookie.indexOf("BIGipServernxt-wz=") + "BIGipServernxt-wz=".length(), headerCookie.length());  
  40.         BIGipServernxt = BIGipServernxt.substring(0, BIGipServernxt.indexOf(";"));  
  41.         StringBuffer sb = new StringBuffer();  
  42.         sb.append("Hm_lvt_6e06bb5a029d6c5473951d1079638828=1328778307106; ");  
  43.         sb.append("Hm_lvt_e64244e1e591d0337e17a12b714c0996=1328778308090; ");  
  44.         sb.append("WT_FPC=id=183.16.35.230-1530895312.30204303:lv=1328174810886:ss=1328174810886; ");  
  45.         sb.append("ASP.NET_SessionId=").append(SessionId).append("; ");  
  46.         sb.append("BIGipServernxt-wz=").append(BIGipServernxt).append("; ");  
  47.         sb.append("Hm_lpvt_6e06bb5a029d6c5473951d1079638828=1328778307106; ");  
  48.         sb.append("Hm_lpvt_e64244e1e591d0337e17a12b714c0996=1328778308090");  
  49.         System.out.println(sb.toString());  
  50.         String ValidCode = savegif(getMethod);  
  51.         getMethod.releaseConnection();  
  52.         // 第二次链接  
  53.         httpClient.getHostConfiguration().setHost("12582.10086.cn", 80, "http");  
  54.         PostMethod method = getPostMethod(ValidCode);  
  55.         method.setRequestHeader("User-Agent", "Mozilla/5.0 (Windows NT 5.2; rv:5.0.1) Gecko/20100101 Firefox/5.0.1");  
  56.         method.setRequestHeader("Host", "12582.10086.cn");  
  57.         method.setRequestHeader("Accept", "application/json, text/javascript, */*");  
  58.         method.setRequestHeader("Accept-Language", "zh-cn,zh;q=0.5");  
  59. //      method.setRequestHeader("Accept-Encoding", "gzip, deflate");  
  60.         method.setRequestHeader("Accept-Charset", "GB2312,utf-8;q=0.7,*;q=0.7");  
  61.         method.setRequestHeader("Connection", "keep-alive");  
  62.         method.setRequestHeader("Content-Type", "application/x-www-form-urlencoded; charset=UTF-8");  
  63.         method.setRequestHeader("X-Requested-With", "XMLHttpRequest");  
  64.         method.setRequestHeader("Referer", "http://12582.10086.cn/user/login/");  
  65.         method.setRequestHeader("Cookie", sb.toString());   
  66.         httpClient.executeMethod(method);  
  67.         System.out.println(method.getStatusCode());  
  68.         System.out.println(method.getResponseBodyAsString());  
  69.         // 第三次链接  
  70.         Header header1 = method.getResponseHeader("Set-cookie");   
  71.         System.out.println("dd=" + header1.getValue());  
  72.         sb.append("; " + header1.getValue());  
  73.         Cookie[] cookies = httpClient.getState().getCookies();  
  74.         method.releaseConnection();  
  75.         String my = "http://12582.10086.cn/my";  
  76.         System.out.println(sb.toString());  
  77.         getMethod = new GetMethod(my);  
  78.         getMethod.setRequestHeader("Host", "12582.10086.cn");  
  79.         getMethod.setRequestHeader("User-Agent", "Mozilla/5.0 (Windows NT 5.2; rv:5.0.1) Gecko/20100101 Firefox/5.0.1");  
  80.         getMethod.setRequestHeader("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");  
  81.         getMethod.setRequestHeader("Accept-Language", "zh-cn,zh;q=0.5");  
  82.         getMethod.setRequestHeader("Accept-Charset", "GB2312,utf-8;q=0.7,*;q=0.7");  
  83.         getMethod.setRequestHeader("Connection", "keep-alive");  
  84.         getMethod.setRequestHeader("Referer", "http://12582.10086.cn/user/login");  
  85.         getMethod.setRequestHeader("Cookie", sb.toString());  
  86.         code = httpClient.executeMethod(getMethod);  
  87.         System.out.println(getMethod.getStatusCode());  
  88.         System.out.println(getMethod.getResponseBodyAsString());  
  89.         File storeFile = new File("c:/2008sohu.html");    
  90.         FileOutputStream output = new FileOutputStream(storeFile);    
  91.         //得到网络资源的字节数组,并写入文件    
  92.         output.write(getMethod.getResponseBody());    
  93.         output.close();   
  94.     }  
  95.       
  96.     public String savegif(GetMethod getMethod) throws IOException {  
  97.         File storeFile = new File("c:/2008sohu.gif");    
  98.         FileOutputStream output = new FileOutputStream(storeFile);    
  99.         //得到网络资源的字节数组,并写入文件    
  100.         output.write(getMethod.getResponseBody());    
  101.         output.close();    
  102.         InputStreamReader is = new InputStreamReader(System.in);   
  103.         BufferedReader br = new BufferedReader(is);  
  104.         String ValidCode = "";  
  105.         try {  
  106.             ValidCode = br.readLine();  
  107.             br.close();  
  108.             is.close();  
  109.         } catch(Exception e) {  
  110.             e.printStackTrace();  
  111.         }  
  112.         return ValidCode;  
  113.     }  
  114.       
  115.     private PostMethod getPostMethod(String ValidCode) {  
  116.         PostMethod post = new PostMethod("/ajax/postlogin");  
  117.         NameValuePair[] simcard = {  
  118.                 new NameValuePair("email", "XXX"),  
  119.                 new NameValuePair("password", "XXX"),  
  120.                 new NameValuePair("ValidCode", ValidCode),  
  121.                 new NameValuePair("rme", "0"),  
  122.                 };  
  123.         post.setRequestBody(simcard);  
  124.         return post;  
  125.     }  
  126.       
  127.     public static void main(String args[]) {  
  128.         __10086 _10086 = new __10086();  
  129.         try {  
  130.             _10086.test();  
  131.         } catch (HttpException e) {  
  132.             // TODO Auto-generated catch block  
  133.             e.printStackTrace();  
  134.         } catch (IOException e) {  
  135.             // TODO Auto-generated catch block  
  136.             e.printStackTrace();  
  137.         }  
  138.     }  
  139. }  

来源于：http://www.agrilink.cn/
於
標籤：