彩票走势图

使用 MemberShip时,用 HttpWebRequest抓数据

原创|其它|编辑:郝浩|2009-04-09 09:30:47.000|阅读 691 次

概述:用HttpWebRequest来抓取同域下的文件数据(动态生成的)来生成新的对象.我们生成数据页的handler都是以.do结尾的,以示区分.但是这也带来了问题。

# 慧都年终大促·界面/图表报表/文档/IDE等千款热门软控件火热促销中 >>

最近在做一个项目,因为是分层设计,为了各层之间解耦,我们采用了HttpWebRequest来抓取同域下的文件数据(动态生成的)来生成新的对象.我们生成数据页的handler都是以.do结尾的,以示区分.但是这也带来了问题,在使用HttpWebRequest抓数据时,通不过验证.但是我们使用AJAX同样也是.do结尾的啊,却可以使用,奇怪!网上找Membership的验证原理,资料及其缺乏.多是设置cookie之类的,也试了好多次,均不奏效!事实也证明,当我们禁用cookie时,membership认证也同样起作用,设置cooke这条路走不通.陷入僵局!

只好在分析,为什么ajax请求行?而HttpWebRequest请求就不行呢?有什么特殊情况.打开我们经典的调试分析工具fiddler2.0,看看ajax传了什么

 

看到有.User一节的时候,我们眼睛一亮.或许给请求的头加上一个.User一节就能认证了,说做就做


HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(requestUrl);

request.Method 
= "POST";
request.ContentType 
= "application/x-www-form-urlencoded;charset=UTF-8;";
request.Headers.Add(
string.Format("Cookie:.User={0}", FormsAuthentication.GetAuthCookie(HttpContext.Current.User.Identity.Name, false).Value));



using (Stream stream = request.GetRequestStream())
{
    
using (StreamWriter sw = new StreamWriter(stream))
    {
        sw.Write(param);
    }
}

string json = string.Empty;

using (Stream stream = request.GetResponse().GetResponseStream())
{
    
using (StreamReader sr = new StreamReader(stream, Encoding.UTF8))
    {
        json 
= sr.ReadToEnd();
    }
}

运行,调试,全部通过,大功告成!

同理,如果碰到membership认证的网站,想抓网页,可以先注册一个用户,然后用fiddler查看用户的.User这一节,加入你程序的头里,就能通过验证了

总结:为什么ajax能抓,而HttpWebRequest不能抓,原因可能是ajax是使用的js调用,而js是aspx页面的一部分,aspx页面的请求当然能使用membership.而HttpWebRequest直接请求的是.do页面,不受.net管理.


标签:

本站文章除注明转载外,均为本站原创或翻译。欢迎任何形式的转载,但请务必注明出处、不得修改原文相关链接,如果存在内容上的异议请邮件反馈至chenjj@pclwef.cn

文章转载自:博客园

为你推荐

  • 推荐视频
  • 推荐活动
  • 推荐产品
  • 推荐文章
  • 慧都慧问
扫码咨询


添加微信 立即咨询

电话咨询

客服热线
023-68661681

TOP