如何抓取网页数据、分析并且去除Html标签(C#)
<@Aattention Content="本Blog原创文章，转载或引用请注明转载"
from="Robby.cnblogs.com"@>
由于自己的搜索引擎中做到了这一块内容，所以今天说说如何抓取网页数据、分析并且去除Html标签，给大家提供一个参考。我的平台是Visual
Studio2005，C#。
—————————————————————割—————————————————————————
首先将网页内容整个抓取下来，这个我就不说了，不是本次话题的重点。假设抓取的数据放在RecvBuffer这个byte[]中（数据从网络上传输过来时不是字符串的形式而是byte），那么我们的第一步就是将RecvBuffer转化为String，以便于对其操作，实例如下：
//
将接收到的数据增加到响应字符串中
strResponse
+=
Encoding.ASCII.GetString(RecvBuffer,
0
, nBytes);
strResponse即是保存数据的字符串，此处用系统自带的System.Text.Encoding的方法转化RecvBuffer，GetString的第一个参数RecvBuffer就是我们的原始数据，即包含需要解码的字节序列的字节数组；第二个参数0代表第一个要解码的字节的索引，一般就从0开始；第三个参数nBytes为要解码的字节数，可以自己调整。
得到了数据的字符串形式，然后可以对网页进行解析了（其实就是对字符串的各种操作和正则表达式的应用）。下面我以几个例子来说明对网页数据的解析：
//
解析页面，查找链接
//
此处尚需扩展，还有某些形式的链接不被识别
string
strRef
=
@"
(href|HREF|src|SRC|action|ACTION|Action)[ ]*=[ ]*[""'][^""'#>]+[""']
"
;
MatchCollection matches
=
new
Regex(strRef).Matches(strResponse);
strStatus
+=
"
相关文档：
源文：http://www.pconline.com.cn/pcedu/sj/wz/html/0401/293106.html
meta是用来在HTML文档中模拟HTTP协议的响应头报文。meta 标签用于网页的<head>与</head>中，meta 标签的用处很多。meta 的属性有两种：name和http-equiv。name属性主要用于描述网页，对应于content（网页内容），以便于搜索引擎机器人查� ......
// 抽象类 package com.albert.email.mime; import org.springframework.mail.javamail.JavaMailSender; public abstract class AbstractMessageSender {
protected String from;
protected String to;
protected String subject; ......
新建一个专门用来创建验证码图片的页面ValidateCode.aspx
它的后台cs文件代码如下：
PageLoad
复制代码 代码如下:
private void Page_Load(object sender, System.EventArgs e)
{
string checkCode = CreateRandomCode(4);
Session["CheckCode"] = checkCode;
CreateImage(checkCode);
}
其中CreateRand ......
当输入 》时自动补全 当输入《/时自动补全
“＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
" File: closetag.vim
" Summary: Functions and mappings to close open HTML/XML tags
" Uses: <C-_> -- close matching open tag
" Author: Steven Mueller <di ......
第一种：
<script language="javascript" type="text/javascript">
window.location.href="login.jsp?backurl="+window.location.href;
</script>
第二种：
<script language="javascript">
alert("返回");
window.history.back ......
