最近网上流行着一些采集程序,更多人拿着这些东西在网上叫卖,很多不太懂的人看着那些程序眼羡,其实如果你懂一些ASP,了解自动采集程序的原理后,你会感觉实现自动化也是那么的简单.
原理及优点:通过XML中的XMLHTTP组件调用其它网站上的网页，然后批量截取或替换原有的信息使其转化成变量后再一一储存到数据库中。其主要的优点便是无需再手工添加大量的信息了，可以指定对某一个站信息的截取进行批量录入，达到省时省力的目的。与其单纯的ASP小偷程序不同的是:它已经不再依赖其目标网站。
简单事例:
1 <%
2'声明取得目标信息的函数,通过XML组件进行实现。
3FunctionGetURL(url)
4SetRetrieval=CreateObject('Microsoft.XMLHTTP')
5WithRetrieval
6.Open'GET',url,False
7.Send
8GetURL=bytes2bstr(.responsebody)
9'对取得信息进行验证，如果信息长度小于100则说明截取失败
10iflen(.responsebody)<100then
11response.write'获取远程文件<ahref='&url&'target=_blank>'&url&'</a>失败。'
12response.end
13endif
14
15EndWith
16SetRetrieval=Nothing
17EndFunction
18'二进制转字符串，否则会出现乱码的！
19functionbytes2bstr(vin)
20strreturn=''
21fori=1tolenb(vin)
22thischarcode=ascb(midb(vin,i,1))
23ifthischarcode<&h80then
24strreturn=strreturn&chr(thischarcode)
25else
26nextcharcode=ascb(midb(vin,i+1,1))
27strreturn=strreturn&chr(clng(thischarcode)*&h100+cint(nextcharcode))
28i=i+1
29endif
30next
31bytes2bstr=strreturn
32endfunction
33'声明截取的格式，从Start开始截取，到Last为结束
34FunctionGetKey(HTML,Start,Last)
35filearray=split(HTML,Start)
36filearray2=split(filearray(1),Last)
37GetKey=filearray2(0)
38EndFunction
39
40DimSoftid,Url,Html,Title
41
42'获取要取页面的ID
43
44SoftId=Request('Id')
45
46 Url='http://www3.skycn.com/soft/'&SoftId&'.html'
47
48 Html=GetURL(Url)
49
50'以截取天空软件的软件名为例子
51
52 Title=GetKey(Html,'<fontcolor='#004FC6'size='3'>','</font></b></td></tr>')
53
54'打开数据库,准备入库
55
56dimconnstr,conn,rs,sql
57
58connstr='DBQ='+server.mappath('db1.mdb')+';DefaultDir=;DRIVER={MicrosoftAccessDriver(*.mdb)};'
59
60setconn=server.createobject('ADODB.CONNECTION')
61
62conn.openconnstr
63
64setrs=server.createobject('adodb.recordset')
65
66sql='select[列名]from[表名]where[列名]=''&Title&'''
67
68rs.opensql,conn,3,3
69
70ifrs.eofandrs.bofthen
71
72rs('列名')=Title
73
74rs.update
75
76setrs=nothing
77
78endif
79
80setrs=nothing
81
82Response.Write'采集完毕!'
83
84%> |