用站长工具来解决抓取谷歌结果返回403错误问题
站长工具能查询网站各大搜索引擎收录数量和百度权重、百度相关域名、百度快照、百度近日收录、网站历史查询、网站升级查询等。但是在抓取谷歌网页结果的时候，返回403错误问题，同样的地址，用浏览器打开时显示正常的搜索结果页面，但用程序抓取就出现403错误页面，里面讲的是判断访问对象是机器，可见谷歌对程序或软件抓取结果已经做了相关的措施，因为谷歌+1算法已经生效，防止机器抓取可以防止机器点击。所以，速优站长工具一直因为这个原因无法抓取谷歌收录、谷歌排名数据。
一直以来，我都在网上寻找问题的答案，因为我看有些站长工具能够抓取，所以问题一定有解决的方法，我开始怀疑是路径不对，不过我发觉也只有这个路径，于是我把目标指向了抓取网页的程序，采用其他方法，没想到，让我惊奇的结果出来了。用Microsoft.XMLHTTP对象获取就可以抓取到正常结果，我以前是用MSXML2.SERVERXMLHTTP.3.0对象来抓取的。代码如下。
Function getHTTPPage(url,charcode)
dim objXML
'set objXML=createobject("MSXML2.SERVERXMLHTTP.3.0") '调用XMLHTTP组件，测试空间是否支持XMLHTTP
set objXML=createobject("Microsoft.XMLHTTP")
objXML.open "GET",url,false 'false表示以同步的方式获取网页代码，了解什么是同步？什么是异步？
objXML.send() '发送
getHTTPPage=bBytesToBstr(objXML.responseBody,charcode)'返回信息，同时用函数定义编码
set objXML=nothing'关闭
End Function
Function bBytesToBstr(body,charcode)
dim objstream
set objstream = CreateObject("adodb.stream") '//调用adodb.stream组件
objstream.Type = 1
objstream.Mode =3
objstream.Open
objstream.Write body
objstream.Position = 0
objstream.Type = 2
objstream.Charset = charcode '转换原来默认的UTF-8编码转换成GB2312编码，否则直接用XMLHTTP调用有中文字符的网页得到的将是乱码
bBytesToBstr = objstream.ReadText
objstream.Close
set objstream = nothing
end Function
通过使用这个抓取函数，谷歌的收录数据、排名数据都可以正常获取了，从而解决了这个BUG。
速优站长工具正在一步步完善，而且源代码全部开源，只希望保留版权信息。
以上就是速优网络和大家分享的"用站长工具来解决抓取谷歌结果返回403错误问题",非常感谢您有耐心的读完这篇文章，我们将为您提供更多参考使用或学习交流的信息。我们还可为您提供：企业网站建设、网站仿制、网站复制、仿站、外贸网站建设、外贸建站、公司官网制作等服务，本公司以“诚信、专业、务实、创新”的服务理念服务于客户。如您需要合作，请扫码咨询，我们将诚挚为您服务。
TAG标签：百度收录
