Depoly your flask app into Heroku Fix shit IE code manually ISBN to Book Category by Scraping DangDang A Generic Makefile for C/C++ Program Configure Raspberry pi Remove watermark with PyPDF2 tips for docker Anaconda+TensorFlow+CUDA Snippets Configure Remote Mathematica Kernel Build your own ngrok server Access Array SSL VPN 使用Rstudio制作html5幻灯片 tips for Mac OS X system Tips for ipython notebook 配置Ubuntu server + Openbox (Obuntu) tips for Vimperator tips for Vim 安装CUDA My First Jekyll Blog rsync常见选项 在Linux中读取Ipod touch的文件 tip for texmacs 在VPS上建站的一些tip Gnuplot绘图札记 Samba系统和autofs自动挂载 Linux中alsamixer声卡无法录音 搭建自己的RSS订阅器——Tiny Tiny RSS Grub2引导安装Ubuntu awk tips 将Ubuntu系统装入U盘 The Great Rtorrent 编译GCC 再这样剁手!!!该死的libgd 使用ulimit进行资源限制 使用SSH代理上IPV6 使用RCurl抓取网页数据 修复Ubuntu Grub记 openbox中的文件关联 在Ubuntu 12.04下编译qtiplot 处理BCM4312网卡驱动纪实 配置我的Ubuntu Server记 Cygwin杂记 Linux 使普通用户具有以超级权限执行脚本 让firefox自定义地处理文件类型 WordPress优秀主题及插件 在phpcloud上搭建wordpress UBUNTU下用pptpd做VPN server ubuntu升级内核过后的一些问题 安装telnet服务 kubuntu札记 64位kubuntu札记 统计软件R virtualbox stardict星际译王 Ubuntu重装windows系统后的grub引导修复 SSH服务及花生壳域名解析 采用cbp2make工具由code::blocks工程创建makefile文件 UBUNTU 札记

使用RCurl抓取网页数据

2013年10月03日

老板要搞大文章,看师兄在数据上挣扎,就抽空写个简单的R代码抓取网页数据。

本来是想上12306直接抓列车时刻表来着,但是那个有验证码,不好搞。所以上火车票抓数据好了。

基本的代码如下,等有空了再来更新数据库存储,遍历等问题。

require(RCurl)
require(XML)
myHttpheader <- c(
  "User-Agent"="Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:19.0) Gecko/20100101 Firefox/19.0 ",
  "Accept"="text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
  "Accept-Language"="zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3",
  "Connection"="keep-alive",
  "Accept-Charset"="GB2312,utf-8;q=0.7,*;q=0.7",
  "Cache-Control"="max-age=0"
)

cHandle <- getCurlHandle(httpheader = myHttpheader)
d <- debugGatherer()

from <- paste(paste('%',unlist(iconv('北京',to='GB2312',toRaw=TRUE)),sep=''),collapse='')
to <- paste(paste('%',unlist(iconv('上海',to='GB2312',toRaw=TRUE)),sep=''),collapse='')
# 这里是关键,得到中文字符GB2312编码的URL encode
url <- paste("http://search.huochepiao.com/chaxun/result.asp?txtChuFa=",
             from,"&txtDaoDa=",to,"&Submit=%d5%be%d5%be%b2%e9%d1%af",sep="")
webpage <- getURL(url, .opts = list(debugfunction=d$update,verbose = TRUE), curl=cHandle, .encoding='UTF-8')
#webpage <- iconv(webpage,"GB2312","UTF-8") # 如果这里先做了编码转换,后面htmlParse解析的时候就不用设置编码了

data_html <- htmlParse(webpage,asText=TRUE, encoding='GB2312')
data_final <- readHTMLTable(data_html, which = 6, header = TRUE) # 读取第6个表格

注:

  1. 填写表单
getForm("http://alexa.ip138.com/post/search.asp",zip="518100") postForm("http://www.shenzhenpost.com.cn/services/postcode/civilcode.asp", "key"="武汉","B1"="查 询",way="add")
  1. 可以用firefox上的live http header插件分析一下http header以及post content。