Tag: Web-crawler
-
[R] Using TOR in R
使用 Tor 來匿名進行網路爬蟲，在 R 裡面要如何辦到呢？本文會介紹 curl、httr、環境變數等不同的設置方法 -
[R] Fixing "Peer certificate cannot be authenticated"
-
在 RStudio 檢視 xml/html 的工具：xmlview Package
xmlview package 提供了一個在 RStudio 上互動檢視 XML 以及測試 XPath 的方式。在寫爬蟲的過程中，常需要針對取得的 html 檢查內容，並用 XPath 或 CSS selector 擷取所需要的資料區塊。但在使用 IDE 撰寫腳本時，要做到這些事必須要把 html 的文本內容 print 出來，或是另存成 html file 再用瀏覽器檢視 -
[R crawler] 公開資訊觀測站 (實作篇)
使用 R 作為爬蟲工具，抓取公開資訊觀測站的公司資料，並將資料清理為可以儲存、分析的表格形式 -
[R crawler] 公開資訊觀測站 (觀察篇)
使用 R 作為爬蟲工具，自動化抓取公開資訊觀測站的公司資料。透過定義目標資料，觀察網站連線方式，找出網站阻擋連線的方法 -
爬蟲是一種基本技能
大部分有用的資訊其實在網路上便可取得，有更多時候這些網路上的資料相當豐富，不論是整理好的開放資料或是一些非結構資料，若能將資訊系統性且有效率地擷取下來，不僅會節省非常多時間，而且能獲得更多應用的機會。以前許多資料源取得的限制， 不再是個無解的難題之後，會釋放出更自由的想像空間，更大的挑戰便是整合資訊的應用，以及如何從中淘金了