|
我所撰寫的一個小玩具 =口= |
前言
近期因為新專案的關係,需要嘗試去分析 PTT 特定看板的資訊
於是我陸陸續續撰寫了一些小程式:例如「推文分析器」、「發 P 幣機」、「PTT 尋寶機」
本文將針對「PTT 尋寶機」的開發,分享自己的心得!
以下先簡要的列出一些我對 PTT 的觀察:
- PTT 的看板與文章,其實都有對應的 Web 網頁 (兩者之間有時間上的誤差)
- 每篇文章的 Web 網頁中 <pre> … </pre> 之間的內容就是文章原文
- 每篇文章的 Web Url 都不重複
- PTT 的 Web 介面,可接受 1~2 秒間隔的 query 頻率(我沒有 try 到底線)
- PTT 的看板有文章數限制,對應到 Web 網頁的話,大約有 900 頁左右(頁數或變動)
- 透過 PTT 的 Web 介面連到已刪除的文章時,伺服器會回噴 404
- PTT 上的控碼跑到 Web 網頁會呈現亂碼,壞掉!
- 因為有「修文」的情況,所以文章的內文格式會「非、常、不、固、定」
心得
而在製作 「PTT 尋寶機」的實務上,我的心得為:
- 我採取透過 Web 介面檢索文章,並沒有使用 telnetlib 透過 telnet 進行檢索(懶惰!)
- 我並沒有使用 Scrapy 來協助抓取文章,而選擇自幹
- 時間有點趕,沒空玩新玩具了 Orz
- 加上我之前其實有寫過一些 Checkers 去鎖定交易文 … (爆!)
- 推薦使用老字號的 httplib2 … 雖然我覺得他也有些小問題 Orz
- 如果是抓取一般「正常的英文」網頁,其實我推薦使用 pyquery,支援直接填入 Url 當參數,然後就可以使用類似 jquery 的語法直接取得內容,方便度最高
- 如果是抓取一般「正常的各國」網頁,其實 requests 寫起來很順手,讀取抓到的值時還會根據 header 自動做 decode 的動作
- 我會建議使用 httplib2 是因為 PTT 的 Web 網頁編碼為 Big-5 ,且可能包含一些壞掉的控碼字元。因此,無論在做 decode 或 encode 時,都必須要手動加上 "ignore" 的選項,不然一遇到那些壞掉的字元就會噴出 exception … 。而 pyquery, requests 在使用上較為不方便(恩 … 後者也是支援讀取 socket 的 raw data 啦 … ),所以我就繼續使用 httplib2 了。( 我猜測 Scrapy 應該會對這種包含壞掉的字元的資料來源有處理的函式?)
- 對於 parse data 而言:
- pyquery 很方便,一句話就可以從網頁中抓出文章內容:
- 對於之後文章的 parsing 我採用「硬幹」 + 「regular expressions」,其實如果後者強的話,就一切都沒問題了 …
- 對於資料庫文章與 PTT Web 介面文章的同步而言,我採用懶人政策:
- 每天看看最近 100 篇文章有沒有變動
- 當有人要下載指定文章時,我才會將該文章同步到最新狀態
補充
資料庫我使用 mongodb,因為我常常亂改欄位(攤手),反正就一個極簡單 collection 而已
我並沒有使用專業檢索用的套件去分析文章,抓出關鍵字等等
我僅只是將資料庫內的文章做一些社交上的簡單統計
然後開了 nginx + gevent + bottle 的簡單組合提供 Web 介面
就完成小玩具了!(其實迴響還不錯 XD)
|
有趣(發人省思?)的社交分析 |
過程中,技術困難點大概還是在抓資料這一件事情
雖然我前端也卡了不少時間 … ( 囧rz 我不會寫前端啊啊啊
我是用 google 寫的啊)
效能的話,我則是完全沒有優化 XDDDD
玩具的目的很簡單,就只是協助板友備份文章、以及提供查詢自己的資料
以使用率來看,不會有讓伺服器有什麼負擔的可能性
兩天的使用情況是不重複訪客 800 人瀏覽(畢竟是耳機、音響還算小眾市場)
總之,寫個小玩具,能讓我多摸到一些 python 的 module 及被強迫摸前端的東西
然後又能創造出一些價值給板友、鄉民
也算是皆大歡喜了!
新版的個資法實在非常嚴厲
各位如果有撰寫相關程式請務必小心 Orz
雖然我自認此服務,不營利、不為蒐集特定對象而寫且純粹出於善意
但是我還是願意提供反檢索功能 (目前是沒有人跟我說他不要被檢索啦 … )
歡迎有興趣的大大與我一起交流相關技術 ~~
-----------------------------------------------------------------
2014.05.28 本文補充說明:
由於 ptt 的 web 版在 2013 年有多次的改版
所以本文內容已經不適用現在的情況
只能當做是一個記錄
目前 ptt 的 web 版已經是輸出 utf8 編碼的內容
且作者、標題、推文等等資訊都已經被存放在特定的 xpath 路徑之內
所以可以用 pyquery 等套件,用類似 jquery 的方式輕鬆取得內容
又,上述說明了這麼多
其實強者我學長 c3h3 已寫好 crawler 且 open source
需要的朋友請取用!
https://github.com/c3h3/PlaYnlp-Corpus/tree/master/crawlers/ptt_crawler