Ruby で Twitter をスクレイピングするスクリプト

以下のプログラムはもう利用できません。Twitter.com は BASIC 認証では接続できなくなりました。

Ruby 初心者だが Twitter をスクレイピングするスクリプトをとりあえず書いてみた。Web のフレンドタイムラインから前回以降の新着発言を最大 30 ページ分まで収集して GMail に送信する。Twitter API を利用していないのはその方が取りこぼしがなさそうだったから。（今は Twitter API の安定性が改善されているかもしれない）

http://coderepos.org/share/browser/lang/ruby/robot-twitter/trunk

• 環境変数 TWITTER_USERANME, TWITTER_PASSWORD, GMAIL_USERNAME, GMAIL_PASSWORD, GMAIL_ADDRESS を設定する
• Gmail 送信は以下のブログのモジュールを利用させていただきました
  • http://ubuntumemo.blogspot.com/2008/05/smtpgmail.html
  • gmail.rb として保存する
• 初めて実行するときは touch last_statuses.rb で空ファイルを作っておく（どこまで発言をチェックしたか記録される）
• ruby robot-twitter.rb で実行する

ChangeLog

• 2009/09/05
  • Twitter.com のデザイン変更に対応
• 2009/05/20
  • フィルタ関数を追加
• 2009/04/02
  • Twitter.com の一部の URL の変更に対応
• 2008/11/22
  • スクレイピングができなかった場合に停止するように修正
• 2008/11/05
  • 一部の漢字コードの文字化けに暫定対処
• 2008/08/31
  • Twitter/Gmail のアカウント情報を環境変数で設定するように修正