wafuの技術

技術習得の努力メモです。

2023-01-29から1日間の記事一覧

RubyでWebページのスクレイピング(mechanize)

Rubyには、mechanizeというライブラリを使うと スクレイピングが簡単にできそうです。 gem install mechanize■基本 ホームページデータの取得 require 'mechanize' sitedata = Mechanize.new page = sitedata.get("https://www.example.com") puts page.body…

Rubyでホームページの取得(1)

Rubyでホームページの取得方法は open-uriを使う方法が簡単です。 他にはnet/httpを使うと、高度な設定が可能です。例1 open-uri require "open-uri" open("https://www.example.com/" do |f| print f.read end例2 open-uri require 'open-uri' io = OpenURI…

Rubyでnokogiriの利用

Rubyでnokogiriの利用方法です。Nokogiriは、Rubyでよく使われている構文解析ライブラリです。 注意としてUTF-8以外の場合は注意が必要例1 require 'nokogiri' require 'pp' require 'open-uri' url = 'https://www.aaaaa.com' htdata = Nokogiri::HTML(URI.…