Python プログラミング記録#6 デベロッパーツール

本日も引き続き少しずつ勉強。

スクレイピングなどの際にはデベロッパーツールを活用するのが便利
デベロッパーツールは option+comand+iで起動
ElementsはHTMLとCSSがありスクレイピングの場所指定の際に仕様する

f:id:ohtanao21:20190719002928p:plain

Networkタブは通信に関わる内容の表示がされる

f:id:ohtanao21:20190719002924p:plain

Disable casheをオンにするとChromeは毎回リクエストを実行する

f:id:ohtanao21:20190719002933p:plain

CSSにはid属性とclass属性がある。スクレイピング時にはとても活用される

f:id:ohtanao21:20190719005240p:plain

まとめ：id と class の違いと使い分け方の基本

id と classの最大の違いは、ひとつのページで使える回数とひとつの要素に付与できる数。

id は一意のもので、ひとつのページ上に同じidは複数使えない。また、ひとつの要素にidはひとつしかつけられない。

classの使用数に制限はない。同じページ上に複数回使われても大丈夫。また、ひとつの要素に複数つけることも可能。

idは一意的の目印にするだけ、CSSによるデザイン設定はclass、などと使い分けると管理・メンテナンスが楽でオススメ。

jill-tone.com

BeautifulSoupでスクレイピングしてみた

Jupyter notebookでレスポンスを見ながら少し書いてみた

import requests
from bs4 import BeautifulSoup

#'対象URL'
url = 'https://en.wikipedia.org/wiki/List_of_Game_of_Thrones_episodes'

#HTMLの取得
r = requests.get(url)
html_contents = r.text

#html.parser、lxml、html5libのどれか明記すると良い
html_soup = BeautifulSoup(html_contents, 'html.parser')
html_soup.text

#最初のh1タグのみ取得
print(html_soup.find('h1'))
#結果 <h1 class="firstHeading" id="firstHeading" lang="en">List of <i>Game of Thrones</i> episodes</h1>

#最初のPタグのみ取得
print(html_soup.find('p').text)
#結果　Game of Thrones is an American fantasy drama television series created by David Benioff and D. B. Weiss. The series is based on George R. R. Martin's series of fantasy novels, A Song of Ice and Fire. The series takes place on the fictional continents of Westeros and Essos, and chronicles the power struggles among noble families as they fight for control of the Iron Throne of the Seven Kingdoms. The series starts when House Stark, led by Lord Eddard "Ned" Stark (Sean Bean), is drawn into schemes surrounding King Robert Baratheon (Mark Addy).[1]


#すべてのpタグを取得
for p in html_soup.find_all('p'):
    print(p.text)
#結果　Game of Thrones is an American fantasy drama television series created by David Benioff and D. B. Weiss. The series is based on George R. R. Martin's series of fantasy novels, A Song of Ice and Fire. The series takes place on the fictional continents of Westeros and Essos, and chronicles the power struggles among noble families as they fight for control of the Iron Throne of the Seven Kingdoms. The series starts when House Stark, led by Lord Eddard "Ned" Stark (Sean Bean), is drawn into schemes surrounding King Robert Baratheon (Mark Addy).[1]（途中略）The series premiered on April 17, 2011, on HBO. David Benioff and D. B. Weiss 
For the eighth season, see "Game of Thrones: Season Eight Ratings". TV Series Finale. April 16, 2019. Retrieved April 16, 2019.