AB型技術系 主に備忘録

ほぼプログラム関連の備忘録

スクレイピング

スクレイピングした株価情報をjson形式で出力しFTPでサーバーにアップロードする

前回保有している株の株価情報をスクレイピングしてjson形式のファイルに出力することができました。freelancer.hatenablog.jpこのファイルを元に最終的にはスターサーバー上のMySQLに登録したいのでまずはFTPを使ってアップロードできるようにします。 サン…

スクレイピングした株価情報をjson形式で保存できるようにした

前回保有している株の株価情報をスクレイピングすることができました。freelancer.hatenablog.jp管理・編集しやすいように結果をjson形式のファイルに出力してみました。 サンプルプログラム import requests import json import time from bs4 import Beaut…

pythonで株価をスクレイピングする

前回Webページのスクレイピングまでできたので今回は株価のスクレイピングを試します。freelancer.hatenablog.jp 株価を取得できるサイト スクレイピングが許可されているサイトを調べてみると下記が見つかりました。 Google Finance www.google.com 株探 ka…

保有中の株の株価を自動集計したいのでpythonでスクレイピングする方法を調査

保有中の株の株価を自動で取得してデータベース化したいのでpythonでスクレイピングする方法を調査しました。 requestsモジュール 最低限必要なのはrequestsモジュールpipコマンドを使ってインストールします。 pip3 install requests スクレイピング対象の…