Posts

【Python】Windows10でスクレイピングしたときのメモ【Selenium】

  • POSTS
  • 109 Words
お名前.comからスクレイピングでDNSレコードを取得したかったのでその時のメモ 目次 必要なもの とりあえずブラウザを開く 操作系 reCAPTCHA認証の対処 try-exceptで例外対応 ログを残そう 必要なもの [Python、seleniumが動作する環境](https://web.archive.org/web/20200924142352/https://sho- kun.com/?p=467) とりあえずブラウザを開く from selenium import webdriver from selenium.webdriver.common.keys import Keys # ChromeのWebDriverオブジェクトを作成 options = webdriver.ChromeOptions() # ドライバの選択 driver = webdriver.Chrome(executable_path='/Users/ユーザー名/Desktop/Selenium/chromedriver.exe', chrome_options=options) # 要素が表示されるまで10秒待機する設定 driver.implicitly_wait(10) # 操作するページを開く driver.get('https://navi.onamae.com/domain') これでとりあえずブラウザは開けます 「chromedriver.exe」の場所はそれぞれなので都度変更する driver.implicitly_wait(10) この項目は、後ほど登場するクリック系の処理が実行できるようになるまでの最大待機時間 time.sleep(10) このようにしてもよいのだが これだと10秒必ず待たないといけないのでダメ。 かといって待機時間を早くすると読み込みが追い付かずにエラーが出たりする。 操作系 driver.find_element_by_name('loginId').send_keys('xxxxxx') driver.find_element_by_css_selector('button').click() driver.find_element_by_xpath( "//a[@class='btn gtmclick']" ).click() 上から順に ・nameがloginIdになっている要素にxxxxxxを入力 ・cssでbuttonになっている要素をクリック ・xpathで指定した要素をクリック xpathを使うと大体の要素を選択できる chromeの拡張機能「xpath helper」を使うと簡単にxpathを生成してくれる reCAPTCHA認証の対処 reCAPTCHA認証を突破する方法もあるみたいですが、今回は頻繁に認証しなかったので 認証が出てくるタイミングで入力待ちにしてその間に手動で認証した # ログインボタンのクリック driver.find_element_by_css_selector('button').click() # 認証が表示されるのでここで入力待ちにする input() 何かを入力すると処理が再開される 認証が終わっていないのにキーを入力したときの例外処理などはきちんとしておいたほうがよさそう、、、

【ガラホ】dignoケータイ2にアプリをインストール

  • POSTS
  • 48 Words
dignoケータイ2でsip電話を使えるように、「zoiper」 をインストールしたい しかしストアがないのでどのように入れよう、、、 方法1.Bluetoothでapkファイルを送ってインストール 送れるものの、インストールできなかった。 方法2.A「Android SDK Platform Tools」でPCからインストール この手順で成功しました。 流れは 「Android SDK Platform Tools」をWindowsに入れる 参考 [【最新版】Android SDK Platform Toolsを導入してADBコマンドを使えるようにする](https://web.archive.org/web/20200924151946/https://andmem.blogspot.com/2017/05/how- to-install-adb.html) androidにドライバを入れる 参考 Androidの各種ドライバのインストール(ADB,Bootloader,Recovery) インストールしたいapkファイルを用意 僕はここを使いました 「Android SDK Platform Tools」でインストール ※「Android SDK Platform Tools」を使うにはデバッグモードにする必要がある。 Android端末を「デバッグモード」(USBデバッグ)に設定する [【最新版】Android SDK Platform Toolsを導入してADBコマンドを使えるようにする](https://web.archive.org/web/20200924151946/https://andmem.blogspot.com/2017/05/how- to-install-adb.html) 以下参考記事 [【最新版】Android SDK Platform Toolsを導入してADBコマンドを使えるようにする](https://web.archive.org/web/20200924151946/https://andmem.blogspot.com/2017/05/how- to-install-adb.html) Android端末を「デバッグモード」(USBデバッグ)に設定する Androidの各種ドライバのインストール(ADB,Bootloader,Recovery)