スクレイピング

1/2ページ

【VBScript(WSH)】chromeをDOM操作したいときどうすればいいか

【VBScript(WSH)】chromeをDOM操作したいときどうすればいいか 自前のサイトをDOM操作したいときはJSを読み込ませておけばOKです。 そう言った事が出来ない場合(スクレイピングをしたいとき)どうするかという話です。 VBScriptやPowerShellを使ってもChromeはIEの様にオブジェクトとして引っ張ってこれない為、DOMによる狙い撃ちが一筋縄ではできません。それでも […]

VBScript(WSH)で作ったYahoo!ストアクリエイターPROのデータ収集で不具合修正

VBScript(WSH)で作ったYahoo!ストアクリエイターPROのデータ収集で不具合修正 今までうまく動いていたスクリプトで突然エラーが発生しました。 システムエラーが発生しました。(エラーコード:0002) 「お問合せ」リンクからご連絡ください。 自動操縦scriptの結果なので「お問合せ」する事も出来ず、約8時間Yahoo!の動作解析してました。 何が変わっていたか 動いていたスクリプト […]

VBScript(WSH)で組んだAmazonからの自動化レポート取得で発生したエラー

VBScript(WSH)で組んだ自動Amazonレポート取得で発生したエラー 広告効果測定とかね、レポートを自動で取得するようにVBSscript組んでました。 その結果おかしな現象が発生してました。 発生症状 自宅PCだと問題なく取得可能なのに、会社PCでの実行ではファイルに異常があると言われ開けない 実際の動作を見ていたところ、不可思議なポイントを発見。 「右クリックのメニュー違くない?」 […]

Amazonのログインで必ず2段階認証が求められてた理由

Amazonのログインで必ず2段階認証が求められてた理由 効率的に情報収集をしようとすれば、必ず自動化の処理が入ると思います。 今回もそんな一幕で発生した事態です。 ▼自動化ツール プログラム:自作 起動ブラウザ:IE11 自動化処理:指定Reportを毎日取得し指定のフォルダに保存 発生した現象 【このブラウザでコードを要求しないでください】にチェックを入れていたのに2段階認証が発生するようにな […]

VBScriptで書くセレクトボックスのプルダウン選択肢の選択方法

VBScriptで書くセレクトボックスの選択方法 ルートは3通り Allオブジェクトで指定したSelectのオプションを全部取得して番号で選択を指示 Selectの場所を指定してindex番号で選択を指示 Selectの場所を指定してValueの値で選択を指示 こんなHTMLを例に解説します [crayon-5f94ffee11aa6282977309/] このコードは実際に楽天市場RMSで利用さ […]

VBScriptのsubとFunctionの動作の違い

VBScriptの sub と Function の動作の違い ぶっちゃけ全てのプロシージャをFunctionで書いても問題ないのであまり気にしてなかったけど…。 最大の違いは【戻り値】が扱えるか sub:戻り値を扱えない Function:プロシージャ名 = 戻り値 で値を渡せる デカいね、この違い。 だからFunctionでばかり書いてしまうわけだけど。 subプロシージャの使いど […]

楽天RMSログイン処理をPHPのGoutteで組んでみたけど意味がなかった

楽天RMSログイン処理をPHPのGoutteで組んでみたけど意味がなかった ログイン処理だけなら結構簡単に実装できます。 でもGoutteでサイト内を追っていこうとすると、すぐに限界が来ました。 何をやっても『認証エラーページ』に飛ばされる しっかり読み込んでから動かせばいいかもとSleepを活用するけどダメ。 ここまでダメだと単純なaタグのような装いをしつつJSで何かの値をPOSTしているのだろ […]

VBSでのブラウザ操作でIEが利用されているわけ

VBSでのブラウザ操作でIEが利用されているわけ ブラウザとしては開発も終わったIEですが、スクレイピングを含めたシステム自動化ではとてもよく利用されています。 その理由はVBS(VBA/VBE)との親和性の高さです。 例えば、IEを使うとBusyで読込中か否かを取得して読込が完了したら他の動作を行うなどの操作が出来るようになります。 SETしたオブジェクトに対して「プロパティ―で知る事の出来る情 […]

VBS(WSH)でウィンドのアクティブ化が失敗する原因と解決策

VBSでウィンドのアクティブ化が失敗する原因と解決策 今回のVBS系案件で一番悩んだのがコレです。 ECサイトの各モールにログインすると言う仕様があったのですが、VBSでログイン処理+αを組んだのに2店舗目になるとブラウザが最前面に表示されないのです。 IEが悪いのかと思いChromeで実行すると最前面になる。 「え?? じゃぁIEの問題??」 などなど、いろいろと迷走していました。 ブラウザアク […]

AccessVBAとExcelマクロとVBScriptの(ブラウザ操作上の)注意すべき相違点

AccessVBAとExcelマクロとVBScriptの(ブラウザ操作上の)注意すべき相違点 私はVBScriptでの記載は初経験。言語的には AccessVBA と大差ないので苦ではありませんでしたが、悩むポイントがいくつかありました。 その中の1つがブラウザのアクティブ化です。 アクセスとExcelを経由してブラウザを起動すると勝手にアクティブにしてくれる AccessやExcelからブラウザ […]