多店舗化の命題にシステム化を選択したひとり店長奮闘記
VBScript(WSH)：JavaScriptのカレンダー操作してスクレイピングする方法 VBScriptはIEの力を借りて何のインストールも無しにDOM操作できる事が最大のメリットです。 が、jQueryの猛威に対処するには中々面倒です。 inputタグで記載されている内容を変えてもダメな時がある 例えば楽天市場の【売上データ (時間別)】のページなんかがコレです。 こんな感じで入力フォームを […]
WEBスクレイピングがBANされる3つの理由 対象サイトが更新して構成が変わったというのは抜きにするとBANの理由には大きく3つのポイントがあります。 操作のスピートが早すぎる 画面遷移がおかしい（直接JUMP出来ないページに直接アクセスしてくる） 過去BOT判定されたIPでアクセスしている 今回はそんなWEBスクレイピングでBANされない為に「してはいけない事」をまとめてみたいと思います。 WE […]
【VBScript(WSH)】chromeをDOM操作したいときどうすればいいか 自前のサイトをDOM操作したいときはJSを読み込ませておけばOKです。 そう言った事が出来ない場合（スクレイピングをしたいとき）どうするかという話です。 VBScriptやPowerShellを使ってもChromeはIEの様にオブジェクトとして引っ張ってこれない為、DOMによる狙い撃ちが一筋縄ではできません。それでも […]
VBScript(WSH)で作ったYahoo!ストアクリエイターPROのデータ収集で不具合修正 今までうまく動いていたスクリプトで突然エラーが発生しました。 システムエラーが発生しました。（エラーコード：0002） 「お問合せ」リンクからご連絡ください。 自動操縦scriptの結果なので「お問合せ」する事も出来ず、約8時間Yahoo！の動作解析してました。 何が変わっていたか 動いていたスクリプト […]
VBScript(WSH)で組んだ自動Amazonレポート取得で発生したエラー 広告効果測定とかね、レポートを自動で取得するようにVBSscript組んでました。 その結果おかしな現象が発生してました。 発生症状 自宅PCだと問題なく取得可能なのに、会社PCでの実行ではファイルに異常があると言われ開けない 実際の動作を見ていたところ、不可思議なポイントを発見。 「右クリックのメニュー違くない？」 […]
Amazonのログインで必ず2段階認証が求められてた理由 効率的に情報収集をしようとすれば、必ず自動化の処理が入ると思います。 今回もそんな一幕で発生した事態です。 ▼自動化ツール プログラム：自作 起動ブラウザ：IE11 自動化処理：指定Reportを毎日取得し指定のフォルダに保存 発生した現象 【このブラウザでコードを要求しないでください】にチェックを入れていたのに2段階認証が発生するようにな […]
VBScriptで書くセレクトボックスの選択方法 ルートは3通り Allオブジェクトで指定したSelectのオプションを全部取得して番号で選択を指示 Selectの場所を指定してindex番号で選択を指示 Selectの場所を指定してValueの値で選択を指示 こんなHTMLを例に解説します [crayon-6011e3f70b6bc439519270/] このコードは実際に楽天市場RMSで利用さ […]
VBScriptの sub と Function の動作の違い ぶっちゃけ全てのプロシージャをFunctionで書いても問題ないのであまり気にしてなかったけど…。 最大の違いは【戻り値】が扱えるか sub：戻り値を扱えない Function：プロシージャ名 ＝ 戻り値 で値を渡せる デカいね、この違い。 だからFunctionでばかり書いてしまうわけだけど。 subプロシージャの使いど […]
楽天RMSログイン処理をPHPのGoutteで組んでみたけど意味がなかった ログイン処理だけなら結構簡単に実装できます。 でもGoutteでサイト内を追っていこうとすると、すぐに限界が来ました。 何をやっても『認証エラーページ』に飛ばされる しっかり読み込んでから動かせばいいかもとSleepを活用するけどダメ。 ここまでダメだと単純なaタグのような装いをしつつJSで何かの値をPOSTしているのだろ […]
VBSでのブラウザ操作でIEが利用されているわけ ブラウザとしては開発も終わったIEですが、スクレイピングを含めたシステム自動化ではとてもよく利用されています。 その理由はVBS(VBA/VBE)との親和性の高さです。 例えば、IEを使うとBusyで読込中か否かを取得して読込が完了したら他の動作を行うなどの操作が出来るようになります。 SETしたオブジェクトに対して「プロパティ―で知る事の出来る情 […]
