多店舗化の命題にシステム化を選択したひとり店長奮闘記
Django：MySQLのdatetime型を日付一致で取り出す方法（QuerySetで） これも短い記事になりそうな気がしますが、備忘録ですのであしからず。 具体例：楽天市場のTrackingデータ収集 RMSの中をスクレイピングしてこんな姿のCSVファイルを作成しました。 このデータをDBに格納しようとした時、重複防止の処理をどう書くかが1つの課題となります。 ファイルを読込み、for inル […]
VBScript(WSH)：JavaScriptのカレンダー操作してスクレイピングする方法 VBScriptはIEの力を借りて何のインストールも無しにDOM操作できる事が最大のメリットです。 が、jQueryの猛威に対処するには中々面倒です。 inputタグで記載されている内容を変えてもダメな時がある 例えば楽天市場の【売上データ (時間別)】のページなんかがコレです。 こんな感じで入力フォームを […]
WEBスクレイピングがBANされる3つの理由 対象サイトが更新して構成が変わったというのは抜きにするとBANの理由には大きく3つのポイントがあります。 操作のスピートが早すぎる 画面遷移がおかしい（直接JUMP出来ないページに直接アクセスしてくる） 過去BOT判定されたIPでアクセスしている 今回はそんなWEBスクレイピングでBANされない為に「してはいけない事」をまとめてみたいと思います。 WE […]
【VBScript(WSH)】chromeをDOM操作したいときどうすればいいか 自前のサイトをDOM操作したいときはJSを読み込ませておけばOKです。 そう言った事が出来ない場合（スクレイピングをしたいとき）どうするかという話です。 VBScriptやPowerShellを使ってもChromeはIEの様にオブジェクトとして引っ張ってこれない為、DOMによる狙い撃ちが一筋縄ではできません。それでも […]
VBScript(WSH)で作ったYahoo!ストアクリエイターPROのデータ収集で不具合修正 今までうまく動いていたスクリプトで突然エラーが発生しました。 システムエラーが発生しました。（エラーコード：0002） 「お問合せ」リンクからご連絡ください。 自動操縦scriptの結果なので「お問合せ」する事も出来ず、約8時間Yahoo！の動作解析してました。 何が変わっていたか 動いていたスクリプト […]
VBScript(WSH)で組んだ自動Amazonレポート取得で発生したエラー 広告効果測定とかね、レポートを自動で取得するようにVBSscript組んでました。 その結果おかしな現象が発生してました。 発生症状 自宅PCだと問題なく取得可能なのに、会社PCでの実行ではファイルに異常があると言われ開けない 実際の動作を見ていたところ、不可思議なポイントを発見。 「右クリックのメニュー違くない？」 […]
Amazonのログインで必ず2段階認証が求められてた理由 効率的に情報収集をしようとすれば、必ず自動化の処理が入ると思います。 今回もそんな一幕で発生した事態です。 ▼自動化ツール プログラム：自作 起動ブラウザ：IE11 自動化処理：指定Reportを毎日取得し指定のフォルダに保存 発生した現象 【このブラウザでコードを要求しないでください】にチェックを入れていたのに2段階認証が発生するようにな […]
VBScriptで書くセレクトボックスの選択方法 ルートは3通り Allオブジェクトで指定したSelectのオプションを全部取得して番号で選択を指示 Selectの場所を指定してindex番号で選択を指示 Selectの場所を指定してValueの値で選択を指示 こんなHTMLを例に解説します [crayon-6100cd9005545688547726/] このコードは実際に楽天市場RMSで利用さ […]
VBScriptの sub と Function の動作の違い ぶっちゃけ全てのプロシージャをFunctionで書いても問題ないのであまり気にしてなかったけど…。 最大の違いは【戻り値】が扱えるか sub：戻り値を扱えない Function：プロシージャ名 ＝ 戻り値 で値を渡せる デカいね、この違い。 だからFunctionでばかり書いてしまうわけだけど。 subプロシージャの使いど […]
楽天RMSログイン処理をPHPのGoutteで組んでみたけど意味がなかった ログイン処理だけなら結構簡単に実装できます。 でもGoutteでサイト内を追っていこうとすると、すぐに限界が来ました。 何をやっても『認証エラーページ』に飛ばされる しっかり読み込んでから動かせばいいかもとSleepを活用するけどダメ。 ここまでダメだと単純なaタグのような装いをしつつJSで何かの値をPOSTしているのだろ […]
