書いたコードがエラーで動かない。そんな時の修復手順について
書いたコードがエラーで動かない。そんな時の修復手順について 現在、プログラミングスクールのお手伝いをさせて頂いているのですが「お手本の通りに書くと出来るけどそれを変更したときのエラーについていけない」というお話がありました。 丁度過去に納品したシステムの不具合が上がってきていたため、これを例にしてエラーを修正するプロセスを解説しようと思い記事にまとめてみました。お悩みのある方、ぜひご一読ください。 […]
多店舗化の命題にシステム化を選択したひとり店長奮闘記
書いたコードがエラーで動かない。そんな時の修復手順について 現在、プログラミングスクールのお手伝いをさせて頂いているのですが「お手本の通りに書くと出来るけどそれを変更したときのエラーについていけない」というお話がありました。 丁度過去に納品したシステムの不具合が上がってきていたため、これを例にしてエラーを修正するプロセスを解説しようと思い記事にまとめてみました。お悩みのある方、ぜひご一読ください。 […]
Django:MySQLのdatetime型を日付一致で取り出す方法(QuerySetで) これも短い記事になりそうな気がしますが、備忘録ですのであしからず。 具体例:楽天市場のTrackingデータ収集 RMSの中をスクレイピングしてこんな姿のCSVファイルを作成しました。 このデータをDBに格納しようとした時、重複防止の処理をどう書くかが1つの課題となります。 ファイルを読込み、for inル […]
VBScript(WSH):JavaScriptのカレンダー操作してスクレイピングする方法 VBScriptはIEの力を借りて何のインストールも無しにDOM操作できる事が最大のメリットです。 が、jQueryの猛威に対処するには中々面倒です。 inputタグで記載されている内容を変えてもダメな時がある 例えば楽天市場の【売上データ (時間別)】のページなんかがコレです。 こんな感じで入力フォームを […]
WEBスクレイピングがBANされる3つの理由 対象サイトが更新して構成が変わったというのは抜きにするとBANの理由には大きく3つのポイントがあります。 操作のスピートが早すぎる 画面遷移がおかしい(直接JUMP出来ないページに直接アクセスしてくる) 過去BOT判定されたIPでアクセスしている 今回はそんなWEBスクレイピングでBANされない為に「してはいけない事」をまとめてみたいと思います。 WE […]
【VBScript(WSH)】chromeをDOM操作したいときどうすればいいか 自前のサイトをDOM操作したいときはJSを読み込ませておけばOKです。 そう言った事が出来ない場合(スクレイピングをしたいとき)どうするかという話です。 VBScriptやPowerShellを使ってもChromeはIEの様にオブジェクトとして引っ張ってこれない為、DOMによる狙い撃ちが一筋縄ではできません。それでも […]
VBScript(WSH)で作ったYahoo!ストアクリエイターPROのデータ収集で不具合修正 今までうまく動いていたスクリプトで突然エラーが発生しました。 システムエラーが発生しました。(エラーコード:0002) 「お問合せ」リンクからご連絡ください。 自動操縦scriptの結果なので「お問合せ」する事も出来ず、約8時間Yahoo!の動作解析してました。 何が変わっていたか 動いていたスクリプト […]
VBScript(WSH)で組んだ自動Amazonレポート取得で発生したエラー 広告効果測定とかね、レポートを自動で取得するようにVBSscript組んでました。 その結果おかしな現象が発生してました。 発生症状 自宅PCだと問題なく取得可能なのに、会社PCでの実行ではファイルに異常があると言われ開けない 実際の動作を見ていたところ、不可思議なポイントを発見。 「右クリックのメニュー違くない?」 […]
Amazonのログインで必ず2段階認証が求められてた理由 効率的に情報収集をしようとすれば、必ず自動化の処理が入ると思います。 今回もそんな一幕で発生した事態です。 ▼自動化ツール プログラム:自作 起動ブラウザ:IE11 自動化処理:指定Reportを毎日取得し指定のフォルダに保存 発生した現象 【このブラウザでコードを要求しないでください】にチェックを入れていたのに2段階認証が発生するようにな […]
VBScriptで書くセレクトボックスの選択方法 ルートは3通り Allオブジェクトで指定したSelectのオプションを全部取得して番号で選択を指示 Selectの場所を指定してindex番号で選択を指示 Selectの場所を指定してValueの値で選択を指示 こんなHTMLを例に解説します [crayon-67a85a337a78e808183558/] このコードは実際に楽天市場RMSで利用さ […]
VBScriptの sub と Function の動作の違い ぶっちゃけ全てのプロシージャをFunctionで書いても問題ないのであまり気にしてなかったけど…。 最大の違いは【戻り値】が扱えるか sub:戻り値を扱えない Function:プロシージャ名 = 戻り値 で値を渡せる デカいね、この違い。 だからFunctionでばかり書いてしまうわけだけど。 subプロシージャの使いど […]