書いたコードがエラーで動かない。そんな時の修復手順について
書いたコードがエラーで動かない。そんな時の修復手順について 現在、プログラミングスクールのお手伝いをさせて頂いているのですが「お手本の通りに書くと出来るけどそれを変更したときのエラーについていけない」というお話がありました。 丁度過去に納品したシステムの不具合が上がってきていたため、これを例にしてエラーを修正するプロセスを解説しようと思い記事にまとめてみました。お悩みのある方、ぜひご一読ください。 […]
スクレイピング
1/3ページ
Django：MySQLのdatetime型を日付一致で取り出す方法（QuerySetで）
- 2021.04.15
- Datetime型, Django, python, QuerySet, RMS, Tracking, スクリプト備忘録, スクレイピング, 日付検索, 楽天市場, 自作システム
Django：MySQLのdatetime型を日付一致で取り出す方法（QuerySetで） これも短い記事になりそうな気がしますが、備忘録ですのであしからず。 具体例：楽天市場のTrackingデータ収集 RMSの中をスクレイピングしてこんな姿のCSVファイルを作成しました。 このデータをDBに格納しようとした時、重複防止の処理をどう書くかが1つの課題となります。 ファイルを読込み、for inル […]
VBScript(WSH)：JavaScriptのカレンダー操作してスクレイピングする方法
VBScript(WSH)：JavaScriptのカレンダー操作してスクレイピングする方法 VBScriptはIEの力を借りて何のインストールも無しにDOM操作できる事が最大のメリットです。 が、jQueryの猛威に対処するには中々面倒です。 inputタグで記載されている内容を変えてもダメな時がある 例えば楽天市場の【売上データ (時間別)】のページなんかがコレです。 こんな感じで入力フォームを […]
WEBスクレイピングがBANされる3つの理由
WEBスクレイピングがBANされる3つの理由 対象サイトが更新して構成が変わったというのは抜きにするとBANの理由には大きく3つのポイントがあります。 操作のスピートが早すぎる 画面遷移がおかしい（直接JUMP出来ないページに直接アクセスしてくる） 過去BOT判定されたIPでアクセスしている 今回はそんなWEBスクレイピングでBANされない為に「してはいけない事」をまとめてみたいと思います。 WE […]
【VBScript(WSH)】chromeをDOM操作したいときどうすればいいか
- 2020.10.22
- HTML, JavaScript, PowerShell, VBScript, WSH, スクレイピング, ツール, 備忘録, 市場調査, 情報収集
【VBScript(WSH)】chromeをDOM操作したいときどうすればいいか 自前のサイトをDOM操作したいときはJSを読み込ませておけばOKです。 そう言った事が出来ない場合（スクレイピングをしたいとき）どうするかという話です。 VBScriptやPowerShellを使ってもChromeはIEの様にオブジェクトとして引っ張ってこれない為、DOMによる狙い撃ちが一筋縄ではできません。それでも […]
VBScript(WSH)で作ったYahoo!ストアクリエイターPROのデータ収集で不具合修正
VBScript(WSH)で作ったYahoo!ストアクリエイターPROのデータ収集で不具合修正 今までうまく動いていたスクリプトで突然エラーが発生しました。 システムエラーが発生しました。（エラーコード：0002） 「お問合せ」リンクからご連絡ください。 自動操縦scriptの結果なので「お問合せ」する事も出来ず、約8時間Yahoo！の動作解析してました。 何が変わっていたか 動いていたスクリプト […]
VBScript(WSH)で組んだAmazonからの自動化レポート取得で発生したエラー
- 2020.10.02
- Amazon, ECシステム, VBS, VBScript, Windows10, WSH, エラー改善, スクレイピング, ツール, 仕様, 失敗例, 市場調査, 情報収集, 自作システム, 自動処理, 自動化
VBScript(WSH)で組んだ自動Amazonレポート取得で発生したエラー 広告効果測定とかね、レポートを自動で取得するようにVBSscript組んでました。 その結果おかしな現象が発生してました。 発生症状 自宅PCだと問題なく取得可能なのに、会社PCでの実行ではファイルに異常があると言われ開けない 実際の動作を見ていたところ、不可思議なポイントを発見。 「右クリックのメニュー違くない？」 […]
Amazonのログインで必ず2段階認証が求められてた理由
- 2020.10.01
- 2段階認証, Amazon, IE11, Winsows10, このブラウザでコードを要求しない, スクレイピング, ネットショップ, ログインエラー, 備忘録, 情報収集, 自作システム, 自動化
Amazonのログインで必ず2段階認証が求められてた理由 効率的に情報収集をしようとすれば、必ず自動化の処理が入ると思います。 今回もそんな一幕で発生した事態です。 ▼自動化ツール プログラム：自作 起動ブラウザ：IE11 自動化処理：指定Reportを毎日取得し指定のフォルダに保存 発生した現象 【このブラウザでコードを要求しないでください】にチェックを入れていたのに2段階認証が発生するようにな […]
VBScriptで書くセレクトボックスのプルダウン選択肢の選択方法
VBScriptで書くセレクトボックスの選択方法 ルートは3通り Allオブジェクトで指定したSelectのオプションを全部取得して番号で選択を指示 Selectの場所を指定してindex番号で選択を指示 Selectの場所を指定してValueの値で選択を指示 こんなHTMLを例に解説します [crayon-64205a5ca3d79958666798/] このコードは実際に楽天市場RMSで利用さ […]
VBScriptのsubとFunctionの動作の違い
VBScriptの sub と Function の動作の違い ぶっちゃけ全てのプロシージャをFunctionで書いても問題ないのであまり気にしてなかったけど…。 最大の違いは【戻り値】が扱えるか sub：戻り値を扱えない Function：プロシージャ名 ＝ 戻り値 で値を渡せる デカいね、この違い。 だからFunctionでばかり書いてしまうわけだけど。 subプロシージャの使いど […]