WEBスクレイピングがBANされる3つの理由
WEBスクレイピングがBANされる3つの理由 対象サイトが更新して構成が変わったというのは抜きにするとBANの理由には大きく3つのポイントがあります。 操作のスピートが早すぎる 画面遷移がおかしい(直接JUMP出来ないページに直接アクセスしてくる) 過去BOT判定されたIPでアクセスしている 今回はそんなWEBスクレイピングでBANされない為に「してはいけない事」をまとめてみたいと思います。 WE […]
多店舗化の命題にシステム化を選択したひとり店長奮闘記
WEBスクレイピングがBANされる3つの理由 対象サイトが更新して構成が変わったというのは抜きにするとBANの理由には大きく3つのポイントがあります。 操作のスピートが早すぎる 画面遷移がおかしい(直接JUMP出来ないページに直接アクセスしてくる) 過去BOT判定されたIPでアクセスしている 今回はそんなWEBスクレイピングでBANされない為に「してはいけない事」をまとめてみたいと思います。 WE […]
【VBScript(WSH)】このスクリプトには、悪質なコンテンツが含まれている為、ウィルス対策ソフトウェアによりブロックされています。 組んでいた自動化システムでこんなメッセージが出てきてしまいました。 多分scriptでループ閉じ忘れとかあってこんなのが出てるんだろうと思い見直すも原因不明。 最終的に判明した理由が「えっ?」という内容だったので備忘録に記しとこうと思います。 判明した原因はタイ […]
【VBScript(WSH)】「終了していない文字列型の定数です」エラーの対処方法 このエラーの場合見るべき場所は次の3点です。 ファイルのエンコードが間違えていないか 命令内のテキストがしっかりと閉じられているか 変数を含めた文字列の『 ” 』の書き方はあっているか ファイルのエンコードが間違えていないか WEBサイドを主戦場としているとテキストエディタをUTF-8で保存してしまうことがあります […]
SSH接続で Permission denied (publickey,gssapi-keyex,gssapi-with-mic).が出たら調べる事 Permission denied (publickey,gssapi-keyex,gssapi-with-mic). Google先生に翻訳をお願いすると下の意味が解ります。 許可が拒否されました(公開鍵、gssapi-keyex、gssapi-w […]
【VBScript(WSH)】WindowsServer2016のコマンドプロントでSFTPを動かす方法 私の構築したい環境がWin Server 2016だったのでタイトルはこうなってますが、Windows10以外の『SSH接続を標準装備していないWindowsPC』に共通で使える方法です。 段取りは次の通り。 OpenSSH-Win64.zipをダウンロード DLしたファイルを解凍して任意のフ […]
【VBScript(WSH)】コマンドプロントからSFTPでファイルをアップロードする方法 Windows10ではコマンドプロントからssh接続ができるようになりました。 という事はSFTPだっていけるって事だよね。で、やってみたら簡単に成功。 秘密鍵なしの方法って意外と資料記事が少ないのでメモしておきます。 下準備:SSH接続できるようにする 下準備は次の2つのみです。 PCのユーザーHomeに […]
VBScript(WSH)で作ったYahoo!ストアクリエイターPROのデータ収集で不具合修正 今までうまく動いていたスクリプトで突然エラーが発生しました。 システムエラーが発生しました。(エラーコード:0002) 「お問合せ」リンクからご連絡ください。 自動操縦scriptの結果なので「お問合せ」する事も出来ず、約8時間Yahoo!の動作解析してました。 何が変わっていたか 動いていたスクリプト […]
ヘテムルではDjangoが使えないようなので設計をチョット変更 構想では「ドメインTOPをDjangoで作って~」なんて思っていたのですが、思い通りいかないですね。 ヘテムルではDjangoは利用できないようです。 質問をした所、以下の解答がありました。 hetemlからの解答 [crayon-67595091cd74a552817816/] う~ん、Pythonへのパスも通ってないし通し方が解ら […]
小売店舗のドメイントップの在り方って何だろうと考えてみた 現在のドメイントップはECキューブを利用して2日で作り上げたECサイトになってます。 ただ、突貫工事で作ったのと、ECキューブ向けのXML吐き出しツールが有料だったこともあり個人的に超不満足。 なので、それほど開発食指の動くものではありませんでした。 「だったらガラっと変えてみよう!」 という事で、ページ構成を大きく変更していきたいと思いま […]
VBScript(WSH)で「SendKeys(“{LEFT}”) が反応しない」を解決した方法 Amazonレポート取得の自動化にて、SendKeysを使ってカレンダーのクリックをサポートしようとスクリプトを組んでいました。 「カレンダー表示させて、leftボタンで必要数戻って」なんて簡単に考えていたのですが、SendKeys(”{LEFT}”)が無反応。1マスも動きませ […]