WEBスクレイピングがBANされる3つの理由
WEBスクレイピングがBANされる3つの理由 対象サイトが更新して構成が変わったというのは抜きにするとBANの理由には大きく3つのポイントがあります。 操作のスピートが早すぎる 画面遷移がおかしい（直接JUMP出来ないページに直接アクセスしてくる） 過去BOT判定されたIPでアクセスしている 今回はそんなWEBスクレイピングでBANされない為に「してはいけない事」をまとめてみたいと思います。 WE […]
Yahoo!ショッピング
1/2ページ
VBScript(WSH)で作ったYahoo!ストアクリエイターPROのデータ収集で不具合修正
VBScript(WSH)で作ったYahoo!ストアクリエイターPROのデータ収集で不具合修正 今までうまく動いていたスクリプトで突然エラーが発生しました。 システムエラーが発生しました。（エラーコード：0002） 「お問合せ」リンクからご連絡ください。 自動操縦scriptの結果なので「お問合せ」する事も出来ず、約8時間Yahoo！の動作解析してました。 何が変わっていたか 動いていたスクリプト […]
急にエラーログのサイズが増えたと思ったら、Yahoo!ショッピングの商品検索APIが変更になっていた
急にエラーログのサイズが増えたと思ったら、Yahoo!ショッピングの商品検索APIが変更になっていた こういうの気付かなきゃダメです。現在反省しきりです。 今月に入ってから、エラーログのサイズが急に増えている事には気づいていたのですが、日々改善する中での一時の増加だと思いこんでました。 具体的には、GoogleAPI使ってsearchWordとか取ってこようと画策していて、これを作成している最中な […]
楽天さんが「39ショップの売上が楽天市場全体の成長をけん引している」と言うので調べてみた
- 2020.05.28
- Amazon, Googleトレンド, Yahoo!ショッピング, 市場調査, 検索数比較, 楽天市場, 自作システム, 送料無料ライン
楽天さんが「39ショップの売上が楽天市場全体の成長をけん引している」と言うので調べてみた 売上で調べる事はできないので、新規のお客さんが調べるであろう『楽天市場』というキーワードの推移をとってみました。ちなみに、楽天市場内のRON会議室では「『39』ではなく『コロナ』に起因した売上上昇だろう」との声も多数あります。なので、時系列と他のモールについても調べてみます。 リサーチツールは『Googleト […]
検索サジェスト取得でNGNIX TimeOutエラー
- 2020.05.21
- Amazon, Docker, https-portal, Laravel, Ngnix, SEO対策, TimeOutエラー, Yahoo!ショッピング, サジェスト取得, 楽天市場
検索サジェスト取得でNGNIX TimeOutエラー発生。 今のバージョンがシングル(指示した値だけ)で動作にしているので、検索サジェストの充実を図ろうと仕組みを変更しました。 そうしたら ngnixのタイムアウトエラー が発生。 LaravelはApache で動かしているので原因として考えられるのは https-portal のコンテナです。 こいつの設定何も変えてなかったなぁ～と。 Dock […]
ポイントアップで売上UP効果はあったが利益が減少していた
- 2020.05.11
- Wowma!, Yahoo!ショッピング, ネットショップ, ポイント10倍, ポイントUP, 備忘録, 利益UP対策, 利益率, 商品ページ, 商品情報, 売上UP対策, 情報収集, 検索対策, 楽天市場
ポイントアップで売上UP効果はあったが利益が減少していた システムが形になったので久しぶりに経営的な分析をしようと様々な情報を見ていました。 システム構想から4年、外注が匙を投げてから早や2年、この間こういった分析は(システム作成優先で)全く行ってこなかったので超久しぶりの作業でしたが「ポイントアップって怖いな」と実感をしたので戒めを込めてまとめたいと思います。 ECにて売上が落ちた時に行う策は大 […]
モール出店で飯は食える？今後のEC業界の変化を考える。
モール出店で飯は食える？今後のEC業界の変化を考える。 楽天市場内のRON会議室にこのような投稿がありました。 最近ある経済関連の情報サイトにこんな記事が載りました。ECモールは最初はお店をいっぱい集めて商品を充実させるけど、お客さん側に「そこで買い物する習慣」が出来上がったら、直営店や大企業だけ残して中小のお店は冷遇して追い出してしまう。お店側にしてみれば冗談じゃないが、ECモール側はそれが一番 […]
楽天市場とYahoo!ショッピングの価格調査ツールを無料版で切り出してみた。
楽天市場とYahoo!ショッピングの価格調査ツールを無料版で切り出してみた。 Amazonも作成済みなのですが、MWSの規約に従わないといけないので無料版での切り出しは不可能。 と言う事で、楽天市場とYahoo!ショッピングの情報取得を行うツールを無料ツールとして切り出しました。 簡易版ECモール最安値取得ツール まぁ秒で30とか検索されないだろうから問題ないだろうとの安易な考えによります。 機械 […]
ネットでも売れている某メーカーさんから出てきた【国内縮小】の話
ネットでも売れている某メーカーさんから出てきた【国内縮小】の話 EC業に携わる国内販売をメインにしている店舗としては結構イヤで痛い話を聞きました。 タイトルの通り「今後は国外を主要マーケットとして考えた方が良い」という趣旨の話です。 日本よりも海外の方が利益が出る 話は国内の商品売価変動からスタートしました。 某メーカーさんの作っている低価格帯の炊飯器。この価格帯がメーカーからの卸値に近い所まで値 […]
ECと業務システムの関連性、今後どうなっていくか
ECと業務システムの関連性、今後どうなっていくか ある方から問われたので、私なりの思いをつづってみようと思い記載いたします。 【EC業界がこれからどうなっていくか】という議題については多くの方がご意見を述べられているので、私はECとシステムの関連性という視点で話を展開させていただきます。 業務システムは既にEC事業に必須の道具になっている 私のシステム開発ものがたりでも記載しましたが、EC事業を展 […]