楽天RMSログイン処理をPHPのGoutteで組んでみたけど意味がなかった
楽天RMSログイン処理をPHPのGoutteで組んでみたけど意味がなかった ログイン処理だけなら結構簡単に実装できます。 でもGoutteでサイト内を追っていこうとすると、すぐに限界が来ました。 何をやっても『認証エラーページ』に飛ばされる しっかり読み込んでから動かせばいいかもとSleepを活用するけどダメ。 ここまでダメだと単純なaタグのような装いをしつつJSで何かの値をPOSTしているのだろ […]
スクレイピング
VBSでのブラウザ操作でIEが利用されているわけ
VBSでのブラウザ操作でIEが利用されているわけ ブラウザとしては開発も終わったIEですが、スクレイピングを含めたシステム自動化ではとてもよく利用されています。 その理由はVBS(VBA/VBE)との親和性の高さです。 例えば、IEを使うとBusyで読込中か否かを取得して読込が完了したら他の動作を行うなどの操作が出来るようになります。 SETしたオブジェクトに対して「プロパティ―で知る事の出来る情 […]
VBS(WSH)でウィンドのアクティブ化が失敗する原因と解決策
VBSでウィンドのアクティブ化が失敗する原因と解決策 今回のVBS系案件で一番悩んだのがコレです。 ECサイトの各モールにログインすると言う仕様があったのですが、VBSでログイン処理+αを組んだのに2店舗目になるとブラウザが最前面に表示されないのです。 IEが悪いのかと思いChromeで実行すると最前面になる。 「え？？ じゃぁIEの問題？？」 などなど、いろいろと迷走していました。 ブラウザアク […]
AccessVBAとExcelマクロとVBScriptの(ブラウザ操作上の)注意すべき相違点
AccessVBAとExcelマクロとVBScriptの(ブラウザ操作上の)注意すべき相違点 私はVBScriptでの記載は初経験。言語的には AccessVBA と大差ないので苦ではありませんでしたが、悩むポイントがいくつかありました。 その中の1つがブラウザのアクティブ化です。 アクセスとExcelを経由してブラウザを起動すると勝手にアクティブにしてくれる AccessやExcelからブラウザ […]
Excelマクロで発生したエラーとその回避方法(H80004005)
Excelマクロで発生したエラーとその回避方法 とある企業様から「ECモールへ自動ログインして必要なデータを取得するスクリプトを組めないか」とご相談を頂き、こんな回答をさせて頂きました。 Excelマクロが最も『小さく』『簡単』にできると思います 結果、これがExcelのエラーにかち合ってしまうという大問題の回答だったのですがそんな事は知るはずもなく…。 と言う事で、頂いたご依頼につい […]
急にエラーログのサイズが増えたと思ったら、Yahoo!ショッピングの商品検索APIが変更になっていた
急にエラーログのサイズが増えたと思ったら、Yahoo!ショッピングの商品検索APIが変更になっていた こういうの気付かなきゃダメです。現在反省しきりです。 今月に入ってから、エラーログのサイズが急に増えている事には気づいていたのですが、日々改善する中での一時の増加だと思いこんでました。 具体的には、GoogleAPI使ってsearchWordとか取ってこようと画策していて、これを作成している最中な […]
スクレイピングでエラー発生：cURL error 1: Received HTTP/0.9 when not allowed (see https://curl.haxx.se/libcurl/c/libcurl-errors.html)
スクレイピングでエラー発生：cURL error 1: Received HTTP/0.9 when not allowed (see https://curl.haxx.se/libcurl/c/libcurl-errors.html) 商品レビューのスクレイピング中にエラーが発生。 どうやら其々のアプリの依存性によるエラーの様子。 参考にしたサイト Goutteの実行中にcURLが閉じられてい […]
楽天市場の商品レビュー取得について問い合わせた内容と解答
- 2020.06.04
- API, ECシステム, Laravel, PHP, スクリプト備忘録, スクレイピング, ひとりごと, 仕様, 商品ページ, 商品レビュー自動取得, 失敗例, 情報収集, 楽天市場, 自作システム
楽天市場の商品レビュー取得について問合わせた内容と解答 楽天商品レビューの取得、簡単に考えていたのですが手こずってます。 その流れの中で最善策を探そうと楽天市場へ問い合わせを掛けました。 【質問事項】 商品レビューを取得するAPIはありますか？ レビューをスクレイピングで取得する事は楽天市場の規約上問題ありますか？ 商品レビューを社内DBに蓄積するための良い方法があれば教えてください。 【回答内容 […]
楽天市場の商品レビューを取得して好きなように扱う方法を考えてみた 2
- 2020.06.01
- ECシステム, Laravel, PHP, スクレイピング, ネットショップ, 仕様, 備忘録, 商品レビュー, 情報収集, 更新, 楽天市場, 自作システム, 自動化, 自動収集, 自動記入
楽天市場の商品レビューを取得して好きなように扱う方法を考えてみた 2 前回記事はこちら『楽天市場の商品レビューを取得して好きなように扱う方法を考えてみた』 楽天市場対応機能として、Ranking表示機能が完了しました。 店舗ページ作成の自動化を目指す私としては、ページサポートツールとして欲しい機能は残り4つ。 レビュー取得＆新着レビューリスト 店長オススメ商品リスト PICKUP商品リスト 今注文 […]
WebShopCreatorのご紹介とご案内
WebShopCreatorのご紹介とご案内 昨日、本サイト固定ページの変更を行いました。 理由はシステムが順調に組みあがったため。 システムのご紹介をさせて頂こうとページの編集を実行させていただきました。 正直まだまだやり足りない所はあります。店舗TOPページのバナーの張替えとか、レフトナビなどに登録しているおすすめ商品の入れ替えとか、こんなのもWebShopCreatorで指示する事で変更でき […]