楽天市場の商品レビューを取得して好きなように扱う方法を考えてみた

楽天市場の商品レビューを取得して好きなように扱う方法を考えてみた

楽天市場の商品レビューを取得して好きなように扱う方法を考えてみた

結論を先に書いてしまうと、結構めんどくさい。

課題となるパートは以下の通り。

  1. レビューリストをどこから取得するか
  2. レビューの振分け(悪いレビューは隠したいけどやり過ぎは目につくので適度に隠す)の程度はどんなか

最適にリスト化が出来れば後は項目2のルールが悩むところ。
でも最初の最適なリスト化が結構な課題になってます。

取得方法は3候補ある

  1. RMSのレビューチェックツールをスクレイピング
  2. RMSのレビューチェックツールからレビューCSVをダウンロード&システムへインポート
  3. 顧客側のレビューページからスクレイピング

3候補それぞれの課題

それぞれに大きな短所が1つある感じでどの手段が最適か悩みます。

候補1:RMSのレビューチェックツールをスクレイピングの場合

  1. 商品URLを取得できない。
  2. RMSへログインしないと取得できない。

商品URLと紐付けできないのでクリックで商品へJUMPさせるためには手作業が入ります。
そして、ログインして初めて画面にたどり着けるので放置して自動化ができません。

候補2:RMSのレビューチェックツールからレビューCSVをダウンロード&システムへインポート

  1. 商品URLを取得できない。
  2. RMSへログインしないと取得できない。

これで商品URLを取れればスクレイピング書くよりも簡単だし、ページ変化も関係ないのでよかったのですが…。
やはり商品URLを取得できないので商品へのJUMPを仕込めない。
これだとねぇ。レビューを商品への導線にしたいのに賄えないですから…。

あとはCSVアップロードは自動化を阻むので「気づいた時に更新する」形になります。
う~ん、やはり自動化はしたいところです。

候補3:顧客側のレビューページからスクレイピング

  1. ページ送りがある(2ページ目以降)

ページ送りが存在するため全てを取込むのは処理が面倒。

1ページ目だけであれば、商品URLも自店舗からのコメントも全て存在しているので自動化に向いている。
が、スクレイピングの処理になるので、楽天側がページ構成変えるだけで動かなくなる。

自動化システムで現実的なのは候補3のスクレイピング

全レビューの取得を対象にしなければスクレイピングが現実的。

CSVでアップロードして、不足箇所を手動で更新して「後は自動で更新してね」が現実的かなぁ。

もうね、API作って欲しいです。マジで。

まとめ

やってやれない事はない。

そんな感じですね。

スクレイピング面倒なので作業としては時間ある時に後回しという感じかな。