レコメンデーションエンジンのアルゴリズムとパフォーマンスについて

d:id:gnarl (team-lab)

自己紹介

自己紹介

• d:id:gnarl
• twitter:todesking
• いちおう情報系
• 興味
  • プログラミング言語処理系
  • ソフトウェア・アーキテクチャ(オブジェクト指向設計とか)
  • 機械学習(ニワカ)
• 推薦エンジンを作ってるチームに所属してます
• 最近の仕事:
  • javaでニュース記事の特徴語を解析して云々
  • ruby+sinatraでなんかつくる仕事

アジェンダ(1)

• 推薦システムとはなにか
• 推薦システムの種類
  • コンテンツベース、行動ベース
  • ユーザ-アイテム、アイテム-アイテム
  • モデルベース、メモリベース

この辺の話は皆さんのほうが専門家ですね……

省略します

アジェンダ(2)

• 推薦システムの精度をはかる
  • MAE/RMSE
  • Precision, Recall
• 推薦システムの抱える問題点
  • スパースネスの問題
  • コールドスタートの問題

この辺の話を長々とすると会場の研究者にしらけた顔をされる……

省略します

というか

聞き飽きたよね

違う話をしましょう

Real World Recommdnder

- 現実世界の推薦システムにおける、精度と速度以外の話

d:id:gnarl (team-lab)

精度評価の典型的な例

穴埋め問題で精度を測る

• ユーザuはアイテムiにr点つけた、というデータを使用
• データが隠されている場所の点数を予測
• 予測した点数と実際の点数が近いほどよい

仮定: 精度が高いほうがよい推薦である

ユーザの行動を正確に予測して、最も評価が高いであろうアイテムを提示すればよい ……本当に？

精度の高いレコメンデーションの例

http://twitter.com/k_akihara/statuses/4622186700

精度の高いレコメンデーションの例

「ドラゴンボール40巻」に対する推薦

• 完全に正しい

ユーザ満足度は精度によって決まらない

精度は

よい推薦結果であることを示す指標

ではない

「この数値が高ければよい推薦である」という指標は存在しない

推薦システムのよさは(まだ)数値で測れない

というか、「よい」推薦システムがどういうものかすら明らかではない！

推薦という言葉は大雑把すぎる

「推薦」が解決することを期待されているユーザニーズ

• このワンピースの色違いが見たい
• このジャケットに合うジーンズが欲しい
• 他のコートが見たい
• このブランドの人気アイテムが知りたい
• 私が好きなテイストのアイテムを教えて欲しい

どれも出力は違う いったいどの結果を出せばいいのか?

推薦システム、もうひとりの登場人物

推薦システムはシステムとユーザだけで完結していない。 唯一絶対の正解が存在しない以上、「どのような結果を出すか」を決定する人間が必要 →サイトオーナー

• ニーズ
  • 今月の新商品をプッシュしたい
  • 絵本のおすすめでアダルトグッズは出したくない
  • もっとマイナーな商品をおすすめしたい
  • なぜこのような結果が出たのか知りたい
  • 推薦結果が悪かった場合、どこを調整すればいい?

説明能力重要

• 古典的協調フィルタリングのロバストネス
  • とにかくシンプル
  • 専門家じゃなくても直感的に理解できる
• アルゴリズムのリーダビリティはけっこう重要
  • 次元削減した結果はかなり意味不明……
  • 高度な手法は説明しにくい!チューニングも困難!
  • ユーザにとっても。
  • お勧めの理由を説明されたほうが満足度は上がる

調整能力重要

結果が悪いときどうすればいいのか

• 評価関数の重み付けを変える
• そこらじゅうのパラメータに重みを！
• シンプルな方法のほうが調整しやすい
• 素朴でアドホックな手法のほうが役立つ……

チューニングして目標とする結果にいかに近づけるかが重要。

Controlled World Recommender

• データセットの偏り
  • レーティングベースばっかりですね
  • 穴埋め問題は解くのも評価するのも簡単
  • 現実のデータセットは大体インプリシットでノイズまみれ
• 評価方法の偏り
  • RMSE!RMSE!
  • 「カスタマイズしやすい」は評価しにくい
• 仕事だと「この結果なんとなくいいね!」が通ってしまう……

おわりに

情報推薦は

レーティングマトリクスの穴埋め

ではない

レコメンド: すごく困難なタスク

• 「よい」レコメンドについて研究するのはすごく難しい
  • とにかく評価しづらい
  • 結局ヒューマンインタフェースの問題
  • 人間の感情をモデル化する必要が

推薦の世界に足を踏み入れてしまった以上、覚悟を決めてがんばってください!!!

参考資料

推薦システムをパーソナルビューで見直す http://svslab.jp/0x0a/20090215.html#p01

レコメンドの「リアル」と「ウェブ」 http://d.hatena.ne.jp/an_dan_go/20090205/1233861028

Bookmark of the senseless / sr http://b.hatena.ne.jp/todesking/sr

"Accurate is not always good: How Accuracy Metrics have hurt Recommender Systems"