JP7417889B2

JP7417889B2 - コンテンツ推薦システム

Info

Publication number: JP7417889B2
Application number: JP2019191814A
Authority: JP
Inventors: 武司戸井; 伸昌南; 弘毅高橋; 愼一式井
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2019-10-21
Filing date: 2019-10-21
Publication date: 2024-01-19
Anticipated expiration: 2039-10-21
Also published as: JP2021068090A; JP2023175013A

Description

本開示は、音楽や映像などのコンテンツ再生機器に用いられるコンテンツ推薦システムに関するものである。

従来、ユーザの嗜好に合わせてコンテンツを推薦するため、推定したユーザの感情に基づいてコンテンツを推薦する技術がある。例えば、特許文献１ではコンテンツに対して予め感情情報を付与し、ユーザのコンテンツ視聴時間からユーザの感情を推定し、推定したユーザの感情と同一の感情情報を持つコンテンツを次に推薦する。

また、ユーザの過去の検索履歴と、検索クエリ（例えば単語やフレーズなど）と、を用いてコンテンツのカテゴリごとにユーザの嗜好との適合度を計算し、その結果に基づいて検索結果を提示する技術がある。例えば、特許文献２では検索クエリとカテゴリの適合度と、ユーザのクリック操作履歴と、過去のユーザ特徴ベクトルと、に基づいて、ユーザ特徴ベクトルをカテゴリごとに計算し、求めたユーザ特徴ベクトルに応じて検索結果の優先順位を変更する。

特開２０１５－２２８１４２号公報特開２０１６－１１０２６０号公報

しかしながら、特許文献１の技術では、コンテンツの視聴時間とユーザの感情を１対１で紐づけてしまっているため、ユーザの感情に近いコンテンツの推薦は可能だが、ユーザの嗜好に合わせたコンテンツの推薦は困難なケースが存在する。例えば視聴時間からユーザの感情を「悲しい」と推定した場合、ユーザの感情と同一の「悲しい」感情情報を持つコンテンツが推薦される。しかしユーザの感情が「悲しい」場合でも、気分を変えるために「楽しい」コンテンツを希望する可能性もあるため、こうしたユーザには最適なコンテンツの推薦が行えない問題がある。

また、特許文献２の技術は、推薦対象となるカテゴリのユーザ特徴ベクトルを求め、最もベクトル評価値が高いカテゴリを推薦する技術であるが、視聴履歴やクリック操作履歴を保有しないユーザの場合、検索クエリとカテゴリの対応度合のみからユーザ特徴ベクトルを求めることになり、ユーザの嗜好に合わせたカテゴリ推薦が困難となる。例えば、ユーザが「アイドル」が歌っている「落ち着いた」楽曲が聴きたい場合、ユーザは「アイドル」で検索しただけでは、一般に人気が高いと想定される「楽しい」コンテンツが推薦されてしまうため、「アイドル落ち着いた曲バラード」などと検索クエリをより細かいものにする必要がある。しかしこの手段では結局ユーザに自身の嗜好について考えさせ、それを入力させることを要求するため、ユーザの負担が大きい。

本開示は、従来の課題を解決するもので、ユーザの嗜好との適合度が未知なコンテンツを含み、ユーザが視聴可能なコンテンツの中から、ユーザの嗜好に合ったコンテンツを推薦可能なコンテンツ推薦システムを提供することを目的とする。

上記従来の課題を解決するために、本開示に係るコンテンツ推薦システムは、少なくとも音又は映像のコンテンツを再生可能なコンテンツ提示部と、コンテンツ提示部によって提示される複数のコンテンツに対する嗜好適合度を計算し、ユーザの嗜好を判断する嗜好判断部と、コンテンツの本体データと、コンテンツの感情情報を関連づけて記憶するコンテンツ情報記憶部と、コンテンツ情報記憶部に記憶された情報から、コンテンツ提示部にて再生するコンテンツを抽出するコンテンツ抽出部と、を有し、コンテンツの推薦を行う。

本開示に係るコンテンツ推薦システムによれば、複数のコンテンツに対して嗜好適合度を求めることで、ユーザの興味が向いている方向を判断でき、ユーザの嗜好に合ったコンテンツ推薦の精度を高めることができる。

本開示の実施形態１における構成を示す図である。嗜好判断部における処理を示すフロー図である。コンテンツ情報記憶部に記憶される情報を示す説明図である。コンテンツ抽出部における処理を示すフロー図である。数式（１）を用いた時の、嗜好判断部における嗜好判断の様子を示す図である。操作情報取得部を含む実施形態１における構成を示す図である。操作情報取得部で取得した、操作情報用いた嗜好適合度の計算手順を示すフロー図である。センサ情報取得部を含む実施形態１における構成を示す図である。センサ情報取得部で取得した、センサ情報を用いた嗜好適合度の計算手順を示すフロー図である。シーン判断部を含む実施形態１における構成を示す図である。シーン判断部を用いたコンテンツ推薦の動作手順を示すフロー図である。ユーザ情報記憶部を含む実施形態１における構成を示す図である。ユーザ情報記憶部を用いたコンテンツ推薦の動作手順を示すフロー図である。嗜好判断結果変更部を用いたコンテンツ推薦の動作手順を示すフロー図である。本開示の実施形態２における構成を示す図である。車室内音環境分析部における分析結果の例を示す図である。本ドライバーモニターカメラとスピーカと制御部を含む実施形態２における構成を示す図である。本ドライバーモニターカメラとスピーカと制御部を含む実施形態２における動作の仕組みを示す図である。タイヤ性能を表示可能な実施形態２における構成を示す図である。車室内音環境分析部における分析結果の例を示す図である。タイヤ性能の表示例を示す図である。

以下、本開示の実施の形態について、図面を参照しながら説明する。

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺等は必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略又は簡略化する場合がある。

（実施の形態１）
図１は、本開示の実施の形態１におけるコンテンツ推薦システムの機能構成を示すブロック図である。本実施形態によるコンテンツ推薦システムは、コンテンツに対するユーザの嗜好との適合度（嗜好適合度）を計算し、ユーザの嗜好に合ったコンテンツの情報を判断する嗜好判断部１００と、コンテンツの情報とコンテンツの感情情報と、を関連づけて記憶するコンテンツ情報記憶部１０１と、嗜好判断部１００の判断結果に基づきコンテンツ情報記憶部１０１からコンテンツを抽出するコンテンツ抽出部１０２と、コンテンツ抽出部１０２において抽出されたコンテンツをユーザに提示するコンテンツ提示部１０３と、を備えている。

例えば、嗜好判断部１００とコンテンツ抽出部１０２はＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、コンテンツ情報記憶部１０１はＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）などの記憶媒体、コンテンツ提示部１０３はディスプレイやスピーカなどの出力装置を用いて構成可能である。

ここで、感情情報とは、コンテンツを視聴した際に人がコンテンツに対して感じた感情に関する情報である。感情情報は「楽しい」、「悲しい」などのテキストデータとしても良いし、数値データとしても良い。ここでは感情情報の形式は限定しない。

本実施形態により推薦されるコンテンツは、音楽、映像、電子書籍などのメディアコンテンツ全般を指し、本実施形態はこれらメディアコンテンツをユーザが視聴するためのシステムや機器に適用される。

例えば、本実施形態を音楽プレイヤーに適用した場合、嗜好判断部１００は、再生された複数の楽曲に対して嗜好適合度を計算し、複数の嗜好適合度に基づいて次に推薦する楽曲の感情情報を決定する。コンテンツ情報記憶部１０１では予め楽曲の音声ファイルと、楽曲を聴いた時に人が感じた感情情報と、を関連づけて記憶する。コンテンツ抽出部１０２は、嗜好判断部１００の判断結果に基づいて、コンテンツ情報記憶部１０１から楽曲を選択する。コンテンツ提示部１０３では、選択した楽曲をスピーカやヘッドフォンなどに送信し、楽曲を再生する。

また、本実施形態を映像プレイヤーに適用した場合、嗜好判断部１００は再生された複数の映像作品に対して嗜好適合度を計算し、複数の嗜好適合度に基づいて次に推薦する映像作品の感情情報を決定する。コンテンツ情報記憶部１０１では映像作品の映像データと、映像を見た時に人が抱く感情情報と、を関連づけて記憶する。コンテンツ抽出部１０２は、嗜好判断部１００の判断結果に基づいて、コンテンツ情報記憶部１０１から映像作品を選択する。コンテンツ提示部１０３では、ディスプレイやプロジェクターなどに映像作品を送信し、映像作品を再生する。

また、本実施形態を電子書籍リーダーに適用した場合、嗜好判断部１００は選択された複数の書籍に対して嗜好適合度を計算し、複数の嗜好適合度に基づいて次に推薦する書籍の感情情報を決定する。コンテンツ情報記憶部１０１では、書籍のテキストデータと、書籍を読んだ時に人が抱く感情情報と、を関連づけて記憶する。コンテンツ抽出部１０２は、嗜好判断部１００の判断結果に基づいて、コンテンツ情報記憶部１０１から書籍を選択する。コンテンツ提示部１０３では、ディスプレイやスピーカなどに書籍データを送信し、書籍の表示および音声再生などを行う。

なお、本実施形態の適用例として音楽プレイヤーと、映像プレイヤーと、電子書籍リーダーをあげたが、ここでは本実施形態の適用範囲を限定するものではなく、他のメディアプレイヤーに適用しても構わない。

また、本実施形態により推薦されるコンテンツは一つのカテゴリ（例えば音楽、映像など）に限定せず、複数のカテゴリを含んでも良い。例えば、映像と電子書籍を組み合わせて推薦しても構わない。

図２は、嗜好判断部１００における処理の一例を示すフロー図である。嗜好判断部１００は、例えば嗜好適合度計算部と、嗜好判断結果記憶部と、検索要求送信部を含んで構成しても良い。

嗜好適合度計算部は、図２に示されるように、ユーザがコンテンツを視聴している際に、コンテンツに対するユーザの嗜好との適合度を計算する（Ｓ２１）。嗜好適合度の計算方法については以下に述べる。

嗜好判断結果記憶部は、嗜好適合度計算部により算出された嗜好適合度を、コンテンツと関連づけて記憶する（Ｓ２２）。なお、嗜好適合度計算部は、複数のコンテンツに対してユーザの嗜好との適合度を計算する際、嗜好適合度は１～１００のように数値データとして算出しても良いし、１位～３位のように順位データとして算出しても良い。なお、本実施形態では嗜好適合度は０～１の範囲で取り扱い、値が高いほどユーザの嗜好に適合していると判断するが、嗜好適合度の範囲を限定するものではない。なお、嗜好判断結果記憶部に記憶された情報は、本実施形態が適用されたシステムの起動の度に初期化しても良いし、保持し続けても良い。

嗜好判断結果記憶部にコンテンツ推薦に必要な数の嗜好適合度が記憶されたならば（Ｓ２３；ＹＥＳ）、検索要求送信部により、嗜好判断結果記憶部に記憶された複数の嗜好適合度に基づいて、次に推薦するコンテンツの検索要求を作成する（Ｓ２４）。

嗜好判断結果記憶部にコンテンツ推薦に必要な数の嗜好適合度が記憶されていないならば（Ｓ２３；ＮＯ）、次に推薦するコンテンツは任意のコンテンツになるよう検索要求を作成する（Ｓ２５）。

検索要求送信部は、嗜好判断結果記憶部に記憶されている嗜好適合度に基づき、次に推薦するコンテンツの検索要求を作成し、コンテンツ抽出部１０２へと送信する。例えば、コンテンツの感情情報を２次元空間の座標値で考える場合、検索要求は、次に推薦するコンテンツの座標値としても良いし、複数の点で囲われた範囲としても良い。ここでは、検索要求として送信するデータの形式を限定しない。

なお、嗜好判断部１００の構成は上記に限定されず、例えば嗜好適合度は嗜好適合度計算部で計算せず、代わりに嗜好適合度入力部を有し、ユーザに嗜好適合度を入力させるためのディスプレイなどを用いても構わない。もちろん、嗜好適合度入力部はコンテンツ提示部１０３で使用するディスプレイなどの出力装置を使用しても構わなく、コンテンツ提示部１０３とは別に設けても構わない。

コンテンツ情報記憶部１０１は、コンテンツの元データと、コンテンツの視聴により人が感じる感情情報とを関連付けてデータベースに記憶する。例えば、図３に示すように、感情情報は横軸を快適度軸、縦軸を覚醒度軸とした２次元空間上の座標値として記憶しても良いし、「すっきり感」、「迫力」、及び、「明るさ」の３次元空間上の座標値として記憶しても良い。これにより、「楽しい」や「リラックス」といった感情を定量化して評価することが可能となり、またそれぞれの感情の強度なども考慮することができる。例えば、本実施形態を音楽プレイヤーに適用した場合、落ち着いた曲から徐々に楽しくなるようなコンテンツの推薦や、不安になるコンテンツからリラックスできるコンテンツへと変化していくようなコンテンツの推薦などが可能となる。

コンテンツ情報記憶部１０１は、コンテンツ情報を予め本実施形態を適用するシステム内部のＨＤＤやＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）などの記憶媒体に記憶しても構わないし、本実施の形態を適用するシステムに外付けしたＨＤＤやＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）メモリなどに記憶しても構わないし、ネットワークを介して外部のサーバからダウンロードしても構わない。コンテンツ情報の記憶手段についてはここでは限定しない。

コンテンツ情報記憶部１０１は、コンテンツの感情情報を数値データとして扱う場合、数値の範囲を限定するのが好ましい。例えば、感情情報を２次元空間で扱う場合、横軸の座標値と縦軸の座標値の下限を－１、上限を１とした矩形範囲で設定しても構わないし、原点を中心とした半径１の円形範囲で設定しても構わない。これにより、コンテンツが座標空間内で中心から極端に離れた座標データを持つことを防ぐことができるので、ユーザに対して満遍なくコンテンツの推薦が行えるようになる。

コンテンツ情報記憶部１０１に記憶させるコンテンツの感情情報の取得方法については、コンテンツの持つ付帯情報を用いても良い。この場合、コンテンツ情報記憶部１０１は、コンテンツの付帯情報から感情情報の抽出を行っても良い。例えば、楽曲コンテンツについては、「ロック」や「バラード」、「クラシック」などのコンテンツのジャンルを意味する情報や、楽曲の作者名、楽曲の演奏者名、作成された時期、発表された国などの情報に基づいて感情情報を取得しても構わない。また、映像コンテンツや電子書籍については「ＳＦ」、「ラブストーリー」、「スポコン」などのコンテンツの内容を意味するキーワードや、監督、筆者、作成された時期、俳優などの情報に基づいて感情情報を取得しても構わない。ここではコンテンツの感情情報を取得するために必要とする付帯情報を限定するものではない。

また、コンテンツの付帯情報ではなくコンテンツを分析して得られた特徴量に基づいてコンテンツの感情情報を取得しても良い。例えば、楽曲コンテンツについては、楽曲を聴いた人が感じる速さの指標となる「テンポ」や、楽曲の主旋律となる「メロディ」、楽曲を構成する和音の変化情報となる「コード進行」などの音響特徴量に基づいて感情情報を取得しても構わない。また、音響特徴量と、人による主観評価データと、を用いてコンテンツを視聴したときに人が抱く感情を予測するモデルを構築しても構わない。例えば、音響特徴量を学習データとし、人による主観評価データを教師データとして回帰モデルを作成しても構わない。なお、コンテンツ情報記憶部１０１に記憶させるコンテンツの感情情報取得手段については、ここで限定するものではない。

コンテンツ抽出部１０２は、嗜好判断部１００から受信した判断結果に基づいてコンテンツ情報記憶部１０１からコンテンツを抽出する。コンテンツ抽出部１０２は、例えば検索要求受信部と、コンテンツ検索部と、コンテンツ送信部から構成しても良い。図４はコンテンツ抽出部１０２における処理の一例を示したフロー図である。

検索要求受信部は、検索要求送信部から送信される、推薦するコンテンツの感情情報（リクエスト）を受信する（Ｓ４１）。

コンテンツ検索部は、検索要求受信部で受け取ったリクエストに基づいて、コンテンツ情報記憶部１０１にアクセスし、コンテンツの検索を行う（Ｓ４２）。例えば、感情情報が２次元空間の座標として記憶されている場合に、リクエストとして座標データ（Ｘ，Ｙ）を受け取ったときのコンテンツ検索の流れについて説明する。コンテンツ検索部は、コンテンツ情報記憶部１０１に記憶されているコンテンツの座標データを参照し、（Ｘ，Ｙ）と最も近い距離にあるコンテンツを抽出しても構わない。また、リクエストとして、複数の座標データを受け取った場合、それらの座標から構成される範囲内にある任意のコンテンツを抽出しても構わない。なお、コンテンツ抽出部１０２の構成は上記に限定されるものではない。

コンテンツ送信部は、コンテンツ検索部で検索したコンテンツを、コンテンツ提示部１０３に送信する（Ｓ４３）。

本実施形態では、複数のコンテンツに対する嗜好適合度によりユーザの嗜好を判断するため、一つのコンテンツに対する嗜好適合度からコンテンツを推薦する手法と比較して、ユーザの嗜好に合わせたコンテンツ推薦が可能となる。

一つのコンテンツの嗜好適合度からコンテンツを推薦する従来のシステムでは、例えば、「悲しい」感情情報をもつコンテンツに対して嗜好適合度を高く計算した場合、ユーザには同様に「悲しい」感情情報を持つコンテンツを推薦すれば良い。しかし嗜好適合度を低く計算した場合、「悲しい」とは異なる感情情報を持つコンテンツを推薦するべきだが、ここで「楽しい」コンテンツを推薦するべきか、「落ち着く」コンテンツを推薦するべきか、正しく判断することが困難である。

一方、本実施形態では、例えば「悲しい」コンテンツは嗜好適合度を低く、「落ち着く」コンテンツも嗜好適合度も低く、「楽しい」コンテンツは嗜好適合度をやや高く計算した場合、次に推薦するべきコンテンツは「楽しい」感情情報をさらに強くした「激しい」コンテンツを推薦することができる。このように、複数のコンテンツに対する嗜好適合度を計算することで、ユーザの嗜好のベクトルがどの感情情報に向いているか判断でき、ユーザの嗜好に合わせたコンテンツの推薦が可能となる。

また、ユーザの嗜好のベクトルがどの感情情報に向いているかを判断することで、ユーザが未試聴であり嗜好適合度が未知であるコンテンツも推薦対象とすることができる。複数のコンテンツの嗜好適合度を計算し、最も嗜好適合度が高いものを推薦する手段では、嗜好適合度が分かっているコンテンツの中からしか推薦を行うことができないため、推薦されるコンテンツが限定されてしまう。

一方、本実施形態では、嗜好適合度が分かっているコンテンツからユーザの嗜好がどの感情情報を含むかを判断することで、嗜好適合度が分からないコンテンツからも推薦が可能となる。

本実施形態における基本構成について一通り説明を述べたので、次にコンテンツ推薦の流れについて説明する。ここでは、３つのコンテンツに対する嗜好適合度に基づいて、次のコンテンツを推薦する場合を考える。嗜好適合度は２次元空間の座標値として扱うものとする。ユーザの嗜好をベクトルとして扱う場合、２次元空間上の２つの嗜好適合度だけでは２つのコンテンツの座標を結ぶ直線上のコンテンツしか推薦ができないが、３つの嗜好適合度が分かれば、２次元空間上のあらゆるコンテンツを推薦することができるため、まず初回のコンテンツ推薦時には、最低３つのコンテンツに対する嗜好適合度を計算し、ユーザの嗜好を判断するのが望ましい。ここでは、３つのコンテンツを任意に抽出して提示する。提示した３つのコンテンツをコンテンツＡ、コンテンツＢ、コンテンツＣとする。嗜好判断部１００によりこれら３つの嗜好適合度を計算した結果、最も嗜好適合度が高かったのがコンテンツＡ、次に高かったのがコンテンツＢ、最も低くなったのがコンテンツＣとする。この場合、次に推薦するコンテンツは、コンテンツＣとは異なる感情情報をもち、コンテンツＡ，Ｂと類似する感情情報を持つようなコンテンツＤに決定する。

ここでは３つのコンテンツに対する嗜好適合度に基づいて次のコンテンツの推薦を行う例を示したが、嗜好判断に用いるコンテンツの数は２つ以上であればいくつでも構わない。また、嗜好判断に用いるコンテンツの数は一定ではなく、変化させても構わない。例えば、音楽プレイヤーに本実施形態を適用した場合、ユーザが１曲聴くたびにユーザの嗜好判断に用いる楽曲の数を１曲ずつ増やしても良いし、常に直前に視聴された３曲のコンテンツに対する嗜好適合度からユーザの嗜好を判断しコンテンツの推薦を行っても構わない。

コンテンツ情報記憶部１０１がコンテンツの感情情報を２次元空間上の座標値として記憶している場合、コンテンツＡの位置ベクトル（座標）を

とし、コンテンツＢの位置ベクトル（座標）を

とし、コンテンツＣの位置ベクトル（座標）を

として考えることができる。例えば、嗜好適合度がコンテンツＣ＜コンテンツＢ＜コンテンツＡの順で高くなっていると算出された場合、次に推薦するコンテンツＤの位置ベクトルである

は次の数式（１）のように算出しても良い。また、図５は数式（１）を用いた場合の嗜好判断の過程を示したものである。

ｍ、ｎ、α：任意の係数

数式（１）のαの値は、算出した嗜好適合度の値に応じて随時変化させても構わない。例えば、算出した嗜好適合度の最高値が低ければαの値を大きくし、最高値が高ければαの値を小さくするような数式（２）のようにしても構わない。

例えば数式（２）のβを１とし、最大嗜好適合度を０．８とした場合、αは０．２となり、嗜好適合度が最も高いコンテンツと近い座標のコンテンツを次に推薦することができる。一方、βを１とし、最大嗜好適合度を０．３とした場合、αは０．７となり、再生されたコンテンツとは座標が離れたコンテンツを次に推薦することができる。つまり、嗜好適合度が低いコンテンツとは感情情報が異なるコンテンツを次に推薦し、嗜好適合度が高いコンテンツとは感情情報が類似するコンテンツを次に推薦することが可能となる。

これにより、ユーザの嗜好に合っていないコンテンツは推薦せず、ユーザの嗜好に合っているコンテンツを次に推薦することが可能となる。また、推薦した複数のコンテンツすべてがユーザの嗜好に合っていない場合でも、同じようなコンテンツを推薦し続けず、ユーザの嗜好に合わせたコンテンツを推薦することが可能となる。同様に、推薦した複数のコンテンツすべてがユーザの嗜好に合っていた場合、次に推薦するコンテンツも同じようなコンテンツを推薦することができる。

なお、コンテンツの推薦方法については数式（１）や数式（２）に限定されるものではなく、嗜好適合度の結果や、ユーザの状況などに応じて数式の内容を変化させても構わないし、複数の数式を使い分けても構わない。

嗜好判断部１００は、判断した複数のコンテンツに対するユーザの嗜好との適合度を、任意の基準に応じて重みづけを行っても構わない。例えば、コンテンツが再生された順番に応じて重みづけを行う場合、直前に再生されたコンテンツの嗜好適合度を高く評価することで、時間経過によるユーザの嗜好の変化に対応したコンテンツの推薦が可能となる。この時、どの程度重みづけするかは常に一定でも構わないし、コンテンツ推薦の度に変更しても構わない。なお、重みづけの基準は前記に限定されるものではない。

ユーザが自らコンテンツを選択した場合、選択されたコンテンツの嗜好適合度を高く評価するように重みづけを行っても良い。これにより、次回以降のコンテンツ推薦時に、ユーザが直接選択したコンテンツに近い特徴をもつコンテンツを抽出し、ユーザに提示することが可能となる。例えば、音楽プレイヤーにこれを適用した場合、ユーザには最初、嗜好判断部１００の判断結果に基づいて推薦された楽曲を提示するが、ユーザ自身が楽曲の検索を行い楽曲の選択を行った場合は、直前までに再生されていた楽曲の嗜好適合度よりもユーザが選択した楽曲の嗜好適合度を高くすることで、次にユーザの嗜好を反映した楽曲の推薦を行うことが可能となる。

本開示に係るコンテンツ推薦システムは、嗜好判断部２００に、ユーザによるコンテンツの再生動作制御に関する操作情報を取得する操作情報取得部２０４を有し、取得した操作情報に基づいて嗜好を判断し、コンテンツ抽出部２０２はコンテンツ情報記憶部２０１からコンテンツを抽出し、コンテンツ提示部２０３に抽出したコンテンツを提示しても良い。再生動作制御とは、例えば音楽プレイヤーであれば早送りや巻き戻し、音量の調節などを指す。また、電子書籍リーダーであればページめくり、栞を挟む、などを指す。

操作情報取得部２０４は、本実施形態の適用対象となる音楽プレイヤーや電子書籍リーダーなどのアプリケーションと連携し、操作情報を連携先アプリケーションから受信しても良いし、本実施形態の適用対象となるアプリケーションから操作情報の取得が困難である場合は、アプリケーションに接続されていないカメラやマイクなどにより推定した操作情報を取得しても構わない。ここでは操作情報の取得手段を限定しない。

以下、操作情報取得部２０４で取得したデータを用いたコンテンツ推薦方法について説明をする。図６は操作情報取得部２０４を有した実施形態の構成を示すもので、図７は操作情報を用いた嗜好適合度の計算手順の一例を示すフロー図である。

図７で示されるように、まず操作情報取得部２０４は、実施形態の適用対象から操作情報が取得可能か確かめ、取得可能な操作情報を取得する（Ｓ６１）。また、取得できた操作情報の個数も記憶する（Ｓ６２）。

次に、操作情報取得部２０４で取得できた操作情報に基づいて、嗜好判断部２００により嗜好適合度を計算する（Ｓ６３）。取得できた操作情報が複数ある場合は（Ｓ６４；ＮＯ）、すべての操作情報に基づいて嗜好適合度を計算する（Ｓ６５）。

操作情報に基づいた嗜好適合度の計算を終えたら（Ｓ６４；ＹＥＳ）、複数の嗜好適合度から総合的な嗜好適合度を決定する（Ｓ６６）。総合的な嗜好適合度は、例えば計算した複数の嗜好適合度の平均としても良いし、最も高かった嗜好適合度としても良い。計算手段についてはここでは限定しない。

操作情報取得部２０４は、コンテンツが再生されてから早送りが行われるまでの時間を計測し、得られた値を嗜好適合度の計算に用いても良い。例えば、早送りが行われるまでの時間が短い場合は嗜好適合度を低く評価し、早送りが行われるまでの時間が長い場合は嗜好適合度を高く評価しても構わない。

コンテンツが再生されてから早送りされるまでの時間を計測し、得られた値を用いて嗜好適合度を計算する式は、次の数式（３）のようにしても良い。

数式（３）を用いて嗜好適合度を計算する場合、例えば、嗜好適合度の計算対象となるコンテンツの全体再生時間を２４０秒、ユーザが早送りした時の再生時間が３０秒だとすると、嗜好適合度は０．１２５となる。なお、算出した嗜好適合度の有効桁数については本実施形態において任意に定めて良い。

これにより、本実施形態を音楽プレイヤーに適用した場合、再生された楽曲が途中で早送りされた場合はユーザの嗜好に合っていなかったと判断でき、再生された楽曲が最後まで早送りされなかった場合はユーザの嗜好に合っていたと判断することが可能となる。

操作情報取得部２０４は、コンテンツが巻き戻された回数を計測し、得られた値を嗜好適合度の計算に用いても良い。例えば、巻き戻された回数が多い場合は嗜好適合度を高く評価し、巻き戻された回数が少ない場合は嗜好適合度を低く評価しても構わない。

コンテンツが巻き戻された回数を計測し、得られた値を用いて嗜好適合度を計算する式は、次の数式（４）のようにしても良い。なお、数式（４）ではコンテンツ巻き戻し回数の上限を５回に設定することで、コンテンツが巻き戻された回数は５回までカウントし、５回目以降は５が代入されるが、コンテンツ巻き戻し回数の上限値は２以上の値であれば任意に定めて良い。

ｃｎｔＭａｘ：コンテンツ巻き戻し回数の上限
ｃｎｔ：上限を考慮したコンテンツ巻き戻し回数

数式（４）を用いて嗜好適合度を計算する場合、例えば、嗜好適合度の計算対象となるコンテンツの巻き戻し回数が２回、巻き戻し回数の上限を５回とした場合、嗜好適合度は０．４となる。また、一度も巻き戻しがされない場合、嗜好適合度は０となる。

これにより、本実施形態を音楽プレイヤーに適用した場合、楽曲が最後まで再生された後、最初まで巻き戻されもう一度視聴された場合はユーザの嗜好に合っていたと判断し、嗜好適合度を高く計算することができる。また、巻き戻しされずに次の曲を視聴しようとした場合はユーザの嗜好に合っていなかったと判断し、嗜好適合度を低く計算することが可能となる。

操作情報取得部２０４は、音量調節によって変更された音量の値を計測し、得られた値を嗜好適合度の計算に用いても良い。例えば音量調節が微量であれば嗜好適合度を高く評価し、音量が大きく下げられた場合は嗜好適合度を低く評価しても構わない。

音量調節の値を計測し、得られた値を用いて嗜好適合度を計算する式は、次の数式（５）のようにしても良い。数式（５）では大きな音量調節の閾値を元の音量の２割とし、閾値以内の音量調節であれば嗜好的動度を高く算出し、閾値以上の音量調節がなされた場合は調節された音量に応じて嗜好適合度を下げるものとなっている。なお、数式（５）における閾値Ｔは０以上の値であれば任意に定めて良い。

数式（５）を用いて嗜好適合度を計算する場合、例えば、嗜好適合度の計算対象となるコンテンツの元の音量が３０、調整後の音量が２７、閾値Ｔを０．８とした場合、ａは０．９となり閾値Ｔ以上となるので、嗜好適合度は１となる。また、元の音量が３０、調整後の音量が１２、閾値Ｔを０．８とした場合、ａは０．４となり、閾値Ｔ以下となるので、嗜好適合度はａと閾値Ｔで割った値の０．５となる。

これにより、本実施形態を音楽プレイヤーに適用した場合、ユーザが再生中の楽曲の音量を聴きやすい音量に調節した場合はユーザの嗜好に合っていたと判断し、嗜好適合度を高く計算することができる。また、ユーザが再生中の楽曲の音量を半分以下などに下げた場合はユーザの嗜好に合っていなかったと判断し、嗜好適合度を低く計算することが可能となる。

これまでに挙げた操作情報取得部２０４から得られる複数の情報に基づき、コンテンツに対するユーザの嗜好との適合度を算出しても良い。この場合、例えば計算式を次の数式（６）とし、嗜好適合度を算出しても構わない。

ｘ：早送りされた時の再生時間から求めた嗜好適合度
ｙ：巻き戻しの回数から求めた嗜好適合度
ｚ：音量調節の値から求めた嗜好適合度

操作情報取得部２０４から得られた複数の操作情報を用いることで、操作における個人差を考慮したコンテンツ推薦が可能となる。例えば、ユーザによっては早送りはしないが音量調節はこまめに行う場合もあれば、すべての操作を行う場合もあり、ユーザによって操作は異なると考えられる。一つの操作情報から嗜好適合度を計算する場合、例えば早送りをしないユーザに対して、早送りの操作情報のみで嗜好判断を行うとほとんどのコンテンツに対して嗜好適合度が高く評価されてしまう問題が発生する。しかし複数の操作情報を組み合わせて嗜好適合度を計算することで、上記の問題を解決することができる。

また、数式（６）で用いる各嗜好適合度に対して重みづけを行っても良い。この場合、例えば計算式を次の数式（７）とし、嗜好適合度を算出しても構わない。α、β、γは重みづけのための係数で、それぞれ任意の値に定めて良い。

操作情報から求めた嗜好適合度に重みづけを行うことで、上記の操作における個人差をさらに軽減することができる。例えば、早送りをほとんどしないユーザの嗜好適合度を計算する場合、早送りの操作情報から求めた嗜好適合度の重みを小さくし、その他の操作情報から求めた嗜好適合度の重みを大きくするのが好ましい。このように、ほとんど行われていない操作から計算した嗜好適合度の重みを小さくすることで、個人差を考慮した嗜好判断が可能となる。

なお、操作情報取得部２０４から得られた情報に基づいて嗜好適合度を求める式は前記の数式に限定されるものではない。また、嗜好適合度を計算するにあたり、複数の数式を使い分けても構わないし、数式内の変数の値を変更しても構わない。

操作情報取得部２０４で操作情報を取得することで、ユーザに嗜好を入力させることなくユーザの嗜好にあったコンテンツの推薦が可能となる。例えば、従来ではユーザの嗜好を確かめるためのアンケートフォームなどへの回答を要求し、その回答結果に基づいて嗜好を判断する手段があるが、このような回答作業はユーザにとって面倒である。一方、本実施形態では、アンケートの回答などの作業をユーザに強いることなくユーザの嗜好に合ったコンテンツの推薦が可能なため、ユーザはコンテンツに集中することができる。

本開示に係るコンテンツ推薦システムは、本実施形態の適用先に取り付けたセンサ、または外部センサからの情報を取得するためのセンサ情報取得部３０４を有し、センサ情報取得部３０４で取得したセンサ情報に基づいて嗜好を判断し、コンテンツ抽出部３０２はコンテンツ情報記憶部３０１からコンテンツを抽出し、コンテンツ提示部３０３に抽出したコンテンツを提示しても良い。

以下、センサ情報取得部３０４で取得したデータを用いたコンテンツ推薦の手順について説明をする。図８はセンサ情報取得部３０４を有した場合の構成を示すもので、図９はセンサ情報を用いた嗜好適合度の計算手順の一例を示すフロー図である。

図９で示されるように、まずセンサ情報取得部３０４は、実施形態の適用対象に取り付けたセンサ、または実施形態の外部にあるセンサからセンサ情報が取得可能か確かめ、取得可能なセンサ情報を取得する（Ｓ７１）。また、取得できたセンサ情報の個数も記憶する（Ｓ７３）。

取得したセンサ情報から、生理指標判断部により、ユーザ状態の判断を行う（Ｓ７２）。

次に、センサ情報取得部３０４で取得できたセンサ情報に基づいて、嗜好判断部３００により嗜好適合度を計算する（Ｓ７４）。取得できたセンサ情報が複数ある場合は（Ｓ７５；ＮＯ）、すべてのセンサ情報に基づいて嗜好適合度を計算する（Ｓ７６）。

センサ情報に基づいた嗜好適合度の計算を終えたら（Ｓ７５；ＹＥＳ）、計算したセンサ情報と、生理指標判断部の判断結果と、に基づいた嗜好適合度を用いて、総合的な嗜好適合度を決定する（Ｓ７７）。なお、センサ情報を用いた嗜好適合度の計算手順は上記に限定されるものではない。

センサ情報取得部３０４は、振動センサを用いて検出されたユーザの体の動きを取得し、得られたデータを嗜好判断部３００に送信し、嗜好判断部３００は受信したデータに基づいて嗜好適合度の計算を行っても良い。例えば、体が揺れているかどうかで嗜好判断の基準を変更してもよいし、体の揺れるタイミングやテンポなど、体の揺れ具合から特徴量を抽出し、それに基づいて嗜好判断の基準を変更しても構わない。これにより、本実施形態を音楽プレイヤーに適用した場合、例えばユーザの体の揺れと再生中の楽曲のテンポとの同期具合を計測し、同期していれば嗜好適合度を高く評価し、同期していなければ嗜好適合度を低く評価しても構わない。また、本実施形態を映像プレイヤーに適用した場合、例えば映像作品の中で盛り上がるシーンでユーザの体が動いていれば嗜好適合度を高く評価し、動いていなければ嗜好適合度を低く評価しても構わない。

本実施形態を映像プレイヤーに適用する場合、コンテンツ情報記憶部３０１はあらかじめ、映像コンテンツのシーン情報を関連付けて記憶させるのが望ましい。シーン情報には、映像コンテンツを任意の時間区分に分け、区分ごとにそのシーンがどういったシーンかという感情情報を用いても良い。例えば「激しい」や「落ち着く」などのキーワードでも構わないし、感情情報を数値化したものでも構わない。

また、コンテンツの持つ感情情報に基づいて、嗜好判断部３００は振動センサを用いた嗜好適合度の計算方法を変更しても良い。例えば、楽しい気持ちになるようなコンテンツの場合は体の揺れにより嗜好適合度を高く評価し、リラックスできるようなコンテンツの場合は逆に体の揺れにより嗜好適合度を低く評価しても構わない。これにより、本来コンテンツの持つ感情情報が、ユーザの行動に対して作用しているかを確認することで、コンテンツがユーザの嗜好に合っているか否かを判断することが可能となる。

センサ情報取得部３０４は、マイクを用いて検出されたユーザの声を取得し、得られた値を嗜好適合度の計算に用いても良い。例えばユーザの声の大きさを取得し、声が大きければ興奮、声が小さければリラックスしていると推定しても良いし、ユーザの発話量が多ければ興奮、発話量が少なければリラックスしていると推定しても構わない。本実施形態を映像プレイヤーに適用した場合、映像作品の中で盛り上がるシーンを見たユーザが驚きや興奮から声を上げた場合、ユーザの嗜好に合っていたと判断し、ユーザの反応が薄ければユーザの嗜好に合っていなかったと判断することが可能となる。嗜好の判断基準はコンテンツの感情情報に基づいて変更しても構わない。

映像コンテンツを視聴しているユーザの声を取得し、嗜好適合度を求める式は、次の数式（８）のようにしても良い。

数式（８）を用いて嗜好適合度を計算する場合、例えば、嗜好適合度計算対象となる映像コンテンツのシーン区分数を１０、ユーザの声から推定した感情情報と各シーンにおける感情情報の一致区分数が８だった場合、嗜好適合度は０．８となる。

これにより、映像の各シーンを見たときにユーザがリアクションとして声を発した場合、その声から推定した感情情報がコンテンツの感情情報と一致しているかを計算することで、嗜好適合度を計算することが可能となる。

また、本実施形態を音楽プレイヤーに適用した場合、ユーザの歌声と再生中の楽曲のメロディラインとの一致度合を計測し、一致していれば嗜好適合度を高く評価し、一致していなければ嗜好適合度を低く評価しても構わない。これにより、例えばユーザが音楽を聴きながらそれに合わせて歌を歌っていれば嗜好に合っていたと判断し、ユーザの反応が薄ければ嗜好に合っていなかったと判断することが可能となる。

この場合、コンテンツ情報記憶部３０１はあらかじめ、音楽コンテンツのメロディラインをコンテンツと関連づけて記憶させるのが望ましい。メロディラインについてはコンテンツの解析によって取得しても構わないし、ＭＩＤＩ（ＭｕｓｉｃａｌＩｎｓｔｒｕｍｅｎｔＤｉｇｉｔａｌＩｎｔｅｒｆａｃｅ：電子楽器間で演奏データをやりとりするための規格）などのメタデータとして取得しても構わない。

音楽コンテンツを視聴しているユーザの声を取得し、嗜好適合度を求める式は、次の数式（９）のようにしても良い。

数式（９）を用いて嗜好適合度を計算する場合、例えば、嗜好適合度計算対象となる音楽コンテンツのメロディラインのノート数が３００、メロディラインと歌声が一致したノート数が１５０だった場合、嗜好適合度は０．５となる。

これにより、ユーザが楽曲に合わせて歌を歌った場合、嗜好適合度を計算することができる。

センサ情報取得部３０４は、カメラを用いて撮影されたユーザの顔を取得し、得られた特徴量を嗜好適合度の計算に用いても良い。特徴量には、例えば目の開き度合いや、口の開き度合い、瞬きの回数などを用いても構わない。これにより、ユーザの表情から感情を推定し、推定した感情に近い感情情報を持つコンテンツを優先して推薦しても構わない。例えば、ユーザの表情が笑顔であれば嗜好適合度を高く評価し、険しい表情であれば嗜好適合度を低く評価して構わない。

例えば、映像コンテンツを視聴しているユーザの顔を取得し、嗜好適合度を求める場合、ユーザの声から嗜好適合度を求めた時と同様に数式（８）を用いても構わない。

これにより、ユーザがコンテンツを視聴しているときの表情から、嗜好適合度を計算することが可能となる。

センサ情報取得部３０４は、呼吸センサを用いて取得されたユーザの呼吸を取得し、得られた値を嗜好適合度の計算に用いても良い。例えば本実施形態を音楽プレイヤーに適用した場合、ユーザの呼吸のリズムと楽曲のリズムとの同期具合を計測し、同期していれば嗜好適合度を高く評価し、同期していなければ嗜好適合度を低く評価しても構わない。

この場合、コンテンツ情報記憶部３０１はあらかじめ、音楽コンテンツのリズム情報とコンテンツとを関連付けて記憶させるのが望ましい。リズム情報についてはコンテンツの解析によって取得しても構わないし、ＭＩＤＩなどのメタデータとして取得しても構わない。

これにより、コンテンツ視聴時のユーザの呼吸から、嗜好適合度を計算することが可能となる。

センサ情報取得部３０４は、取得したデータからユーザの生理指標を判断するための生理指標判断部を有し、判断結果に基づいて嗜好判断部３００の嗜好判断の基準を変更しても良い。生理指標とは、ユーザの眠気や、ユーザの集中度、ユーザの注意や興味などを指す。生理指標の判断方法は、例えばユーザの顔表情などから眠気を推定しても良いし、ユーザの視線方向から集中力、興味などを推定するなどして、判断しても構わない。

これにより、例えばユーザが眠くなっていると判断された場合、目が覚めるようなコンテンツが推薦されるよう嗜好判断の基準を変更しても構わないし、ユーザの集中力が切れていると判断された場合は、集中できるようなコンテンツが推薦されるように嗜好判断の基準を変更しても構わない。このように、ユーザの嗜好だけでなく、ユーザの生理指標に基づいたコンテンツの推薦が可能となる。

センサ情報取得部でセンサ情報を取得することで、操作情報が取得できない状況においてもユーザの嗜好を判断し、嗜好にあったコンテンツの推薦が可能となる。

また、操作情報と異なりセンサ情報取得部で得られる情報はユーザがコンテンツに対して自然にとった行動などが含まれているため、よりユーザの嗜好判断の精度を高めることができる。例えば、楽曲を視聴する場合、楽曲の早送りなどはユーザの意思により行われるが、楽曲に合わせて体が揺れたり、表情が和らいだりするのはユーザの意思によるものというよりも、楽曲を聴いたことにより自然に行われる行動や変化と考えられる。このように、無意識な行動に表れるコンテンツに対する嗜好を、センサ情報を取得することで判断することが可能となる。

本開示に係るコンテンツ推薦システムは、シーン判断部４０６を有し、操作情報取得部４０４とセンサ情報取得部４０５から得られたデータに基づいてユーザの状況を判断しても良い。嗜好判断部４００は、シーン判断部４０６によって判断されたシーンに応じて嗜好適合度の重みづけや、コンテンツ抽出部４０２はコンテンツ情報記憶部４０１から抽出するコンテンツの範囲を限定し、コンテンツ提示部４０３に提示するなどしても良い。

以下、シーン判断部４０６の判断結果を用いたコンテンツ推薦の手順について説明をする。図１０はシーン判断部４０６を有した場合の実施形態の構成を示した図であり、図１１はコンテンツ推薦の動作手順の一例を示すフロー図である。

図１１に示されるように、シーン判断部４０６は操作情報取得部４０４から操作情報が取得可能であるか確認し、またセンサ情報取得部４０５からセンサ情報が取得可能であるかを確認する（Ｓ８１）。もし、どちらかの情報が取得可能であるならば（Ｓ８１；ＹＥＳ）、取得した情報に基づいてシーンを判断する（Ｓ８２）。シーン判断結果は、嗜好判断部４００に送信する（Ｓ８４）。どちらの情報も取得できなかった場合は、シーン判断結果は「判断不可」として（Ｓ８３）、嗜好判断部４００に送信する（Ｓ８４）。

シーン判断部４０６によってユーザが自動車の運転中であると判断された場合、例えば高速道路では、嗜好判断部４００は目が覚めるようなコンテンツが優先して推薦されるよう、嗜好判断の基準を変更してもよし、一般道では、嗜好判断部４００は運転手がスピードを出しすぎないように激しいコンテンツが推薦されないよう、嗜好判断の基準を変更しても構わない。

また、同乗者がいる場合は、同乗している人に応じて嗜好判断の基準を変更しても良い。例えば、愛人が同乗している場合はロマンチックな気持ちになれるようなコンテンツが推薦されるようにしても構わないし、子供が乗っている場合は楽しい気持ちになれるようなコンテンツが推薦されるようにしても構わない。

また、走行中に発生する走行騒音に応じてコンテンツの嗜好判断の基準を変更しても良い。例えば、走行騒音がうるさい場合は、激しい曲調の楽曲が推薦されるようにしても構わないし、走行騒音が静かな場合は、特に基準を変更しなくても構わない。

シーン判断部４０６によってユーザが入浴中であると判断された場合、例えばリラックスできるようなコンテンツを優先して推薦しても良い。また、入浴時間を計測し、入浴時間が長ければ嗜好適合度を高く評価し、逆に入浴時間が短ければ嗜好適合度を低く評価しても構わない。入浴時間を計測し、嗜好適合度を求める式は、次の数式（１０）のようにしても良い。数式（１０）における最長入浴時間は、ユーザに応じて任意の時間に定めて良い。

さらに、シーン判断部４０６によってユーザがジムで体を鍛えたり、ジョギングなどのスポーツを行っていたりしている判断された場合、ユーザのやる気を掻き立てるようなコンテンツを優先して推薦しても構わない。例えば、音楽プレイヤーに適用する場合、「がんばれ」や「君ならできる」などやる気が出るような歌詞を含む音楽コンテンツが推薦されるようにしても構わない。この場合、コンテンツ情報記憶部４０１にはあらかじめ音楽コンテンツと歌詞とを関連づけて記憶させるのが望ましい。

なお、ここでは推定されるシーンとして自動車の運転と、入浴と、スポーツをあげたが、ここでは本開示に係るコンテンツ推薦システムにより判断するシーンを限定するものではなく、他のシーンに応じて嗜好判断部４００は嗜好判断の基準を変更しても構わない。

このように、シーン判断部４０６によってシーンを判断し、判断結果に応じて嗜好判断の基準を変更することで、ユーザの嗜好だけでなく、ユーザのシーンに応じたコンテンツの推薦が可能となる。

嗜好判断部４００は、センサ情報取得部４０５により判断したユーザの生理指標と、シーン判断部４０６により判断されたシーンと、のいずれか、または両方に応じて、他の覚醒制御技術と組み合わせてコンテンツの提示を行っても良い。例えば、住宅空間においてユーザが眠くなってきていると判断した場合、室内の照明の明るさを弱くしても構わない。また、仕事中にユーザが眠くなってきていると判断した場合、椅子を振動させても構わない。なお、ここではコンテンツ提示と組み合わせる覚醒制御技術を限定するものではない。

これにより、一つのコンテンツを視聴するよりも、覚醒の効果を高めたり、逆にリラックスさせたりと、ユーザの感情や眠気などを制御することが可能となる。

本実施形態では、コンテンツの推薦対象となるユーザが一人、または複数人のどちらの場合にも対応することが可能である。ユーザが複数人の場合、嗜好適合度をユーザごとに計算し、その結果に基づいて次のコンテンツの推薦を行っても良いし、代表ユーザを決め、そのユーザの嗜好適合度にのみ着目して次のコンテンツの推薦を行っても良い。

複数人のユーザの嗜好適合度に基づいてコンテンツの推薦を行う場合、嗜好適合度を次の数式（１１）のようにして求めても良い。

これにより、複数人のユーザに対しても同時に嗜好を判断し、コンテンツの推薦が可能となるので、例えば飲食店やオフィスなどで再生する楽曲や、映像コンテンツなどを、ユーザの嗜好に合わせて推薦することが可能となる。

本実施形態に係るコンテンツ推薦システムは、ユーザに関する情報を記録するためのユーザ情報記憶部５０６を有しても良い。その場合、ユーザ情報記憶部５０６は、ユーザの属性情報を記憶するためのユーザ属性情報記憶部と、ユーザのコンテンツ視聴履歴を記録するためのユーザ視聴履歴記憶部から構成しても良い。

以下、ユーザ情報記憶部５０６のデータを用いたコンテンツ推薦の手順について説明をする。図１２はユーザ情報記憶部５０６を有した場合の実施形態の構成を示した図であり、図１３はコンテンツ推薦の動作手順の一例を示すフロー図である。

図１３で示されるように、まずユーザ情報記憶部５０６はユーザ属性情報記憶部に、ユーザ情報が存在するかどうか確認する（Ｓ９１）。ここで、ユーザ情報が確認できなければ（Ｓ９１；ＮＯ）、ユーザ属性情報入力部にてユーザによるユーザ情報の入力を指示するか、操作情報取得部５０４もしくはセンサ情報取得部５０５の両方またはいずれかから取得した情報に基づいてユーザ情報を推定し（Ｓ９２）、入力または推定されたユーザ情報をユーザ属性情報記憶部に記憶する（Ｓ９３）。ユーザ情報が確認できた場合は（Ｓ９１；ＹＥＳ）、そのままコンテンツを再生する（Ｓ９４）。

コンテンツ再生後は、嗜好判断部５００により嗜好適合度を計算し（Ｓ９５）、ユーザ視聴履歴記憶部に視聴履歴を記憶する（Ｓ９６）。検索要求部はユーザ情報記憶部５０６の情報に基づいてコンテンツを推薦する（Ｓ９７）。なお、ユーザ情報記憶部５０６の構成は上記に限定されるものではなく、またその内部で行われる処理についても限定されるものではない。

ユーザ属性情報記憶部は、ユーザ属性情報入力部を有し、ユーザに属性情報を入力させた情報を記憶しても構わない。ユーザ属性情報として、ユーザを識別するためのユニークＩＤと、年齢、国籍、性別などを記憶しても良い。ユーザ属性情報入力部はアンケートフォームなどのＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）をコンテンツ提示部５０３によってユーザに提示しても構わないし、スマートフォンなどの外部デバイスからデータを受信しても構わない。

ユーザ属性情報記憶部は、センサ情報取得部５０５で取得したデータからユーザの属性情報を推定し、記憶しても良い。例えばカメラで取得した顔画像から、年齢、国籍、性別などを推定し、記憶しても構わない。また、マイクで取得した声から性別、性格などを推定し、記憶しても構わない。

ユーザ視聴履歴記憶部は、コンテンツが再生されるたびに、コンテンツを再生したユーザのＩＤと、コンテンツが再生された日時と、嗜好適合度と、をコンテンツと関連づけて記憶しても良い。ユーザＩＤはユーザ属性情報記憶部のユーザＩＤと対応付けるのが好ましい。

コンテンツ抽出部５０２は、ユーザ視聴履歴記憶部を参照し、未試聴のコンテンツ、または視聴回数が少ないコンテンツを優先して抽出しても構わない。これにより、同じようなコンテンツが連続して抽出されるのを防ぎ、ユーザの嗜好に類似した感情情報を持ち、かつ新鮮なコンテンツを推薦することが可能となる。

コンテンツ情報記憶部５０１は、ユーザ属性情報記憶部を参照し、ユーザの属性に応じてコンテンツ検索に用いられるコンテンツ情報のデータベースを使い分けても良い。例えば、ユーザが男性の場合は男性用のデータベースを参照し、ユーザが女性の場合は女性用のデータベースを参照しても構わない。これにより、ユーザの属性の違いにより生じる嗜好の違いを考慮して、コンテンツの推薦を行うことが可能となる。

嗜好判断部５００は、嗜好判断状況提示部を有し、嗜好判断部５００の嗜好判断結果をユーザに提示しても良い。例えば、コンテンツ情報記憶部５０１がコンテンツの感情情報を２次元空間の座標値として記憶している場合、ディスプレイ上に２次元空間上での各コンテンツの場所と、各コンテンツに対する嗜好適合度と、次に推薦させる可能性の高いコンテンツの座標付近の場所と、を表示しても構わない。これにより、ユーザは本開示に係るシステムの判断状況などを確認することができる。

また、ユーザが嗜好判断部５００の結果を確認した後、以前の嗜好判断結果を変更可能とするための嗜好判断結果変更部を本開示に係るコンテンツ推薦システムに設けても良い。嗜好判断結果変更部は、嗜好の判断結果変更に関する情報（嗜好判断結果変更情報）を取得し、嗜好判断部５００の嗜好判断結果を変更する。嗜好判断結果変更情報は、嗜好判断結果変更情報を入力するためのディスプレイなどを本実施形態に設け、ユーザに入力させても構わないし、スマートフォンなどの外部端末から送信された嗜好判断結果変更情報を取得しても構わない。

以下、嗜好判断結果変更部を用いたコンテンツ推薦の手順について説明をする。図１４はコンテンツ推薦の手順を示すフロー図である。

図１４で示すように、コンテンツが再生され（Ｓ１０１）、コンテンツに対する嗜好適合度を計算（Ｓ１０２）した後、嗜好判断結果変更部に変更情報が入力された場合（Ｓ１０３；ＹＥＳ）、その情報に基づき嗜好判断部５００で計算された結果を変更する（Ｓ１０４）。

変更された嗜好適合度を用いて検索要求を決定し（Ｓ１０５）、コンテンツの推薦を行う（Ｓ１０６）。以後、これを繰り返し実施する。

これにより、ユーザがコンテンツの推薦に不満や疑問を抱いたとき、ユーザによって嗜好判断結果を変更させることで、コンテンツ推薦の精度を改善することが可能となる。

本実施形態は、コンテンツ加工部を有し、コンテンツを加工しても構わない。例えば、楽曲であればテンポやピッチを変更しても構わないし、リバーヴ（残響音を強める）やイコライザー（特定の周波数成分の強さを変更する）等の音響効果を付与しても構わない。また、映像であれば再生速度や色調等を変更しても構わない。

これにより、同一コンテンツであってもコンテンツを加工することで、コンテンツの感情情報を変更することができ、視聴可能なコンテンツが少ない状況であってもユーザの嗜好にあったコンテンツの推薦が可能となる。

また、楽曲については走行騒音等の音環境をアクティブノイズコントロール（ＡＮＣ：ａｃｔｉｖｅｎｏｉｓｅｃｏｎｔｒｏｌ）により、音質変更してコンテンツを推薦しても構わない。これにより、騒音を打ち消すことができ、騒音によるコンテンツの感情情報への影響を排除し、さらにユーザの嗜好に合ったコンテンツ推薦精度の向上が期待できる。

（実施の形態２）
実施の形態２におけるコンテンツ推薦システムを、図１５の模式図を用いて説明する。本実施の形態では自動車に本開示に係るコンテンツ推薦システムを用いた例を示す。図１５において、自動車１０００に、マイク１００１、車室内音環境分析部１００２、ディスプレイ１００３が搭載されている。

自動車１０００走行時に、マイク１００１は車室内の音環境を集音し、車室内音環境分析部１００２に集音した音情報を入力する。ここで、音情報とは車室内のあらゆる音情報であり、カーステレオから流れる音や、走行時のタイヤから発せられるロードノイズや風切り音等の走行騒音等も含まれる。車室内音環境分析部１００２に入力された音情報は、車室内音環境分析部にて、例えばどの程度眠気を誘起させやすい音かどうかを分析する。例えば単調な走行騒音だけであれば、覚醒度が低く分析され、図１６の様にラッセル円環上の低い位置に配置され、比較的眠くなりやすい音環境であるとわかる。また、ゆったりとしたピアノ・ソロのクラシック音楽等が流れている場合、車室内音環境分析部１００２にて図１６の様にやはり覚醒度が低く分析され、比較的眠くなりやすい音環境であることがわかる。一方で激しいロックンロール音楽が流れている場合には、車室内音環境分析部１００２にて図１６の様に覚醒度が高く分析され、眠くなりにくい音環境であることがわかる。この結果をディスプレイ１００３に示すことで、ドライバー１００４は、現在の車室内の音環境がどの程度眠くなりやすい環境かを把握することができる。

こうすることで、眠くなりやすい音環境である場合には、ドライバー１００４はコーヒー等カフェインを取ることや、同乗者に積極的に話しかけることで、無音（走行騒音のみ）、クラシック音楽等の好きな音環境にありながらも運転中に眠くなりにくい様に気をつけることができ、快適に交通事故のリスクを低減することができる。

尚、ディスプレイ１００３に表示する内容は、図１６のラッセル円環をそのまま表示しても構わないが、その他テキスト情報として表示しても構わない。例えばラッセル円環図の下半分に分析された環境のときに「眠くなりやすい音環境です」と表示しても構わない。その他、例えば該当する音環境にて例えば１５分先に至ると予測される眠気のレベルを予め計測しておき、そのデータをもとに入力された音情報から１５分先の眠気を車室内音環境分析部１００２にて算出して、「１５分後の眠気レベル：４」等表示しても構わない。眠気レベルのスケールは限定しないが、例えば５段階で表示して、レベル１：全く眠くない、レベル２：やや眠い、レベル３：眠い、レベル４：かなり眠い、レベル５：非常に眠い、と設定して表示しても構わない。勿論１５分先ではなく１０分先でも２０分先でも構わず、ここではドライバーの状態を表現する内容であれば限定しない。また、ここでは車室内音環境分析部１００２にて分析される指標として眠気を用いて説明したが、例えば快適度でも構わない。その場合は、車室内音環境分析部１００２にて分析された結果はラッセル円環の左右軸方向に反映される。その場合、例えば快適度が低い車室内音環境であるとドライバーが認識すると、運転中にイライラしやすい環境であるとドライバーが認識することで、例えば同乗者と楽しい話をするように気をつけることができ、勿論違う曲を選曲することでイライラしにくい音環境になるように気をつけることで、快適に交通事故のリスクを低減することもできる。勿論、眠気や快適度以外の感情でもよく、例えば集中しやすい音環境かどうか等でもよくここではそれを限定しない。また、表示デバイスとしてディスプレイ１００３を示したが、これは例えばスピーカ等で音声を用いてドライバー１００４に知らせてもよく、その他振動で知らせてもよく、ここではその手法を限定するものではない。

次に、本実施の形態における別の実施の形態を、図１７を用いて説明する。図１７は図１５と同様であるが、ドライバーモニターカメラ１０１５とスピーカ１０１６と制御部１０１７が追加されていることが異なっている。

ドライバーモニターカメラ１０１５は撮影したドライバー１０１４の画像から、ドライバー１０１４の状態を推定するカメラであり、例えばドライバー１０１４の眠気レベルを算出して出力する。出力した眠気レベルは制御部１０１７に入力され、コンテンツ提示部であるスピーカ１０１６に接続されている。また、車室内音環境分析部１００２はコンテンツ情報記憶部１０２０となり、コンテンツ情報記憶部１０２０の出力は、制御部１０１７に入力されている。また、マイク１０１１もコンテンツ情報記憶部１０２０に接続されている。また、この例においてディスプレイ１０１３はなくても構わない。

本実施の形態の動作の仕組みに関して図１８を用いて説明する。まず、コンテンツ情報記憶部１０２０は内部に車室内音環境分析部１０１２を含み、車室内音環境分析部１０１２はマイク１０１１に接続され、さらに自動車１０１０内にて入手可能な音楽コンテンツに接続されている。こうすることでコンテンツ情報記憶部１０２０は、例えば音楽コンテンツの中でＭｕｓｉｃＡが流れているときに、マイク１０１１にて集音したＭｕｓｉｃＡと走行騒音を含む音環境に対する眠くなりやすさを、コンテンツ情報記憶部１０２０内にある車室内音環境分析部１０１２にて分析することで、どの程度眠くなりやすい音環境かを分析することができる。さらに、ＭｕｓｉｃＡ以外の楽曲に対してもどの程度眠くなりやすい音環境かを事前に分析しておくことで、コンテンツ情報記憶部１０２０は、各音楽コンテンツが自動車１０１０内でどの程度眠くなりやすいかを事前に記憶しておく。一方で、ドライバーモニターカメラ１０１５にて推定されたドライバーの眠気が嗜好判断部１０１８に入力されて、例えば眠気レベルが３以上であった場合にドライバーの眠気が深くなっていると判断される。勿論判断する眠気レベルは２であっても４．５であってもよく、ここではそれを限定するものではない。ここで眠気レベルが３以上で高くなっていると判断された場合（図中Ｙｅｓの場合）は、コンテンツ抽出部１０１９にて、コンテンツ情報記憶部１０２０の中から覚醒度が比較的高いと判断された楽曲（ＭｕｓｉｃＡ）を選曲し、コンテンツ提示部であるスピーカ１０１６にてドライバー１０１４に対して再生されることになる。

こうすることで、眠気が低下した場合であっても自動的に覚醒度を高められる楽曲が選択されることで、ドライバーに眠くなりにくい音環境を自動的に提供することが可能となり、交通事故のリスクを低減することが可能になる。

また、ここでは車室内音環境分析部１０１２にて分析される指標として眠気を用いて説明したが、例えば快適度でも構わない。その場合は、車室内音環境分析部１０１２にて分析された結果はラッセル円環の左右軸方向に反映される。その場合、例えばドライバーモニターカメラ１０１５にてドライバーが不快と判断された場合には、車室内音環境分析部１０１２にて快適度が高いと分析された楽曲を選択することで、イライラしにくい音環境を提供することができ、快適に交通事故のリスクを低減することができる。

また、以上は自動車１０００や自動車１０１０を用いて実施の形態を説明したが、これは自動車には限定せず、例えば同様に飛行機や、船、バス、電車等々に用いてもよく、ここではその用途を限定するものではない。

さらに、走行時のロードノイズ性能を示す指標に関して図１９を用いて説明する。自動車１０５０内にマイク１０５１と車室内音環境分析部１０５２が取り付けられている。このとき、所定の速度にて自動車１０５０で走行時に、マイク１０５１で集音され、車室内音環境分析部１０５２で分析された座標を、タイヤの性能として表示する。例えばタイヤＡ装着時の所定速度でのロードノイズが図２０のように車室内音環境分析部１０５２で分析された場合、図２１の様にタイヤＡの性能として覚醒度＋０．８、快適度＋０．２と表示することで、人はこのタイヤＡを装着することで、どの程度眠くなりにくいか、不快になりにくいかを簡単に理解することができる。このとき自動車１０５０を所定の自動車に決定しておくことで、他のタイヤＢやタイヤＣと性能を比較することができるようになり、人はタイヤを購入する際の参照指標とすることができる。

この実施例では自動車を所定の車両としてタイヤを入れ替えたが、勿論逆でもよく、所定のタイヤを決定しておき、自動車１０５０をさまざまなクルマとして、所定の速度で走行時の車室内音環境分析部１０５２で分析された座標を抽出、表示することで、自動車１０５０の風切り音等の走行騒音がどの程度眠くなりにくいか、不快になりにくいかを簡単に理解することができるという効果を有する。

なお、これまで述べた実施形態１、実施形態２に示す構成は、一例であって、発明の趣旨を逸脱しない範囲で様々な変更が可能であるのは言うまでもない。

本開示におけるコンテンツ推薦システムは、ユーザの嗜好に合わせたコンテンツの提供を可能とするものであり、音楽や映像の再生アプリケーション等として有用である。また自動車の運転や住宅などの生活空間においても覚醒維持や快適感向上の技術などと組み合わせた用途にも応用できる。

１００、２００、３００、４００、５００、１０１８嗜好判断部
１０１、２０１、３０１、４０１、５０１、１０２０コンテンツ情報記憶部
１０２、２０２、３０２、４０２、５０２、１０１９コンテンツ抽出部
１０３、２０３、３０３、４０３、５０３コンテンツ提示部
２０４、４０４、５０４操作情報取得部
３０４、４０５、５０５センサ情報取得部
４０６シーン判断部
５０６ユーザ情報記憶部
１０００、１０１０、１０５０自動車
１００１、１０１１、１０５１マイク
１００２、１０１２、１０５２車室内音環境分析部
１００３、１０１３ディスプレイ
１００４、１０１４ドライバー
１０１５ドライバーモニターカメラ
１０１６スピーカ
１０１７制御部

Claims

少なくとも音又は映像のコンテンツを再生可能なコンテンツ提示部と、
２以上のコンテンツと、前記２以上のコンテンツのそれぞれに紐づけられた、当該コンテンツに対して人が感じる感情を示す第１感情情報とを記憶するコンテンツ情報記憶部と、
操作情報及びセンサ情報の少なくとも一方に基づいて、前記２以上のコンテンツのうち、前記コンテンツ提示部に提示されることでユーザに視聴された複数のコンテンツに対する前記ユーザの嗜好との適合度を示す嗜好適合度を計算する嗜好判断部と、
前記複数のコンテンツ以外の前記２以上のコンテンツの中から推薦するコンテンツを抽出するコンテンツ抽出部と、を有し、
前記コンテンツ提示部は、前記コンテンツ抽出部で抽出された前記推薦するコンテンツを前記ユーザに提示し、
前記推薦するコンテンツの推薦を行い、
前記操作情報は、前記ユーザによるコンテンツの再生動作制御に関する情報であり、
前記センサ情報は、センサによって測定された値を示す情報であり、
前記嗜好判断部は、前記複数のコンテンツのうち、前記ユーザによって直前に視聴された少なくとも２つのコンテンツに対する前記嗜好適合度と、前記少なくとも２つコンテンツと紐付けられた前記第１感情情報とに基づいて、前記推薦するコンテンツを抽出するための第２感情情報を決定し、
前記コンテンツ抽出部は、決定された前記第２感情情報に基づいて、前記推薦するコンテンツを抽出する
コンテンツ推薦システム。
前記嗜好判断部は、前記操作情報に基づいて計算した前記嗜好適合度に対して任意の基準に応じて重みづけし、前記少なくとも２つのコンテンツに対する、重みづけされた前記嗜好適合度に基づいて、前記第２感情情報を決定する
請求項１に記載のコンテンツ推薦システム。
前記コンテンツ推薦システムは、前記操作情報を取得する操作情報取得部を有し、
前記嗜好判断部は、前記操作情報取得部で取得した前記操作情報に基づき前記嗜好適合度を計算する
請求項１に記載のコンテンツ推薦システム。
前記操作情報取得部で取得できる前記操作情報は、コンテンツの再生操作と、コンテンツの停止操作と、コンテンツの早送り操作と、コンテンツの巻き戻し操作と、コンテンツを前記ユーザがあとから参照可能なリストに保存する動作と、コンテンツの音量変更操作との少なくともいずれかを含む
請求項３に記載のコンテンツ推薦システム。
前記嗜好判断部は、前記操作情報取得部から前記操作情報を取得し、操作が行われた時間と、操作が行われた回数と、前記操作情報の少なくともいずれかに基づき前記嗜好適合度を計算する
請求項４に記載のコンテンツ推薦システム。
前記コンテンツ推薦システムは、前記コンテンツ推薦システムに取り付けられた前記センサによって測定された値、又は遠隔にある前記センサによって測定された値を前記センサ情報として取得するセンサ情報取得部を有し、
前記嗜好判断部は前記センサ情報取得部で取得した前記センサ情報に基づき前記嗜好適合度を計算する
請求項１に記載のコンテンツ推薦システム。
前記センサは、前記ユーザの身体の動きを検出する振動センサと、前記ユーザの発する音声又は前記ユーザの周りの環境音を取得するマイクロフォンと、前記ユーザの顔を撮影するカメラと、前記ユーザの呼吸を検知する呼吸センサとの少なくともいずれかを含む
請求項６に記載のコンテンツ推薦システム。
前記嗜好判断部は、前記センサ情報から得られる、前記ユーザの眠気と、前記ユーザの感情の少なくともいずれかを含む前記ユーザの生理指標に応じて前記嗜好適合度を計算する
請求項６に記載のコンテンツ推薦システム。
前記コンテンツ推薦システムは、事前に登録した前記ユーザの情報と、前記センサによって抽出した前記ユーザの情報の少なくともいずれかを含む前記ユーザの属性情報を記憶するユーザ情報記憶部を有し、前記ユーザ情報記憶部に記憶された前記ユーザの属性情報に応じて複数の前記コンテンツ情報記憶部を使用する
請求項１に記載のコンテンツ推薦システム。