JP5359534B2 - 情報処理装置および方法、並びにプログラム - Google Patents

情報処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP5359534B2
JP5359534B2 JP2009112016A JP2009112016A JP5359534B2 JP 5359534 B2 JP5359534 B2 JP 5359534B2 JP 2009112016 A JP2009112016 A JP 2009112016A JP 2009112016 A JP2009112016 A JP 2009112016A JP 5359534 B2 JP5359534 B2 JP 5359534B2
Authority
JP
Japan
Prior art keywords
content
analysis
unit
experience
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009112016A
Other languages
English (en)
Other versions
JP2010262436A (ja
JP2010262436A5 (ja
Inventor
充弘 宮嵜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009112016A priority Critical patent/JP5359534B2/ja
Priority to US12/766,535 priority patent/US8843949B2/en
Priority to CN2010101591091A priority patent/CN101877006A/zh
Publication of JP2010262436A publication Critical patent/JP2010262436A/ja
Publication of JP2010262436A5 publication Critical patent/JP2010262436A5/ja
Application granted granted Critical
Publication of JP5359534B2 publication Critical patent/JP5359534B2/ja
Priority to US14/294,510 priority patent/US9973815B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/436—Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/437—Administration of user profiles, e.g. generation, initialisation, adaptation, distribution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G06F16/4387—Presentation of query results by the use of playlists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、ユーザの状況に応じた、より最適なコンテンツを推薦することができるようにする情報処理装置および方法、並びにプログラムに関する。
従来のコンテンツ推薦システムは、Webページ上やAV（Audio/Visual）機器において、ユーザによって入力されたキーワードや選択されたメタデータ等に基づいて、コンテンツを検索および推薦するものである。
ところで、過去に楽曲を出力したときの日時や場所、楽曲の名称、出力機器、同伴者等をエピソードとして記憶し、のちに、その楽曲が検索されたときに、エピソードを音声や文字列として出力する技術が提案されている（特許文献１参照）。
特開２００６−２５２７５８号
しかしながら、従来のコンテンツ推薦システムでは、ユーザの状況に応じて、ユーザにとって特に印象的であったエピソードに対応するコンテンツを推薦することはできない。
本発明は、このような状況に鑑みてなされたものであり、特に、過去にコンテンツを視聴したときのユーザの反応や周囲の環境についての情報と、コンテンツ自体に関わる情報とに基づいて、ユーザの状況に応じた、より最適なコンテンツを推薦するものである。
本発明の一側面の情報処理装置は、ユーザのコンテンツ体験時の、コンテンツに対する前記ユーザの態度としての反応について所定の解析を行った反応解析結果、前記コンテンツ体験時の前記ユーザの外的環境について所定の解析を行った環境解析結果、前記コンテンツの映像信号または音声信号について所定の信号解析を行った信号解析結果、および、前記コンテンツに関して記述された言語情報について所定の言語解析を行った言語解析結果のうちの所定の２つの解析結果間の関連性の度合いを示す関連度を、複数の異なる前記２つの解析結果間について算出する関連度算出手段と、前記関連度算出手段によって算出された複数の前記関連度に所定の演算を施すことによって、前記ユーザの前記コンテンツ体験の重要度を算出する重要度算出手段と、前記重要度算出手段によって算出された前記重要度の高い前記コンテンツ体験に対応する前記コンテンツを、前記ユーザに対して推薦する推薦コンテンツとして決定する決定手段とを備える。
前記関連度算出手段には、前記反応解析結果、前記環境解析結果、前記信号解析結果、および前記言語解析結果に対して、特徴量解析または言語解析を用いることにより、前記関連度を算出させることができる。
前記情報処理装置には、前記重要度算出手段によって、前記ユーザの前記コンテンツ体験毎に算出された前記重要度に応じて、前記コンテンツ体験に対応する前記コンテンツをソートするソート手段をさらに設け、前記決定手段には、前記ソート手段によってソートされた前記コンテンツのうちの前記重要度の高い前記コンテンツ体験に対応する前記コンテンツを、前記推薦コンテンツとして決定させることができる。
前記決定手段には、前記ソート手段によってソートされた前記コンテンツのうち、前記重要度が所定の閾値より高い前記コンテンツ体験に対応する前記コンテンツを、前記推薦コンテンツとして決定させることができる。
前記ソート手段には、前記コンテンツ体験毎に算出された前記重要度の降順に、前記コンテンツ体験に対応する前記コンテンツをソートさせ、前記決定手段には、前記ソート手段によってソートされた前記コンテンツのうち、前記重要度が所定の閾値より高い前記コンテンツ体験に対応する前記コンテンツを、前記推薦コンテンツとして決定させることができる。
前記ソート手段には、前記コンテンツ体験毎に算出された前記重要度の降順に、前記コンテンツ体験に対応する前記コンテンツをソートさせ、前記決定手段には、前記ソート手段によってソートされた前記コンテンツのうち、前記重要度の高い前記コンテンツ体験に対応する前記コンテンツの上位Ｎ個を、前記推薦コンテンツとして決定させることができる。
前記情報処理装置には、前記コンテンツ体験に対応する前記コンテンツのうちの、前記コンテンツ体験時以降の前記反応解析結果および前記環境解析結果のいずれか一方または両方に応じた前記コンテンツを検索する検索手段をさらに設け、前記ソート手段には、前記検索手段によって検索された前記コンテンツを、前記コンテンツ体験の前記重要度に応じてソートさせることができる。
本発明の一側面の情報処理方法は、関連度算出手段と、重要度算出手段と、決定手段とを備える情報処理装置の情報処理方法であって、前記関連度算出手段が、ユーザのコンテンツ体験時の、コンテンツに対する前記ユーザの態度としての反応について所定の解析を行った反応解析結果、前記コンテンツ体験時の前記ユーザの外的環境について所定の解析を行った環境解析結果、前記コンテンツの映像信号または音声信号について所定の信号解析を行った信号解析結果、および、前記コンテンツに関して記述された言語情報について所定の言語解析を行った言語解析結果のうちの所定の２つの解析結果間の関連性の度合いを示す関連度を、複数の異なる前記２つの解析結果間について算出する関連度算出ステップと、前記重要度算出手段が、前記関連度算出手段によって算出された複数の前記関連度に所定の演算を施すことによって、前記ユーザの前記コンテンツ体験の重要度を算出する重要度算出ステップと、前記決定手段が、前記重要度算出ステップの処理によって算出された前記重要度の高い前記コンテンツを、前記ユーザに対して推薦する推薦コンテンツとして決定する決定ステップとを含む。
本発明の一側面のプログラムは、ユーザのコンテンツ体験時の、コンテンツに対する前記ユーザの態度としての反応について所定の解析を行った反応解析結果、前記コンテンツ体験時の前記ユーザの外的環境について所定の解析を行った環境解析結果、前記コンテンツの映像信号または音声信号について所定の信号解析を行った信号解析結果、および、前記コンテンツに関して記述された言語情報について所定の言語解析を行った言語解析結果のうちの所定の２つの解析結果間の関連性の度合いを示す関連度を、複数の異なる前記２つの解析結果間について算出する関連度算出ステップと、前記関連度算出ステップの処理によって算出された複数の前記関連度に所定の演算を施すことによって、前記ユーザの前記コンテンツ体験の重要度を算出する重要度算出ステップと、前記重要度算出ステップの処理によって算出された前記重要度の高い前記コンテンツを、前記ユーザに対して推薦する推薦コンテンツとして決定する決定ステップとを含む処理をコンピュータに実行させる。
本発明の一側面においては、ユーザのコンテンツ体験時の、コンテンツに対するユーザの態度としての反応について所定の解析を行った反応解析結果、コンテンツ体験時のユーザの外的環境について所定の解析を行った環境解析結果、コンテンツの映像信号または音声信号について所定の信号解析を行った信号解析結果、および、コンテンツに関して記述された言語情報について所定の言語解析を行った言語解析結果のうちの所定の２つの解析結果間の関連性の度合いを示す関連度が、複数の異なる２つの解析結果間について算出され、算出された複数の関連度に所定の演算が施されることによって、ユーザのコンテンツ体験の重要度が算出され、算出された重要度の高いコンテンツが、ユーザに対して推薦する推薦コンテンツとして決定される。
本発明の一側面によれば、ユーザの状況に応じた、より最適なコンテンツを推薦することが可能となる。
本発明の一実施の形態である情報処理システムの構成例を示すブロック図である。 情報処理システムの情報統合処理について説明するフローチャートである。 反応解析部による反応解析処理について説明するフローチャートである。 環境解析部による環境解析処理について説明するフローチャートである。 信号解析部による信号解析処理について説明するフローチャートである。 言語解析部による言語解析処理について説明するフローチャートである。 情報統合部による情報統合処理について説明するフローチャートである。 情報処理システムによるコンテンツ推薦処理について説明するフローチャートである。 検索部によって検索されたコンテンツの一覧の例を示す図である。 汎用のパーソナルコンピュータの構成例を説明する図である。
以下、本発明の実施の形態について図を参照して説明する。
［情報処理システムの構成例］
図１は、本発明の一実施の形態である情報処理システムの構成例を示している。図１の情報処理システムは、コンテンツを取り扱う。ここで、コンテンツとは、広く、人間の創造的活動により生み出されるものである。例えば、映画、音楽、演劇、文芸、写真、漫画、アニメーション、コンピュータゲームその他の、文字、図形、色彩、音声、動作、画像のそれぞれ、もしくはこれらを組み合わせたもの、またはこれらに係る情報を、電子計算機を介して提供するためのプログラムが、コンテンツの一例である。ただし、本明細書では、いわゆるコンテンツデータ、すなわち、人間の創造的活動により生み出されたものが装置によって処理可能な形態とされたもの、例えば電気信号とされたものや、メモリに保持されたもの等も、特に区別せずにまとめて、コンテンツと称する。
図１の情報処理システムは、反応解析部１１、環境解析部１２、信号解析部１３、言語解析部１４、コンテンツ管理部１５、情報統合部１６、コンテンツ体験部１７、およびコンテンツ推薦部１８から構成されている。
反応解析部１１は、マウス、キーボード、リモートコントローラ、音声認識装置、画像認識装置、生体センサ等を含むように構成される。反応解析部１１は、コンテンツ視聴時のユーザの態度としての反応である、ポインティングデバイス入力、音声、画像、生体反応等の情報を検出する。反応解析部１１は、反応解析検出部２１、反応解析入力部２２、反応解析記憶部２３、および反応解析演算部２４を備えている。
反応解析検出部２１は、例えば、音声認識装置、画像認識装置、生体センサで構成され、コンテンツ視聴時のユーザの発話した音声、ユーザの顔画像、および生体反応に対応した情報を、リアルタイムに検出／計測し、反応解析記憶部２３に供給する。
反応解析入力部２２は、例えば、マウス、キーボード、リモートコントローラ等のポインティングデバイスで構成され、ユーザのコンテンツ視聴時のポインティングデバイス入力に対応した情報を、反応解析記憶部２３に供給する。
反応解析記憶部２３は、反応解析検出部２１からの、ユーザの音声、画像、および生体反応に対応した情報、および、反応解析入力部２２からのポインティングデバイス入力に対応した情報（以下、それぞれを反応情報という）を、時系列に記憶する。また、反応解析記憶部２３は、反応解析演算部２４から供給されてくる解析結果を記憶する。
反応解析演算部２４は、反応解析検出部２１の動作を制御しつつ、反応解析記憶部２３に記憶されている反応情報を順次読み出し、所定のデータ解析を行い、得られた解析結果（以下、反応解析結果という）を、情報統合部１６に供給する。また、反応解析演算部２４は、得られた反応解析結果を、反応解析記憶部２３に供給し、記憶させる。
環境解析部１２は、電波時計、GPS（Global Positioning System）レシーバ、温度センサ等を含むように構成される。環境解析部１２は、コンテンツ視聴時のユーザの外的環境である、日時、場所、気温等、その他周囲の環境についての情報を検出する。環境解析部１２は、環境解析検出部３１、環境解析記憶部３２、および環境解析演算部３３を備えている。
環境解析検出部３１は、例えば、電波時計、GPSレシーバ、温度センサ等で構成され、ユーザのコンテンツ視聴時の日時、場所、気温等、その他周囲の環境についての情報（以下、環境情報という）を、リアルタイムに検出／計測し、環境解析記憶部３２に供給する。
環境解析記憶部３２は、環境解析検出部３１からの環境情報を、時系列に記憶する。また、環境解析記憶部３２は、環境解析演算部３３から供給されてくる解析結果を記憶する。
環境解析演算部３３は、環境解析記憶部３２に記憶されている環境情報を順次読み出し、所定のデータ解析を行い、得られた解析結果（以下、環境解析結果という）を、情報統合部１６に供給するとともに、環境解析記憶部３２に供給し、記憶させる。
このように、反応解析部１１および環境解析部１２は、ユーザのコンテンツ視聴時の、ユーザ自身およびその周囲の状況についての情報に対する解析を行う。以下では、その結果得られる反応解析結果および環境解析結果を併せて、適宜、ユーザ状況解析結果ともいう。
信号解析部１３は、例えば、サーバ／クライアントコンピュータ、あるいはソフトウェアモジュールで構成され、コンテンツの画像信号および音声信号についての信号解析を行う。信号解析部１３は、信号解析記憶部４１および信号解析演算部４２を備えている。
信号解析記憶部４１は、コンテンツ管理部１５から情報統合部１６を介して供給される、コンテンツを記憶（保持）する。また、信号解析記憶部４１は、信号解析演算部４２から供給されてくる解析結果を記憶する。
信号解析演算部４２は、信号解析記憶部４１に記憶されているコンテンツを読み出し、画像信号および音声信号として取得して、所定の信号解析を行う。信号解析演算部４２は、信号解析の解析結果である信号解析結果を、情報統合部１６に供給するとともに、信号解析記憶部４１に供給し、記憶させる。
言語解析部１４は、例えば、サーバ／クライアントコンピュータ、あるいはソフトウェアモジュールで構成され、コンテンツに関して記述された文章や単語等の言語情報について所定の言語解析を行う。言語解析部１４は、言語解析記憶部５１および言語解析演算部５２を備えている。
言語解析記憶部５１は、コンテンツ管理部１５から情報統合部１６を介して供給される、例えば、コンテンツのメタデータとしての、コンテンツに関して記述された文章や単語等の言語情報を記憶する。また、言語解析記憶部５１は、言語解析演算部５２から供給されてくる解析結果を記憶する。
言語解析演算部５２は、言語解析記憶部５１に記憶されているコンテンツに関する言語情報を読み出し、所定の言語解析を行う。言語解析演算部５２は、言語解析の解析結果である言語解析結果を、情報統合部１６に供給するとともに、言語解析記憶部５１に供給し、記憶させる。
このように、信号解析部１３および言語解析部１４は、コンテンツに関する信号および情報に対する解析を行う。以下では、その結果得られる信号解析結果および言語解析結果を併せて、適宜、コンテンツ解析結果ともいう。
コンテンツ管理部１５は、例えば、放送機器、サーバ／クライアントコンピュータ、あるいはデータベースソフトウェアで構成され、コンテンツを管理する。コンテンツ管理部１５は、コンテンツ記憶部６１およびコンテンツ提供部６２を備えている。
コンテンツ記憶部６１は、上述で説明した、動画や静止画である画像、音声、Webページ等のコンテンツとともに、そのコンテンツのメタデータを記憶している。
コンテンツ提供部６２は、例えば、テレビジョン放送システムにおける配信サーバや、インターネット上のストリーミングコンテンツサーバ等で構成され、コンテンツ記憶部６１に保持されているコンテンツおよびそのメタデータを、情報統合部１６に供給する。
情報統合部１６は、図１に示される情報処理システムにおいて、各種の情報を中継したり統合する。例えば、情報統合部１６は、コンテンツ管理部１５からのコンテンツを、信号解析部１３やコンテンツ体験部１７に供給したり、コンテンツ管理部１５からのコンテンツのメタデータを、言語解析部１４に供給する。また、情報統合部１６は、反応解析部１１、環境解析部１２、信号解析部１３、および言語解析部１４からの解析結果を統合して、その統合結果を、コンテンツ推薦部１８に供給する。情報統合部１６は、情報統合管理部７１および情報統合記憶部７２を備えている。
情報統合管理部７１は、図１に示される情報処理システムにおける情報の中継および統合を管理する。例えば、情報統合管理部７１は、コンテンツ体験部１７からの要求に応じて、コンテンツ管理部１５からのコンテンツを、コンテンツ体験部１７に供給する。この時、情報統合管理部７１は、コンテンツ管理部１５からのコンテンツを、信号解析部１３にも供給するとともに、コンテンツ管理部１５からのコンテンツのメタデータを、言語解析部１４に供給する。
また、情報統合管理部７１は、反応解析部１１、環境解析部１２、信号解析部１３、および言語解析部１４からの解析結果の間の関連性に基づいて、ユーザがコンテンツを視聴したことの重要さの度合いである体験重要度を求める。ここで、ユーザがコンテンツを視聴した（する）ことを、コンテンツ体験という。すなわち、情報統合管理部７１は、コンテンツ体験の体験重要度を求める。さらに、情報統合管理部７１は、コンテンツ体験部１７からの要求に応じて、コンテンツ推薦部１８からの、ユーザに推薦するコンテンツである推薦コンテンツに関する情報（推薦結果）を、コンテンツ体験部１７に供給する。
さらに、情報統合管理部７１は、関連度算出部７１ａおよび重要度算出部７１ｂを備えている。
関連度算出部７１ａは、反応解析部１１からの反応解析結果、環境解析部１２からの環境解析結果、信号解析部１３からの信号解析結果、および言語解析部１４からの言語解析結果の間の関連性の度合いを示す体験関連度を算出する。
重要度算出部７１ｂは、関連度算出部７１ａによって算出された体験関連度に対して、所定の演算を施し、コンテンツ体験の体験重要度を算出し、コンテンツ推薦部１８に供給するとともに、情報統合記憶部７２に供給し、記憶させる。体験重要度は、解析結果それぞれの間の体験関連度が高いほど高い値をとる。なお、特に、体験重要度の高いコンテンツ体験、すなわち、ユーザにとって特に印象的なコンテンツ体験を、以下、適宜、エピソードという。
情報統合記憶部７２は、情報統合管理部７１からのコンテンツ体験の体験重要度を、そのコンテンツ体験に対応するコンテンツを表す情報（例えば、コンテンツ名称）に対応付けて記憶する。
コンテンツ体験部１７は、ユーザがコンテンツを視聴することのできる、すなわち、ユーザがコンテンツ体験をすることのできるクライアントコンピュータ、CE（Consumer Electronics）機器、携帯情報端末装置等で構成される。コンテンツ体験部１７は、ユーザ入力部８１、コンテンツ体験演算部８２、コンテンツ体験記憶部８３、およびコンテンツ体験表示部８４を備えている。
ユーザ入力部８１は、ユーザがコンテンツ体験部１７に対する操作を行うためのキーボード、マウス、リモートコントローラ、タッチパネル等の入力機器として構成される。ユーザ入力部８１に対するユーザの操作内容は、コンテンツ体験演算部８２に供給される。なお、上述の反応解析入力部２２を、ユーザ入力部８１と共有されるように構成されてもよい。
コンテンツ体験演算部８２は、ユーザ入力部８１からのユーザの操作内容に基づいた情報を情報統合部１６に供給することで、情報統合部１６から、ユーザの操作内容に対応した情報を取得する。例えば、コンテンツ体験演算部８２は、コンテンツを視聴する旨のユーザの操作内容に基づいた情報を情報統合部１６に供給することで、コンテンツ管理部１５から情報統合部１６を介して、コンテンツを取得し、コンテンツ体験表示部８４に供給する。また、例えば、コンテンツ体験演算部８２は、コンテンツの推薦結果を確認する旨のユーザの操作内容に応じた情報を情報統合部１６に供給することで、コンテンツ推薦部１８から情報統合部１６を介して、コンテンツの推薦結果を取得し、コンテンツ体験表示部８４に供給する。また、コンテンツ体験演算部８２は、情報統合部１６からの各種の情報を、必要に応じて、コンテンツ体験記憶部８３に供給する。さらに、コンテンツ体験演算部８２は、コンテンツ体験表示部８４に対する表示の制御を行う。例えば、コンテンツ体験演算部８２は、情報統合部１６からのコンテンツやコンテンツの推薦結果を、コンテンツ体験表示部８４としてのモニタやGUI（Graphic User Interface）画面上に、適切にレイアウトする制御を行う。
コンテンツ体験記憶部８３は、コンテンツ体験演算部８２から供給されてくる各種の情報を記憶する。
コンテンツ体験表示部８４は、コンテンツの推薦結果等を表示するためのGUI画面、および、コンテンツ自体の表示が可能なモニタ、スピーカ、プリンタ等の出力機器として構成される。例えば、コンテンツ体験表示部８４は、コンテンツ体験演算部８２の制御の下、コンテンツ体験演算部８２からの各種の情報に基づいて、コンテンツやコンテンツの推薦結果を表示する。
コンテンツ推薦部１８は、例えば、サーバ／クライアントコンピュータ、あるいはソフトウェアモジュール等で構成され、ユーザに対してコンテンツを推薦する。コンテンツ推薦部１８は、コンテンツ推薦記憶部９１およびコンテンツ推薦演算部９２を備えている。
コンテンツ推薦記憶部９１は、情報統合部１６から供給されてくる各種の情報、例えば、各解析結果を統合した統合結果であるコンテンツ体験の体験重要度や、各解析結果自体を記憶する。また、コンテンツ推薦記憶部９１は、これらの情報を基にコンテンツ推薦演算部９２によって生成されるユーザの嗜好情報を記憶する。ここで、ユーザの嗜好情報とは、例えば、ユーザが、コンテンツ体験に対応するコンテンツに対してポジティブな感情を持ったか、ネガティブな感情を持ったかを示す情報とされる。さらに、コンテンツ推薦記憶部９１は、コンテンツ推薦演算部９２によるコンテンツの推薦結果を記憶する。
コンテンツ推薦演算部９２は、コンテンツ推薦記憶部９１に記憶されている情報、具体的には、コンテンツ体験の体験重要度を用いて、ユーザにとって特に印象的なコンテンツ体験であるエピソードに対応するコンテンツを推薦し、その推薦結果を情報統合部１６に供給する。また、コンテンツ推薦演算部９２は、その推薦結果を、コンテンツ推薦記憶部９１に供給し、記憶させる。また、コンテンツ推薦演算部９２は、情報統合部１６から供給されてくる各種の情報を用いてユーザの嗜好情報を生成して、コンテンツ推薦記憶部９１に供給する。
さらに、コンテンツ推薦演算部９２は、検索部９２ａ、ソート部９２ｂ、および決定部９２ｃを備えている。
検索部９２ａは、ユーザが新たにコンテンツ体験をする際に、ユーザの操作に応じて入力される所定の情報に基づいて、コンテンツ推薦記憶部９１の体験重要度に対応するコンテンツ体験のコンテンツのうちの、所定の情報に応じた所定のコンテンツを検索する。
ソート部９２ｂは、検索部９２ａによって検索されたコンテンツを、対応するコンテンツ体験の体験重要度に応じてソートする。より具体的には、ソート部９２ｂは、検索部９２ａによって検索されたコンテンツを、対応するコンテンツ体験の体験重要度の高い順にソートする。
決定部９２ｃは、ソート部９２ｂによってソートされたコンテンツのうちの、体験重要度の高いコンテンツ体験、すなわち、エピソードに対応するコンテンツを、ユーザに対して推薦する推薦コンテンツとして決定し、その結果（推薦結果）を、情報統合部１６に供給する。
なお、図１の情報処理システムにおいて、反応解析部１１、環境解析部１２、信号解析部１３、言語解析部１４、コンテンツ管理部１５、コンテンツ体験部１７、およびコンテンツ推薦部１８それぞれと、情報統合部１６との間の接続形態は、特に限定されず、有線であっても無線であってもよく、また、インターネットまたはイントラネットを介して接続されるようにしてもよい。
［情報処理システムの情報統合処理］
次に、図２のフローチャートを参照して、図１の情報処理システムの情報統合処理について説明する。情報統合処理は、ユーザが、コンテンツ体験部１７のユーザ入力部８１を操作し、所定のコンテンツを視聴し始めることで開始される。
ステップＳ１１において、反応解析部１１は、反応解析処理を実行することで、ユーザのコンテンツ視聴時のポインティングデバイス入力、音声、画像、生体反応等の情報である反応情報に対して、所定のデータ解析を行う。
［反応解析部の反応解析処理］
ここで、図３のフローチャートを参照して、反応解析部１１による反応解析処理について説明する。
ステップＳ２１において、反応解析部１１は、ユーザの反応情報を検出する。より具体的には、反応解析検出部２１は、ユーザのコンテンツ視聴時にユーザの発話した音声、ユーザの顔画像、および生体反応に対応した情報を、反応解析演算部２４の制御に基づいて、リアルタイムに検出／計測し、反応解析記憶部２３に供給する。また、反応解析入力部２２は、ユーザのコンテンツ視聴時のポインティングデバイス入力としての操作内容、例えば、そのときにユーザが入力したメールや日記、インターネットを介してWebページに入力した書き込みの内容に対応した情報を、反応解析記憶部２３に供給する。
ステップＳ２２において、反応解析記憶部２３は、反応解析検出部２１からの、ユーザの音声、画像、および生体反応に対応した情報、および、反応解析入力部２２からのポインティングデバイス入力に対応した情報、すなわち、反応情報を、時系列に記憶する。
ステップＳ２３において、反応解析演算部２４は、反応解析記憶部２３に記憶されている反応情報を順次読み出し、所定のデータ解析を行う。より具体的には、例えば、反応解析演算部２４は、ユーザの曲Ａを聴いたときの、日記への入力内容「傷心中です…」や、発話した音声「悲しいなぁ」を表す情報、曲Ａを聴いたことによって活動力が向上したときの体温・血圧・心拍数を表す情報を、反応解析記憶部２３から読み出し、データ解析を行い、対応するテキストデータとして、反応解析結果を得る。
ステップＳ２４において、反応解析演算部２４は、得られた反応解析結果を、情報統合部１６に供給する。より具体的には、例えば、反応解析演算部２４は、データ解析の結果得られた、「傷心中です…」や「悲しいなぁ」、体温・血圧・心拍数の値に基づいて設定される「活動力向上」を示すテキストデータを、情報統合部１６に供給する。
図２のフローチャートに戻り、ステップＳ１２において、環境解析部１２は、環境解析処理を実行し、ユーザのコンテンツ視聴時の日時、場所、気温等、その他周囲の環境についての環境情報に対して、所定のデータ解析を行う。
［環境解析部の環境解析処理］
ここで、図４のフローチャートを参照して、環境解析部１２による環境解析処理について説明する。
ステップＳ３１において、環境解析検出部３１は、ユーザのコンテンツ視聴時の日時、場所、気温、季節、時事的な話題、流行等についての環境情報を、環境解析演算部３３の制御に基づいて、リアルタイムに検出／計測し、環境解析記憶部３２に供給する。
ステップＳ３２において、環境解析記憶部３２は、環境解析検出部３１からの環境情報を、時系列に記憶する。
ステップＳ３３において、環境解析演算部３３は、環境解析記憶部３２に記憶されている環境情報を順次読み出し、所定のデータ解析を行う。より具体的には、例えば、環境解析演算部３３は、ユーザが曲Ａを聴きながら行ったコンビニエンスストアの位置を表す位置情報や、その時期の流行語である「癒し」を表す情報を、環境解析記憶部３２から読み出し、データ解析を行い、対応するテキストデータとして、環境解析結果を得る。
ステップＳ３４において、環境解析演算部３３は、得られた環境解析結果を、情報統合部１６に供給する。より具体的には、例えば、環境解析演算部３３は、データ解析の結果得られた、位置情報で表される「コンビニエンスストア」や、流行語である「癒し」を示すテキストデータを、情報統合部１６に供給する。
図２のフローチャートに戻り、ステップＳ１３において、信号解析部１３は、信号解析処理を実行し、コンテンツの画像信号および音声信号に対して信号解析を行う。
［信号解析部の信号解析処理］
ここで、図５のフローチャートを参照して、信号解析部１３による信号解析処理について説明する。
ステップＳ４１において、信号解析演算部４２は、信号解析記憶部４１に記憶されているコンテンツを読み出し、画像信号および音声信号として取得する。
ステップＳ４２において、信号解析演算部４２は、信号解析記憶部４１から取得したコンテンツの画像信号および音声信号に対して、特徴量解析等の信号解析を行う。より具体的には、例えば、信号解析演算部４２は、取得したコンテンツである曲Ａの音声信号に対して信号解析を行い、特徴量としての解析結果を得る。
ステップＳ４３において、信号解析演算部４２は、信号解析の解析結果である信号解析結果を、情報統合部１６に供給する。より具体的には、例えば、信号解析演算部４２は、信号解析結果として得られた特徴量であるムード（「悲しい」、「癒し」、「爽やか」、「ロマンチック」、「希望」、…）や、ジャンル（「ポップス」、「ロック」、「ジャズ」、…）、カテゴリ（「曲」、「映画」、…）等を、情報統合部１６に供給する。
図２のフローチャートに戻り、ステップＳ１４において、言語解析部１４は、言語解析処理を実行し、コンテンツに関する言語情報に対して言語解析を行う。
［言語解析部の言語解析処理］
ここで、図６のフローチャートを参照して、言語解析部１４による言語解析処理について説明する。
ステップＳ５１において、言語解析演算部５２は、言語解析記憶部５１に記憶されている、コンテンツに関して記述された文章や単語等の言語情報を読み出して取得する。
ステップＳ５２において、言語解析演算部５２は、言語解析記憶部５１から取得したコンテンツに関する言語情報に対して、形態素解析等の言語解析を行う。より具体的には、例えば、言語解析演算部５２は、取得した曲Ａの歌詞としての言語情報に対して言語解析を行い、その言語情報である歌詞を構成するテキストデータ（「失恋」、「コンビニ」、「元気」、「日曜」、「留守電」等）を、解析結果として得る。
ステップＳ５３において、言語解析演算部５２は、言語解析の解析結果である言語解析結果を、情報統合部１６に供給する。より具体的には、例えば、言語解析演算部５２は、言語解析結果として得られた、コンテンツとしての曲Ａの歌詞を構成するテキストデータを、情報統合部１６に供給する。
図２のフローチャートに戻り、ステップＳ１５において、情報統合部１６は、情報統合処理を実行し、反応解析部１１、環境解析部１２、信号解析部１３、および言語解析部１４からの解析結果を統合する。
［情報統合部の情報統合処理］
ここで、図７のフローチャートを参照して、情報統合部１６による情報統合処理について説明する。
ステップＳ７１において、情報統合管理部７１の関連度算出部７１ａは、反応解析部１１からの反応解析結果、環境解析部１２からの環境解析結果、信号解析部１３からの信号解析結果、および言語解析部１４からの言語解析結果の間の体験関連度を算出する。例えば、関連度算出部７１ａは、ユーザ状況解析結果（反応解析結果および環境解析結果）と、コンテンツ解析結果（信号解析結果および言語解析結果）との間の、信号的または言語的な相関関係や類似度を求めることで、体験関連度を算出する。
より具体的には、関連度算出部７１ａは、ユーザ状況解析結果とコンテンツ解析結果とに対して、特徴量解析技術や言語解析技術を用いることで、潜在的（統計処理ベース）または意味的（辞書ベース）に、体験関連度を算出する。
ここで、特徴量解析技術としては、例えば、特開２００７−１７２５２３号公報に記載されているように、ユーザの状況を表すコンテクストと、コンテンツの特徴量とを、同一平面状にマッピングすることで、コンテクストと特徴量との間の相関関係を求める手法を用いることができる。また、例えば、特開２００７−２０７２１８号公報に記載されているように、ユーザの気分（ムード）に該当しない特徴量を有する曲に、学習により得られたムードに対応するクラスタを付与する手法を用いてもよい。
例えば、関連度算出部７１ａは、反応解析結果としてのテキストデータ「悲しいなぁ」と、信号解析結果としての特徴量であるムード「悲しい」との間の相関関係を求めることで、体験関連度Ｃ1＝1.0を算出する。
また、関連度算出部７１ａは、環境解析結果としてのテキストデータ「癒し」と、信号解析結果としての特徴量であるムード「癒し」との間の相関関係を求めることで、体験関連度Ｃ2＝1.0を算出する。
また、言語解析技術としては、例えば、２００７−２４１８８８号公報に記載されているように、PLSA（Probabilistic Latent Semantic Analysis）を用いて、潜在的に、解析対象同士を同一空間上に生成する手法を用いることができる。
例えば、関連度算出部７１ａは、反応解析結果としてのテキストデータ「傷心中です…」と、言語解析結果としての歌詞を構成するテキストデータ「失恋」との間の潜在的な類似度を求めることで、体験関連度Ｃ3＝0.8を算出する。
また、関連度算出部７１ａは、環境解析結果としてのテキストデータ「コンビニエンスストア」と、言語解析結果としての歌詞を構成するテキストデータ「コンビニ」との間の潜在的な類似度を求めることで、体験関連度Ｃ4＝1.0を算出する。
さらに、関連度算出部７１ａは、反応解析結果としてのテキストデータ「活動力向上」と、言語解析結果としての歌詞を構成するテキストデータ「元気」との間の潜在的な類似度を求めることで、体験関連度Ｃ5＝0.9を算出する。
なお、以上においては、上述した特徴量解析技術や言語解析技術以外の解析技術を用いるようにしてももちろんよい。
このようにして、関連度算出部７１ａは、ユーザ状況解析結果およびコンテンツ解析結果間の信号的または言語的な相関関係や類似度に基づいて、コンテンツを視聴したときのユーザの反応や周囲の環境についての情報と、コンテンツ自体に関わる情報との関連性を表す体験関連度を算出する。なお、関連度算出部７１ａは、上述しなかった、反応解析結果と環境解析結果、信号解析結果と言語解析結果のそれぞれの間の体験関連度を算出することもできる。すなわち、関連度算出部７１ａは、反応解析結果、環境解析結果、信号解析結果、および言語解析結果のうちの２つの間の体験関連度を算出することができる。
ステップＳ７２において、重要度算出部７１ｂは、関連度算出部７１ａによって算出された体験関連度に対して、所定の演算を施し、コンテンツ体験の体験重要度を算出する。例えば、重要度算出部７１ｂは、体験関連度Ｃ1乃至Ｃ5を加算することで、体験重要度Ｉ＝4.7（＝1.0＋1.0＋0.8＋1.0＋0.9）を求める。また、例えば、重要度算出部７１ｂは、体験関連度それぞれをベクトルとみなしたときの、各ベクトル間のコサイン距離の和を体験重要度としてもよい。ここで、ベクトル間のコサイン距離とは、２つのベクトルの内積をそれぞれのベクトルの絶対値の積で除算して得られる値である。なお、体験重要度を求める演算は、上述した手法に限らず、他の演算手法を適用することができる。
さらに、重要度算出部７１ｂは、算出したコンテンツ体験の体験重要度と、コンテンツ体験の対象となったコンテンツのコンテンツ名称、および、体験関連度を算出する際に用いられたコンテンツ解析結果に対応するテキストデータ（以下、キーワードという）と対応付けて、情報統合記憶部７２に供給する。例えば、重要度算出部７１ｂは、曲Ａについての体験重要度の値「4.7」、コンテンツ名称「曲Ａ」、および、コンテンツ解析結果（信号解析結果および言語解析結果）に対応するテキストデータ（「悲しい」、「癒し」、「爽やか」、…や、「失恋」、「コンビニ」、「元気」等）を対応付けて、情報統合記憶部７２に供給する。
ステップＳ７３において、情報統合記憶部７２は、情報統合管理部７１からの体験重要度を記憶する。
以上の処理によれば、ユーザがコンテンツを視聴した時のユーザ自身および周囲の状況と、コンテンツ自体のムード等の特徴量や歌詞等の言語情報との関連性に基づいて、ユーザがコンテンツを視聴したことに対しての体験重要度を算出することができる。
以上においては、様々なコンテンツ体験をしたときのユーザの状況に応じて、そのコンテンツ体験の体験重要度を算出する処理について説明した。次に、以下においては、たとえば、ユーザが新たにコンテンツ体験をするとき等に、予め算出された体験重要度に基づいて、その時のユーザにとって最適なコンテンツを推薦する処理について説明する。
［情報処理システムのコンテンツ推薦処理］
そこで、図８のフローチャートを参照して、図１の情報処理システムによるコンテンツ推薦処理について説明する。コンテンツ推薦処理は、ユーザ入力部８１に対して、例えば、コンテンツの推薦結果を確認する旨の操作がされると実行される。
ステップＳ９１において、コンテンツ体験演算部８２は、ユーザ入力部８１に対するユーザの操作によって、ユーザが視聴しようとするコンテンツを検索するための検索キーワードが入力されたか否かを判定する。
ステップＳ９１において、検索キーワードが入力されたと判定された場合、ステップＳ９２において、コンテンツ体験演算部８２は、検索キーワードを取得し、情報統合管理部７１を介して、コンテンツ推薦演算部９２の検索部９２ａに供給する。
一方、ステップＳ９１において、検索キーワードが入力されなかったと判定された場合、ステップＳ９２をスキップし、処理は、ステップＳ９３に進む。
ステップＳ９３において、コンテンツ体験演算部８２は、ユーザ入力部８１に対するユーザの操作によって、反応解析処理の実行が指示されたか否かを判定する。
ステップＳ９３において、反応解析処理の実行が指示されたと判定された場合、ステップＳ９４において、コンテンツ体験演算部８２は、情報統合管理部７１を介して、反応解析演算部２４に、反応解析処理を実行させる。なお、ステップＳ９４において実行される反応解析処理は、図３のフローチャートのステップＳ２４において、解析結果を、情報統合部１６を介して検索部９２ａに供給する以外は、図３のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
なお、ステップＳ９４の反応解析処理においては、反応解析部１１は、ユーザのコンテンツ視聴時の反応情報を扱うのではなく、例えば、ユーザのコンテンツ視聴前に入力したメールや日記、インターネットを介してのWebページへの書き込みの内容に対応した情報を反応情報として扱う。
一方、ステップＳ９３において、反応解析処理の実行が指示されなかった場合、ステップＳ９４をスキップし、処理は、ステップＳ９５に進む。
ステップＳ９５において、コンテンツ体験演算部８２は、ユーザ入力部８１に対するユーザの操作によって、環境解析処理の実行が指示されたか否かを判定する。
ステップＳ９５において、環境解析処理の実行が指示されたと判定された場合、ステップＳ９６において、コンテンツ体験演算部８２は、情報統合管理部７１を介して、環境解析演算部３３に、環境解析処理を実行させる。なお、ステップＳ９６において実行される環境解析処理は、図４のフローチャートのステップＳ３４において、解析結果を、情報統合部１６を介して検索部９２ａに供給する以外は、図４のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
なお、ステップＳ９６の環境解析処理においては、環境解析部１２は、ユーザのコンテンツ視聴時の環境情報を扱うのではなく、コンテンツ視聴前の、ユーザのいる場所、気温等、その他周囲の環境についての情報を環境情報として扱う。
一方、ステップＳ９５において、環境解析処理の実行が指示されなかった場合、ステップＳ９６をスキップし、処理は、ステップＳ９７に進む。
ステップＳ９７において、検索部９２ａは、検索キーワード、反応解析結果、および環境解析結果のうちの、少なくとも１つに基づいて、推薦対象となるコンテンツを検索する。例えば、検索部９２ａは、検索キーワードに一致するキーワードが対応付けられている、コンテンツ推薦記憶部９１に記憶されている体験重要度を検索する。例えば、ユーザによって検索キーワード「悲しい」が入力された場合、検索部９２ａは、キーワード「悲しい」が対応付けられている体験重要度を検索し、検索した体験重要度に対応するコンテンツを推薦対象（推薦候補）のコンテンツとする。
図９は、検索部９２ａによって検索されたコンテンツの一覧の例を示している。図９においては、コンテンツである曲のタイトル（コンテンツ名称）に、ジャンル、キーワードとしての歌詞およびムード、並びに体験重要度が対応付けられている。ジャンルは、そのコンテンツ（曲）に関するメタデータの１つであり、ジャンルに限らず、他の項目であってもよく、例えば、検索部９２ａは、ジャンルをキーワードとしてコンテンツを検索するようにもできる。
図９においては、例えば、曲Ａには、ジャンルとしての「ポップス」、歌詞を構成するテキストデータとしての「失恋（0.8）」、「コンビニ（1.0）」、「元気（0.9）」、「日曜」、「留守電」、…、ムードとしての「悲しい（1.0）」、「癒し（1.0）」、「爽やか」、「ロマンチック」、および「希望」、並びに、体験重要度としての値「4.7」が対応付けられている。なお、図中、「失恋（0.8）」等のように、括弧“（）”内で示される値は、体験重要度を求める際に算出された体験関連度を表している。曲Ｂには、ジャンルとしての「ロック」、歌詞を構成するキーワードとしての「裏切り」、「快感」、「痛み」、「夜明け（0.3）」、「予感」、…、ムードとしての「悲しい（0.8）」、「感傷的」、「はかない」、「沈んだ」、および「不安（1.0）」、並びに、体験重要度としての値「2.1」が対応付けられている。以降、同様にして、曲Ｃ乃至曲Ｊについても、ジャンル、歌詞、ムード、および体験重要度がそれぞれ対応付けられている。
そして、図９に示されるように、いずれの曲にも、ムードを示すキーワード「悲しい」が対応付けられている。すなわち、ユーザによって、検索キーワード「悲しい」が入力されると、検索部９２ａは、図９に示される曲Ａ乃至曲Ｊの１０のコンテンツを推薦対象（推薦候補）のコンテンツとする。
図８のフローチャートに戻り、ステップＳ９８において、ソート部９２ｂは、検索部９２ａによって検索されたコンテンツを、対応するコンテンツ体験の体験重要度に応じてソートする。例えば、ソート部９２ｂは、図９に示される曲Ａ乃至曲Ｊを、体験重要度の降順でソートする。より具体的には、ソート部９２ｂは、図９に示される曲Ａ乃至曲Ｊを、曲Ａ、曲Ｅ、曲Ｃ、曲Ｉ、曲Ｈ、曲Ｊ、曲Ｄ、曲Ｂ、曲Ｇ、曲Ｆの順でソートする。なお、同じ値の体験重要度が存在した場合は、例えば、ユーザがコンテンツ体験した時刻から現在時刻により近いものを優先して上位にソートするようにできる。
ステップＳ９９において、決定部９２ｃは、ソート部９２ｂによってソートされたコンテンツのうちの、体験重要度の高いコンテンツ体験、すなわち、エピソードに対応するコンテンツを、ユーザに対して推薦する推薦コンテンツとして決定する。決定部９２ｃは、その推薦結果（推薦コンテンツのコンテンツ名称等）を、情報統合部１６を介してコンテンツ体験演算部８２に供給する。例えば、決定部９２ｃは、曲Ａ、曲Ｅ、曲Ｃ、曲Ｉ、曲Ｈ、曲Ｊ、曲Ｄ、曲Ｂ、曲Ｇ、曲Ｆの順でソートされたコンテンツのうち、コンテンツ体験の体験重要度が、所定の閾値（例えば2.0）より高いコンテンツを推薦コンテンツとして決定する。この場合、曲Ａ、曲Ｅ、曲Ｃ、曲Ｉ、曲Ｈ、曲Ｊ、曲Ｄ、および曲Ｂの８コンテンツが推薦コンテンツとなる。このとき、決定部９２ｃは、推薦結果を、情報統合部１６を介してコンテンツ体験演算部８２に供給するが、推薦結果とともに、推薦コンテンツに対応付けられている歌詞やムードに対応するキーワードのうち、体験関連度の値の高いものを、メタデータとしてコンテンツ体験演算部８２に供給するようにしてもよい。
また、例えば、ステップＳ９９において、決定部９２ｃは、曲Ａ、曲Ｅ、曲Ｃ、曲Ｉ、曲Ｈ、曲Ｊ、曲Ｄ、曲Ｂ、曲Ｇ、曲Ｆの順でソートされたコンテンツのうち、コンテンツ体験の体験重要度の高い上位５コンテンツを推薦コンテンツとして決定してもよい。この場合、曲Ａ、曲Ｅ、曲Ｃ、曲Ｉ、および曲Ｈの５コンテンツが推薦コンテンツとなる。なお、コンテンツ体験の体験重要度の高い上位のコンテンツの数は、５以外の数でもよい。
ステップＳ１００において、コンテンツ体験演算部８２は、情報統合部１６を介して決定部９２ｃから供給されたコンテンツの推薦結果（推薦コンテンツのコンテンツ名称）を、コンテンツ体験表示部８４に表示させる。また、決定部９２ｃから、メタデータとして、推薦コンテンツに対応付けられているキーワードのうちの体験関連度の値の高いものが供給された場合、コンテンツの推薦結果とともに、メタデータとしてのキーワードが表示されるようにしてもよい。
また、このとき、コンテンツ体験演算部８２が情報統合部１６を介して、ユーザが過去に推薦コンテンツをコンテンツ体験したときの反応情報や環境情報を反応解析記憶部２３や環境解析記憶部３２から読み出すことで、例えば、推薦コンテンツが曲Ａであることとともに、“曲Ａを聴きながら「コンビニ」に行った”、“あの頃は、「癒し」が流行語だった”、“曲Ａを聴いて「悲しいなぁ」とつぶやいた”等の文章を表示させることで、ユーザに対して、エピソードを思い出させるようにしてもよい。
以上の処理によれば、例えば、ユーザが新たにコンテンツ体験をするときに、過去にユーザがコンテンツを視聴した時のユーザ自身および周囲の状況と、コンテンツ自体のムード等の特徴量や歌詞等の言語情報との関連性に基づいて算出された体験重要度に基づいて、コンテンツを推薦することができるので、ユーザの状況に応じた、より最適なコンテンツを推薦することができる。
また、推薦されるコンテンツは、体験重要度の高いコンテンツ体験、すなわち、ユーザにとって特に印象的であったエピソードに対応するコンテンツであるので、ユーザは、推薦されたコンテンツによって、印象的な過去の思い出を振り返ることができる。
なお、以上においては、ステップＳ９７において、検索キーワードに基づいてコンテンツを検索する例について説明したが、反応解析結果や環境解析結果に基づいてコンテンツを検索する場合、検索部９２ａは、それぞれの解析結果に対応するキーワードと一致するキーワードの数が所定数より多いコンテンツを検索する。また、検索キーワード、反応解析結果、および環境解析結果のうちのいずれか２つ、または全部に基づいてコンテンツを検索する場合には、それぞれの条件を満たすコンテンツが検索されるようになる。
また、ユーザが新たにコンテンツを視聴する前の反応解析結果や環境解析結果、すなわち、ユーザ状況解析結果に基づいてユーザの感情を２値化することで、検索部９２ａがコンテンツを検索する際、対応する嗜好情報と、２値化されたユーザの感情とに基づいて、コンテンツを検索するようにしてもよい。
なお、図８のコンテンツ推薦処理は、ユーザが新たにコンテンツを視聴するときに実行されるものとして説明したが、ステップＳ９１，Ｓ９２における検索キーワードの取得の処理が実行されないようにすれば、ユーザが新たにコンテンツを視聴するときに限らず、例えば、ユーザの日常生活の中で得られるユーザ状況解析結果に基づいて、コンテンツ推薦処理が実行されるようにもできる。これにより、ユーザによる推薦コンテンツの要求の操作なく、日常生活の中で、ユーザ自身および周囲の状況に応じたコンテンツを推薦することができる。
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
図１０は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)９０１を内蔵している。CPU９０１にはバス９０４を介して、入出力インタフェース９０５が接続されている。バス９０４には、ROM(Read Only Memory)９０２およびRAM(Random Access Memory)９０３が接続されている。
入出力インタフェース９０５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部９０６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部９０７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部９０８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部９０９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア９１１に対してデータを読み書きするドライブ９１０が接続されている。
CPU９０１は、ROM９０２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア９１１から読み出されて記憶部９０８にインストールされ、記憶部９０８からRAM９０３にロードされたプログラムに従って各種の処理を実行する。RAM９０３には、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。換言すると、図１の情報処理システムは、例えば、図１０のパーソナルコンピュータ等、１台の装置として構成しても、または、そのように捉えても構わない。
１１ 反応解析部， １２ 環境解析部， １３ 信号解析部， １４ 言語解析部， １５ コンテンツ管理部， １６ 情報統合部， １７ コンテンツ体験部， １８ コンテンツ推薦部， ７１ 情報統合管理部， ７１ａ 関連度算出部， ７１ｂ 重要度算出部， ７２ 情報統合記憶部， ８１ ユーザ入力部， ８２ コンテンツ体験演算部， ８３ コンテンツ体験記憶部， ８４ コンテンツ体験表示部， ９１ コンテンツ推薦記憶部， ９２ コンテンツ推薦演算部， ９２ａ 検索部， ９２ｂ ソート部， ９２ｃ 決定部

Claims (8)

  1. ユーザのコンテンツ体験時の、コンテンツに対する前記ユーザの態度としての反応について所定の解析を行った反応解析結果、前記コンテンツ体験時の前記ユーザの外的環境について所定の解析を行った環境解析結果、前記コンテンツの映像信号または音声信号について所定の信号解析を行った信号解析結果、および、前記コンテンツに関して記述された言語情報について所定の言語解析を行った言語解析結果のうちの所定の２つの解析結果間の関連性の度合いを示す関連度を、複数の異なる前記２つの解析結果間について算出する関連度算出手段と、
    前記関連度算出手段によって算出された複数の前記関連度に所定の演算を施すことによって、前記ユーザの前記コンテンツ体験の重要度を算出する重要度算出手段と、
    前記重要度算出手段によって算出された前記重要度の高い前記コンテンツ体験に対応する前記コンテンツを、前記ユーザに対して推薦する推薦コンテンツとして決定する決定手段と
    を備える情報処理装置。
  2. 前記関連度算出手段は、前記反応解析結果、前記環境解析結果、前記信号解析結果、および前記言語解析結果に対して、特徴量解析または言語解析を用いることにより、前記関連度を算出する
    請求項１に記載の情報処理装置。
  3. 前記重要度算出手段によって、前記ユーザの前記コンテンツ体験毎に算出された前記重要度に応じて、前記コンテンツ体験に対応する前記コンテンツをソートするソート手段をさらに備え、
    前記決定手段は、前記ソート手段によってソートされた前記コンテンツのうちの前記重要度の高い前記コンテンツ体験に対応する前記コンテンツを、前記推薦コンテンツとして決定する
    請求項１に記載の情報処理装置。
  4. 前記ソート手段は、前記コンテンツ体験毎に算出された前記重要度の降順に、前記コンテンツ体験に対応する前記コンテンツをソートし、
    前記決定手段は、前記ソート手段によってソートされた前記コンテンツのうち、前記重要度が所定の閾値より高い前記コンテンツ体験に対応する前記コンテンツを、前記推薦コンテンツとして決定する
    請求項３に記載の情報処理装置。
  5. 前記ソート手段は、前記コンテンツ体験毎に算出された前記重要度の降順に、前記コンテンツ体験に対応する前記コンテンツをソートし、
    前記決定手段は、前記ソート手段によってソートされた前記コンテンツのうち、前記重要度の高い前記コンテンツ体験に対応する前記コンテンツの上位Ｎ個を、前記推薦コンテンツとして決定する
    請求項３に記載の情報処理装置。
  6. 前記コンテンツ体験に対応する前記コンテンツのうちの、前記コンテンツ体験時以降の前記反応解析結果および前記環境解析結果のいずれか一方または両方に応じた前記コンテンツを検索する検索手段をさらに備え、
    前記ソート手段は、前記検索手段によって検索された前記コンテンツを、前記コンテンツ体験の前記重要度に応じてソートする
    請求項３に記載の情報処理装置。
  7. 関連度算出手段と、重要度算出手段と、決定手段とを備える情報処理装置の情報処理方法であって、
    前記関連度算出手段が、ユーザのコンテンツ体験時の、コンテンツに対する前記ユーザの態度としての反応について所定の解析を行った反応解析結果、前記コンテンツ体験時の前記ユーザの外的環境について所定の解析を行った環境解析結果、前記コンテンツの映像信号または音声信号について所定の信号解析を行った信号解析結果、および、前記コンテンツに関して記述された言語情報について所定の言語解析を行った言語解析結果のうちの所定の２つの解析結果間の関連性の度合いを示す関連度を、複数の異なる前記２つの解析結果間について算出する関連度算出ステップと、
    前記重要度算出手段が、前記関連度算出手段によって算出された複数の前記関連度に所定の演算を施すことによって、前記ユーザの前記コンテンツ体験の重要度を算出する重要度算出ステップと、
    前記決定手段が、前記重要度算出ステップの処理によって算出された前記重要度の高い前記コンテンツを、前記ユーザに対して推薦する推薦コンテンツとして決定する決定ステップと
    を含む情報処理方法。
  8. ユーザのコンテンツ体験時の、コンテンツに対する前記ユーザの態度としての反応について所定の解析を行った反応解析結果、前記コンテンツ体験時の前記ユーザの外的環境について所定の解析を行った環境解析結果、前記コンテンツの映像信号または音声信号について所定の信号解析を行った信号解析結果、および、前記コンテンツに関して記述された言語情報について所定の言語解析を行った言語解析結果のうちの所定の２つの解析結果間の関連性の度合いを示す関連度を、複数の異なる前記２つの解析結果間について算出する関連度算出ステップと、
    前記関連度算出ステップの処理によって算出された複数の前記関連度に所定の演算を施すことによって、前記ユーザの前記コンテンツ体験の重要度を算出する重要度算出ステップと、
    前記重要度算出ステップの処理によって算出された前記重要度の高い前記コンテンツを、前記ユーザに対して推薦する推薦コンテンツとして決定する決定ステップと
    を含む処理をコンピュータに実行させるプログラム。
JP2009112016A 2009-05-01 2009-05-01 情報処理装置および方法、並びにプログラム Expired - Fee Related JP5359534B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009112016A JP5359534B2 (ja) 2009-05-01 2009-05-01 情報処理装置および方法、並びにプログラム
US12/766,535 US8843949B2 (en) 2009-05-01 2010-04-23 Apparatus, method, and program for processing information
CN2010101591091A CN101877006A (zh) 2009-05-01 2010-04-23 用于处理信息的设备、方法和程序
US14/294,510 US9973815B2 (en) 2009-05-01 2014-06-03 Apparatus, method, and program for processing information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009112016A JP5359534B2 (ja) 2009-05-01 2009-05-01 情報処理装置および方法、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2010262436A JP2010262436A (ja) 2010-11-18
JP2010262436A5 JP2010262436A5 (ja) 2012-04-05
JP5359534B2 true JP5359534B2 (ja) 2013-12-04

Family

ID=43019562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009112016A Expired - Fee Related JP5359534B2 (ja) 2009-05-01 2009-05-01 情報処理装置および方法、並びにプログラム

Country Status (3)

Country Link
US (2) US8843949B2 (ja)
JP (1) JP5359534B2 (ja)
CN (1) CN101877006A (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10289898B2 (en) 2010-06-07 2019-05-14 Affectiva, Inc. Video recommendation via affect
JP5790661B2 (ja) * 2010-11-17 2015-10-07 日本電気株式会社 順序判定装置、順序判定方法および順序判定プログラム
AU2012256402A1 (en) * 2011-02-27 2013-07-11 Affectiva, Inc, Video recommendation based on affect
JP6219014B2 (ja) * 2011-09-27 2017-10-25 ソニー株式会社 端末装置と外部装置と情報処理方法とプログラムおよび情報処理システム
ITTO20120867A1 (it) * 2012-10-05 2014-04-06 Rai Radiotelevisione Italiana Metodo e sistema per la raccomandazione di contenuti multimediali su una piattaforma multimediale
DE102015113924A1 (de) * 2014-08-21 2016-02-25 Affectomatics Ltd. Ranking auf der Grundlage von affektiver Reaktion der Crowd
US10043062B2 (en) 2016-07-13 2018-08-07 International Business Machines Corporation Generating auxiliary information for a media presentation
US9741258B1 (en) 2016-07-13 2017-08-22 International Business Machines Corporation Conditional provisioning of auxiliary information with a media presentation
US10594812B2 (en) * 2017-03-10 2020-03-17 Sony Interactive Entertainment LLC Post-engagement metadata generation
EP3729819A1 (en) * 2017-12-18 2020-10-28 Telefonaktiebolaget LM Ericsson (publ) Controlling playout of advertisement content during live video streaming at an end-user terminal
US20220394348A1 (en) * 2021-06-02 2022-12-08 Universal Electronics Inc. System and method for using a virtual agent to provide consumer electronic device related technical support
CN117033393B (zh) * 2023-10-08 2023-12-12 四川酷赛科技有限公司 一种基于人工智能的信息存储管理系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030106058A1 (en) * 2001-11-30 2003-06-05 Koninklijke Philips Electronics N.V. Media recommender which presents the user with rationale for the recommendation
US20060085416A1 (en) * 2003-03-05 2006-04-20 Kanae Naoi Information reading method and information reading device
KR100493902B1 (ko) * 2003-08-28 2005-06-10 삼성전자주식회사 콘텐츠 추천방법 및 시스템
JP2006268100A (ja) * 2005-03-22 2006-10-05 Nippon Telegr & Teleph Corp <Ntt> プレイリスト生成装置、プレイリスト生成方法、プログラムおよび記録媒体
US7424244B2 (en) 2005-07-28 2008-09-09 Static Control Components, Inc. Systems and methods for remanufacturing imaging components
JP2007041988A (ja) * 2005-08-05 2007-02-15 Sony Corp 情報処理装置および方法、並びにプログラム
JP2007060398A (ja) * 2005-08-25 2007-03-08 Toshiba Corp 番組情報提供装置、番組情報提供方法及びそのプログラム
CN101116073A (zh) * 2005-12-05 2008-01-30 索尼株式会社 信息处理设备、信息处理方法及程序
JP2007172523A (ja) * 2005-12-26 2007-07-05 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP4893940B2 (ja) 2006-01-06 2012-03-07 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2007241888A (ja) 2006-03-10 2007-09-20 Sony Corp 情報処理装置および方法、並びにプログラム
JP4158806B2 (ja) 2006-03-13 2008-10-01 ソニー株式会社 再生装置および再生方法、記録媒体、並びにプログラム
EP2118736A4 (en) * 2007-01-29 2012-03-28 Home Box Office Inc METHOD AND SYSTEM FOR PROVIDING DATA WHAT HAPPENS THEN
JP2008197813A (ja) * 2007-02-09 2008-08-28 Toshiba Corp 楽曲提供システムおよび楽曲提供装置
JP4539712B2 (ja) * 2007-12-03 2010-09-08 ソニー株式会社 情報処理端末、情報処理方法、およびプログラム
US20090100458A1 (en) * 2007-10-14 2009-04-16 Raymond Chan System and Method for Instantaneous Information Reporting on Portable Devices
JP4538756B2 (ja) * 2007-12-03 2010-09-08 ソニー株式会社 情報処理装置、情報処理端末、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
US20140282649A1 (en) 2014-09-18
US8843949B2 (en) 2014-09-23
US9973815B2 (en) 2018-05-15
JP2010262436A (ja) 2010-11-18
US20100281497A1 (en) 2010-11-04
US20180109845A9 (en) 2018-04-19
CN101877006A (zh) 2010-11-03

Similar Documents

Publication Publication Date Title
JP5359534B2 (ja) 情報処理装置および方法、並びにプログラム
US11461388B2 (en) Generating a playlist
JP4622808B2 (ja) 楽曲分類装置、楽曲分類方法、楽曲分類プログラム
Kaminskas et al. Location-aware music recommendation using auto-tagging and hybrid matching
JP4433326B2 (ja) 情報処理装置および方法、並びにプログラム
US20190102381A1 (en) Exemplar-based natural language processing
TWI396105B (zh) 用於模擬個體差異之個人化資訊檢索之數位資料處理方法及其電腦裝置可讀式資訊儲存媒體與資訊檢索系統
JP4622589B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
JP5464412B2 (ja) 情報処理装置、情報処理方法、およびプログラム
Schedl et al. Putting the User in the Center of Music Information Retrieval.
KR20160004914A (ko) 멀티미디어 재생 방법 및 그 디바이스
US20180129659A1 (en) Identifying media content
JP2011227717A (ja) 情報提示装置
US8812463B2 (en) Apparatus and method for presenting contents in relation to a search axis
JP2008084193A (ja) インスタンス選択装置、インスタンス選択方法及びインスタンス選択プログラム
US20160188595A1 (en) Semantic Network Establishing System and Establishing Method Thereof
JP2006018551A (ja) 情報処理装置および方法、並びにプログラム
JP2009535671A (ja) 一のユーザのカテゴリラベルを他のユーザにより規定されたカテゴリラベルで関連付けるシステム及び方法
CN109802987B (zh) 用于显示装置的内容推送方法、推送装置和显示设备
JP6181499B2 (ja) 商品推奨システム、商品推奨サーバ、及び商品推奨プログラム
JP2016177690A (ja) サービス推薦装置およびサービス推薦方法並びにサービス推薦プログラム
JP2010015394A (ja) リンク先提示装置およびコンピュータプログラム
TWI808038B (zh) 媒體檔案選擇方法及服務系統與電腦程式產品
WO2016031363A1 (ja) 情報処理装置、情報処理方法、およびプログラム
EP4287039A1 (en) System and method for content-based music project recommendation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130819

R151 Written notification of patent or utility model registration

Ref document number: 5359534

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees