JP6504165B2 - 情報処理装置及び情報処理方法並びにプログラム - Google Patents

情報処理装置及び情報処理方法並びにプログラム Download PDF

Info

Publication number
JP6504165B2
JP6504165B2 JP2016529148A JP2016529148A JP6504165B2 JP 6504165 B2 JP6504165 B2 JP 6504165B2 JP 2016529148 A JP2016529148 A JP 2016529148A JP 2016529148 A JP2016529148 A JP 2016529148A JP 6504165 B2 JP6504165 B2 JP 6504165B2
Authority
JP
Japan
Prior art keywords
atmosphere
user
information
preference
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016529148A
Other languages
English (en)
Other versions
JPWO2015198716A1 (ja
Inventor
淳也 小野
淳也 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015198716A1 publication Critical patent/JPWO2015198716A1/ja
Application granted granted Critical
Publication of JP6504165B2 publication Critical patent/JP6504165B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H04N21/44224—Monitoring of user activity on external systems, e.g. Internet browsing
    • H04N21/44226—Monitoring of user activity on external systems, e.g. Internet browsing on social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示は、情報処理装置及び情報処理方法並びにプログラムに関する。
従来、ユーザに体感させる雰囲気を形成する装置が知られている。例えば、特許文献１には、ユーザがタイプするか又はユーザが話したキーワードのようなキーワード入力に基づき、照明雰囲気等の雰囲気を自動的に形成するシステムが開示されている。かかる特許文献１には、雰囲気として、色や音、画像が例示されている。また、特許文献２には、テレビのメインスクリーンを囲む少なくとも１辺の隣に複数の色を作り出す光源を備え、複数の色のそれぞれが、スクリーンの空間的に対応する領域でビデオコンテンツに適合される技術が開示されている。
特表２０１０−５２５５３８号公報 特表２０１０−５１５９３１号公報
特許文献１に開示された技術は、コンテンツではなく、ユーザが指定したキーワードに基づき雰囲気が形成されるものであり、コンテンツを利用しながら、当該コンテンツの情報の提示に応じて自動的に雰囲気が形成されるものではない。したがって、特許文献１に開示された技術は、コンテンツに連動した臨場感を体験できるものではない。また、特許文献２に開示された技術は、ビデオコンテンツに適合して形成される色にユーザの嗜好や動作は反映されていない。色を作り出す際に、ユーザの嗜好や動作を反映して、形成する色の出力が調整されれば、ユーザは、より快適にコンテンツに連動した雰囲気を味わうことができると考えられる。
そこで、本開示では、ユーザが利用するコンテンツの情報の提示に連動して形成される雰囲気にユーザの嗜好又は動作を反映させることにより、ユーザに、より快適にコンテンツを楽しませることが可能な、新規かつ改良された情報処理装置及び情報処理方法又はプログラムを提案する。
本開示によれば、ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように雰囲気形成機器を制御する制御部を備える、情報処理装置が提供される。
また、本開示によれば、ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように、制御装置により雰囲気形成機器を制御する、情報処理方法が提供される。
また、本開示によれば、コンピュータに、ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように雰囲気形成機器を制御する機能を実行させる、プログラムが提供される。
以上説明したように本開示によれば、ユーザが利用するコンテンツの情報の提示に連動して形成される雰囲気にユーザの嗜好又は動作を反映させることにより、ユーザに、より快適にコンテンツを楽しませることができるようになる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
第１の実施の形態にかかる雰囲気形成システムのハードウェア構成の一例を示す図である。 雰囲気形成機器の例を示す説明図である。 同実施形態にかかる情報処理装置のソフトウェア構成の一例を示す図である。 カラーデータベースの例を示す説明図である。 アロマデータベースの例を示す説明図である。 ユーザデータベースの例を示す説明図である。 デバイスプロファイルの例を示す説明図である。 同実施形態にかかる雰囲気制御処理を示すフローチャートである。 同実施形態にかかる雰囲気制御処理のフローを詳細に示す図である。 雰囲気テーブルの例を示す説明図である。 個人化雰囲気テーブルの例を示す説明図である。 個人化時系列グラフの例を示す説明図である。 盛り上がり適用時系列グラフの例を示す説明図である。 知覚把握特性に応じた出力タイミングの補正の例を示す説明図である。 同実施形態にかかる雰囲気形成システムの使用例を示す説明図である。 時系列グラフの複合例を示す説明図である。 セレクションルールの例を示す説明図である。 第２の実施の形態にかかる雰囲気形成システムの使用例を示す説明図である。 セレクションルールの別の例を示す説明図である。 第３の実施の形態にかかる情報処理装置のソフトウェア構成の一例を示す図である。 音声操作による雰囲気調整処理の例を示す説明図である。 指及び視線の動きによる雰囲気調整処理の例を示す説明図である。 指の本数及び動きによる雰囲気調整処理の例を示す説明図である。 指の種類及び動きによる雰囲気調整処理の例を示す説明図である。 第４の実施の形態にかかる雰囲気形成システムによる雰囲気制御処理の例を示す説明図である。 同実施形態にかかる雰囲気制御処理の例を示す説明図である。 第５の実施の形態にかかるマルチ雰囲気出力対応機器の例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．第１の実施の形態（ユーザの嗜好を反映）
１．１．雰囲気形成システムの概要
１．２．ハードウェア構成
１．３．ソフトウェア構成
１．３．１．コンテンツ解析部
１．３．２．雰囲気管理部
１．３．３．知識ベースシステム部
１．３．４．デバイス管理部
１．３．５．出力制御部
１．４．雰囲気制御処理
１．４．１．コンテンツ抽出処理
１．４．２．特徴量抽出処理
１．４．３．雰囲気テーブル生成処理
１．４．４．時系列グラフ生成処理
１．４．５．デバイス最適化処理
１．５．使用例
１．５．１．動画鑑賞時の例
１．５．２．音楽鑑賞時の例
１．５．３．映画鑑賞時の例
２．第２の実施の形態（複数の雰囲気複合処理）
３．第３の実施の形態（ユーザの動作を反映）
３．１．雰囲気形成システムの概要
３．２．雰囲気形成システムの構成例
３．３．雰囲気調整処理
３．３．１．直接操作による雰囲気調整
３．３．２．音声操作による雰囲気調整
３．３．３．ジェスチャー操作による雰囲気調整
３．３．４．その他の動作に応じた雰囲気調整処理
４．第４の実施の形態（周囲環境を把握した雰囲気形成）
５．第５の実施の形態（マルチ雰囲気出力対応機器）
＜＜１．第１の実施の形態＞＞
＜１．１．雰囲気形成システムの概要＞
まず、本開示の第１の実施の形態にかかる雰囲気形成システムの概要について説明する。雰囲気形成システムは、ユーザが利用するコンテンツの情報の提示に連動して、ユーザのいる空間に雰囲気を形成するシステムである。本実施形態にかかる雰囲気形成システムにより形成される雰囲気には、ユーザの嗜好が反映されるようになっている。
コンテンツとしては、映画や動画、音楽、画像、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）データ、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）、スケジュールデータ等をはじめとする、ユーザが利用可能な種々の情報が例示される。つまり、コンテンツは、ユーザに提示する視聴情報、見る情報、又は聴く情報等を含んでいる。
第１の実施の形態にかかる雰囲気形成システムは、これらのコンテンツから特徴量を解析し、かかる特徴量を知識データベースと照合することによって、空間に形成する雰囲気情報を生成する。ここで生成される雰囲気情報には、ユーザの嗜好が反映される。そして、本実施形態にかかる雰囲気形成システムは、生成した雰囲気情報に応じて、最適な雰囲気形成機器により空間の雰囲気を形成する。また、雰囲気形成システムは、適切なタイミングで雰囲気を形成できるようにもなっている。したがって、コンテンツを利用中のユーザは、コンテンツの情報の提示に沿った臨場感を体験することができる。
コンテンツの情報は、特徴量を抽出可能な要素を含んでいる。例えば、映画であれば音声や字幕等を含み、音楽であれば歌詞等を含み、画像であればキーワード等に変換可能であり、動画であれば音声等を含む。また、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）データであれば概要のテキスト等を含み、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）であればコメント等を含み、スケジュールであればＴｏＤｏリストのテキスト等を含む。雰囲気形成システムは、コンテンツに含まれるこれらの要素に基づいて、雰囲気情報を生成し、空間内に雰囲気を生成する。
雰囲気とは、ある特定の場所や事象、事物、人物を取り巻いて、人物が知覚することのできる光や音、匂い、気配等を総体として捉えて表されるものということができる。本実施形態にかかる雰囲気形成システムでは、人物が感じることができる感覚のうちの、視覚、聴覚、嗅覚、触覚に刺激を与えて、コンテンツの情報の提示に連動した雰囲気を形成する。形成される「雰囲気」とは、コンテンツそれ自体の情報の提示を含まないものである。雰囲気形成機器としては、照明器具やスピーカ、扇風機、アロマディフューザ、エアコンディショナ等のホーム家電を利用することも可能である。
＜１．２．ハードウェア構成＞
次に、本実施形態にかかる雰囲気形成システム１０の構成例について説明する。図１は、雰囲気形成システム１０のハードウェア構成を概略的に示す説明図である。雰囲気形成システム１０は、入力装置２０と、雰囲気形成機器３０と、情報処理装置６０と、ストレージ装置４０と、通信装置５０とを備えている。
入力装置２０は、ビデオレコーダやパーソナルコンピュータ、スマートホン、ミュージックプレイヤー等のコンテンツを再生又は表示するための再生機器を含む。再生又は表示されるコンテンツの情報は、情報処理装置６０に入力される。また、入力装置２０は、撮像装置やセンサ装置を含む。撮像装置やセンサ装置により検出される情報は、情報処理装置６０に入力され、雰囲気形成機器３０の出力制御に使用される。撮像装置は、例えば、監視カメラや色認識カメラ等が例示される。また、センサ装置は、例えば、照度センサ、温度センサ、湿度センサ、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｅｒ）等の位置検出モジュール等が例示される。
雰囲気形成機器３０は、空間内に雰囲気を形成するために用いられる機器である。雰囲気形成機器３０は、情報処理装置６０によって出力制御が行われる。雰囲気形成機器３０は、例えば、視覚、聴覚、嗅覚及び触覚に変化を与え得る機器を使用することができる。図２は、人間の持つ感覚と、そのうちの視覚、聴覚、嗅覚及び触覚に変化を与え得る出力装置（雰囲気形成機器）の例を示す。視覚に変化を与え得る機器は、色や映像を媒体としてユーザが視認する光に影響を与える機器を用いることができる。例えば、照明器具や間接照明、テレビやスマートホン、タブレットコンピュータ等のディスプレイ機器が挙げられる。また、聴覚に変化を与え得る機器は、ＢＧＭや音楽、効果音を媒体としてユーザが認識する音に影響を与える機器を用いることができる。例えば、スピーカ機器が挙げられる。
また、嗅覚に変化を与え得る機器は、空気を媒体としてユーザが認識する匂いや香りに影響を与える機器を用いることができる。例えば、アロマディフューザやエアコンディショナ、扇風機が挙げられる。また、触覚に変化を与え得る機器は、振動や送風を媒体としてユーザの体感に影響を与える機器を用いることができる。例えば、振動を発生可能なスマートホン又はウェアラブル機器や、送風又は温度、湿度を調節可能なエアコンディショナ又は扇風機が挙げられる。このうち、スピーカやディスプレイ、照明器具、アロマディフューザ、扇風機、エアコンディショナ等はいずれもホーム家電であり、これらのホーム家電を連動させることによって、特別な機器を使わずに、雰囲気を形成することができる。ただし、これらの機器は一例に過ぎず、これ以外の機器が用いられてもよい。
情報処理装置６０は、ＣＰＵと、ＲＡＭやＲＯＭ等の記憶素子と、種々のデータが格納されたストレージ装置４０と、外部の機器等との通信を行うための通信装置５０とを備えている。このうち、ＲＯＭには、ＣＰＵによって実行される制御プログラムが記憶されている。また、ＲＡＭには、ＣＰＵの演算結果や、入力装置２０から入力される様々な情報が書き込まれる。ＣＰＵは、本開示において制御部１００として機能する。
ストレージ装置４０には、知識データベースや、ユーザデータベース、デバイスプロファイル等のデータが格納される。知識データベースとは、コンテンツから抽出される種々の特徴量と雰囲気情報とをマッピングさせたデータベースである。ユーザデータベースとは、ユーザの嗜好情報を格納させたデータベースである。また、通信装置５０は、例えば、インターネット等の外部の通信網との通信を行うための装置として構成されている。
＜１．３．ソフトウェア構成＞
図３は、情報処理装置６０の制御部１００のソフトウェア構成を機能的に示すブロック図である。かかる制御部１００は、コンテンツ解析部１１０と、雰囲気管理部１３０と、知識ベースシステム部１５０と、デバイス管理部１７０と、出力制御部１９０とを備える。これらの各部は、具体的には、ＣＰＵによるプログラムの実行により実現される機能部とすることができる。
［１．３．１．コンテンツ解析部］
コンテンツ解析部１１０は、コンテンツの情報の内容を解析することにより、コンテンツの特徴量を抽出する処理を実行する。本実施形態において、コンテンツ解析部１１０は、時系列解析、画像解析、音声解析及び言語解析の各解析処理を実行可能に構成されている。時系列解析は、コンテンツのタイムライン内で処理を行う。画像解析は、コンテンツの情報内の画像中の物体認識を行い、画像に関する特徴量を抽出する処理を行う。音声解析は、音声認識により音声をテキストに置き換える処理を行う。また、音声解析は、音声自体の盛り上がりやジャンル、音量、テンポ、音質等の特徴量を抽出する処理を行ってもよい。言語解析は、形態素解析や構文解析等を行い、キーワード等を特徴量として抽出する処理を行う。
具体的に、コンテンツ解析部１１０は、コンテンツ内のタイムライン、画像、音声、テキストをそれぞれ分離し、分離したデータごとに特徴量を抽出する。例えば、コンテンツ解析部１１０は、画像に関しては、画像に関する特徴量をキーワードに変換して抽出する。また、コンテンツ解析部１１０は、音声に関しては、音声解析により音声をテキスト変換した上で、言語解析により特徴量をキーワードに変換して抽出することができる。ただし、コンテンツ解析部１１０が、上記以外の解析処理を実行してもよい。
［１．３．２．雰囲気管理部］
雰囲気管理部１３０は、コンテンツ解析部１１０により抽出されたコンテンツの特徴量を知識ベースシステム部１５０に問い合わせ、返される結果に基づいて、雰囲気形成機器３０を用いて形成させる雰囲気情報を生成する。具体的に、雰囲気管理部１３０は、タイムラインのある時点における特徴量をキーにして、知識ベースシステム部１５０に問い合わせることによって雰囲気パラメータ（色や温度等）を取得する。そして、雰囲気管理部１３０は、あらかじめ用意されている雰囲気テーブルの各スロットに、取得した雰囲気パラメータを埋めて、雰囲気テーブルを生成する。
また、雰囲気管理部１３０は、雰囲気テーブルを生成する際に、雰囲気パラメータと同時に知識ベースシステム部１５０から返されるユーザの嗜好情報を反映させた個人化雰囲気テーブルを生成する。出力する雰囲気パラメータがユーザの嗜好に合致する場合には、当該雰囲気パラメータの出力を強調させる。また、出力する雰囲気パラメータがユーザの嗜好に反する場合には、当該雰囲気パラメータの出力を弱めるか、又は出力させないようにしてもよい。あるいは、雰囲気パラメータの候補が複数ある場合には、ユーザの嗜好に反する雰囲気パラメータを選択しないようにしてもよい。
また、雰囲気管理部１３０は、タイムライン内で生成された雰囲気テーブルを時系列でつなぎ、雰囲気の時系列グラフを生成する。具体的に、雰囲気管理部１３０は、生成した雰囲気テーブルを時系列でつなぎ、時間に応じた雰囲気の変化を示す時系列グラフを生成する。また、雰囲気管理部１３０は、生成した時系列グラフから音の盛り上がりを検出することによって、タイムラインごとの盛り上がりを検出し、雰囲気テーブル内の各雰囲気パラメータを強調させてもよい。本実施形態では、このように生成された雰囲気の時系列グラフが、雰囲気情報としてデバイス管理部１７０に送られる。
［１．３．３．知識ベースシステム部］
知識ベースシステム部１５０は、ストレージ装置４０に格納された知識データベースを参照し、問い合わせのあったコンテンツの特徴量に対応する雰囲気パラメータを取得して、雰囲気管理部１３０に返す。また、知識データベースを参照した結果、対応する雰囲気パラメータが得られない場合には、通信装置５０を介して、外部のインターネット等の検索エンジンにアクセスし、関連する雰囲気パラメータを取得してもよい。このとき同時に、知識ベースシステム部１５０は、ストレージ装置４０に格納されたユーザデータベースを参照し、ユーザの嗜好情報を雰囲気管理部１３０に返す。以下、知識ベースシステム部１５０が参照するデータベースの例とともに知識ベースシステム部１５０について説明する。
（知識データベース）
本実施形態において用いられる知識データベースは、特徴量と雰囲気パラメータとをマッピングさせた様々なデータを格納している。雰囲気を形成する要素としては、例えば、色や香り（アロマ）、風、温度、音、振動等のパラメータが存在する。本実施形態では、これらの色や香り等のパラメータ情報をコアデータベースと定義し、コアデータベースを参照することによりキーとなる特徴量に対応する雰囲気パラメータを取得できるようになっている。以下、コアデータベースの一例として、色及び香りの雰囲気パラメータについて説明する。
まず、カラーデータベースに関し、色には、人の感情や心理状態と関係性があることが知られている。色の種類によって、人に与えるイメージが異なり、その色から連想されるものも多岐にわたる。したがって、色から連想されるものを利用することにより、特定のキーワードに対して、当該キーワードから感じ取る色を表現することが可能になる。雰囲気形成システム１０では、色という視覚情報をユーザに与えることにより、キーワードから連想される情景が、ユーザに対して、より強く臨場感として与えられる。
図４は、カラーデータベースの例を示す。一般に、緑は癒しを連想させる色とされ、赤は情熱を連想させる色とされ、青は知的冷静を連想させる色とされる。カラーデータベースには、それぞれの色が表すイメージ（象徴）と、当該色から連想するものが例示されている。かかるカラーデータベースを基に、知識データベースは、キーワードと色とをマッピングした様々な知識データを格納している。例えば、知識データベースは、「森」という特徴量に対して、「森−ｃｏｌｏｒ−緑（森は緑色である）」という３つ組で知識を格納している。したがって、知識ベースシステム部１５０は、「森」というキーワードに対して、知識データベースを参照することにより、「緑」という色パラメータを取得する
また、アロマデータベースに関し、香り（アロマ）は人を落ち着かせたり、ワクワクさせたり等、気持ちの変化を与えることができる。アロマの系統によって、連想されるイメージは異なる。したがって、キーワードが持つ意味概念に合うイメージに対応するアロマを生成することによって、ユーザの嗅覚情報を刺激し、キーワードから連想される情景が、ユーザに対して、より強く臨場感として与えられる。
図５は、アロマデータベースの例を示す。この例では、アロマの系統が７種類に分けられ、それぞれの系統の香りが表すイメージと、当該香りが持つ特徴が例示されている。かかるアロマデータベースを基に、知識データベースは、キーワードと香りとをマッピングした様々な知識データを格納している。例えば、知識データベースは、「自然−ａｒｏｍａ−樹木系（自然は樹木系の香りである）」という３つ組で知識を格納している。このとき、「森」というキーワードから連想される香りに関する知識データそのものが存在しないが、「森−上位−自然（森の意味概念は自然である）」というオントロジーに基づき「森」の概念を上位概念化する。これにより、知識ベースシステム部１５０は、「森」というキーワードに対して、知識データベースを参照することにより、「樹木系」という香りパラメータを取得する。いずれかの知識データに当てはまるまで、キーワードの意味概念化（上位概念化）を繰り返すようにしてもよい。
（ユーザデータベース）
本実施形態で用いられるユーザデータベースは、ユーザのプロファイルが格納されたデータベースであり、色や香り、人物、場所等に関するユーザの嗜好が記憶されている。かかるユーザデータベースは、ユーザの嗜好に応じて雰囲気パラメータを強調させることにより、ユーザの嗜好が反映された雰囲気を空間内に形成するために利用される。
図６は、ユーザデータベースの例を示す。ユーザデータベースには、ユーザ個人の性別、国籍、年齢、興味、好き嫌い、行動履歴等のプロパティが記憶されている。ここに示されるプロパティは一例にすぎず、適宜のプロパティ情報を用いることができる。かかるユーザデータベースでは、各プロパティに対して、マクロレベルとミクロレベルの二つのモードが定義づけられている。このレベルのモードによって、生成される雰囲気パラメータの初期値、すなわち、ユーザの嗜好を反映させない解析結果に対して、ユーザの嗜好の反映度合いを設定することができる。
例えば、雰囲気パラメータの初期値に忠実に雰囲気を再現しつつ、ユーザの嗜好を反映させたい場合に、マクロレベルを選択することができる。また、雰囲気パラメータの初期値よりもユーザの嗜好を優先したい場合には、ミクロレベルを選択することができる。モードは、ユーザ自身によって選択可能になっていてもよいし、情報処理装置６０によりあらかじめ定義されていてもよい。
マクロレベル及びミクロレベルをあらかじめ定義する場合、例えば、以下のように定義することができる。マクロレベルは、ユーザのプロファイルに対して、所定のプロパティで取り得る値（バリエーション）の数が、あらかじめ定められた値以下となるようなグループレベルと定義することができる。例えば、性別や年代のプロパティは、バリエーションが少なく、性別であれば男性又は女性の２通りであり、年代であれば多くても１０通りであり、あらかじめ定められた値以下となって、グループレベルに区分される。一方、ミクロレベルは、グループレベルの反対の位置づけとされ、所定のプロパティで取り得る値（バリエーション）の数が、あらかじめ定められた値を超え得るレベルと定義することができる。例えば、好きな芸能人のプロパティは、取り得る候補が膨大であり、あらかじめ定められた値を超えるプロパティとして区分される。
知識ベースシステム部１５０は、雰囲気管理部１３０から雰囲気パラメータの問い合わせがあった場合に、ユーザデータベースを参照し、雰囲気パラメータとともに、現在のユーザの嗜好情報を雰囲気管理部１３０に返す。なお、現在のユーザの特定は、例えば、雰囲気形成システム１０へのログインデータに基づいて行ってもよいし、コンテンツを再生するための入力装置２０や雰囲気形成機器３０へのログインデータに基づいて行ってもよい。
［１．３．４．デバイス管理部］
デバイス管理部１７０は、入力装置２０を構成する種々のセンサ装置から入力されるセンサ情報を管理しながら、雰囲気管理部１３０で生成した雰囲気情報に基づいて、出力制御を行わせる最適な雰囲気形成機器３０を選択する。例えば、デバイス管理部１７０は、センサ情報に基づいて現在の雰囲気を把握し、雰囲気情報に沿う雰囲気を形成するために最適な雰囲気形成機器３０を選択する。選択した雰囲気形成機器３０の情報は、出力制御部１９０に送られる。
また、デバイス管理部１７０は、ユーザのデバイスプロファイルを参照して、出力可能な雰囲気パラメータを抽出し、雰囲気形成機器３０の出力制御を行う出力制御部１９０へ指令信号を送信する。このとき、ユーザの周辺にある雰囲気形成機器３０の出力を、形成すべき雰囲気情報に応じた出力値に対応させる必要がある。そのため、デバイス管理部１７０は、ストレージ装置４０に格納されたデバイスプロファイルを参照し、空間内に存在する雰囲気形成機器３０の中から、雰囲気情報に基づいて出力可能な雰囲気形成機器３０を選択する。
（デバイスプロファイル）
図７は、デバイスプロファイルの例を示す。デバイスプロファイルには、例えば、雰囲気形成機器３０の名称、出力フォーマット、知覚把握特性の情報が含まれる。また、デバイスプロファイルは、空間内に存在する雰囲気形成機器３０に応じてユーザごとに作成されて、ストレージ装置４０に格納されている。知覚把握特性とは、雰囲気形成機器３０の出力に伴って雰囲気が変化したときに、ユーザが雰囲気の変化を知覚するまでの即時性を示す情報である。図７の例では、知覚把握特性は、「１．即時性」、「２．通常性」、「３．遅延性」の三段階のレベルで表されている。知覚把握特性のレベルが低いほど、ユーザが雰囲気の変化を即座に把握できることを表し、知覚把握特性のレベルが高いほど、ユーザが雰囲気の変化を知覚しにくいことを表している。
例えば、照明器具の色の変化は、変化した段階で即座にユーザが視覚で知覚することができるために、レベル１とされる。また、扇風機の送風量の変化は、風が送られてから触覚で知覚するまでに少し時間がかかるために、レベル２とされる。さらに、アロマディフューザの香りの変化は、ユーザが嗅覚で知覚するまでに比較的長い時間を要するために、レベル３とされる。これらの即時性の違いは、色や風、香り等の知覚要素が雰囲気形成機器３０から出力されてからユーザに届くまでの時間に起因している。時間の差は、知覚要素を伝達する媒体が、光（色）、音波（音）、直進性のある波（風）、拡散性のある波（香り）に起因して生じる。
デバイス管理部１７０は、コンテンツの情報の内容に連動して、最適なタイミングで、ユーザによって空間内の雰囲気の変化が知覚されるように、デバイスプロファイルを参照して雰囲気形成機器３０からの出力タイミングを決定する。
（１．３．５．出力制御部）
出力制御部１９０は、ユーザの嗜好を反映して生成された雰囲気情報に見合った雰囲気が形成されるように、デバイス管理部１７０の指令にしたがい、雰囲気形成機器３０に対して制御信号を出力する。
＜１．４．雰囲気制御処理＞
次に、本実施形態にかかる情報処理装置６０により実行される雰囲気制御処理について説明する。図８は、雰囲気制御処理のフローチャートである。また、図９は、雰囲気制御処理のフローを詳細に示す図である。
［１．４．１．コンテンツ抽出処理］
まず、ステップＳ１０において、コンテンツ解析部１１０は、コンテンツ内のタイムライン、画像、音声、テキストを分離する。
［１．４．２．特徴量抽出処理］
次いで、ステップＳ２０において、コンテンツ解析部１１０は、分離したデータごとに特徴量を抽出する。例えば、コンテンツ解析部１１０は、画像データの特徴量をキーワードに変換する。また、コンテンツ解析部１１０は、音声データを音声解析によりテキスト変換した後、言語解析により特徴量を抽出する。これらの解析処理は、既存の技術を利用して実行することができる。
［１．４．３．雰囲気テーブル生成処理］
次いで、ステップＳ３０において、雰囲気管理部１３０は、抽出された特徴量をキーとして、この特徴量に対応する雰囲気パラメータを知識ベースシステム部１５０に問い合わせる。知識ベースシステム部１５０は、知識データベースを参照して、問い合わせのあったコンテンツの特徴量に対応する雰囲気パラメータを抽出して雰囲気管理部１３０に返す。また、知識ベースシステム部１５０は、ユーザデータベースを参照して、現在のユーザの嗜好情報を抽出し、雰囲気パラメータとともに雰囲気管理部１３０に返す。雰囲気管理部１３０は、知識ベースシステム部１５０から返された雰囲気パラメータ及びユーザの嗜好情報に基づき個人化雰囲気テーブルを生成する。かかる個人化雰囲気テーブルは、タイムラインのそれぞれの時点毎に生成される。具体的に、個人化雰囲気テーブルの生成処理は、以下のように行うことができる。
（雰囲気パラメータ抽出）
例えば、コンテンツの特徴量が「森」というキーワードで与えられている場合、知識ベースシステム部１５０は、コアデータベースを参照して、当該キーワードに対応する３つ組の知識データを、以下のように抽出する。抽出した知識データは、雰囲気パラメータとして、雰囲気管理部１３０に返される。
・「森−上位−自然」
・「森−ｃｏｌｏｒ−緑」
・「自然−ａｒｏｍａ−樹木系」
・「森−ｗｉｎｄ−弱」
・「森−ｓｏｕｎｄ−さえずり」
・「森−ｖｉｂｒａｔｉｏｎ−無し」
（ユーザ嗜好情報取得）
知識ベースシステム部１５０は、雰囲気パラメータを抽出する際に、ユーザデータベースを参照して、図６に例示されるような、ユーザの嗜好情報を取得する。上述のとおり、ユーザの嗜好情報には、プロパティに応じてマクロレベル及びミクロレベルのモードが関連付けられている。取得したユーザの嗜好情報は、雰囲気パラメータとともに雰囲気管理部１３０に返される。知識ベースシステム部１５０は、例えば、雰囲気形成システム１０へのログインデータに基づいてユーザを特定してもよいし、コンテンツを再生するための入力装置２０や雰囲気形成機器３０へのログインデータに基づいてユーザを特定してもよい。
（雰囲気テーブル生成）
雰囲気管理部１３０は、雰囲気パラメータ及びユーザの嗜好情報に基づいて、ユーザの嗜好を反映した個人化雰囲気テーブルを生成する。例えば、ユーザの嗜好情報のプロパティのうち、マクロレベルのプロパティは、性別や年代のような大きな枠組みで分類されている。これらのプロパティについては、一般知識、傾向、歴史的傾向に基づき、男性又は女性が好む色や香り、各年代の人が好む色や香り、各年代に流行ったコンテンツに応じて、雰囲気パラメータの出力を強調させることができる。
また、ミクロレベルのプロパティについては、行動履歴や好き嫌い等の嗜好から、雰囲気パラメータの出力や種類をユーザごとに変えることができる。例えば、行動履歴の情報から、ユーザが最近ある場所に行っていたことが分かれば、コンテンツが当該場所に関連する内容である場合に、雰囲気パラメータの出力を強調させるようにしてもよい。また、好き嫌いの嗜好情報から雰囲気パラメータの出力を変更する場合には、以下のようにしてもよい。
例えば、雰囲気管理部１３０は、知識ベースシステム部１５０から返された雰囲気パラメータのうち、ユーザの嗜好情報を加味して、ユーザにとってプラスになるものをポジティブと定義し、ユーザにとってマイナスになるものをネガティブと定義する。雰囲気管理部１３０は、ポジティブな雰囲気パラメータについては、雰囲気パラメータの出力を強調する。例えば、雰囲気パラメータが色に関するものであれば、出力強度を初期設定値よりも高くしてもよい。一方、雰囲気管理部１３０は、ネガティブな雰囲気パラメータについては、ユーザが不快な気持ちにならないように、雰囲気パラメータの出力強度を弱めるか、あるいは、出力を停止してもよい。複数の雰囲気パラメータの候補が存在する場合には、ネガティブな雰囲気パラメータを選択しないようにしてもよい。
また、ユーザの嗜好を反映させた雰囲気パラメータの変更の方法としては、雰囲気パラメータの出力強度（ゲイン）を変化させる方法と、雰囲気パラメータの種類を変化させる方法とが挙げられる。雰囲気パラメータには、色や香り等、好みによって出力内容が直接的に変わる直接型のパラメータがある。例えば色の好き嫌いに応じて出力強度を変化させる方法では、ユーザの好きな色が青であれば、青色の出力が初期設定値よりも高くなるようにしてもよい。一方、嫌いな色については、その色の出力が初期設定値と同じか低くなるようにしてもよい。その結果、ユーザにとっては、好きな色が強調されて見えるようになる。
また、雰囲気パラメータには、直接型のパラメータとは異なり、好みによって出力内容が直接的に変わらない関連型のパラメータがある。例えば、好きな芸能人、場所等のパラメータについては、コンテンツに紐付けられたタグ情報や解析結果から関連性を把握し、雰囲気パラメータの出力が強調されるようにしてもよい。また、性別に応じて好みの色等を割り当てる場合も関連型のパラメータに該当し、芸能人等と同じように雰囲気パラメータの出力強度を変化させてもよい。また、国籍のパラメータについては、母国に関連するコンテンツが出てきた場合に、雰囲気パラメータの出力が強調されるようにしてもよい。さらに、年齢のパラメータについては、該当する年代に流行ったコンテンツが出てきた場合に、雰囲気パラメータの出力が強調されるようにしてもよい。
ユーザの嗜好情報に応じて雰囲気パラメータの種類を変化させる方法では、ユーザの好みに近い雰囲気パラメータが選択されるようにする。例えば、出力する色の候補として赤又は青がある場合、ユーザが男性なら青、女子なら赤が選択されるようにしてもよい。あるいは、出力する色を、強制的にユーザの好みの色に置き換えるようにしてもよい。
図１０は、知識ベースシステム部１５０から返される雰囲気パラメータの情報に基づいて雰囲気管理部１３０により生成される雰囲気テーブルを示す。かかる雰囲気テーブルには、特徴量を表すキーワードに対するユーザの興味の程度が含まれているが、図１０に示す例は、ユーザの嗜好情報を反映させていないものであり、ユーザの興味の程度は「通常」となっている。同様に、雰囲気管理部１３０は、雰囲気テーブルの各スロットのうち、知識ベースシステム部１５０から返された情報に含まれていないスロットに関しては、「通常」とする。
一方、図１１は、雰囲気パラメータの情報及びユーザの嗜好情報に基づいて雰囲気管理部１３０により生成される個人化雰囲気テーブルを示す。かかる個人化雰囲気テーブルでは、知識データベースから抽出された各雰囲気パラメータのオリジナルのデータが基本パラメータと定義され、各雰囲気パラメータの出力の基本強度が基本強調と定義される。また、基本パラメータに対してユーザの嗜好を反映させたデータが個人化パラメータと定義され、基本強調に対してユーザの嗜好を反映させたデータが個人化強調と定義される。かかる個人化雰囲気テーブルでは、ユーザの嗜好情報を反映させて、形成される雰囲気がユーザにとってポジティブになり、ネガティブにならないように各雰囲気パラメータが調整されている。
［１．４．４．時系列グラフ生成処理］
次いで、ステップＳ４０において、雰囲気管理部１３０は、タイムライン内で生成された個人化雰囲気テーブルを時系列でつなぎ、時間の経過に伴う雰囲気の変化を表す時系列グラフを生成する。このとき、雰囲気管理部１３０は、音の盛り上がりを検出することによりタイムラインごとの盛り上がり箇所を検出し、雰囲気テーブルの雰囲気パラメータをさらに強調させるようにしてもよい。
（個人化時系列グラフ生成）
図１２は、色に関する時系列グラフの例を示す。ここでは、特定の色として緑の時系列グラフの例が示されている。ユーザの嗜好情報に、好きな色が緑であるという情報が含まれている場合、個人化雰囲気テーブルでは、緑の出力の個人化強調が基本強調よりも高くされる。したがって、ユーザの嗜好を反映させた時系列グラフ（実線）は、知識データベースから抽出されたオリジナルのデータに基づく雰囲気テーブルを時系列でつないだグラフ（破線）に比べて、出力強度が高くされている。
かかる色の例の他、好きな香りや好きな場所、好きなアーティスト等についても、ユーザの嗜好を反映させて、雰囲気パラメータの出力の強度を調整することができる。コンテンツに含まれる場所やアーティスト等の情報の特定は、画像の物体認識や、音声の話者の特定、コンテンツのジオタグ（緯度／経度情報）の解析等によって行ってもよい。あるいは、コンテンツのタイムラインごとに既に埋め込まれている人物タグや場所タグ等を読み取ることによって、場所やアーティスト等を特定してもよい。
（盛り上がり適用時系列グラフ生成）
図１３は、コンテンツ内の盛り上がり箇所を検出して、雰囲気パラメータの出力の強度を調整した時系列グラフの例を示す。盛り上がりを反映させた時系列グラフ（実線）では、知識データベースから抽出されたオリジナルのデータに基づく雰囲気テーブルを時系列につないだグラフ（破線）に比べて、盛り上がり箇所での出力強度が高くされている。コンテンツ内の盛り上がりを反映させることによって、オリジナルのデータによる出力強度が低い箇所に対しても、盛り上がりに応じて出力強度を高くすることができる。
コンテンツ内の盛り上がり箇所は、例えば、音の情報を解析して音の盛り上がりを検出する既存の技術によりコンテンツ内の盛り上がり分布を作成することによって検出することができる。なお、コンテンツ内の盛り上がりの反映は、オリジナルのデータに基づく雰囲気テーブルをつないだグラフに対して適用する代わりに、ユーザの嗜好を反映させた個人化雰囲気テーブルをつないだ時系列グラフに対して適用してもよい。
［１．４．５．デバイス最適化処理］
次いで、ステップＳ５０において、デバイス管理部１７０は、センサ情報及び雰囲気テーブルに基づき、デバイスプロファイルを参照して出力可能な雰囲気パラメータを抽出する。また、ステップＳ５０において、デバイス管理部１７０は、出力可能な雰囲気パラメータに対応する雰囲気形成機器３０を選択し、出力制御部１９０に制御指令を送る。出力制御部１９０は、雰囲気形成機器３０の出力制御を行い、個人化雰囲気テーブルを時系列につないだ時系列グラフに基づき、コンテンツのタイムラインに応じて雰囲気パラメータを変化させる。このとき、設置されている種々のセンサ装置のセンサ情報に基づいて、所望の雰囲気が形成されるようにフィードバックをかけるようにしてもよい。
（出力タイミング補正）
図１４は、各雰囲気パラメータの知覚把握特性に応じて出力タイミングを補正した時系列グラフを示す。デバイス管理部１７０は、図７に例示したようなデバイスプロファイルを参照して、知覚把握特性のレベルが高いほど、出力変化のタイミングを早めるように時系列グラフを補正する。図１４の例では、「レベル１．即時性」の雰囲気パラメータの時系列グラフは補正されていない一方、「レベル２．通常性」及び「レベル３．遅延性」の雰囲気パラメータの時系列グラフは出力変化のタイミングが早くなるように補正されている。
レベル１に該当する雰囲気パラメータは、出力変化が即時にユーザに知覚されるものであるために、解析結果から得られたタイムラインに沿って、補正なしで出力してもよい。一方、レベル２，３に該当する雰囲気パラメータは、出力変化がユーザに知覚されるまでに時間を要するために、出力変化のタイミングを、解析結果から得られたタイムラインよりも早くする必要がある。特に、レベル３の雰囲気パラメータは、遅延性が高く、コンテンツの情報の内容が変化する以前に、雰囲気形成機器３０から出力させる必要がある。知覚把握特性に応じて出力変化のタイミングを補正することにより、コンテンツの情報の提示とユーザが知覚する雰囲気とを連動させることができ、ユーザがより臨場感を味わうことができるようになる。
出力変化を補正する際には、あらかじめ雰囲気パラメータごとにシステムに設定されている初期値によって補正を行ってもよい。あるいは、センサ装置を用いて、対象となる雰囲気形成機器３０とユーザとの距離を検出して、当該距離に応じて動的に補正値を決定するようにしてもよい。距離に応じて補正値を決定する場合には、距離の大きさに比例して、出力変化のタイミングがより速くなるように補正値を決定するようにしてもよい。
＜１．５．使用例＞
以上、本実施形態にかかる雰囲気形成システム１０の構成例及び雰囲気制御処理の例について説明した。以下、雰囲気形成システム１０の具体的な使用例について説明する。
［１．５．１．動画鑑賞時の例］
例えば、図１５に示すように、ユーザがテレビやタブレット等の表示機器を使用して、ハワイ、マウイ島で撮影した動画コンテンツを見ているとする。このユーザの嗜好情報には、好きな場所として山が入力されている。この動画中において、人物がマウイ島の山を見ながら「暖かくて風が気持ちいい」と話すシーンがあるとする。このシーンの中のコンテンツの情報からは、「マウイ島」及び「暖かい風」のキーワードが抽出されている。情報処理装置６０では、知識データベースによりこれらのキーワードから抽出される雰囲気パラメータに対して、ユーザデータベースから抽出されるユーザの嗜好情報を反映させて、以下の個人化雰囲気テーブルが生成される。
・色：緑
・香り：樹木系
・温度：暖かい（２５度）
・送風：穏やか
・強調：あり
・音：小鳥のさえずり
情報処理装置６０では、この個人化雰囲気テーブルを含む複数の雰囲気テーブルが時系列につながれ時系列グラフが生成される。雰囲気形成システム１０を利用すると、上記のシーンにおいて、照明器具３０ａの照明が緑色に変わり、アロマディフューザ３０ｂから爽やかな樹木の香りが放たれ、エアコンディショナ３０ｃから暖かい風が出力される。また、スピーカ機器３０ｄからは、小鳥のさえずりがＢＧＭとして流される。このとき、ユーザの嗜好を反映して、照明、香り及び送風の出力強度が高くされ、ユーザはハワイに来ているかのような臨場感を体験できるようになる。
［１．５．２．音楽鑑賞時の例］
例えば、ユーザが、ミュージックプレイヤー等を利用して、好きなアーティストの曲を聴いているとする。この場合、雰囲気形成システム１０を利用して、例えば、音楽コンテンツに含まれる歌詞から抽出される特徴的なキーワード等に合わせて、照明の色を激しく変化させることができる。一方、好きではないアーティストの曲を聴いている場合には、例えば、照明の色を穏やかに変化させるようにすることができる。
［１．５．３．映画鑑賞時の例］
例えば、ユーザが、ビデオ再生装置により映画コンテンツを再生してテレビの画面で映画を見ているとする。この場合、情報処理装置６０は、映画の映像から人物や場所に適したキーワードを抽出したり、セリフや字幕から特徴的なキーワードを抽出したりすることができる。また、情報処理装置６０は、これらのキーワードから選択される雰囲気パラメータにユーザの嗜好情報を反映させて時系列グラフを生成するとともに、音から映画の盛り上がり箇所を特定して、雰囲気パラメータの出力強度を高くすることができる。雰囲気形成システム１０を利用すると、映画のタイムラインに合わせて、照明の色や、アロマディフューザから放たれる香り、エアコンディショナから送られる風の温度や送風量が変化しながら、照明、香り及び送風が出力されるようになる。また、スピーカからは、シーンに合わせたＢＧＭも流れる。したがって、ユーザは、より臨場感を体験しながら、映画を鑑賞することができるようになる。
なお、ユーザの嗜好を反映させた雰囲気情報を生成するために、コンテンツ解析部１１０、雰囲気管理部１３０及び知識ベースシステム部１５０により実行される処理は、コンテンツの再生に合わせてリアルタイムで実行してもよい（処理形態１）。あるいは、コンテンツを再生する時点よりも前に、あらかじめ各処理を実行してもよい（処理形態２）。特に、知覚把握特性を利用して、雰囲気形成機器３０の出力変化のタイミングを補正しながら雰囲気形成システム１０を使用する場合には、個人化雰囲気テーブル及び時系列グラフをあらかじめ生成しておくとよい。
例えば、コンテンツの情報を基にして上記の個人化雰囲気テーブル及び時系列グラフをあらかじめ生成しておき、コンテンツの再生に合わせて時系列グラフを読み出し、雰囲気形成機器３０の出力制御を行うようにしてもよい（処理形態２−１）。あるいは、ユーザの嗜好を反映させる前の雰囲気テーブル及び時系列グラフを、コンテンツごとに生成しておき、コンテンツ再生時にユーザの嗜好を反映させながら雰囲気情報を生成するようにしてもよい（処理形態２−２）。処理形態２−１，２−２においては、あらかじめ生成した雰囲気テーブルや時系列グラフに基づき、コンテンツ再生時に、ユーザの位置と雰囲気形成機器３０との距離に応じて、雰囲気形成機器３０の出力変化のタイミングを補正しながら雰囲気情報を生成するようにしてもよい。
このように、本実施形態にかかる情報処理装置６０は、様々な処理の形態が可能である。第１の実施の形態において説明した情報処理装置６０は、各処理部１１０，１３０，１５０，１７０，１９０が一つの情報処理装置６０内に備えられた構成となっているが、各処理部が複数の情報処理装置により構成されていてもよい。例えば、上記処理形態２−１においては、コンテンツ解析部１１０、雰囲気管理部１３０及び知識ベースシステム部１５０を備える第１の情報処理装置と、デバイス管理部１７０及び出力制御部１９０を備える第２の情報処理装置とに分けて構成してもよい。この場合、第１の情報処理装置により、あらかじめコンテンツごとにユーザの嗜好情報を反映させた雰囲気情報を生成しておき、第２の情報処理装置が、当該雰囲気情報を読み出して雰囲気形成機器３０の出力制御を実行するようにしてもよい。
また、上記処理形態２−２においては、コンテンツ解析部１１０と、雰囲気管理部１３０及び知識ベースシステム部１５０のうち知識データベースを参照して雰囲気テーブル又は時系列グラフを生成する機能とを備えた第１の情報処理装置を構成することができる。併せて、雰囲気管理部１３０及び知識ベースシステム部１５０のうちユーザデータベースを参照してユーザの嗜好情報を反映させた個人化雰囲気テーブル又は時系列グラフを生成する機能と、デバイス管理部１７０と、出力制御部１９０とを備えた第２の情報処理装置を構成することができる。この場合、第１の情報処理装置により、あらかじめコンテンツごとにユーザの嗜好情報を反映させる前の雰囲気情報を生成しておき、第２の情報処理装置が、当該雰囲気情報を読み出し、ユーザの嗜好情報を反映させたうえで、雰囲気形成機器３０の出力制御を実行することができる。
以上説明したように、本実施形態にかかる雰囲気形成システム１０によれば、知識データベースを参照して、コンテンツの内容から抽出される特徴量に基づいて雰囲気パラメータが抽出される。また、雰囲気形成システム１０は、雰囲気パラメータと併せて、ユーザデータベースを参照してユーザの嗜好情報が抽出される。そして、雰囲気形成システム１０は、雰囲気パラメータに対してユーザの嗜好情報を反映させて個人化雰囲気テーブル及び時系列グラフを生成し、雰囲気形成機器３０の出力制御をする。これにより、コンテンツのタイムラインに合わせて空間内に雰囲気が形成され、ユーザはコンテンツの情報の提示に合った臨場感を体験することができる。このとき、形成される雰囲気は、ユーザの嗜好が反映されていることから、ユーザは不快に感じることなく、臨場感を体験することができる。また、形成される雰囲気はユーザごとに異なる結果となり、ユーザ個々の雰囲気を再現することができる。
＜＜２．第２の実施の形態＞＞
本開示の第２の実施の形態にかかる雰囲気形成システムは、同種の雰囲気パラメータに対して複数の出力情報が存在する場合の複合処理を可能にしたシステムとして構成されている。例えば、利用するコンテンツが同時に複数存在する場合や、複数のユーザがコンテンツを利用する場合に、複数の個人化雰囲気テーブルが生成され得る。かかる場合には、同種の雰囲気パラメータに対して複数の出力情報が生成されることになる。このような場合において、本実施形態にかかる雰囲気形成システムは、複数の出力情報を複合して、雰囲気を形成することができるようになっている。
本実施形態にかかる雰囲気形成システムのハードウェア構成は、第１の実施の形態にかかる雰囲気形成システムと同一の構成とすることができる。本実施形態にかかる雰囲気形成システムでは、情報処理装置６０を構成する制御部１００の雰囲気管理部１３０において、同種の雰囲気パラメータに対する複数の出力情報を複合する処理が行われる。
例えば、同時に複数のコンテンツが再生される場合、情報処理装置６０は、複数のコンテンツを組み合わせて、複数の雰囲気を形成することができる。この場合、情報処理装置６０による複合処理は、コンテンツの複合ではなく雰囲気の複合であり、ユーザは、複数存在するコンテンツから、利用するコンテンツを選択する必要がある。例えば、コンテンツの再生機器が一つしかない場合には、ユーザは、利用するコンテンツを一つ選択することになるが、コンテンツの再生機器が複数ある場合には、ユーザは、それぞれのコンテンツを同時に利用することができる。
すなわち、第１の再生機器では第１のコンテンツを再生し、第２の再生機器では第２のコンテンツを再生することが可能である。したがって、本実施形態にかかる雰囲気形成システムでは、複数の再生機器を連携させ、第１の再生機器を再生することによって、第２の再生機器が同期して再生されるようにし、それぞれのコンテンツに基づいて生成される雰囲気を複合して出力する。
例えば、あるコンサートのコンテンツを再生すると、自然の森に関連するコンテンツが同期して再生されるようにした場合に、雰囲気管理部１３０では、コンテンツごとに時系列グラフが生成される。雰囲気管理部１３０は、雰囲気パラメータごとに、複数のコンテンツの時系列グラフを複合する。複合処理は、例えば、複数の時系列グラフをそのまま等倍速で複合するシンプルマージ法により行うことができる。
図１６は、シンプルマージ法により時系列グラフを複合処理した例を示す。かかるシンプルマージ法によれば、雰囲気パラメータの強度は、複数の雰囲気パラメータの出力強度の総和となる。複合された雰囲気パラメータを出力させることにより、ユーザは、実世界では起こりにくい、自然の森で、コンサート会場に来ているような臨場感を体験することができる。かかるシンプルマージ法による複合は、雰囲気パラメータの強度を足し合わせることができる場合に適用可能である。一方、照明器具が一つで、色の再現が一種類のみである場合等、雰囲気パラメータの強度を足し合わせることができない場合には、複数のコンテンツに基づいて取得された複数の雰囲気パラメータから、いずれか一つ選択する必要がある。
図１７は、パラメータの強度を足し合わせることができない場合に、どのコンテンツを優先させるかを定めたセレクションルールを示す。かかるセレクションルールによれば、ユーザは、優先させるコンテンツを選択することができ、コンテンツの選択がある場合には、当該コンテンツに基づいて取得された雰囲気パラメータを選択する。一方、優先させるコンテンツの選択がない場合には、自動的におまかせモードとなる。おまかせモードでは、ユーザ嗜好が反映される雰囲気パラメータとなるコンテンツを優先したり、出力強度の変化率が高い雰囲気パラメータとなるコンテンツを優先したり、コンテンツ自体の再生時間が短いコンテンツを優先したりして、雰囲気パラメータを選択する。
セレクションルールは、図示したものに限られず、適宜設定することができる。例えば、優先させるコンテンツを一つに決めるのではなく、反映させる比率を決定するようにしてもよい。
図１８は、複数のコンテンツを同時に再生する場合における、本実施形態にかかる雰囲気形成システムの使用例を示している。かかる図１８に示すように、ユーザがテレビやタブレット等の表示機器を使用して動画コンテンツを再生するとともに、ミュージックプレイヤーを使用して音楽コンテンツを再生しているとする。このとき、図１７に示したセレクションルールによるユーザ指定にしたがって、音楽コンテンツが優先されるとする。
動画コンテンツからは、「マウイ島」及び「暖かい風」のキーワードが抽出されている。また、音楽コンテンツからは、「リラックス」という特徴量や「歌詞」及び「アーティスト」のテキストが抽出されている。情報処理装置６０では、知識データベースによりこれらのキーワード等から抽出される雰囲気パラメータと、ユーザデータベースから抽出されるユーザの嗜好情報と、コンテンツの優先度とに基づいて、以下の個人化雰囲気テーブルが生成される。音楽コンテンツが再生されている状況では、それ以外の音の雰囲気パラメータはなしとされる。
・色：青（優先）、緑
・香り：ハーブ系（優先）、樹木系
・温度：暖かい（２５度）
・送風：穏やか
・強調：あり
上記の例では、色及び香りのパラメータが競合することになるが、これらのパラメータは足し合わせることができない要素であるために、色及び香りについては、優先コンテンツとされている音楽コンテンツに対応するパラメータが選択されている。情報処理装置６０では、この個人化雰囲気テーブルを含む複数の雰囲気テーブルが時系列につながれ時系列グラフが生成される。本実施形態にかかる雰囲気形成システムを利用すると、動画コンテンツと音楽コンテンツとが同時に再生されている場合には、照明器具３０ａの照明が青色に変わり、アロマディフューザ３０ｂからハーブ系の香りが放たれ、エアコンディショナ３０ｃから暖かい風が出力される。同時に、ユーザの嗜好を反映して、照明、香り及び送風の出力強度が高くされ、ユーザは、複数の雰囲気を同時に体験することができる。
また、複数のユーザが同時にコンテンツを利用する場合においては、情報処理装置６０は、ユーザごとの嗜好情報を反映させて生成される複数の時系列グラフを複合処理する。複合処理は、同時に複数のコンテンツが再生される場合と同様に行うことができる。すなわち、雰囲気パラメータの強度を足し合わせることができる場合には、例えば、シンプルマージ法によって時系列グラフを複合する。一方、雰囲気パラメータの強度を足し合わせることができない場合には、あらかじめ設定したセレクションルールにしたがって、どのユーザの嗜好情報を優先させるかを決定する。
図１９は、パラメータの強度を足し合わせることができない場合に、どのユーザの嗜好情報を優先させるかを定めたセレクションルールを示す。かかるセレクションルールによれば、複数のユーザは、優先させるユーザを選択することができ、ユーザの選択がある場合には、当該ユーザの嗜好情報が反映された雰囲気パラメータを選択する。一方、優先させるユーザの選択がない場合には、自動的におまかせモードとなる。おまかせモードでは、例えば、出力の強調度が高いユーザを優先させることができる。セレクションルールは、例示したものに限られず、適宜設定することができる。
以上のように、本実施形態にかかる雰囲気形成システムは、基本的に、第１の実施の形態にかかる雰囲気形成システムと同様の効果を得ることができる。また、本実施形態にかかる雰囲気形成システムは、複数のコンテンツが同時に再生される場合や複数のユーザがコンテンツを利用する場合に、雰囲気パラメータを複合して雰囲気を形成する。このとき、出力強度を足し合わせることができる雰囲気パラメータについては、複数の出力強度が足し合わされて出力される。したがって、ユーザは、実世界では起こりにくい雰囲気を体験することができるようになる。また、出力強度を足し合わせることができない雰囲気パラメータについては、あらかじめ設定したセレクションルールにしたがって、優先する雰囲気パラメータを選択する。したがって、複数のコンテンツのうち、いずれかのコンテンツに合わせて所望の雰囲気が形成されるようになる。
なお、本実施形態にかかる雰囲気形成システムにおいても、雰囲気情報を生成する処理形態に応じて、情報処理装置を複数に分けて構成することができる。
＜＜３．第３の実施の形態＞＞
＜３．１．雰囲気形成システムの概要＞
まず、本開示の第３の実施の形態にかかる雰囲気形成システムの概要について説明する。本実施形態にかかる雰囲気形成システムは、コンテンツの情報の提示に連動させて雰囲気形成機器を用いて空間内に雰囲気を形成するシステムであり、雰囲気が形成される際にユーザの動作が反映されるように構成されている。例えば、ユーザが好きなアーティストのライブ映像を鑑賞している間に、より派手に照明を変化させたいと感じることが考えられる。また、コンテンツの情報の提示に連動させて雰囲気を形成するにあたり、例えば、食事中には香りの出力をオフにしておきたいと感じることも考えられる。そのため、本実施形態にかかる雰囲気形成システムは、コンテンツの情報の提示に連動して形成される雰囲気を、ユーザが調整できるようにしたものである。
＜３．２．雰囲気形成システムの構成例＞
本実施形態にかかる雰囲気形成システムのハードウェア構成は、基本的に第１の実施の形態にかかる雰囲気形成システムと同様の構成とすることができる。ただし、本実施形態にかかる雰囲気形成システムにおいて、入力装置２０は、ユーザの動作を検出するための装置として、システムの設定操作を可能とした操作機器や、撮像装置、集音マイク等を含む。
図２０は、情報処理装置６０の制御部２００のソフトウェア構成を機能的に示すブロック図である。かかる制御部２００は、ユーザ動作検出部２１０と、コンテンツ解析部１１０と、雰囲気管理部１３０と、知識ベースシステム部１５０と、デバイス管理部２７０と、出力制御部１９０とを備える。これらの各部は、具体的には、ＣＰＵによるプログラムの実行により実現される機能部とすることができる。このうち、ユーザ動作検出部２１０及びデバイス管理部２７０以外の各部は、第１の実施の形態にかかる情報処理装置６０の各部と同様の構成とすることができる。
また、コンテンツの情報の提示に連動させて形成する雰囲気の時系列グラフを生成する制御処理については、基本的に第１の実施の形態にかかる雰囲気形成システムと同様とすることができる。ただし、本実施形態においては、形成される雰囲気に、必ずしもユーザの嗜好情報が反映されていなくてもよい。以下、図１及び図２０に基づいて、コンテンツの情報の提示に連動して形成される雰囲気を、ユーザの動作を反映して調整する制御処理を中心に説明する。
＜３．３．雰囲気調整処理＞
雰囲気を調整するためのユーザの操作は、例えば、入力装置２０に直接触れて操作する方法や、ユーザの発話による音声操作、ユーザのジェスチャー操作等が挙げられる。雰囲気の調整は、雰囲気の種類を選択する場面と、出力値を変更する場面があり、それぞれの場面において、情報処理装置６０が受け入れ可能な操作が変えられるようになっていてもよい。
（３．３．１．直接操作による雰囲気調整）
まず、ユーザが入力装置２０に直接触れて操作する雰囲気調整処理について説明する。ここでいう入力装置２０とは、例えば、雰囲気形成システム１０の設定操作を可能とした装置であり、例えば、スマートホンやタブレット等の画面付きの操作機器が挙げられる。ユーザ動作検出部２１０は、これらの入力装置２０へのユーザの操作入力情報を受け付け、デバイス管理部２７０に入力情報を送る。デバイス管理部２７０は、ユーザの操作入力にしたがって、所望の雰囲気パラメータの出力強度を調整したり、一部の雰囲気形成機器３０からの出力を停止したりすることができる。
（３．３．２．音声操作による雰囲気調整）
次に、ユーザの発話による音声操作による雰囲気調整処理について説明する。かかる方法は、例えば、ユーザが料理中や食事中であり、上記の入力装置２０による操作ができない場面等において有効である。図２１は、音声操作による雰囲気調整処理を示す説明図である。コンテンツの情報の提示に連動して、照明器具３０ａ及びアロマディフューザ３０ｂが出力を行っている状況において、ユーザが「少し暗くして」と話したとする。ユーザ動作検出部２１０は、集音マイクを介してユーザの発話を受け付け、既知の音声解析や言語解析等により、ユーザの意思を表すキーワード等を抽出する処理を行う。
この例では、ユーザ動作検出部２１０は、「少し」という単語から“程度”を理解し、「暗く」という単語から“照明器具３０ａ”を特定し、“暗くしたい”というユーザの意思を把握する。すなわち、ユーザ動作検出部２１０は、「照明の出力を弱くする」というような直接的な表現ではなく、雰囲気形成機器３０を指定しないあいまいな表現であっても、言語解析により照明器具３０ａを特定して出力を調整することができる。デバイス管理部２７０は、ユーザ動作検出部２１０が検出したユーザの意思にしたがって、照明器具３０ａの出力を弱める。これにより、コンテンツの情報の提示に連動した雰囲気を形成する間に、ユーザの音声操作にしたがって照明を暗くすることができる。
あるいは、図２１に示す状況において、ユーザが「雰囲気をすべてオフにして」と話したとする。この場合、ユーザ動作検出部２１０は、音声解析や言語解析により、すべての雰囲気形成機器３０の出力を停止したいというユーザの意思を把握する。デバイス管理部２７０は、ユーザ動作検出部２１０が検出したユーザの意思にしたがって、照明器具３０ａ及びアロマディフューザ３０ｂの出力を停止する。これにより、コンテンツの情報の提示に連動した雰囲気が形成されている状態から、ユーザの音声操作にしたがって、一旦、雰囲気の形成を中止することができる。
（３．３．３．ジェスチャー操作による雰囲気調整）
次に、ユーザのジェスチャーによる雰囲気調整処理について説明する。ジェスチャーによる操作方法としては様々な動作が考えられる。ここでは、指や視線の動きにより雰囲気を調整する例について説明する。指や視線の動きに例示されるユーザのジェスチャーは、例えば、撮像装置を介して取得される撮像情報を解析することによって検出することができる。
図２２は、ユーザの指及び視線の動きを検出して雰囲気を調整する例を示す説明図である。コンテンツの情報の提示に連動して、照明器具３０ａ及びアロマディフューザ３０ｂが出力を行っている状況において、ユーザが照明器具３０ａを見ながら人差し指を上下させたとする。ユーザ動作検出部２１０は、撮像情報を介して、視線の先にある照明器具３０ａを特定するとともに、人差し指の動きによって出力の強弱に対するユーザの意思を把握する。デバイス管理部２７０は、ユーザ動作検出部２１０が検出したユーザの意思にしたがって、照明器具３０ａの出力を調整する。これにより、コンテンツの情報の提示に連動した雰囲気を形成する間に、ユーザのジェスチャー操作にしたがって、照明の明るさを調整することができる。
図２３は、ユーザの指の本数及び動きを検出して雰囲気を調整する例を示す説明図である。この例においては、指の本数に対応する雰囲気形成機器３０を紐付けた情報が、情報処理装置６０に記憶されている。ここでは、指が一本であれば照明器具３０ａを指し、指が二本であればアロマディフューザ３０ｂを指す。コンテンツの情報の提示に連動して、照明器具３０ａ及びアロマディフューザ３０ｂが出力を行っている状況において、ユーザが人差し指を上下させたとする。ユーザ動作検出部２１０は、撮像情報を介してユーザの指の本数及び動きを検知し、指が一本であることから照明器具３０ａを特定するとともに、人差し指の動きによって出力の強弱に対するユーザの意思を把握する。デバイス管理部２７０は、ユーザ動作検出部２１０が検出したユーザの意思にしたがって、照明器具３０ａの出力を調整する。
あるいは、図２３に示す状況において、ユーザが人差し指及び中指の二本の指を上下させたとする。この場合、ユーザ動作検出部２１０は、指が二本であることからアロマディフューザ３０ｂを特定するとともに、二本の指の動きによって出力の強弱に対するユーザの意思を把握する。デバイス管理部２７０は、ユーザ動作検出部２１０が検出したユーザの意思にしたがって、アロマディフューザ３０ｂの出力を調整する。このように、コンテンツの情報の提示に連動した雰囲気を形成する間に、ユーザのジェスチャー操作にしたがって雰囲気を調整することができる。
図２４は、ユーザの指の種類及び動きを検出して雰囲気を調整する例を示す説明図である。この例においては、指の種類に対応する雰囲気形成機器３０を紐付けた情報が、情報処理装置６０に記憶されている。ここでは、親指が照明器具３０ａを指し、人差し指がアロマディフューザ３０ｂを指す。コンテンツの情報の提示に連動して、照明器具３０ａ及びアロマディフューザ３０ｂが出力を行っている状況において、ユーザが親指を上下させたとする。ユーザ動作検出部２１０は、撮像情報を介してユーザの指の種類及び動きを検知し、指が親指であることから照明器具３０ａを特定するとともに、親指の動きによって出力の強弱に対するユーザの意思を把握する。デバイス管理部２７０は、ユーザ動作検出部２１０が検出したユーザの意思にしたがって、照明器具３０ａの出力を調整する。
あるいは、図２４に示す状況において、ユーザが人差し指を上下させたとする。この場合、ユーザ動作検出部２１０は、指が人差し指であることからアロマディフューザ３０ｂを特定するとともに、人差し指の動きによって出力の強弱に対するユーザの意思を把握する。デバイス管理部２７０は、ユーザ動作検出部２１０が検出したユーザの意思にしたがって、アロマディフューザ３０ｂの出力を調整する。このように、コンテンツの情報の提示に連動した雰囲気を形成する間に、ユーザのジェスチャー操作にしたがって雰囲気を調整することができる。
（３．３．４．その他の動作に応じた雰囲気調整処理）
上記の例の他、ユーザの動作に応じて、情報処理装置６０が自動的に雰囲気を調整するようにしてもよい。例えば、情報処理装置６０は、ユーザが電話をする場合に、コンテンツの情報の提示に連動して出力している音や振動をオフにしたり、あるいは出力強度を弱めたりしてもよい。具体的には、ユーザが電話機器等の特定の機器を使用している場合に、情報処理装置６０は、利用していないコンテンツの再生機器を停止したり、ユーザの操作状況から推測される停止すべき雰囲気形成機器３０の出力を停止したりする。あるいは、電話機器と雰囲気形成システムとを連携させ、各機器の使用状態を情報処理装置６０が把握しておくことによって、機器の使用状態に応じて情報処理装置６０は適宜の調整処理を実行する。情報処理装置６０は、撮像情報を解析することによって、ユーザが電話をすることを検知することができる。
また、情報処理装置６０は、コンテンツの情報の提示に連動して雰囲気を形成している間にユーザが立ち上がったときに、照明の明るさが暗い場合には照明を明るくするようにしてもよい。ユーザが立ち上がったときには、ユーザが歩き出す可能性があるため、部屋を明るくすることにより、危険を低減することができる。情報処理装置６０は、撮像情報を解析することによって、ユーザが立ち上がることを検知することができる。
また、情報処理装置６０は、ユーザがコンテンツの利用環境にいるかいないかによって、コンテンツの一時停止、再生と併せて、雰囲気形成機器３０の出力、停止を制御してもよい。例えば、ユーザが部屋を出るとき、すなわち、ユーザが撮像装置やセンサ装置の検知範囲外に移動したときや、あらかじめ設定した距離以上にユーザがコンテンツの再生機器から離れたとき等に、情報処理装置６０は、コンテンツや雰囲気の出力を一時停止する。また、ユーザが撮像装置やセンサ装置の検知範囲内に戻ってきたときや、コンテンツの再生機器との距離があらかじめ設定した範囲内にユーザが戻ってきたとき等に、情報処理装置６０は、一時停止しているコンテンツを自動的に再生する。このように、ユーザの行動を阻害することなく、雰囲気の出力を自動で停止再生することができる。
また、情報処理装置６０は、ユーザの動作の速度に対応させて、雰囲気の出力の変化率を変えるようにしてもよい。例えば、ユーザが、指揮者のように小さくゆったりとした動作で動いている場合には変化率を小さくし、大きく速い動作で動いている場合には変化率を大きくすることができる。このように制御することによって、雰囲気の変化率を、ユーザ自身の動作によって自由に変えることができる。
さらに、情報処理装置６０は、あらかじめ定められたルールにしたがって、ユーザの発話やジェスチャーに基づいて、形成された雰囲気に対するユーザの評価を学習することによって、ユーザデータベース上のユーザの嗜好情報を更新するようにしてもよい。このように制御することによって、ユーザの嗜好に沿った雰囲気を適切に再現することができるようになる。
以上説明したように、本実施形態にかかる雰囲気形成システムによれば、コンテンツの情報の提示に連動して雰囲気が形成されている間に、ユーザの動作を反映して雰囲気の出力が調整される。これにより、ユーザの意思を反映して、あるいは、ユーザの動作に合わせて自動的に雰囲気の出力が調整され、ユーザの動作に応じて快適な雰囲気を形成することが可能になる。
なお、本実施形態では、デバイス管理部２７０がユーザの動作又は意思を反映させて、雰囲気の調整をしていたが、雰囲気管理部１３０が雰囲気パラメータを補正することによって雰囲気が調整されてもよく、出力制御部１９０が出力強度の調整をしてもよい。また、本実施形態にかかる雰囲気形成システムにおいても、雰囲気情報を生成する処理形態に応じて、情報処理装置を複数に分けて構成することができる。
＜＜４．第４の実施の形態＞＞
本開示の第４の実施の形態にかかる雰囲気形成システムは、第１〜第３の実施の形態にかかる雰囲気形成システムに対して、情報処理装置がユーザの周囲の環境を把握し、特定の箇所に向けて雰囲気の出力を強調させる機能を付加したシステムとして構成されている。雰囲気の出力を強調させる箇所は、物体や場所とすることができる。例えば、グラスや鏡、テーブル、ディスプレイ等が挙げられるが、これら以外の種々の物体や場所とすることができる。
図２５は、本実施形態にかかる雰囲気形成システムによる雰囲気制御処理の一例として、照明器具３０ａから照射される照明を、所定の物体にピンポイントで当てる例を示す説明図である。かかる例は、ユーザの周辺に存在するグラス９０やディスプレイ装置９５に対して、特に強く照明を当てる機能を示している。照明を当てる物体や場所の特定は、例えば、カメラにより取得される撮像情報を用いて空間内の物体認識をし、特定の物体や場所を判別するようにしてもよい。あるいは、照明を当てる物体や場所の特定は、ユーザが積極的に雰囲気を強調させたい物体や場所にＲＦＩＤタグを取り付けて位置検出するようにしてもよい。
図２６は、グラス９０にＲＦＩＤタグを取り付けて、照明を当てる対象を特定するようにした例を示している。このように、ＲＦＩＤタグを用いることにより、グラス９０の位置が移動した場合であっても、照射位置が追従して、常にグラス９０に照明を当てることができる。例えば、バーのカウンターで、客が使用しているグラス９０に追従して、バーで流れるＢＧＭの雰囲気に合わせた照明をグラス９０に当てるような使い方が可能になる。
＜＜第５の実施の形態＞＞
本開示の第５の実施の形態は、コンテンツの再生機器自体を雰囲気形成システムとして構成したマルチ雰囲気出力対応機器である。図２７は、マルチ雰囲気出力対応機器として構成された画像表示機器４００の例を示している。かかる画像表示機器４００は、ディスプレイ装置に、図示しない入力装置や、雰囲気形成機器３０として照明装置、送風機、振動発生装置及び香り拡散装置を設け、併せて備えられた情報処理装置により雰囲気制御処理を実行可能に構成されている。本実施形態にかかるマルチ雰囲気出力対応機器によれば、いわゆるオールインワン型のコンテンツ再生機器として、ユーザが所望する空間に容易に持ち運びすることができる。
なお、本実施形態においても、マルチ雰囲気出力対応機器が情報処理装置のすべての処理部を備えていなくてもよい。例えば、情報処理装置が、ユーザの嗜好を反映させてあらかじめ生成された雰囲気情報を読み出して雰囲気形成機器３０の出力制御を実行可能に構成してもよい。あるいは、情報処理装置が、ユーザの嗜好を反映させないであらかじめ生成された雰囲気情報を読み出すとともに、ユーザの嗜好を反映させたうえで、雰囲気形成機器３０の出力制御を実行可能に構成してもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、視覚、聴覚、嗅覚、触覚に刺激を与え得る雰囲気形成システムとしたが、本技術はかかる例に限定されるものではなく、少なくともいずれか一つの感覚に刺激を与え得るシステムであればよい。また、上記第１〜第５の実施の形態の構成を適宜組み合わせてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示にかかる技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように雰囲気形成機器を制御する制御部を備える、情報処理装置。
（２）前記制御部は、前記コンテンツから抽出される特徴量に基づいて前記雰囲気を形成するよう構成される、前記（１）に記載の情報処理装置。
（３）前記制御部は、前記ユーザの嗜好又は動作に応じて、前記雰囲気形成機器の出力強度を変化させるよう構成される、前記（１）又は（２）に記載の情報処理装置。
（４）前記制御部は、前記ユーザの嗜好又は動作に応じて、用いる前記雰囲気形成機器の種類を選択するよう構成される、前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（５）前記制御部は、前記ユーザの嗜好情報が格納されたデータベースを参照して、前記雰囲気に前記ユーザの嗜好を反映させるよう構成される、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）前記ユーザの嗜好情報は嗜好強度のレベルに関連づけられており、前記制御部は、前記嗜好強度に応じて前記雰囲気に対する前記ユーザの嗜好の反映度合いを異ならせるよう構成される、前記（５）に記載の情報処理装置。
（７）前記ユーザの嗜好情報は嗜好強度のレベルに関連づけられており、前記コンテンツを利用するユーザが複数いる場合に、前記制御部は、嗜好強度の高いユーザの嗜好情報を優先しながら、前記雰囲気に前記ユーザの嗜好を反映させるよう構成される、前記（５）に記載の情報処理装置。
（８）複数のコンテンツが同時に利用される場合に、前記制御部は、前記ユーザが指定したコンテンツを優先して前記雰囲気を形成するよう構成される、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）複数のコンテンツが同時に利用される場合に、前記制御部は、対応する前記雰囲気の出力を合成した前記雰囲気を形成するよう構成される、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（１０）複数のコンテンツが同時に利用される場合に、前記制御部は、出力を合成できない前記雰囲気については、前記コンテンツの優先度に応じて選択された前記雰囲気を形成するよう構成される、前記（９）に記載の情報処理装置。
（１１）前記コンテンツを利用するユーザが複数いる場合に、前記制御部は、選択された特定のユーザの嗜好を優先して反映させた前記雰囲気を形成するよう構成される、前記（１）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）前記制御部は、前記コンテンツから抽出される特徴量に応じた雰囲気パラメータに対して前記ユーザの嗜好又は動作を反映させた前記雰囲気を形成するよう構成される、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）前記制御部は、前記コンテンツの複数の時点の前記雰囲気パラメータを時系列につないだ時系列グラフに基づき前記雰囲気を形成するよう構成される、前記（１２）に記載の情報処理装置。
（１４）前記制御部は、前記雰囲気形成機器の出力の変化率に基づいて、前記コンテンツの情報の提示に連動する前記雰囲気を形成する対象となるコンテンツを決定するよう構成される、前記（２）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）前記制御部は、それぞれの前記雰囲気の知覚把握特性に応じて、前記雰囲気形成機器の出力タイミングを制御するよう構成される、前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）前記制御部は、前記ユーザと前記雰囲気形成機器との距離に応じて前記雰囲気形成機器の出力タイミングを制御するよう構成される、前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）前記制御部は、前記ユーザによる入力操作、音声入力操作又はジェスチャー操作に基づいて、前記雰囲気を調整するよう構成される、前記（１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）前記制御部は、前記コンテンツを利用するユーザの動作を解析して得られる前記ユーザの意思にしたがって前記雰囲気を変化させるよう構成される、前記（１）〜（１７）のいずれか一項に記載の情報処理装置。
（１９）前記雰囲気形成機器が、照明器具、アロマディフューザ、スピーカ、扇風機、エアコンディショナ、振動発生装置のうちの少なくとも１つである、前記（１）〜（１８）のいずれか一項に記載の情報処理装置。
（２０）ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように、制御装置により雰囲気形成機器を制御する、情報処理方法。
（２１）コンピュータに、ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように雰囲気形成機器を制御する機能を実行させる、プログラム。
（２２）ユーザの周辺環境に前記ユーザが知覚可能な刺激による雰囲気を形成するための雰囲気形成機器と、前記ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように雰囲気形成機器を制御する情報処理装置と、を備える、雰囲気形成システム。
１０ 雰囲気形成システム
２０ 入力装置
３０ 出力装置（雰囲気形成機器）
３０ａ 照明器具
３０ｂ アロマディフューザ
３０ｃ エアコンディショナ
４０ ストレージ装置
５０ 通信装置
６０ 情報処理装置
９０ グラス
９５ ディスプレイ装置
１００ 制御部
１１０ コンテンツ解析部
１３０ 雰囲気管理部
１５０ 知識ベースシステム部
１７０ デバイス管理部
１９０ 出力制御部
２００ 制御部
２１０ ユーザ動作検出部
２７０ デバイス管理部
４００ 画像表示機器（マルチ雰囲気出力対応機器）

Claims (26)

  1. ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように雰囲気形成機器を制御する制御部を備え、
    前記制御部は、前記ユーザの嗜好情報が格納されたデータベースを参照して、前記雰囲気に前記ユーザの嗜好を反映させるよう構成され、
    前記ユーザの嗜好情報は嗜好強度のレベルに関連づけられており、
    前記コンテンツを利用するユーザが複数いる場合に、前記制御部は、嗜好強度の高いユーザの嗜好情報を優先しながら、前記雰囲気に前記ユーザの嗜好を反映させるよう構成される、情報処理装置。
  2. ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように雰囲気形成機器を制御する制御部を備え、
    複数のコンテンツが同時に利用される場合に、前記制御部は、前記ユーザが指定したコンテンツを優先して前記雰囲気を形成するよう構成される、情報処理装置。
  3. ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように雰囲気形成機器を制御する制御部を備え、
    複数のコンテンツが同時に利用される場合に、前記制御部は、対応する前記雰囲気の出力を合成した前記雰囲気を形成するよう構成される、情報処理装置。
  4. 複数のコンテンツが同時に利用される場合に、前記制御部は、出力を合成できない前記雰囲気については、前記コンテンツの優先度に応じて選択された前記雰囲気を形成するよう構成される、請求項３に記載の情報処理装置。
  5. ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように雰囲気形成機器を制御する制御部を備え、
    前記コンテンツを利用するユーザが複数いる場合に、前記制御部は、選択された特定のユーザの嗜好を優先して反映させた前記雰囲気を形成するよう構成される、情報処理装置。
  6. ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように雰囲気形成機器を制御する制御部を備え、
    前記制御部は、前記雰囲気形成機器の出力の変化率に基づいて、前記コンテンツの情報の提示に連動する前記雰囲気を形成する対象となるコンテンツを決定するよう構成される、情報処理装置。
  7. 前記制御部は、前記コンテンツから抽出される特徴量に基づいて前記雰囲気を形成するよう構成される、請求項１〜６のいずれか１項に記載の情報処理装置。
  8. 前記制御部は、前記ユーザの嗜好又は動作に応じて、前記雰囲気形成機器の出力強度を変化させるよう構成される、請求項１〜７のいずれか１項に記載の情報処理装置。
  9. 前記制御部は、前記ユーザの嗜好又は動作に応じて、用いる前記雰囲気形成機器の種類を選択するよう構成される、請求項１〜８のいずれか１項に記載の情報処理装置。
  10. 前記ユーザの嗜好情報は嗜好強度のレベルに関連づけられており、
    前記制御部は、前記嗜好強度に応じて前記雰囲気に対する前記ユーザの嗜好の反映度合いを異ならせるよう構成される、請求項１に記載の情報処理装置。
  11. 前記制御部は、前記コンテンツから抽出される特徴量に応じた雰囲気パラメータに対して前記ユーザの嗜好又は動作を反映させた前記雰囲気を形成するよう構成される、請求項１〜１０のいずれか１項に記載の情報処理装置。
  12. 前記制御部は、それぞれの前記雰囲気の知覚把握特性に応じて、前記雰囲気形成機器の出力タイミングを制御するよう構成される、請求項１〜１１のいずれか１項に記載の情報処理装置。
  13. 前記制御部は、前記ユーザと前記雰囲気形成機器との距離に応じて前記雰囲気形成機器の出力タイミングを制御するよう構成される、請求項１〜１２のいずれか１項に記載の情報処理装置。
  14. 前記制御部は、前記ユーザによる入力操作、音声入力操作又はジェスチャー操作に基づいて、前記雰囲気を調整するよう構成される、請求項１〜１３のいずれか１項に記載の情報処理装置。
  15. 前記制御部は、前記コンテンツを利用するユーザの動作を解析して得られる前記ユーザの意思にしたがって前記雰囲気を変化させるよう構成される、請求項１〜１４のいずれか１項に記載の情報処理装置。
  16. 前記雰囲気形成機器が、照明器具、アロマディフューザ、スピーカ、扇風機、エアコンディショナ、振動発生装置のうちの少なくとも１つである、請求項１〜１５のいずれか１項に記載の情報処理装置。
  17. ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように、制御装置により雰囲気形成機器を制御する情報処理方法であって、
    前記制御装置は、
    嗜好強度のレベルに関連づけられた前記ユーザの嗜好情報が格納されたデータベースを参照して、前記雰囲気に前記ユーザの嗜好を反映させ、
    前記コンテンツを利用するユーザが複数いる場合に、嗜好強度の高いユーザの嗜好情報を優先しながら、前記雰囲気に前記ユーザの嗜好を反映させる、情報処理方法。
  18. ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように、制御装置により雰囲気形成機器を制御する情報処理方法であって、
    前記制御装置は、
    複数のコンテンツが同時に利用される場合に、前記ユーザが指定したコンテンツを優先して前記雰囲気を形成する、情報処理方法。
  19. ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように、制御装置により雰囲気形成機器を制御する情報処理方法であって、
    前記制御装置は、
    複数のコンテンツが同時に利用される場合に、対応する前記雰囲気の出力を合成した前記雰囲気を形成する、情報処理方法。
  20. ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように、制御装置により雰囲気形成機器を制御する情報処理方法であって、
    前記制御装置は、
    前記コンテンツを利用するユーザが複数いる場合に、選択された特定のユーザの嗜好を優先して反映させた前記雰囲気を形成する、情報処理方法。
  21. ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように、制御装置により雰囲気形成機器を制御する情報処理方法であって、
    前記制御装置は、
    前記雰囲気形成機器の出力の変化率に基づいて、前記コンテンツの情報の提示に連動する前記雰囲気を形成する対象となるコンテンツを決定する、情報処理方法。
  22. コンピュータに、ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように雰囲気形成機器を制御する機能を実行させるプログラムであって、
    前記プログラムは、前記コンピュータに、
    嗜好強度のレベルに関連づけられた前記ユーザの嗜好情報が格納されたデータベースを参照して、前記雰囲気に前記ユーザの嗜好を反映させ、
    前記コンテンツを利用するユーザが複数いる場合に、嗜好強度の高いユーザの嗜好情報を優先しながら、前記雰囲気に前記ユーザの嗜好を反映させる機能を実行させる、プログラム。
  23. コンピュータに、ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように雰囲気形成機器を制御する機能を実行させるプログラムであって、
    前記プログラムは、前記コンピュータに、
    複数のコンテンツが同時に利用される場合に、前記ユーザが指定したコンテンツを優先して前記雰囲気を形成する機能を実行させる、プログラム。
  24. コンピュータに、ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように雰囲気形成機器を制御する機能を実行させるプログラムであって、
    前記プログラムは、前記コンピュータに、
    複数のコンテンツが同時に利用される場合に、対応する前記雰囲気の出力を合成した前記雰囲気を形成する機能を実行させる、プログラム。
  25. コンピュータに、ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように雰囲気形成機器を制御する機能を実行させるプログラムであって、
    前記プログラムは、前記コンピュータに、
    前記コンテンツを利用するユーザが複数いる場合に、選択された特定のユーザの嗜好を優先して反映させた前記雰囲気を形成する機能を実行させる、プログラム。
  26. コンピュータに、ユーザが利用するコンテンツの情報の提示に連動して、前記情報の提示とは異なる前記ユーザが知覚可能な刺激による雰囲気であって、前記ユーザの嗜好又は動作を反映させた雰囲気が形成されるように雰囲気形成機器を制御する機能を実行させるプログラムであって、
    前記プログラムは、前記コンピュータに、
    前記雰囲気形成機器の出力の変化率に基づいて、前記コンテンツの情報の提示に連動する前記雰囲気を形成する対象となるコンテンツを決定する機能を実行させる、プログラム。
JP2016529148A 2014-06-24 2015-04-27 情報処理装置及び情報処理方法並びにプログラム Active JP6504165B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014129194 2014-06-24
JP2014129194 2014-06-24
PCT/JP2015/062725 WO2015198716A1 (ja) 2014-06-24 2015-04-27 情報処理装置及び情報処理方法並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2015198716A1 JPWO2015198716A1 (ja) 2017-04-20
JP6504165B2 true JP6504165B2 (ja) 2019-04-24

Family

ID=54937815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016529148A Active JP6504165B2 (ja) 2014-06-24 2015-04-27 情報処理装置及び情報処理方法並びにプログラム

Country Status (5)

Country Link
US (1) US20170214962A1 (ja)
EP (1) EP3163891A4 (ja)
JP (1) JP6504165B2 (ja)
CN (1) CN106416278A (ja)
WO (1) WO2015198716A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017094326A1 (ja) * 2015-11-30 2018-09-13 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10110851B2 (en) * 2016-05-06 2018-10-23 Avaya Inc. System and method for dynamic light adjustment in video capture
JP6774018B2 (ja) * 2016-09-15 2020-10-21 富士ゼロックス株式会社 対話装置
WO2018073832A1 (en) * 2016-10-20 2018-04-26 Rn Chidakashi Technologies Pvt. Ltd. Emotionally intelligent companion device
WO2018163700A1 (ja) * 2017-03-07 2018-09-13 ソニー株式会社 コンテンツ提示システム、コンテンツ提示装置及び風提示装置
US10101804B1 (en) * 2017-06-21 2018-10-16 Z5X Global FZ-LLC Content interaction system and method
US10743087B2 (en) 2017-06-21 2020-08-11 Z5X Global FZ-LLC Smart furniture content interaction system and method
US10942569B2 (en) * 2017-06-26 2021-03-09 SonicSensory, Inc. Systems and methods for multisensory-enhanced audio-visual recordings
CN108332360B (zh) * 2018-01-15 2020-12-01 广东美的制冷设备有限公司 空调器的喷香方法、空调器及计算机可读存储介质
US20200401769A1 (en) * 2018-02-27 2020-12-24 Panasonic Intellectual Property Management Co., Ltd. Data conversion system, data conversion method, and program
JP7080078B2 (ja) * 2018-03-19 2022-06-03 本田技研工業株式会社 情報提供システム、情報提供方法、及びプログラム
CN109109624A (zh) * 2018-07-12 2019-01-01 吉利汽车研究院（宁波）有限公司 一种智能控制气体发生装置的系统
JP6764456B2 (ja) * 2018-11-08 2020-09-30 スカパーＪｓａｔ株式会社 家電制御装置、表示装置、制御システム
WO2021144831A1 (en) * 2020-01-14 2021-07-22 Nec Corporation Control device, control method and computer-readable storage medium
WO2023190206A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 コンテンツ提示システム、コンテンツ提示プログラム及びコンテンツ提示方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4052556B2 (ja) * 2002-05-07 2008-02-27 日本放送協会 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム
JP2006345486A (ja) * 2005-05-10 2006-12-21 Victor Co Of Japan Ltd 外部機器制御装置及び機器制御システム
US8510778B2 (en) * 2008-06-27 2013-08-13 Rovi Guides, Inc. Systems and methods for ranking assets relative to a group of viewers
KR101078641B1 (ko) * 2008-07-14 2011-11-01 명지대학교 산학협력단 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템 및 방법
US20110149156A1 (en) * 2008-07-15 2011-06-23 Sharp Kabushiki Kaisha Data transmitting apparatus, data receiving apparatus, data transmitting method, data receiving method, and audio-visual environment controlling method
US20110125788A1 (en) * 2008-07-16 2011-05-26 Electronics And Telecommunications Research Institute Method and apparatus for representing sensory effects and computer readable recording medium storing sensory device capability metadata
JP5323413B2 (ja) * 2008-07-25 2013-10-23 シャープ株式会社 付加データ生成システム
WO2010087155A1 (ja) * 2009-01-27 2010-08-05 シャープ株式会社 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御方法および視聴環境制御システム
JP2011040963A (ja) * 2009-08-10 2011-02-24 Toshiba Corp 映像表示装置及び照明制御方法
US8675010B2 (en) * 2010-04-02 2014-03-18 Electronics And Telecommunications Research Institute Method and apparatus for providing metadata for sensory effect, computer readable record medium on which metadata for sensory effect is recorded, method and apparatus for representating sensory effect
JP2011259354A (ja) * 2010-06-11 2011-12-22 Sharp Corp 視聴環境制御システム、送信装置、受信装置
CN103038717B (zh) * 2010-06-25 2017-03-01 皇家飞利浦电子股份有限公司 控制对于用户接口的访问以便利用气氛创建系统进行气氛控制
US8949901B2 (en) * 2011-06-29 2015-02-03 Rovi Guides, Inc. Methods and systems for customizing viewing environment preferences in a viewing environment control application
US8928811B2 (en) * 2012-10-17 2015-01-06 Sony Corporation Methods and systems for generating ambient light effects based on video content
US8984568B2 (en) * 2013-03-13 2015-03-17 Echostar Technologies L.L.C. Enhanced experience from standard program content

Also Published As

Publication number Publication date
CN106416278A (zh) 2017-02-15
EP3163891A1 (en) 2017-05-03
JPWO2015198716A1 (ja) 2017-04-20
WO2015198716A1 (ja) 2015-12-30
EP3163891A4 (en) 2017-10-25
US20170214962A1 (en) 2017-07-27

Similar Documents

Publication Publication Date Title
JP6504165B2 (ja) 情報処理装置及び情報処理方法並びにプログラム
EP2229228B1 (en) System and method for automatically creating an atmosphere suited to social setting and mood in an environment
CN111372109B (zh) 一种智能电视以及信息交互方法
CN107172485A (zh) 一种用于生成短视频的方法与装置
JP2015525417A (ja) 補足コンテンツの選択および伝達
US9201497B2 (en) Systems, methods, and computer readable storage media for providing virtual media environments
US20130166042A1 (en) Media content-based control of ambient environment
US20200304882A1 (en) Method and device for controlling the setting of at least one audio and/or video parameter, corresponding terminal and computer program
KR20210065099A (ko) 정보 처리 장치, 정보 처리 방법, 프로그램, 및 정보 처리 시스템
Epelde et al. Providing universally accessible interactive services through TV sets: implementation and validation with elderly users
CN112287129A (zh) 音频数据的处理方法、装置及电子设备
WO2022249522A1 (ja) 情報処理装置、情報処理方法及び情報処理システム
US20220164024A1 (en) User-driven adaptation of immersive experiences
JP2022511991A (ja) メディアコンテンツにおけるスピーチの度合に基づく光効果の決定
CN113424659B (zh) 增强用户对光场景的识别
US20120117373A1 (en) Method for controlling a second modality based on a first modality
US20230217568A1 (en) Video Display Environmental Lighting
O'Gara “This Is Not a Performance”: Coming-Out Videos, LGBTQ+ Microcelebrity, and the Tenuous Rise of New Queer YouTube
Dang et al. Towards Accessible Musical Performances in Virtual Reality: Designing a Conceptual Framework for Omnidirectional Audio Descriptions
CN118012550A (zh) 播放器背景图控制方法、装置、电子设备及存储介质
JP2020065099A (ja) 再生方法、再生システム、および、再生装置
Fourney Making the invisible visible: visualization of music and lyrics for deaf and hard of hearing audiences
KR20230107042A (ko) 전자 장치 및 그 동작 방법
Timplalexi Theatre in Transition: Lars Elleström's Media Modalities and the Rise of “Video Theatre”
JP2021197563A (ja) 関連情報配信装置、プログラム、コンテンツ配信システム及びコンテンツ出力端末

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180320

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190131

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

TRDD Decision of grant or rejection written
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190311

R151 Written notification of patent or utility model registration

Ref document number: 6504165

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515