JP6589880B2 - 情報処理システム、制御方法、および記憶媒体 - Google Patents

Description

本開示は、情報処理システム、制御方法、および記憶媒体に関する。

従来の動画は映像と音声のみを記録し、記録した映像および音声を再生することで鑑賞者に視聴覚的な刺激を与えていた。また、近年は、視聴覚以外の刺激を提示することで、鑑賞者に高臨場感での画像鑑賞を可能とするシステムが提案されている。

例えば、下記特許文献１では、ユーザ端末を把持して画像を参照する際に、画面上の動きと合った振動情報を与える情報提供装置が開示されている。また、下記特許文献２〜４では、車や船、馬に乗っている感じや、歩行している感じを疑似体験させるために、画像データの解析により動きベクトルを検出し、台座を駆動する駆動装置に出力する情報処理装置が開示されている。

特開２００６−２７０７１１号公報 特開２００２−４４６２３号公報 特開２００２−３５４３７号公報 特開２０００−２１４７５５号公報

しかしながら、上記特許文献２〜４に開示されている技術では、動画から得られた振動をそのまま再現するための専用の椅子が必要であり、ウェアラブル端末やモバイルデバイスに振動情報を送っても動画から得た振動を再現することはできなかった。

また、より高度な臨場感の再現には、振動以外にも視聴空間全体の照明や、温度、被写体の肌触り、被写体の重さ、被写体と撮影者との関係など様々な要素が影響するが、これらの要素を再現することについては、上記特許文献１〜４では考慮されていなかった。

また、動画から得られた振動等の生データをそのまま再現するためには、専用のデバイスを再生側で備えることが必要であるが、専用のデバイスを備えることは困難であった。

そこで、本開示では、抽象化した臨場感再現情報を生成することで、再生側のデバイスの特性に合わせた再現を行うことが可能な情報処理システム、制御方法、および記憶媒体を提案する。

本開示によれば、コンテンツデータから抽出された特徴に応じて、抽象化された臨場感再現情報を生成する生成部と、前記生成部により生成された臨場感再現情報を、前記コンテンツデータに関連付けて記憶するよう制御する記憶制御部と、を備える情報処理システムを提案する。

本開示によれば、コンテンツデータに基づいて生成された臨場感再現情報を取得する取得部と、前記臨場感再現情報が表すコンテキストを再現するための効果を特定する効果特定部と、前記特定された効果を付与して前記コンテンツデータを再生する再生制御部と、を備える情報処理システムを提案する。

本開示によれば、コンテンツデータから抽出された特徴に応じて、抽象化された臨場感再現情報を生成する生成部と、前記臨場感再現情報が表すコンテキストを再現するための効果を特定する効果特定部と、前記特定された効果を付与して前記コンテンツデータを再生する再生制御部と、を備える情報処理システムを提案する。

本開示によれば、コンテンツデータから抽出された特徴に応じて、抽象化された臨場感再現情報を生成することと、前記生成された臨場感再現情報を、前記コンテンツデータに関連付けて記憶するよう制御することと、を含む制御方法を提案する。

本開示によれば、コンピュータを、コンテンツデータに基づいて生成された臨場感再現情報を取得する取得部と、前記臨場感再現情報が表すコンテキストを再現するための効果を特定する効果特定部と、前記特定された効果を付与して前記コンテンツデータを再生する再生制御部と、として機能させるためのプログラムが記憶された、記憶媒体を提案する。

以上説明したように本開示によれば、抽象化した臨場感再現情報を生成することで、再生側のデバイスの特性に合わせた再現を行うことが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態による臨場感再現システムの概要を説明する図である。 本実施形態による再現情報生成装置の構成の一例を示すブロック図である。 本実施形態による臨場感再現情報の生成について説明する図である。 図３に示す対象動画から生成される臨場感再現情報のデータ構造の一例を示す図である。 本実施形態による臨場感再現情報の他の例を示す図である。 本実施形態による感性サーバの構成の一例を示すブロック図である。 本実施形態による再生制御装置の構成の一例を示すブロック図である。 本実施形態による屋内用の再生デバイスの一例を説明する図である。 本実施形態によるウェアラブルタイプの再生デバイスの一例を説明する図である。 本実施形態による臨場感再現のための画像エフェクトの一例を示す図である。 本実施形態による臨場感再現のための画像エフェクトの一例を示す図である。 本実施形態による臨場感再現情報生成処理を示すフローチャートである。 本実施形態による感性値取得処理を示すフローチャートである。 本実施形態による被写体認識について説明する図である。 本実施形態によるインタラクション評価のデータ例を示す図である。 図１５に示すインタラクション評価のデータ例から感性値算出に用いるデータを抜き出したデータ例を示す図である。 本実施形態による再生処理を示すフローチャートである。 本実施形態による感性値を利用した再生処理を示すフローチャートである。 本実施形態による感性値に応じて各被写体に対応するよう配置される画像エフェクトの一例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による臨場感再現システムの概要
２．基本構成
２−１．再現情報生成装置
２−２．感性サーバ
２−３．再生制御装置
３．動作処理
３−１．再現情報生成処理
３−２．再生処理
４．まとめ

＜＜１．本開示の一実施形態による臨場感再現システムの概要＞＞
まず、本開示の一実施形態による臨場感再現システム１の概要を図１に示して説明する。図１に示すように、本実施形態による臨場感再現システム１は、取得したコンテンツデータから臨場感再現情報を生成する再現情報生成装置３と、臨場感再現情報に基づいてコンテンツデータを再生する際に鑑賞者（ユーザ）にコンテンツデータ生成時の臨場感を再現する再生制御装置３５とを有する。再現情報生成装置３と再生制御装置３５はネットワークを介して接続され得る。

再現情報生成装置３は、例えば動画等のコンテンツデータを解析して抽出された特徴量に応じて、コンテンツデータ生成時のコンテキスト（具体的には振動、気候、ロケーション・状態、照明、場の雰囲気等）を推定し、推定したコンテキストを再現するための抽象化された臨場感再現情報を生成する。また、本実施形態による再現情報生成装置３は、コンテンツデータ生成者（例えば撮影者）の被写体に対する気持ちや関係性を示す所定の指標を用いて、被写体への気持ちを表す新たな演出を加えるための臨場感再現情報を生成することも可能である。所定の指標とは、対象人物が他の人物や物に対して行ったインタラクション（行為）の評価履歴に基づいて算出される感性値である。再現情報生成装置３は、被写体や撮影者のオブジェクトＩＤに基づいて、感性サーバ２から両者間で行われたインタラクションの評価を取得し、感性値を算出する。

ここで、抽象化された臨場感再現情報とは、画像から取得した振動等の生データに基づいて生成されるものであって、例えば振動等のパターンから「大型船に乗っている」「小型ボートに乗っている」「車に乗っている」「自転車に乗っている」といった乗り物の種類を示す情報が、抽象化された臨場感再現情報として生成される。

再生制御装置３５は、コンテンツデータに紐付けられた臨場感再現情報に基づいて、コンテンツデータを再生する際に、コンテンツデータ生成時の振動、気候、ロケーション、行動、照明、場の雰囲気等を再現することで、ユーザに臨場感を与える。コンテンツデータに紐付けられている臨場感再現情報は、上述したように抽象化されたものであるため、再生制御装置３５は、利用可能なデバイスの特性に応じた再現処理を行うことができる。例えば臨場感再現情報が乗り物の種類を示す情報である場合、再生制御装置３５は、振動を発生させる振動装置により対象の乗り物に乗っているかのような振動をユーザに与えてもよいし、風を発生させる風出力装置により対象の乗り物に乗っている際に受ける風をユーザに与えてもよい。また、振動装置の制御では、動画から得られた振動等の生データをそのまま再現することなく、当該振動装置により可能な振動制御において対象の乗り物に乗っているかのような振動をユーザに与えられればよい。これにより、従来は動画から得られた振動等の生データをそのまま再現するために専用のデバイスを再現側で備えることが必要であったが、本実施形態では専用のデバイスがなくとも、抽象化された臨場感再現情報に従って再現側が備えるデバイスの特性に応じて臨場感を再現することができる。

以上、本開示の一実施形態による臨場感再現システムの概要について説明した。本実施形態では、動画等のコンテンツデータに基づいて、抽象度の高い臨場感再現情報を生成することで、再生側のデバイスの特性に合わせた再現を行うことができる。続いて、本実施形態の臨場感再現システム１に含まれる各装置の基本構成について説明する。

＜＜２．基本構成＞＞
＜２−１．再現情報生成装置＞
図２は、本実施形態による再現情報生成装置３の構成の一例を示すブロック図である。図２に示すように、再現情報生成装置３は、制御部３０、通信部３１、コンテンツ記憶部３２、および臨場感再現情報記憶部３３を有する。

（制御部）
制御部３０は、再現情報生成装置３の各構成を制御する。制御部３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、および不揮発性メモリを備えたマイクロコンピュータにより実現される。具体的には、制御部３０は、図２に示すように、コンテンツ解析部３０ａ、コンテンツ付加情報抽出部３０ｂ、天候・場所詳細情報検索部３０ｃ、被写体認識部３０ｄ、感性値取得部３０ｅ、臨場感再現情報生成部３０ｆ、および記憶制御部ｇとしても機能する。

コンテンツ解析部３０ａは、動画等のコンテンツデータに対して画像解析や音声解析を行う。コンテンツデータは、コンテンツ記憶部３２に記憶されていてもよいし、通信部３１を介して受信してもよい。コンテンツ解析部３０ａは、画像特徴量抽出部３０１と、振動特徴量抽出部３０２と、音声特徴量抽出部３０３を有する。

画像特徴量抽出部３０１は、画像解析に基づいて画像特徴量を抽出する機能を有する。振動特徴量抽出部３０２は、画像解析に基づいて振動特徴量を抽出する機能を有する。また、音声特徴量抽出部３０３は、音声解析に基づいて音声特徴量を抽出する機能を有する。これらの特徴量は、動画のフレーム毎に抽出してもよいし、所定フレーム数毎に抽出してもよい。コンテンツ解析部３０ａは、解析結果に基づいて各抽出部により抽出した特徴量を、被写体認識部３０ｄ、および臨場感再現情報生成部３０ｆに出力する。

コンテンツ付加情報抽出部３０ｂは、コンテンツデータから付加情報を抽出する。付加情報とは、当該コンテンツデータの生成時（動画の場合は撮影時）に記憶された情報であって、例えばコンテンツデータの日付情報（動画の場合は撮影日）、時刻情報、位置情報（緯度経度、高度）、その他コンテンツデータ生成時に取得されたセンサ情報等が挙げられる。付加情報は、コンテンツデータにメタデータとして埋め込まれていることを想定する。コンテンツ付加情報抽出部３０ｂは、抽出した付加情報を、天候・場所詳細情報検索部３０ｃ、および臨場感再現情報生成部３０ｆに出力する。

天候・場所詳細情報検索部３０ｃは、コンテンツ付加情報抽出部３０ｂにより抽出されたコンテンツデータの日時、場所に基づいて、コンテンツ生成場所の天候詳細情報や場所詳細情報を検索する。天候詳細情報としては、天候、温度、湿度、風向き、風力、雨量、等が挙げられる。場所詳細情報としては、駅名、施設名、地名、建物種類等が挙げられる。天候・場所詳細情報検索部３０ｃは、このような天候・場所の詳細情報を、ネットワーク上の検索サーバ（逆ジオコーディングシステムや、イベントカレンダーサーバ等）にアクセスして検索する。また、天候・場所詳細情報検索部３０ｃは、検索した天候・場所詳細情報を、臨場感再現情報生成部３０ｆに出力する。

被写体認識部３０ｄは、コンテンツ解析部３０ａの画像特徴量抽出部３０１により抽出された画像特徴量、または音声特徴量抽出部３０３により抽出された音声特徴量に基づいて、コンテンツデータの被写体を認識する。例えば、被写体認識部３０ｄは、コンテンツデータが動画である場合、フレームの画像特徴量に基づいて、フレーム中における被写体（人物、モノ）の種類、画像中の位置、領域、輪郭を認識する。被写体認識部３０ｄは、認識した被写体の情報を感性値取得部３０ｅに出力する。

感性値取得部３０ｅは、コンテンツデータ生成者（動画の場合は撮影者）と被写体との感性値を取得する。具体的には、感性値取得部３０ｅは、生成者のオブジェクトＩＤと、被写体のオブジェクトＩＤとに基づいて感性サーバ２に対して感性値の取得を要求する。感性サーバ２から生成者と被写体との間のインタラクションの評価が送信された場合、感性値取得部３０ｅは、当該インタラクション評価に基づいて、被写体に対する生成者の相対的感性値（被写体に対して生成者がどのような気持ちを抱いているかを示す指標）を算出する。なお感性値の算出は感性サーバ２で行われてもよく、この場合、感性値取得部３０ｅは、感性サーバ２から通信部３１を介して、算出された感性値を取得する。

生成者のオブジェクトＩＤは、コンテンツデータにメタデータとして埋め込まれ、コンテンツ付加情報抽出部３０ｂにより抽出されてもよい。被写体のオブジェクトＩＤは、コンテンツデータにメタデータとして埋め込まれ、コンテンツ付加情報抽出部３０ｂにより抽出されてもよい。若しくは、被写体のオブジェクトＩＤは、被写体認識部３０ｄにより認識された被写体の特徴量に基づいて取得されてもよい。被写体特徴量とオブジェクトＩＤとの対応付けは、再現情報生成装置３の記憶部（不図示）に記憶されていてもよいし、感性サーバ２のオブジェクトＤＢ２２に記憶されていてもよい。感性値取得部３０ｅは、被写体特徴量を感性サーバ２に送信して被写体のオブジェクトＩＤを取得することが可能である。感性値取得部３０ｅは、取得した感性値を臨場感再現情報生成部３０ｆに出力する。

臨場感再現情報生成部３０ｆは、コンテンツデータを再生する際に、コンテンツデータの臨場感を鑑賞者（ユーザ）に与えるための情報を生成する。臨場感再現情報生成部３０ｆは、生成した臨場感再現情報を記憶制御部３０ｇに出力する。ここで、本実施形態により生成される臨場感再現情報について、図３〜図５を参照して具体的に説明する。

図３は、本実施形態による臨場感再現情報の生成について説明する図である。図３に示すように、例えばコンテンツデータがボートで川下りをしている動画の場合、臨場感再現情報生成部３０ｆは、コンテンツ解析部３０ａによる画像解析で抽出された画像特徴量から、振動情報、速度情報、乗り物の種類等を臨場感再現情報として生成する。振動情報は、例えば映像のフレーム間差分を利用して撮影者が撮影時に受けている振動を抽出することが可能である。また、動画から振動成分を取り除いた後、画面全体のパンニングやズーミングの量によって上下左右前後の移動速度が推定できる。振動の情報は上下左右前後方向の平行移動速度と回転角速度の時間変化で表される。振動情報を予め測定しておいた様々な乗り物や動きの振動情報と比較することで、波形そのもの（生データ）ではなく、同じような波形を出力する乗り物や動きを表す抽象的なデータ（例えば乗り物の種類、動きの種類）に置き換えることができる。なお波形の特徴は揺れの大きさ、周波数、時間的な変化量のパターンなどで取得し得る。

また、臨場感再現情報生成部３０ｆは、コンテンツ付加情報抽出部３０ｂにより抽出された動画撮影の日時・位置情報に基づいて天候・場所詳細情報検索部３０ｃによりインターネットを経由して所定のサーバやシステムに問い合わせて検索された動画撮影日の気候（環境）や撮影場所の名称などを、臨場感再現情報としてもよい。また、映像解析と組み合わせることで、天候・場所詳細情報をより正確に取得することができる。例えばＧＰＳ（Global Positioning System）による位置情報は常に正確とは限らず、例えば川辺にいることになっていても実際は水上でボートに乗っている場合もあるし、川岸でバーベキューをしている場合もあるので、映像解析結果を参照することで、境界線近くにおける正確な場所の推定が可能となる。

また、臨場感再現情報生成部３０ｆは、コンテンツ解析部３０ａによる音声や画像の解析結果（音声特徴量、画像特徴量）から、場所の詳細や、場の雰囲気、盛り上がり等を臨場感再現情報として生成してもよい。例えば、臨場感再現情報生成部３０ｆは、音声特徴量から、室内なのか、屋外なのか、また室内の場合には部屋の大きさや材質等、場所の詳細の推定や、場の雰囲気、盛り上がりの推定が可能である。また、映像解析と組み合わせることで、これらの推定の精度を上げることができる。

また、臨場感再現情報生成部３０ｆは、コンテンツ解析部３０ａによる解析結果、天候・場所詳細情報検索部３０ｃにより検索された天候・場所の詳細情報、およびコンテンツ付加情報抽出部３０ｂにより抽出された付加情報に基づいて、コンテンツデータ生成時のロケーション・行動を推定し、臨場感再現情報としてもよい。コンテンツデータ生成時のロケーション・行動とは、屋内／屋外、場所、温度、明るさ、行動内容等であって、これらが臨場感再現情報として生成される。

また、臨場感再現情報生成部３０ｆは、感性値取得部３０ｅにより取得された感性値に基づいて、各被写体に対する撮影者の感性値を臨場感再現情報として生成してもよい。

図４は、図３に示す対象動画から生成される臨場感再現情報のデータ構造の一例を示す図である。本実施形態による臨場感再現情報生成部３０ｆは、特定のフォーマットに整形したデータ構造を作成する。具体的には、図４に示すように、所定の格納形式に沿ったフォーマットに従って、イベント（すなわちコンテキスト）毎のデータ列が生成される。なお、格納される臨場感再現情報には、抽象的な再現情報の他、生データを付随させてもよい。

例えば振動の臨場感再現情報としては、動画コンテンツの0m0sec〜8m13secに、振動方向：横回転±２０°、振動強さ：１．８Ｇといった振動の生データと、何により生じている振動（動き）であるかを示す抽象的なデータ「乗り物種類：小型ボート」が生成される。かかる振動の臨場感再現情報は、振動特徴量抽出部３０２により抽出された振動特徴量に基づいて生成され得る。

また、気候の臨場感再現情報としては、動画コンテンツの0m0sec〜8m13secに、天気、気温、湿度、風力といった天候の生データと、これらの天候データから推定される快適さを示す抽象的なデータ「快適さ：暖かく心地よい」が生成される。かかる気候の臨場感再現情報は、天候・場所詳細情報検索部３０ｃにより検索された天候・場所の詳細情報に基づいて生成され得る。また、快適さは、動画撮影者により手動で入力された主観的な快適さに基づいて生成してもよい。このような主観データが入力されないことを考慮して、天気、気温、湿度、風力等の気候の生データが付随情報として付けられる。

また、ロケーション・状態の臨場感再現情報としては、動画コンテンツの0m0sec〜8m13secに、緯度経度、高度といった地理的生データと、これらの地理情報から検索される抽象的なロケーションデータ「場所名：○○川、場所の属性：川、屋内外：屋外」と、そこで行われていることを示す抽象的な状態データ「状態：川下り」が生成される。かかるロケーション・状態の臨場感再現情報は、コンテンツ付加情報抽出部３０ｂにより抽出された付加情報や、天候・場所詳細情報検索部３０ｃにより検索された天候・場所の詳細情報に基づいて生成され得る。また、場所の属性とは、川、海、市街地、郊外、舗装道路、砂利道等の地理的な属性や、デパート、体育館、学校、駅などの構造物の属性が相当する。

また、照明・明るさの臨場感再現情報としては、動画コンテンツの0m0sec〜8m13secに、色、明るさの生データと、これらの情報から推定される抽象的な明るさの種類や属性データ「種類：太陽光、属性：点灯」が生成される。かかる照明・明るさの臨場感再現情報は、コンテンツ付加情報抽出部３０ｂにより抽出された付加情報や、天候・場所詳細情報検索部３０ｃにより検索された天候・場所の詳細情報に基づいて生成され得る。明るさの属性は、「点灯」以外に「点滅」や「回転」などが挙げられる。

また、場の雰囲気の臨場感再現情報としては、動画コンテンツの4m32sec〜4m43secに、抽象的な場の雰囲気データ「Positive:5.2、盛り上がり：8」が生成される。かかる場の雰囲気の臨場感再現情報は、コンテンツ解析部３０ａによる解析結果（特に画像特徴量、音声特徴量）や、被写体認識部３０ｄによる被写体認識結果に基づいて生成され得る。場の雰囲気は、Positive/Negativeの度合いや、盛り上がり／静かの度合い等が挙げられる。

以上、図３に示す対象動画から生成される臨場感再現情報の一例について説明した。なお、１つのコンテンツデータに対して同一種類のイベントを複数付与してもよい。途中で天候が変わった場合等に対応するためである。

また、図４に示す臨場感再現情報は、対象動画コンテンツ全体に対して生成されているが、フレーム毎に生成されてもよい。また、図４ではイベント毎に臨場感再現情報のデータ列を付与するフォーマットを示したが、本実施形態による臨場感再現情報のフォーマットは図４に示す例に限定されず、例えば動画コンテンツの簡易的な時系列データにおいて、大きく変化のあった時間帯に対象の臨場感再現情報を付加するフォーマットであってもよい。

また、図４に示す臨場感再現情報は一例であって、さらに様々な種類のイベントの臨場感再現情報が生成され得る。以下、図５を参照して説明する。

図５は、本実施形態による臨場感再現情報の他の例を示す図である。図５に示す「振動」、「気候」、「ロケーションと状態」、「照明・明るさ」、「場の雰囲気」の臨場感再現情報については、図４を参照して内容説明を行ったため、ここでの説明は省略する。以下、その他の臨場感再現情報について説明する。

図５に示すように、匂いの臨場感再現情報としては、動画コンテンツの12m34sec〜22m43secに、何の匂いであるかを示す抽象的なデータ「種類：バラ」が生成される。かかる匂いの臨場感再現情報は、コンテンツ解析部３０ａによる解析結果（特に画像特徴量）や、天候・場所詳細情報検索部３０ｃの検索結果に基づいて生成され得る。また、同一時刻に複数の匂いがある場合、匂いイベントを複数付与してもよい。

また、感性値の臨場感再現情報としては、動画コンテンツの12m34sec〜22m43secに、被写体に対する撮影者の相対的感性値から推定される抽象的な主観表現「奥さん：大切、赤ちゃん：とても大切、可愛い、愛情大、姑：苦手、ソファ：お気に入り」が生成される。かかる感性値の臨場感再現情報は、感性値取得部３０ｅにより取得された感性値に基づいて生成され得る。また、抽象的な主観表現の他、取得された各被写体に対する撮影者の相対的感性値を生データとして付随させてもよい。

また、重さの臨場感再現情報としては、動画コンテンツの6m02sec〜6m17secに、被写体が持っている物の抽象的な重さの表現「魚：両手でしっかり持つ必要がある重さ」が生成される。かかる重さの臨場感再現情報は、コンテンツ解析部３０ａによる解析結果と被写体認識部３０ｄによる被写体認識結果に基づいて生成され得る。例えば、臨場感再現情報生成部３０ｆは、画像特徴量に基づいて被写体が持っている物体を認識し、認識した物体の一般的な重さ情報と認識した物体の大きさから、当該物体の重さを推定してもよいし、音声特徴量に基づいて、例えば「重い！」という被写体の発声から重さを推定してもよい。また、抽象的な重さの表現の他、推定された物の重さの値を生データとして付随させてもよい。

また、手触りの臨場感再現情報としては、動画コンテンツの6m02sec〜6m17secに、被写体が持っている物の手触りの抽象的な表現「魚：ぬるぬる」が生成される。かかる手触りの臨場感再現情報は、コンテンツ解析部３０ａによる解析結果と被写体認識部３０ｄによる被写体認識結果に基づいて生成され得る。例えば、臨場感再現情報生成部３０ｆは、画像特徴量に基づいて被写体が持っている物体を認識し、認識した物体の一般的な手触り情報から、当該物体の手触りを推定してもよいし、音声特徴量に基づいて、例えば「ぬるぬるだ！」という被写体の発声から手触りを推定してもよい。

また、温度の臨場感再現情報としては、動画コンテンツの6m02sec〜6m17secに、被写体が持っている物の温度の抽象的な表現「魚：生ぬるい」が生成される。かかる温度の臨場感再現情報は、コンテンツ解析部３０ａによる解析結果と被写体認識部３０ｄによる被写体認識結果に基づいて生成され得る。例えば、臨場感再現情報生成部３０ｆは、画像特徴量に基づいて被写体が持っている物体を認識し、認識した物体の一般的な温度情報から、当該物体の温度を推定してもよいし、音声特徴量に基づいて、例えば「生ぬるいなー」という被写体の発声から持っている物の温度を推定してもよい。

また、味の臨場感再現情報としては、動画コンテンツの21m59sec〜23m31secに、被写体が食べている料理の抽象的な味の表現「焼き魚：しょっぱい」が生成される。かかる味の臨場感再現情報は、コンテンツ解析部３０ａによる解析結果と被写体認識部３０ｄによる被写体認識結果に基づいて生成され得る。例えば、臨場感再現情報生成部３０ｆは、画像特徴量に基づいて被写体が食べている料理を認識し、認識した料理の一般的な味情報から、当該料理の味を推定してもよいし、音声特徴量に基づいて、例えば「しょっぱいなー」という被写体の発声から食べている料理の味を推定してもよい。また、コンテンツ付加情報抽出部３０ｂにより、動画撮影時に取得された味情報（料理を食べる時に使う器具に設けられた味センサの検知情報等）が動画コンテンツのメタデータから抽出された場合、当該味情報に基づいて、抽象的な味の表現が付与されてもよい。

記憶制御部３０ｇは、臨場感再現情報生成部３０ｆにより生成された臨場感再現情報を、コンテンツ記憶部３２に記憶されているコンテンツデータに埋め込んでもよいし、コンテンツデータに紐付けて別ファイルとして臨場感再現情報記憶部３３に保存してもよい。

（通信部）
通信部３１は、外部装置とデータの送受信を行う。例えば通信部３１は、感性サーバ２と接続し、オブジェクトＩＤに対応するインタラクション評価を受信する。また、通信部３１は、再生制御装置３５と接続し、臨場感再現情報が埋め込まれたコンテンツデータ、またはコンテンツデータと当該コンテンツデータに紐付けられた臨場感再現情報を送信する。

（コンテンツ記憶部）
コンテンツ記憶部３２は、コンテンツデータを格納する。格納するコンテンツデータは、通信部３１により受信したものであってもよい。

（臨場感再現情報記憶部）
臨場感再現情報記憶部３３は、コンテンツデータに紐付けて別ファイルとして生成された臨場感再現情報を格納する。

＜２−２．感性サーバ＞
図６は、本実施形態による感性サーバ２の構成の一例を示すブロック図である。図６に示すように、感性サーバ２は、通信部２１、制御部２０、オブジェクトＤＢ２２、および感性情報ＤＢ２４を有する。

通信部２１は、ネットワークを介して再現情報生成装置３と接続し、再現情報生成装置３から指定された対象ユーザのオブジェクトＩＤに紐付けられたインタラクション評価を返信する。また、通信部２１は、各オブジェクト（人物、物体）に装着／搭載されたセンシングデバイス（不図示）から、インタラクション情報を受信する。

制御部２０は、感性サーバ２の各構成を制御する。また、制御部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。さらに、本実施形態による制御部２０は、インタラクション記憶制御部２０ａ、評価部２０ｂ、オブジェクト管理部２０ｃ、および関連オブジェクト検索部２０ｄとして機能する。

インタラクション記憶制御部２０ａは、オブジェクトに装着／搭載されたセンシングデバイスから受信したインタラクション情報を感性情報ＤＢ２４に記憶するよう制御する。センシングデバイスは、湿度センサ、温度センサ、振動センサ、赤外線センサ、カメラ、触覚センサ、またはジャイロセンサ等により実現され、オブジェクトに対する他のオブジェクトからのインタラクションを検知する。

評価部２０ｂは、感性情報ＤＢ２４に記憶したインタラクションの評価を行う。インタラクションの評価方法については特に限定しないが、例えば評価部２０ｂは、インタラクションを受けたオブジェクトにとって好ましいインタラクションである程高く評価し、具体的には−１．０〜１．０の点数を付ける。評価結果は、インタラクションに対応付けて感性情報ＤＢ２４に記憶される。

オブジェクト管理部２０ｃは、オブジェクトＤＢ２２に記憶されているオブジェクトに関する情報の登録、変更、削除等の管理を行う。

関連オブジェクト検索部２０ｄは、要求されたオブジェクトＩＤとの間にインタラクションが発生した他のオブジェクトを関連オブジェクトとしてオブジェクトＤＢ２２や感性情報ＤＢ２４から検索する。

オブジェクトＤＢ２２は、各オブジェクトのオブジェクトＩＤを格納する記憶部である。また、オブジェクトＤＢ２２には、オブジェクトＩＤの他、商品名、商品種類、メーカー名（またはＩＤ）、型番、製造日時等の、オブジェクトに関する多々の情報が格納されている。

感性情報ＤＢ２４は、オブジェクト間のインタラクションや、インタラクションの評価を格納する記憶部である。

＜２−３．再生制御装置＞
続いて、再生側の構成について説明する。再生側では、再現情報生成装置３により生成された臨場感再現情報に記述された抽象的な振動情報、例えば「乗り物の種類：ボート」「動き：激しい」などの抽象的な情報に基づいて、再生側が備えるデバイスの特性に応じて自由に再現方法を決めることができる。これにより、振動等の生データをそのまま再現するための専用のデバイスを備えていなくとも、臨場感をユーザに与えることができる。

図７は、本実施形態による再生制御装置３５の構成の一例を示すブロック図である。図７に示すように、再生制御装置３５は、コンテンツ取得部３５１、臨場感再現情報取得部３５２、臨場感再現効果特定部３５３、画像エフェクト生成部３５４、音声エフェクト生成部３５５、デバイス制御部３５６、デコード部３５７、およびコンテンツ出力制御部３５８を有する。

コンテンツ取得部３５１は、再生するコンテンツデータを取得する。例えば、コンテンツ取得部３５１は、クラウド上（例えば再現情報生成装置３のコンテンツ記憶部３２）からコンテンツデータを取得する。

臨場感再現情報取得部３５２は、再生するコンテンツデータに対応する臨場感再現情報を取得する。例えば、臨場感再現情報は、コンテンツデータに埋め込まれている場合と、コンテンツデータとは別ファイルとしてクラウド上に保存されている場合とが想定される。臨場感再現情報取得部３５２は、コンテンツ取得部３５１により取得されたコンテンツデータに埋め込まれているメタデータから臨場感再現情報を取得したり、クラウド上（例えば再現情報生成装置３の臨場感再現情報記憶部３３）から当該コンテンツデータに紐付けられた臨場感再現情報を取得したりする。

臨場感再現効果特定部３５３は、臨場感再現情報取得部３５２により取得された臨場感再現情報と、再生側が備えるデバイスの特性とに応じて、どのデバイスで臨場感（臨場感再現情報で表されているコンテキスト）の再現を行うかを特定する。また、臨場感再現効果特定部３５３は、特定したデバイスでどのような再現方法にするかを決定する。

ここで、再生側が備えるデバイスの一例について、図８、図９を参照して説明する。図８は、本実施形態による屋内用の再生デバイス（アクチュエータ）の一例を説明する図である。図８に示すように、屋内でコンテンツデータを再生する場合、再生制御装置３５は、画像および音声を出力するテレビジョン装置３６、エアーコンディショナー装置３７ａ、香り噴霧装置３７ｂ、振動装置３７ｃ、照明装置３７ｄ、または送風装置３７ｅを利用し得る。

例えば臨場感再現情報に記述された気候を再現する場合、臨場感再現効果特定部３５３は、エアーコンディショナー装置３７ａや送風装置３７ｅにより、実際に風を起こしたり、温度を調整したりすることができる。また、臨場感再現効果特定部３５３は、臨場感再現情報に記述された匂いを再現する場合は香り噴霧装置３７ｂを制御し、振動を再現する場合は振動装置３７ｃを制御し、ロケーションや照明・明るさを再現する場合は照明装置３７ｄを制御することができる。

また、デバイスは図８に示す例に限定されず、例えば加湿装置、味覚提示装置、触覚提示装置、または重さ提示装置等を備えることも想定される。

再生側に備えられるデバイスの特性、性能、種類は各家庭で異なる場合も想定されるため、臨場感再現効果特定部３５３は、臨場感再現情報を直接再現できるデバイスがない場合、他の表現方式に変換して提示することも可能である。

図９は、本実施形態によるウェアラブルタイプの再生デバイスの一例を説明する図である。図９に示すように、ウェアラブルタイプの再生デバイスとしては、例えばＨＭＤ（Head Mounted Display）により実現される再生制御装置３５’と、ウェアラブルデバイス３８ａ、３８ｂが挙げられる。

再生制御装置３５’は、図７に示す各構成を有し、さらに表示出力機能、音声出力機能、温度制御機能、前庭電気刺激機能（傾き錯覚）、香り噴霧機能等を有する。また、ウェアラブルデバイス３８ａは、図９に示すように腕輪型であって、例えば温度制御機能、筋肉締め付け機能、振動機能、電気刺激機能等を有する。また、ウェアラブルデバイス３８ｂは、図９に示すように胴体に装着され、例えば温度制御機能、筋肉締め付け機能、振動機能、電気刺激機能等を有する。なお、上述した温度制御機能は、例えばペルチェ素子により実現される。

ウェアラブルタイプの再生デバイスの場合、屋外でも利用できる点で屋内用の再生デバイスに比べて利便性が高いが、屋内用の再生デバイスに比べると機能が十分でない場合も想定される。例えば、ウェアラブルデバイス３８ａ、３８ｂにより振動を与える場合、腕や腰等に対して部分的に弱い刺激しか与えられず、臨場感再現情報に記述されているイベントを十分に再現できない場合が考えられる。この場合、臨場感再現効果特定部３５３は、例えばウェアラブルデバイス３８ａ、３８ｂにより振動を与えると共に、後述する画像エフェクト生成部３５４や音声エフェクト生成部３５５によりエフェクトを加えることで、より十分に臨場感を与えることができる。

画像エフェクト生成部３５４は、臨場感再現効果特定部３５３の指示に従って、臨場感を再現するための画像エフェクトを生成する。

音声エフェクト生成部３５５は、臨場感再現効果特定部３５３の指示に従って、臨場感を再現するための音声エフェクトを生成する。

デバイス制御部３５６は、臨場感再現効果特定部３５３の指示に従って各種デバイスを制御し、ユーザ（鑑賞者）に臨場感を与える。例えば、デバイス制御部３５６は、エアーコンディショナー装置３７ａ、香り噴霧装置３７ｂ、振動装置３７ｃ、照明装置３７ｄ、または送風装置３７ｅの少なくともいずれかを制御する。

デコード部３５７は、コンテンツ取得部３５１により取得されたコンテンツデータをデコードし、コンテンツ出力制御部３５８に出力する。

コンテンツ出力制御部３５８は、デコード部３５７でデコードされたコンテンツデータを出力する。具体的には、例えばコンテンツ出力制御部３５８は、コンテンツデータが動画の場合、テレビジョン装置３６から再生するよう制御する。また、コンテンツ出力制御部３５８は、画像エフェクト生成部３５４により生成された画像エフェクトと共に動画を再生したり、音声エフェクト生成部３５５により生成された音声エフェクトを出力したりする。

ここで、本実施形態による臨場感再現のための画像エフェクトの一例を図１０および図１１に示す。図１０左に示すエフェクト画像４０では、効果線と擬態語により速度感が表現され、図１０右に示すエフェクト画像４１では、効果線により振動している様子が表現されている。また、図１１左に示すエフェクト画像４２では、効果線と擬態語により熱気が表現され、図１１右に示すエフェクト画像４３では、蜃気楼（逃げ水）により同じく熱気が表現されている。なお図１０、図１１に示す画像エフェクトは一例であって、この他、例えば擬声語を用いて場の盛り上がりを表現してもよい、陽炎により熱気（暑さ）を表現してもよい。

以上、本実施形態による再生制御装置３５の構成について具体的に説明した。続いて、本実施形態による臨場感再現システム１の再現情報生成処理および再生処理について順次説明する。

＜＜３．動作処理＞＞
＜３−１．再現情報生成処理＞
図１２は、本実施形態による臨場感再現情報生成処理を示すフローチャートである。図１２に示すように、まず、ステップＳ１０３において、再現情報生成装置３の画像特徴量抽出部３０１は、コンテンツの画像解析を行って画像特徴量を抽出する。

次に、ステップＳ１０６において、音声特徴量抽出部３０３は、コンテンツの音声解析を行って音声特徴量を抽出する。

次いで、ステップＳ１０９において、振動特徴量抽出部３０２は、コンテンツの画像解析を行ってフレーム差分から振動特徴量を抽出する。

次に、ステップＳ１１２において、臨場感再現情報生成部３０ｆは、振動特徴量抽出部３０２により抽出された振動特徴量に基づいて、何の振動であるのか、乗り物の種類や動きを推定する。

次いで、ステップＳ１１５において、コンテンツ付加情報抽出部３０ｂは、コンテンツの付加情報を抽出する。コンテンツの付加情報とは、コンテンツ生成時に付加された情報であって、例えば撮影日付、撮影位置情報、レンズ情報、露出情報、その他センサ情報等が挙げられる。

続いて、ステップＳ１１８において、天候・場所詳細情報検索部３０ｃは、コンテンツ付加情報抽出部３０ｂにより抽出された付加情報に含まれる日付、位置情報に基づいて、撮影時の天気、気温、湿度、風力等の天候詳細情報を取得する。

また、ステップＳ１２１において、天候・場所詳細情報検索部３０ｃは、コンテンツ付加情報抽出部３０ｂにより抽出された付加情報に含まれる位置情報に基づいて、撮影場所の名称や属性等の場所詳細情報を取得する。

次いで、ステップＳ１２４において、臨場感再現情報生成部３０ｆは、コンテンツ解析部３０ａにより抽出された各特徴量や、コンテンツ付加情報抽出部３０ｂにより抽出された付加情報、天候・場所詳細情報検索部３０ｃにより検索された天候・場所の詳細情報に基づいて、総合的な撮影状況を推定する。具体的には、ロケーション（屋内／屋外判定、場所属性等）、状態（ショッピング、川下り等）、場の雰囲気（盛り上がり等）、照明・明るさ等が推定される。

次に、ステップＳ１２７において、感性値取得部３０ｅは、被写体認識部３０ｄによる認識結果に基づいて、被写体の感性値を取得する。被写体の感性値の取得については、図１３を参照して詳述する。

次いで、ステップＳ１３０において、臨場感再現情報生成部３０ｆは、臨場感再現情報の格納形式に沿ったフォーマットで、イベント毎のデータ列を臨場感再現情報として生成する。

そして、ステップＳ１３３において、臨場感再現情報生成部３０ｆは、生成した臨場感再現情報を、コンテンツに埋め込む、またはコンテンツと紐付けて別ファイルとして保存する。

続いて、上記Ｓ１２７に示す感性値取得処理について図１３を参照して説明する。図１３は、本実施形態による感性値取得処理を示すフローチャートである。図１３では、コンテンツデータが動画の場合について説明する。

まず、ステップＳ１４３において、感性値取得部３０ｅは、動画の先頭フレームを取得する。

次に、ステップＳ１４６において、感性値取得部３０ｅは、被写体認識部３０ｄから対象フレームの被写体認識結果を取得する。被写体認識部３０ｄは、対象フレームの画像解析により抽出された画像特徴量に基づいて、フレーム内の被写体認識を行う。例えば、図１４に示すように、撮影者Ｐが撮影を行って生成した動画のフレーム４５を画像解析し、被写体Ｓ１、Ｓ２、Ｓ３を認識する。

次いで、ステップＳ１４９において、感性値取得部３０ｅは、被写体認識部３０ｄにより認識された対象フレームの被写体に対応するオブジェクトＩＤを取得する。被写体のオブジェクトＩＤは、例えば動画に埋め込まれたメタデータから取得されてもよいし、再現情報生成装置３が有するオブジェクトＩＤ記憶部（不図示）から取得されてもよい。

なお、被写体のオブジェクトＩＤが取得できなかった場合（Ｓ１４９において／Ｎｏ）、ステップＳ１５２において、感性値取得部３０ｅは、撮影者のオブジェクトＩＤおよび被写体の属性を感性サーバ２に送信する。被写体の属性は、被写体認識結果により得られるものであって、例えば被写体が人物であるかモノであるか、人物である場合は性別、推定年齢、顔特徴等、モノである場合は色、大きさ、種別等が挙げられる。

次いで、ステップＳ１５５において、感性値取得部３０ｅは、感性サーバ２から被写体のオブジェクトＩＤの候補を受信する。感性サーバ２では、関連オブジェクト検索部２０ｄにより、例えば撮影者がインタラクションを起こした履歴のあるオブジェクトから、被写体の属性と同じまたは似ている関連オブジェクトを検索し、そのオブジェクトＩＤを候補として再現情報生成装置３に返信する。

次に、感性サーバ２から返信されたオブジェクトＩＤ候補が複数ある場合（Ｓ１５８において「Ｙｅｓ」）、ステップＳ１６１において、感性値取得部３０ｅは、複数の候補から被写体に対応するオブジェクトＩＤを１つ選択する。オブジェクトＩＤの選択は、ユーザが行ってもよいし、インタラクション履歴に基づいて自動で行ってもよい。例えば、車の玩具のオブジェクトＩＤが３つ返信された場合、そのうち撮影者からのインタラクションを最も多く受けている車の玩具のオブジェクトＩＤを選択する。

続いて、ステップＳ１６４において、感性値取得部３０ｅは、被写体のオブジェクトＩＤを感性サーバ２に送信する。

次に、ステップＳ１６７において、感性値取得部３０ｅは、撮影者と被写体間の相対的感性値を取得し、取得した相対的感性値をフレーム内の被写体の位置に紐付けて記憶する。影者と被写体間の相対的感性値は、感性サーバ２において算出されてもよいし、感性値取得部３０ｅが、感性サーバ２から受信した撮影者と被写体間のインタラクション評価に基づいて算出してもよい。

次いで、対象フレーム内に他の被写体がある場合（Ｓ１７０において「Ｙｅｓ」）、上記ステップＳ１４９からの処理が繰り返される。これにより、例えば図１４に示す被写体Ｓ１（妻、オブジェクトＩＤ：105384093）、被写体Ｓ２（子供、オブジェクトＩＤ：15122014）、および被写体Ｓ３（玩具、オブジェクトＩＤ：101960）の各々に対する撮影者Ｐ（父親、オブジェクトＩＤ：312039）の感情や気持ちを示す相対的感性値が取得される。

ここで、感性値取得部３０ｅによる相対的感性値の算出について、図１５、図１６を参照して具体的に説明する。図１５は、本実施形態によるインタラクション評価のデータ例を示す図である。図１５に示すインタラクション評価は、感性値取得部３０ｅにより指定された撮影者のオブジェクトＩＤと各被写体のオブジェクトＩＤに基づいて、感性サーバ２から返信されたインタラクション評価である。

例えば、図１５に示すデータ例の１行目では、撮影者Ｐ（オブジェクトＩＤ：312039）が、2013年12月24日に、被写体Ｓ１の妻（オブジェクトＩＤ：105384093）に対して行った「アクセサリーを贈与した」というインタラクションに対して評価0.7が付与されている。また、２行目では、被写体Ｓ１の妻（オブジェクトＩＤ：105384093）が、2013年12月24日に、撮影者Ｐ（オブジェクトＩＤ：312039）から行われた「アクセサリーを贈与された」というインタラクションに対して評価1.00が付与されている。このように、一方のオブジェクトから他方のオブジェクトに対して行われたインタラクションは、一方のオブジェクト側と、他方のオブジェクト側の両方で検知され得る。

検知されるインタラクション種類は、上記贈与の他、図１５に示すように、保管、スキンシップ、会話、遊ぶ等が挙げられる。

贈与のインタラクションは、例えばクレジットカードの使用履歴やネットショッピングの購入履歴、メールやソーシャルメディアの書き込み内容、部屋やオブジェクトに備えられたカメラによる撮像画像の認識、部屋やオブジェクトに備えられたマイクロホンによる音声の認識等から検知される。贈与のインタラクション評価は、感性サーバ２の評価部２０ｂにより行われる。例えば、評価部２０ｂは、贈与した人の普段の購入履歴や収入に対するプレゼント金額の割合に応じた奮発度、店員との会話認識に基づくプレゼントに対するポジティブ度、ネット購入時におけるＷｅｂページの閲覧時間やページの遷移から品物を選ぶまで時間に基づく真剣度等を抽出し、これらの値に各々所定の重み付けを行い、-1.0〜1.0に正規化して評価値とする。

また、保管のインタラクションは、例えばオブジェクトの位置や、移動履歴、部屋やオブジェクトに備えられたカメラによる撮像画像の認識等から検知される。評価部２０ｂは、保管場所、保管場所の湿度、大気中の埃の分量等に重み付けを行い、-1.0〜1.0に正規化して評価値とする。

また、スキンシップのインタラクションは、例えば互いのウェアラブルデバイスを経由した人体通信による接触判定、カメラによる画像認識、両者の加速度センサの動きパターン等に基づいて検知される。評価部２０ｂは、笑顔認識による笑顔度、音声認識による笑い声や会話の内容から取得した各種指標に重み付けを行い、-1.0〜1.0に正規化して評価値とする。

また、会話のインタラクションは、例えば音声認識、声のトーン、メールやソーシャルメディアへの書き込み内容の解析（構文解析、意味解析）等に基づいて検知される。評価部２０ｂは、会話に含まれる単語、文脈、声のトーン等を利用して会話内容のポジティブ／ネガティブ度を判定し、単語の数や会話内容によって評価の総和が変わるため、最終的に-1.0〜1.0に正規化して評価値とする。

また、遊びのインタラクションは、例えば玩具に設けられた近接無線通信チップと子供に装着された近接無線通信チップとの接続確認や、両者の加速度センサの動き等に基づいて検知される。接続確認と動きからは「遊ぶ」の認識ができない場合、他方のオブジェクトが玩具であれば、玩具は遊ぶためのものであるため、「遊ぶ」というインタラクションと認識される。評価部２０ｂは、両者のインタラクション時間の計測結果と撮像画像や音声による笑顏検出や笑い声検出に基づいて、子供の玩具に対する評価値を求める。また、玩具側から見た場合の評価値は、加速度センサのデータを元にどれくらい乱暴に扱われたか、本来の玩具としての使い方を逸脱していたかを計測して求められてもよい。なお、乳幼児が玩具を乱暴に扱っている場合も、玩具から見た場合の評価値は低くなるが、最終的な感性値を求める段階で、相手が乳幼児である場合、玩具から見た評価値の重み付け係数を小さくしたり、補正したりすることで、評価値を調整することが可能である。

次いで、感性値取得部３０ｅにより各被写体に対する撮影者の感情や気持ちを示す相対的感性値を算出する場合、感性値取得部３０ｅは、図１５に示すインタラクション評価のデータから、撮影者と被写体間のインタラクション評価だけを抜き出す。図１６は、図１５に示すインタラクション評価のデータ例から感性値算出に用いるデータを抜き出したデータ例を示す図である。図１６に示すように、撮影者（オブジェクトＩＤ：312039）と、各被写体Ｓ１〜Ｓ３（オブジェクトＩＤ：105384093、15122014、101960）間のインタラクション評価が抜き出される。

感性値取得部３０ｅは、撮影者と被写体との相対的感性値を、例えば対象被写体の評価の総和、または対象被写体のインタラクション種類毎に重み係数を乗じてから対象被写体の評価を加算した総和、若しくは総和をインタラクション数で割った平均値により求められる。

次に、図１３に戻り、ステップＳ１７３において、感性値取得部３０ｅは、フレーム全体の感性値を算出する。具体的には、例えばフレーム内の各被写体の相対的感性値の総和、または総和を被写体数で割った平均により求められる。

次いで、ステップＳ１７６において、感性値取得部３０ｅは、対象フレームの感性値（各被写体の相対的感性値、およびフレーム全体の感性値）を記憶する。

そして、ステップＳ１７９において、処理対象のフレームを一つ進め、まだ新しいフレームがある場合は（Ｓ１８２において「Ｙｅｓ」）、上記ステップＳ１４６からの処理が繰り返される。

以上、本実施形態による感性値の算出について説明した。なお、以上説明した実施形態では、各被写体と撮影者間の相対的感性値を算出したが、本開示はこれに限定されず、必要に応じて各被写体の絶対的感性値を算出してもよいし、被写体同士の相対的感性値を算出してもよい。

各被写体の絶対的感性値は、被写体の全てのインタラクション評価を加算した総和、またはインタラクション種類毎に重み係数を乗じてから対象被写体の全ての評価を加算した総和、若しくは総和をインタラクション数で割った平均値により求められる。

また、被写体同士の相対的感性値は、被写体間のインタラクション評価の総和、またはインタラクション種類毎に重み係数を乗じてから被写体間のインタラクション評価を加算した総和、若しくは総和をインタラクション数で割った平均値により求められる。

＜３−２．再生処理＞
続いて、本実施形態による再生側の動作処理について、図１７を参照して説明する。図１７は、本実施形態による再生処理を示すフローチャートである。

図１７に示すように、まず、ステップＳ２０３において、再生制御装置３５の臨場感再現情報取得部３５２は、コンテンツ取得部３５１により取得したコンテンツデータに臨場感再現情報が埋め込まれているか否かを判断する。

次に、コンテンツデータに臨場感再現情報が埋め込まれている場合（Ｓ２０３において「Ｙｅｓ」）、ステップＳ２０６において、臨場感再現情報取得部３５２は、コンテンツデータから臨場感再現情報を取得する。

一方、コンテンツデータに臨場感再現情報が埋め込まれていない場合（Ｓ２０３において「Ｎｏ」）、ステップＳ２０９において、臨場感再現情報取得部３５２は、サーバ上（クラウド）に、対応する臨場感再現情報が別ファイルとして保存されているか否かを判断する。

サーバ上に臨場感再現情報がある場合（Ｓ２０９において「Ｙｅｓ」）、ステップＳ２１２において、臨場感再現情報取得部３５２は、サーバ上（クラウド）から臨場感再現情報を取得する。

一方、サーバ上に臨場感再現情報がない場合（Ｓ２０９において「Ｎｏ」）、ステップＳ２１５において、再生制御装置３５は、エラー通知、あるいは臨場感再現無しでコンテンツデータの再生制御を行う。

次いで、ステップＳ２１８において、コンテンツ出力制御部３５８は、コンテンツ取得部３５１により取得され、デコード部３５７でデコードされた動画（コンテンツデータの一例）の再生を開始する。具体的には、コンテンツ出力制御部３５８は、テレビジョン装置３６（図８参照）を制御して動画の再生を行う。また、コンテンツ出力制御部３５８は、動画の再生中に、次に説明する臨場感再現処理を行う。

具体的には、臨場感再現効果特定部３５３により、臨場感再現情報取得部３５２で取得された臨場感再現情報に基づいて、臨場感再現のためにデバイス制御が必要と判断された場合（ステップＳ２２１において「Ｙｅｓ」）、ステップＳ２２４において、デバイス制御部３５６は、デバイスの制御を行う。臨場感再現効果特定部３５３は、臨場感再現情報に記述された抽象的な臨場感を再現するための再現方法を、各デバイスの特性に応じて決定する。デバイス制御部３５６は、臨場感再現効果特定部３５３の指示に従って、エアーコンディショナー装置３７ａ、香り噴霧装置３７ｂ、振動装置３７ｃ、照明装置３７ｄ、または送風装置３７ｅ等を制御して、臨場感の再現（小型ボートに乗っているような振動、小型ボート上で受ける風、暖かく心地よい気候、屋外のような明るさ、太陽光の再現、川辺の匂い等）を行う。

次に、臨場感再現効果特定部３５３により、臨場感再現情報取得部３５２で取得された臨場感再現情報に基づいて、臨場感再現のために画像エフェクトが必要と判断された場合（ステップＳ２２７において「Ｙｅｓ」）、ステップＳ２３０において、画像エフェクト生成部３５４は画像エフェクトの生成を行い、コンテンツ出力制御部３５８は生成された画像エフェクトを出力する（図１０および図１１参照）。

次いで、臨場感再現効果特定部３５３により、臨場感再現情報取得部３５２で取得された臨場感再現情報に基づいて、臨場感再現のために音声エフェクトが必要と判断された場合（ステップＳ２３３において「Ｙｅｓ」）、ステップＳ２３６において、音声エフェクト生成部３５５は音声エフェクトの生成を行い、コンテンツ出力制御部３５８は生成された音声エフェクトをテレビジョン装置３６のスピーカから出力する。

そして、動画再生が最後に到達するまで、上記Ｓ２２１〜Ｓ２２３の処理が繰り返される（Ｓ２３９）。また、上述した臨場感再現制御は、臨場感再現情報が紐付けられているフレーム再生時や、図４に示すフォーマットの場合は「Ｔｉｍｅ」により紐付けられている動画再生時間時のタイミングで行われる。

また、本実施形態による臨場感の再現では、臨場感再現情報に記述された感性値に応じた演出を行うことも可能である。臨場感再現情報には、上述したように、被写体に対する撮影者の感情や気持ちを示す相対的感性値が含まれている。本実施形態では、再生側において当該相対的感性値に応じた演出を行うことで、撮影者が被写体に対してどのような思いを持っているのか、撮影者の気持ちになって鑑賞するといった新たな鑑賞体験を提供することができる。以下、このような感性値に応じた再生処理について図１８を参照して説明する。

図１８は、本実施形態による感性値を利用した再生処理を示すフローチャートである。図１８に示すように、まず、ステップＳ３０３において、臨場感再現効果特定部３５３は、現在の再生フレーム全体の感性値Ｔを取得する。再生フレーム全体の感性値Ｔは、臨場感再現情報取得部３５２により取得された臨場感再現情報から取得し得る。再生フレーム全体の感性値Ｔは、図１３のステップＳ１７３で説明した対象フレーム全体の感性値に相当する。

次に、ステップＳ３０６において、臨場感再現効果特定部３５３は、前のフレーム全体の感性値Ｔ’と、現在のフレーム全体の感性値Ｔとの差が所定値以上であるか否かを判断する。

次いで、感性値の差が所定値以上である場合（Ｓ３０６において「Ｙｅｓ」）、ステップＳ３０９において、臨場感再現効果特定部３５３は、デバイス制御の最低適用時間を越えているか否かを判断する。デバイス制御が短い時間で切り替えられてしまうことも回避するためである。

次に、デバイス制御の最低適用時間を越えている場合（Ｓ３０９において「Ｙｅｓ」）、ステップＳ３１２において、臨場感再現効果特定部３５３は、感性値Ｔの値に応じたデバイス制御を行うようデバイス制御部３５６に指示する。例えば、振動の発生、スモークの噴出、照明の変更等の、感性値に応じた物理的な演出を行う。

次いで、ステップＳ３１５において、臨場感再現効果特定部３５３は、画像エフェクトの最低適用時間を越えているか否かを判断する。画像エフェクトが短い時間で切り替えられてしまうことも回避するためである。

次に、画像エフェクトの最低適用時間を越えている場合（Ｓ３１５において「Ｙｅｓ」）、ステップＳ３１８において、臨場感再現効果特定部３５３は、感性値Ｔの値に応じた画像全体のエフェクトを適用するよう、画像エフェクト生成部３５４に指示する。画像全体のエフェクトとは、例えば画像のトーン全体を明るくしたり、画像の色合いを少し赤くしたりする演出である。

次いで、ステップＳ３２１において、臨場感再現効果特定部３５３は、ＢＧＭ（Background Music）の最低適用時間を越えているか否かを判断する。ＢＧＭが短い時間で切り替えられてしまうことも回避するためである。

次に、ＢＧＭの最低適用時間を越えている場合（Ｓ３２１において「Ｙｅｓ」）、ステップＳ３２４において、臨場感再現効果特定部３５３は、感性値Ｔの値に応じたＢＧＭを再生するよう、音声エフェクト生成部３５５に指示する。例えば、感性値Ｔが高い場合は楽しく明るいＢＧＭを再生し、感性値Ｔが低い場合は暗いＢＧＭを再生する。

続いて、ステップＳ３２７において、臨場感再現効果特定部３５３は、現在の再生フレームから認識される被写体毎の感性値と、各被写体の画面上の位置（すなわちフレーム内での位置）を取得する。被写体毎の感性値は、臨場感再現情報に含まれる、各被写体に対する撮影者の相対的感性値である。

次に、ステップＳ３３０において、臨場感再現効果特定部３５３は、被写体の種類と感性値に応じた画像エフェクトや重畳画像を選択するよう画像エフェクト生成部３５４に指示し、さらに、選択された画像エフェクトを被写体に対応する位置に表示するようコンテンツ出力制御部３５８に指示する制御する。ここで、感性値に応じて各被写体に対応するよう配置される画像エフェクトの一例について図１９を参照して説明する。

臨場感再現効果特定部３５３は、図１９左に示すフレーム４５から認識される被写体Ｓ１、Ｓ２、Ｓ３の相対的感性値に応じて、図１９右に示すフレーム４６のように、画像エフェクトＥ１〜Ｅ３を、各被写体Ｓ１〜Ｓ３に対応して配置する。例えば被写体Ｓ１が母親、被写体Ｓ２が子供、被写体Ｓ３が玩具である場合、家族用や子供用の画像エフェクトが選択される。また、相対的感性値が高い場合、楽しく明るい画像エフェクトが選択される。また、被写体に対応した配置とは、例えば被写体の周囲に、被写体と重ならないよう配置することが挙げられる。これにより、撮影者がどのような気持ちで撮影を行っていたのか、撮影時はどのような雰囲気であったかなどが、新たに追加された演出で表され、撮影時の臨場感が再現される。

なお、上記Ｓ３１２、Ｓ３１８、Ｓ３２４、Ｓ３３０では、感性値の値に応じた演出（デバイス制御、画像エフェクト、ＢＧＭ）を行う旨を説明したが、本実施形態はこれに限定されず、臨場感再現情報に、被写体の相対的感性値から推定された抽象的な撮影者の主観表現が記述されていた場合、当該主観表現に応じた演出を行うことも可能である。

そして、動画終了位置まで再生されていない場合（ステップＳ３３３において「Ｎｏ」）、上記Ｓ３０３〜Ｓ３３０の処理が繰り返される。

以上、本実施形態による再現処理について具体的に説明した。

＜＜４．まとめ＞＞
上述したように、本開示の実施形態による臨場感再現システムでは、抽象化した臨場感再現情報を生成することで、再生側のデバイスの特性に合わせた再現を行うことを可能とする。

具体的には、コンテンツ解析により動画から視聴覚以外の感覚に関する情報を抽出し、その情報を元に抽象化した臨場感再現情報を生成し、当該抽象化した臨場感再現情報に基づいて、再生側が備えるデバイスの特性に応じた臨場感の再現を行い、視聴覚刺激以外のさまざまな刺激を与える映像再生が可能となる。例えば、撮影者が受けていたと推定される振動、体感温度、風、匂い等の情報（臨場感再現情報）を生成し、生成した情報に基づいて、動画鑑賞時に部屋全体、椅子、ＨＭＤ等に設けられた様々なデバイスを用いて撮影時の臨場感を再現することができる。これにより、コンテンツをより楽しい物にするだけでなく、撮影者と鑑賞者間の情報量が増加することで、より深いコミュニケーションが可能となる。また、自分自身が映像を振り返る場合においても、想い出想起の助けとなる。

また、臨場感再現情報には、被写体と撮影者の感性的な繋がりを示す指標である感性値も含まれ、映像再生を行う際に感性値に応じた演出を行うことで被写体に対する撮影者の気持ちや感情を再現し、鑑賞者に新しい臨場感を与えることができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述した感性サーバ２、再現情報生成装置３、または再生制御装置３５に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、感性サーバ２、再現情報生成装置３、または再生制御装置３５の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、図１に示す臨場感再現システム１では、再現情報生成装置３と再生制御装置３５とを別の装置として説明したが、本実施形態はこれに限定されず、再現情報生成装置３と再生制御装置３５とが一体化した装置であってもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
コンテンツデータから抽出された特徴に応じて、抽象化された臨場感再現情報を生成する生成部と、
前記生成部により生成された臨場感再現情報を、前記コンテンツデータに関連付けて記憶するよう制御する記憶制御部と、
を備える、情報処理システム。
（２）
前記生成部は、前記コンテンツデータから抽出された特徴に応じて、当該コンテンツデータの生成時のコンテキストを推定し、推定したコンテキストを表す臨場感再現情報を生成する、前記（１）に記載の情報処理システム。
（３）
前記生成部は、前記コンテンツデータとしての画像データの撮影時における撮影者の動きを推定する、前記（２）に記載の情報処理システム。
（４）
前記生成部は、前記撮影者の動きを起こさせている乗り物の種類、または移動手段を推定する、前記（３）に記載の情報処理システム。
（５）
前記生成部は、前記コンテキストとしての感性値を推定し、当該感性値を表す抽象化された臨場感再現情報を生成する、前記（２）に記載の情報処理システム。
（６）
前記生成部は、前記コンテンツデータを生成したユーザ、または前記コンテンツデータに含まれるオブジェクトに応じて、前記感性値を推定する、前記（５）に記載の情報処理システム。
（７）
前記コンテンツデータには、当該コンテンツデータが生成された日時、および場所を表す情報が紐づけられ、
前記生成部は、前記日時、および場所を表す情報に対応する環境を前記臨場感再現情報として生成し、
前記記憶制御部は、前記環境を表す臨場感再現情報を、前記コンテンツデータに関連付けて記憶するよう制御する、前記（１）に記載の情報処理システム。
（８）
コンテンツデータに基づいて生成された臨場感再現情報を取得する取得部と、
前記臨場感再現情報が表すコンテキストを再現するための効果を特定する効果特定部と、
前記特定された効果を付与して前記コンテンツデータを再生する再生制御部と、
を備える、情報処理システム。
（９）
前記取得部は、前記コンテンツデータと一体化された前記臨場感再現情報を前記コンテンツデータから抽出して取得、または前記コンテンツデータとは別に保存された前記臨場感再現情報をネットワーク上から受信して取得する、前記（８）に記載の情報処理システム。
（１０）
前記再生制御部は、
前記特定された効果に対応する刺激を発生するデバイス制御部と；
前記コンテンツデータを出力する出力制御部と；を有する、前記（８）または（９）に記載の情報処理システム。
（１１）
前記再生制御部は、
前記特定された効果に対応する加工を行う加工部と；
前記加工が施されたコンテンツデータを出力する出力制御部と；を有する、前記（８）または（９）に記載の情報処理システム。
（１２）
コンテンツデータから抽出された特徴に応じて、抽象化された臨場感再現情報を生成する生成部と、
前記臨場感再現情報が表すコンテキストを再現するための効果を特定する効果特定部と、
前記特定された効果を付与して前記コンテンツデータを再生する再生制御部と、
を備える、情報処理システム。
（１３）
コンテンツデータから抽出された特徴に応じて、抽象化された臨場感再現情報を生成することと、
前記生成された臨場感再現情報を、前記コンテンツデータに関連付けて記憶するよう制御することと、
を含む、制御方法。
（１４）
コンピュータを、
コンテンツデータに基づいて生成された臨場感再現情報を取得する取得部と、
前記臨場感再現情報が表すコンテキストを再現するための効果を特定する効果特定部と、
前記特定された効果を付与して前記コンテンツデータを再生する再生制御部と、
として機能させるためのプログラムが記憶された、記憶媒体。

１ 臨場感再現システム
２ 感性サーバ
２０ 制御部
２０ａ インタラクション記憶制御部
２０ｂ 評価部
２０ｃ オブジェクト管理部
２０ｄ 関連オブジェクト検索部
２１ 通信部
２２ オブジェクトＤＢ
２４ 感性情報ＤＢ
３ 再現情報生成装置
３０ 制御部
３０ａ コンテンツ解析部
３０ｂ コンテンツ付加情報抽出部
３０ｃ 天候・場所詳細情報検索部
３０ｄ 被写体認識部
３０ｅ 感性値取得部
３０ｆ 臨場感再現情報生成部
３０ｇ 記憶制御部
３１ 通信部
３２ コンテンツ記憶部
３３ 臨場感再現情報記憶部
３５ 再生制御装置
３５１ コンテンツ取得部
３５２ 臨場感再現情報取得部
３５３ 臨場感再現効果特定部
３５４ 画像エフェクト生成部
３５５ 音声エフェクト生成部
３５６ デバイス制御部
３５７ デコード部
３５８ コンテンツ出力制御部

Claims (8)

1. コンテンツデータの画像解析または音声解析により抽出された特徴量データを抽象化した臨場感再現情報を生成する生成部と、
   前記生成された前記臨場感再現情報と、再現側が備えるデバイスの特性とに応じて、前記臨場感再現情報が表すコンテキストを再現するための効果を特定する効果特定部と、
   前記特定された効果を前記デバイスで付与して前記コンテンツデータを再生する再生制御部と、
   を備え、
   前記生成部は、前記コンテンツデータの被写体に対する撮影者の相対的な感性値を抽象化して前記臨場感再現情報を生成する、情報処理システム。
2. 前記臨場感再現情報は、前記コンテンツデータから抽出された前記特徴量データに基づいて推定される、振動、気候、ロケーション・行動、照明・明るさ、匂い、場の雰囲気、感性値、重さ、手触り、温度、および味、の少なくともいずれかのコンテキストを抽象的に表現するものである、請求項１に記載の情報処理システム。
3. 前記生成部は、前記コンテンツデータの画像解析結果から、撮影者の動きデータを抽出し、抽出した動きデータに基づいて、前記撮影者が乗車している乗り物の種類、または前記撮影者の移動手段を推定し、前記臨場感再現情報とする、請求項１または２に記載の情報処理システム。
4. 前記コンテンツデータには、当該コンテンツデータが生成された日時および場所を表す情報が付加され、
   前記生成部は、前記日時および場所を表す情報に基づいて取得した環境情報を、前記臨場感再現情報とする、請求項１〜３のいずれか１項に記載の情報処理システム。
5. 前記再生制御部は、前記特定された効果に対応する刺激を発生するデバイスの制御と共に、前記コンテンツデータを出力する制御と、を行う、請求項１〜４のいずれか１項に記載の情報処理システム。
6. 前記再生制御部は、前記特定された効果に対応する加工を前記コンテンツデータに対して行い、前記加工したコンテンツデータを出力するよう制御する、請求項１〜５のいずれか１項に記載の情報処理システム。
7. プロセッサが、
   コンテンツデータの画像解析または音声解析により抽出された特徴量データを抽象化した臨場感再現情報を生成することと、
   前記コンテンツデータの被写体に対する撮影者の相対的な感性値を抽象化して前記臨場感再現情報を生成することと、
   前記生成された前記臨場感再現情報と、再現側が備えるデバイスの特性とに応じて、前記臨場感再現情報が表すコンテキストを再現するための効果を特定することと、
   前記特定された効果を前記デバイスで付与して前記コンテンツデータを再生することと、
   を含む、制御方法。
8. コンピュータを、
   コンテンツデータの画像解析または音声解析により抽出された特徴量データを抽象化した臨場感再現情報を生成する生成部と、
   前記生成された前記臨場感再現情報と、再現側が備えるデバイスの特性とに応じて、前記臨場感再現情報が表すコンテキストを再現するための効果を特定する効果特定部と、
   前記特定された効果を前記デバイスで付与して前記コンテンツデータを再生する再生制御部と、
   として機能させるためのプログラムが記憶された、記憶媒体であって、
   前記生成部は、前記コンテンツデータの被写体に対する撮影者の相対的な感性値を抽象化して前記臨場感再現情報を生成する、記憶媒体。
   

Images