WO2017047173A1

WO2017047173A1 - 情報処理装置及び情報処理方法

Info

Publication number: WO2017047173A1
Application number: PCT/JP2016/067432
Authority: WO
Inventors: 徹増田
Original assignee: ソニー株式会社
Priority date: 2015-09-14
Filing date: 2016-06-10
Publication date: 2017-03-23
Also published as: JP6753405B2; JPWO2017047173A1; US11132099B2; CN108028964A; US20210389847A1; US20180232108A1; CN108028964B

Abstract

リアリティーを損なうことなく、且つ、視聴者への健康被害を軽減する自由視点映像コンテンツの表示切り替えを行なう。　オムニウィンドウは、メイン・コンテンツから各サブ・コンテンツをそれぞれ覗き見るすべてのウィンドウを統合したウィンドウであるとともに、それぞれのサブ・コンテンツの自由視点空間への入り口でもある。視聴者は、オムニウィンドウを経由して異なる自由視点空間の間を行き来することができ、このような空間内の探索動作に応じて自由視点映像が切り替わる。さらに、オムニウィンドウに、視聴者の体感サイズの変換機能を付与することができる。

Description

情報処理装置及び情報処理方法

　本明細書で開示する技術は、コンテンツの表示制御を行なう情報処理装置及び情報処理方法に係り、特に、自由視点映像コンテンツの表示切り替えを行なう情報処理装置及び情報処理方法に関する。

　視聴者が視点位置や視線方向を自由に選択できる自由視点映像技術に関する研究開発が進められている。例えばスポーツやコンサート中継などのエンターテインメント系の映像や、無形文化財や教育コンテンツなどを、自由視点映像技術の主な適用分野として挙げることができる。最近では、現実空間を仮想的に探訪するサービスにも、自由視点映像技術が適用され始めている。

　自由視点映像を、例えば、視聴者が頭部に装着して使用するヘッド・マウント・ディスプレイを用いて視聴することができる。視聴者の頭部の動作を検出した結果に基づいて視点位置や視線方向を変化させながら自由視点映像を表示することで、映し出されている仮想的な空間を実際に探索しているような体験を視聴者に与えることができる。

　例えば、実際に表示される表示画像よりも広角の広角画像を撮像する撮像系を備え、回転角センサーで検出されたユーザーの頭部の位置情報に基づいて、ユーザーが見るべき表示画像を切り出して表示する頭部装着型表示システムについて提案がなされている（例えば、特許文献１を参照のこと）。また、ユーザーの頭部の姿勢変化をジャイロなどで検出して、表示する映像の移動量を算出するヘッド・マウント・ディスプレイについて提案がなされている（例えば、特許文献２を参照のこと）。

　今後、自由視点映像技術の利用が拡大していくと、数多の自由視点映像コンテンツが提供され、自由視点映像を視聴中に、他の自由視点映像への切り替えを行なう機会も増えてくることが想定される。

　ＴＶ受像機では、リモコンのチャンネル・ボタンの操作などに応じて画面に表示される番組が切り換わるのが一般的である。しかしながら、自由視点映像を瞬間的に切り替えると、視聴者の視界全体が変化することになり、視覚的な刺激が強すぎることになる。明暗などの視環境が急激に変化すると、視聴者に健康被害を与えかねない。

　また、コンテンツの技術分野において、表示コンテンツの切り替えを行なう技術は広く採り入れられている。例えば、視聴可能な動画コンテンツを複数のサムネイルで表し、クリックされた動画コンテンツを再生する装置について提案がなされている（例えば、特許文献３を参照のこと）。

　自由視点映像においても、同様の手法によりコンテンツの切り替えを行なうことは可能である。しかしながら、ヘッド・マウント・ディスプレイなどで自由視点映像を仮想体験している最中に他のコンテンツのサムネイルを表示させると、リアリティーが阻害される。また、サムネイルの選択に応じて自由視点映像が瞬間的に切り替わると、視環境が急激に変化するため、視聴者への健康被害が懸念される（同上）。付言すれば、他の自由視点映像の表示に切り替える際に、どの視点位置及び視線方向、並びに再生時刻で映像を視聴するかを指定する必要がある、という問題もある。

特開平８－１９１４１９号公報特開２０１３－２２５０４２号公報特開２００７－２０８３４０号公報

　本明細書で開示する技術の目的は、自由視点映像コンテンツの表示制御を好適に行なうことができる、優れた情報処理装置及び情報処理方法を提供することにある。

　本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、
　現在表示しているメイン・コンテンツの自由視点空間からサブ・コンテンツを覗き見るオムニウィンドウの表示を制御するオムニウィンドウ表示制御部と、
　視聴者が自由視点空間内で前記オムニウィンドウを通過する動作に応答して、前記サブ・コンテンツをメイン・コンテンツに切り替えるコンテンツ切替部と、
を具備する情報処理装置である。

　本明細書で開示する技術の第２の側面によれば、第１の側面に係る情報処理装置は、現在表示しているメイン・コンテンツから表示切替先の候補となる前記サブ・コンテンツを選択するサブ・コンテンツ検索部をさらに備えている。

　本明細書で開示する技術の第３の側面によれば、第２の側面に係る情報処理装置の前記サブ・コンテンツ検索部は、画面内の情報によるフィルター、視聴者によるフィルター、又は前記メイン・コンテンツの視聴状況によるフィルターのうち少なくとも１つをフィルタリング条件にして、サブ・コンテンツを選択するように構成されている。

　本明細書で開示する技術の第４の側面によれば、第１の側面に係る情報処理装置は、表示切替先のサブ・コンテンツ内における視点位置及び視線方向、並びに再生時刻を決定するサブ・コンテンツ内表示位置決定部をさらに備えている。

　本明細書で開示する技術の第５の側面によれば、第１の側面に係る情報処理装置は、前記メイン・コンテンツ上に前記オムニウィンドウを表示する位置とサイズを決定するオムニウィンドウ表示位置決定部をさらに備えている。

　本明細書で開示する技術の第６の側面によれば、第５の側面に係る情報処理装置の前記オムニウィンドウ表示制御部は、前記オムニウィンドウ表示位置決定部が決定した表示位置及び表示サイズで前記メイン・コンテンツの自由視点空間内に前記オムニウィンドウを配置して、前記オムニウィンドウ内のウィンドウ越しに覗いて見ることができる前記サブ・コンテンツの自由視点映像を表示させるように構成されている。

　本明細書で開示する技術の第７の側面によれば、第１の側面に係る情報処理装置は、前記メイン・コンテンツの自由視点空間内における視聴者の移動に従って前記オムニウィンドウの表示を更新するオムニウィンドウ表示更新部をさらに備えている。

　本明細書で開示する技術の第８の側面によれば、第１の側面に係る情報処理装置の前記コンテンツ切替部は、前記サブ・コンテンツをメイン・コンテンツに切り替える際に、視聴者の体感サイズの変換を行なうように構成されている。

　また、本明細書で開示する技術の第９の側面は、
　現在表示しているメイン・コンテンツの自由視点空間からサブ・コンテンツを覗き見るオムニウィンドウを表示するオムニウィンドウ表示ステップと、
　視聴者が自由視点空間内で前記オムニウィンドウを通過する動作に応答して、前記サブ・コンテンツをメイン・コンテンツに切り替えるコンテンツ切替ステップと、
を有する情報処理方法である。

　本明細書で開示する技術によれば、自由視点映像コンテンツの表示制御を好適に行なうことができる、優れた情報処理装置及び情報処理方法を提供することができる。

　なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

　本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、自由視点映像視聴システム１００の構成例を模式的に示した図である。図２は、自由視点映像視聴システム１００の構成例を示した図である。図３は、自由視点映像視聴システム１００の構成例を示した図である。図４は、自由視点映像を視聴する仕組みを説明するための図である。図５は、自由視点映像コンテンツを例示した図である。図６は、自由視点映像視聴装置２０３にメイン・コンテンツが表示された様子を示した図である。図７は、メイン・コンテンツ７００内にオムニウィンドウ７１０を表示した例を示した図である。図８は、メイン・コンテンツ内に設けられたオムニウィンドウ越しに後方のサブ・コンテンツを眺めている状況を上空から俯瞰した様子を示した図である。図９は、メイン・コンテンツ内に設けられたオムニウィンドウ越しに後方のサブ・コンテンツを眺めている状況を上空から俯瞰した様子を示した図である。図１０は、視聴者が、メイン・コンテンツの自由空間内で、オムニウィンドウ１０１０にさらに接近してきたときの表示例を示した図である。図１１は、視聴者が、メイン・コンテンツの自由視点空間内で視点位置を移動させてオムニウィンドウの窓枠を通過する様子を示した図である。図１２は、メイン・コンテンツとサブ・コンテンツの表示が切り替わった例を示した図である。図１３は、オムニウィンドウを用いた自由視点映像コンテンツの表示切り替えの画面遷移例を示した図である。図１４は、体感サイズの変換機能を備えたオムニウィンドウを用いてコンテンツの表示切り換えを行なう例（等身大の場合）を概念的に示した図である。図１５は、体感サイズの変換機能を備えたオムニウィンドウを用いてコンテンツの表示切り換えを行なう例（体感サイズを伸長する場合）を概念的に示した図である。図１６は、体感サイズの変換機能を備えたオムニウィンドウを用いてコンテンツの表示切り換えを行なう例（体感サイズを縮小する場合）を概念的に示した図である。図１７は、視聴者の体感サイズの変換機能を用いた自由視点映像コンテンツの表示切り替えの画面遷移例を示した図である。図１８は、オムニウィンドウを用いた自由視点映像コンテンツの表示切り替えを実現する自由視点映像視聴装置１８００の機能的構成例を示した図である。図１９は、オムニウィンドウを用いた自由視点映像コンテンツの表示切り替えを実現するための処理手順を示したフローチャートである。図２０は、サブ・コンテンツ選択時のフィルタリング条件をまとめた図である。図２１は、サブ・コンテンツ内の再生位置を決定するための処理手順を示したフローチャートである。

　以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

　図１には、自由視点映像視聴システム１００の構成例を模式的に示している。自由視点映像は、視点位置や視線方向が異なった多視点の映像に基づいて生成される。高い臨場感を得るために、カメラで実世界を撮影した実写映像を用いて自由視点映像が制作される。また、高品質な自由視点映像を得るには、密なカメラ間隔でシーンを撮影する必要があるが、現実的にはカメラの台数は有限であり、カメラ間隔も装置の大きさの制限がある。そこで、カメラで撮影されない視点位置や視線方向の映像を、視点映像補間技術を用いて生成するのが一般的である。図示の自由視点映像視聴システム１００は、実世界を撮影する多数（Ｎ台とする）のカメラ１０１－１、１０１－２、…、１０１－Ｎから取得される多視点映像を基に視点映像補間技術により自由視点映像を生成するとともに、視聴者が希望する視点位置及び視線方向からの映像を表示出力する。

　各カメラ１０１－１、１０１－２、…、１０１－Ｎは、定点カメラの他、車両や飛行体（遠隔操作が可能な無人航空機を含む）などの移動体に搭載されたカメラ、個人的に持ち歩くディジタルカメラであってもよい。あるいは、カメラ１０１－１、１０１－２、…、１０１－Ｎのうち少なくとも一部は、ヘッド・マウント・ディスプレイに取り付けられて外部を撮影するカメラでもよい。

　映像入力部１０３は、通信インターフェース（ＩＦ）部１０２を介して、遠隔地に設置された各カメラ１０１－１、１０１－２、…、１０１－Ｎの撮影映像を、視点位置及び視線方向などの撮影位置情報、撮影時刻とともに入力する。そして、自由視点映像生成部１０４は、各カメラ１０１－１、１０１－２、…、１０１－Ｎの撮影映像を、撮影時刻を同期させながら、視点映像補間技術により視点補間して自由視点映像を生成する。但し、本明細書で開示する技術は、特定の視点映像補間技術に限定されない。

　映像符号化部１０５は、自由視点映像生成部１０４で生成した自由視点映像を符号化圧縮して、映像蓄積部１０６に蓄積する。映像蓄積部１０６は、例えばハード・ディスクのような大容量記憶装置で構成される。

　再生位置指定部１１１は、視聴者が視聴する自由視点映像の再生位置、具体的には視点位置及び視線方向、さらには撮影時刻を指定する。再生位置指定部１１１は、例えば、ＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）部１１２に対する視聴者の操作や視聴者の音声入力を通じて、再生位置情報を指定する。あるいは、再生位置指定部１１１は、視聴者の頭部の位置及び姿勢を追跡する頭部動作追跡部１１２の検出結果に基づいて、再生映像の視点位置及び視線方向を指定する。

　映像読出部１１４は、再生位置指定部１１１で指定された視点位置及び視線方向、時刻に該当する自由視点映像を、映像蓄積部１０６から読み出す。映像復号部１１５は映像蓄積部１０６から読み出した圧縮映像を復号し、映像表示部１１６は復号された映像を表示出力する。

　自由視点映像視聴システム１００は、単一の装置として構成される他、図２に示すように自由視点映像制作装置２０１と映像サーバー２０２と自由視点映像視聴装置２０３という３つのカテゴリーの装置の組み合わせで構成される場合も想定される。

　また、実際の運用では、図３に示すように、単一又は複数の映像制作事業者によって制作された数多の自由視点映像コンテンツが映像サーバー３０１に格納され、通信伝送路又は放送伝送路などの伝送路３０２を介して、映像サーバー３０１から各視聴者の自由視点映像視聴装置３０３－１、３０３－２、…、３０３－Ｎへ、自由視点映像コンテンツが配信される。自由視点映像視聴装置３０３－１…は、視聴者が頭部に装着するヘッド・マウント・ディスプレイや、スマートフォンなどの多機能情報端末、ゲーム機、ＴＶ受像機などのモニター・ディスプレイやプロジェクターなどである。

　映像サーバー２０２又は３０１には、スポーツやコンサート中継などのエンターテインメント系、あるいは、無形文化財や教育といった、さまざまなジャンルの自由視点映像コンテンツが格納されている。

　自由視点映像は、視聴者が視点位置及び視線方向を自由に移動させながら視聴できる映像である。図４には、自由視点映像Ａを視聴する仕組みを簡単に示している。視聴者４０１が、参照番号４０２で示すような経路で視点位置を移動させているとする。視聴者４０１が指定した現在の視点位置を常に自由視点空間の中心Ｃに配置し、その視点位置４０３から視線方向４０４に見える視野の映像Ａ１を画面に表示する。そして、視聴者４０１が視点位置や視線方向を変えると、これに追従して、画面に表示される映像も変化する。

　最近では、インターネットなどの各種メディアを通じて数多の自由視点映像コンテンツが提供されるようになってきている。視聴者は、ある自由視点映像を視聴中に、他の自由視点映像への切り替えを行ないたくなることも想定される。

　また、コンテンツの技術分野において、表示コンテンツの切り替えを行なう技術は広く採り入れられている。例えば、視聴可能な動画コンテンツを複数のサムネイルで表し、クリックされた動画コンテンツを再生する装置について提案がなされている（例えば、特許文献３を参照のこと）。しかしながら、自由視点映像においても、同様の手法によりコンテンツの切り替えを行なうと、サムネイルの表示により自由視点映像のリアリティーが阻害される。また、サムネイルの選択に応じて自由視点映像が瞬間的に切り替わると、視環境が急激に変化するため、視聴者への健康被害が懸念される。また、他の自由視点映像の表示に切り替える際に、どの視点位置及び視線方向、並びに再生時刻で映像を視聴するかを指定する必要がある。

　そこで、本明細書では、リアリティーを損なうことなく、且つ、視聴者への健康被害を軽減する自由視点映像コンテンツの表示切り替えを行なう技術として、視聴者が現在存在している自由視点空間（すなわち、現在視聴し、若しくは表示されている自由視点映像）から他のあらゆる自由視点空間を覗き見る（若しくは、他の自由視点空間とを仕切る）窓を統合する「オムニウィンドウ（ＯｍｎｉＷｉｎｄｏｗ）」を提案する。視聴者は、オムニウィンドウを経由して異なる自由視点空間の間を行き来することができ、このような空間内の探索動作に応じて自由視点映像が切り替わる。

　自由視点映像視聴システム１００において視聴可能な自由視点映像コンテンツは無数にあることが想定されるが、ここでは簡素化のため、図５（Ａ）～（Ｃ）に示す３種類のコンテンツ間で、オムニウィンドウを利用したコンテンツの表示切り替え操作について説明する。

　まず、自由視点映像視聴装置２０３において、図６に示すように、図５（Ａ）に相当する自由視点映像がメイン・コンテンツ６００として表示されているとする。メイン・コンテンツ６００の表示中に、視聴者から他の自由視点映像への切り替えが指示されると、自由視点映像視聴装置２０３では、切替先の候補となるサブ・コンテンツの検索が実行される。

　ここでは、サブ・コンテンツとして、図５（Ｂ）及び図５（Ｃ）の２種類の自由視点映像コンテンツが検索されたとする。自由視点映像視聴装置２０３は、各サブ・コンテンツについて、メイン・コンテンツと表示を切り替えた場合の、サブ・コンテンツ内における再生位置、すなわち視点位置及び視線方向、並びに再生時刻を、所定のアルゴリズム（後述）に基づいて決定する。

　そして、自由視点映像視聴装置２０３は、オムニウィンドウの表示位置と表示サイズを決定すると、表示中のメイン・コンテンツ内のその表示位置及びサイズでオムニウィンドウを表示する。

　オムニウィンドウは、メイン・コンテンツから各サブ・コンテンツをそれぞれ覗き見るすべてのウィンドウを統合したウィンドウである。図７には、メイン・コンテンツ７００内にオムニウィンドウ７１０を表示した例を示している。メイン・コンテンツ７００は、図５（Ａ）に相当する自由視点映像であるものとする。一方、サブ・コンテンツは図５（Ｂ）及び図５（Ｃ）の２種類の自由視点映像であるものとする。オムニウィンドウ７１０は、メイン・コンテンツ７００からの表示切替先の候補となった各サブ・コンテンツを覗き見る１以上のウィンドウ７１１、７１２からなる。各ウィンドウ７１１、７１２は、それぞれのサブ・コンテンツの自由視点空間への入り口でもある。なお、図７では２つのサブ・コンテンツが検索され、２つのウィンドウ７１１、７１２が表示された例を示しているが、切替先の候補となるサブ・コンテンツが３以上検索された場合には、オムニウィンドウは各サブ・コンテンツを覗き見るための３以上のウィンドウで構成されることになる。

　各サブ・コンテンツの自由視点空間は、メイン・コンテンツの自由視点空間の後方に配置される。各ウィンドウ７１１、７１２には、それぞれ後方に配置された各サブ・コンテンツの自由視点空間を、上記の決定された再生位置（すなわち、視点位置及び視線方向、並びに再生時刻）で眺めたときの風景が表示される。

　視聴者は、各ウィンドウ７１１、７１２越しに、他の自由視点空間の風景を眺めるという感覚で、切替先の各候補となるサブ・コンテンツの映像を観察することができる。したがって、オムニウィンドウは、メイン・コンテンツよりも後方に配置されたサブ・コンテンツを覗き見るために開けられたウィンドウであり、サブ・コンテンツのサムネイルをメイン・コンテンツ７００の表示画面に単純に貼り付けたものとは相違する。

　図８には、視聴者８００が、メイン・コンテンツの表示８０１中に設けられたオムニウィンドウ８０２越しに、後方のサブ・コンテンツ（自由視点空間）８０３を眺めている状況を上空から俯瞰した様子を示している。但し、図面の簡素化のため、オムニウィンドウ８０２は１つのウィンドウのみからなり、１つのサブ・コンテンツ８０３だけを覗き見ているものとする。図示のように、視聴者８００は、正面方向８１０からオムニウィンドウ８０２の外を眺めると、正面方向８１０からウィンドウ８０２越しに見えるサブ・コンテンツ（自由視点空間）８０３の風景（図中、点線で囲った部分）を観察することができる。但し、サブ・コンテンツ８０３の映像は、メイン・コンテンツ８０１と表示切り替え時として決定された再生位置、すなわち視点位置及び視線方向、並びに再生時刻に設定され、視線方向は正面方向８１０と一致するものとする。また、サブ・コンテンツは動画像であり、オムニウィンドウ８０２の外に見える風景は時々刻々変化するものとする。

　また、図９には、視聴者９００が、正面から紙面右方に移動した場所から斜め方向９１０に、オムニウィンドウ９０２越しに後方のサブ・コンテンツ（自由視点空間）９０３を眺めている状況を上空から俯瞰した様子を示している。図示のように、視聴者９００は、斜め方向９１０からオムニウィンドウ９０２の外を眺めると、メイン・コンテンツ９０１と表示を切り替えた場合に決定された再生位置、すなわち視点位置及び視線方向、並びに再生時刻のサブ・コンテンツ（自由視点空間）９０３を、斜め方向９１０からオムにウィンドウ９０２越しに見えるサブ・コンテンツ（自由視点空間）９０３の風景（図中、一点鎖線で囲った部分）を観察することができる。また、サブ・コンテンツは動画像であり、オムニウィンドウ８０２の外に見える風景は時々刻々変化するものとする（同上）。

　サブ・コンテンツ９０３の映像とその前方のメイン・コンテンツ９０１の映像（及び、オムニウィンドウ９０２）との相対位置は固定されている。したがって、視聴者の視点位置や視線方向が変化すると、オムニウィンドウ９０２越しに観察される風景も変化する。例えば、図８から図９に示したように視聴者の視点位置や視線方向が変化したときには、オムニウィンドウ越しに観察される風景は、点線で示した場所から一点鎖線で示した場所へ移動している。したがって、オムニウィンドウは、メイン・コンテンツよりも後方に配置されたサブ・コンテンツを覗き見るために開けられたウィンドウであり、サブ・コンテンツのサムネイルをメイン・コンテンツ７００の表示画面に単純に貼り付けたものとは相違する。

　図１０には、視聴者が、メイン・コンテンツの自由空間内で、オムニウィンドウ１０１０にさらに接近してきたときの表示例を示している。視聴者が、図７に示した状況よりもさらにオムニウィンドウ１０１０に接近していくと、視聴者の視点位置から各ウィンドウ１０１１、１０１２までの距離に応じて、視聴者の視野内で各ウィンドウ１０１１、１０１２は徐々に大きくなっていく。そして、視聴者１１０１が、メイン・コンテンツの自由視点空間１１００内で視点位置を移動させて、一方のウィンドウ１０１１の窓枠を通過すると（図１１を参照のこと）、図１２に示すように、窓枠を通過した先のサブ・コンテンツ（自由視点空間）に、メイン・コンテンツの表示が切り替わる。なお、図示を省略したが、他方のウィンドウ１０１２の窓枠を通過した場合も、同様に、該当するサブ・コンテンツ（自由視点空間）に、メイン・コンテンツの表示が切り替わる。

　ここまで説明してきた、オムニウィンドウを用いた自由視点映像コンテンツの表示切り替えの画面遷移例を、図１３にまとめておく。

　オムニウィンドウの窓枠に、表示切替先のコンテンツ（自由視点空間）における視聴者の体感サイズの変換機能を付与することもできる。

　図１４には、視聴者を等身大のまま（若しくは、元のメイン・コンテンツにおいて設定された体感サイズのまま）、次のコンテンツに切り替えるオムニウィンドウの窓枠１４０１を概念的に示している。また、図１５には、切替先のコンテンツ（自由視点空間）における視聴者の体感サイズを伸長するオムニウィンドウの窓枠１５０１を概念的に示している。このような窓枠１５０１を通過した先の自由視点空間では、視聴者は以前よりも自分の体が大きくなったことにより、切り替わった自由視点空間の風景は相対的に小さく見えることになる。また、図１６には、図１５に示した例とは逆に、切替先のコンテンツ（自由視点空間）における視聴者の体感サイズを縮小するオムニウィンドウの窓枠１６０１を概念的に示している。このような窓枠１６０１を通過した先の自由視点空間では、視聴者は以前よりも自分の体が小さくなったことにより、切り替わった自由視点空間の風景は相対的に大きく見えることになる。

　図１７には、視聴者の体感サイズの変換機能を備えたオムニウィンドウを用いた自由視点映像コンテンツの表示切り替えの画面遷移例を示しておく。図１３に示した画面遷移例とは相違し、表示切替先の自由視点空間における視聴者の体感サイズが伸長し、その分だけ自由視点空間の風景は相対的に小さく見えることになる。

　体感サイズの変換機能は、例えば、自由視点空間における視聴者の視点位置の高さと眼幅を変更して自由視点映像のレンダリング処理を行なうことによって実現することができる。すなわち、図１５に示したように体感サイズを伸長したときには、視点位置を高く且つ眼幅を大きくしてレンダリングすることで、視聴者は、以前よりも大きな体で眺める自由視点映像となり、自由視点空間の風景は相対的に小さく見えることになる。また、図１６に示したように体感サイズを収縮したときには、視点位置を低く且つ眼幅を小さくしてレンダリングすることで、視聴者は、以前よりも小さな体で眺める自由視点映像となり、自由視点空間の風景は相対的に大きく見えることになる。勿論、体感サイズの変換機能を実現する方法はこの方法に限定されず、他の方法を利用してもよい。

　ＵＩ部１１２は、視聴者の体感サイズを指定するためのダイヤルなどの操作部を装備していてもよい。あるいは、視聴者の「もっと大きく！」とか「もっと小さく！」とかいった音声入力に基づいて視聴者の体感サイズを指定するようにしてもよい。勿論、コンテンツの表示切替の際だけでなく、コンテンツの表示中に体感サイズの変換を行なうようにしてもよい。

　図１８には、オムニウィンドウを用いた自由視点映像コンテンツの表示切り替えを実現する自由視点映像視聴装置１８００の機能的構成例を示している。この自由視点映像視聴装置１８００は、メイン・コンテンツ表示制御部１８０１と、サブ・コンテンツ検索部１８０２と、サブ・コンテンツ内表示位置決定部１８０３と、オムニウィンドウ表示位置決定部１８０４と、オムニウィンドウ表示制御部１８０５と、オムニウィンドウ表示更新部１８０６と、コンテンツ切替部１８０７の各機能ブロックを備えている。各機能ブロックは、ソフトウェア又はハードウェアのいずれの形態でも実装することができる。自由視点映像視聴装置１８００の実体は、例えばヘッド・マウント・ディスプレイとして構成される。

　メイン・コンテンツ表示制御部１８０１は、現在メイン・コンテンツに設定されている自由視点映像の映像表示部１１６への表示出力を行なう。すなわち、メイン・コンテンツ表示制御部１８０１は、再生位置指定部１１１で指定された視点位置及び視線方向、時刻に該当する再生位置で、映像蓄積部１０６からメイン・コンテンツを読み出して、映像表示部１１６への表示出力を行なう。

　なお、再生位置指定部１１１は、ＵＩ部１１２に対する視聴者の操作や視聴者の音声入力を通じて、再生位置情報を指定したり、頭部動作追跡部１１２による視聴者の頭部の位置及び姿勢の検出結果に基づいて、再生位置情報を指定したりする（前述）。

　サブ・コンテンツ検索部１８０２は、視聴者から例えばＵＩ部１１２を通じて他の自由視点映像への切り替えが指示されると、映像蓄積部１０６に蓄積されている自由視点映像コンテンツの中から、切替先の候補となるサブ・コンテンツの検索を実施する。サブ・コンテンツ検索部１８０２は、映像蓄積部１０６内の数多のコンテンツを、所定のフィルタリング条件に基づいてフィルタリングして、切替先の候補をサブ・コンテンツとして選択するが、その処理の詳細については後述に譲る。

　サブ・コンテンツ内表示位置決定部１８０３は、サブ・コンテンツ検索部１８０２で選択された各サブ・コンテンツに表示を切り替えたと仮定したときの、サブ・コンテンツ内における再生位置、すなわち視点位置及び視線方向、並びに再生時刻を、所定のアルゴリズムに基づいて決定する。各サブ・コンテンツにおける再生位置を決定するための処理の詳細については、後述に譲る。

　オムニウィンドウ表示位置決定部１８０４は、現在表示しているメイン・コンテンツ上に表示するオムニウィンドウの表示位置と表示サイズを決定する。オムニウィンドウは、各サブ・コンテンツの自由視点空間を覗き見るウィンドウを統合したものである（前述）。オムニウィンドウ表示位置決定部１８０４は、例えば、現在表示しているメイン・コンテンツ内の特徴的な表示オブジェクトを避けるようにオムニウィンドウの表示位置と表示サイズを決定するようにしてもよいし、視聴者の現在の視線方向を基準にした固定的な表示位置と表示サイズに決定するようにしてもよい。

　そして、オムニウィンドウ表示制御部１８０５は、オムニウィンドウ表示位置決定部１８０４が決定した表示位置及び表示サイズで、メイン・コンテンツの自由視点空間内にオムニウィンドウを配置して、オムニウィンドウ内の各ウィンドウ越しにそれぞれサブ・コンテンツの自由視点映像を映像表示部１１６に表示させる（例えば、図７を参照のこと）。このとき、オムニウィンドウ表示制御部１８０５は、サブ・コンテンツ内表示位置決定部１８０３が決定した再生位置（すなわち視点位置及び視線方向、並びに再生時刻）で、各ウィンドウにサブ・コンテンツを表示するものとする。

　各サブ・コンテンツの自由視点空間は、メイン・コンテンツの自由視点空間の後方に配置される。また、オムニウィンドウは、メイン・コンテンツから各サブ・コンテンツをそれぞれ覗き見るすべてのウィンドウを統合したウィンドウである。オムニウィンドウ表示更新部１８０６は、視聴者がメイン・コンテンツの自由視点空間内でオムニウィンドウを覗き見る場所が変化したことに応答して、オムニウィンドウ越しに見える各サブ・コンテンツの映像を更新する（例えば、図８並びに図９を参照のこと）。また、視聴者が自由視点空間内でオムニウィンドウに接近していくと、オムニウィンドウ表示更新部１８０６は、視聴者の視点位置からオムニウィンドウまでの距離に応じて、オムニウィンドウの表示を徐々に大きくしていく（例えば、図１０を参照のこと）。

　コンテンツ切替部１８０７は、視聴者が、オムニウィンドウ内のいずれかのウィンドウの窓枠を通過すると、通過した先のサブ・コンテンツ（自由視点空間）をメイン・コンテンツに切り替える。そして、メイン・コンテンツ表示制御部１８０１は、新たにメイン・コンテンツに設定されたコンテンツの自由視点空間の映像に、映像表示部１１６の表示を切り替える（例えば、図１３を参照のこと）。

　また、オムニウィンドウの窓枠に、表示切替先のコンテンツ（自由視点空間）における視聴者の体感サイズの変換機能を利用することもできる。体感サイズの変換機能を利用する場合には、コンテンツ切替部１８０７は、サブ・コンテンツをメイン・コンテンツに切り替える際に、設定された体感サイズ（例えば、視点位置の高さ及び眼幅）を、メイン・コンテンツ表示制御部１８０１に指示する。そして、メイン・コンテンツ表示制御部１８０１は、設定された体感サイズ（例えば、視点位置の高さ及び眼幅）に基づいて、切替先の自由視点映像のレンダリングを行なって、映像表示部１１６で表示出力する自由視点空間を体感サイズに応じた風景にする。

　図１９には、自由視点映像視聴装置１８００において、オムニウィンドウを用いた自由視点映像コンテンツの表示切り替えを実現するための処理手順をフローチャートの形式で示している。自由視点映像視聴装置１８００は、現在メイン・コンテンツに設定されている自由視点映像を表示出力しているときに、この処理手順を実行する。

　視聴者から例えばＵＩ部１１２を通じて操作が行なわれると（ステップＳ１９０１）、他の自由視点映像への切り替えを指示する操作か否かをチェックする（ステップＳ１９０２）。

　そして、他の自由視点映像への切り替えが指示されたときには（ステップＳ１９０２のＹｅｓ）、サブ・コンテンツ検索部１８０２は、映像蓄積部１０６に蓄積されている自由視点映像コンテンツの中から、切替先の候補となるサブ・コンテンツの検索を実施する。サブ・コンテンツを選択する処理の詳細については、後述に譲る。

　次いで、サブ・コンテンツ内表示位置決定部１８０３は、サブ・コンテンツ検索部１８０２で選択された各サブ・コンテンツに表示を切り替えたと仮定したときの、サブ・コンテンツ内における再生位置、すなわち視点位置及び視線方向、並びに再生時刻を、所定のアルゴリズムに基づいて決定する（ステップＳ１９０４）。各サブ・コンテンツにおける再生位置を決定するための処理の詳細については、後述に譲る。

　また、オムニウィンドウ表示位置決定部１８０４は、現在表示しているメイン・コンテンツ上に表示するオムニウィンドウの表示位置と表示サイズを決定する（ステップＳ１９０５）。オムニウィンドウ表示位置決定部１８０４は、例えば、現在表示しているメイン・コンテンツ内の特徴的な表示オブジェクトを避けるようにオムニウィンドウの表示位置と表示サイズを決定するようにしてもよいし、視聴者の現在の視線方向を基準にした固定的な表示位置と表示サイズに決定するようにしてもよい。

　そして、オムニウィンドウ表示制御部１８０５は、オムニウィンドウ表示位置決定部１８０４が決定した表示位置及び表示サイズで、メイン・コンテンツの自由視点空間内にオムニウィンドウを配置して、オムニウィンドウ内の各ウィンドウ越しにそれぞれサブ・コンテンツの自由視点映像を表示する（ステップＳ１９０６）。このとき、オムニウィンドウ表示制御部１８０５は、サブ・コンテンツ内表示位置決定部１８０３が決定した再生位置（すなわち視点位置及び視線方向、並びに再生時刻）で、各ウィンドウにサブ・コンテンツを表示するものとする。

　オムニウィンドウを表示中、コンテンツ切替部１８０７は、メイン・コンテンツの自由視点空間内での視聴者の位置を常時監視する（ステップＳ１９０７）。また、オムニウィンドウ表示更新部１８０６は、視聴者がメイン・コンテンツの自由視点空間内でオムニウィンドウを覗き見る場所が変化したことに応答して、オムニウィンドウ越しに見える各サブ・コンテンツの映像を更新する。例えば、視聴者が自由視点空間内でオムニウィンドウに接近していくと、オムニウィンドウ表示更新部１８０６は、視聴者の視点位置からオムニウィンドウまでの距離に応じて、オムニウィンドウの表示を徐々に大きくしていく（例えば、図１０を参照のこと）。

　また、コンテンツ切替部１８０７は、視聴者が、オムニウィンドウ内のいずれかのウィンドウの窓枠を通過すると（ステップＳ１９０８のＹｅｓ）、通過した先のサブ・コンテンツ（自由視点空間）をメイン・コンテンツに切り替える（ステップＳ１９０９）。

　コンテンツ切替部１８０７がコンテンツの切り替えを実施すると、メイン・コンテンツ表示制御部１８０１は、新たにメイン・コンテンツに設定されたコンテンツの自由視点空間の映像に、表示を切り替える。また、オムニウィンドウの窓枠に、表示切替先のコンテンツ（自由視点空間）における視聴者の体感サイズの変換機能を利用する場合には、コンテンツ切替部１８０７は、サブ・コンテンツをメイン・コンテンツに切り替える際に設定された体感サイズ（例えば、視点位置の高さ及び眼幅）を、メイン・コンテンツ表示制御部１８０１に指示する。そして、メイン・コンテンツ表示制御部１８０１は、設定された体感サイズ（例えば、視点位置の高さ及び眼幅）に基づいて、切替先の自由視点映像のレンダリングを行なって、自由視点空間を体感サイズに応じた風景にする。

　図１９に示したフローチャート中のステップＳ１９０３で実施されるサブ・コンテンツの検索処理では、所定のフィルタリング条件に基づいてフィルタリングして、切替先の候補をサブ・コンテンツとして選択する。図２０には、フィルタリング条件をまとめた。図示の例では、フィルタリング条件は、画面内の情報によるフィルター、視聴者によるフィルター、視聴状況によるフィルターの３種類のフィルタリング条件に大別されている。

　画面内の情報によるフィルターは、ある特徴点又はオブジェクト（例えば、アイドル・グループのメンバーＡさんの顔）を画面内に含むか否かで、サブ・コンテンツとして選択するか否かを決定する。

　視聴者によるフィルターは、現在メイン・コンテンツを視聴している視聴者自身のログ、又は、視聴者以外のログをフィルターとして使用する。又は、視聴者の属性によるフィルターを用いる。ここで言う属性には、友達・知人・同行者（Ｓｏｃｉａｌ　Ｇｒａｐｈ）／専門家、類似作品を視聴しているなどの視聴履歴、メイン・コンテンツ内での視聴ログ（同じオブジェクトを見る傾向）、その他、年齢や性別などのプロファイル情報が含まれる。

　視聴状況によるフィルターとして、視聴時間帯、場所・地域、視聴デバイスの種別やサイズなどが挙げられる。

　また、図２１には、図１９に示したフローチャート中のステップＳ１９０４で実施される、サブ・コンテンツ内の再生位置とオムニウィンドウの表示位置及び表示サイズを決定するための処理手順をフローチャートの形式で示している。

　まず、メイン・コンテンツの視聴状態を取得して（ステップＳ２１０１）、サブ・コンテンツを選択するためのフィルタリングに使用する情報とフィルターを仮決定する。

　次いで、視聴者の自己視聴履歴を解析して、ステップＳ２１０１で仮決定したフィルターに基づいて視聴者の過去の視聴履歴を解析して（ステップＳ２１０２）、次の解析に使用する視聴情報とフィルターを決定する。

　次いで、サブ・コンテンツの視聴情報を解析して（ステップＳ２１０３）、ステップＳ２１０１で仮決定したフィルターに基づいて、コンテンツに紐づく視聴情報を解析して、有効であればフィルターとスコア（重み）を確定する。

　次いで、ステップＳ２１０３で決定したフィルターに基づいて、情報別にスコアを付けて、単位時間別、単位空間別、単位視野別に、コンテンツ時空間へのスコア（重み）付き投票を行なう（ステップＳ２１０４）。

　次いで、ステップＳ２１０４における投票結果のスコア分布を空間的及び時間的に推定する（ステップＳ２１０５）。

　次いで、制約条件、ログ以外の評価関数を統合して（ステップＳ２１０６）、メイン・コンテンツからサブ・コンテンツへの急激な変化を抑えるための成約や評価関数による抑制を行なう。

　次いで、ステップＳ２１０６で制約を掛けた上での最大スコアとその場合のパラメーターの組み合わせを算出する（ステップＳ２１０７）。

　そして、最大スコアの視野（視点位置及び視線方向）と再生開始時刻を抽出し、視聴方法に合わせてオムニウィンドウの表示位置と表示サイズの決定を行なう（ステップＳ２１０８）。

　以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

　本明細書で開示する技術によれば、オムニウィンドウを利用して、リアリティーを損なうことなく、且つ、視聴者への健康被害を軽減するコンテンツの表示切り替えを行なうことができる。

　本明細書では、本明細書で開示する技術を自由視点映像の表示切り換えに適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。全周囲型のコンテンツだけでなく、広角映像コンテンツや、通常の３Ｄ又は２Ｄ映像コンテンツの表示切り換えを行なう場合にも、同様に本明細書で開示する技術を適用することができる。

　要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

　なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）現在表示しているメイン・コンテンツの自由視点空間からサブ・コンテンツを覗き見るオムニウィンドウの表示を制御するオムニウィンドウ表示制御部と、
　視聴者が自由視点空間内で前記オムニウィンドウを通過する動作に応答して、前記サブ・コンテンツをメイン・コンテンツに切り替えるコンテンツ切替部と、
を具備する情報処理装置。
（２）現在表示しているメイン・コンテンツから表示切替先の候補となる前記サブ・コンテンツを選択するサブ・コンテンツ検索部をさらに備える、
上記（１）に記載の情報処理装置。
（３）前記サブ・コンテンツ検索部は、画面内の情報によるフィルター、視聴者によるフィルター、又は前記メイン・コンテンツの視聴状況によるフィルターのうち少なくとも１つをフィルタリング条件にして、サブ・コンテンツを選択する、
上記（２）に記載の情報処理装置。
（４）表示切替先のサブ・コンテンツ内における視点位置及び視線方向、並びに再生時刻を決定するサブ・コンテンツ内表示位置決定部をさらに備える、
上記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）前記メイン・コンテンツ上に前記オムニウィンドウを表示する位置とサイズを決定するオムニウィンドウ表示位置決定部をさらに備える、
上記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）前記オムニウィンドウ表示制御部は、前記オムニウィンドウ表示位置決定部が決定した表示位置及び表示サイズで前記メイン・コンテンツの自由視点空間内に前記オムニウィンドウを配置して、前記オムニウィンドウ内のウィンドウ越しに覗いて見ることができる前記サブ・コンテンツの自由視点映像を表示させる、
上記（５）に記載の情報処理装置。
（７）前記メイン・コンテンツの自由視点空間内における視聴者の移動に従って前記オムニウィンドウの表示を更新するオムニウィンドウ表示更新部をさらに備える、
上記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）前記コンテンツ切替部は、前記サブ・コンテンツをメイン・コンテンツに切り替える際に、視聴者の体感サイズの変換を行なう、
上記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）現在表示しているメイン・コンテンツの自由視点空間からサブ・コンテンツを覗き見るオムニウィンドウを表示するオムニウィンドウ表示ステップと、
　視聴者が自由視点空間内で前記オムニウィンドウを通過する動作に応答して、前記サブ・コンテンツをメイン・コンテンツに切り替えるコンテンツ切替ステップと、
を有する情報処理方法。

　１００…自由視点映像視聴システム
　１０１－１、１０１－２、…、１０１－Ｎ…カメラ
　１０２…通信インターフェース、１０３…映像入力部
　１０４…自由視点映像生成部、１０５…映像符号化部
　１０６…映像蓄積部、１１１…再生位置指定部
　１１２…ユーザー・インターフェース（ＵＩ）部
　１１３…頭部動作追跡部、１１４…映像読出部
　１１５…映像復号部、１１６…映像表示部
　２０１…自由視点映像制作装置、２０２…映像サーバー
　２０３…自由視点映像視聴装置
　３０１…映像サーバー、３０２…伝送路
　３０３…自由視点映像視聴装置
　１８００…自由視点映像視聴装置
　１８０１…メイン・コンテンツ表示制御部
　１８０２…サブ・コンテンツ検索部
　１８０３…サブ・コンテンツ内表示位置決定部
　１８０４…オムニウィンドウ表示位置決定部
　１８０５…オムニウィンドウ表示制御部
　１８０６…オムニウィンドウ表示更新部
　１８０７…コンテンツ切替部

Claims

　現在表示しているメイン・コンテンツの自由視点空間からサブ・コンテンツを覗き見るオムニウィンドウの表示を制御するオムニウィンドウ表示制御部と、
　視聴者が自由視点空間内で前記オムニウィンドウを通過する動作に応答して、前記サブ・コンテンツをメイン・コンテンツに切り替えるコンテンツ切替部と、
を具備する情報処理装置。
　現在表示しているメイン・コンテンツから表示切替先の候補となる前記サブ・コンテンツを選択するサブ・コンテンツ検索部をさらに備える、
請求項１に記載の情報処理装置。
　前記サブ・コンテンツ検索部は、画面内の情報によるフィルター、視聴者によるフィルター、又は前記メイン・コンテンツの視聴状況によるフィルターのうち少なくとも１つをフィルタリング条件にして、サブ・コンテンツを選択する、
請求項２に記載の情報処理装置。
　表示切替先のサブ・コンテンツ内における視点位置及び視線方向、並びに再生時刻を決定するサブ・コンテンツ内表示位置決定部をさらに備える、
請求項１に記載の情報処理装置。
　前記メイン・コンテンツ上に前記オムニウィンドウを表示する位置とサイズを決定するオムニウィンドウ表示位置決定部をさらに備える、
請求項１に記載の情報処理装置。
　前記オムニウィンドウ表示制御部は、前記オムニウィンドウ表示位置決定部が決定した表示位置及び表示サイズで前記メイン・コンテンツの自由視点空間内に前記オムニウィンドウを配置して、前記オムニウィンドウ内のウィンドウ越しに覗いて見ることができる前記サブ・コンテンツの自由視点映像を表示させる、
請求項５に記載の情報処理装置。
　前記メイン・コンテンツの自由視点空間内における視聴者の移動に従って前記オムニウィンドウの表示を更新するオムニウィンドウ表示更新部をさらに備える、
請求項１に記載の情報処理装置。
　前記コンテンツ切替部は、前記サブ・コンテンツをメイン・コンテンツに切り替える際に、視聴者の体感サイズの変換を行なう、
請求項１に記載の情報処理装置。
　現在表示しているメイン・コンテンツの自由視点空間からサブ・コンテンツを覗き見るオムニウィンドウを表示するオムニウィンドウ表示ステップと、
　視聴者が自由視点空間内で前記オムニウィンドウを通過する動作に応答して、前記サブ・コンテンツをメイン・コンテンツに切り替えるコンテンツ切替ステップと、
を有する情報処理方法。