JP7118383B1 - 表示システム、表示方法、及び表示プログラム - Google Patents

Abstract

【課題】スクリーンに映った画像に対する空間拡張感や没入感を視聴者が容易に得ることができる表示システム等を提供する。【解決手段】表示システムは、コンテンツの画像データを記憶するコンテンツデータ記憶部と、該コンテンツをスクリーンに表示可能な表示手段と、スクリーンを見る視聴者の顔を撮像するカメラと、スクリーンとカメラとの位置関係及びスクリーンに対するカメラの光軸の角度を記憶する設定値記憶部と、カメラにより撮像された画像から視聴者の顔を検出する検出部と、該画像における視聴者の顔の位置と、スクリーンとカメラとの位置関係と、上記相対的な角度とに基づいて、スクリーンに対する視聴者の顔の相対的な位置関係を算出する相対関係算出部と、コンテンツの少なくとも一部の画像領域をスクリーンに表示させ、上記相対的な位置関係に基づいて、スクリーンに表示されるコンテンツ内の画像領域を制御する表示制御部とを備える。【選択図】図１

Description

本発明は、動画又は静止画を用いて構成されるコンテンツを表示する表示システム、表示方法、及び表示プログラムに関する。

近年、全天球カメラや魚眼レンズにより撮影されたパノラマ画像や、３次元コンピュータグラフィックス（３ＤＣＧ）で作成されたパノラマ画像又は３Ｄ画像からなるコンテンツが、ゲームなどのエンターテインメントだけでなく、観光案内や不動産の内覧、職業訓練など幅広い分野で活用されている。

例えば特許文献１には、撮影装置により全天球画像を生成し、スマートフォンに出力する撮影システムが開示されている。

特開２０１７－８４４２２号公報

一般に、テレビやディスプレイ、デジタルサイネージなどのスクリーンに表示される画像は、視聴者がどのような角度から見ても変化することはない。つまり、スクリーンを正面から見ても、下から見上げても、現実の被写体とは異なり、視聴者は同じ画像しか視認することができない。そのため、視聴者は、スクリーンに映った画像をあくまで画像として認識するに留まり、画像内の空間が現実空間と繋がっているような空間拡張感や、画像内の空間に入り込んだような没入感を持つことは困難である。

スマートフォンやタブレット端末、パーソナルコンピュータに接続されたディスプレイにパノラマ画像が表示されている場合、視聴者は、スワイプやドラッグ操作を行うことにより、スクリーンに表示されるパノラマ画像内の画像領域を変化させることができる（例えば特許文献１参照）。また、スマートフォン等の向きを変えることで、スクリーンに映る画像領域が変化するコンテンツも存在する。しかしながら、いずれにしても、スクリーンに映るパノラマ画像内の画像領域を変化させるためには、スワイプや端末の向きを変えるといったデバイスに対する操作が必要になるため、やはり、視聴者が空間拡張感や没入感を得ることは困難である。

近年では、ヘッドマウントディスプレイ又はＶＲゴーグルと呼ばれるゴーグル型の表示装置が普及している。このような表示装置においては、ゴーグルを装着した視聴者の頭の動きに合わせて、パノラマ画像や３Ｄ画像として表示される画像領域が変化するため、視聴者は画像への没入感を比較的容易に得ることができる。しかしながら、この場合、ＶＲゴーグルを用意する必要が生じるため、手軽に利用できるとは言い難い。また、重さのあるＶＲゴーグルを装着すること自体が、視聴者にとって没入感の妨げになることもある。

本発明は上記に鑑みてなされたものであって、スクリーンに映った画像に対する空間拡張感や没入感を視聴者が容易に得ることができる表示システム、表示方法、及び表示プログラムを提供することを目的とする。

上記課題を解決するために、本発明の一態様である表示システムは、動画又は静止画を用いて構成されるコンテンツをスクリーンに表示可能な表示手段と、前記スクリーンを見る視聴者の顔を撮像可能な位置に設置されたカメラと、前記スクリーンと前記カメラとの位置関係、及び、前記スクリーンに対する前記カメラの光軸の角度を記憶する設定値記憶部と、前記カメラにより撮像された画像から前記視聴者の顔を検出する検出部と、前記画像における前記視聴者の顔の位置と、前記スクリーンと前記カメラとの位置関係と、前記相対的な角度とに基づいて、前記スクリーンに対する前記視聴者の顔の相対的な位置関係を算出する相対関係算出部と、前記コンテンツの少なくとも一部の画像領域を前記スクリーンに表示させると共に、前記相対的な位置関係に基づいて、前記スクリーンに表示される前記コンテンツ内の画像領域を制御する表示制御部と、を備えるものである。

上記表示システムにおいて、前記表示制御部は、前記視聴者の顔が前記スクリーンの面と平行に移動した場合に、前記スクリーンに表示される前記コンテンツ内の画像領域を、前記視聴者の顔の移動方向と反対方向にシフトさせても良い。

上記表示システムにおいて、前記コンテンツは、天球面に対応する座標が設定されたパノラマ画像であり、前記表示制御部は、前記天球面の中心に設定された仮想的なカメラの画角に含まれる画像領域を前記スクリーンに表示させると共に、該仮想的なカメラの画角の中心方向を示す方向ベクトルを、前記スクリーンの中心点から前記視聴者の顔に向かう方向ベクトルの回転方向と同じ方向に回転させても良い。

上記表示システムにおいて、前記設定値記憶部は、さらに、前記スクリーンにおいて前記コンテンツが表示される領域である表示領域のサイズを記憶し、前記表示制御部は、前記表示領域のサイズと前記相対的な位置関係とに基づいて、前記表示領域に表示される前記コンテンツ内の画像領域を制御しても良い。

上記表示システムにおいて、前記表示制御部は、前記視聴者の顔が前記スクリーンから遠ざかった場合に、前記スクリーンに表示される前記コンテンツ内の画像領域を狭くすると共に、該画像領域のサイズを前記表示領域に合わせて拡大し、前記視聴者の顔が前記スクリーンに近づいた場合に、前記スクリーンに表示される前記コンテンツ内の画像領域を広くすると共に、該画像領域のサイズを前記表示領域に合わせて縮小しても良い。

上記表示システムにおいて、前記表示制御部は、前記スクリーンに表示されるコンテンツが窓越しの景色として前記視聴者に認識されるように制御を行っても良い。
上記表示システムにおいて、前記表示手段は、前記コンテンツを前記スクリーンに投影するように構成されたプロジェクタを含んでも良い。
上記表示システムにおいて、前記表示手段は、液晶パネル又は有機ＥＬパネルを有する表示装置であっても良い。

本発明の別の態様である表示方法は、動画又は静止画を用いて構成されるコンテンツをスクリーンに表示させる表示方法であって、前記スクリーンを見る視聴者の顔を、カメラにより撮像する撮像ステップと、前記カメラにより撮像された画像から前記視聴者の顔を検出する検出ステップと、前記画像における前記視聴者の顔の位置と、前記スクリーンと前記カメラとの位置関係と、前記スクリーンに対する前記カメラの光軸の角度とに基づいて、前記スクリーンに対する前記視聴者の顔の相対的な位置関係を算出する相対関係算出ステップと、前記コンテンツの少なくとも一部の画像領域を前記スクリーンに表示させると共に、前記相対的な位置関係に基づいて、前記スクリーンに表示される前記コンテンツ内の画像領域を制御する表示制御ステップと、を含むものである。

本発明の別の態様である表示プログラムは、動画又は静止画を用いて構成されるコンテンツをスクリーンに表示させる表示プログラムであって、前記スクリーンを見る視聴者の顔を、カメラに撮像させる撮像ステップと、前記カメラにより撮像された画像から前記視聴者の顔を検出する検出ステップと、前記画像における前記視聴者の顔の位置と、前記スクリーンと前記カメラとの位置関係と、前記スクリーンに対する前記カメラの光軸の角度とに基づいて、前記スクリーンに対する前記視聴者の顔の相対的な位置関係を算出する相対関係算出ステップと、前記コンテンツの少なくとも一部の画像領域を前記スクリーンに表示させると共に、前記相対的な位置関係に基づいて、前記スクリーンに表示される前記コンテンツ内の画像領域を制御する表示制御ステップと、をコンピュータに実行させるものである。

本発明によれば、スクリーンに対する視聴者の顔の相対的な位置関係に基づいて、スクリーンに表示されるコンテンツ内の画像領域を制御するので、視聴者は、スクリーンに映った画像に対する空間拡張感や没入感を容易に得ることが可能となる。

本発明の第１の実施形態に係る表示システムの概略構成を示す模式図である。 図１に示す情報処理装置の概略的な機能構成を示すブロック図である。 パノラマ画像の表示原理を説明するための模式図である。 窓越しの景色の見え方を示す模式図である。 窓越しの景色の見え方（視聴者が平行移動した場合）を示す模式図である。 窓越しの景色の見え方（視聴者が窓から遠ざかった場合）を示す模式図である。 窓越しの景色の見え方（視聴者が窓に近づいた場合）を示す模式図である。 図１に示す情報処理装置における表示制御の動作を示すフローチャートである。 スクリーンに対する視聴者の相対的な位置関係を説明するための模式図である。 パノラマ画像の表示における初期設定状態を例示する模式図である。 カメラが視聴者を撮像することにより得られる画像を例示する模式図である。 図１に示す表示システムにおける表示制御（視聴者が平行移動した場合）を説明するための模式図である。 図１に示す表示システムにおける表示制御（視聴者がスクリーンから遠ざかった場合）を説明するための模式図である。 図１に示す表示システムにおける表示制御（視聴者がスクリーンに近づいた場合）を説明するための模式図である。 本発明の第２の実施形態に係る表示システムの概略構成を示す模式図である。 本発明の第３の実施形態に係る表示システムの概略構成を示す模式図である。 図１６に示す表示システムの概略的な機能構成を示すブロック図である。

以下、本発明の実施形態に係る画表示システム、表示方法、及び表示プログラムについて、図面を参照しながら説明する。なお、これらの実施形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る表示システムを示す模式図である。図１に示すように、本実施形態に係る表示システム１は、動画又は静止画を用いて構成されるコンテンツ（画像）をスクリーンに表示可能な表示手段１０と、画像が表示される画面を見る視聴者１００の顔を撮像可能な位置に設置されたカメラ２０と、表示手段１０に画像データを出力してコンテンツを表示させる情報処理装置３０とを備える。

本実施形態において、表示手段１０は、情報処理装置３０から出力される画像データに基づいて、スクリーン１２に画像を投影するプロジェクタ１１を含む。図１においては、平面状のスクリーン１２を図示しているが、スクリーンの形状は平面状に限定されず、例えば、円柱側面状、球面状、非球面状のように、凸状又凹状に湾曲していても良い。また、プロジェクタ１１は、スクリーン１２の代わりに、建物の壁などに画像を投影しても良い。

スクリーン１２において画像が表示（投影）される領域である表示領域Ｓｃのサイズは、プロジェクタ１１とスクリーン１２との距離及びプロジェクタ１１からの投影角により決定される。投影角は、プロジェクタ１１に対する操作又は情報処理装置３０によるプロジェクタ１１に対する制御により調整することができる。

カメラ２０は、ＣＣＤやＣＭＯＳ等の固体撮像素子を有し、動画撮影が可能なデジタルカメラである。カメラ２０は、被写体を撮像することにより画像信号を生成し、該画像信号をデジタル変換して情報処理装置３０に出力する。カメラ２０は、ＵＳＢ（Universal Serial Bus）等により情報処理装置３０と有線で接続されていても良いし、Ｗｉ－Ｆｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信により接続されていても良い。

カメラ２０のスペックは、例えば、歩く、顔を動かすといった視聴者１００の通常の動作を検知可能な程度のフレームレートと、画像処理により視聴者１００の顔１０１を検出可能な程度の解像度を有していれば、特に限定されない。例えば、カメラ２０として、汎用のウェブカメラを使用しても良い。また、後述するように、スマートフォンやタブレット端末等に内蔵されているカメラを使用しても良い。

なお、図１において、カメラ２０はスクリーン１２の上部に設置されているが、カメラ２０の位置は、スクリーン１２を見る視聴者１００の顔１０１を撮像可能な位置であれば特に限定されない。例えば、スクリーン１２の側方や下方にカメラ２０を設置しても良いし、スクリーン１２から離れた位置にカメラ２０を設置しても良い。

情報処理装置３０は、例えば、パーソナルコンピュータ（ＰＣ）、ノートＰＣ、タブレット端末等の汎用のコンピュータによって構成することができる。情報処理装置３０は、動画又は静止画を用いて構成されるコンテンツを表示するための画像データ（以下、コンテンツデータともいう）に基づいて、表示手段１０にコンテンツを表示させると共に、カメラ２０から入力された画像信号に基づいて、表示手段１０におけるコンテンツの表示を制御する。情報処理装置３０は、表示手段１０（図１においてはプロジェクタ１１）と有線で接続されていても良いし、無線接続されていても良い。

図２は、情報処理装置３０の概略的な機能構成を示すブロック図である。図２に示すように、情報処理装置３０は、外部インタフェース３１と、記憶部３２と、プロセッサ３３とを備える。また、情報処理装置３０は、表示部３４及び操作入力部３５を備えても良い。

外部インタフェース３１は、情報処理装置３０を外部機器と接続し、外部機器との間でデータを送受信するインタフェースである。また、情報処理装置３０がプロジェクタ１１又はカメラ２０と無線接続される場合には、情報処理装置３０は、当該情報処理装置３０をＬＡＮ、電気通信回線等の通信ネットワークに接続し、通信ネットワークに接続された他の機器との間で通信を行う通信インタフェースを備えても良い。通信インタフェースは、例えばソフトモデム、ケーブルモデム、無線モデム、ＡＤＳＬモデム等を用いて構成することができる。

記憶部３２は、例えばＲＯＭ、ＲＡＭ等の半導体メモリやハードディスクなどのコンピュータ読取可能な記憶媒体を用いて構成することができる。記憶部３２は、プログラム記憶部３２１、コンテンツデータ記憶部３２２、及び、設定値記憶部３２３を含む。プログラム記憶部３２１は、オペレーティングシステムプログラム、ドライバプログラム、及び、各種機能を実行するアプリケーションプログラムや、これらのプログラムの実行中に使用される各種パラメータ等を記憶する。具体的には、プログラム記憶部３２１は、表示手段１０におけるコンテンツの表示を制御するための表示プログラムを記憶する。

コンテンツデータ記憶部３２２は、動画又は静止画を用いて構成されるコンテンツの画像データを記憶する。本実施形態においては、コンテンツとして、Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ形式（正距円筒図法）で生成された画像データに基づいて表示されるパノラマ画像を例として説明する。また、コンテンツデータ記憶部３２２は、コンテンツと共に出力される音声のデータを記憶しても良い。

設定値記憶部３２３は、プログラム記憶部３２１に記憶された表示プログラムの実行中に使用される各種設定値やパラメータを記憶する。設定値記憶部３２３に記憶される設定値としては、スクリーン１２における表示領域Ｓｃのサイズ、スクリーン１２とカメラ２０との位置関係、スクリーン１２に対するカメラ２０の光軸の角度等が挙げられる。なお、スクリーンが曲面状である場合には、スクリーンの中心点における法線に対するカメラ２０の光軸の角度を設定値として記憶しても良い。

プロセッサ３３は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を用いて構成され、プログラム記憶部３２１に記憶された各種プログラムを読み込むことにより、情報処理装置３０の各部を統括的に制御すると共に、コンテンツをスクリーン１２に表示するための各種演算処理を実行する。プロセッサ３３がプログラム記憶部３２１に記憶された表示プログラムを読み込むことにより実現される機能部としては、画像生成部３３１、検出部３３２、相対関係算出部３３３、及び、表示制御部３３４が含まれる。

画像生成部３３１は、カメラ２０から入力された画像信号に基づいて画像を生成する。
検出部３３２は、画像生成部３３１により生成された画像に対して顔検出処理を実行することにより、該画像から視聴者の顔を検出し、該画像における顔の位置（座標）を出力する。

相対関係算出部３３３は、視聴者が写った画像における顔の位置と、スクリーン１２とカメラ２０との位置関係と、スクリーン１２に対するカメラの光軸Ｌの角度とに基づいて、スクリーン１２に対する視聴者１００の顔１０１の相対的な位置関係を算出する。

表示制御部３３４は、コンテンツ（例えばパノラマ画像）の少なくとも一部の領域をスクリーン１２に表示させると共に、スクリーン１２に対する視聴者１００の顔１０１の相対的な位置関係に基づいて、該スクリーン１２に表示されるコンテンツ内の画像領域を制御する。

表示部３４は、例えば液晶ディスプレイ又は有機ＥＬディスプレイである。操作入力部３５は、キーボード、マウスなどのポインティングデバイス、表示部３４に設けられたタッチパネル等の入力デバイスであり、情報処理装置３０に対する入力操作を受け付ける。

図３は、パノラマ画像の表示原理を説明するための模式図である。Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ形式で生成されたパノラマ画像の画像データにおいては、図３の（ａ）に示すように、全球又は半球部分の内面に動画又は静止画である画像Ｉｍが貼り付けられた天球面Ｓｐに対応する座標が設定されている。このような天球面Ｓｐの中心に仮想的なカメラＣｖを配置し、このカメラＣｖで天球面Ｓｐの内面を撮像したとした場合にカメラＣｖの画角Ｆｖに入る画像領域が、図３の（ｂ）に示すように、スクリーン１２の表示領域Ｓｃに表示される。表示制御部３３４は、スクリーン１２に対する視聴者１００の顔の相対的な位置関係に基づき、カメラＣｖの画角Ｆｖの大きさ及び向きを変化させることにより、表示領域Ｓｃにおけるコンテンツの表示制御を行う。

次に、図４～図７を参照しながら、視聴者が窓越しに外の景色を見る場合の見え方について説明する。図４～図７は、窓越しの景色の見え方を示す模式図である。このうち、図５は、図４に示す状態に対し、視聴者１００が窓Ｗの面と平行に移動した場合を示す。図６は、視聴者１００が窓Ｗから遠ざかった場合を示す。図７は、視聴者１００が窓Ｗに近づいた場合を示す。また、図４～図７の（ａ）は、視聴者１００を頭頂部から見た場合の視聴者１００と窓Ｗとの位置関係を示し、図４～図７の（ｂ）は、視聴者１００から見た窓Ｗの外の景色を示す。

図４の（ａ）に示すように、視聴者１００が窓Ｗの内側に居る場合、視聴者１００は、図４の（ｂ）に示すように、視聴者１００と窓Ｗとの距離Ｄ０と、窓のサイズ（幅Ｘ、高さＹ）とによって決まる窓枠内の視界Ｖに入る外の景色Ｓｎを眺めることができる。

これに対し、図５に示すように、視聴者１００が窓Ｗとの距離Ｄ０を保ったまま平行移動すると、窓枠内の視界Ｖに入る外の景色Ｓｎは、視聴者１００の移動方向と反対方向にシフトする。例えば、図５の（ａ）に示すように、視聴者１００が窓Ｗに対して右方に移動すると、視聴者１００から見て左方の景色Ｓｎが視界Ｖに入ってくる一方、右方の景色Ｓｎは窓枠に遮られて見えなくなる。

また、図６及び図７に示すように、視聴者１００と窓Ｗとの距離が変化すると、両者の距離に応じて、窓枠内の視界Ｖに入る外の景色Ｓｎが変化する。例えば、図６の（ａ）に示すように、視聴者１００が窓Ｗから遠ざかると（距離Ｄ０＜Ｄ１）、図６の（ｂ）に示すように、遠近感から、視聴者１００の位置から見た窓Ｗのサイズが小さくなると共に、窓枠内の視界Ｖに入る外の景色Ｓｎの範囲が狭くなる。反対に、図７の（ａ）に示すように、視聴者１００が窓Ｗに近づくと（距離Ｄ０＞Ｄ２）、図７の（ｂ）に示すように、遠近感から、視聴者１００の位置から見た窓Ｗが大きくなると共に、窓枠内の視界Ｖに入る景色Ｓｎの範囲が広くなる。

本実施形態に係る表示方法は、スクリーン１２における表示領域Ｓｃを窓Ｗに見立て、表示領域Ｓｃに表示されるコンテンツが、図４～図７で示したような窓越しの景色として視聴者１００に認識されるように、表示制御を行うものである。

図８は、情報処理装置３０による表示制御の動作を示すフローチャートである。図９は、スクリーン１２に対する視聴者１００の相対的な位置関係を説明するための模式図である。図１０は、パノラマ画像の表示における初期設定状態を例示する模式図である。このうち、図１０の（ａ）は、頭頂部から見た視聴者１００とスクリーン１２との位置関係を示し、図１０の（ｂ）は、パノラマ画像が貼り付けられた天球面Ｓｐの水平方向における断面を示し、図１０の（ｃ）は、スクリーン１２の表示領域Ｓｃに表示されるコンテンツ内の画像領域を示す。図１１は、カメラ２０が視聴者１００を撮像することにより得られる画像を例示する模式図である。

まず、情報処理装置３０は、初期設定を行う（ステップＳ１０）。詳細には、情報処理装置３０は、スクリーン１２の表示領域Ｓｃの中心を原点とし、スクリーン１２の水平方向をｘ軸、スクリーン１２の垂直方向をｙ軸、スクリーン１２の法線方向をｚ軸とするスクリーン座標系Ｏを設定する。そして、情報処理装置３０は、スクリーン座標系Ｏにおけるカメラ２０の座標（ｘｃ，ｙｃ，ｚｃ）と、スクリーン１２の法線に対するカメラ２０の光軸Ｌの相対的な角度（θ，φ）と、表示領域Ｓｃのサイズ（幅ｗ０、高さｈ０）を設定する。ここで、角度θは、水平面（ｘｚ面）における角度（即ちｙ軸回りの角度）を示し、角度φは、垂直面（ｙｚ面）における角度（即ちｘ軸回りの角度）を示す。

また、情報処理装置３０は、コンテンツとして表示されるパノラマ画像の座標系における設定を行う。詳細には、情報処理装置３０は、図１０の（ａ）に示すように、表示領域Ｓｃの中心点における法線上であって、スクリーン１２から任意の距離ｄ０だけ離れた位置（０，０，ｄ０）を、スクリーン座標系Ｏにおける視聴者１００の顔１０１の座標の初期値として設定する。そして、表示領域Ｓｃの幅ｗ０（図９参照）に基づいて、視聴者１００がこの位置（０，０，ｄ０）から表示領域Ｓｃを臨む水平方向の角度ａ０を、天球面Ｓｐの水平方向における画角Ｆｖの大きさとして設定する（図１０の（ｂ）参照）。天球面Ｓｐの垂直方向の画角についても、表示領域Ｓｃの高さｈ０に基づいて同様に設定される。

また、情報処理装置３０は、図１０の（ｂ）に示すように、天球面Ｓｐにおける仮想的なカメラＣｖの光軸方向、即ち、画角Ｆｖの中心方向を示す方向ベクトルＣを、天球面Ｓｐ上の基準点ｃ０に合わせる。

さらに、情報処理装置３０は、スクリーン座標系Ｏの中心から視聴者１００の顔１０１に向かう方向ベクトルＶを、カメラＣｖの方向ベクトルＣと関連づける。

これにより、天球面Ｓｐにおいて基準点ｃ０を中心とする画角Ｆｖに含まれる画像領域が、スクリーン１２の表示領域Ｓｃに表示される範囲として初期設定される（図１０の（ｃ）参照）。なお、スクリーン１２における画像表示は、カメラ２０により視聴者１００の撮像が開始された後から開始することとしても良い。

続いて、情報処理装置３０は、カメラ２０により撮像された画像から視聴者の顔を検出し、画像における顔の座標を取得する（ステップＳ２０）。詳細には、図１１に示すように、画像処理装置３０の画像生成部３３１が、カメラ２０から取り込まれた画像信号に基づいて、画像Ｍ１を生成する。この画像Ｍ１に対し、検出部３３２が、顔検出処理を実行することにより顔Ｍ２を検出し、画像Ｍ１における顔Ｍ２の座標（ｘｆ，ｙｆ，ｚｆ）を出力する。画像Ｍ１における顔Ｍ２の座標は、例えば、顔Ｍ２の領域を示す枠Ｍ３の中心座標であっても良いし、両目の中間座標など特定の被写体の位置を示す座標であっても良い。顔検出処理としては、公知の種々の手法を用いることができ、一般公開されているライブラリを読み込んでも良い。なお、本実施形態における顔検出処理は、画像Ｍ１における顔Ｍ２の位置を検知するために行われるため、図１１に例示する画像Ｍ１は特に表示する必要はない。

続いて、情報処理装置３０は、画像Ｍ１における顔Ｍ２の位置（ｘｆ，ｙｆ，ｚｆ）と、スクリーン１２に対するカメラ２０の座標（ｘｃ，ｙｃ，ｚｃ）と、スクリーン１２の法線に対するカメラの光軸Ｌの相対的な角度（θ，φ）とに基づいて、スクリーン１２に対する視聴者１００の顔１０１の相対座標（ｘｆ’，ｙｆ’，ｚｙ’）を算出する（ステップＳ３０、図９参照）。詳細には、相対関係算出部３３３が、カメラ座標系における顔１０１の座標（即ち、画像Ｍ１における顔Ｍ２の座標）を、スクリーン座標系Ｏにおける顔１０１の座標に変換する。座標変換としては、アフィン変換などの公知の手法を用いることができる。

続いて、情報処理装置３０は、スクリーン１２に対する視聴者１００の顔１０１の相対座標の変化に基づいて、天球面Ｓｐにおける仮想的なカメラＣｖの方向ベクトルＣの向き又は画角Ｆｖの大きさを調整する（ステップＳ４０）。

さらに、情報処理装置３０は、調整後の画角Ｆｖに含まれる画像領域に対応する画像データをプロジェクタ１１に出力し、該画像データに基づいてコンテンツをスクリーン１２に表示させる（ステップＳ５０）。

図１２～図１４は、表示システム１における表示制御を説明するための模式図である。このうち、図１２は、図１０に示す初期設定の状態に対し、視聴者１００がスクリーン１２の面と平行に移動した場合を示す。図１３は、視聴者１００がスクリーン１２から遠ざかった場合を示す。図１４は、視聴者１００がスクリーン１２に近づいた場合を示す。また、図１２～図１４の（ａ）は、頭頂部から見た視聴者１００とスクリーン１２との位置関係を示し、図１２～図１４の（ｂ）は、パノラマ画像が貼り付けられた天球面Ｓｐの水平方向における断面を示し、図１２～図１４の（ｃ）は、スクリーン１２の表示領域Ｓｃに表示されるコンテンツ内の画像領域を示す。

例えば、図１２の（ａ）に示すように、視聴者１００の顔１０１が、スクリーン１２との距離を保ったまま、右方向に平行移動した場合、表示制御部３３４は、図１２の（ｂ）に示すように、顔１０１の移動方向とは反対方向（左方向）に、画角Ｆｖをシフトさせる。これにより、図１２の（ｃ）に示すように、顔１０１の動きに合わせて、表示領域Ｓｃに表示される画像領域が変化する。それにより、視聴者１００は、窓越しに外の景色を見ながら自身が平行移動した場合と同様に（図５参照）、表示領域Ｓｃに表示されるコンテンツを認識することができる。

天球面Ｓｐにおけるベクトルの処理としては、顔１０１の移動により、表示領域Ｓｃの中心から顔１０１に向かう方向ベクトルＶの向きが変化すると、表示制御部３３４は、方向ベクトルＶの変化を、カメラＣｖの光軸方向を示す方向ベクトルＣに反映させる。具体的には、水平面（ｘｚ面）における顔１０１の移動により、方向ベクトルＶがｙ軸周りに反時計回りに回転すると、表示制御部３３４は、天球面Ｓｐの水平面において、方向ベクトルＶの回転方向と同じ方向に、方向ベクトルＣを回転させる。それにより、画角Ｆｖが顔１０１の移動方向と反対方向にシフトする。顔１０１が垂直方向に移動した場合も同様である。

カメラＣｖの方向ベクトルＣの回転量は、顔１０１の方向ベクトルＶの回転量と同じであっても良いし、方向ベクトルＶの回転量に所定の係数ｋを積算した量であっても良い。後者とする場合、表示制御部３３４は、顔１０１の水平方向への移動に関し、移動後における方向ベクトルＶをｘｚ面に投影した射影ベクトルを求め、スクリーン１２の法線ベクトルＮに対する射影ベクトルの角度｜Δａ｜を算出する。そして、この角度｜Δａ｜に係数ｋを積算した角度｜ｋ・Δａ｜だけ、カメラＣｖの方向ベクトルＣを基準点０の方向から回転させる。また、表示制御部３３４は、顔１０１の垂直方向への移動に関し、方向ベクトルＶをｙｚ面に投影した投影ベクトルを求めて同様に処理する。

ここで、表示領域Ｓｃが視聴者１００に比べて非常に大きい場合、顔１０１の位置変化が相対的に小さくなるため、表示領域Ｓｃにおける画像領域の変化は僅かなものとなる。このような場合、視聴者１００は、自身の動きに対し、表示領域Ｓｃにおける画像領域の変化を認識しにくくなる。反対に、表示領域Ｓｃが視聴者１００に比べて小さい場合、顔１０１の位置変化が相対的に大きくなるため、視聴者１００の僅かな動きに対しても、表示領域Ｓｃにおいて画像領域が大きく変化してしまう。そこで、上述したように、係数ｋを用いて方向ベクトルＶの回転量をスケールすることにより、視聴者１００が自然と感じられるように、表示領域Ｓｃにおいて画像領域を変化させることができる。

図１３の（ａ）に示すように、視聴者１００がスクリーン１２から遠ざかった場合、表示制御部３３４は、移動後の視聴者１００とスクリーン１２との距離ｄ１を取得する。そして、表示領域Ｓｃの幅ｗ０と距離ｄ１とに基づき、視聴者１００が表示領域Ｓｃを臨む角度ａ１を算出し、図１３の（ｂ）に示すように、この角度ａ１を水平方向における画角Ｆｖとして設定する。ここで、視聴者１００とスクリーン１２との距離ｄ１が大きくなると、移動前（図１０参照）と比べて画角Ｆｖが小さくなるため、表示制御部３３４は、図１３の（ｃ）に示すように、狭くなった画角Ｆｖに含まれる画像領域を、表示領域Ｓｃのサイズに合わせて拡大して表示する。垂直方向についても同様である。

視聴者１００がスクリーン１２から遠ざかると、遠近感から、視聴者１００の位置から見た表示領域Ｓｃのサイズが小さくなる。つまり、小さく見える表示領域Ｓｃに、拡大された画像領域が表示されるため、視聴者１００は、表示領域Ｓｃ内のオブジェクトのサイズが移動前から変化していないように認識する。それにより、視聴者１００は、窓越しに外の景色を見ながら自身が窓から遠ざかった場合と同様に（図６参照）、表示領域Ｓｃに表示されるコンテンツを認識することができる。

また、図１４の（ａ）に示すように、視聴者１００がスクリーン１２に近づいた場合、表示制御部３３４は、移動後の視聴者１００とスクリーン１２との距離ｄ２を取得する。そして、表示領域Ｓｃの幅ｗ０と距離ｄ２とに基づき、視聴者１００が表示領域Ｓｃを臨む角度ａ２を算出し、図１４の（ｂ）に示すように、この角度ａ２を水平方向における画角Ｆｖとして設定する。ここで、視聴者１００とスクリーン１２との距離ｄ２が小さくなると、移動前（図１０参照）と比べて画角Ｆｖが大きくなるため、表示制御部３３４は、図１４の（ｃ）に示すように、広くなった画角Ｆｖに含まれる画像領域を、表示領域Ｓｃのサイズに合わせて縮小して表示する。垂直方向についても同様である。

視聴者１００がスクリーン１２に近づくと、遠近感から、視聴者１００の位置から見た表示領域Ｓｃのサイズが大きくなる。つまり、大きく見える表示領域Ｓｃに縮小された画像領域が表示されるため、視聴者１００は、表示領域Ｓｃ内のオブジェクトのサイズが移動前から変化していないように認識する。それにより、視聴者１００は、窓越しに外の景色を見ながら自身が窓に近づいた場合と同様に（図７参照）、表示領域Ｓｃに表示されるコンテンツを認識することができる。

以上説明したように、本実施形態によれば、スクリーン１２に対する視聴者１００の顔１０１の相対的な位置関係に基づいて、スクリーン１２に表示されるコンテンツ内の画像領域を制御するので、視聴者１００は、あたかもスクリーン１２の表示領域Ｓｃを介して、窓越しに外の景色を見ているように、表示領域Ｓｃに表示される画像を認識することができる。それにより、視聴者１００は、表示領域Ｓｃに表示される画像をリアルに感じることができ、自然な空間拡張感を得ることができる。

また、本実施形態によれば、カメラ２０により視聴者１００を撮像した画像における顔の位置を取得することで、顔の動きに合わせて自然な形で、表示領域Ｓｃに表示されるコンテンツ内の画像領域を変化させることができる。即ち、視聴者１００は、スクリーン１２に対する操作を要することなく、コンテンツの見たい方向に顔を移動させるだけで当該方向を視聴することができるので、コンテンツへのより深い没入感を得ることが可能となる。

また、本実施形態によれば、視聴者１００とスクリーン１２との距離に応じて、画角Ｆｖの大きさを調整すると共に、画角Ｆｖに含まれる画像領域を表示領域Ｓｃに合わせて拡大又は縮小して表示するので、視聴者１００はコンテンツ内のオブジェクトを、実際のオブジェクトと同じサイズ感で認識することができる。

また、本実施形態によれば、入力デバイスやＶＲゴーグルを用いることなく、空間拡張感や没入感のあるコンテンツを視聴者に視聴させることができる。従って、不特定の人が視聴するサイネージやディスプレイにも、本実施形態に係る表示方法を適用することが可能である。

（変形例１）
上記第１の実施形態においては、スクリーン１２に表示されるコンテンツとしてパノラマ画像を例示したが、パノラマ画像以外のコンテンツを表示することも可能である。例えば、３ＤＣＧで作成された３Ｄ空間をコンテンツとして表示しても良い。この場合、カメラ２０により撮像された画像Ｍ１から、視聴者の顔の位置だけでなく顔の向きも検出し、顔の向きに応じて、表示領域Ｓｃに表示される３Ｄ空間内のオブジェクトの傾きを変化させても良い。例えば、視聴者が顔を下に向けると、３Ｄ空間内のオブジェクトの上面が表示領域Ｓｃに表示されるようにしても良い。

（変形例２）
上記第１の実施形態においては、視聴者１００の顔１０１の位置に基づいて、表示領域Ｓｃに表示されるコンテンツ内の画像領域を制御することとしたが、さらに、視聴者１００の様々なジェスチャーに応じて画像領域を制御しても良い。一例として、カメラ２０により撮像された画像Ｍ１に写った視聴者１００の姿勢に基づいて、例えば「右手を横に広げる」といった所定のジェスチャーを検出し、このようなジェスチャーに応じて、表示領域Ｓｃに表示されるパノラマ画像内の画像領域を所定の方向（例えば右方向）にシフトさせても良い。

或いは、コンテンツとして３ＤＣＧで作成された３Ｄ空間を表示し、例えば「右手を挙げる」といったジェスチャーに応じて、コンテンツ内のオブジェクトを視聴者側に前進させるように表示しても良い。この場合、相対的に、自身が前進しているように視聴者に認識させることができる。このような視聴者のジェスチャーに応じた表示制御により、視聴者が３Ｄ空間内を動き回ることができる機能を構成することもできる。

（第２の実施形態）
図１５は、本発明の第２の実施形態に係る表示システムの概略構成を示す模式図である。図１５に示すように、本実施形態に係る表示システム２は、図１に示すプロジェクタ１１及びスクリーン１２の代わりに、表示装置４０を備える。表示装置４０以外の表示システム２の構成及び動作については、図１に示すものと同様である。

表示装置４０は、液晶パネル又は有機ＥＬパネルからなるスクリーンを有し、情報処理装置３０から出力される画像データに基づいて、動画又は静止画を用いて構成されたコンテンツをスクリーンに表示する。

情報処理装置３０は、表示装置４０のスクリーン全体をコンテンツの表示領域Ｓｃとして設定しても良いし、スクリーンの一部をコンテンツの表示領域Ｓｃとして設定しても良い。コンテンツ内のオブジェクトにサイズに合わせて表示領域Ｓｃのサイズを設定することにより、視聴者は、実際のオブジェクトと同じサイズ感で、コンテンツ内のオブジェクトを認識することができる。

（第３の実施形態）
図１６は、本発明の第３の実施形態に係る表示システムの概略構成を示す模式図である。図１７は、図１７に示す表示システムの概略的な機能構成を示すブロック図である。図１６及び図１７に示すように、本実施形態に係る表示システム３は、表示装置４０と、該表示装置４０と有線又は無線により接続されたタブレット端末５０とを備える。

表示装置４０は、液晶パネル又は有機ＥＬパネルからなるスクリーンを有し、タブレット端末５０から出力される画像データに基づいて、動画又は静止画を用いて構成されたコンテンツをスクリーンに表示する。

図１７に示すように、タブレット端末５０は、外部インタフェース３１と、記憶部３２と、プロセッサ３３と、撮像部５１と、表示部５２と、操作入力部と、音声出入力部５４とを備える。このうち、外部インタフェース３１、記憶部３２、及びプロセッサ３３の構成及び動作は、図２に示す情報処理装置３０が備える外部インタフェース３１、記憶部３２、及びプロセッサ３３の構成及び動作と同様である。また、タブレット端末５０が表示装置４０と無線接続される場合、タブレット端末５０は、当該タブレット端末５０を通信ネットワークに接続するための通信インタフェースを備える。

撮像部５１は、タブレット端末５０に内蔵されたカメラであり、被写体を撮像することにより画像信号を生成し、該画像信号をデジタル変換してプロセッサ３３に入力する。図１６に示すように、タブレット端末５０は、視聴者１００の顔が撮像部５１の視野角に入る位置に設置される。図１６においては、タブレット端末５０を、表示装置４０の下方に水平に設置しているが、タブレット端末５０の位置及び向きはこれに限定されない。要は、撮像部５１により視聴者１００の顔を撮像することができれば良く、例えば、タブレット端末５０を表示装置４０と平行に設置しても良い。

表示部５２は、例えば液晶ディスプレイ又は有機ＥＬディスプレイである。操作入力部５３は、表示部５２に設けられたタッチパネルである。音声出入力部５４は、マイク及びスピーカを含む。

本実施形態においては、タブレット端末５０に内蔵された撮像部５１により視聴者１００を撮像し、それによって生成された画像における視聴者の顔の位置に基づいて、表示装置４０におけるコンテンツの表示制御を行う。そのため、本実施形態によれば、表示システム３の構成を簡素にすることができる。

本実施形態の変形例として、タブレット端末５０の代わりに、内蔵カメラを備えるノートＰＣやスマートフォンを用いても良い。また、本実施形態の別の変形例として、図１と同様に、スクリーン１２に画像を投影するプロジェクタ１１にタブレット端末５０を接続し、タブレット端末５０からプロジェクタに画像データを出力することとしても良い。

本発明は、上記第１～第３の実施形態及び変形例に限定されるものではなく、上記第１～第３の実施形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上記第１～第３の実施形態及び変形例に示した全構成要素からいくつかの構成要素を除外して形成しても良いし、上記第１～第３の実施形態及び変形例に示した構成要素を適宜組み合わせて形成しても良い。

１・２・３…表示システム、１０…表示手段、１１…プロジェクタ、１２…スクリーン、２０…カメラ、３０…情報処理装置、３１…外部インタフェース、３２…記憶部、３３…プロセッサ、３４・５２…表示部、３５・５３…操作入力部、４０…表示装置、５０…タブレット端末、５１…撮像部、５４…音声出入力部、１００…視聴者、１０１…顔、３２１…プログラム記憶部、３２２…コンテンツデータ記憶部、３２３…設定値記憶部、３３１…画像生成部、３３２…検出部、３３３…相対関係算出部、３３４…表示制御部

Claims (8)

1. 動画又は静止画を用いて構成されるコンテンツをスクリーンに表示可能な表示手段と、
   前記スクリーンを見る視聴者の顔を撮像可能な位置に設置されたカメラと、
   前記スクリーンと前記カメラとの位置関係、及び、前記スクリーンに対する前記カメラの光軸の角度を記憶する設定値記憶部と、
   前記カメラにより撮像された画像から前記視聴者の顔を検出する検出部と、
   前記画像における前記視聴者の顔の位置と、前記スクリーンと前記カメラとの位置関係と、前記スクリーンに対する前記カメラの光軸の角度とに基づいて、前記スクリーンに対する前記視聴者の顔の相対的な位置関係を、前記スクリーンを基準とした座標系であるスクリーン座標系における前記視聴者の顔の位置として算出する相対関係算出部と、
   前記コンテンツの少なくとも一部の画像領域を前記スクリーンに表示させると共に、前記相対的な位置関係に基づいて、前記スクリーンに表示される前記コンテンツ内の画像領域を制御する表示制御部と、
   を備え、
   前記コンテンツは、天球面に対応する座標が設定されたパノラマ画像であり、
   前記表示制御部は、前記天球面の中心に設定された仮想的なカメラの画角に含まれる画像領域を前記スクリーンに表示させ、前記視聴者の顔が前記スクリーンの面と平行に移動した場合に、前記仮想的なカメラの画角の中心方向を示す方向ベクトルである第１の方向ベクトルを、前記スクリーン座標系の原点から前記視聴者の顔に向かう方向ベクトルである第２の方向ベクトルの回転量に応じた量だけ、前記第２の方向ベクトルの回転方向と同じ方向に回転させることにより、前記スクリーンに表示される前記コンテンツ内の画像領域を、前記視聴者の顔の移動方向と反対方向にシフトさせ、
   前記第１の方向ベクトルが前記天球面上の基準点の方向に初期設定されており、
   前記視聴者の顔が前記スクリーンの面と平行に移動した場合、前記表示制御部は、回転後における前記第２の方向ベクトルと前記スクリーンの法線方向とのなす角度に所定の係数を積算した量を算出し、該積算した量だけ、前記第１の方向ベクトルを前記基準点の方向から回転させる、表示システム。
2. 前記設定値記憶部は、さらに、前記スクリーンにおいて前記コンテンツが表示される領域である表示領域のサイズを記憶し、
   前記表示制御部は、前記表示領域のサイズと前記相対的な位置関係とに基づいて、前記表示領域に表示される前記コンテンツ内の画像領域を制御する、請求項１に記載の表示システム。
3. 前記表示制御部は、
   前記視聴者の顔が前記スクリーンから遠ざかった場合に、前記スクリーンに表示される前記コンテンツ内の画像領域を狭くすると共に、該画像領域のサイズを前記表示領域に合わせて拡大し、
   前記視聴者の顔が前記スクリーンに近づいた場合に、前記スクリーンに表示される前記コンテンツ内の画像領域を広くすると共に、該画像領域のサイズを前記表示領域に合わせて縮小する、
   請求項２に記載の表示システム。
4. 前記表示制御部は、前記スクリーンに表示されるコンテンツが窓越しの景色として前記視聴者に認識されるように制御を行う、請求項１～３のいずれか１項に記載の表示システム。
5. 前記表示手段は、前記コンテンツを前記スクリーンに投影するように構成されたプロジェクタを含む、請求項１～３のいずれか１項に記載の表示システム。
6. 前記表示手段は、液晶パネル又は有機ＥＬパネルを有する表示装置である、請求項１～３のいずれか１項に記載の表示システム。
7. 動画又は静止画を用いて構成されるコンテンツをスクリーンに表示させる表示方法であって、
   前記スクリーンを見る視聴者の顔を、カメラにより撮像する撮像ステップと、
   前記カメラにより撮像された画像から前記視聴者の顔を検出する検出ステップと、
   前記画像における前記視聴者の顔の位置と、前記スクリーンと前記カメラとの位置関係と、前記スクリーンに対する前記カメラの光軸の角度とに基づいて、前記スクリーンに対する前記視聴者の顔の相対的な位置関係を、前記スクリーンを基準とした座標系であるスクリーン座標系における前記視聴者の顔の位置として算出する相対関係算出ステップと、
   前記コンテンツの少なくとも一部の画像領域を前記スクリーンに表示させると共に、前記相対的な位置関係に基づいて、前記スクリーンに表示される前記コンテンツ内の画像領域を制御する表示制御ステップと、
   を含み、
   前記コンテンツは、天球面に対応する座標が設定されたパノラマ画像であり、
   前記表示制御ステップは、前記天球面の中心に設定された仮想的なカメラの画角に含まれる画像領域を前記スクリーンに表示させ、前記視聴者の顔が前記スクリーンの面と平行に移動した場合に、前記仮想的なカメラの画角の中心方向を示す方向ベクトルである第１の方向ベクトルを、前記スクリーン座標系の原点から前記視聴者の顔に向かう方向ベクトルである第２の方向ベクトルの回転量に応じた量だけ、前記第２の方向ベクトルの回転方向と同じ方向に回転させることにより、前記スクリーンに表示される前記コンテンツ内の画像領域を、前記視聴者の顔の移動方向と反対方向にシフトさせ、
   前記第１の方向ベクトルが前記天球面上の基準点の方向に初期設定されており、
   前記視聴者の顔が前記スクリーンの面と平行に移動した場合、前記表示制御ステップは、回転後における前記第２の方向ベクトルと前記スクリーンの法線方向とのなす角度に所定の係数を積算した量を算出し、該積算した量だけ、前記第１の方向ベクトルを前記基準点の方向から回転させる、表示方法。
8. 動画又は静止画を用いて構成されるコンテンツをスクリーンに表示させる表示プログラムであって、
   前記スクリーンを見る視聴者の顔を、カメラに撮像させる撮像ステップと、
   前記カメラにより撮像された画像から前記視聴者の顔を検出する検出ステップと、
   前記画像における前記視聴者の顔の位置と、前記スクリーンと前記カメラとの位置関係と、前記スクリーンに対する前記カメラの光軸の角度とに基づいて、前記スクリーンに対する前記視聴者の顔の相対的な位置関係を、前記スクリーンを基準とした座標系であるスクリーン座標系における前記視聴者の顔の位置として算出する相対関係算出ステップと、
   前記コンテンツの少なくとも一部の画像領域を前記スクリーンに表示させると共に、前記相対的な位置関係に基づいて、前記スクリーンに表示される前記コンテンツ内の画像領域を制御する表示制御ステップと、
   をコンピュータに実行させ、
   前記コンテンツは、天球面に対応する座標が設定されたパノラマ画像であり、
   前記表示制御ステップは、前記天球面の中心に設定された仮想的なカメラの画角に含まれる画像領域を前記スクリーンに表示させ、前記視聴者の顔が前記スクリーンの面と平行に移動した場合に、前記仮想的なカメラの画角の中心方向を示す方向ベクトルである第１の方向ベクトルを、前記スクリーン座標系の原点から前記視聴者の顔に向かう方向ベクトルである第２の方向ベクトルの回転量に応じた量だけ、前記第２の方向ベクトルの回転方向と同じ方向に回転させることにより、前記スクリーンに表示される前記コンテンツ内の画像領域を、前記視聴者の顔の移動方向と反対方向にシフトさせ、
   前記第１の方向ベクトルが前記天球面上の基準点の方向に初期設定されており、
   前記視聴者の顔が前記スクリーンの面と平行に移動した場合、前記表示制御ステップは、回転後における前記第２の方向ベクトルと前記スクリーンの法線方向とのなす角度に所定の係数を積算した量を算出し、該積算した量だけ、前記第１の方向ベクトルを前記基準点の方向から回転させる、表示プログラム。
   

Images