JPWO2018225804A1 - 画像表示装置、画像表示方法、及び画像表示プログラム - Google Patents

Abstract

全天球の画像領域を従来よりも簡単且つ低コストでユーザに鑑賞させることができる画像表示装置等を提供する。画像表示装置は、共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像であって、各々は少なくともいずれかの方位における画角が３６０°に満たない画像であり、１つの方向における画角の合計が３６０°よりも大きい複数の画像を表す画像データを記憶する画像データ記憶部と、上記複数の画像のうちの少なくとも一部の範囲を表示可能な表示部と、ユーザの動作又はユーザによる操作に応じた情報を入力する情報入力部と、上記画像データに基づき、情報入力部から入力された情報に応じて、上記複数の画像のうち表示部に表示させる範囲を制御する表示制御部と、を備える。

Description

本発明は、被写体を撮影することにより得られた画像を表示する画像表示装置、画像表示方法、及び画像表示プログラムに関する。

近年、撮影地点の全方位における画角３６０°の被写体が写った画像が、ゲームなどのエンターテイメント分野の他、観光案内や不動産の内覧などのビジネス分野でも広く活用されるようになっている。このような全方位・画角３６０°の画像は、全天球画像とも呼ばれる。全天球画像は、仮想現実（バーチャルリアリティ）のコンテンツとして３次元的に表示されたり、パノラマ画像用に加工されて２次元的に表示されたりする。例えば、ヘッドマウントディスプレイ（以下、「ＨＭＤ」とも記す）と呼ばれるメガネ型又はゴーグル型の表示装置に、全天球画像の一部を表示させ、ＨＭＤを装着したユーザの頭の動きに合わせて、画面に表示させる画像の範囲を変化させることにより、ユーザはあたかも、表示された画像の空間内に入り込んだような感覚を得ることができる。

全天球画像は、画角が１８０°以上の２つの超広角レンズを備えた、所謂全天球カメラにより取得することができる（例えば特許文献１参照）。或いは、広角レンズや魚眼レンズを備えるカメラを用いて複数の方向を順次撮影することにより得られた複数の画像を、画像処理によりつなぎ合わせることによって作成することもできる。このように画像をつなぎ合わせる画像処理技術は、スティッチングと呼ばれる（例えば特許文献２参照）。

特開２０１３−１９８０６２号公報 特表２００２−５０３８９３号公報

全天球カメラは全方位３６０°の範囲を一度で撮影するので、カメラを持つ撮影者本人も画像の中に写り込んでしまう。そのため、全天球カメラにより取得された全天球画像を利用する際には、全天球画像に写り込んだ撮影者の像を選択的に消去する作業が必要となり、処理が煩雑である。

他方、複数の画像をつなぎ合わせて全天球画像を作成する場合、三脚等を利用してカメラの位置を固定し、カメラの視野が一部重なるように、且つ、重なった部分において被写体の像にずれが生じないように、カメラの向きを慎重に変化させて順次撮影を行う必要がある。また、そのようにして取得された複数の画像をつなぎ合わせる際には、複数の画像から共通の被写体の像を抽出し、抽出された像同士を正確に重ね合わせ、さらに、隣接する画像間の合わせ目が自然につながって見えるように画素値を調節するといった画像処理を行わなくてはならない。つまり、複数の画像から全天球画像を作成する場合、撮影作業が煩雑であると共に、高度な画像処理が必要となり、撮影コストが非常に高い。また、高度な画像処理を行うために、高スペックな演算装置も必要となる。

このように、従来は、被写体を撮影し、全天球画像を作成して画像表示装置に表示し、ユーザに鑑賞させるまでの間に、多くの手間及び時間と高度な画像処理技術とが必要とされていた。そのため、全天球の画像領域を簡単且つ低コストでユーザに鑑賞させることができる技術が望まれている。

本発明は上記に鑑みてなされたものであって、全天球の画像領域を従来よりも簡単且つ低コストでユーザに鑑賞させることができる画像表示装置、画像表示方法、及び画像表示プログラムを提供することを目的とする。

上記課題を解決するために、本発明の一態様である画像表示装置は、共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像であって、各々は少なくともいずれかの方位における画角が３６０°に満たない画像であり、１つの方向における画角の合計が３６０°よりも大きい複数の画像を表す画像データを記憶する画像データ記憶部と、前記複数の画像のうちの少なくとも一部の範囲を表示可能な表示部と、ユーザの動作又はユーザによる操作に応じた情報を入力する情報入力部と、前記画像データに基づき、前記情報入力部から入力された情報に応じて、前記複数の画像のうち前記表示部に表示させる範囲である表示範囲を制御する表示制御部と、を備えるものである。

上記画像表示装置は、前記複数の画像に、共通の点を中心とする天球面上の座標を割り当てる画像設定部をさらに備え、前記画像設定部は、前記複数の画像のうち、前記天球面上の同一の座標が割り当てられた領域を有する２つの画像を、前記領域において所定の重畳順序となるように配置しても良い。

上記画像表示装置において、前記表示制御部は、前記情報入力部から入力される情報に応じて、前記領域における前２つの画像の重畳順序を切り替える画像切替部を有しても良い。

上記画像表示装置において、前記表示制御部は、前記情報入力部から入力される情報に応じて、前記領域において表層側に重畳された画像の透明度を変化させる透明度調節部を有しても良い。

上記画像表示装置において、前記画像設定部は、前記複数の画像上における任意の基準点と、当該画像表示装置の初期状態とを関連付け、前記表示制御部は、当該画像表示装置の前記初期状態からの変化に応じて、前記表示範囲を、前記複数の画像に割り当てられた前記天球面上の座標の前記基準点に対する相対位置に基づいてシフトさせても良い。

上記画像表示装置において、前記情報入力部は、当該画像表示装置の向き、傾き、若しくは位置の変化、又は、該変化の単位時間あたりの変化率の少なくともいずれかを検出するセンサであっても良い。

上記画像表示装置において、前記情報入力部は、前記表示部に対する操作に用いられるポインティングデバイスであっても良い。

本発明の別の態様である画像表示方法は、共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像であって、各々は少なくともいずれかの方位における画角が３６０°に満たない画像であり、１つの方向における画角の合計が３６０°よりも大きい複数の画像を表す画像データを取得するステップ（ａ）と、ユーザの動作又はユーザによる操作に応じた情報を入力するするステップ（ｂ）と、前記画像データに基づき、ステップ（ｂ）において入力された情報に応じて、前記複数の画像のうち表示部に表示させる範囲である表示範囲を制御するステップ（ｃ）と、を含むものである。

本発明のさらに別の態様である画像表示プログラムは、共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像であって、各々は少なくともいずれかの方位における画角が３６０°に満たない画像であり、１つの方向における画角の合計が３６０°よりも大きい複数の画像を表す画像データを取得するステップ（ａ）と、ユーザの動作又はユーザによる操作に応じた情報を入力するするステップ（ｂ）と、前記画像データに基づき、ステップ（ｂ）において入力された情報に応じて、前記複数の画像のうち表示部に表示させる範囲である表示範囲を制御するステップ（ｃ）と、をコンピュータに実行させるものである。

本発明によれば、共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像であって、各々は少なくともいずれかの方位における画角が３６０°に満たない画像であり、１つの方向における画角の合計が３６０°よりも大きい複数の画像を取得し、ユーザの動作又はユーザによる操作に応じて、これらの画像のうち表示部に表示させる範囲を制御するので、全天球カメラを用いて全天球画像を取得したり、複数の画像をつなぎ合わせて全天球画像を作成したりする必要がなくなる。そのため、全天球カメラを用いる場合のように、画像に写り込んだ撮影者や三脚等を画像処理により消去したり、複数の画像をつなぎ合わせる場合のように、複数回の撮影を慎重に行った上で高度な画像処理を行うといった手間や時間をかける必要がなくなり、高スペックな演算装置も不要となる。従って、全天球の画像領域を従来よりも簡単且つ低コストでユーザに鑑賞させることが可能となる。

本発明の第１の実施形態に係る画像表示装置の概略構成を示すブロック図である。 画像表示装置をユーザに装着させた状態を示す模式図である。 図１に示す表示部に表示される画面の一例を示す模式図である。 画像の撮影方法の一例を説明するための模式図である。 画像の撮影方法の一例を説明するための模式図である。 図１に示す画像表示装置の動作を示すフローチャートである。 画像の初期設定処理の一例を説明するための模式図である。 画像の初期設定処理の一例を説明するための模式図である。 本発明の第１の実施形態における画像の表示処理の一例を説明するための模式図である。 本発明の第１の実施形態における画像の表示処理の一例を説明するための模式図である。 本発明の第１の実施形態における画像の表示処理の一例を説明するための模式図である。 本発明の第１の実施形態における画像の表示処理の変形例を説明するための模式図である。 本発明の第１の実施形態における画像の表示処理の変形例を説明するための模式図である。 本発明の第１の実施形態における画像の表示処理の変形例を説明するための模式図である。 本発明の第２の実施形態に係る画像表示装置の概略構成を示すブロック図である。 図９に示す画像表示装置の動作を示すフローチャートである。 本発明の第２の実施形態における画像の表示処理の一例を説明するための模式図である。 本発明の第２の実施形態における画像の表示処理の一例を説明するための模式図である。 本発明の第２の実施形態における画像の表示処理の一例を説明するための模式図である。 本発明の第２の実施形態における画像の表示処理の一例を説明するための模式図である。 本発明の第３の実施形態に係る画像の表示例を示す模式図である。

以下、本発明の実施形態に係る画像表示装置、画像表示方法、及び画像表示プログラムについて、図面を参照しながら説明する。なお、これらの実施形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

図１は、本発明の第１の実施形態に係る画像表示装置の概略構成を示すブロック図である。図１に示すように、本実施形態に係る画像表示装置１０は、表示部１１と、操作入力部１２と、センサ部１３と、記憶部１４と、各種演算処理を行うプロセッサ１５と、を備える。この他、画像表示装置１０は、通信インタフェース１６や撮像部１７を備えても良い。

図２は、画像表示装置１０をユーザ１に装着させた状態を示す模式図である。図３は、図１に示す表示部１１に表示される画面の一例を示す模式図である。画像表示装置１０としては、スマートフォン、携帯情報端末（ＰＤＡ）、携帯型ゲーム装置のように、表示部を備える汎用の機器を用いることができる。画像表示装置１０として例えばスマートフォンを用いる場合、表示部１１が設けられた側をユーザに向けてホルダー２に取り付けることにより、ユーザはハンズフリーで表示部１１を見ることができる。ホルダー２の内部には、ユーザの左右の眼に対応する位置に２つのレンズがそれぞれ取り付けられている。ユーザに画像を立体視させる場合には、図３に示すように、表示部１１内の２つの領域１１ａ、１１ｂに、視差が設けられた２つの画像をそれぞれ表示させる。ユーザは、ホルダー２内の２つのレンズを通して領域１１ａ、１１ｂを見ることにより、領域１１ａ、１１ｂに映った画像を３次元的に認識することができる。

もっとも、画像表示装置１０の外観は、図２に示すものに限定されない。例えば、画像表示装置とホルダーが一体化された立体視専用の画像表示装置を用いても良い。なお、このような専用の画像表示装置は、ヘッドマウントディスプレイとも呼ばれる。

また、画像表示装置１０として、スマートフォンなどの小型携帯機器に限らず、例えば、デスクトップ型のパーソナルコンピュータや、ノート型のパーソナルコンピュータや、タブレット端末を用いても良い。さらに、画像表示装置１０には、２つのレンズを介して見る立体視用のコンテンツだけでなく、パノラマ画像のように裸眼で鑑賞可能なコンテンツを表示させても良い。画像表示装置１０に表示させる画像は、静止画であっても良いし、動画であっても良い。

再び図１を参照すると、表示部１１は、例えば液晶パネル又は有機ＥＬ（エレクトロルミネッセンス）パネル等の表示パネル及び駆動部を含むディスプレイである。

操作入力部１２は、操作ボタン、表示部１１上に設けられたタッチパネル、マウスやキーボード等の入力デバイスであり、外部からなされる操作に応じた信号をプロセッサ１５に入力する。つまり、操作入力部１２は、ユーザによる操作に応じた情報を入力する情報入力部として機能する。

センサ部１３は、ジャイロセンサ１３１、加速度センサ１３２、ＧＰＳモジュール１３３等の各種センサを含み、画像表示装置１０の動き、即ち、画像表示装置１０の向きや傾きや位置の変化（変化量及び速度）を表す検出信号を出力する。画像表示装置１０は、センサ部１３から出力された検出信号から、画像表示装置１０自体の動きや状態（言い換えるとユーザ１の頭部の動きや状態）を検知することができる。つまり、センサ部１３は、ユーザの動作に応じた情報を入力する情報入力部として機能する。

記憶部１４は、例えばＲＯＭやＲＡＭといった半導体メモリ等のコンピュータ読取可能な記憶媒体である。記憶部１４は、オペレーティングシステムプログラム及びドライバプログラムに加えて、各種機能を実行するアプリケーションプログラムや、これらのプログラムの実行中に使用される各種パラメータ等を記憶するプログラム記憶部１４１と、画像データを記憶する画像データ記憶部１４２とを有する。このうち、画像データ記憶部１４２は、共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像であって、各々は少なくともいずれかの方位における画角が３６０°に満たない画像であり、１つの方向における画角の合計が３６０°よりも大きい複数の画像の画像データを記憶している。この他、記憶部１４は、画像を表示する際に共に出力される音声など、各種コンテンツのデータを記憶しても良い。

プロセッサ１５は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を用いて構成され、プログラム記憶部１４１に記憶された各種プログラムを読み込むことにより、画像表示装置１０の各部を統括的に制御すると共に、種々の画像を表示するための各種演算処理を実行する。プロセッサ１５によって実現される機能については後述する。

通信インタフェース１６は、当該画像表示装置１０をインターネット、ＬＡＮ、電気通信回線等の通信ネットワークに接続し、通信ネットワークに接続された他の機器との間で通信を行う。通信インタフェース１６は、例えばソフトモデム、ケーブルモデム、無線モデム、ＡＤＳＬモデム等を用いて構成される。

撮像部１７は、当該画像表示装置１０に内蔵されたカメラ、又はケーブル等を介して画像表示装置１０に外付けされるカメラである。

ここで、画像表示装置１０に表示させる画像は、撮像部１７により撮影されたものであっても良いし、当該画像表示装置１０とは独立した撮影装置により撮影されたものであっても良い。後者の場合、通信ネットワークに接続されたコンピュータや撮影装置等から通信インタフェース１６を介して、画像データが画像表示装置１０に取り込まれ、画像データ記憶部１４２に格納される。

次に、プロセッサ１５の機能について説明する。プロセッサ１５は、プログラム記憶部１４１に記憶された画像表示プログラムを読み込むことにより、画像データ記憶部１４２に格納された画像データを用いて、全天球の画像領域をユーザが鑑賞可能となるように表示部１１に表示させる処理を実行する。ここで、上述したように、画像データ記憶部１４２には、少なくともいずれかの方位における画角が３６０°に満たない複数の画像の画像データが記憶されており、全方位の画角３６０°が写った全天球画像の画像データが記憶されているわけではない。本実施形態に係る画像表示装置１０は、画角が３６０°に満たない複数の画像を組み合わせて、ユーザに全天球の画像領域を鑑賞させるものであり、プロセッサ１５は、そのための画像表示の制御を行う。

図１に示すように、プロセッサ１５が画像表示プログラムを読み込むことにより実現される機能部には、画像設定部１５１と、姿勢情報取得部１５２と、表示制御部１５３とが含まれる。

画像設定部１５１は、表示部１１に表示される複数の画像の相対的な位置関係を設定する。詳細には、共通の点を中心とする天球面上の座標に複数の画像を関連付ける。ここで、これらの画像は、１つの方向における画角の合計が３６０°よりも大きいため、天球面上の一部の領域には、複数の画像が重畳される領域が発生する。画像設定部１５１は、このような領域における画像の重畳順序の初期設定も行う。

姿勢情報取得部１５２は、センサ部１３から出力された検出信号に基づいて、画像表示装置１０（即ちユーザ１の頭部）の姿勢情報を取得する。姿勢情報は、画像表示装置１０の現在の向き（方位角）、傾き（仰角）、及び位置といった画像表示装置１０の現在の状態に関する情報、及び、画像表示装置１０の動静（静止しているのか、動いているのか、動いているとすればどの方向に移動又は回転しているのか）に関する情報を含む。

表示制御部１５３は、上記姿勢情報に応じて、画像データ記憶部１４２に画像データが記憶された複数の画像のうち、表示部１１に表示させる領域を制御する。詳細には、表示制御部１５３は、表示範囲決定部１５４及び画像切替部１５５を含む。表示範囲決定部１５４は、姿勢情報取得部１５２により取得された姿勢情報に応じて、複数の画像のうち表示部１１に表示させる領域を決定する。画像切替部１５５は、天球面上で複数の画像が重畳している領域に対し、姿勢情報に応じて重畳順序を設定する。

次に、画像表示装置１０に表示される画像の撮影方法について説明する。図４Ａ及び図４Ｂは、画像の撮影方法を説明するための模式図である。本実施形態においては、広角レンズ（又は超広角レンズ）や魚眼レンズ等を用いて、共通の撮影地点において互いに異なる方向を撮影することにより、複数の画像を取得する。撮影に用いるレンズの画角は特に限定されないが、人の視野範囲が左右に１８０°〜２００°（片側９０°〜１００°）程度であることを考慮すると、画角を１８０°以上（人間の視界に概ね一度に入る範囲）とすることが好ましい。例えば、画角が２００°〜２８０°程度の魚眼レンズが取り付けられた又は搭載されたカメラを用いても良い。また、魚眼レンズや広角レンズが取り付けられた又は搭載されたスマートフォンを利用しても良い。この場合、撮影に用いたカメラを画像表示装置１０としても利用できるので、画像データの転送の手間が省けて便利である。例えば、画角が１８０°程度の魚眼レンズであって、クリップ等によりスマートフォンに取り付けて使用するタイプの魚眼レンズも市販されている。

撮影を行う際には、カメラの向きを変えるときに視野の一部が重なるように、撮影方向や撮影回数を決定する。例えば、図４Ａ、図４Ｂに例示するように、画角Ａが約２５０°のカメラ３を用いる場合には、正反対の方向を順次撮影することにより、画像の端部の約７０°の領域において視野が重なった２つの画像を取得することができる。別の例として、画角Ａが約１８０°のカメラを用いる場合には、カメラの向きを概ね１２０°ずつ変えながら３回撮影を行えば良い。要は、複数回撮影を行うことにより生成された複数の画像によって全方位の被写体を漏れなくカバーでき、且つ隣接する画像間で視野の一部が重なっていれば良い。カメラの向きを変える際、正確な位置合わせは必須ではなく、多少ラフであっても良い。

また、撮影作業の観点からも、カメラの画角を１８０°以上、好ましくは１８０°よりも大きくすると良い。画角が１８０°以上である場合、撮影者が水平方向に回転する（例えば、前向きから後ろ向きになる）だけで、撮影者の頂点方向を含む全方位３６０°の被写体をカバーすることができる。これに対し、画角が１８０°未満である場合、撮影者が水平方向に回転するだけでは、撮影者の頂点方向とその反対方向に、撮影されない範囲が発生してしまう。そのため、この場合には、別途、頂点方向及びその反対方向並びにその周辺を撮影する必要が生じ、トータルの撮影回数が増えてしまうからである。

画像表示装置１０に静止画を表示させる場合には、図４Ａ、図４Ｂに例示するように、カメラ３の向きを変えて順次撮影を行えば良い。これに対し、画像表示装置１０に動画を表示させる場合には、複数のカメラを１箇所に設置し、それぞれのカメラにより複数の方向を同時に動画撮影すれば良い。例えば画角Ａが２５０°のカメラを用いる場合には、これらのカメラを２台、背中合わせとなるように設置し、正反対の領域を同時に動画撮影する。もちろん、複数のカメラを用いて、同時に静止画を撮影することとしても良い。

このように撮影することにより取得された画像データは、撮影を行ったカメラからケーブル等を介して画像表示装置１０に直接入力するようにしても良いし、画像サーバ等に保存しておいても良い。後者の場合、画像表示装置１０において画像を表示させるときに、通信ネットワークを介して画像データを画像表示装置１０にダウンロードし、画像データ記憶部１４２に保存するようにしても良い。各画像の画像データには、位置データ（ＧＰＳデータ）や方角データが撮影時に付帯されるため、複数の画像間の相対的な位置情報も自動的に付与されている。

次に、画像表示装置１０の動作について説明する。図５は、画像表示装置１０の動作を示すフローチャートである。図６Ａ及び図６Ｂは、画像の初期設定処理の一例を説明するための模式図である。図７Ａ〜図７Ｃは、本発明の第１の実施形態における画像の表示処理の一例を説明するための模式図である。以下においては、図４Ａ及び図４Ｂに示すように、画角が約２５０°のカメラを用いて撮影された２つの画像を鑑賞する場合を例として説明する。

まず、ステップＳ１０１において、図６Ａ及び図６Ｂに示すように、画像設定部１５１は、共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像ｍ１１、ｍ１２を、共通の点（中心点）Ｐ１を中心とする天球面Ｃ上の座標と関連付ける。言い換えると、複数の画像ｍ１１、ｍ１２内の各点に対し、方位角φ及び仰角θで表される天球面Ｃ上の極座標を割り当てる。図６Ａ及び図６Ｂは、各方位における画角が約２５０°の２つの画像ｍ１１、ｍ１２が、天球面Ｃに関連付けられた状態を模式的に示している。このように、複数の画像ｍ１１、ｍ１２を天球面Ｃと関連付けることにより、複数の画像ｍ１１、ｍ１２内に任意に設定される基準点Ｐ２に対し、各画像ｍ１１、ｍ１２内の各点の相対的な位置関係を規定できるようになる。

ここで、基準点Ｐ２は、いずれかの画像の中心点であっても良いし、複数の画像ｍ１１、ｍ１２のうち特定の被写体が写った点であっても良い。例えば、住宅内が写った画像であれば玄関、博物館内が写った画像であれば目玉の展示物など、画像を鑑賞するユーザ１に最初に見て欲しい被写体や、ユーザに着目して欲しい被写体の像を基準点Ｐ２としても良い。なお、ステップＳ１０１の処理は、画像データ記憶部１４２に画像データを格納する際などに、予め行っておいても良い。

図６Ａ及び図６Ｂに示すように、画角が約２５０°の２つの画像ｍ１１、ｍ１２を１つの天球面Ｃに関連付けると、画像の端部において２つの画像ｍ１１、ｍ１２が互いに重なり合う。このような重畳領域ｍ１３においても、画像ｍ１１、ｍ１２内の各点に、天球面Ｃ上の同じ座標が割り当てられる。

続くステップＳ１０２において、画像設定部１５１は、重畳領域ｍ１３における複数の画像ｍ１１、ｍ１２の重畳順序を設定する。初期設定としては、基準点Ｐ２を含む画像ｍ１１が、表層側（天球面Ｃの内側）となるように設定される。

続くステップＳ１０３において、画像設定部１５１は、画像ｍ１１、ｍ１２内の基準点Ｐ２を画像表示装置１０の初期状態と関連付ける。即ち、画像表示装置１０の現在の向きや傾きや位置を初期状態として、画像表示装置１０の正面方向ｕ（即ち、ユーザ１の視線方向）と、天球面Ｃの中心点Ｐ１から基準点Ｐ２に向かう方向ｕ’とを一致させる。

続くステップＳ１０４において、表示制御部１５３は、表示部１１における画像ｍ１１、ｍ１２の表示を開始させる。画像ｍ１１、ｍ１２のうち、表示部１１に表示させる範囲（表示範囲）は、画像の表示形態によって適宜設定される。例えば、図３に示すような立体視用の画像を表示する場合には、一般的な人間の視界（左右方向に１８０°〜２００°程度、上下方向に１３０°程度）をカバーする範囲を表示部１１の各領域１１ａ、１１ｂに表示させる。以下の説明においては、天球面Ｃの半分に相当する画角１８０°の範囲内の画像を表示部１１に表示させるものとする。

画像の表示範囲Ｖとしては、画像表示装置１０の正面方向ｕに対応する天球面Ｃ内の方向ｕ’に位置する点、即ち、ユーザの視点に対応する点Ｐ３を中心に、画角１８０°の範囲が設定される。以下、ユーザの視点に対応する点Ｐ３のことをユーザ視点Ｐ３という。初期状態において、ユーザ視点Ｐ３は基準点Ｐ２と一致している。

続くステップＳ１０５において、姿勢情報取得部１５２は、画像表示装置１０の姿勢情報を取得する。詳細には、姿勢情報取得部１５２は、センサ部１３から出力された検出信号を取り込み、これらの検出信号に基づいて、画像表示装置１０の向きや傾きや位置の変化を検知する。

続くステップＳ１０６において、表示範囲決定部１５４は、姿勢情報に基づいて画像の表示範囲を決定する。詳細には、表示範囲決定部１５４は、姿勢情報に応じてユーザ視点Ｐ３を移動させ、このユーザ視点Ｐ３を中心に表示範囲Ｖを決定する。例えば、図７Ａに示すように、画像表示装置１０が初期状態からΔφ１だけ時計方向に回転すると、表示範囲決定部１５４は、ユーザ視点Ｐ３を基準点Ｐ２から時計回りにΔφ１だけ移動させ、ユーザ視点Ｐ３を中心とする画角１８０°に含まれる画像の範囲を、表示範囲Ｖとして決定する。

続くステップＳ１０７において、画像切替部１５５は、画像表示装置１０の姿勢情報と、画像ｍ１１、ｍ１２の位置関係とに基づいて、画像の重畳領域ｍ１３における重畳順序を決定する。例えば、図７Ａに示すように、ユーザ視点Ｐ３において画像が重畳していない場合、画像切替部１５５は、ユーザ視点Ｐ３が位置する画像ｍ１１が表層側となるように、重畳領域ｍ１３における画像の重畳順序を決定する。

また、図７Ｂに示すように、画像表示装置１０がさらに向きを変化させ、ユーザ視点Ｐ３において画像が重畳するようになった場合、画像切替部１５５は、ユーザ視点Ｐ３の移動方向の先に位置する画像（図７Ｂにおいては画像ｍ１２）が表層側となるように、画像の重畳順序を決定する。

画像切替部１５５が画像の重畳順序を決定した結果、重畳順序の変更が生じない場合（ステップＳ１０８：Ｎｏ）、表示制御部１５３は、ステップＳ１０６において決定された画像の表示範囲Ｖを表示部１１に表示させる（ステップＳ１０９）。ここで、図７Ａに示すように、ユーザ視点Ｐ３の近傍においては、重畳領域ｍ１３を含め、画像ｍ１１が連続的に表示されている。それに対し、ユーザ視点Ｐ３から見て時計回り方向における表示範囲Ｖの端部においては、重畳領域ｍ１３が終了し、画像ｍ１１から画像ｍ１２に変化する境界が存在する。しかし、人間の一般的な生理現象として、視界の端部における認識精度は、正面方向における認識精度と比べて大幅に低下しているので、視界の端部で異なる画像ｍ１１、ｍ１２間の境界が存在していたとしても、両画像ｍ１１、ｍ１２に写った被写体に大きな違いがなければ、ユーザはあまり違和感を憶えず、画像ｍ１１、ｍ１２を一体的な画像として認識し易い。従って、ユーザ１は、恰も全天球画像の一部を見ているような自然な感覚で、表示部１１に写った画像ｍ１１、ｍ１２を認識することができる。

他方、画像切替部１５５が画像の重畳順序を決定した結果、重畳順序の変更が生じる場合（ステップＳ１０８：Ｙｅｓ）、画像切替部１５５は、重畳順序を変更する（ステップＳ１１０）。即ち、図７Ｂに示すように、ユーザ視点Ｐ３の移動方向の先に位置する画像ｍ１２を表層側に配置する。

その後、ステップＳ１０９において、表示制御部１５３は、変更後の重畳順序で、画像の表示範囲Ｖを表示部１１に表示させる。ここで、図７Ｂにおいては、ユーザ視点Ｐ３からやや反時計回りに戻った位置に、画像ｍ１１と画像ｍ１２との境界が存在している。しかし、人間の一般的な生理現象として、頭部を動かしている間における視覚の認識精度は、頭部を停止させている場合における認識精度と比較して低下している。そのため、ユーザが頭部を動かしている間に、視界の中に異なる画像ｍ１１、ｍ１２間の境界が存在していたとしても、両画像ｍ１１、ｍ１２に写った被写体に大きな違いがなければ、ユーザはあまり違和感を覚えず、画像ｍ１１、ｍ１２を一体的な画像として認識し易い。それよりも、むしろ、ユーザが頭部を動かし終えた後で認識した画像において違和感が生じないように、現在のユーザ視点Ｐ３の位置と、ユーザ視点Ｐ３の移動方向の先とにおいて同じ画像が連続して表示されるように画像の重畳順序を決定している。

続くステップＳ１１１において、画像表示装置１０は、画像表示を終了するか否かを判定する。例えば、操作入力部１２に対し、画像表示を終了する操作や、画像表示装置１０の電源をオフにする操作が行われた場合には、画像表示を終了すると判定される。画像表示を終了しない場合（ステップＳ１１１：Ｎｏ）、処理はステップＳ１０５に戻る。他方、画像表示を終了する場合（ステップＳ１１１：Ｙｅｓ）、画像表示装置１０の動作は終了する。

ここで、表示制御部１５３は、画像表示装置１０の向きや傾きの変化だけでなく、位置の変化に応じて画像の表示範囲Ｖを変化させても良い。例えば、図７Ｃに示すように、画像表示装置１０が初期状態の位置Ｑから現在の位置Ｑ’に移動した場合、表示制御部１５３は、画像表示装置１０の位置の変化量及び変化の方向に基づいて、画像表示装置１０の正面方向ｕに対応する天球面Ｃ内の方向ｕ’の基点Ｐ１’の変位Δｒを取得する。そして、移動後の基点Ｐ１’、及び、この基点Ｐ１’を出発点としたユーザ視点Ｐ３を中心として、画像の表示範囲Ｖを設定する。詳細には、図７Ｃに示すように、ユーザ１の動きに伴い、基点Ｐ１’とユーザ視点Ｐ３との距離が図７Ｂと比べて短くなった場合、画像の表示範囲Ｖも狭くなるので、この狭くなった表示範囲Ｖを表示部１１の領域１１ａ、１１ｂいっぱいに拡大して表示することになる。それにより、ユーザは、被写体に近づいたような感覚を得ることができる。

以上説明したように、本発明の第１の実施形態においては、共通の撮影地点において互いに異なる方向を撮影することにより複数の画像を取得し、これらの画像のうち表示部１１に表示させる表示範囲を、画像表示装置１０の姿勢や位置の変化、即ち、ユーザの視線方向の変化に応じて変化させることにより、ユーザに全天球の画像領域を鑑賞させる。この際、複数の画像が重畳された重畳領域ｍ１３においては、ユーザの視線が移動している方向に応じて複数の画像ｍ１１、ｍ１２の重畳順序を切り替えるので、ユーザは、恰も一体化された全天球画像を見ているような自然な感覚で、画像を鑑賞することができる。

また、本実施形態によれば、複数の画像をスティッチングしたり、スティッチングを前提とした撮影時における精密な位置合わせ等が不要となるので、簡単且つ低コストで全天球の画像領域をユーザに鑑賞させることができる。

また、本実施形態によれば、全天球カメラを用いて全天球画像を一度に撮影する場合と異なり、撮影者が画像内に写り込むことはない。従って、撮影後に画像から撮影者を消去する作業が不要になる。

また、本実施形態によれば、撮影素子のスペック（画素数）が同程度である場合、全天球カメラを使用するときと比べて、表示部１１に表示させる画像の画質を向上させることができる。具体的には、画角３６０°を一度に撮影する全天球カメラに対し、本実施形態においては、より狭い範囲（例えば画角２５０°）を撮影するため、相対的に高精細な画像を表示することが可能となる。

次に、本発明の第１の実施形態の変形例について説明する。図８Ａ〜図８Ｃは、本発明の第１の実施形態における画像の表示処理の変形例を説明するための模式図である。

上記第１の実施形態においては、画角が約２５０°のレンズが設けられたカメラを用いて２枚の画像を取得することとしたが、画角及び画像の枚数はこれに限定されない。例えば、図８Ａ〜図８Ｃに示すように、画角が１８０°の３つの画像ｍ２１、ｍ２２、ｍ２３を組み合わせて、全天球の画像領域を表示しても良い。この場合、画像ｍ２１と画像ｍ２２、画像ｍ２２と画像ｍ２３、及び画像ｍ２３と画像ｍ２１との間で、それぞれ重畳領域ｍ２４、ｍ２５、２６が生じる。この場合においても、センサ部１３から出力された検出信号に基づいて取得された姿勢情報に応じて、これらの画像ｍ２１、ｍ２２、ｍ２３のうち表示部１１に表示させる表示範囲Ｖを決定すると共に、重畳領域ｍ２４、ｍ２５、ｍ２６における重畳順序を切り替えれば良い。具体的には、図８Ａに示すように、ユーザ視点Ｐ３において画像が重畳していない場合、ユーザ視点Ｐ３に位置する画像ｍ２１の重畳順序が、重畳領域ｍ２４、ｍ２６において表層側となる。また、図８Ｂに示すように、ユーザ視点Ｐ３が重畳領域ｍ２４に位置し、且つ、基準点Ｐ２から遠ざかる方向に移動している場合には、ユーザ視点Ｐ３の移動方向の先にある画像ｍ２２が表層側となる。図８Ｃに示すように、ユーザ視点Ｐ３が重畳領域ｍ２６に位置し、且つ、基準点Ｐ２から遠ざかる方向に移動している場合には、ユーザ視点Ｐ３の移動方向の先にある画像ｍ２３が表層側となる。

次に、本発明の第２の実施形態について説明する。図９は、本発明の第２の実施形態に係る画像表示装置の概略構成を示すブロック図である。図９に示すように、本実施形態に係る画像表示装置２０は、図１に示すプロセッサ１５の代わりにプロセッサ２１を備える。プロセッサ２１以外の画像表示装置２０の各部の構成及び動作は、上記第１の実施形態と同様である。

プロセッサ２１が画像表示プログラムを読み込むことにより実現される機能部には、画像設定部１５１と、姿勢情報取得部１５２と、表示制御部２１１とが含まれる。このうち、画像設定部１５１及び姿勢情報取得部１５２の機能は、上記第１の実施形態と同様である。

表示制御部２１１は、表示範囲決定部２１２及び透明度調節部２１３を含む。表示範囲決定部２１２は、姿勢情報取得部１５２により取得された姿勢情報に応じて、複数の画像のうち表示部１１に表示させる領域を決定する。透明度調節部２１３は、図６Ａ、図６Ｂに示すように、複数の画像ｍ１１、ｍ１２を天球面Ｃに関連付けることにより生じる画像の重畳領域ｍ１３において、表層側（天球面Ｃの内側）に重畳された画像の透明度を、姿勢情報に応じて変化させる。

次に、画像表示装置２０の動作について説明する。図１０は、画像表示装置２０の動作を示すフローチャートである。図１１Ａ〜図１１Ｄは、本発明の第２の実施形態における画像の表示処理の一例を説明するための模式図である。なお、本実施形態における画像の撮影方法は、第１の実施形態と同様である（図４Ａ及び図４Ｂ参照）。また、図１０のステップＳ１０１〜Ｓ１０６における処理は、第１の実施形態と同様である（図５のステップＳ１０１〜Ｓ１０６参照）。

ステップＳ１０６に続くステップＳ２０１において、透明度調節部２１３は、画像表示装置２０の姿勢情報に応じて、画像の透明度を設定する。その後のステップＳ２０２において、表示制御部２１１は、ステップＳ１０６において決定された画像の表示範囲Ｖを表示部１１に表示させる。

例えば、図１１Ａに示すように、ユーザ視点Ｐ３において画像が重畳していない場合、透明度調節部２１３は、ユーザ視点Ｐ３が位置する画像ｍ１１の重畳順序（ステップＳ１０２参照）が表層側であるか否かを判定する。そして、ユーザ視点Ｐ３に位置する画像ｍ１１が表層側である場合には、当該画像ｍ１１の透明度を０％にする。この場合、ユーザは、表示範囲Ｖ全体にわたって連続する画像ｍ１１を鑑賞することができる。

これに対し、図１１Ｂに示すように、ユーザ視点Ｐ３が位置する画像ｍ１２の重畳順序が表層側でない場合、透明度調節部２１３は、重畳領域ｍ１３において、表層側の画像ｍ１１の透明度を１００％にする。この場合、重畳領域ｍ１３においては、画像ｍ１１を透かして、奥側の画像ｍ１２が表示部１１に表示される。従って、ユーザは、表示範囲Ｖ全体にわたって連続する画像ｍ１２を鑑賞することができる。

また、図１１Ｃに示すように、ユーザ視点Ｐ３において画像が重畳している場合、透明度調節部２１３は、ユーザ視点Ｐ３の移動方向の先に位置する画像の重畳順序を判定する。例えば、図１１Ｃに示すように、ユーザ視点Ｐ３が重畳領域ｍ１３に位置し、且つ、基準点Ｐ２から遠ざかる方向に移動している場合、この移動方向の先にある画像ｍ１２の重畳順序は表層側ではない。この場合、透明度調節部２１３は、当該重畳領域ｍ１３において、表層側の画像ｍ１１の透明度を１００％にする。この場合、重畳領域ｍ１３においては画像ｍ１１が透けているため、ユーザは、現在の視線方向及び視線の移動方向の先において連続する画像ｍ１２を鑑賞することができる。

これに対し、図１１Ｄに示すように、ユーザ視点Ｐ３が重畳領域ｍ１３に位置し、且つ、基準点Ｐ２に近づく方向に移動している場合、この移動方向の先にある画像ｍ１１の重畳順序は表層側である。この場合、透明度調節部２１３は、表層側の画像ｍ１１の透明度を０％にする。この場合、ユーザは、現在の視線方向及び視線の移動方向の先において連続する画像ｍ１１を鑑賞することができる。

次に、本発明の第３の実施形態について説明する。図１２は、本発明の第３の実施形態に係る画像の表示例を示す模式図である。本実施形態に係る画像表示装置の構成及び動作は、上記第１又は第２の実施形態と同様であり（図１、図５、図９、図１０参照）であり、表示部１１に表示させる画像の表示態様が上記第１及び第２の実施形態と異なる。

上記第１及び第２の実施形態においては、ユーザに画像を立体視させるため、図３に示すように、表示部１１に設けた２つの領域１１ａ、１１ｂに画像を表示させることとした。しかしながら、図１２に示すように、表示部１１の画面全体にパノラマ画像を表示させることとしても良い。

パノラマ画像を表示させる場合、表示制御部１５３、２１１は、上記第１及び第２の実施形態と同様に、センサ部１３から出力された検出信号に基づいて取得した画像表示装置１０、２０の姿勢情報に応じて、複数の画像（例えば図６Ａに示す画像ｍ１１、ｍ１２）のうち表示部１１に表示させる表示範囲Ｖを決定しても良い。或いは、表示制御部１５３、２１１は、操作入力部１２から入力された信号に応じて、上記表示範囲Ｖを決定することとしても良い。例えば、図１２に示すように、ユーザが表示部１１上に設けられたタッチパネルに対してスワイプ操作を行った場合、このスワイプ操作に応じた方向に、上記表示範囲Ｖをシフトさせても良い。別の例として、画像表示装置１０としてデスクトップ型のパーソナルコンピュータを用いる場合、表示制御部１５３、２１１は、表示部１１に表示されたアイコン等に対し、マウス等の入力デバイスを用いて対してなされたポインティング操作に応じて、表示範囲Ｖを変化させても良い。

本発明は、上記第１〜第３の実施形態及び変形例に限定されるものではなく、上記第１〜第３の実施形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上記第１〜第３の実施形態及び変形例に示した全構成要素からいくつかの構成要素を除外して形成しても良いし、上記第１〜第３の実施形態及び変形例に示した構成要素を適宜組み合わせて形成しても良い。

１ ユーザ
２ ホルダー
３ カメラ
１０、２０ 画像表示装置
１１ 表示部
１１ａ、１１ｂ 領域
１２ 操作入力部
１３ センサ部
１４ 記憶部
１５、２１ プロセッサ
１６ 通信インタフェース
１７ 撮像部
１３１ ジャイロセンサ
１３２ 加速度センサ
１３３ ＧＰＳモジュール
１４１ プログラム記憶部
１４２ 画像データ記憶部
１５１ 画像設定部
１５２ 姿勢情報取得部
１５３、２１１ 表示制御部
１５４、２１２ 表示範囲決定部
１５５ 画像切替部
２１３ 透明度調節部

Claims (9)

1. 共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像であって、各々は少なくともいずれかの方位における画角が３６０°に満たない画像であり、１つの方向における画角の合計が３６０°よりも大きい複数の画像を表す画像データを記憶する画像データ記憶部と、
   前記複数の画像のうちの少なくとも一部の範囲を表示可能な表示部と、
   ユーザの動作又はユーザによる操作に応じた情報を入力する情報入力部と、
   前記画像データに基づき、前記情報入力部から入力された情報に応じて、前記複数の画像のうち前記表示部に表示させる範囲である表示範囲を制御する表示制御部と、
   を備える画像表示装置。
2. 前記複数の画像に、共通の点を中心とする天球面上の座標を割り当てる画像設定部をさらに備え、
   前記画像設定部は、前記複数の画像のうち、前記天球面上の同一の座標が割り当てられた領域を有する２つの画像を、前記領域において所定の重畳順序となるように配置する、
   請求項１に記載の画像表示装置。
3. 前記表示制御部は、前記情報入力部から入力される情報に応じて、前記領域における前２つの画像の重畳順序を切り替える画像切替部を有する、請求項２に記載の画像表示装置。
4. 前記表示制御部は、前記情報入力部から入力される情報に応じて、前記領域において表層側に重畳された画像の透明度を変化させる透明度調節部を有する、請求項２に記載の画像表示装置。
5. 前記画像設定部は、前記複数の画像上における任意の基準点と、当該画像表示装置の初期状態とを関連付け、
   前記表示制御部は、当該画像表示装置の前記初期状態からの変化に応じて、前記表示範囲を、前記複数の画像に割り当てられた前記天球面上の座標の前記基準点に対する相対位置に基づいてシフトさせる、
   請求項２〜４のいずれか１項に記載の画像表示装置。
6. 前記情報入力部は、当該画像表示装置の向き、傾き、若しくは位置の変化、又は、該変化の単位時間あたりの変化率の少なくともいずれかを検出するセンサである、請求項１〜５のいずれか１項に記載の画像表示装置。
7. 前記情報入力部は、前記表示部に対する操作に用いられるポインティングデバイスである、請求項１〜６のいずれか１項に記載の画像表示装置。
8. 共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像であって、各々は少なくともいずれかの方位における画角が３６０°に満たない画像であり、１つの方向における画角の合計が３６０°よりも大きい複数の画像を表す画像データを取得するステップ（ａ）と、
   ユーザの動作又はユーザによる操作に応じた情報を入力するするステップ（ｂ）と、
   前記画像データに基づき、ステップ（ｂ）において入力された情報に応じて、前記複数の画像のうち表示部に表示させる範囲である表示範囲を制御するステップ（ｃ）と、
   を含む画像表示方法。
9. 共通の撮影地点において互いに異なる方向を撮影することにより取得された複数の画像であって、各々は少なくともいずれかの方位における画角が３６０°に満たない画像であり、１つの方向における画角の合計が３６０°よりも大きい複数の画像を表す画像データを取得するステップ（ａ）と、
   ユーザの動作又はユーザによる操作に応じた情報を入力するするステップ（ｂ）と、
   前記画像データに基づき、ステップ（ｂ）において入力された情報に応じて、前記複数の画像のうち表示部に表示させる範囲である表示範囲を制御するステップ（ｃ）と、
   をコンピュータに実行させる画像表示プログラム。
   
   
   

Images