JP6143612B2

JP6143612B2 - パノラマ画像表示装置

Info

Publication number: JP6143612B2
Application number: JP2013181167A
Authority: JP
Inventors: 佐藤　康弘; 康弘佐藤; 史彦斎藤
Original assignee: Taisei Corp
Current assignee: Taisei Corp
Priority date: 2013-09-02
Filing date: 2013-09-02
Publication date: 2017-06-07
Anticipated expiration: 2033-09-02
Also published as: JP2015049716A

Description

本願発明は、３次元仮想空間に配置された球体状のパノラマ画像を表示するパノラマ画像表示装置に関する。

従来のパノラマ画像関連技術として、建築物の内部の所定位置から全方位画像を撮影し、パノラマ画像を表示する技術が知られている（例えば、特許文献１参照）。

特開２０１２−２２１３２４号公報

特許文献１に記載の発明は、パノラマ画像の撮影時にカメラを配置した中心位置で、そのパノラマ画像を表示する前提となっている。このため、特許文献１に記載の発明は、視点をパノラマ画像の中心点から移動させると、パノラマ画像が歪み、ユーザが違和感を覚えることがある。

ここで、ユーザが違和感を覚える原因について説明する。被写体に対して視点を平行に移動させた場合、近くの被写体が大きく移動し、遠くの被写体が小さく移動すれば、自然な移動感（画像変化の度合い）を再現できる。しかし、特許文献１に記載の発明は、被写体の遠近が被写体の移動量に反映されないので、パノラマ画像に含まれる被写体が歪み、自然な移動感を再現できなくなる。

そこで、本願発明は、視点を移動させたときの違和感が少ないパノラマ画像表示装置を提供することを課題とする。

前記した課題を解決するため、本願発明に係るパノラマ画像表示装置は、３次元仮想空間に配置された球体状のパノラマ画像を表示するパノラマ画像表示装置であって、パノラマ画像を記憶すると共に、所定の方向毎に、パノラマ画像の中心位置からパノラマ画像で撮影された被写体までの距離情報を記憶する記憶部と、３次元仮想空間におけるパノラマ画像の観察方向及び観察位置が入力されたときに、入力された観察方向に一致する方向の距離情報を記憶部から取得し、取得した距離情報が示す距離に応じてパノラマ画像の表示半径を算出する表示半径算出部と、表示半径算出部が算出した表示半径でパノラマ画像を表示するパノラマ画像表示部と、を備えることを特徴とする。

かかる構成によれば、パノラマ画像表示装置は、パノラマ画像の中心位置から被写体までの実際の距離をパノラマ画像の表示半径に反映させることで、パノラマ画像の歪みを減少させ、移動感を自然に近づけることができる。

また、本願発明に係るパノラマ画像表示装置は、記憶部が、中心位置が異なるパノラマ画像を複数記憶し、記憶部に記憶された複数のパノラマ画像から、入力された観察位置に最も近い中心位置のパノラマ画像を選択するパノラマ画像選択部、をさらに備え、表示半径算出部が、パノラマ画像選択部で選択されたパノラマ画像の表示半径を算出し、パノラマ画像表示部が、パノラマ画像選択部で選択されたパノラマ画像を、表示半径算出部が算出した表示半径で表示することが好ましい。

また、本願発明に係るパノラマ画像表示装置は、記憶部が、中心位置が異なるパノラマ画像を複数記憶し、記憶部に記憶された複数のパノラマ画像から、入力された観察位置と、距離情報が示す距離と、パノラマ画像の中心位置とに基づいて、１つのパノラマ画像を選択するパノラマ画像選択部、をさらに備え、表示半径算出部が、パノラマ画像選択部で選択されたパノラマ画像の表示半径を算出し、パノラマ画像表示部が、パノラマ画像選択部で選択されたパノラマ画像を、表示半径算出部が算出した表示半径で表示することが好ましい。

本願発明に係るパノラマ画像表示装置は、パノラマ画像の中心位置から被写体までの実際の距離をパノラマ画像の表示半径に反映させることで、パノラマ画像の歪みが減少し、移動感が自然に近くなるので、視点を移動させたときの違和感を少なくできる。

本願発明の第１実施形態に係るパノラマ画像表示システムの構成を示すブロック図である。図１の撮影装置を説明する説明図である。図１の入力装置を説明する説明図である。図１のパノラマ画像表示装置において、パノラマ画像の生成を説明する説明図である。図１のパノラマ画像表示装置において、距離情報の生成を説明する説明図である。図１のパノラマ画像表示装置において、パノラマ画像の表示半径算出の第１例を説明する説明図である。図１のパノラマ画像表示装置において、パノラマ画像の表示半径算出の第２例を説明する説明図である。図１のパノラマ画像表示装置において、パノラマ画像の表示半径算出の第３例を説明する説明図である。図１のパノラマ画像表示装置の動作を示すフローチャートである。本願発明の第２実施形態に係るパノラマ画像表示システムの構成を示すブロック図である。図１０のパノラマ画像表示装置において、パノラマ画像の選択を説明する説明図である。図１０のパノラマ画像表示装置の動作を示すフローチャートである。本願発明の実施例に係るパノラマ画像表示装置において、パノラマ画像の生成を説明する説明図である。本願発明の実施例に係るパノラマ画像表示装置において、パノラマ画像の第１の表示例を示す図である。本願発明の実施例に係るパノラマ画像表示装置において、パノラマ画像の第２の表示例を示す図である。本願発明の変形例に係るパノラマ画像表示装置において、パノラマ画像の表示半径算出を説明する説明図である。

（第１実施形態）
図１を参照し、本願発明の第１実施形態に係るパノラマ画像表示システム１について、説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

図１に示すように、パノラマ画像表示システム１は、全方位パノラマ画像を生成して表示するものであり、撮影装置１０と、入力装置２０と、パノラマ画像表示装置３０と、表示装置４０と、を備える。
例えば、本実施形態では、パノラマ画像表示システム１は、屋内のパノラマ画像を生成して表示することとする。

［撮影装置］
撮影装置１０は、パノラマ要素画像及びステレオ画像を撮影するものであり、撮影部１１Ｒ，１１Ｃ，１１Ｌと、駆動部１２と、制御部１３と、を備える。
撮影部１１Ｒ，１１Ｌは、後記する距離情報を生成するためのステレオ画像を撮影するステレオカメラである。
撮影部１１Ｃは、後記するパララマ画像を生成するためのパノラマ要素画像を撮影するカメラである。
駆動部１２は、撮影部１１Ｒ，１１Ｃ，１１Ｌをパン方向及びチルト方向に駆動する雲台である。

図２に示すように、撮影部１１Ｒ，１１Ｃ，１１Ｌは、同一の筐体内部に配置される。具体的には、撮影部１１Ｃが中央に位置し、撮影部１１Ｒ，１１Ｌが撮影部１１Ｃを挟んで位置する。また、撮影部１１Ｒ，１１Ｃ，１１Ｌは、互いの光軸が平行になるように駆動部１２に搭載される。さらに、撮影部１１Ｒ，１１Ｌは、同一の焦点距離であることが好ましい。一方、撮影部１１Ｃは、撮影部１１Ｒ，１１Ｌの焦点距離と異なってもよい。

図１に戻り、撮影装置１０の説明を続ける。
制御部１３は、パノラマ画像の生成に必要な画像を撮影できるように、撮影装置１０を制御するものである。具体的には、制御部１３は、撮影部１１Ｒ，１１Ｃ，１１Ｌが上を向くように駆動部１２を駆動し、撮影部１１Ｒ，１１Ｃ，１１Ｌに撮影させる。続いて、制御部１３は、上を向いた撮影部１１Ｒ，１１Ｃ，１１Ｌが回転するように駆動部１２を駆動し、撮影部１１Ｒ，１１Ｃ，１１Ｌに撮影させる。この制御を繰り返して、制御部１３は、上部一周分のパノラマ要素画像を撮影させる。そして、制御部１３は、撮影部１１Ｒ，１１Ｃ，１１Ｌが下を向くように駆動部１２を駆動した後、一周分のパノラマ要素画像を撮影させることを繰り返す。このようにして、撮影装置１０は、パノラマ画像の生成に必要なパノラマ要素画像及びステレオ画像を自動的に撮影できる。その後、制御部１３は、撮影部１１Ｃが撮影したパノラマ要素画像と、撮影部１１Ｒ，１１Ｌが撮影したステレオ画像とを、画像記憶部３１に書き込む。

なお、制御部１３は、パノラマ要素画像及びステレオ画像を撮影した撮影部１１Ｒ，１１Ｃ，１１Ｌと、パノラマ要素画像及びステレオ画像の撮影順序とを示す識別情報をパノラマ要素画像に付与してもよい。
また、制御部１３がパノラマ要素画像及びステレオ画像をＳＤカード等の記憶媒体に書き込んで、パノラマ画像表示装置３０が記憶媒体からパノラマ要素画像及びステレオ画像を読み出してもよい。

［入力装置］
入力装置２０は、ユーザの操作に応じて、パノラマ画像の観察方向及び観察位置を表示制御部３５及びパノラマ画像表示部３６に出力するものである。例えば、入力装置２０は、図示を省略したキーボード及びマウスで構成される。

ここで、観察方向及び観察位置の入力について、簡単に説明する。
図３に示すように、表示装置４０に表示されたパノラマ画面５０には、観察方向５１と、観察位置を示す矢印５２とが含まれている。例えば、観察方向５１は、３次元座標空間で北を基準として、中心位置から見た方向を表している。また、観察位置５２は、一定の方向毎に矢印として表示され、現在の観察位置から矢印の方向に一定量だけ移動することを示す。
なお、図３では、球体状のパノラマ画像のうち、一定の角度に収まって表示装置４０に表示された部分をパノラマ画面５０として図示した。

例えば、観察方向を変えたい場合、ユーザは、所望する観察方向５１がパノラマ画像５０の中央となるように、マウスをドラッグする。すると、パノラマ画像５０の中央が、パノラマ画像表示装置３０に観察方向として入力される。また、観察位置を変えたい場合、ユーザは、所望の矢印５２をマウスでクリックする。すると、今までの観察位置から矢印５２の方向に一定量だけ移動した位置が、パノラマ画像表示装置３０に観察位置として入力される。

３次元仮想空間とは、パノラマ画像の撮影対象となった空間を表す３次元モデルである。例えば、本実施形態では、３次元仮想空間は、屋内を表している。
以下、説明を簡易にするため、水平軸、垂直軸及び奥行軸からなる３次元仮想空間において、観察位置は、水平軸及び奥行軸の平面上で入力され、その高さが撮影部１１Ｃの同じ高さで一定であることとする。一方、観察方向は、水平軸、垂直軸及び奥行軸の３次元方向で入力されることとする。

［パノラマ画像表示装置］
図１に戻り、パノラマ画像表示装置３０について、説明する。
パノラマ画像表示装置３０は、球体状のパノラマ画像を表示するものであり、画像記憶部３１と、記憶部３２と、パノラマ画像生成部３３と、距離情報生成部３４と、表示制御部３５と、パノラマ画像表示部３６と、を備える。

画像記憶部３１は、撮影装置１０が撮影したパノラマ要素画像及びステレオ画像を記憶する、例えば、メモリ、ハードディスク等の記憶装置である。
記憶部３２は、パノラマ画像５０及び距離情報を記憶する、例えば、メモリ、ハードディスク等の記憶装置である。

パノラマ画像生成部３３は、画像記憶部３１に記憶された撮影部１１Ｃのパノラマ要素画像を用いて、パノラマ画像５０を生成するものである。例えば、本実施形態では、パノラマ画像生成部３３が、１つのパノラマ画像５０を生成することとする。

＜パノラマ画像の生成＞
図４を参照し、パノラマ画像生成部３３によるパノラマ画像５０の生成について、詳細に説明する（適宜図１参照）。
具体的には、パノラマ画像生成部３３は、予め設定されたパノラママップ６０の板モデル６１にパノラマ要素画像をマッピングすることで、パノラマ画像５０を生成する。
パノラママップ６０は、複数の板モデル６１を球体状に配置して構成されている。パノラママップ６０（複数の板モデル６１によって構成された球体）の中心位置は、撮影装置１０の設置位置に対応している。各板モデル６１は、撮影部１１Ｃのパノラマ要素画像の撮影範囲に対応している。すなわち、板モデル６１は、撮影部１１Ｃのパノラマ要素画像と同数である。

パノラママップ６０の中心位置と隣り合う板モデル６１の各中心とをそれぞれ結んだ二本の線分からなる角の角度は、撮影装置１０の設置位置で隣り合う画像を撮影したときの撮影部１１による撮影方向の角度差に対応している。また、各板モデル６１の縦横比は、各パノラマ要素画像の縦横比に対応している。また、複数の板モデル６１によって構成された球の中心位置から板モデル６１までの距離及び板モデル６１の縦横サイズは、撮影部１１Ｃの焦点距離及びパノラマ要素画像の縦横サイズに対応している。

また、各板モデル６１には、パノラマ要素画像と同様に識別情報が付与されている。これによって、パノラマ画像生成部３３は、パノラマ要素画像に付与された識別情報と板モデル６１に付与された識別情報とに基づいて、パノラマ要素画像を対応する板モデル６１にマッピングすることで、パノラマ画像５０を生成できる。

そして、パノラマ画像生成部３３は、生成したパノラマ画像５０を３次元仮想空間に対応付けて、記憶部３２に書き込む。前記したように、撮影装置１０の設置位置がパノラマ画像５０の中心位置と同じであり、パノラマ要素画像の撮影時に撮影装置１０を屋内に設置した位置も既知である。従って、パノラマ画像生成部３３は、パノラマ画像５０の中心位置を３次元仮想空間に対応付けることができる。

なお、パノラマ画像５０の生成手法は、例えば、特開２０１２−２２１３２４号公報に記載されているため、これ以上の説明を省略する。
また、パノラマ画像表示装置３０は、パノラマ画像５０の生成手法がこれに限定されない。

距離情報生成部３４は、画像記憶部３１に記憶されたステレオ画像を用いて、距離情報を生成するものである。

＜距離情報の生成＞
図５を参照し、距離情報生成部３４による距離情報の生成について、詳細に説明する（適宜図１参照）。
図５では、屋内を表した３次元仮想空間を符号７０で図示した。また、図５では、水平軸上での左右と、奥行軸上での前後とを図示した。

距離情報は、所定の方向毎に、撮影装置１０の設置位置（パノラマ画像５０の中心位置５０ａ）から、パノラマ画像５０で撮影された被写体までの距離を表した情報である。図５では、距離情報は、中心位置５０ａから、被写体としての、屋内に存在する壁面までの距離を表している。

具体的には、距離情報生成部３４は、ステレオ視の原理により、撮影装置１０から被写体までの距離を求める。例えば、距離情報生成部３４は、画像記憶部３１に記憶されたステレオ画像にマッチングを施し、ステレオ画像間で被写体の視差を求める。そして、距離情報生成部３４は、被写体の視差に応じて、撮影装置１０から被写体までの距離を求める。

図５に示すように、距離情報生成部３４は、中心位置５０ａから３次元仮想空間７０の各頂点に向かう４方向と、中心位置５０ａから前後左右の４方向との合計８方向で、距離情報を生成している。例えば、中心位置５０ａから右方向であれば、距離情報は、中心位置５０ａから右壁面までの距離Ｌ１を示す。また、中心位置５０ａから後方向であれば、距離情報は、中心位置５０ａから後壁面までの距離Ｌ２を示す。また、中心位置５０ａから左方向であれば、距離情報は、中心位置５０ａから左壁面までの距離Ｌ３を示す。

ここで、入力装置２０には、距離情報を生成していない観察方向が入力される場合もある。従って、距離情報生成部３４は、生成していない方向の距離情報を補間（例えば、線形補間、スプライン補間）することが好ましい。その後、距離情報生成部３４は、生成及び補間した距離情報を、パノラマ画像５０に対応付けて記憶部３２に書き込む。

図１に戻り、パノラマ画像表示装置３０の説明を続ける。
表示制御部３５は、パノラマ画像５０の表示制御を行うものであり、表示半径算出部３５ａを備える。

表示半径算出部３５ａは、入力装置２０から入力された観察方向及び観察位置に基づいて、記憶部３２から距離情報を取得するものである。そして、表示半径算出部３５ａは、取得した距離情報に応じてパノラマ画像５０の表示半径を算出し、パノラマ画像表示部３６に出力する。
なお、表示半径算出部３５ａの詳細は、後記するパノラマ画像の表示半径算出で説明する。

パノラマ画像表示部３６は、表示半径算出部３５ａから入力された表示半径で、パノラマ画像５０を表示装置４０に表示させるものである。具体的には、パノラマ画像表示部３６は、入力装置２０から観察方向及び観察位置が入力されると共に、記憶部３２からパノラマ画像５０を読み出す。そして、パノラマ画像表示部３６は、入力された表示半径となるようにパノラマ画像５０を拡大又は縮小する。さらに、パノラマ画像表示部３６は、拡大又は縮小したパノラマ画像５０から、表示装置４０に表示される領域（以後、表示領域）を切り出して、表示装置４０に出力する。
なお、パノラマ画像表示部３６は、後記するパノラマ画像非表示通知が入力された場合、表示装置４０にパノラマ画像５０の表示領域を出力しない。

ここで、パノラマ画像５０を拡大又は縮小した後、表示領域を切り出す理由について、簡単に説明する。拡大又は縮小された状態のパノラマ画像５０に対し、観察位置５２の移動を行って（中心位置５０ａからずれる）、移動後の観察位置５２で視野角が決まることで、表示装置４０に表示される画面内容（表示領域）が初めて定まる。

［表示装置］
表示装置４０は、パノラマ画像表示装置３０から入力されたパノラマ画像５０（正確にはパノラマ画像５０の表示領域）を表示するものである。例えば、表示装置４０としては、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイがあげられる。

＜パノラマ画像の表示半径算出：第１例＞
図６を参照し、パノラマ画像の表示半径算出について、第１例を説明する（適宜図１参照）。
図６では、観察位置を黒丸５２_１，５２_２で図示し、各観察位置５２_１，５２_２から見た観察方向を矢印５１_１，５１_２で図示した。
また、図５の距離情報が記憶部３２に記憶されていることとする。

まず、観察位置５２_１及び観察方向５１_１が入力された場合を考える。
図６に示すように、表示半径算出部３５ａは、記憶部３２から、観察方向５１_１と同じ方向の距離情報を取得する。つまり、表示半径算出部３５ａは、観察方向５１_１が右を向いているので、右方向の距離情報を記憶部３２から取得する。従って、取得した距離情報は、距離Ｌ１を示している。

そして、表示半径算出部３５ａは、取得した距離情報が示す距離Ｌ１に応じて、パノラマ画像５０の表示半径を算出する。例えば、表示半径算出部３５ａは、実空間で求められた距離Ｌ１を、パノラマ画像５０が配置された３次元仮想空間７０での距離Ｌ１に変換する。従って、３次元仮想空間７０において、パノラマ画像５０の表示半径は、中心位置５０ａから右壁面までの距離Ｌ１と等しくなる。

次に、観察位置５２_２及び観察方向５１_２が入力された場合を考える。
表示半径算出部３５ａは、観察方向５１_２が右を向いているので、観察方向５１_１と同様、パノラマ画像５０の表示半径をＬ１と算出する。つまり、表示半径算出部３５ａは、観察方向５１_１，５１_２だけを考慮し、観察位置５２_１，５２_２を考慮せずに、パノラマ画像５０の表示半径を算出する。

＜パノラマ画像の表示半径算出：第２例＞
図７を参照し、パノラマ画像の表示半径算出について、第２例を説明する（適宜図１，図６参照）。

まず、観察位置５２_１及び観察方向５１_１が入力された場合を考える。
図７に示すように、表示半径算出部３５ａは、観察方向５１_１が後を向いているので、後方向の距離情報を記憶部３２から取得する。従って、取得した距離情報は、距離Ｌ２を示している。

そして、表示半径算出部３５ａは、第１例と同様、取得した距離情報が示す距離Ｌ２に応じて、パノラマ画像５０の表示半径を算出する。従って、３次元仮想空間７０において、パノラマ画像５０の表示半径は、中心位置５０ａから後壁面までの距離Ｌ２と等しくなる。

次に、観察位置５２_２及び観察方向５１_２が入力された場合を考える。
表示半径算出部３５ａは、観察方向５１_２が後を向いているので、観察方向５１_１と同様、パノラマ画像５０の表示半径をＬ２と算出する。つまり、表示半径算出部３５ａは、第１例と同様、観察方向５１_１，５１_２だけを考慮して、観察位置５２_１，５２_２を考慮せずに、パノラマ画像５０の表示半径を算出する。

前記した第１例及び第２例をまとめると、以下のようにパノラマ画像が表示されることになる。例えば、ユーザが観察方向を右で入力すると、パノラマ画像表示装置３０は、表示半径がＬ１となる、大きなパノラマ画像５０を表示する（図６）。そして、ユーザが観察方向を後に変更すると、パノラマ画像表示装置３０は、パノラマ画像５０の表示半径をＬ１からＬ２まで縮小して表示する（図７）。

＜パノラマ画像の表示半径算出：第３例＞
図８を参照し、パノラマ画像の表示半径算出について、第３例を説明する（適宜図１参照）。

図８のように、表示半径算出部３５ａは、観察方向５１が左を向いているので、第１例及び第２例と同様、パノラマ画像５０の表示半径をＬ３と算出する。この場合、中心位置５０ａから観察位置５２までの距離Ｌ４が、パノラマ画像５０の表示半径Ｌ３よりも大きくなる。つまり、観察位置５２は、パノラマ画像５０の表示範囲から外れてしまう。そこで、表示半径算出部３５ａは、パノラマ画像５０の表示半径Ｌ３が距離Ｌ４以上となるように、パノラマ画像５０を拡大する。

具体的には、表示半径算出部３５ａは、距離情報から算出したパノラマ画像５０の表示半径Ｌ３と、距離Ｌ４とを比較する。
パノラマ画像５０の表示半径Ｌ３が距離Ｌ４以上の場合、表示半径算出部３５ａは、パノラマ画像５０の表示半径Ｌ３をそのまま利用する。この場合、パノラマ画像５０が表示されることになる。
パノラマ画像５０の表示半径Ｌ３が距離Ｌ４未満の場合、表示半径算出部３５ａは、距離Ｌ４と、距離Ｌ５とを比較する。この距離Ｌ５は、中心位置５０ａと距離Ｌ４との線分を壁面（想定壁）まで延長した延長線が示す距離である。つまり、距離Ｌ５は、距離Ｌ４を想定壁まで延長した距離である。

距離Ｌ４が距離Ｌ５以下の場合、表示半径算出部３５ａは、表示距離Ｌ３に予め設定された係数αを乗じた値を、パノラマ画像５０’の表示半径として算出する。
距離Ｌ４が距離Ｌ５を超える場合、表示半径算出部３５ａは、観察位置５２が想定壁面の向こう側に移動したと考えられるため、パノラマ画像５０を表示しない旨の通知（パノラマ画像非表示通知）を、パノラマ画像表示部３６に出力する。

ここで、係数αは、表示領域を拡大するための係数であり、通常、１．０で設定される。また、係数αは、パノラマ画像５０が不自然に歪まないように、１．０以上２．０以下の範囲内で設定されてもよい。さらに、係数αは、観察方向５１の反対方向（右側）で中心位置５０ａから壁面までの距離Ｌ１と（図５）と、観察方向５１（左側）で中心位置５０ａから壁面までの距離Ｌ３との比で設定されてもよい（α＝Ｌ１／Ｌ３）。

[パノラマ画像表示装置の動作]
図９を参照し、図１のパノラマ画像表示装置３０の動作について、説明する（適宜図１参照）。

パノラマ画像表示装置３０は、撮影装置１０で撮影されたパノラマ要素画像及びステレオ画像を画像記憶部３１に記憶する（ステップＳ１）。

パノラマ画像表示装置３０は、パノラマ画像生成部３３によって、画像記憶部３１に記憶された撮影部１１Ｃのパノラマ要素画像を用いて、パノラマ画像を生成する。具体的には、パノラマ画像生成部３３は、パノラママップの板モデルにパノラマ要素画像をマッピングすることで、パノラマ画像を生成する（ステップＳ２）。

パノラマ画像表示装置３０は、距離情報生成部３４によって、画像記憶部３１に記憶されたステレオ画像を用いて、所定の方向毎に距離情報を生成する。具体的には、距離情報生成部３４は、ステレオ視の原理により、撮影装置１０から被写体までの距離を求め、距離情報を生成する（ステップＳ３）。

パノラマ画像表示装置３０は、表示制御部３５及びパノラマ画像表示部３６に、入力装置２０からパノラマ画像の観察方向及び観察位置が入力される（ステップＳ４）。

パノラマ画像表示装置３０は、表示半径算出部３５ａによって、ステップＳ４で入力された観察方向に基づいて、記憶部３２から距離情報を取得し、取得した距離情報に応じてパノラマ画像の表示半径を算出する（ステップＳ５）。

パノラマ画像表示装置３０は、パノラマ画像表示部３６によって、ステップＳ５で算出した表示半径で、パノラマ画像を表示装置４０に表示させる。具体的には、パノラマ画像表示部３６は、ステップＳ５で算出した表示半径となるように、パノラマ画像を拡大又は縮小する。さらに、パノラマ画像表示部３６は、拡大又は縮小したパノラマ画像５０から表示領域を切り出して、表示装置４０に出力する（ステップＳ６）。

[作用・効果]
図６，図７に示すように、パノラマ画像表示装置３０は、パノラマ画像の表示半径に実際の被写体までの距離を反映させることで、パノラマ画像の歪みが減少し、移動感が自然に近くなるので、視点を移動させたときの違和感を少なくできる。
さらに、図８に示すように、パノラマ画像表示装置３０は、パノラマ画像５０の表示半径Ｌ３が距離Ｌ４以上となるように、パノラマ画像５０の表示半径を拡大する。これによって、パノラマ画像表示装置３０は、パノラマ画像５０の表示範囲から観察位置が外れることを防止できる。

（第２実施形態）
図１０を参照し、本願発明の第２実施形態に係るパノラマ画像表示システム１Ｂについて、第１実施形態と異なる点を説明する。
パノラマ画像表示システム１Ｂは、異なる撮影位置で撮影された複数のパノラマ画像を切り替えて表示する点が、第１実施形態と異なる。

図１０に示すように、パノラマ画像表示システム１Ｂは、全方位パノラマ画像を生成して表示するものであり、撮影装置１０と、入力装置２０と、パノラマ画像表示装置３０Ｂと、表示装置４０と、を備える。

パノラマ画像表示装置３０Ｂは、複数のパノラマ画像を生成し、切り替えて表示するものであり、画像記憶部３１と、記憶部３２Ｂと、パノラマ画像生成部３３と、距離情報生成部３４と、表示制御部３５Ｂと、パノラマ画像表示部３６Ｂと、を備える。

記憶部３２Ｂは、複数のパノラマ画像と、パノラマ画像毎の距離情報とを記憶する、例えば、メモリ、ハードディスク等の記憶装置である。ここで、記憶部３２Ｂは、パノラマ画像を一意に識別する識別情報が、各パノラマ画像に付加されていることとする。例えば、本実施形態では、記憶部３２Ｂは、２個のパノラマ画像を記憶することとする。

図１１に示すように、パノラマ画像５０_１，５０_２は、それぞれの中心位置５０ａ_１，５０ａ_２が異なるように、３次元仮想空間７０の左右に配置されている。また、パノラマ画像５０_１，５０_２は、３次元仮想空間７０の中央付近で互いに重複している。

なお、パノラマ画像５０は、中心位置５０ａが異なっていれば、３次元仮想空間７０に何処に配置してもよい。また、パノラマ画像５０は、配置する間隔が任意であり、互いに重複しなくともよい。また、パノラマ画像５０は、３次元仮想空間７０に配置できる個数が制限されない。また、個々のパノラマ画像５０の生成手法は、第１実施形態と同様のため、説明を省略する。

表示制御部３５Ｂは、パノラマ画像５０の表示制御を行うものであり、表示半径算出部３５ａと、パノラマ画像選択部３５ｂとを備える。
パノラマ画像選択部３５ｂは、記憶部３２に記憶された複数のパノラマ画像５０から、観察位置が中心位置に最も近くなるパノラマ画像５０を選択するものである。
なお、表示半径算出部３５ａは、パノラマ画像選択部３５ｂが選択したパノラマ画像５０の表示半径を、第１実施形態と同様に算出するので、詳細な説明を省略する。

＜パノラマ画像の選択：第１例＞
図１１を参照して、パノラマ画像選択部３５ｂによるパノラマ画像５０の選択について、第１例を説明する（適宜図１０参照）。

パノラマ画像選択部３５ｂは、記憶部３２から、全てのパノラマ画像５０を読み出す。また、パノラマ画像選択部３５ｂは、各パノラマ画像５０の中心位置５０ａと、観察位置５２との距離を求める。そして、パノラマ画像選択部３５ｂは、各パノラマ画像５０で求めた距離を比較し、距離が短い方のパノラマ画像５０を選択する。

まず、観察位置５２_１が入力された場合を考える。
この場合、中心位置５０ａ_１と観察位置５２_１との距離が、中心位置５０ａ_２と観察位置５２_１との距離よりも短い。従って、パノラマ画像選択部３５ｂは、パノラマ画像５０_１を選択する。

次に、観察位置５２_２が入力された場合を考える。
この場合、中心位置５０ａ_２と観察位置５２_２との距離が、中心位置５０ａ_１と観察位置５２_２との距離よりも短い。従って、パノラマ画像選択部３５ｂは、パノラマ画像５０_２を選択する。

つまり、パノラマ画像選択部３５ｂは、図１１の一点鎖線を境として、観察位置５２が３次元仮想空間７０の左側にある場合、パノラマ画像５０_１を選択する。一方、パノラマ画像選択部３５ｂは、図１１の一点鎖線を境として、観察位置５２が３次元仮想空間７０の右側にある場合、パノラマ画像５０_２を選択する。その後、パノラマ画像選択部３５ｂは、選択したパノラマ画像５０の識別情報を、パノラマ画像表示部３６Ｂに出力する。

＜パノラマ画像の選択：第２例＞
続いて、パノラマ画像選択部３５ｂによるパノラマ画像５０の選択について、第２例を説明する。

パノラマ画像選択部３５ｂは、記憶部５０に記憶された複数のパノラマ画像５０から、入力された観察位置５２と、有効範囲と、中心位置５０ａとに基づいて、１つのパノラマ画像５０を選択する。通常、屋内には壁面が存在することから、パノラマ画像５０の有効範囲は、中心位置５０ａから壁面までと考えられる。そこで、パノラマ画像選択部３５ｂは、距離情報が示す距離を、パノラマ画像５０の有効範囲として扱う。

以下、パノラマ画像５０_１が表示中であり、観察位置５２_１が入力されたこととして説明する。
具体的には、パノラマ画像選択部３５ｂは、表示中のパノラマ画像５０_１の中心位置５０ａ_１から観察位置５２までの取得基準方向を求める。また、パノラマ画像選択部３５ｂは、記憶部３２から、求めた取得基準方向と同じ方向の距離情報を取得し、取得した距離情報が示す距離を、パノラマ画像５０_１の有効範囲とする。そして、パノラマ画像選択部３５ｂは、中心位置５０ａ_１から観察位置５２までの判定基準距離を求める。さらに、パノラマ画像選択部３５ｂは、求めた判定基準距離がパノラマ画像５０_１の有効範囲を超えたか否かを判定する。

求めた判定基準距離が有効範囲を超えた場合、パノラマ画像選択部３５ｂは、例えば第１例と同様の手法により、最適なパノラマ画像５０を１つ選択する。ここで、最適なパノラマ画像５０を選択できない場合、パノラマ画像選択部３５ｂは、表示中のパノラマ画像５０_１を選択、又は、パノラマ画像非表示通知をパノラマ画像表示部３６に出力してもよい。

求めた判定基準距離が有効範囲以内の場合、パノラマ画像選択部３５ｂは、表示中のパノラマ画像５０_１をそのまま選択する。
その後、パノラマ画像選択部３５ｂは、選択したパノラマ画像５０の識別情報を、パノラマ画像表示部３６Ｂに出力する。

この第２例の手法によれば、パノラマ画像表示装置３０Ｂは、壁面の向こう側に位置するパノラマ画像５０に切り替えて表示することを抑制できる。
なお、パノラマ画像選択部３５ｂは、第１例又は第２例の何れを用いるか、手動で設定される。

図１０に戻り、パノラマ画像表示装置３０Ｂの説明を続ける。
パノラマ画像表示部３６Ｂは、パノラマ画像選択部３５ｂから入力された識別情報のパノラマ画像を、表示装置４０に表示させるものである。具体的には、パノラマ画像表示部３６Ｂは、パノラマ画像選択部３５ｂから入力された識別情報に一致するパノラマ画像を記憶部３２Ｂから読み出す。そして、パノラマ画像表示部３６Ｂは、第１実施形態と同様、表示半径算出部３５ａから入力された表示半径で、パノラマ画像を表示装置４０に表示させる。

[パノラマ画像表示装置の動作]
図１２を参照し、図１０のパノラマ画像表示装置３０Ｂの動作について、説明する（適宜図１０参照）。
ステップＳ１〜Ｓ４は、図９と同様のため、説明を省略する。

パノラマ画像表示装置３０Ｂは、パノラマ画像選択部３５ｂによって、前記した第１例又は第２例の手法により、記憶部３２に記憶された複数のパノラマ画像５０から、１つのパノラマ画像５０を選択する（ステップＳ１０）。

パノラマ画像表示装置３０Ｂは、表示半径算出部３５ａによって、ステップＳ４で入力された観察方向に基づいて、記憶部３２から距離情報を取得し、取得した距離情報に応じて、ステップＳ１０で選択されたパノラマ画像の表示半径を算出する（ステップＳ１１）。

パノラマ画像表示装置３０Ｂは、パノラマ画像表示部３６Ｂによって、ステップＳ１０で選択されたパノラマ画像を、ステップＳ１１で算出した表示半径で表示装置４０に表示させる（ステップＳ１２）。

[作用・効果]
パノラマ画像表示装置３０Ｂは、第１実施形態と同様、視点を移動させたときの違和感を少なくすると共に、パノラマ画像５０の表示範囲から観察位置が外れることを防止できる。
さらに、図１１に示すように、パノラマ画像表示装置３０Ｂは、複数のパノラマ画像５０を切り替えるので、例えば、障害物の裏側を表示するように、様々な視点でパノラマ画像を表示することができる。

図１３〜図１５を参照し、本願発明の実施例に係るパノラマ画像表示システム（以後、パノラマ画像表示システム１Ｃと呼ぶ）について、説明する。
図１３では、天井内部を表した３次元仮想空間７０において、梁、ブリーズライン等の障害物が存在する箇所をハッチングで図示した。

パノラマ画像表示システム１Ｃは、図１０のパノラマ画像表示システム１Ｂと同様の構成であり、天井内部を撮影したパノラマ画像を生成、表示するものである。図１３に示すように、パノラマ画像表示システム１Ｃは、撮影装置１０を天井に設けられた第１の点検口（中心位置５０ａ_１）に挿入し、第１の点検口から天井内部を撮影し、パノラマ画像５０_１を生成する。図１４のパノラマ画像５０_１は、観察方向５１_１で中心位置５０ａ_１から天井内部を表示したものである。

また、パノラマ画像表示システム１Ｃは、撮影装置１０を第２の点検口（中心位置５０ａ_２）に挿入し、第２の点検口から天井内部を撮影し、パノラマ画像５０_２を生成する。図１５のパノラマ画像５０_２は、観察方向５１_２で中心位置５０ａ_２から天井内部を表示したものである。

図１４に示すように、パノラマ画像５０_１は、障害物で視界が遮られるため、その裏側を表示できない。そこで、ユーザが観察位置をパノラマ画像５０_２に近づけることで、パノラマ画像表示システム１Ｃは、パノラマ画像５０_１をパノラマ画像５０_２に切り替えて表示する。すると、図１５に示すように、パノラマ画像表示システム１Ｃは、パノラマ画像５０_２により、障害物の裏側を表示することができる。

このように、パノラマ画像表示システム１Ｃは、複数のパノラマ画像５０を３次元仮想空間７０に配置し、表示するパノラマ画像５０を切り替えるので、障害物の裏側も表示することができる。従って、パノラマ画像表示システム１Ｃは、普段目にすることが少ない天井内部を、分かりやすく表示することができる。

（変形例）
本願発明に係るパノラマ画像表示装置は、前記した実施形態に限定されず、その趣旨を逸脱しない範囲で変形を加えることができる。
前記した実施形態では、ステレオ画像を用いて距離情報を生成することとして説明したが、これに限定されない。例えば、パノラマ画像表示装置は、レーザ距離計、ＧＰＳ（Global Positioning System）等の計測装置により距離を計測し、距離情報を生成してもよい。さらに、パノラマ画像表示装置は、手動で測量された距離に基づいて、距離情報を生成してもよい。

前記した実施形態では、パノラマ画像の表示半径を算出する際、観察方向のみを利用することとして説明したが、これに限定されない。例えば、記憶部には、屋内で壁面の位置を示す壁面位置データを予め記憶しておく。図１６に示すように、表示半径算出部は、壁面位置データを用いて、入力された観察方向５１を向いたときの、観察位置５２に正対する壁面上の正対位置５３を求める。そして、表示半径算出部は、中心位置５０ａから正対位置５３までの距離Ｌ６を、パノラマ画像の表示半径として算出する。

さらに、算出した表示半径が、中心位置５０ａから観察位置５２までの距離（図８の距離Ｌ４）よりも小さい場合もある。この場合、表示半径算出部は、パノラマ画像の表示半径算出の第３例で説明した手法を用いて、算出した表示半径を拡大してもよい。

１，１Ｂパノラマ画像表示システム
１０撮影装置
１１Ｒ，１１Ｃ，１１Ｌ撮影部
１２駆動部
１３制御部
２０入力装置
３０，３０Ｂパノラマ画像表示装置
３１パノラマ要素画像記憶部
３２，３２Ｂ記憶部
３３パノラマ画像生成部
３４距離情報生成部
３５，３５Ｂ表示制御部
３５ａ表示半径算出部
３５ｂパノラマ画像選択部
３６パノラマ画像表示部
４０表示装置

Claims

３次元仮想空間に配置された球体状のパノラマ画像を表示するパノラマ画像表示装置であって、
前記パノラマ画像を記憶すると共に、所定の方向毎に、前記パノラマ画像の中心位置から当該パノラマ画像で撮影された被写体までの距離情報を記憶する記憶部と、
前記３次元仮想空間におけるパノラマ画像の観察方向及び観察位置が入力されたときに、入力された前記観察方向に一致する方向の前記距離情報を前記記憶部から取得し、取得した当該距離情報が示す距離に応じて前記パノラマ画像の表示半径を算出する表示半径算出部と、
前記表示半径算出部が算出した表示半径で前記パノラマ画像を表示するパノラマ画像表示部と、
を備えることを特徴とするパノラマ画像表示装置。
前記記憶部は、中心位置が異なる前記パノラマ画像を複数記憶し、
前記記憶部に記憶された複数のパノラマ画像から、入力された前記観察位置に最も近い中心位置のパノラマ画像を選択するパノラマ画像選択部、をさらに備え、
前記表示半径算出部は、前記パノラマ画像選択部で選択されたパノラマ画像の表示半径を算出し、
前記パノラマ画像表示部は、前記パノラマ画像選択部で選択されたパノラマ画像を、当該表示半径算出部が算出した表示半径で表示することを特徴とする請求項１に記載のパノラマ画像表示装置。
前記記憶部は、中心位置が異なる前記パノラマ画像を複数記憶し、
前記記憶部に記憶された複数のパノラマ画像から、入力された前記観察位置と、前記距離情報が示す距離と、前記パノラマ画像の中心位置とに基づいて、１つのパノラマ画像を選択するパノラマ画像選択部、をさらに備え、
前記表示半径算出部は、前記パノラマ画像選択部で選択されたパノラマ画像の表示半径を算出し、
前記パノラマ画像表示部は、前記パノラマ画像選択部で選択されたパノラマ画像を、当該表示半径算出部が算出した表示半径で表示することを特徴とする請求項１に記載のパノラマ画像表示装置。