WO2017056942A1

WO2017056942A1 - 画像処理装置及び撮像装置及び画像処理方法及びプログラム

Info

Publication number: WO2017056942A1
Application number: PCT/JP2016/076806
Authority: WO
Inventors: 宗之大島
Original assignee: 富士フイルム株式会社
Priority date: 2015-09-30
Filing date: 2016-09-12
Publication date: 2017-04-06
Also published as: US20180220071A1; JPWO2017056942A1; CN108141511B; JP6335395B2; US10530998B2; CN108141511A

Abstract

本発明は、撮像ユニットの撮像範囲を水平方向に移動させながら連続して撮像を実行して得られた複数の撮像画像から、被写体の俯瞰と詳細確認とを可能にする画像処理装置及び撮像装置及び画像処理方法及びプログラムを提供する。本発明の実施態様では、撮像ユニットの撮像範囲を水平方向に移動させながら連続して撮像を実行して得られた複数の撮像画像からパノラマ画像を生成する。複数の撮像画像をオリジナル画像として画像記憶部に記憶させる。パノラマ画像の中で拡大表示する表示領域を設定する。表示領域がオリジナル画像の撮像範囲内であるか否かを判定する。否と判定した場合、パノラマ画像から表示領域をトリミングして表示部に拡大表示させ、オリジナル画像の撮像範囲内であると判定した場合、オリジナル画像の中から表示領域に対応する対応領域をトリミングして表示部に表示させる。

Description

画像処理装置及び撮像装置及び画像処理方法及びプログラム

　本発明は、撮像ユニットの撮像範囲を水平方向に移動させながら連続して撮像を実行して得られた複数の撮像画像を画像処理する画像処理装置及び撮像装置及び画像処理方法及びプログラムに関する。

　近年、パン方向及びチルト方向に回転可能な撮像ユニットが知られている。この撮像ユニットを、一定の回転角度ずつ水平方向に回転（パンニング）させながら各回転角度位置において撮像を実行させることにより、撮像ユニットの周囲の被写体の撮像画像が複数得られる。そして、これら複数の撮像画像を表示部に表示することで、撮像ユニットの周囲の被写体を確認することができる。ただし、撮像画像の数が大量である場合には、表示部に現在表示されている撮像画像がどの方向を撮像したものであるかを把握し難いという問題や、撮像画像間を跨いだ被写体の位置関係を把握し難いという問題がある。

　そこで、撮像ユニットを回転させながら連続して撮像を実行して得られた複数の撮像画像であって、且つ連続する撮像の前後で撮像範囲の一部を重複させながら撮像を実行して得られた複数の撮像画像を、連続する前後の撮像画像間の重複領域同士を重ね合せた状態で連結してパノラマ画像を生成する方法が知られている。パノラマ画像は超広角画像であるため、ユーザは被写体の全体を俯瞰することが可能になり、被写体の位置関係が把握し易くなる。

　特許文献１には、撮像ユニットの画角情報に基づき、撮像ユニットを水平方向に回転させながら連続して撮像を実行することにより得られた複数の撮像画像に対して円筒変換処理を行い、円筒変換処理後の撮像画像を連結してパノラマ画像を生成する方法が記載されている。

　特許文献２には、撮像範囲の一部が重複するように配置された複数のカメラを用いて撮像を行い、１つの基準カメラで撮像された撮像画像の座標に合わせて、他のカメラで撮像された撮像画像の座標を幾何変換した後、各撮像画像を連結してパノラマ画像を生成する方法が記載されている。

　特許文献３には、撮像地点を中心とする周囲３６０°以上のパノラマ画像を生成し、この３６０°以上のパノラマ画像の始端と終端とに含まれる共通被写体同士を重ね合せることにより、３６０°のパノラマ画像を生成する方法が記載されている。

特開２０００－１２５１９０号公報特開２００２－９４８４９号公報国際公開第２０１３／０１５０２４号

　ところで、近年の撮像ユニットに搭載されるイメージセンサの高画素化に伴い、撮像ユニットにより撮像される撮像画像も高解像度化している。このため、高解像度の複数の撮像画像を連結して得られるパノラマ画像はさらに超高解像度になるので、この超高解像度のパノラマ画像を元の解像度で表示装置に表示した場合、パノラマ画像の一部分しか表示できなくなる。その結果、特許文献１から３のいずれの方法を用いた場合であっても、表示部に現在表示されている画像がどの方向を撮像したものかを把握し難いという問題、撮像画像間を跨いだ被写体の位置関係を把握し難いという問題、及び表示メモリ（Video RAM）の使用量が増大するという問題が発生する。従って、このような問題を回避するためには、超高解像度のパノラマ画像を表示部に表示する場合に、このパノラマ画像を表示部の解像度に合わせて縮小処理（低解像度化）する必要がある。

　しかしながら、縮小処理されたパノラマ画像を表示部で表示した場合、パノラマ画像内の被写体の詳細な確認ができなくなる。特にこのパノラマ画像を被写体の各種の検証等に用いる場合、被写体の中で詳細な確認が困難な箇所が生じると検証等の結果に問題が生じてしまう。

　本発明はこのような事情に鑑みてなされたものであり、撮像ユニットの撮像範囲を水平方向に移動させながら連続して撮像を実行して得られた複数の撮像画像から、被写体の俯瞰と詳細確認とを可能にする画像処理装置及び撮像装置及び画像処理方法及びプログラムを提供することを目的とする。

　本発明の目的を達成するための画像処理装置は、撮像ユニットの撮像範囲を水平方向に移動させながら連続して撮像を実行して得られた複数の撮像画像であって、且つ連続する撮像の前後で撮像範囲の一部を重複させながら撮像を実行して得られた複数の撮像画像を取得する画像取得部と、画像取得部が取得した複数の撮像画像から、複数の撮像画像を縮小処理した複数の縮小画像が連結されているパノラマ画像を生成するパノラマ画像生成部と、パノラマ画像生成部による縮小処理前の複数の撮像画像をオリジナル画像として画像記憶部に記憶させる画像記憶制御部と、パノラマ画像生成部が生成したパノラマ画像を表示部に表示させる表示制御部と、表示部に表示されているパノラマ画像の中で拡大表示する表示領域を設定する表示領域設定部と、表示領域設定部により設定された表示領域が、オリジナル画像の撮像範囲内であるか否かを判定する判定部と、を備え、表示制御部は、判定部が否と判定した場合、パノラマ画像から表示領域をトリミングして表示部に拡大表示させ、判定部がオリジナル画像の撮像範囲内であると判定した場合、画像記憶部に記憶されているオリジナル画像の中から表示領域に対応する対応領域をトリミングして表示部に表示させる。

　この画像処理装置によれば、パノラマ画像の表示と、パノラマ画像又は高解像度のオリジナル画像からトリミングしたトリミング画像による表示領域の拡大表示とをシームレスに切り替えることができる。

　本発明の他の態様に係る画像処理装置において、表示制御部は、表示部にオリジナル画像内の対応領域が表示されている場合において、さらにオリジナル画像内での対応領域の位置を移動させる移動操作を受け付けた場合、移動操作に応じてオリジナル画像の中からトリミングする対応領域の位置を移動させる。これにより、表示部の表示面外にある周辺領域（対応領域外の領域）の画像データを自由に確認することができるので、撮像ユニットの周囲の被写体の細部の詳細確認を行う位置を自由に変えることができる。

　本発明の他の態様に係る画像処理装置において、表示制御部は、移動操作によって対応領域の位置が、互いに隣接するオリジナル画像の一方の画像において他方の画像に隣接する側の画像端まで移動した場合、対応領域の位置の移動を一時的に停止させる一時停止処理と、一時停止処理された対応領域の位置を一方の画像から他方の画像に向けて移動させる移動操作をさらに受け付けた場合、一方の画像の画像端にある対応領域の第１の位置を、第１の位置に対応する他方の画像の第２の位置へ遷移させる第１の遷移処理と、を実行する。これにより、対応領域の第１の遷移処理が行われることをユーザに予告することができ、表示部の表示が他方の画像からトリミングしたトリミング画像に切り替わった場合にユーザに与える違和感を低減させることができる。また、パノラマ画像の個々の画像の連結部分をユーザに意識させることなく、表示部の表示内容を他方の画像からトリミングしたトリミング画像に更新することができる。

　本発明の他の態様に係る画像処理装置において、画像取得部は、撮像ユニットが水平方向に一定の回転角度ずつ回転する毎に撮像を行って生成した複数の撮像画像を取得する。

　本発明の他の態様に係る画像処理装置において、撮像ユニットは、水平方向に一定の回転角度ずつ回転する毎に第１の撮像を行って複数の撮像画像を生成し、且つ第１の撮像を行う毎に第１の撮像の位置から回転角度の１／２だけさらに回転した位置で第２の撮像を行って複数の撮像画像を生成し、画像取得部は、撮像ユニットの第１の撮像により生成された複数の撮像画像と、第２の撮像により生成された複数の撮像画像とを取得し、パノラマ画像生成部は、第１の撮像及び第２の撮像のいずれか一方の撮像によって得られた複数の撮像画像からパノラマ画像を生成し、画像記憶制御部は、一方の撮像で得られた複数の撮像画像を第１のオリジナル画像とし、且つ一方の撮像とは異なる他方の撮像で得られた複数の撮像画像を第２のオリジナル画像として、第１のオリジナル画像と第２のオリジナル画像とを含むオリジナル画像を画像記憶部に記憶させ、表示制御部は、移動操作によって対応領域の位置が、互いに隣接する第１のオリジナル画像の一方の画像の中において他方の画像に隣接する側の画像端まで移動した場合、対応領域の位置の移動を一時的に停止させる一時停止処理と、一時停止処理された対応領域の位置を一方の画像から他方の画像に向けて移動させる移動操作をさらに受け付けた場合、一方の画像内の画像端にある対応領域の第１の位置を、一方の画像及び他方の画像の間で撮像された第２のオリジナル画像内の第１の位置に対応する第３の位置へ遷移させる第２の遷移処理と、を実行する。これにより、ユーザに与える違和感を上述の第１の遷移処理を行った場合よりも低減することができる。

　本発明の他の態様に係る画像処理装置において、パノラマ画像生成部は、複数の縮小画像が撮像ユニットによる撮像順に間隔をあけて隣接させた状態で連結されているパノラマ画像であって、且つ撮像範囲の一部が重複する複数の縮小画像の隣接画像間の重複領域が、隣接画像間の重複領域の互いに対向する画像端から予め設定した幅でカット処理されているパノラマ画像を生成する。これにより、重複領域に存在する遠近のいずれか一方にある被写体が正常に合成されなかったり、被写体が二重像になったり、画像間の境界部分に段差（ずれ）が生じたりするなどのパノラマ画像の不良（合成不良）の発生を回避することができる。また、単純に画像を並べて配置した場合よりもあおりの影響が少なくなり、パノラマ画像が見易くなる。

　本発明の他の態様に係る画像処理装置において、予め設定された幅は、カット処理された複数の縮小画像の隣接画像同士の一部が重複する大きさに設定されている。これにより、カット処理前の画像に存在していた被写体の一部がカット処理により消失することが防止される。

　本発明の他の態様に係る画像処理装置において、パノラマ画像生成部は、複数の縮小画像が、撮像範囲の一部が重複する隣接画像間の重複領域を重ね合せた状態で連結されているパノラマ画像を生成し、パノラマ画像生成部がパノラマ画像を生成する場合に、パノラマ画像内での複数の縮小画像の各々の原点座標を原点座標記憶部に記憶させる原点座標記憶制御部を有し、表示制御部は、判定部がオリジナル画像の撮像範囲内であると判定した場合、表示領域設定部により設定された表示領域と、原点座標記憶部に記憶されている原点座標とに基づき、画像記憶部に記憶されているオリジナル画像の中から対応領域を含むオリジナル画像を検索し、検索したオリジナル画像の対応領域をトリミングして表示部に表示させる。一般的な生成方法でパノラマ画像を生成した場合であっても、パノラマ画像の表示と、パノラマ画像又は高解像度のオリジナル画像からトリミングしたトリミング画像による表示領域の拡大表示とをシームレスに切り替えることができるので、被写体の俯瞰と詳細確認とが可能になる。

　本発明の他の態様に係る画像処理装置において、画像取得部が取得した複数の撮像画像に対し、撮像ユニットの画角に基づき同一投影面に射影変換する射影変換処理を施す射影変換部を備え、パノラマ画像生成部は、射影変換部により射影変換処理された複数の撮像画像から生成した複数の縮小画像を連結してパノラマ画像を生成し、画像記憶制御部は、オリジナル画像として、射影変換部により射影変換処理された複数の撮像画像を画像記憶部に記憶させる。これにより、あおりの影響が抑えられ、複数の撮像画像の隣接画像間での被写体の位置のずれが低減する。

　本発明の他の態様に係る画像処理装置において、表示制御部は、オリジナル画像から対応領域をトリミングして表示部に表示させる場合に、表示部の表示面の一部にパノラマ画像の全体を示す全体画像を表示させる。これにより、オリジナル画像の対応領域からトリミングしたトリミング画像を表示部に表示している場合であっても、ユーザはパノラマ画像の全体を把握することができる。

　本発明の他の態様に係る画像処理装置において、表示制御部は、表示領域の範囲を示す範囲画像を全体画像に重畳表示させる。これにより、オリジナル画像の対応領域からトリミングしたトリミング画像を表示部に表示している場合に、このトリミング画像がパノラマ画像のどの領域を拡大表示したものであるかを容易に判別することができる。

　本発明の目的を達成するための撮像装置は、撮像ユニットと、撮像ユニットの撮像範囲を水平方向に回転させる回転機構と、上述の画像処理装置と、を備える。

　本発明の他の態様に係る撮像装置において、撮像ユニットは、方位検出機能を有しており、予め設定された方位から撮像を開始する。これにより、パノラマ画像を構成する複数の縮小画像の各々が撮像ユニットに対してどの方位にある被写体を撮像したものであるかを容易に判別することができる。

　本発明の目的を達成するための画像処理方法は、撮像ユニットの撮像範囲を水平方向に移動させながら連続して撮像を実行して得られた複数の撮像画像であって、且つ連続する撮像の前後で撮像範囲の一部を重複させながら撮像を実行して得られた複数の撮像画像を取得する画像取得ステップと、画像取得ステップで取得した複数の撮像画像から、複数の撮像画像を縮小処理した複数の縮小画像が連結されているパノラマ画像を生成するパノラマ画像生成ステップと、パノラマ画像生成ステップで縮小処理される前の複数の撮像画像をオリジナル画像として画像記憶部に記憶させる画像記憶制御ステップと、パノラマ画像生成ステップで生成したパノラマ画像を表示部に表示させる表示制御ステップと、表示部に表示されているパノラマ画像の中で拡大表示する表示領域を設定する表示領域設定ステップと、表示領域設定ステップで設定された表示領域が、オリジナル画像の撮像範囲内であるか否かを判定する判定ステップと、を有し、表示制御ステップは、判定ステップで否と判定された場合、パノラマ画像から表示領域をトリミングして表示部に拡大表示させ、判定ステップでオリジナル画像の撮像範囲内であると判定された場合、画像記憶部に記憶されているオリジナル画像の中から表示領域に対応する対応領域をトリミングして表示部に表示させる。

　本発明の目的を達成するためのプログラムは、画像処理装置のコンピュータを、撮像ユニットの撮像範囲を水平方向に移動させながら連続して撮像を実行して得られた複数の撮像画像であって、且つ連続する撮像の前後で撮像範囲の一部を重複させながら撮像を実行して得られた複数の撮像画像を取得する画像取得部と、画像取得部が取得した複数の撮像画像から、複数の撮像画像を縮小処理した複数の縮小画像が連結されているパノラマ画像を生成するパノラマ画像生成部と、パノラマ画像生成部による縮小処理前の複数の撮像画像をオリジナル画像として画像記憶部に記憶させる画像記憶制御部と、パノラマ画像生成部が生成したパノラマ画像を表示部に表示させる表示制御部と、表示部に表示されているパノラマ画像の中で拡大表示する表示領域を設定する表示領域設定部と、表示領域設定部により設定された表示領域が、オリジナル画像の撮像範囲内であるか否かを判定する判定部として機能させるためのプログラムであって、表示制御部は、判定部が否と判定した場合、パノラマ画像から表示領域をトリミングして表示部に拡大表示させ、判定部がオリジナル画像の撮像範囲内であると判定した場合、画像記憶部に記憶されているオリジナル画像の中から表示領域に対応する対応領域をトリミングして表示部に表示させる。また上記のプログラムを記録したコンピュータ読み取り可能な非一時的有形媒体も本発明の態様に含まれる。

　本発明の画像処理装置及び撮像装置及び画像処理方法及びプログラムは、撮像ユニットの撮像範囲を水平方向に移動させながら連続して撮像を実行して得られた複数の撮像画像から、被写体の俯瞰と詳細確認とを可能にする。

第１実施形態の撮像装置の概略図である。撮像ユニットによるその周囲の被写体の分割撮像の一例を説明するための説明図である。第１実施形態のタブレット端末の構成を示すブロック図である。射影変換部による射影変換処理の一例を説明するための説明図である。（Ａ）は射影変換処理前の撮像画像データの正面図であり、（Ｂ）は射影変換処理後の変換画像データの正面図である。（Ａ）はカット処理部によるカット処理前の変換画像データの正面図であり、（Ｂ）はカット処理部によるカット処理後のカット画像データの正面図である。パノラマ画像生成部により生成されるパノラマ画像データの正面図である。表示制御部によるパノラマ画像データの表示処理を説明するための説明図である。表示制御部によるパノラマ画像データの表示処理の変形例を説明するための説明図である。判定部が否と判定した場合の表示制御部による表示領域の拡大表示を説明するための説明図である。表示領域がオリジナル画像データの撮像範囲内であると判定部が判定した場合の表示制御部による表示領域の拡大表示を説明するための説明図である。（Ａ）～（Ｄ）は、表示領域がオリジナル画像データの撮像範囲内であると判定部が判定した場合で、且つ表示領域が２つの縮小画像データを跨るように設定された場合の表示制御部による表示領域の拡大表示を説明するための説明図である。重畳表示モード時に表示部の表示面に表示されるサブ画面を説明するための説明図である。第１実施形態の撮像装置によるパノラマ画像データの表示処理や表示領域の拡大表示処理の流れを示すフローチャートである。（Ａ），（Ｂ）は、互いに隣接するオリジナル画像データ間での対応領域の位置の第１の遷移処理を説明するための説明図であり、（Ｃ），（Ｄ）は、対応領域が重複領域内に収まらない大きさ又は形状である場合の第１の遷移処理を説明するための説明図である。第２実施形態の撮像装置によるトリミング画像データの表示処理の流れを示すフローチャートである。第３実施形態の撮像装置の構成を示すブロック図である。（Ａ）は、第１実施形態等の撮像ユニットによるその周囲の被写体の分割撮像の一例を示した説明図であり、（Ｂ）は第３実施形態の撮像ユニットによるその周囲の被写体の分割撮像の一例を示した説明図である。（Ａ）～（Ｃ）は、第４実施形態における射影変換処理からパノラマ画像データ生成処理までの流れを説明するための説明図である。第３実施形態の表示制御部による第２の遷移処理を説明するための説明図である。第３実施形態の撮像装置によるトリミング画像データの表示処理の流れを示すフローチャートである。第４実施形態の撮像装置の構成を示すブロック図である。第４実施形態の撮像ユニットによるその周囲の被写体の分割撮像の一例を説明するための説明図である。第４実施形態の表示制御部によるパノラマ画像データの表示処理を説明するための説明図である。第５実施形態の撮像装置の構成を示すブロック図である。（Ａ），（Ｂ），（Ｃ）は、第５実施形態におけるパノラマ画像データの生成処理の流れを説明するための説明図である。（Ａ），（Ｂ），（Ｃ）は、表示領域がオリジナル画像データの撮像範囲内であると判定部が判定した場合の第５実施形態の表示制御部による表示領域の拡大表示を説明するための説明図である。判定部が否と判定した場合の第５実施形態の表示制御部による表示領域の拡大表示を説明するための説明図である。第５実施形態の撮像装置によるパノラマ画像データの表示処理や表示領域の拡大表示処理の流れを示すフローチャートである。（Ａ），（Ｂ）は、上記第５実施形態の撮像装置におけるオリジナル画像データ内での対応領域の位置の移動及び第１の遷移処理を説明するための説明図であり、（Ｃ）は第２の遷移処理を説明するための説明図である。発明を適用可能なスマートフォンの外観斜視図である。図３１に示したスマートフォンの構成を示すブロック図である。（Ａ），（Ｂ）は、本明細書の記載から導き出される発明を説明するための説明図である。

　［撮像装置の全体構成］
　図１は、第１実施形態の撮像装置１０の概略図である。図１に示すように、撮像装置１０は、大別して、撮像ユニット１１と、本発明の画像処理装置に相当するタブレット端末１２とを備えている。

　撮像ユニット１１は、本発明の回転機構に相当する回転台１６（雲台ともいう）と、被写体を撮像する撮像部１８とを有している。撮像部１８は、図示は省略するが光学系と撮像素子と画像生成回路とを含み、光学系を透過した被写体光を撮像素子により受光して撮像し、画像生成回路が撮像素子から読み出した撮像信号に基づき、本発明の撮像画像に相当する被写体の撮像画像データ２０を生成する。

　回転台１６は、撮像ユニット１１を図中矢印Ａで示すパン方向（水平方向）に回転させることにより、撮像部１８をパン方向に回転させる。また、撮像部１８は、撮像ユニット１１内において図中矢印Ｂで示すチルト方向（垂直方向）に回転可能である。従って、撮像ユニット１１は、撮像部１８による撮像方向（撮像光軸）をパン方向及びチルト方向に回転可能な所謂パンチルトカメラである。この撮像ユニット１１は、回転台１６によりパン方向に回転（パンニング）されながら連続して撮像を行うことにより、撮像ユニット１１の周囲の被写体を分割して撮像することができる。なお、本明細書における「水平方向」には、撮像ユニット１１（撮像部１８）を回転させる回転軸に垂直な面に対して平行な方向も含まれる。

　図２は、撮像ユニット１１によるその周囲の被写体の分割撮像の一例を説明するための説明図である。図２に示すように、撮像ユニット１１は、回転台１６により予め設定された一定（ほぼ一定を含む）の回転角度ずつ回転させられながら、各回転角度位置において周囲の被写体をそれぞれ撮像して複数の撮像画像データ２０を生成する。すなわち、撮像ユニット１１の撮像範囲（図中、点線で表示）をパン方向（水平方向）に移動させながら連続して撮像を実行することで、撮像ユニット１１の周囲の被写体を分割撮像する。なお、図中の括弧付き数字（１）～（８）は撮像ユニット１１による撮像の順番を示す。

　前述の一定の回転角度は、連続する撮像の前後で撮像部１８の撮像範囲の一部が重複（図中、斜線領域で表示）する角度に設定されている。この回転角度は、撮像ユニット１１の撮像部１８の画角に基づいて定められる。なお、撮像部１８の画角は、光学系の焦点距離や撮像素子の撮像面のサイズなどに基づき求められる。また、図中の撮像ユニット１１の画角（水平画角）は９０°未満であるが、９０°以上であってもよい。

　本例の撮像ユニット１１はその周囲３６０°の被写体を分割撮像するので、時系列で最初の撮像により得られた撮像画像データ２０は、時系列で２番目の撮像及び最後の撮像によりそれぞれ得られた撮像画像データ２０と撮像範囲の一部が重複する。

　なお、本例では回転台１６により撮像ユニット１１を一定の回転角度ずつ回転させているが、連続する撮像の前後で撮像部１８の撮像範囲の一部を重複させるという条件を満たしていれば、必ずしも撮像ユニット１１を一定の回転角度で回転させる必要はない。

　図１に戻って、タブレット端末１２は、撮像ユニット１１からその周囲の被写体を分割撮像して得られた複数の撮像画像データ２０を取得し、これら複数の撮像画像データ２０に基づき後述するパノラマ画像データ４３（図７参照）を生成して、このパノラマ画像データ４３の表示やその一部の拡大表示を行う。このタブレット端末１２の筐体には操作部２７とタッチパネル式の表示部２８とが設けられている。

　［第１実施形態のタブレット端末］
　図３は、第１実施形態のタブレット端末１２の構成を示すブロック図である。図３に示すように、タブレット端末１２は、制御部２５と、記憶部２６と、操作部２７と、表示部２８と、インタフェース２９とを備える。なお、本例では、説明の煩雑化を防止するために、パノラマ画像データ４３の生成及び表示等に関係のないタブレット端末１２の構成は図示を省略している。

　制御部２５は、例えばＣＰＵ（Central Processing Unit）を含む各種の演算部及び処理部及びメモリにより構成されたものであり、操作部２７や表示部２８からの制御信号に基づき、記憶部２６から読み出した各種のプログラムを実行することで、タブレット端末１２の全体の動作や処理を統括制御する。

　記憶部２６は、制御部２５が処理を実行するための各種のプログラムを記憶している。この記憶部２６には、パノラマ画像データ４３（図７参照）の生成及び表示、その一部の拡大表示を制御部２５に実行させるためのプログラム３０が格納されている。また、記憶部２６は、制御部２５から入力される後述のオリジナル画像データ５５を記憶する。従って、本例の記憶部２６は本発明の画像記憶部として機能する。

　操作部２７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部２７は、指などで押下されるとオン状態となり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。制御部２５は、操作部２７に対する操作を検出し、この操作に応じた処理を実行する。

　表示部２８は、制御部２５の制御により、静止画像及び動画像を含む画像や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルである。この表示部２８は、表示パネル３２と、この表示パネル３２を覆うように配置された操作パネル３３とを備える。

　表示パネル３２は、ＬＣＤ(Liquid Crystal Display)、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル３３は、表示部２８（表示パネル３２）の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。この操作パネル３３をユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号が操作パネル３３から制御部２５へ出力される。制御部２５は、操作パネル３３から入力される検出信号に基づき、操作パネル３３に対するユーザの操作を検出し、この操作に応じた処理を実行する。

　インタフェース２９は、撮像ユニット１１に有線接続又は無線接続する通信インタフェース、インターネットなどの通信ネットワークを介して撮像ユニット１１に接続する通信インタフェース等が用いられる。このインタフェース２９は、撮像ユニット１１から前述の複数の撮像画像データ２０を取得して制御部２５へ出力する。なお、撮像ユニット１１から複数の撮像画像データ２０を直接取得する代わりに、予め図示しないサーバやメモリカード等に記憶されている複数の撮像画像データ２０を取得してもよい。この場合、インタフェース２９としては、サーバと通信接続する通信インタフェース、或いはメモリカードが装填されるカードインタフェースが用いられる。

　［制御部の機能］
　制御部２５（本発明の画像処理装置のコンピュータに相当）は、記憶部２６から読み出したプログラム３０を実行することにより、画像取得部３５と、射影変換部３６と、カット処理部３７と、パノラマ画像生成部３８と、表示制御部３９と、画像記憶制御部４９と、表示領域設定部５１と、判定部５２として機能する。

　画像取得部３５は、前述のインタフェース２９と共に本発明の画像取得部として機能する。画像取得部３５は、インタフェース２９を介して、撮像ユニット１１から前述の複数の撮像画像データ２０を取得し、これら複数の撮像画像データ２０を射影変換部３６へ出力する。また、画像取得部３５は、撮像ユニット１１からその撮像部１８の画角（撮像範囲）に関する情報を取得して射影変換部３６へ出力する。

　図４は、射影変換部３６による射影変換処理の一例を説明するための説明図である。図４に示すように、射影変換部３６は、画像取得部３５から入力された複数の撮像画像データ２０に対し、撮像ユニット１１の画角に基づき同一投影面に射影変換する射影変換処理を施して、複数の変換画像データ４１（図５参照）を生成する。本例の射影変換部３６は、射影変換処理として、複数の撮像画像データ２０を同一投影面である円筒面ＣＳに射影（投影）した画像に円筒変換する円筒変換処理を行う。なお、この円筒変換処理の具体的な方法は、前述の特許文献１に開示されているので、ここでは具体的な説明を省略する。

　図５（Ａ）は、射影変換処理（円筒変換処理）前の撮像画像データ２０の正面図であり、図５（Ｂ）は、射影変換処理後の変換画像データ４１の正面図である。なお、変換画像データ４１は、本発明の射影変換処理された撮像画像に相当する。

　図５（Ａ）に示すように、射影変換処理前の撮像画像データ２０を並べた場合、各撮像画像データ２０内の被写体が所謂あおり（撮像部１８の撮像光軸に対する撮像対象面の傾き）の影響を受けるため、撮像範囲の一部が重複する隣接画像データ間で被写体の位置にずれが生じる。これに対して、図５（Ｂ）に示すように、円筒変換処理後の変換画像データ４１では、あおりの影響が抑えられ、隣接画像データ間での被写体の位置のずれが低減する。

　図３に戻って、射影変換部３６は、射影変換処理された複数の変換画像データ４１を、カット処理部３７と、画像記憶制御部４９とにそれぞれ出力する。

　画像記憶制御部４９は、射影変換部３６による射影変換処理後で且つ後述のカット処理部３７によるカット処理前の複数の変換画像データ４１を、複数のオリジナル画像データ５５として記憶部２６に記憶させる。

　図６（Ａ）は、カット処理部３７によるカット処理前の変換画像データ４１の正面図であり、図６（Ｂ）は、カット処理部３７によるカット処理後のカット画像データ４１Ａの正面図である。

　図６（Ａ）に示すように、最初にカット処理部３７は、射影変換部３６から複数の変換画像データ４１が入力された場合、撮像範囲の一部が互いに重複している複数の変換画像データ４１における隣接画像データ間の重複領域ＤＲを判別する。本例では、撮像ユニット１１を一定角度ずつ回転させながら各回転角度位置において撮像を実行しているため、隣接画像データ間の重複領域ＤＲの範囲（幅）は、撮像ユニット１１の画角及び回転角度から求められる。

　次いで、図６（Ｂ）に示すように、カット処理部３７は、複数の変換画像データ４１に対し、隣接画像データ間の重複領域ＤＲを両者の互いに対向する画像端から予め設定した幅でカット処理して、複数のカット画像データ４１Ａを生成する。そして、カット処理部３７は、カット処理後の複数のカット画像データ４１Ａをパノラマ画像生成部３８（図３参照）へ出力する。

　ここで、重複領域ＤＲをカット処理する際の「予め設定された幅」は、カット処理後の複数のカット画像データ４１Ａにおいて隣接画像データ同士（隣接画像同士）の一部が重複するような大きさに設定されていることが好ましい。この場合、カット処理前の複数の変換画像データ４１の中に存在していた被写体の一部がカット処理により消失することが防止される。これにより、複数のカット画像データ４１Ａに基づき生成された後述のパノラマ画像データ４３から、撮像ユニット１１の周囲３６０°の被写体の全体を確実に確認できる。

　さらにこの場合に、「予め設定された幅」は、複数のカット画像データ４１Ａの隣接画像データ同士の重複量（重複幅）がより小さくなる大きさに設定されていることがより好ましい。後述のパノラマ画像データ４３において、隣接画像データ同士の重複量が小さい方がユーザに違和感を与えないためである。

　図７は、パノラマ画像生成部３８（図３参照）により生成されるパノラマ画像データ４３の正面図である。図７に示すように、パノラマ画像生成部３８は、カット処理部３７から入力された複数のカット画像データ４１Ａをそれぞれ縮小処理して複数の縮小画像データ４１Ｂを生成し、生成した複数の縮小画像データ４１Ｂを撮像ユニット１１による撮像順に間隔をあけて隣接させた状態で連結してパノラマ画像データ４３を生成する。

　カット画像データ４１Ａを縮小画像データ４１Ｂに縮小処理する際の縮小率は、表示部２８にパノラマ画像データ４３を表示した場合に、ユーザがパノラマ画像データ４３のほぼ全体（一定割合以上の領域でも可）を俯瞰できるような値が好ましく、表示部２８（表示パネル３２）の解像度等に基づき決定される。

　また、パノラマ画像データ４３内における複数の縮小画像データ４１Ｂの隣接画像データ間の間隔の大きさは、隣接画像データ同士が連続性を有しているとの視覚効果をユーザに与えるために、所定の範囲内の大きさに制限されていることが好ましい。この所定の範囲内とは、例えば、隣接画像データ間の重複領域ＤＲ（図７では図示を省略）の幅よりも狭い範囲である。

　なお、本例では、複数の変換画像データ４１にカット処理、縮小処理、及び連結処理を順番に施してパノラマ画像データ４３を生成しているが、パノラマ画像データ４３の生成方法はこれに限定されるものではない。例えば、カット画像データ４１Ａを前述の撮像順に間隔をあけて連結して超高解像度のパノラマ画像データ（図示せず）を生成した後、このパノラマ画像データ（図示せず）を縮小処理することにより、パノラマ画像データ４３を生成してもよい。

　さらに、パノラマ画像生成部３８では前述の超高解像度のパノラマ画像データ（図示せず）に対して縮小処理を行わず、後述の表示制御部３９にて超高解像度のパノラマ画像データを縮小処理してもよく、この場合には表示制御部３９は本発明のパノラマ画像生成部の一部として機能する。

　このようにパノラマ画像生成部３８は、カット処理されている複数の縮小画像データ４１Ｂが前述の撮像順に間隔をあけて隣接させた状態で連結されているパノラマ画像データ４３を生成する。そして、パノラマ画像生成部３８は、生成したパノラマ画像データ４３を表示制御部３９（図３参照）へ出力する。

　図８は、表示制御部３９（図３参照）によるパノラマ画像データ４３の表示処理を説明するための説明図である。また、図９は、表示制御部３９によるパノラマ画像データ４３の表示処理の変形例を説明するための説明図である。図８に示すように、表示制御部３９は、パノラマ画像生成部３８から入力されたパノラマ画像データ４３を既述の図３に示した表示部２８（表示パネル３２）に出力して、パノラマ画像データ４３を表示部２８に全体表示（ほぼ全体表示を含む）させる。

　なお、表示部２８の表示面上に表示させるパノラマ画像データ４３の大きさは変更可能である。例えば、図９に示すように、表示制御部３９がパノラマ画像データ４３を表示部２８に表示させる場合に、パノラマ画像データ４３を拡大してその一部分のみを表示部２８に表示させることもできる。

　図３及び図８に戻って、表示領域設定部５１は、前述の操作パネル３３と共に本発明の表示領域設定部５１として機能する。表示領域設定部５１は、表示部２８によるパノラマ画像データ４３の表示中に、ユーザが操作パネル３３を操作して表示部２８の表示面上のパノラマ画像データ４３の中で選択した領域を、このパノラマ画像データ４３の中で拡大表示する表示領域ＶＲとして設定する。なお、図８には、撮像部１８の画角の範囲内、すなわち、オリジナル画像データ５５の撮像範囲内に収まる大きさに設定された表示領域ＶＲと、オリジナル画像データ５５の撮像範囲内に収まらない大きさに設定された表示領域ＶＲと、を図示している。表示領域設定部５１による表示領域ＶＲの設定範囲を示す設定範囲情報は、表示領域設定部５１から判定部５２へ出力される。

　判定部５２は、表示領域設定部５１から入力された設定範囲情報に基づき、表示領域設定部５１により設定された表示領域ＶＲが、オリジナル画像データ５５の撮像範囲内（すなわち、撮像部１８の画角の範囲内）のサイズであるか否かを判定する。ここで、縮小画像データ４１Ｂの縮小率は既知であるので、パノラマ画像データ４３上でのオリジナル画像データ５５の撮像範囲（撮像部１８の画角の範囲）の大きさを求められる。

　従って、判定部５２は、表示領域ＶＲの水平方向及び垂直方向のサイズが、パノラマ画像データ４３上でのオリジナル画像データ５５の水平方向及び垂直方向のサイズ（撮像部１８の水平画角及び垂直画角の範囲）をそれぞれ下回っている場合、表示領域ＶＲがオリジナル画像データ５５の撮像範囲内であると判定する。逆に判定部５２は、表示領域ＶＲの水平方向及び垂直方向のサイズの両方が、パノラマ画像データ４３上でのオリジナル画像データ５５の水平方向及び垂直方向のサイズ（撮像部１８の水平画角及び垂直画角の範囲）を下回らない場合、表示領域ＶＲがオリジナル画像データ５５の撮像範囲内に収まらない（すなわち、否）と判定する。そして、判定部５２は、判定結果を表示制御部３９へ出力する。

　表示制御部３９は、表示領域設定部５１により表示領域ＶＲが設定された場合、パノラマ画像データ４３内の表示領域ＶＲを表示部２８に拡大表示させる。この際に、表示制御部３９は、判定部５２から入力された判定結果に基づき、表示領域ＶＲの拡大表示方法を変える。

　図１０は、判定部５２が否と判定した場合の表示制御部３９による表示領域ＶＲの拡大表示を説明するための説明図である。図１０に示すように、表示制御部３９は、判定部５２が否と判定した場合、パノラマ画像データ４３の中から表示領域ＶＲに対応する領域をトリミングし、トリミングしたトリミング画像データ５６を表示部２８（表示パネル３２）の画面サイズに合わせて拡大表示させる。

　図１１は、表示領域ＶＲがオリジナル画像データ５５の撮像範囲内であると判定部５２が判定した場合の表示制御部３９による表示領域ＶＲの拡大表示を説明するための説明図である。図１１に示すように、表示制御部３９は、最初に、記憶部２６内に記憶されているオリジナル画像データ５５の中から、表示領域ＶＲが設定された縮小画像データ４１Ｂに対応するオリジナル画像データ５５を検索する。

　次いで、表示制御部３９は、検索したオリジナル画像データ５５内での表示領域ＶＲに対応する対応領域ＣＲを判別する。カット画像データ４１Ａのカット幅及び縮小画像データ４１Ｂの縮小率は既知であるので、表示制御部３９は、縮小画像データ４１Ｂ内の表示領域ＶＲの位置座標及びその範囲から、オリジナル画像データ５５内での対応領域ＣＲの位置座標及びその範囲を決定可能である。

　そして、表示制御部３９は、検索したオリジナル画像データ５５の中から対応領域ＣＲをトリミングし、この対応領域ＣＲのトリミング画像データ５７を表示部２８に表示させる。なお、表示制御部３９は、トリミング画像データ５７の解像度が表示部２８の解像度よりも低い場合又は高い場合には、トリミング画像データ５７を表示部２８の解像度に合わせて拡大表示又は縮小表示してもよい。

　図１２（Ａ）～（Ｄ）は、表示領域ＶＲがオリジナル画像データ５５の撮像範囲内（撮像部１８の画角の範囲内）であると判定部５２が判定した場合で、且つ表示領域ＶＲが２つの縮小画像データ４１Ｂを跨るように設定された場合の表示制御部３９による表示領域ＶＲの拡大表示を説明するための説明図である。

　図１２（Ａ）に示すように、最初に表示制御部３９は、表示領域ＶＲが跨るように設定された２つの縮小画像データ４１Ｂの中で表示領域ＶＲ内の面積（以下、領域内面積という）が大きい方を判別し、領域内面積が大きい方の縮小画像データ４１Ｂに対応するオリジナル画像データ５５を記憶部２６内から検索する。

　次いで、図１２（Ｂ），（Ｃ）に示すように、表示制御部３９は、検索したオリジナル画像データ５５の中から表示領域ＶＲに対応する対応領域ＣＲを判別する。この場合の表示領域ＶＲに対応する対応領域ＣＲとは、当初の表示領域ＶＲの設定位置から領域内面積が大きい方の縮小画像データ４１Ｂ内へ平行移動した位置にある表示領域ＶＲ１に対応する対応領域ＣＲである。なお、この平行移動の移動量は、領域内面積が大きい方の縮小画像データ４１Ｂ外にある表示領域ＶＲの幅の大きさである。

　そして、図１２（Ｄ）に示すように、表示制御部３９は、検索したオリジナル画像データ５５の中から表示領域ＶＲ１に対応する対応領域ＣＲをトリミングし、この対応領域ＣＲのトリミング画像データ５７を表示部２８に表示させる。

　なお、表示制御部３９は、オリジナル画像データ５５からトリミングした対応領域ＣＲのトリミング画像データ５７を表示部２８に表示させる場合、パノラマ画像データ４３内での表示領域ＶＲの範囲を示すサブ画面５９（図１３参照）を表示部２８の表示面の一部に表示させる重畳表示モードを有している。

　図１３は、重畳表示モード時に表示部２８の表示面に表示されるサブ画面５９を説明するための説明図である。表示制御部３９は、操作部２７又は操作パネル３３を介してサブ画面表示指示の入力を受け付けた場合、パノラマ画像データ４３を縮小した縮小パノラマ画像データ４３ｓを生成し、この縮小パノラマ画像データ４３ｓを含むサブ画面５９を表示部２８の表示面の一部に表示させる。この縮小パノラマ画像データ４３ｓは、パノラマ画像データ４３の全体（ほぼ全体を含む）を示す画像データあり、本発明の全体画像に相当する。サブ画面５９の表示により、トリミング画像データ５７を表示部２８に表示している場合であっても、ユーザはパノラマ画像データ４３の全体を把握することができる。

　また、表示制御部３９は、サブ画面５９を表示部２８に表示させる場合、このサブ画面５９内の縮小パノラマ画像データ４３ｓ上に、表示領域設定部５１により設定された表示領域ＶＲの範囲を示す範囲画像ＶＲｓを重畳表示させる。これにより、ユーザは、表示部２８に表示されているトリミング画像データ５７がパノラマ画像データ４３のどの領域を拡大表示したものであるかを容易に判別することができる。

　［第１実施形態の撮像装置の作用］
　次に、図１４を用いて上記構成の撮像装置１０の作用について説明を行う。図１４は、第１実施形態の撮像装置１０によるパノラマ画像データ４３の表示処理や表示領域ＶＲの拡大表示処理（本発明の画像処理方法）の流れを示すフローチャートである。

　＜パノラマ画像データの表示処理＞
　最初に撮像ユニット１１がその周囲の被写体の中で任意の方位にある被写体を撮像して撮像画像データ２０を生成する（ステップＳ１）。次いで、撮像ユニット１１は、回転台１６により予め定めた一定角度だけ回転された後（ステップＳ２でＮＯ、ステップＳ３）、再び周囲の被写体を撮像する（ステップＳ１）。これにより、最初の撮像と撮像範囲の一部を重複させた状態で撮像ユニット１１による２回目の撮像が実行され、この撮像ユニット１１により新たな撮像画像データ２０が生成される。

　以下同様に、撮像ユニット１１は回転台１６により一定角度ずつ回転される毎に、各回転角度位置において周囲の被写体を撮像して複数の撮像画像データ２０を生成する（ステップＳ２でＮＯ）。これにより、既述の図２に示したように、撮像ユニット１１の周囲３６０°の被写体がこの撮像ユニット１１により撮像され、撮像ユニット１１による撮像が終了する（ステップＳ２でＹＥＳ）。その結果、撮像ユニット１１の周囲３６０°を分割撮像した複数の撮像画像データ２０が得られる。

　タブレット端末１２にてプログラム３０の起動操作がなされると、制御部２５が記憶部２６からプログラム３０を読み出して実行することにより、画像取得部３５と、射影変換部３６と、カット処理部３７と、パノラマ画像生成部３８と、表示制御部３９と、画像記憶制御部４９と、表示領域設定部５１と、判定部５２として機能する。

　最初に画像取得部３５が、インタフェース２９を介して、撮像ユニット１１から複数の撮像画像データ２０を取得する（ステップＳ４、本発明の画像取得ステップに相当）。なお、画像取得部３５は、撮像ユニット１１による撮像終了後に複数の撮像画像データ２０を一括して取得してもよいし、撮像ユニット１１が撮像を行う毎に撮像ユニット１１から撮像画像データ２０を順次に取得してもよい。これら複数の撮像画像データ２０は、画像取得部３５から射影変換部３６へ出力される。

　複数の撮像画像データ２０の入力を受けた射影変換部３６は、既述の図４及び図５に示したように、複数の撮像画像データ２０に対して射影変換処理（円筒変換処理）を行って複数の変換画像データ４１を生成する（ステップＳ５）。これにより、あおりの影響が抑えられ、複数の変換画像データ４１の隣接画像データ間での被写体の位置のずれが低減する。複数の変換画像データ４１は、射影変換部３６からカット処理部３７及び画像記憶制御部４９へそれぞれ出力される。

　複数の変換画像データ４１の入力を受けた画像記憶制御部４９は、これら複数の変換画像データ４１を複数のオリジナル画像データ５５として記憶部２６に記憶させる（ステップＳ６、本発明の画像記憶制御ステップに相当）。

　一方、複数の変換画像データ４１の入力を受けたカット処理部３７は、既述の図６に示したように、これら複数の変換画像データ４１に対して、隣接画像データ間の重複領域ＤＲを両者の互いに対向する画像端から予め設定した幅でカットするカット処理を行う（ステップＳ７、本発明のカット処理ステップに相当）。このカット処理により、複数の変換画像データ４１から複数のカット画像データ４１Ａが生成される。

　また本例のカット処理では、複数のカット画像データ４１Ａの隣接画像データ同士の一部が重複するように、重複領域ＤＲをカットする幅の大きさが調整されている。これにより、既述の通り、カット処理前の複数の変換画像データ４１の中に存在していた被写体の一部がカット処理により消失することが防止される。そして、複数のカット画像データ４１Ａは、カット処理部３７からパノラマ画像生成部３８へ出力される。

　複数のカット画像データ４１Ａの入力を受けたパノラマ画像生成部３８は、複数のカット画像データ４１Ａを縮小処理して複数の縮小画像データ４１Ｂを生成する（ステップＳ８）。次いで、既述の図７に示したようにパノラマ画像生成部３８は、生成した複数の縮小画像データ４１Ｂを撮像ユニット１１による撮像順に間隔をあけて隣接させた状態で連結してパノラマ画像データ４３を生成する（ステップＳ９、本発明のパノラマ画像生成ステップに相当）。各縮小画像データ４１Ｂを連結する際に間隔をあけているので、縮小画像データ４１Ｂの隣接画像データ同士の一部が重複している場合であっても、ユーザに与える違和感を低減させることができる。

　さらに本例では、複数の縮小画像データ４１Ｂからパノラマ画像データ４３を生成する場合に、連続する前後の縮小画像データ４１Ｂ間の重複領域ＤＲ同士を重ね合せた状態で連結する一般的な連結処理（パノラマ合成処理ともいう）を行わないので、重複領域ＤＲに存在する遠近のいずれか一方にある被写体が正常に合成されなかったり、被写体が二重像になったり、画像間の境界部分に段差（ずれ）が生じたりすることが防止される。

　なお、既述の通り、パノラマ画像生成部３８によるパノラマ画像データ４３の生成方法は適宜変更してもよい。このようにして表示パネル３２の表示面に表示可能な大きさのパノラマ画像データ４３が得られる。このパノラマ画像データ４３はパノラマ画像生成部３８から表示制御部３９へ出力される。

　パノラマ画像データ４３の入力を受けた表示制御部３９は、このパノラマ画像データ４３を表示部２８へ出力して、既述の図８に示したように、パノラマ画像データ４３を表示部２８に全体表示させる（ステップＳ１０、本発明の表示制御ステップに相当）。この表示部２８に表示されるパノラマ画像データ４３から、撮像ユニット１１の周囲の被写体の全体を俯瞰することができる。また、縮小処理したパノラマ画像データ４３の表示を行うので、縮小処理されていないパノラマ画像データ４３の表示を行う場合と比較して、図示しない表示メモリ（Video RAM）の使用量を節約することができる。

　＜表示領域の拡大表示処理＞
　表示部２８によるパノラマ画像データ４３の表示中に、ユーザが操作パネル３３を操作してパノラマ画像データ４３の中で拡大表示する領域を選択すると、表示領域設定部５１がユーザの選択した領域を表示領域ＶＲとして設定する（ステップＳ１１、本発明の表示領域設定ステップに相当）。そして、表示領域設定部５１から判定部５２に対して、表示領域ＶＲの設定範囲を示す設定範囲情報が出力される。

　設定範囲情報の入力を受けた判定部５２は、この設定範囲情報が示す表示領域ＶＲが、オリジナル画像データ５５の撮像範囲内（撮像部１８の画角の範囲内）であるか否かを判定し、この判定結果を表示制御部３９へ出力する（ステップＳ１２、本発明の判定ステップに相当）。

　表示制御部３９は、判定部５２から否との判定結果の入力を受けた場合、既述の図１０に示したように、パノラマ画像データ４３の中から表示領域ＶＲに対応する領域をトリミングする（ステップＳ１２でＮＯ、ステップＳ１３）。そして、表示制御部３９は、パノラマ画像データ４３からトリミングしたトリミング画像データ５６を表示部２８に出力して、このトリミング画像データ５６を表示部２８に拡大表示させる（ステップＳ１４、本発明の表示制御ステップに相当）。これにより、ユーザは、選択した表示領域ＶＲの詳細を確認することができる。

　一方、表示制御部３９は、判定部５２から表示領域ＶＲがオリジナル画像データ５５の撮像範囲内（撮像部１８の画角の範囲内）であるとの判定結果の入力を受けた場合、この表示領域ＶＲが設定された縮小画像データ４１Ｂに対応するオリジナル画像データ５５を記憶部２６内から検索する（ステップＳ１２でＹＥＳ）。次いで、表示制御部３９は、前述の図１１に示したように、検索したオリジナル画像データ５５の中から表示領域ＶＲに対応する対応領域ＣＲをトリミングする（ステップＳ１５）。

　なお、表示制御部３９は、既述の図１２に示したように、表示領域ＶＲが２つの縮小画像データ４１Ｂを跨るように設定された場合、２つの縮小画像データ４１Ｂの中で前述の領域内面積が大きい方を判別し、領域内面積が大きい方に対応するオリジナル画像データ５５を記憶部２６内から検索する。次いで、表示制御部３９は、検索したオリジナル画像データ５５の中から、表示領域ＶＲに対応する対応領域ＣＲとして、既述の図１２（Ｂ）に示した表示領域ＶＲ１に対応する対応領域ＣＲをトリミングする。

　そして、表示制御部３９は、オリジナル画像データ５５からトリミングしたトリミング画像データ５７を表示部２８に出力して、トリミング画像データ５７を表示部２８に表示させる（ステップＳ１６、本発明の表示制御ステップに相当）。このように、高解像度のオリジナル画像データ５５からトリミングしたトリミング画像データ５７を表示部２８に表示することで、ユーザは選択した表示領域ＶＲのより詳細を確認することができる。

　ユーザが操作パネル３３等を操作して表示領域ＶＲの再設定を行った場合、前述のステップＳ１１以降の処理が繰り返し実行される（ステップＳ３０でＹＥＳ）。

　［第１実施形態の効果］
　以上のように、本発明の第１実施形態の撮像装置１０では、表示部２８の表示面のサイズに対応した解像度のパノラマ画像データ４３の表示と、トリミング画像データ５６又はトリミング画像データ５７による表示領域ＶＲの拡大表示とをシームレスに切り替えることができる。特に、トリミング画像データ５７はオリジナル画像データ５５からトリミングした高解像度データであるので、パノラマ画像データ４３の表示とトリミング画像データ５７の表示との切り替えを行うことにより、閲覧性と被写体の確実な視認とを両立することができる。その結果、被写体の俯瞰と詳細確認とが可能になる。

　また、パノラマ画像データ４３を生成する際に、連続する前後の縮小画像データ４１Ｂ間の重複領域ＤＲ同士を重ね合わせた状態で連結する一般的な連結処理（パノラマ合成処理）を行わずに、カット処理された複数の縮小画像データ４１Ｂを撮像ユニット１１による撮像順に間隔をあけて隣接させた状態で連結してパノラマ画像データ４３を生成するので、パノラマ画像データ４３の不良（合成不良）を回避することができる。また、単純に画像データを並べて配置した場合よりもあおりの影響が少なく、パノラマ画像データ４３が見易くなる。

　［第２実施形態の撮像装置］
　次に、本発明の第２実施形態の撮像装置について説明を行う。この第２実施形態の撮像装置では、オリジナル画像データ５５の対応領域ＣＲからトリミングされたトリミング画像データ５７が表示部２８に表示されている場合において、ユーザの操作に応じてオリジナル画像データ５５からトリミングする対応領域ＣＲの位置を移動可能にしている。

　なお、第２実施形態の撮像装置は、上記第１実施形態の撮像装置１０と基本的に同じ構成であり、上記第１実施形態と機能や構成上同一のものについては、同一符号を付してその説明は省略する。

　第２実施形態の操作パネル３３は、表示部２８によるトリミング画像データ５７の表示中に、ユーザからオリジナル画像データ５５の中で対応領域ＣＲの位置を移動させる移動操作を受け付ける。この移動操作とは、例えば、ユーザが表示部２８の表示面上で行うスワイプ（swipe）操作である。

　例えばユーザは、表示部２８によるトリミング画像データ５７の表示中に、表示面外にある周辺領域（対応領域ＣＲ外の領域）の画像データを確認する場合、表示部２８の表示面上でスワイプ操作を行う。操作パネル３３は、ユーザが表示パネル３２の表示面上で行ったスワイプ操作を対応領域ＣＲの位置の移動操作として検出して、移動操作検出信号を表示制御部３９へ出力する。この移動操作検出信号には、対応領域ＣＲの位置の移動方向を示すスワイプ操作の方向、及び対応領域ＣＲの位置の移動量を示すスワイプ操作の操作量が含まれる。

　第２実施形態の表示制御部３９は、操作パネル３３を介して対応領域ＣＲの位置を移動させる移動操作を受け付ける。表示制御部３９は、操作パネル３３から入力された移動操作検出信号に基づき、ユーザが行った移動操作に応じてオリジナル画像データ５５の中からトリミングする対応領域ＣＲの位置を移動させる。また同時に、表示制御部３９は、オリジナル画像データ５５の中から新たな位置の対応領域ＣＲを順次にトリミングして、トリミング画像データ５７を表示部２８に順次出力する。これにより、ユーザが行った移動操作に応じて、表示部２８に表示されるトリミング画像データ５７が更新される。

　また、表示制御部３９は、ユーザが行った移動操作に応じて、互いに隣接するオリジナル画像データ５５うちの一方のオリジナル画像データ５５内にある対応領域ＣＲの位置を、他方のオリジナル画像データ５５内に遷移させる第１の遷移処理を実行する。

　図１５（Ａ），（Ｂ）は、互いに隣接するオリジナル画像データ５５間での対応領域ＣＲの位置の第１の遷移処理を説明するための説明図である。ここでは、図中左側の一方のオリジナル画像データ５５から図中右側の他方のオリジナル画像データ５５に対応領域ＣＲの位置が遷移され、さらに、対応領域ＣＲの大きさ及び形状が重複領域ＤＲ内に収まる大きさ及び形状であるものとして説明する。なお、図中左側の一方のオリジナル画像データ５５は本発明の一方の画像に相当し、図中右側の他方のオリジナル画像データ５５は本発明の他方の画像に相当する。

　図１５（Ａ）に示すように、表示制御部３９は、ユーザが行った移動操作により図中左側の一方のオリジナル画像データ５５内での対応領域ＣＲの位置が、図中右側の他方のオリジナル画像データ５５に対向（隣接）する側の画像端まで移動した場合、対応領域ＣＲの位置を一時的に停止させる一時停止処理を行う。

　表示制御部３９は、一時停止処理後、操作パネル３３を介して対応領域ＣＲの位置を一方のオリジナル画像データ５５から他方のオリジナル画像データ５５に向けて移動させる移動操作をさらに受け付けた場合に、第１の遷移処理を実行する。具体的に表示制御部３９は、図１５（Ｂ）に示すように、一方のオリジナル画像データ５５の画像端にある対応領域ＣＲの第１の位置を、第１の位置に対応する他方のオリジナル画像データ５５内の第２の位置に遷移させる。

　ここで第１の位置に対応する第２の位置とは、対応領域ＣＲの大きさ及び形状が重複領域ＤＲ内に収まる大きさ及び形状である場合、一方のオリジナル画像データ５５の「重複領域ＤＲ」内での対応領域ＣＲの位置（第１の位置）に対応する他方のオリジナル画像データ５５の「重複領域ＤＲ」内での位置である。すなわち、第１の遷移処理の前後において、一方及び他方のオリジナル画像データ５５の互いの重複領域ＤＲ内での対応領域ＣＲの位置関係は同じとなる。

　例えば第１の位置の代表点を点Ｐ１とし、第２の位置の代表点を点Ｐ２とした場合、第１の位置の点Ｐ１のｙ座標と第２の位置の点Ｐ２のｙ座標は同じ座標となるので、表示制御部３９は、点Ｐ１のｙ座標から点Ｐ２のｙ座標を決定できる。また、重複領域ＤＲ内の任意の位置を原点とした場合、一方のオリジナル画像データ５５の重複領域ＤＲ内での点Ｐ１のｘ座標と、他方のオリジナル画像データ５５の重複領域ＤＲ内での点Ｐ２のｘ座標とは同じ座標になる。このため、表示制御部３９は、点Ｐ１のｘ座標から点Ｐ２のｘ座標を決定できる。

　このように表示制御部３９は、一方のオリジナル画像データ５５内にある対応領域ＣＲの第１の位置から、この第１の位置に対応する他方のオリジナル画像データ５５内の第２の位置を決定することで、対応領域ＣＲの位置の第１の遷移処理を実行する。

　図１５（Ｃ），（Ｄ）は、対応領域ＣＲが重複領域ＤＲ内に収まらない大きさ又は形状である場合の第１の遷移処理を説明するための説明図である。

　図１５（Ｃ）に示すように、表示制御部３９は、ユーザが行った移動操作により一方のオリジナル画像データ５５内での対応領域ＣＲの位置が画像端まで移動した場合、前述の一時停止処理を行う。また、表示制御部３９は、一時停止処理後、操作パネル３３を介して対応領域ＣＲの位置を一方のオリジナル画像データ５５から他方のオリジナル画像データ５５に移動させる移動操作をさらに受け付けた場合に、図１５（Ｄ）に示すように第１の遷移処理を実行する。

　具体的に表示制御部３９は、一方のオリジナル画像データ５５内にある対応領域ＣＲの第１の位置を、第１の位置に対応する他方のオリジナル画像データ５５内の第２の位置に遷移させる。

　ただし、対応領域ＣＲが重複領域ＤＲ内に収まらない大きさ又は形状である場合、一方のオリジナル画像データ５５の対応領域ＣＲ内で且つ重複領域ＤＲ外の画像は、他方のオリジナル画像データ５５内には存在していない。従って、ここでいう第１の位置に対応する第２の位置とは、一方のオリジナル画像データ５５の対応領域ＣＲ内の重複領域ＤＲ（図中、斜線で表示）に対応する他方のオリジナル画像データ５５内の重複領域ＤＲ（図中、斜線で表示）を含む位置である。すなわち、第１の遷移処理の前後において、一方のオリジナル画像データ５５内の対応領域ＣＲに含まれる重複領域ＤＲと、他方のオリジナル画像データ５５内の対応領域ＣＲに含まれる重複領域ＤＲとが対応関係にある。

　例えば、第１の位置の左端側及び右端側の代表点をそれぞれ点Ｌ１，点Ｒ１とし、第２の位置の左端側及び右端側の代表点をそれぞれ点Ｌ２，Ｒ２とした場合、点Ｌ１，Ｒ１のｙ座標は、点Ｌ２，Ｒ２のｙ座標と同じ座標になる。このため、表示制御部３９は、点Ｌ１，Ｒ１のｙ座標から点Ｌ２，Ｒ２のｙ座標を決定する。

　また、表示制御部３９は、点Ｌ１のｘ座標に対応する点Ｌ２のｘ座標として、他方のオリジナル画像データ５５における一方のオリジナル画像データ５５に対向する側の画像端の座標を決定する。さらに、表示制御部３９は、点Ｌ２のｘ座標に対して対応領域ＣＲのｘ方向の幅の大きさを加えた値を点Ｒ２のｘ座標として決定する。

　このように表示制御部３９は、一方のオリジナル画像データ５５内にある対応領域ＣＲの第１の位置と、対応領域ＣＲのｘ方向の幅の大きさとから、第１の位置に対応する他方のオリジナル画像データ５５内の第２の位置を決定して、対応領域ＣＲの位置の第１の遷移処理を実行する。

　表示制御部３９は、第１の遷移処理後に他方のオリジナル画像データ５５から対応領域ＣＲをトリミングして、トリミングしたトリミング画像データ５７を表示部２８に出力する。これにより、ユーザが行った移動操作に応じて、表示部２８に表示されるトリミング画像データ５７が更新される。

　［第２実施形態の撮像装置の作用］
　次に、図１６を用いて第２実施形態の撮像装置の作用について説明を行う。図１６は、第２実施形態の撮像装置によるトリミング画像データ５７の表示処理の流れを示すフローチャートである。なお、ステップＳ１６までの処理は、既述の第１実施形態の図１４に示したステップＳ１６までの処理と基本的に同じであるので、ここでは具体的な説明を省略する。

　ステップＳ１６にて表示部２８に表示されたトリミング画像データ５７を確認したユーザが、表示部２８の表示面外にある周辺領域の画像データを確認するために表示面上でスワイプ操作を行うと、このスワイプ操作が対応領域ＣＲの位置の移動操作として操作パネル３３により検出される。そして、操作パネル３３は移動操作検出信号を表示制御部３９へ出力する。これにより、表示制御部３９は、操作パネル３３を介して対応領域ＣＲの位置を移動させる移動操作を受け付ける（ステップＳ１７）。

　次いで、表示制御部３９は、操作パネル３３からの移動操作検出信号に基づき、オリジナル画像データ５５の中で対応領域ＣＲの位置を移動させながら、オリジナル画像データ５５の中から新たな位置の対応領域ＣＲをトリミングして、トリミング画像データ５７を表示部２８に順次出力する（ステップＳ１８）。これにより、移動操作に応じて表示部２８に表示されるトリミング画像データ５７が更新される（ステップＳ１９）。以下、移動操作により対応領域ＣＲの位置がオリジナル画像データ５５の画像端に達するまで、上述のステップＳ１７からステップＳ１９までの処理が繰り返し実行される（ステップＳ２０でＮＯ）。

　一方、表示制御部３９は、既述の図１５（Ａ），（Ｃ）に示したように、移動操作により一方のオリジナル画像データ５５内での対応領域ＣＲの位置が、他方のオリジナル画像データ５５に対向する側の画像端まで移動した場合、対応領域ＣＲの位置を一時的に停止させる一時停止処理を行う（ステップＳ２０でＹＥＳ、ステップＳ２１）。この一時停止処理後、ユーザが操作パネル３３にて対応領域ＣＲの位置を他方のオリジナル画像データ５５に向けて移動させる移動操作を行わなかった場合、前述のステップＳ１７からステップＳ２１までの処理が繰り返し実行される（ステップＳ２２でＮＯ）。

　これに対して、一時停止処理後にユーザが操作パネル３３にて対応領域ＣＲの位置を他方のオリジナル画像データ５５に向けて移動させる移動操作を行った場合、この移動操作を受け付けた表示制御部３９は第１の遷移処理を実行する（ステップＳ２２でＹＥＳ）。この第１の遷移処理により、一方のオリジナル画像データ５５内の画像端にある対応領域ＣＲの第１の位置が、既述の図１５（Ｂ）又は図１５（Ｄ）に示したように、第１の位置に対応する他方のオリジナル画像データ５５内の第２の位置に遷移される（ステップＳ２３）。

　第１の遷移処理後、表示制御部３９は、他方のオリジナル画像データ５５から対応領域ＣＲをトリミングして、新たなトリミング画像データ５７を表示部２８に出力する（ステップＳ２４）。これにより、表示部２８の表示が、他方のオリジナル画像データ５５からトリミングしたトリミング画像データ５７に更新される（ステップＳ２５）。

　以下、ユーザが移動操作を終了するまで、ステップＳ１７以降の処理が繰り返し実行される（ステップＳ２６）。

　［第２実施形態の効果］
　以上のように第２実施形態の撮像装置では、ユーザの移動操作に応じてオリジナル画像データ５５の中でトリミングする対応領域ＣＲの位置を移動させるようにしたので、対応領域ＣＲの位置の移動に応じて表示部２８の表示面上でのトリミング画像データ５７の表示を更新することができ、撮像ユニット１１の周囲の被写体の細部の詳細確認を行う位置を自由に変えることができる。また、ユーザの移動操作により一方のオリジナル画像データ５５内での対応領域ＣＲの位置が画像端まで移動した際に、一時停止処理を経て第１の遷移処理を行うことにより、パノラマ画像データ４３の個々の画像間の隙間（スリット）をユーザに意識させることなく、表示部２８の表示内容を、他方のオリジナル画像データ５５からトリミングしたトリミング画像データ５７に更新することができる。

　また、第１の遷移処理の前に一時停止処理を行うようにしたので、対応領域ＣＲの第１の遷移処理が行われることをユーザに予告することができ、表示部２８の表示が他方のオリジナル画像データ５５からトリミングしたトリミング画像データ５７に切り替わった場合にユーザに与える違和感を低減させることができる。

　［第３実施形態の撮像装置］
　次に、図１７を用いて本発明の第３実施形態の撮像装置１０Ａについて説明を行う。図１７は、第３実施形態の撮像装置１０Ａの構成を示すブロック図である。上記第２実施形態の撮像装置では、ユーザの移動操作に応じて一方のオリジナル画像データ５５内での対応領域ＣＲの位置が画像端まで移動した場合に、一時停止処理を経て第１の遷移処理を行っているが、第３実施形態の撮像装置１０Ａでは第１の遷移処理とは異なる第２の遷移処理を行う。

　図１７に示すように、撮像装置１０Ａは、撮像ユニット１１によるその周囲の被写体の分割撮像の方法が異なる点と、タブレット端末１２Ａが上記第２実施形態（第１実施形態）とは異なる制御部２５Ａを備える点とを除けば、第２実施形態の撮像装置と基本的に同じ構成である。このため、上記各実施形態と機能や構成上同一のものについては、同一符号を付してその説明は省略する。

　図１８（Ａ）は、上記各実施形態の撮像ユニット１１によるその周囲の被写体の分割撮像の一例を示した説明図であり、図１８（Ｂ）は第３実施形態の撮像ユニット１１によるその周囲の被写体の分割撮像の一例を示した説明図である。

　図１８（Ａ）に示すように、上記各実施形態の撮像ユニット１１は、回転台１６により前述の一定の回転角度ずつ回転されながら、各回転角度位置において周囲の被写体をそれぞれ撮像して複数の撮像画像データ２０を生成する。

　これに対して、図１８（Ｂ）に示すように、第３実施形態の撮像ユニット１１は、回転台１６により前述の一定の回転角度の１／２の回転角度ずつ回転されながら、各回転角度位置において周囲の被写体をそれぞれ撮像して複数の撮像画像データ２０を生成する。すなわち、撮像ユニット１１は、上記各実施形態と同様に回転台１６により前述の一定の回転角度ずつ回転された位置で周囲の被写体の第１の撮像を行い、且つ第１の撮像を行うごとに第１の撮像の位置から前述の一定の回転角度の１／２の回転角度だけさらに回転した位置で周囲の被写体の第２の撮像を行う。このため、撮像ユニット１１は、第１の撮像［図中の括弧付き数字（１）、（２）…］と第２の撮像［図中の括弧付き数字（１Ａ）、（２Ａ）…］とにより、上記各実施形態の２倍の複数の撮像画像データ２０を生成する。

　図１７に戻って、タブレット端末１２Ａの制御部２５Ａは、記憶部２６から読み出したプログラム３０を実行することで、上記第１実施形態で説明した表示領域設定部５１及び判定部５２の他に、画像取得部３５Ａと、射影変換部３６Ａと、カット処理部３７Ａと、パノラマ画像生成部３８Ａと、表示制御部３９Ａと、画像記憶制御部４９Ａとして機能する。

　画像取得部３５Ａは、インタフェース２９を介して、撮像ユニット１１から第１の撮像及び第２の撮像によりそれぞれ得られた複数の撮像画像データ２０を取得して、これら複数の撮像画像データ２０を射影変換部３６に出力する。

　図１９（Ａ）～（Ｃ）は、第４実施形態における射影変換処理からパノラマ画像データ生成処理までの流れを説明するための説明である。なお、図中の括弧付き数字（１）、（１Ａ）、（２）、（２Ａ）、・・・は撮像ユニット１１による撮像順を示す。また、括弧付き数字が（１）、（２）、・・・の撮像画像データ２０は第１の撮像により得られ、括弧付き数字が（１Ａ）、（２Ａ）、・・・の撮像画像データ２０は第２の撮像により得られたことを示す［図１８（Ｂ）参照］。

　図１９（Ａ），（Ｂ）に示すように、射影変換部３６Ａは、第１の撮像（本発明の一方の撮像に相当）で得られた複数の撮像画像データ２０と、第２の撮像（本発明の他方の撮像に相当）で得られた複数の撮像画像データ２０とに対してそれぞれ射影変換処理（円筒変換処理）を行い、２組の複数の変換画像データ４１を生成する。そして、射影変換部３６Ａは、第１の撮像で得られた複数の変換画像データ４１をカット処理部３７Ａへ出力する。また、射影変換部３６Ａは、第１の撮像及び第２の撮像でそれぞれ得られた２組の複数の変換画像データ４１を画像記憶制御部４９Ａへ出力する。

　画像記憶制御部４９Ａは、第１の撮像で得られた複数の撮像画像データ２０に対応する複数の変換画像データ４１を、複数の第１のオリジナル画像データ５５Ａ（図１７参照）として記憶部２６に記憶させる。また、画像記憶制御部４９Ａは、第２の撮像で得られた複数の撮像画像データ２０に対応する複数の変換画像データ４１を、複数の第２のオリジナル画像データ５５Ｂ（図１７参照）として記憶部２６に記憶させる。これにより、複数の第１のオリジナル画像データ５５Ａと、第２のオリジナル画像データ５５Ｂとを含むオリジナル画像データ５５が記憶部２６に記憶される。

　次いで、図示は省略するが、カット処理部３７Ａは、第１の撮像で得られた複数の変換画像データ４１に対して、既述の第１実施形態の図６に示したようなカット処理を行って複数のカット画像データ４１Ａを生成する。

　図１９（Ｃ）に示すように、パノラマ画像生成部３８Ａは、カット処理部３７Ａから入力された複数のカット画像データ４１Ａを縮小処理した縮小画像データ４１Ｂを、撮像ユニット１１による撮像順に間隔をあけて連結してパノラマ画像データ４３を生成する。なお、第１実施形態で説明したようにパノラマ画像データ４３の生成方法は特に限定されるものではない。

　このように第３実施形態では、第１の撮像及び第２の撮像により上記各実施形態の２倍の数の撮像画像データ２０を生成するが、第１の撮像及び第２の撮像の一方の第１の撮像により得られた撮像画像データ２０を用いてパノラマ画像データ４３を生成する。なお、第１の撮像により得られた撮像画像データ２０を用いてパノラマ画像データ４３を生成する代わりに、第２の撮像により得られた撮像画像データ２０を用いてパノラマ画像データ４３を生成してもよい。

　図１７に戻って、表示制御部３９Ａは、上記各実施形態と同様に、パノラマ画像生成部３８Ａから入力されたパノラマ画像データ４３を表示部２８に出力して、パノラマ画像データ４３を表示部２８に表示させる。

　また、表示制御部３９Ａは、表示領域設定部５１にて表示領域ＶＲが設定された場合、上記第２実施形態と同様に、判定部５２の判定結果に基づきトリミング画像データ５６（図１０参照）、又は第１のオリジナル画像データ５５Ａの対応領域ＣＲからトリミングしたトリミング画像データ５７（図１１参照）を表示部２８に表示させる。

　さらに、表示制御部３９Ａは、表示部２８によるトリミング画像データ５７の表示中に、操作パネル３３から対応領域ＣＲの位置の移動操作を受け付けた場合、上記第２実施形態と同様に、この移動操作に応じて第１のオリジナル画像データ５５Ａの中からトリミングする対応領域ＣＲの位置を移動させる。そして、表示制御部３９Ａは、既述の図１５（Ａ）等と同様に、移動操作により互いに隣接する第１のオリジナル画像データ５５Ａの一方の第１のオリジナル画像データ５５Ａ内の画像端まで対応領域ＣＲの位置が移動した場合、前述の一時停止処理を経た後で第２の遷移処理を行う。

　図２０は、第３実施形態の表示制御部３９Ａによる第２の遷移処理を説明するための説明図である。ここでは、括弧付き数字（２）で示す一方の第１のオリジナル画像データ５５Ａ内での対応領域ＣＲの位置が、括弧付き数字（１）で示す他方の第１のオリジナル画像データ５５Ａに対向（隣接）する側の画像端まで移動した場合を例に挙げて説明を行う。

　図２０に示すように、表示制御部３９Ａは、前述の一時停止処理後、操作パネル３３を介して対応領域ＣＲの位置を一方の第１のオリジナル画像データ５５Ａから他方の第１のオリジナル画像データ５５Ａに向けて移動させる移動操作を受け付けた場合、第２の遷移処理を実行する。具体的に表示制御部３９Ａは、一方の第１のオリジナル画像データ５５Ａ内の画像端にある対応領域ＣＲの第１の位置を、一方及び他方の第１のオリジナル画像データ５５Ａ間に撮像された括弧付き数字（１Ａ）で示す第２のオリジナル画像データ５５Ｂ内の第１の位置に対応する第３の位置に遷移させる。なお、点Ｑ１は第１の位置の代表点であり、点Ｑ３は第３の位置の代表点を示す。

　括弧付き数字（２）で示す一方の第１のオリジナル画像データ５５Ａと、括弧付き数字（１Ａ）で示す第２のオリジナル画像データ５５Ｂとの撮像範囲は重複しているので、両者は共通の重複領域ＤＲ（図示は省略）を有している。この重複領域ＤＲの範囲（幅）は撮像ユニット１１の画角情報と回転角度の大きさから求められる。このため、前述の図１５で説明したように、対応領域ＣＲの大きさ及び形状が重複領域ＤＲ内に収まる大きさ及び形状であるか否かに応じて場合分けをすることで、第１の位置に対応する第３の位置を決定できる。

　表示制御部３９Ａは、第２の遷移処理後に第２のオリジナル画像データ５５Ｂから対応領域ＣＲをトリミングして、トリミングしたトリミング画像データ５７を表示部２８に表示させる。

　なお、表示制御部３９Ａは、操作パネル３３を介して受け付けた移動操作により、第２のオリジナル画像データ５５Ｂ内での対応領域ＣＲの位置が他方の第１のオリジナル画像データ５５Ａ側の画像端まで移動した場合、前述の一時停止処理を経た後で第３の遷移処理を行う。この場合、表示制御部３９Ａは、第２のオリジナル画像データ５５Ｂ内にある対応領域ＣＲの第４の位置を、この第４の位置に対応する他方の第１のオリジナル画像データ５５Ａ内の第２の位置に遷移させる。なお、点Ｑ４は第４の位置の代表点であり、点Ｑ２は第２の位置の代表点を示す。

　次いで、表示制御部３９Ａは、第３の遷移処理後に他方の第１のオリジナル画像データ５５Ａから対応領域ＣＲをトリミングして、トリミングしたトリミング画像データ５７を表示部２８に表示させる。

　［第３実施形態の撮像装置の作用］
　次に、図２１を用いて第３実施形態の撮像装置１０Ａの作用について説明を行う。図２１は、第３実施形態の撮像装置１０Ａによるトリミング画像データ５７の表示処理の流れを示すフローチャートである。

　図２１に示すように、ステップＳ１６までの処理は、既述の第１実施形態の図１４に示したステップＳ１６までの処理と基本的に同じである。ただし、第３実施形態では、ステップＳ１からステップＳ９（図１４参照）において、既述の図１８（Ｂ）に示したように第１の撮像及び第２の撮像を行うことにより、上記各実施形態の２倍の複数の撮像画像データ２０を生成する。そして、第１の撮像及び第２の撮像でそれぞれ得られた撮像画像データ２０に対して射影変換処理を施した後、第１の撮像（或いは第２の撮像でも可）に対応する複数の変換画像データ４１にカット処理及び縮小処理を施すことでパノラマ画像データ４３を生成する。

　また、ステップＳ６（図１４参照）において、画像記憶制御部４９Ａは、第１の撮像で得られた複数の変換画像データ４１を複数の第１のオリジナル画像データ５５Ａとして記憶部２６に記憶させ、第２の撮像で得られた複数の変換画像データ４１を複数の第２のオリジナル画像データ５５Ｂとして記憶部２６に記憶させる。これにより、第１のオリジナル画像データ５５Ａと第２のオリジナル画像データ５５Ｂとを含むオリジナル画像データ５５が記憶部２６に記憶される。

　ステップＳ１６の表示部２８によるトリミング画像データ５７の表示中において、表示制御部３９Ａは、操作パネル３３から対応領域ＣＲの位置の移動操作を受け付けると（ステップＳ１７Ａ）、この移動操作に応じて第１のオリジナル画像データ５５Ａの中からトリミングする対応領域ＣＲの位置を移動させる（ステップＳ１８Ａ）。そして、表示制御部３９Ａは、第１のオリジナル画像データ５５Ａの中から新たな位置の対応領域ＣＲをトリミングして、トリミング画像データ５７を表示部２８に順次出力する。これにより、移動操作に応じて表示部２８に表示されるトリミング画像データ５７が更新される（ステップＳ１９Ａ）。

　以下、移動操作により対応領域ＣＲの位置が第１のオリジナル画像データ５５Ａの画像端に達するまで、上述のステップＳ１７ＡからステップＳ１９Ａまでの処理が繰り返し実行される（ステップＳ２０ＡでＮＯ）。

　表示制御部３９Ａは、移動操作により前述の一方の第１のオリジナル画像データ５５Ａ内の画像端まで対応領域ＣＲの位置が移動した場合、対応領域ＣＲの位置を一時的に停止させる一時停止処理を行う（ステップＳ２０ＡでＹＥＳ、ステップＳ２１Ａ）。この一時停止処理後、ユーザが操作パネル３３にて対応領域ＣＲの位置を他方の第１のオリジナル画像データ５５Ａに向けて移動させる移動操作を行わなかった場合、前述のステップＳ１７ＡからステップＳ２１Ａまでの処理が繰り返し実行される（ステップＳ２２ＡでＮＯ）。

　これに対して、一時停止処理後にユーザが操作パネル３３にて対応領域ＣＲの位置を他方の第１のオリジナル画像データ５５Ａに向けて移動させる移動操作を行った場合、この移動操作を受け付けた表示制御部３９Ａは第２の遷移処理を実行する（ステップＳ２２ＡでＹＥＳ）。この第２の遷移処理において、表示制御部３９Ａは、前述の図２０に示したように、一方の第１のオリジナル画像データ５５Ａ内にある対応領域ＣＲの第１の位置を、一方及び他方の第１のオリジナル画像データ５５Ａ間に撮像された第２のオリジナル画像データ５５Ｂ内の第１の位置に対応する第３の位置へ遷移する（ステップＳ２３Ａ）。

　第２の遷移処理後、表示制御部３９は、第２のオリジナル画像データ５５Ｂから対応領域ＣＲをトリミングして、新たなトリミング画像データ５７を表示部２８に出力する（ステップＳ２４Ａ）。これにより、表示部２８の表示が、第２のオリジナル画像データ５５Ｂからトリミングしたトリミング画像データ５７に更新される（ステップＳ２５Ａ）。

　ここで、第２のオリジナル画像データ５５Ｂの撮像範囲は、一方及び他方の第１のオリジナル画像データ５５Ａの撮像範囲の間に位置する（図１８（Ｂ）参照）。このため、第２のオリジナル画像データ５５Ｂからトリミングしたトリミング画像データ５７は、他方の第１のオリジナル画像データ５５Ａからトリミングしたトリミング画像データ５７よりも、一方の第１のオリジナル画像データ５５Ａからトリミングしたトリミング画像データ５７に似た画像となる。従って、表示部２８の表示を第２のオリジナル画像データ５５Ｂからトリミングしたトリミング画像データ５７に更新した場合、他方の第１のオリジナル画像データ５５Ａからトリミングしたトリミング画像データ５７に更新する場合よりも、ユーザに与える違和感を低減することができる。

　ステップＳ２５Ａの後、表示制御部３９Ａは、操作パネル３３から対応領域ＣＲの位置の移動操作を受け付けると、この移動操作に応じて第２のオリジナル画像データ５５Ｂの中で対応領域ＣＲの位置を移動させると共に、表示部２８に表示するトリミング画像データ５７を更新する（ステップＳ２６Ａ，Ｓ２７Ａ）。

　そして、表示制御部３９Ａは、操作パネル３３を介して受け付けた移動操作により、第２のオリジナル画像データ５５Ｂ内での対応領域ＣＲの位置が他方の第１のオリジナル画像データ５５Ａ側の画像端まで移動した場合に前述の一時停止処理を行い、さらに更なる移動操作を受け付けた場合には既述の図２０に示した第３の遷移処理を行う。すなわち、表示制御部３９Ａは、第２のオリジナル画像データ５５Ｂ内にある対応領域ＣＲの第４の位置を、この第４の位置に対応する他方の第１のオリジナル画像データ５５Ａ内の第２の位置へ遷移する。

　次いで、表示制御部３９Ａは、他方の第１のオリジナル画像データ５５Ａから対応領域ＣＲをトリミングして、トリミングしたトリミング画像データ５７を表示部２８に表示させる。これにより、表示部２８の表示が、他方の第１のオリジナル画像データ５５Ａからトリミングしたトリミング画像データ５７に更新される。

　以下、ユーザが移動操作を終了するまで、ステップＳ１７Ａ以降の処理が繰り返し実行される。

　［第３実施形態の効果］
　以上のように第３実施形態の撮像装置１０Ａでは、ユーザの移動操作により一方の第１のオリジナル画像データ５５Ａ内での対応領域ＣＲの位置が画像端まで移動した場合に、一時停止処理を経て第２の遷移処理を行うことにより、ユーザに与える違和感を第１の遷移処理を行った場合よりも低減することができる。その結果、第２実施形態よりもパノラマ画像データ４３の画像間の隙間（スリット）をユーザに意識させることなく、表示部２８の表示内容を更新することができる。

　＜第３実施形態の変形例＞
　上記第３実施形態では、互いに隣接する第１のオリジナル画像データ５５Ａの一方の第１のオリジナル画像データ５５Ａ内の画像端まで対応領域ＣＲの位置が移動した場合、前述の一時停止処理を経た後で第２の遷移処理を行うが、対応領域ＣＲの位置が一方の第１のオリジナル画像データ５５Ａ内の画像端に達する前に第２の遷移処理を行ってもよい。これにより、第１のオリジナル画像データ５５Ａの画像端での解像度の劣化の影響を回避することができる。

　［第４実施形態の撮像装置］
　次に、図２２を用いて第４実施形態の撮像装置１０Ｂについて説明を行う。図２２は、第４実施形態の撮像装置１０Ｂの構成を示すブロック図である。第４実施形態の撮像装置１０Ｂでは、撮像ユニット１１Ｂによりその周囲の被写体を分割撮像する場合に、予め設定された方位から撮像を開始する。

　第４実施形態の撮像装置１０Ｂは、撮像ユニット１１Ｂに地磁気センサ６１が設けられ、且つタブレット端末１２Ｂの制御部２５Ｂが表示制御部３９Ｂとして機能する点を除けば、上記第１実施形態の撮像装置１０（図３参照）と基本的に同じ構成である。このため、上記第１実施形態と機能や構成上同一のものについては、同一符号を付してその説明は省略する。

　図２３は、第４実施形態の撮像ユニット１１Ｂによるその周囲の被写体の分割撮像の一例を説明するための説明図である。なお、図中の括弧付き数字（１）～（８）は、撮像ユニット１１Ｂによる撮像の順番を示す。

　図２３に示すように、撮像ユニット１１Ｂは、地磁気センサ６１の検出結果に基づき方位（方角）を検出する方位検出機能を有している。このため、撮像ユニット１１Ｂは、その周囲の被写体を分割撮像する場合に、予め設定された方位（例えば北）に撮像部１８の撮像方向を合わせてから前述の分割撮像を開始する。これにより、撮像ユニット１１Ｂは、その周囲の被写体の中で予め設定された方位にある被写体から撮像を開始し、その後、回転台１６により一定の回転角度ずつ回転させられながら各回転角度位置において周囲の被写体をそれぞれ撮像して複数の撮像画像データ２０を生成する。

　撮像ユニット１１Ｂにて生成された複数の撮像画像データ２０は、タブレット端末１２Ｂにより取得される。これにより、既述の第１実施形態と同様に、タブレット端末１２Ｂの制御部２５Ｂの各部において複数の撮像画像データ２０に対して、射影変換処理、カット処理、縮小処理、及び連結処理が施されてパノラマ画像データ４３が生成される。このパノラマ画像データ４３は、複数の縮小画像データ４１Ｂを撮像ユニット１１Ｂによる撮像順、すなわち、前述の予め設定された方位から回転台１６による回転方向に沿った順番で連結して生成したものである。そして、パノラマ画像データ４３はパノラマ画像生成部３８から表示制御部３９Ｂに入力される。

　図２４は、第４実施形態の表示制御部３９Ｂによるパノラマ画像データ４３の表示処理を説明するための説明図である。表示制御部３９Ｂは、パノラマ画像生成部３８から入力されたパノラマ画像データ４３を表示部２８に出力して、パノラマ画像データ４３を表示部２８に全体表示させる。

　また、表示制御部３９Ｂは、パノラマ画像データ４３を表示部２８に表示させる場合に、このパノラマ画像データ４３を構成する複数の縮小画像データ４１Ｂの各々が撮像ユニット１１Ｂに対してどの方位にある被写体を撮像したものであるかを判別する。本例では、複数の縮小画像データ４１Ｂを、前述の予め設定された方位から回転台１６による回転方向に沿った順番で連結して生成しているので、既知の予め設定された方位と、回転台１６による回転角度とに基づき、表示制御部３９Ｂは縮小画像データ４１Ｂの各々に対応する方位を判別可能である。そして、表示制御部３９Ｂは、パノラマ画像データ４３を構成する縮小画像データ４１Ｂが撮像ユニット１１Ｂに対してどの方位にある被写体を撮像したものであるかを示す方位情報６３を表示部２８の表示面に表示させる。

　［第４実施形態の効果］
　このように第４実施形態の撮像装置１０Ｂでは、方位検出機能を有する撮像ユニット１１Ｂにより予め定めた方位から撮像を開始させると共に、パノラマ画像データ４３を表示部２８に表示させる場合に方位情報６３を合わせて表示させているので、ユーザは方位（北、東、西、南のような絶対方位）を把握しながらパノラマ画像データ４３を閲覧することができる。

　［第４実施形態の変形例］
　上記第２実施形態及び上記第３実施形態においても、上記第４実施形態と同様に、撮像ユニット１１より予め設定された方位から被写体の撮像を行い、表示部２８にてパノラマ画像データ４３と共に方位情報６３を表示させるようにしてもよい。

　また、地磁気センサ６１を有する撮像ユニット１１Ｂにより複数の撮像画像データ２０をそれぞれ撮像させる場合に、複数の撮像画像データ２０のそれぞれに撮像時の方位を示す情報を付加してもよい。これにより、撮像ユニット１１が任意の方位から撮像を開始した場合でも、縮小画像データ４１Ｂの各々に対応する方位を判別して方位情報６３を表示部２８に表示させることができる。また、複数の縮小画像データ４１Ｂを予め設定された方位のものから回転台１６による回転方向に沿った順番で連結して、上記第４実施形態と同様のパノラマ画像データ４３を生成することができる。

　なお、上記第４実施形態では、地磁気センサ６１を用いた方位検出機能を有する撮像ユニット１１Ｂを例に挙げて説明を行ったが、方位を検出する方法は地磁気センサ６１に限定されるものではなく、各種の方位検出手段を用いてもよい。

　［第５実施形態の撮像装置］
　次に、図２５を用いて本発明の第５実施形態の撮像装置１０Ｃについて説明を行う。図２５は、第５実施形態の撮像装置１０Ｃの構成を示すブロック図である。上記各実施形態では、複数の縮小画像データ４１Ｂを撮像順に間隔をあけて隣接させた状態で連結することによりパノラマ画像データ４３を生成しているが、第５実施形態の撮像装置１０Ｃでは上記各実施形態とは異なる方法でパノラマ画像データ４３Ｃ（図２６参照）を生成する。

　図２５に示すように、撮像装置１０Ｃは、タブレット端末１２Ｃが上記第１実施形態とは異なる制御部２５Ｃを備える点を除けば、第１実施形態の撮像装置１０と基本的に同じ構成である。このため、上記第１実施形態と機能や構成上同一のものについては、同一符号を付してその説明は省略する。

　制御部２５Ｃは、記憶部２６から読み出したプログラム３０を実行することで、上記第１実施形態で説明した画像取得部３５、射影変換部３６、画像記憶制御部４９、表示領域設定部５１、及び判定部５２の他に、カット処理部３７Ｃと、パノラマ画像生成部３８Ｃと、表示制御部３９Ｃと、原点座標記憶制御部６５として機能する。

　図２６（Ａ）～（Ｃ）は、第５実施形態におけるパノラマ画像データ４３Ｃの生成処理の流れを説明するための説明図である。なお、図中の括弧付き数字（１）、（２）、（３）、・・・は撮像ユニット１１による撮像順を示す。

　図２６（Ａ），（Ｂ）に示すように、カット処理部３７Ｃは、射影変換処理後の複数の変換画像データ４１の中で像の歪みが大きい（凸状に湾曲している）上端部及び下端部をカットするカット処理を行い、複数のカット画像データ４１Ａｃを生成する。そして、カット処理部３７Ｃは、カット処理後の複数のカット画像データ４１Ａｃをパノラマ画像生成部３８Ｃへ出力する。なお、カット処理部３７Ｃによるカット処理は省略してもよい。また、上記各実施形態においてカット処理部３７Ｃと同様のカット処理を実行してもよい。

　図２６（Ｃ）に示すように、パノラマ画像生成部３８Ｃは、例えば、カット処理部３７Ｃから入力された複数のカット画像データ４１Ａｃを縮小処理した縮小画像データ４１Ｂｃを、撮像範囲の一部が重複する隣接画像間の重複領域ＤＲを重ね合せた状態で連結（所謂パノラマ合成）する。これにより、複数の縮小画像データ４１Ｂｃが隣接画像データ間の重複領域ＤＲを重ね合せた状態で連結されているパノラマ画像データ４３Ｃが生成される。このように第５実施形態では、一般的なパノラマ合成処理を行う。なお、第１実施形態と同様にパノラマ画像データ４３Ｃの生成方法は上記方法に限定されるものではなく、複数のカット画像データ４１Ａｃを連結した後で縮小処理を行うなどの各種方法を用いてもよい。そして、パノラマ画像生成部３８Ｃは、生成したパノラマ画像データ４３Ｃを表示制御部３９Ｃへ出力する。

　原点座標記憶制御部６５は、パノラマ画像生成部３８Ｃがパノラマ画像データ４３Ｃを生成する場合、このパノラマ画像データ４３Ｃ内での各縮小画像データ４１Ｂｃの原点座標６７（ｏ１、ｏ２、ｏ３、・・・）を求めて記憶部２６に記憶させる。この原点座標６７は、パノラマ画像データ４３Ｃ内での各縮小画像データ４１Ｂｃの範囲を識別するために用いられるものであり、例えばパノラマ画像データ４３Ｃ内の任意の点を原点とした場合の各縮小画像データ４１Ｂｃのコーナ部の座標である。なお、各縮小画像データ４１Ｂｃの原点座標６７は、各縮小画像データ４１Ｂｃの幅（連結方向の長さ）と、重複領域ＤＲの幅とから求めることができる。

　また、原点座標記憶制御部６５は、各縮小画像データ４１Ｂｃの原点座標６７を記憶部２６に記憶させる場合、各縮小画像データ４１Ｂｃの画像サイズ６８を記憶部２６に記憶させる。

　図２５に戻って、第５実施形態の記憶部２６は、第１実施形態で説明したプログラム３０及びオリジナル画像データ５５の他に、原点座標記憶制御部６５から入力された原点座標６７及び画像サイズ６８を記憶する。すなわち、第５実施形態の記憶部２６は、本発明の画像記憶部及び原点座標記憶部として機能する。

　表示制御部３９Ｃは、パノラマ画像生成部３８から入力されたパノラマ画像データ４３Ｃを表示部２８に出力して、既述の第１実施形態の図８又は図９と同様に、表示部２８にパノラマ画像データ４３Ｃを表示させる。

　表示部２８によるパノラマ画像データ４３Ｃの表示中に、ユーザが操作パネル３３を操作してパノラマ画像データ４３Ｃの中で拡大表示する領域を選択すると、表示領域設定部５１が表示領域ＶＲの設定を行い、表示領域ＶＲの設定範囲を示す設定範囲情報を判定部５２へ出力する。また、判定部５２は、表示領域設定部５１から入力された設定範囲情報に基づき、表示領域設定部５１により設定された表示領域ＶＲが、オリジナル画像データ５５の撮像範囲内であるか否かを判定し、その判定結果を表示制御部３９Ｃへ出力する。

　図２７（Ａ），（Ｂ），（Ｃ）は、表示領域ＶＲがオリジナル画像データ５５の撮像範囲内であると判定部５２が判定した場合の第５実施形態の表示制御部３９Ｃによる表示領域ＶＲの拡大表示を説明するための説明図である。

　図２７（Ａ），（Ｂ），（Ｃ）に示すように、表示制御部３９Ｃは、最初にパノラマ画像データ４３Ｃ上での表示領域ＶＲの位置と、記憶部２６から読み出した原点座標６７及び画像サイズ６８とに基づき、記憶部２６内から対応領域ＣＲを含むオリジナル画像データ５５を検索する。なお、図中の符号ｖは、パノラマ画像データ４３Ｃ上での表示領域ＶＲの位置を示す座標の代表点である。パノラマ画像データ４３Ｃ上での表示領域ＶＲの位置（座標ｖ）を、原点座標６７の各点ｏ１、ｏ２、・・・の各点の座標及び各縮小画像データ４１Ｂｃの画像サイズ６８と比較することで、表示領域ＶＲに対応する対応領域ＣＲを含むオリジナル画像データ５５を判別できる。

　例えば、表示制御部３９Ｃは、表示領域ＶＲが（１）の縮小画像データ４１Ｂｃ又は（２）の縮小画像データ４１Ｂｃの範囲内に完全に収まっている場合、この表示領域ＶＲに対応する対応領域ＣＲを含むオリジナル画像データ５５として（１）又は（２）のオリジナル画像データ５５を記憶部２６の中から検索する。そして、表示制御部３９Ｃは、検索した（１）又は（２）オリジナル画像データ５５から対応領域ＣＲをトリミングし、トリミングしたトリミング画像データ５７を表示部２８へ出力して表示させる。

　一方、表示制御部３９Ｃは、既述の第１実施形態の図１２と同様に、表示領域ＶＲが（２）の縮小画像データ４１Ｂｃ又は（３）の縮小画像データ４１Ｂｃの範囲内に完全に収まっておらず両者に跨るように設定されている場合、前述の領域内面積が大きい（３）のオリジナル画像データ５５を記憶部２６の中から検索する。

　次いで、表示制御部３９Ｃは、検索した（３）のオリジナル画像データ５５の中から表示領域ＶＲに対応する対応領域ＣＲを判別する。この場合の表示領域ＶＲに対応する対応領域ＣＲとは、当初の表示領域ＶＲの設定位置から領域内面積が大きい（３）の縮小画像データ４１Ｂｃ内へ平行移動した位置にある表示領域ＶＲ１に対応する対応領域ＣＲである。なお、この平行移動の移動量は、領域内面積が大きい（３）の縮小画像データ４１Ｂｃ上の範囲外にある表示領域ＶＲの幅（図中、斜線で表示）の大きさである。そして、表示制御部３９Ｃは、（３）のオリジナル画像データ５５から対応領域ＣＲをトリミングし、トリミングしたトリミング画像データ５７を表示部２８へ出力して表示させる。

　図２８は、判定部５２が否と判定した場合の第５実施形態の表示制御部３９Ｃによる表示領域ＶＲ（図中、斜線で表示）の拡大表示を説明するための説明図である。図２８に示すように、表示制御部３９Ｃは、第１実施形態と同様に、パノラマ画像データ４３Ｃの中から表示領域ＶＲに対応する領域をトリミングし、トリミングしたトリミング画像データ５６を表示部２８へ出力して拡大表示させる。

　［第５実施形態の撮像装置の作用］
　次に、図２９を用いて第５実施形態の撮像装置１０Ｃの作用について説明を行う。図２９は、第５実施形態の撮像装置１０Ｃによるパノラマ画像データ４３Ｃの表示処理や表示領域ＶＲの拡大表示処理の流れを示すフローチャートである。なお、ステップＳ６までの処理は、既述の第１実施形態の図１４に示したステップＳ１からステップＳ６までの処理と基本的に同じであるので、ここでは具体的な説明を省略する。

　＜パノラマ画像データの表示処理＞
　ステップＳ６の処理後、複数の変換画像データ４１の入力を受けたカット処理部３７は、既述の図２６に示したように、複数の変換画像データ４１に対して上端部及び下端部をカットするカット処理を行い、複数のカット画像データ４１Ａｃを生成してパノラマ画像生成部３８Ｃへ出力する（ステップＳ７Ｃ）。

　複数のカット画像データ４１Ａｃの入力を受けたパノラマ画像生成部３８Ｃは、複数のカット画像データ４１Ａｃを縮小処理して複数の縮小画像データ４１Ｂｃを生成する（ステップＳ８Ｃ）。次いで、パノラマ画像生成部３８Ｃは、複数の縮小画像データ４１Ｂｃを、撮像範囲の一部が重複する隣接画像間の重複領域ＤＲを重ね合せた状態で連結（パノラマ合成）してパノラマ画像データ４３Ｃを生成し、このパノラマ画像データ４３Ｃを表示制御部３９Ｃへ出力する（ステップＳ９Ｃ）。なお、既述の通り、パノラマ画像生成部３８Ｃによるパノラマ画像データ４３Ｃの生成方法は上記の方法に限定はされない。

　また、パノラマ画像生成部３８Ｃがパノラマ画像データ４３Ｃを生成する場合、原点座標記憶制御部６５は、パノラマ画像データ４３Ｃ内での各縮小画像データ４１Ｂｃの原点座標６７を求めて記憶部２６に記憶させると共に、各縮小画像データ４１Ｂｃの画像サイズ６８を記憶部２６に記憶させる（ステップＳ９Ｃ－１）。

　パノラマ画像データ４３Ｃの入力を受けた表示制御部３９は、このパノラマ画像データ４３Ｃを表示部２８へ出力して、表示部２８にパノラマ画像データ４３Ｃを全体表示させる（ステップＳ１０Ｃ）。

　＜表示領域の拡大表示処理＞
　第１実施形態と同様にユーザが操作パネル３３を操作して、表示部２８に表示されているパノラマ画像データ４３Ｃの中で拡大表示する領域を選択すると、表示領域設定部５１による表示領域ＶＲの設定と（ステップＳ１１Ｃ）、判定部５２による判定とが実行され、判定部５２の判定結果が表示制御部３９Ｃに入力される（ステップＳ１２Ｃ）。

　そして、表示制御部３９Ｃは、判定部５２から否との判定結果の入力を受けた場合、既述の図２８に示したように、パノラマ画像データ４３Ｃの中から表示領域ＶＲに対応する領域をトリミングして、トリミングしたトリミング画像データ５６を表示部２８に出力する（ステップＳ１２ＣでＮＯ、ステップＳ１３Ｃ）。そして、表示制御部３９Ｃは、トリミング画像データ５６を表示部２８に拡大表示させる（ステップＳ１４Ｃ）。

　一方、表示制御部３９は、判定部５２から表示領域ＶＲがオリジナル画像データ５５の撮像範囲内（撮像部１８の画角の範囲内）であるとの判定結果の入力を受けた場合、記憶部２６に記憶されている原点座標６７及び画像サイズ６８を読み出す。次いで、表示制御部３９は、既述の図２７に示したように、パノラマ画像データ４３Ｃ上での表示領域ＶＲの位置と、原点座標６７及び画像サイズ６８とに基づき、記憶部２６内のオリジナル画像データ５５の中から、対応領域ＣＲを含むオリジナル画像データ５５を検索する。そして、表示制御部３９Ｃは、検索したオリジナル画像データ５５から対応領域ＣＲをトリミングし（ステップＳ１５Ｃ）、トリミングしたトリミング画像データ５７を表示部２８へ出力して表示させる（ステップＳ１６Ｃ）。

　ユーザが操作パネル３３等を操作して表示領域ＶＲの再設定を行った場合、前述のステップＳ１１Ｃ以降の処理が繰り返し実行される（ステップＳ３０でＹＥＳ）。

　［第５実施形態の効果］
　以上のように第５実施形態の撮像装置１０Ｃにおいても、上記第１実施形態と同様に、表示部２８の表示面のサイズに対応した解像度のパノラマ画像データ４３Ｃの表示と、トリミング画像データ５６又はトリミング画像データ５７による表示領域ＶＲの拡大表示とをシームレスに切り替えることができるので、被写体の俯瞰と詳細確認とが可能になる。

　＜第５実施形態の変形例＞
　図３０（Ａ），（Ｂ）は、上記第５実施形態の撮像装置１０Ｃにおけるオリジナル画像データ５５内での対応領域ＣＲの位置の移動及び第１の遷移処理を説明するための説明図である。また、図３０（Ｃ）は、上記第５実施形態の撮像装置１０Ｃにおける第２の遷移処理を説明するための説明図である。

　図３０（Ａ），（Ｂ）に示すように、上記第５実施形態の表示制御部３９Ｃは、上記第２実施形態と同様に、表示部２８によるトリミング画像データ５７の表示中に操作パネル３３から対応領域ＣＲの位置の移動操作を受け付けた場合、この移動操作に応じてオリジナル画像データ５５内での対応領域ＣＲの位置を移動させる。そして、表示制御部３９Ｃは、移動操作により互いに隣接するオリジナル画像データ５５の一方のオリジナル画像データ５５内の画像端まで対応領域ＣＲの位置が移動した場合、前述の一時停止処理を行う。

　さらに、表示制御部３９Ｃは、一時停止処理後に操作パネル３３にて対応領域ＣＲの位置を他方のオリジナル画像データ５５に向けて移動させる移動操作が行われた場合、この対応領域ＣＲが重複領域ＤＲ内に収まる形状であるか否かに応じて、既述の第２実施形態の図１５（Ａ），（Ｂ）又は図１５（Ｃ），（Ｄ）で説明した第１の遷移処理を実行する。

　また、上記第５実施形態の撮像装置１０Ｃにおいても、既述の第３実施形態の図１８（Ｂ）で説明したように第１の撮像と第２の撮像とを行うことができる。この場合、図３０（Ｃ）に示すように、表示制御部３９Ｃは、一時停止処理後に操作パネル３３にて対応領域ＣＲの位置を一方の第１のオリジナル画像データ５５Ａから他方の第１のオリジナル画像データ５５Ａに向けて移動させる移動操作が行われることに応じて、既述の第３実施形態の図２０で説明した第２の遷移処理を実行する。

　なお、上記第５実施形態の撮像装置１０Ｃにおいて、既述の第１実施形態の図１３で説明したように、対応領域ＣＲのトリミング画像データ５７を表示している表示部２８の表示面の一部にサブ画面５９を表示させてもよい。また、上記第５実施形態の撮像装置１０Ｃにおいて、既述の第４実施形態（図２２から図２４参照）と同様に撮像ユニット１１Ｂを用いて予め設定された方位から撮像を開始してもよく、さらにパノラマ画像データ４３Ｃを表示部２８に表示させる場合に方位情報６３を合わせて表示させてもよい。

　［その他］
　上記各実施形態では、撮像ユニット１１，１１Ｂから取得した複数の撮像画像データ２０に対して行う射影変換処理として円筒変換処理を例に挙げたが、円筒変換処理以外の射影変換処理を行ってもよい。また、射影変換処理を省略してもよい。この場合、画像記憶制御部４９，４９Ａは、複数の撮像画像データ２０を複数のオリジナル画像データ５５として記憶部２６に記憶させる。

　上記各実施形態では、タブレット端末１２，１２Ａ～１２Ｃが本発明の画像処理装置として機能しているが、パノラマ画像データ４３，４３Ｃの生成やトリミング画像データ５６，５７の生成等を撮像ユニット１１，１１Ｂ側で実行してもよい。

　上記各実施形態では、撮像ユニット１１，１１Ｂとしてパンチルトカメラを例に挙げたが、撮像ユニットの種類は特に限定されるものではなく、デジタルカメラや携帯端末などを用いてもよい。なお、デジタルカメラや携帯端末などを用いる場合には、撮像範囲を水平方向に移動させながら連続して撮像を実行する場合に、連続する撮像の前後で撮像範囲の一部を重複させながら撮像を実行できるように、撮像支援機能（パノラマアシスト機能ともいう）を有するものを用いることが好ましい。さらにデジタルカメラや携帯端末などを本発明の撮像ユニットとして用いる場合には、この撮像ユニットを本発明の画像処理装置としても機能させてもよい。これにより、本発明の撮像装置を一つの装置で実現することができる。

　上記各実施形態では、撮像ユニット１１，１１Ｂによりその周囲３６０°を分割撮像しているが、分割撮像する範囲は３６０°未満であってもよい。

　上記各実施形態では、撮像ユニット１１，１１Ｂを回転させながらその周囲を分割撮像しているが、例えば撮像ユニット１１，１１Ｂを回転させる代わりに水平方向を含む任意の一方向に移動させながら連続して撮像を実行させてもよい。また、１つの撮像ユニット１１等で撮像を行う代わりに、複数の撮像ユニット１１等で撮像を行ってもよい。

　上記各実施形態では、本発明の画像処理装置としてタブレット端末１２，１２Ａ～１２Ｃを例に挙げて説明を行ったが、例えばパーソナルコンピュータ、サーバ、及び携帯端末［スマートフォン、タブレット端末、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機等］のような画像処理機能を有する各種の画像処理装置に本発明を適用することができる。この場合、上記各実施形態で説明した記憶部２６や表示部２８は画像処理装置と必ずしも一体に設けられている必要はなく別体に設けられていてもよい。また、前述の通り、携帯端末のような撮像機能を有するものを本発明の画像処理装置として機能させる場合には、本発明の撮像装置を一つの装置で実現することもできる。

　上述の各実施形態で説明した撮像装置としてコンピュータを機能させるためのプログラム（前述のプログラム３０等）をＣＤ－ＲＯＭ（Compact Disc Read Only Memory）や磁気ディスクやその他のコンピュータ可読媒体（有体物たる非一時的な情報記憶媒体）に記録し、情報記憶媒体を通じてプログラムを提供することが可能である。このような情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの通信ネットワークを利用してプログラム信号をダウンロードサービスとして提供することも可能である。

　＜スマートフォンの構成＞
　以下、本発明（画像処理装置及び撮像装置）を適用可能なスマートフォンの一例について説明する。

　図３１は、本発明を適用可能なスマートフォン５００の外観斜視図である。図３１に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１と、ＬＥＤ（Light Emitting Diode）発光部５４２とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。

　図３２は、図３１に示したスマートフォン５００の構成を示すブロック図である。図３２に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

　無線通信部５１０は、主制御部５０１の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

　表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

　表示パネル５２１は、ＬＣＤ(Liquid Crystal Display)、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。

　操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

　図３１に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。

　なお、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。さらにまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

　通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力したりするものである。また、図３１に示すように、例えば、スピーカ５３１及びマイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。

　操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

　記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。なお、記憶部５５０は、上記各実施形態の記憶部２６に相当する。

　外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバスなど）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

　スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

　ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

　モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

　電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

　主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

　アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。

　また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

　さらに、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

　表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル５２１に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

　また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

　さらに、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分か、それ以外の表示パネル５２１に重ならない外縁部分かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

　また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

　カメラ部５４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型あるいはＣＣＤ（charge-coupled device）型の撮像素子を用いて電子撮像する撮像部である。

　ＬＥＤ発光部５４２は、白色ＬＥＤ及び近赤外ＬＥＤを有し、可視光画像撮像モード時に被写体の光量が不足する場合には、白色ＬＥＤを点灯し、可視光画像撮像時の補助光として白色ＬＥＤから白色光を発光し、近赤外光画像撮像モード時に近赤外ＬＥＤを点灯し、近赤外光画像撮像時の補助光として近赤外ＬＥＤから近赤外光を発光する。また、近赤外ＬＥＤは、赤外線通信機能を有するスマートフォン５００の場合、赤外線通信の光源として使用することも可能である。

　また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力したりすることができる。図３１に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮像に供するカメラ部５４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部５４１を同時に使用して撮像したりすることもできる。

　また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。さらには、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

　主制御部５０１は、上記各実施形態の制御部２５，２５Ａ～２５Ｃと同等の機能を有するものであり、本発明の画像処理装置に相当するものである。また、カメラ部５４１を本発明の撮像ユニットとして機能させることも可能である。この場合、前述の撮像支援機能（パノラマアシスト機能）をスマートフォン５００に搭載することが好ましい。

　＜本明細書の記載から導かれる発明＞
　また、本明細書の記載から以下の発明を導き出すことができる。図３３（Ａ），（Ｂ）は、本明細書の記載から導き出される発明を説明するための説明図である。例えば図３３（Ａ）に示すように、上記第１実施形態（他の実施形態でも可）においてタブレット端末１２の表示部２８に表示されているパノラマ画像データ４３の中の一部を選択するタッチ操作等の選択操作がなされた場合に、このパノラマ画像データ４３の中で選択操作がなされた座標を含む縮小画像データ４１Ｂを検出する。そして、図３３（Ｂ）に示すように、表示制御部３９が、縮小画像データ４１Ｂの検出結果に対応するオリジナル画像を記憶部２６から読み出して表示部２８に表示させる。

　すなわち、「撮像ユニットの撮像範囲を水平方向に移動させながら連続して撮像を実行して得られた複数の撮像画像であって、且つ連続する撮像の前後で撮像範囲の一部を重複させながら撮像を実行して得られた複数の撮像画像を取得する画像取得部と、画像取得部が取得した複数の撮像画像から、複数の撮像画像を縮小処理した複数の縮小画像が連結されているパノラマ画像を生成するパノラマ画像生成部と、パノラマ画像生成部による縮小処理前の複数の撮像画像をオリジナル画像として画像記憶部に記憶させる画像記憶制御部と、パノラマ画像生成部が生成したパノラマ画像を表示部に表示させる表示制御部と、表示部に表示されているパノラマ画像の中の一部を選択する選択操作がなされた場合、パノラマ画像の中で選択操作がなされた座標を含む縮小画像を検出する画像検出部と、を備え、表示制御部は、画像検出部の検出結果に基づき、画像記憶部から画像検出部の検出結果に対応するオリジナル画像を読み出して表示部に表示させる画像処理装置」の発明が本明細書の記載から導き出される。

　１０，１０Ａ～１０Ｃ…撮像装置，１１，１１Ｂ…撮像ユニット，１２，１２Ａ～１２Ｃ…タブレット端末，１６…回転台，１８…撮像部，２０…撮像画像データ，２５，２５Ａ～２５Ｃ…制御部，２６…記憶部，２８…表示部，３０…プログラム，３３…操作パネル，３５，３５Ａ…画像取得部，３６，３６Ａ…射影変換部，３７，３７Ａ，３７Ｃ…カット処理部，３８，３８Ａ，３８Ｃ…パノラマ画像生成部，３９，３９Ａ～３９Ｃ…表示制御部，４１Ａ，４１Ａｃ…カット画像データ，４１Ｂ，４１Ｂｃ…縮小画像データ，４１…変換画像データ，４３，４３Ｃ…パノラマ画像データ，４９，４９Ａ…画像記憶制御部，５１…表示領域設定部，５２…判定部，５５…オリジナル画像データ，５５Ａ…第１のオリジナル画像データ，５５Ｂ…第２のオリジナル画像データ，５６…トリミング画像データ，５７…トリミング画像データ，５９…サブ画面，６１…地磁気センサ，６５…原点座標記憶制御部，６７…原点座標

Claims

　撮像ユニットの撮像範囲を水平方向に移動させながら連続して撮像を実行して得られた複数の撮像画像であって、且つ連続する撮像の前後で前記撮像範囲の一部を重複させながら撮像を実行して得られた複数の撮像画像を取得する画像取得部と、
　前記画像取得部が取得した前記複数の撮像画像から、当該複数の撮像画像を縮小処理した複数の縮小画像が連結されているパノラマ画像を生成するパノラマ画像生成部と、
　前記パノラマ画像生成部による縮小処理前の前記複数の撮像画像をオリジナル画像として画像記憶部に記憶させる画像記憶制御部と、
　前記パノラマ画像生成部が生成した前記パノラマ画像を表示部に表示させる表示制御部と、
　前記表示部に表示されている前記パノラマ画像の中で拡大表示する表示領域を設定する表示領域設定部と、
　前記表示領域設定部により設定された前記表示領域が、前記オリジナル画像の撮像範囲内であるか否かを判定する判定部と、
　を備え、
　前記表示制御部は、前記判定部が否と判定した場合、前記パノラマ画像から前記表示領域をトリミングして前記表示部に拡大表示させ、前記判定部が前記オリジナル画像の撮像範囲内であると判定した場合、前記画像記憶部に記憶されている前記オリジナル画像の中から当該表示領域に対応する対応領域をトリミングして前記表示部に表示させる画像処理装置。
　前記表示制御部は、前記表示部に前記オリジナル画像内の前記対応領域が表示されている場合において、さらに前記オリジナル画像内での前記対応領域の位置を移動させる移動操作を受け付けた場合、前記移動操作に応じて前記オリジナル画像の中からトリミングする前記対応領域の位置を移動させる請求項１に記載の画像処理装置。
　前記表示制御部は、
　前記移動操作によって前記対応領域の位置が、互いに隣接する前記オリジナル画像の一方の画像において他方の画像に隣接する側の画像端まで移動した場合、当該対応領域の位置の移動を一時的に停止させる一時停止処理と、
　前記一時停止処理された前記対応領域の位置を前記一方の画像から前記他方の画像に向けて移動させる移動操作をさらに受け付けた場合、前記一方の画像の画像端にある前記対応領域の第１の位置を、前記第１の位置に対応する前記他方の画像の第２の位置へ遷移させる第１の遷移処理と、を実行する請求項２に記載の画像処理装置。
　前記画像取得部は、前記撮像ユニットが水平方向に一定の回転角度ずつ回転する毎に撮像を行って生成した前記複数の撮像画像を取得する請求項１から３のいずれか１項に記載の画像処理装置。
　前記撮像ユニットは、水平方向に一定の回転角度ずつ回転する毎に第１の撮像を行って前記複数の撮像画像を生成し、且つ前記第１の撮像を行う毎に当該第１の撮像の位置から前記回転角度の１／２だけさらに回転した位置で第２の撮像を行って前記複数の撮像画像を生成し、
　前記画像取得部は、前記撮像ユニットの前記第１の撮像により生成された前記複数の撮像画像と、前記第２の撮像により生成された前記複数の撮像画像とを取得し、
　前記パノラマ画像生成部は、前記第１の撮像及び前記第２の撮像のいずれか一方の撮像によって得られた前記複数の撮像画像から前記パノラマ画像を生成し、
　前記画像記憶制御部は、前記一方の撮像で得られた前記複数の撮像画像を第１のオリジナル画像とし、且つ前記一方の撮像とは異なる他方の撮像で得られた前記複数の撮像画像を第２のオリジナル画像として、前記第１のオリジナル画像と前記第２のオリジナル画像とを含む前記オリジナル画像を前記画像記憶部に記憶させ、
　前記表示制御部は、
　前記移動操作によって前記対応領域の位置が、互いに隣接する前記第１のオリジナル画像の一方の画像の中において他方の画像に隣接する側の画像端まで移動した場合、当該対応領域の位置の移動を一時的に停止させる一時停止処理と、
　前記一時停止処理された前記対応領域の位置を前記一方の画像から前記他方の画像に向けて移動させる移動操作をさらに受け付けた場合、前記一方の画像内の画像端にある前記対応領域の第１の位置を、前記一方の画像及び前記他方の画像の間で撮像された前記第２のオリジナル画像内の前記第１の位置に対応する第３の位置へ遷移させる第２の遷移処理と、を実行する請求項２に記載の画像処理装置。
　前記パノラマ画像生成部は、前記複数の縮小画像が前記撮像ユニットによる撮像順に間隔をあけて隣接させた状態で連結されている前記パノラマ画像であって、且つ前記撮像範囲の一部が重複する当該複数の縮小画像の隣接画像間の重複領域が、前記隣接画像間の重複領域の互いに対向する画像端から予め設定した幅でカット処理されている前記パノラマ画像を生成する請求項１から５のいずれか１項に記載の画像処理装置。
　前記予め設定された幅は、前記カット処理された前記複数の縮小画像の隣接画像同士の一部が重複する大きさに設定されている請求項６に記載の画像処理装置。
　前記パノラマ画像生成部は、前記複数の縮小画像が、前記撮像範囲の一部が重複する隣接画像間の重複領域を重ね合せた状態で連結されている前記パノラマ画像を生成し、
　前記パノラマ画像生成部が前記パノラマ画像を生成する場合に、前記パノラマ画像内での前記複数の縮小画像の各々の原点座標を原点座標記憶部に記憶させる原点座標記憶制御部を有し、
　前記表示制御部は、前記判定部が前記オリジナル画像の撮像範囲内であると判定した場合、前記表示領域設定部により設定された前記表示領域と、前記原点座標記憶部に記憶されている前記原点座標とに基づき、前記画像記憶部に記憶されている前記オリジナル画像の中から前記対応領域を含む当該オリジナル画像を検索し、検索した当該オリジナル画像の当該対応領域をトリミングして前記表示部に表示させる請求項１から５のいずれか１項に記載の画像処理装置。
　前記画像取得部が取得した前記複数の撮像画像に対し、前記撮像ユニットの画角に基づき同一投影面に射影変換する射影変換処理を施す射影変換部を備え、
　前記パノラマ画像生成部は、前記射影変換部により射影変換処理された前記複数の撮像画像から生成した前記複数の縮小画像を連結してパノラマ画像を生成し、
　前記画像記憶制御部は、前記オリジナル画像として、前記射影変換部により射影変換処理された前記複数の撮像画像を前記画像記憶部に記憶させる請求項１から８のいずれか１項に記載の画像処理装置。
　前記表示制御部は、前記オリジナル画像から前記対応領域をトリミングして前記表示部に表示させる場合に、当該表示部の表示面の一部に前記パノラマ画像の全体を示す全体画像を表示させる請求項１から９のいずれか１項に記載の画像処理装置。
　前記表示制御部は、前記表示領域の範囲を示す範囲画像を前記全体画像に重畳表示させる請求項１０に記載の画像処理装置。
　撮像ユニットと、前記撮像ユニットの撮像範囲を水平方向に回転させる回転機構と、請求項１から請求項１１のいずれか１項に記載の画像処理装置と、を備える撮像装置。
　前記撮像ユニットは、方位検出機能を有しており、予め設定された方位から撮像を開始する請求項１２に記載の撮像装置。
　撮像ユニットの撮像範囲を水平方向に移動させながら連続して撮像を実行して得られた複数の撮像画像であって、且つ連続する撮像の前後で前記撮像範囲の一部を重複させながら撮像を実行して得られた複数の撮像画像を取得する画像取得ステップと、
　前記画像取得ステップで取得した前記複数の撮像画像から、当該複数の撮像画像を縮小処理した複数の縮小画像が連結されているパノラマ画像を生成するパノラマ画像生成ステップと、
　前記パノラマ画像生成ステップで縮小処理される前の前記複数の撮像画像をオリジナル画像として画像記憶部に記憶させる画像記憶制御ステップと、
　前記パノラマ画像生成ステップで生成した前記パノラマ画像を表示部に表示させる表示制御ステップと、
　前記表示部に表示されている前記パノラマ画像の中で拡大表示する表示領域を設定する表示領域設定ステップと、
　前記表示領域設定ステップで設定された前記表示領域が、前記オリジナル画像の撮像範囲内であるか否かを判定する判定ステップと、
　を有し、
　前記表示制御ステップは、前記判定ステップで否と判定された場合、前記パノラマ画像から前記表示領域をトリミングして前記表示部に拡大表示させ、前記判定ステップで前記オリジナル画像の撮像範囲内であると判定された場合、前記画像記憶部に記憶されている前記オリジナル画像の中から当該表示領域に対応する対応領域をトリミングして前記表示部に表示させる画像処理方法。
　画像処理装置のコンピュータを、
　撮像ユニットの撮像範囲を水平方向に移動させながら連続して撮像を実行して得られた複数の撮像画像であって、且つ連続する撮像の前後で前記撮像範囲の一部を重複させながら撮像を実行して得られた複数の撮像画像を取得する画像取得部と、
　前記画像取得部が取得した前記複数の撮像画像から、当該複数の撮像画像を縮小処理した複数の縮小画像が連結されているパノラマ画像を生成するパノラマ画像生成部と、
　前記パノラマ画像生成部による縮小処理前の前記複数の撮像画像をオリジナル画像として画像記憶部に記憶させる画像記憶制御部と、
　前記パノラマ画像生成部が生成した前記パノラマ画像を表示部に表示させる表示制御部と、
　前記表示部に表示されている前記パノラマ画像の中で拡大表示する表示領域を設定する表示領域設定部と、
　前記表示領域設定部により設定された前記表示領域が、前記オリジナル画像の撮像範囲内であるか否かを判定する判定部として機能させるためのプログラムであって、
　前記表示制御部は、前記判定部が否と判定した場合、前記パノラマ画像から前記表示領域をトリミングして前記表示部に拡大表示させ、前記判定部が前記オリジナル画像の撮像範囲内であると判定した場合、前記画像記憶部に記憶されている前記オリジナル画像の中から当該表示領域に対応する対応領域をトリミングして前記表示部に表示させるプログラム。
　請求項１５に記載のプログラムを記録したコンピュータ読み取り可能な非一時的有形媒体。