JP5239881B2 - 画像表示装置、画像表示処理プログラム、及び、画像表示方法 - Google Patents

Description

本発明は、複数の画像データを表示する画像表示装置、画像表示処理プログラム、及び、画像表示方法に関する。

従来より、マルチビュー（多視点）により撮影・記録された画像を表示する技術が知られている。例えば、特許文献１には、マルチビューで撮影された複数の画像データをパソコンに取り込んだ場合、各画像データの撮影・記録時における視点方向の情報に基づいて、自動的に複数の画像データを順次再生するものである（例えば、特許文献１参照）。

特開２００４−１３９２９４号公報

しかしながら、上記の従来技術においては、各視点で撮影された複数の画像データをユーザの意思とは無関係に自動的に順次再生する。したがって、ユーザが所望する視点方向からの被写体像を縦覧しようとする場合、その視点方向の画像データが自動再生されるまで待たなければならないという問題があった。

上記課題を解決するために、請求項１記載の発明は、被写体を複数の方向から撮像することにより取得され、夫々に撮影された方向が含まれた複数の画像データを、互いに関連していること示す情報を当該複数の画像データのうちの何れかに含んだ一つのファイルとして記憶する記憶手段と、表示手段と、外部からの操作を複数の方向で検出する操作検出手段と、前記記憶手段から夫々取得された撮影された方向に基づいて、これら撮影された方向を面とした立体表示オブジェクトを生成する生成手段と、この操作検出手段によって検出された方向を視点方向としてこれに対応する方向で前記被写体が撮影されている画像データを前記ファイルから読み出し、テクスチャとして前記生成手段によって生成された立体表示オブジェクトの面に表示するよう前記表示手段を制御する表示制御手段と、を備えることを特徴とする。

請求項２記載の発明は、上記請求項１記載の発明において、前記操作検出手段によって検出され得る方向と前記被写体が撮影された複数の方向とを対応付けて記憶する方向記憶手段を更に備え、前記表示制御手段は、前記操作検出手段によって検出された方向に対応して前記方向記憶手段より対応する前記被写体が撮影された方向を取得し、この取得された方向に基づいて前記立体表示オブジェクトを回転させるよう制御することを特徴とする。

請求項３記載の発明は、上記請求項１又は２記載の発明において、前記表示制御手段は、前記撮影された方向を回転軸とした回転角度情報として、前記立体表示オブジェクトを回転させるように動画表示するよう制御することを特徴とする。

請求項４記載の発明は、上記請求項１乃至３の何れか記載の発明において、被写体を撮像する撮像手段と、この撮像手段による撮像時に、撮影された方向を取得する撮影方向取得手段と、前記撮像手段によって撮像された被写体の画像データに、前記撮影方向取得手段によって取得された撮影された方向を含ませて前記記憶手段に記憶するよう制御する記憶制御手段と、を更に備えることを特徴とする。

請求項５記載の発明は、上記請求項１乃至４の何れか記載の発明において、前記記憶手段は、前記複数の画像データが互いに関連していること示す情報を、当該複数の画像データのうちの何れかのヘッダ情報に含ませて記憶することを特徴とする。

また、上記の課題を解決するために、請求項６記載の発明は、被写体を複数の方向から撮像することにより取得され、夫々に撮影された方向が含まれた複数の画像データを、これら複数の画像データが互いに関連していること示す情報を当該複数の画像データのうちの何れかに含んだ一つのファイルとして記憶するメモリより、外部からの操作を複数の方向で検出する操作検出部によって検出された方向を視点方向としてこれに対応する方向で前記被写体が撮影されている画像データを前記ファイルから読み出し、取得された撮影された方向を面とした立体表示オブジェクトのテクスチャとして表示するよう前記表示手段を制御することを特徴とする。

また、上記課題を解決するために、請求項７記載の発明は、被写体を複数の方向から撮像することにより取得され、夫々に撮影された方向が含まれた複数の画像データを、これら複数の画像データが互いに関連していること示す情報を当該複数の画像データのうちの何れかに含んだ一つのファイルとして記憶するメモリと、表示部と、外部からの操作を複数の方向で検出する操作検出部と、を備える画像表示装置が有するコンピュータを、前記メモリより、前記操作検出部によって検出された方向を視点方向としてこれに対応する方向で前記被写体が撮影されている画像データを前記ファイルから読み出し、取得された撮影された方向を面とした立体表示オブジェクトのテクスチャとして表示するよう前記表示手段を制御するように機能させることを特徴とする。

本発明によれば、ユーザが任意に指定した視点からの画像を縦覧することが可能になる。

本発明の一実施の形態に係る撮像装置の外観図である。 同実施の形態に係る撮像装置の回路構成図である。 同実施の形態における撮像、及び、新規ファイル生成処理のフローチャートである。 同実施の形態におけるファイル構成を示す図である。 同実施の形態における表示例である。 同実施の形態における副画像の例を示す図である。 同実施の形態における副画像データの表示処理のフローチャートである。 同実施の形態における表示態様を示す図である。 副画像読出テーブルを示す概念図である。 実施形態の変形例における副画像ヘッダの記憶内容を示す図である。 被写体と各回転軸との関係を示す図である。 同変形例における表示処理のフローチャートである。 立体表示用テーブルを示す概念図である。 同変形例における表示態様を示す図である。

以下、本発明の一実施の形態を図に従って説明する。

Ａ．外観構成
図１（ａ）は、本実施の形態に係る撮像装置１の外観を示す正面図であり、（ｂ）は裏面図である。この撮像装置１には、前面に撮像レンズ２が設けられており、上面部にはシャッターキー１５が設けられている。また、背面にはＬＣＤからなる表示部１２、カーソルキー１６が設けられている。カーソルキー１６は、中央キー１６Ｃと、この中央キー１６Ｃの周部に配置された左キー１６Ｌ、右キー１６Ｒ、上キー１６Ｕ及び下キー１６Ｄで構成されている。

Ｂ．回路構成
図２は、画像表示装置としての撮像装置１の概略構成を示すブロック図である。この撮像装置１は、バスライン１４を介して各部に接続された制御部１１を備えている。制御部１１は、画像記憶処理装置１の各部を制御するワンチップマイコンである。

同図において撮像レンズ２は、詳細には光学系部材を実装するレンズユニットである。
撮像部３は、ＣＭＯＳ等のイメージセンサからなり上述の撮像レンズ２の光軸上に配置されている。ユニット回路４は、撮像部３から出力される被写体の光学像に応じたアナログの撮像信号が入力される回路であって、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤＣ）等から構成されている。

撮像部３の出力信号はユニット回路４を経て各々デジタル信号として画像処理部５に送られて、各種画像処理が施されるとともに、プレビューエンジン７にて縮小加工されて、表示部１２に供給される。そして、供給されたデジタル信号（撮像信号）とこの表示部１２が内蔵するドライバを駆動する駆動制御信号とが表示部１２に入力されると、表示部１２はこのデジタル信号（撮像信号）に基づく画像をスルー画像として下位レイヤーに表示する。

また、画像記録時において、画像処理部５で処理された信号は、符号化／復号化処理部６で圧縮符号化され、後述するファイル形式でファイル化されて画像記録部８に記録され、画像再生時において、画像記録部８から読み出された画像ファイルに含まれる主画像データや副画像データは符号化／復号化処理部６で復号化されて表示部１２に表示される。

プレビューエンジン７は、上記スルー画像の生成の他、画像記録時において画像記録部８に記録される直前の画像を表示部１２に表示させる際に必要な制御を行う。なお、キー入力部１３は、前記シャッターキー１５、前記左キー１６Ｌ、右キー１６Ｒ、上キー１６Ｕ、下キー１６Ｄで構成されるカーソルキー１６、及び図示しないその他のキー等で構成されている。

さらに、バスライン１４には、作業用のデータや中間ファイルを一時的に記憶するＲＡＭ１０、及び、プログラムメモリ９が接続されている。プログラムメモリ９には、後述するフローチャートに示す処理を実行するプログラムを記憶する。

Ｃ．撮像、及び、新規ファイル生成処理
次に、撮像装置１における撮像処理からファイル生成までの処理について説明する。
図３は撮影（撮像）から画像記録部８への記録までの処理を示すフローチャートである。

制御部１１はキー入力部１３にて検出される所定の操作により撮影モードの起動が指示されると、プログラムメモリ９から撮像処理に係るプログラムを読み出して実行し、撮像部３、ユニット回路５、画像処理部５、ＲＡＭ１０、符号化／復号化処理部６、及び、プレビューエンジン７に初期動作を行わせる（スタート状態）。

そして、撮像レンズ２を介して撮像部３に結像された画像に基づいて、周期的にユニット回路４にてデジタル信号に変換、及び、画像信号処理部５にて画像データに加工し、その結果得られた映像（画像）を表示部１２にスルー表示させる（ステップＳＡ１）。

次に、このスルー表示状態において、キー入力部１３にて検出される所定の操作により多視点撮影モードの設定操作を検出したか否かを判断する（ステップＳＡ２）。多視点撮影モードの設定操作を検出しなかった場合（ステップＳＡ２→Ｎｏ）、再度スルー表示状態に移行し（ステップＳＡ１５）、撮像部３にて結像される画像の記録指示の検出を待ち（ステップＳＡ１６）、記録指示が検出されると（ステップＳＡ１６→Ｙｅｓ）、その時に撮像部３にて結像された画像に対応する画像データがＲＡＭ１０に一時的に記憶され、その後、制御部１１の制御に基づき符号化／復号化処理部６が、上記ＤＣＦ規格（Ｅｘｉｆフォーマット）に準拠する形式のファイルを生成（ステップＳＡ１７）、そして生成されたファイルを画像記録部８に記録し（ステップＳＡ１８）、スルー表示状態にリターンする。

一方、多視点撮影モード設定操作を検出した場合（ステップＳＡ２→Ｙｅｓ）、副画像識別ＩＦＤ設定領域（Ｉｍａｇｅ Ｆｉｌｅ Ｄｉｒｅｃｔｏｒｙ）の個数「５」を設定し、主画像ヘッダに生成する（ステップＳＡ３）。尚、ファイル生成を含め、詳細な技術説明については、図４を用いて後述する。

副画像枚数が設定された後は、スルー表示状態において表示される画像とともに、設定された副画像枚数が表示される（ステップＳＡ４）。

図５（ｂ）は、同図（ａ）に示すデジタルカメラを被写体Ｘとして、この被写体Ｘを正面方向から撮影している時の表示部１２の表示状態を示すものである。同図において、表示部１２には、被写体Ｘの正面映像とともに、情報表示領域１２０に設定された副画像の枚数（副画像データの個数）を“Ｔｏｔａｌ”、及び、記録した副画像の枚数（副画像データの個数）を“Ｕｓｅ”と定義し、各枚数について夫々表示している。また、同図では、副画像枚数を５枚（副画像識別ＩＦＤ設定領域の数を５）、そして、そのうち、記録された副画像枚数を０枚（記録済みの副画像識別ＩＦＤ設定領域の数を０）として表示している。

このスルー表示状態において、撮像部３にて結像される画像の記録指示の検出を待ち（ステップＳＡ５）、記録指示が検出されると（ステップＳＡ５→Ｙｅｓ）、その時に撮像部３にて結像された画像に対応する画像データがＲＡＭ１０に一時的に記憶され、その後、制御部１１の制御に基づき符号化／復号化処理部６が圧縮符号化処理（主画像データの生成）を行う（ステップＳＡ６）。
つまり、被写体Ｘを正面方向から撮影することにより、被写体Ｘの正面が主画像データが生成される。

そして、その後、撮像部３にて結像される画像や、ＲＡＭ１０において一時的に記憶された画像データについて、上記の設定操作とは別に操作者の操作により、或いは、プログラムメモリ９に格納されている撮影プログラムにより予め設定された副画像の個数分、符号化／復号化処理部６が圧縮符号化処理（副画像データの生成）を行う（ステップＳＡ７）。

上記の設定操作とは別の操作者の操作とは、例えば、下記の操作である。
（１）被写体Ｘの背面を撮影する際には、中央キー１６Ｃを押下しながらシャッターキー１５を押下する。
（２）被写体Ｘの左側面を撮影する際には、左キー１６Ｌを押下しながらシャッターキー１５を押下する。
（３）被写体Ｘの右側面を撮影する際には、右キー１６Ｒを押下しながらシャッターキー１５を押下する。
（４）被写体Ｘの上面を撮影する際には、上キー１６Ｕを押下しながらシャッターキー１５を押下する。
（５）被写体Ｘの底面を撮影する際には、下キー１６Ｒを押下しながらシャッターキー１５を押下する。

一方、プログラムメモリ９に格納されている撮影プログラムには、自動的に所定枚数を連続的に撮影するプログラムや、露出値、シャッター速度、ホワイトバランスなどの各撮影条件を自動的に切り換えて撮影するプログラムが含まれる。また、ＲＡＭ１０において一時的に記憶された画像データに対し副画像データの生成を行う処理とは、例えば、一時的に記憶された画像データに対して、解像度や、記憶容量、記憶サイズ、及び、圧縮率を変えた別の画像データを生成する処理が含まれる。

上記の副画像データの生成が終了すると、制御部１１は、生成された副画像データの個数分、ステップＳＡ３にて主画像ヘッダに設定（生成）された副画像識別ＩＦＤ設定領域の個数を“Ｎｏｎ−ｕｓｅ（未使用）”から“Ａｃｔｉｖｅ（記録済み）”に修正し、生成された副画像データのＳＯＩマーカー（データの先頭を示す情報）を関連付けする（ステップＳＡ８）。

その後、制御部１１は、ステップＳＡ３にて予め設定した副画像枚数分、記録したか否か、すなわち、副画像識別ＩＦＤ設定領域が全て“Ａｃｔｉｖｅ”になったか否かを判断する（ステップＳＡ９）。そして、全て“Ａｃｔｉｖｅ”の場合は（ステップＳＡ９→Ｙｅｓ）、上記主画像ヘッダ、主画像データ及び、副画像データを含むファイルの生成処理を行い（ステップＳＡ１０）、生成処理されたファイルを画像記録部８に記録し（ステップＳＡ１１）、スルー表示状態にリターンする。

一方、副画像識別ＩＦＤ設定領域が全て“Ａｃｔｉｖｅ”でないと判断した場合（ステップＳＡ９→Ｎｏ）、制御部１１は、直ちにファイル生成することなく、キー入力１３の操作検出によるファイル化指示検出を待つ（ステップＳＡ１２）。ファイル化指示を検出した場合（ステップＳＡ１２→Ｙｅｓ）はステップＳＡ１０にてファイル化処理を行うが、ファイル化指示を検出しない場合（ステップＳＡ１２→Ｎｏ）は、スルー表示状態において表示部１２に画像とともに、設定された副画像枚数、記録済みの副画像枚数、及び、未使用の副画像枚数（副画像の枚数）を表示する（ステップＳＡ１３）。

図５（ｃ）はこの時の表示部１２の表示状態を示すものである。同図において、表示部１２には、被写体Ｘの例えば平面の映像とともに、情報表示領域１２１に設定された副画像の枚数（副画像データの個数）を“Ｔｏｔａｌ”、記録した副画像の枚数（副画像データの個数）を“Ｕｓｅ”、さらにこれに加えて、記録できる副画像の残枚数（副画像データの個数）を“ＲＥＭ”と定義し、各枚数について夫々表示している。また、同図では、副画像枚数を５枚（副画像識別ＩＦＤ設定領域の数を５）、そして、そのうち、記録された副画像枚数を３枚（記録済みの副画像識別ＩＦＤ設定領域の数を３）、更に記録可能な副画像枚数を２枚（記録済みの副画像識別ＩＦＤ設定領域の数を２）として表示している。

そして、このスルー表示状態において、記録指示の検出を待ち（ステップＳＡ１４）、記録指示が検出されると（ステップＳＡ１４→Ｙｅｓ）、ステップＳＡ７に戻り、撮像部３にて結像される画像や、ＲＡＭ１０において一時的に記憶された画像データについて、上記操作者の操作（４）により、或いは、プログラムメモリ９に格納されている撮影プログラムにより予め設定された副画像の個数分、符号化／復号化処理部６が圧縮符号化処理（副画像データの生成）を行なう。

次に、上記のフローチャートにおいて生成されるファイルの生成過程を、図４を用いて詳述する。

図４（ａ）〜（ｄ）は、図３のフローチャートにて生成される生成過程途中のファイル構成を示したものである。

同図において、このファイルは、上記ＤＣＦ規格（Ｅｘｉｆフォーマット）に準拠する形式になっているが、複数の画像データが関連付けられるように含まれ、且つ、関連付けられた複数の画像データの何れかの画像データのヘッダに、関連付けられた他の画像データを管理する管理領域が設定されている点で異なっている。尚、本実施の形態においては、この管理領域が含まれる画像データを主画像データ、この主画像データに関連付けられた画像データを副画像データと定義する。

上記の定義を用いることにより、同ファイル１００は、主画像ヘッダ１０１、主画像データ設定領域１０２、及び、副画像データ設定領域１０３０、１０３１、１０３２、…１０３４とで構成される。また、主画像ヘッダ１０１には、上記ＤＣＦ規格（Ｅｘｉｆフォーマット）に準拠する、画像入力機器のメーカー名、モデル名、原画像データの生成日時、デジタルデータの生成日時、互換識別インデックス、及び、バージョン等のＥｘｉｆ必須タグが設定される基本情報設定領域１０１０、主画像データのサムネイル画像データが設定されるサムネイル画像データ設定領域１０１１、及び、副画像データ数を管理する情報や、副画像インデックスＩＦＤタグを含み、副画像識別ＩＦＤ設定領域２００〜２０４を設定管理する管理領域１０１２が書き込まれる。尚、副画像識別ＩＦＤ設定領域２００〜２０４はそれ自体、副画像種別や、副画像データオフセット、副画像個別番号、従属する副画像識別ＩＦＤ、及び、Ｏｆｆｓｅｔ ｏｆ Ｎｅｘｔ ＩＦＤを夫々記憶する領域を備えている。

主画像データは主画像データ設定領域１０２に書き込まれる。また、副画像データ設定領域１０３０〜１０３４には夫々、副画像のサムネイル画像データや副画像属性情報、及び、副画像データ単体のＥｘｉｆ必須タグが設定される副画像ヘッダ３０１と副画像データ設定領域３０２が書き込まれる。尚、サムネイル画像データが副画像ヘッダ３０１に設定される関係上、副画像データ自体はサムネイル画像データのサイズ（縦１２０×横１６０）よりも実質的に大きいサイズであることが前提である。

図４（ａ）に図示する内容は、図３のフローチャートのステップＳＡ３の時点を示している。つまり、ステップＳＡ３にて副画像枚数が設定されると、これに基づいて管理領域１０１２に副画像識別ＩＦＤ設定領域の個数を設定する。５個設定する場合、副画像識別ＩＦＤ設定領域は２００〜２０４の５個になり、これらの副画像識別ＩＦＤ Ｎｏ．（ＩＦＤ００〜０４）には、“Ｎｏｎ−ｕｓｅ”が設定される。そして、この管理領域１０１２を含めた主画像ヘッダ１０１の設定領域（Ａのラインまで）が確保され、副画像データが上記の設定操作に沿って最大５個生成された場合を仮定したファイル構成（図４（ｃ）において、破線で描画した領域に相当）が仮決定される。

図４（ｂ）に図示する内容は、図３のフローチャートのステップＳＡ６の時点を示している。つまり、ステップＳＡ６にて主画像データが生成されると、主画像データのサムネイル画像データがサムネイル画像データ設定領域１０１１に、また、主画像データが主画像データ設定領域１０２に夫々書き込まれ、この領域（Ｂのライン）までが確保される。

図４（ｃ）に図示する内容は、図３のフローチャートのステップＳＡ７の時点を示している。つまり、ステップＳＡ７にて副画像データ（例えば３個）が生成されると、夫々の副画像データ設定領域１０３０〜１０３２の３つの領域について、副画像データが書き込まれる。すなわち、これら３つの副画像について、サムネイル画像データが副画像ヘッダ３０１のサムネイル画像データが設定される領域に、また、夫々の副画像データが副画像データ設定領域３０２に夫々書き込まれ、この領域（Ｃのライン）までが確保される。

図４（ｄ）に図示する内容は、図３のフローチャートのステップＳＡ８の時点を示している。つまり、ステップＳＡ７にて副画像データが書き込まれると、その時点で主画像データと副画像データとが含まれるファイルの構成が確定しているので（図４（ｃ）において、実線で描画した領域に相当）、副画像識別ＩＦＤ設定領域（ＩＦＤ００〜０２）の“Ｎｏｎ−ｕｓｅ”は“Ａｃｔｉｖｅ”に修正され、副画像データ夫々のＳＯＩマーカーを関連付けされる。

そして、ステップＳＡ１０でファイルが生成される際は、図４（ｄ）の実線で描画された領域でファイル生成され画像記録部８に記録される。

これにより、画像記録部８に記録されたファイルには、図６（ａ）に示す被写体Ｘの平面が主画像データとして記録されるとともに、（ｂ）に示す背面、（ｃ）に示す左側面、（ｄ）に示す右側面、（ｅ）に示す平面、（ｆ）に示す底面が各々副画像データ１乃至５として記録されることとなる。

なお、本フローチャートによれば、撮像装置で副画像データが含まれるファイルを生成する場合において、事前に副画像データの個数（副画像の枚数）を設定することにより、その後のファイル構築に要する処理の負担が少なくて済むという効果が得られる。

また、撮像時において記録した副画像データの個数が事前に設定した数に満たない場合、副画像の新規の記録を継続して行なうことができるという効果が得られる。

更に、スルー表示状態において、事前に設定した副画像データの個数、記録済みの副画像データの個数、更には、新規に追加可能な副画像データの個数を表示するので、操作者にとって、「後何枚副画像を記録できるのか？」を容易に把握できるという効果が得られる。

更にまた、事前に設定した個数の副画像データを記録しなくても、ファイル生成までのプロセスを容易に終了させることができるという効果が得られる。

Ｄ．画像データ表示処理
次に、撮像装置１における画像データの表示処理について説明する。
図７は画像データの表示処理を示すフローチャートである。
同図において、撮像装置１は、再生モードで動作し、本フローチャートでは、キー入力部１３からの所定の操作を検出することにより、画像記録部８に記録されたファイルの夫々に格納される画像の表示（プレビュー画像の読み出し表示）が指示された状態をスタート状態とする。

制御部１１は、画像の表示（プレビュー画像の読み出し表示）が指示されると、キー入力部１３にて検出される選択操作に従い、画像記録部８に記録されているファイルから主画像データを読み出す（ステップＳＢ１）。そして、読み出されたファイルの主画像ヘッダ１０１に管理領域１０１２が設定されているか否かを判断する（ステップＳＢ２）。

管理領域１０１２が設定されていないと判断すると（ステップＳＢ２→Ｎｏ）、通常の画像ファイルの読み出し・表示処理に移行するが（ステップＳＢ３）、管理領域１０１２が設定されていると判断すると（ステップＳＢ２→Ｙｅｓ）、このファイルには主画像データと副画像データとが含まれていると判断する。そして、主画像データを表示部１２が要求する解像度に合わせてリサンプリング（間引き処理）を行ってプレビュー画像を生成して表示部１２に表示させる。

また、これとともに、主画像ヘッダ１０１に記録されている各情報、副画像データの副画像ヘッダ３０１の各情報、及び、管理領域１０１２の副画像識別ＩＦＤ設定領域の設定内容を読み出して、これらの情報に基づいて、このファイルの容量、副画像データの設定個数、記録済みの副画像データの個数を表示する（ステップＳＢ４）。

図８はこの時の表示部１２の表示状態を示すものである。同図において、表示部１２には、被写体Ｘの正面画像（主画像）とともに、情報表示領域１２２には、このファイルの容量（５．２５ＭＢ）、設定された副画像の枚数（副画像データの個数“Ｔｏｔａｌ ５”）、記録済みの副画像の枚数（副画像データの個数“Ｕｓｅ ５”）、が表示されている。

次にこの状態において、ＲＡＭ１１内に副画像読出テーブルＴを作成する（ステップＳＢ５）。
図９は、副画像読出テーブルＴを示す概念図である。図示のように、この副画像読出テーブルＴは、副画像データ１乃至５に対応して、「データ内容」欄、「オフセット」欄、「表示操作コマンド」欄が設けられる。「データ内容」は、当該副画像データがいずれの方向から撮影されたかを示す情報であり、例えば副画像データ１にあっては、主画像に対して被写体を水平１８０°（真後ろ）から撮影したデータ、又は背面を撮影したデータ（図５「背面」参照）であることを示す。また、副画像データ２にあっては、主画像に対して被写体を左９０°から撮影したデータ、又は左側面を撮影したデータ（図５「左側面」参照）であることを示し、他の副画像データ３乃至５も夫々主画像に対していずれかの方向、又は面から撮影したデータであることを示す。

「オフセット」は、画像ファイルにおいて当該副画像データが格納されている領域のアドレスを各々示す。

「表示操作コマンド」は、当該副画像データを画像ファイルから読み出して表示させる際の前記左キー１６Ｌ、右キー１６Ｒ、上キー１６Ｕ、下キー１６Ｄの操作条件を示す。すなわち、副画像データ１（背面）を表示させる際には、左キー１６Ｌ又は右キー１６Ｒを２回連続して操作するか、若しくは上キー１６Ｕ又は下キー１６Ｄを２回連続して操作することを条件とすることを意味する。また、副画像データ２（左側面）を表示させる際には、左キー１６Ｌを１回連続操作するか、若しくは右キー１６Ｒを３回連続して操作することを条件とすることを意味し、他の副画像データ３乃至５も夫々図示した対応する態様で左キー１６Ｌ、右キー１６Ｒ、上キー１６Ｕ、下キー１６Ｄを操作することを条件とすることを意味する。

そして、図７のフローチャートにおけるステップＳＢ４に続くステップＳＢ５では、前記副画像読出テーブルＴにおけるいずれかの操作コマンドが検出されたか否かを判断し、検出された場合にはこの検出した表示操作コマンドに対応する副画像データを、「オフセット」が示すアドレスから読み出して、表示部１２に表示するという表示態様を設定する（ステップＳＢ７）。

この後、キー入力部１３からの所定の操作を検出することにより、本処理の終了が指示されたか否かを判断し（ステップＳＢ８）、終了が指示されなければ（ステップＳＢ８→Ｎｏ）ステップＳＢ６に移行し、終了が指示されると（ステップＳＢ８→Ｙｅｓ）、本処理を終了する。

したがって、終了が指示されるまで、ステップＳＢ６〜ＳＢ８のループが繰り返し実行されるとともに、このループ実行中に表示操作コマンドが検出される都度（ステップＳＢ６→Ｙｅｓ）、検出された表示操作コマンドに対応する副画像データが「オフセット」が示すアドレスから読み出されて、表示部１２に表示するという表示態様を設定する（ステップＳＢ７）。

すなわち、
（１）左キー１６Ｌ又は右キー１６Ｒを２回連続して操作するか、上キー１６Ｕ又は下キー１６Ｄを２回連続して操作すると、副画像データ１が読み出されることにより、図６（ｂ）に示す背面画像を表示するという表示態様が設定される。
（２）左キー１６Ｌを１回操作するか、右キー１６Ｒを３回連続して操作すると、副画像データ２が読み出されることにより、図６（ｃ）に示す左側面画像を表示するという表示態様が設定される。
（３）右キー１６Ｒを１回操作するか、左キー１６Ｌを３回連続して操作すると、副画像データ３が読み出されることにより、図６（ｄ）に示す右側面画像を表示するという表示態様が設定される。
（４）上キー１６Ｕを１回操作するか、下キー１６Ｄを３回連続して操作すると副画像データ４が読み出されることにより、図６（ｅ）に示す平面画像を表示するという表示態様が設定される。
（５）下キー１６Ｄを１回操作するか、上キー１６Ｕを３回連続して操作すると副画像データ５が読み出されることにより、図６（ｆ）に示す底面画像を表示するという表示態様が設定される。

したがって、本フローチャートによれば、ユーザが任意に指定した視点からの画像を縦覧することが可能になるのみならず、ユーザが任意に指定した視点からの画像を迅速に縦覧することが可能なるという効果が得られる。

しかも、予め副画像読出テーブルＴを作成し、この作成した副画像読出テーブルＴの内容に基づき、副画像の表示態様を設定することから、検出したキー１６Ｌ、１６Ｒ、１６Ｕ、１６Ｄの操作情報に基づき、副画像読出テーブルＴを参照することにより、複雑な制御を伴うことなく、迅速に対応する副画像を表示できるという効果も得られる。

さらに、先ず主画像を表示した後、操作に応じて副画像を表示することから、ユーザは主画像を視認することにより、自己が見たい画像はいずれの方向の副画像であるかを判断することができる。よって、ユーザは自己が見たい画像を効率的に表示させることができるという効果も得られる。
Ｅ．変形例

上記実施の形態においては、ユーザが見たい画像を効率的に表示させることが可能ではあるが、表示を所望した画像の撮影時の被写体の撮影方向と、他の画像に係る副画像データの撮影時の被写体の撮影方向との位置関係については、一目で確認するのは困難である。

変形例ではこの点を解消することを目的とした実施形態について詳細に説明する。

尚、変形例において、上記実施の形態と同様の構成、機能、動作に係る説明については、参照番号を引用することによりその説明を省略する。

図１０は変形例における副画像ヘッダ３０１の記憶内容を示すものである。同図において上記実施の形態と異なる点は、副画像ヘッダ３０１には、ファイルフォーマットのフォーマットバージョンを記憶する記憶領域３０１１、上記副画像識別ＩＦＤ設定領域２００〜２０４における自己の副画像データオフセット、副画像個別番号、従属する副画像識別ＩＦＤ、及び、Ｏｆｆｓｅｔ ｏｆ Ｎｅｘｔ ＩＦＤを夫々記憶する記憶領域３０１２が設定されている。

また、副画像ヘッダ３０１には、図１１に示すように、被写体Ｘを撮影した方向（視点方向）として、Ｙ軸を回転軸としたヨー（Ｙａｗ）角の回転角度を記憶する記憶領域３０１３、Ｘ軸を回転軸としたピッチ（Ｐｉｔｃｈ）角の回転角度を記憶する記憶領域３０１４、及び、Ｚ軸を回転軸としたロール（Ｒｏｌｌ）角の回転角度を記憶する記憶領域３０１５が副画像ヘッダ夫々に設定されている。尚、記憶領域３０１３〜３０１５は、撮影処理時のユーザーの下記の操作を検出することにより各回転角度が記憶される。
（１）中央キー１６Ｃを押下しながらシャッターキー１５を押下すると、被写体Ｘの背面を撮影するものと判断して、記憶領域３０１３に“０”、記憶領域３０１４に“?１８０”、記憶領域３０１５に“?１８０”（若しくは、記憶領域３０１３に“?１８０”、記憶領域３０１４に“０”、記憶領域３０１５に“０”）を記憶する。
（２）左キー１６Ｌを押下しながらシャッターキー１５を押下すると、被写体Ｘの左側面を撮影するものと判断して、記憶領域３０１３に“９０”、記憶領域３０１４に“０”、記憶領域３０１５に“０”を記憶する。
（３）右キー１６Ｒを押下しながらシャッターキー１５を押下すると、被写体Ｘの右側面を撮影するものと判断して、記憶領域３０１３に“−９０”、記憶領域３０１４に“０”、記憶領域３０１５に“０”を記憶する。
（４）上キー１６Ｕを押下しながらシャッターキー１５を押下すると、被写体Ｘの上面を撮影するものと判断して、記憶領域３０１３に“０”、記憶領域３０１４に“９０”、記憶領域３０１５に“０”を記憶する。
（５）下キー１６Ｒを押下しながらシャッターキー１５を押下すると、被写体Ｘの底面を撮影するものと判断して、記憶領域３０１３に“０”、記憶領域３０１４に“−９０”、記憶領域３０１５に“０”を記憶する。

尚、撮影処理時における角回転角度の記憶のさせ方については上記に限るものではない。例えば、撮像装置１に方位センサ、ジャイロセンサ、加速度センサ等の撮影方向を検出するためのデバイスを備えさせ、撮影方向を検出、記憶させるようにしても良い。

次に、撮像装置１における画像データの表示処理について説明する。
図１２は画像データの表示処理を示すフローチャートである。
同図は、図７におけるステップＳＢ２からの処理であり、ステップＳＢ２において、管理領域１０１２が設定されていると判断すると（ステップＳＢ２→Ｙｅｓ）、このファイルには主画像データと副画像データとが含まれていると判断する。そして、副画像ヘッダ３０１の記憶領域３０１２に記憶されているオフセット番号や、副画像個別番号、記憶領域３０１３〜３０１５に記憶されているヨー角、ピッチ角、ロール角の各回転角度を夫々読み出し（ステップＳＢ１１）、図１３に図示するような、立体表示テーブルＴ２を生成する（ステップＳＢ１２）。

図１３は、立体表示テーブルＴ２を示す概念図である。図示のように、この立体表示テーブルＴ２は、主画像データ、副画像データ１乃至５に対応して、「データ内容」欄、「オフセット」欄、「副画像個別番号」欄、及び、「回転角度」欄が設けられる。

また、同図において、「データ内容」欄、及び、「オフセット」欄は、上記実施の形態の副画像読出テーブルＴと同様であるが、立体表示テーブルＴ２は、「表示操作コマンド」欄に代えて、「副画像個別番号（ＩＤ）」欄、及び、「回転角度」欄が設定されている。これらの欄に記憶される内容は、上記ステップＳＢ１１にて読み出されたものである。また、主画像データについては被写体Ｘの正面を撮影方向としたものと判断し、ヨー角、ピッチ角、ロール角の各回転角度は“０”としている。

立体表示テーブルＴ２が生成されると、副画像データのデータ数、及び、この副画像データの撮影方向（ヨー角、ピッチ角、ロール角の各回転角度）に応じて、表示すべき立体オブジェクトを生成する（ステップＳＢ１３）。

この立体オブジェクトの生成について具体的に説明すると、本変形例では、正面、背面、右側面、左側面、上面、底面を撮影方向とした６つの被写体Ｘの画像を撮影しているので、正六面体の立体オブジェクトが生成される。

また上記の考え方によれば、正面を撮像方向とした画像、ヨー角１２０°（他の回転角度は０°）を撮影方向とした画像、ヨー角−１２０°（他の回転角度は０°）を撮影方向とした画像、及び、底面を撮像方向とした画像による立体表示テーブルＴ２が生成されると、正四面体の立体オブジェクトが生成される。

尚、立体オブジェクトに生成にあたっては、この立体オブジェクトの面の数に対応する画像データを必要としなくても良く、要は副画像ヘッダ３０１に撮影方向が記憶されていれば良いものとする。

ステップＳＢ１３にて立体オブジェクトが生成されると、立体表示テーブルＴ２に設定された主画像データ及び各副画像データを回転角度に応じて立体オブジェクトの各面にテクスチャデータとして貼り付けたものを表示態様として設定し（ステップＳＢ１４）、更に立体オブジェクトのアニメーション再生が予め指定されているか否かを判断する（ステップＳＢ１５）。

このステップＳＢ１５の判断は、例えば、フラグ情報として制御部１１に設定されていても良いし、主画像データと副画像データとを含むファイルにコマンド情報として再生方法を記述し、これを読み取ることにより設定するようにしても良い。

立体オブジェクトについてアニメーション再生が指定されていると判断すると（ステップＳＢ１５→Ｙｅｓ）、表示部１２に任意に立体オブジェクトを回転、移動させるようにアニメーション表示させる（ステップＳＢ１６）。

図１４はこの場合の表示態様を示したものであり、表示部１２には、画像データ１２３１〜１２３３がテクスチャデータとして貼り付けられた立体オブジェクト１２３が表示されている（実際はアニメーション再生されているものとする）。画像データ１２３１〜１２３３は夫々、正面を撮影方向とした主画像データ、右側面を撮影方向とした副画像データ、上面を撮影方向とした副画像データを立体オブジェクト１２３の表示方向（視点方向）に基づいて歪むように変形させたものである。

また同図においては、情報表示領域１２２やマッピングデータ領域１２４が表示される。

ここでマッピングデータ領域１２４とは、現在表示されている立体オブジェクトにおいて、表示されている面に貼り付けられたテクスチャデータに対応する画像データ（主画像データ、副画像データ）の副画像個別番号（ＩＤ）を各表示面に対応するように表示したものであり、これにより、現在表示されている画像データ同士の撮影方向に基づく位置関係が分かるようになっている。

立体オブジェクトについてアニメーション再生されている間、制御部１１は、キー入力部１３への所定の操作による指示を検出したか否か、若しくは、アニメーション再生開始から所定時間が経過した等、内部処理による指示を検出したか否かを判断することによりアニメーション再生の終了の指示を検出したか否かを判断する（ステップＳＢ１７）。そして、終了を検出しない場合は（ステップＳＢ１７→Ｎｏ）、ステップＳＢ１６の処理を継続するとともに、終了を検出すると（ステップＳＢ１７→Ｙｅｓ）本フローチャートを終了する。

一方、立体オブジェクトについてアニメーション再生が指定されていないと判断すると（ステップＳＢ１５→Ｎｏ）、表示部１２に立体オブジェクトを静止さた状態で表示する（ステップＳＢ１８）。この場合の立体オブジェクトの表示態様は、上記ステップＳＢ１６の処理と同様であるが、アニメーション再生は行われない。そして、カーソルキー１６における上下左右の何れかの操作を検出することにより方向指示を検出したか否かを判断する（ステップＳＢ１９）。方向指示を検出しない場合（ステップＳＢ１９→Ｎｏ）は、ステップＳＢ１８における静止された状態を継続するが、方向指示を検出した場合（ステップＳＢ１９→Ｙｅｓ）は、指示された方向に立体オブジェクトを回転させ、その後、その方向で静止した状態で立体オブジェクトを表示させる（ステップＳＢ２０）。
立体オブジェクトについて静止された状態で表示されている間、制御部１１は、キー入力部１３への所定の操作による指示を検出したか否か、若しくは、アニメーション再生開始から所定時間が経過した等、内部処理による指示を検出したか否かを判断することによりアニメーション再生の終了の指示を検出したか否かを判断する（ステップＳＢ２１）。そして、終了を検出しない場合は（ステップＳＢ２１→Ｎｏ）、ステップＳＢ２０の処理を継続するとともに、終了を検出すると（ステップＳＢ２１→Ｙｅｓ）本フローチャートを終了する。

このように変形例によれば、同じ被写体を複数の撮影方向で撮影した画像データの表示に際し、ユーザが所望する撮影方向の画像を表示させることができるだけでなく、他の画像との撮影方向に基づく位置関係を把握することが容易になるという効果を奏する。

尚、本実施の形態においては、画像ファイルに記録する副画像の枚数を５枚とした場合について説明したが、副画像の枚数はこれに限ることなくより多くても少なくてもよい。副画像の枚数を多くする場合には、斜め上方から見た斜視画像や、斜め下方から見た斜視画像を加えるようにすることが好ましい。また、本実施の形態においては、撮像装置における画像表示につて述べたが、これに限ることなく、複数の画像を表示することが可能な機器、方法、プログラムであれば、これに限ることなく適用可能である。

１ 撮像装置
３ 撮像部
４ 表示部
６ 符号化／復号化処理部
８ 画像記録部
９ プログラムメモリ
１０ ＲＡＭ
１１ 制御部
１２ 表示部
１３ キー入力部
１００ ファイル
１０１ 主画像ヘッダ
１０２ 主画像データ設定領域
１２３ 立体オブジェクト
３０１ 副画像ヘッダ
Ｔ 副画像読出テーブル
Ｔ２ 立体表示テーブル
１６Ｃ 中央キー
１６Ｌ 左キー
１６Ｒ 右キー
１６Ｕ 上キー
１６Ｄ 下キー

Claims (7)

1. 被写体を複数の方向から撮像することにより取得され、夫々に撮影された方向が含まれた複数の画像データを、互いに関連していること示す情報を当該複数の画像データのうちの何れかに含んだ一つのファイルとして記憶する記憶手段と、
   表示手段と、
   外部からの操作を複数の方向で検出する操作検出手段と、
   前記記憶手段から夫々取得された撮影された方向に基づいて、これら撮影された方向を面とした立体表示オブジェクトを生成する生成手段と、
   この操作検出手段によって検出された方向を視点方向としてこれに対応する方向で前記被写体が撮影されている画像データを前記ファイルから読み出し、テクスチャとして前記生成手段によって生成された立体表示オブジェクトの面に表示するよう前記表示手段を制御する表示制御手段と、
   を備えることを特徴とする画像表示装置。
2. 前記操作検出手段によって検出され得る方向と前記被写体が撮影された複数の方向とを対応付けて記憶する方向記憶手段を更に備え、
   前記表示制御手段は、前記操作検出手段によって検出された方向に対応して前記方向記憶手段より対応する前記被写体が撮影された方向を取得し、この取得された方向に基づいて前記立体表示オブジェクトを回転させるよう制御することを特徴とする請求項１記載の画像表示装置。
3. 前記表示制御手段は、前記撮影された方向を回転軸とした回転角度情報として、前記立体表示オブジェクトを回転させるように動画表示するよう制御することを特徴とする請求項１又は２に記載の画像表示装置。
4. 被写体を撮像する撮像手段と、
   この撮像手段による撮像時に、撮影された方向を取得する撮影方向取得手段と、
   前記撮像手段によって撮像された被写体の画像データに、前記撮影方向取得手段によって取得された撮影された方向を含ませて前記記憶手段に記憶するよう制御する記憶制御手段と、
   を更に備えることを特徴とする請求項１乃至３の何れかに記載の画像表示装置。
5. 前記記憶手段は、前記複数の画像データが互いに関連していること示す情報を、当該複数の画像データのうちの何れかのヘッダ情報に含ませて記憶することを特徴とする請求項１乃至４の何れかに記載の画像表示装置。
6. 被写体を複数の方向から撮像することにより取得され、夫々に撮影された方向が含まれた複数の画像データを、これら複数の画像データが互いに関連していること示す情報を当該複数の画像データのうちの何れかに含んだ一つのファイルとして記憶するメモリより、外部からの操作を複数の方向で検出する操作検出部によって検出された方向を視点方向としてこれに対応する方向で前記被写体が撮影されている画像データを前記ファイルから読み出し、取得された撮影された方向を面とした立体表示オブジェクトのテクスチャとして表示するよう前記表示手段を制御することを特徴とする画像表示方法。
7. 被写体を複数の方向から撮像することにより取得され、夫々に撮影された方向が含まれた複数の画像データを、これら複数の画像データが互いに関連していること示す情報を当該複数の画像データのうちの何れかに含んだ一つのファイルとして記憶するメモリと、表示部と、外部からの操作を複数の方向で検出する操作検出部と、を備える画像表示装置が有するコンピュータを、
   前記メモリより、前記操作検出部によって検出された方向を視点方向としてこれに対応する方向で前記被写体が撮影されている画像データを前記ファイルから読み出し、取得された撮影された方向を面とした立体表示オブジェクトのテクスチャとして表示するよう前記表示手段を制御するように機能させることを特徴とするプログラム。

Images