JP6723512B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、広角で撮影された広角画像に対する処理を行う画像処理装置、画像処理方法及びプログラムに関する。

デジタルスチルカメラなどの撮像装置に採用されている魚眼レンズは、例えば、画角が略１８０゜という広範囲な撮影が可能であるが、射影方式が採用されているために魚眼レンズで撮影された画像（魚眼画像）は、その中心部から端部（周辺部）の方に向かうほど、大きく歪んだものとなる。このような魚眼レンズを用いて撮影された魚眼画像を表示する技術としては、例えば、魚眼画像内から所定領域内の画像を切り出して、その切り出した領域内の画像に対して歪曲を補正する処理を施して歪の無い画像（補正画像）をユーザに提供するようにした技術が開示されている（特許文献１参照）。また、魚眼レンズを用いて会議の各参加者の顔を含む歪曲円形画像（魚眼画像）が撮影されると、各参加者の顔を認識して個々の参加者の発話時間と共に、各参加者の画像を切り出して表示するようにした技術が開示されている（特許文献２参照）。

実用新案登録第３０６６５９４号公報 特開２０１５−１９１６２号公報

上述した各特許文献の技術によれば、魚眼レンズを用いて広範囲な撮影を行った場合でもその一部分から切り出した領域内の画像については歪の無い画像を得ることが可能となるが、切り出された画像を単に表示するだけでは、どのような場面で撮影された人物であるかなど、魚眼画像との対応関係までもユーザは確認することは困難であった。

本発明の課題は、魚眼画像とその魚眼画像内に写っている所定の被写体との対応関係を明確にして、ユーザに提供できるようにすることである。

上述した課題を解決するために本発明は、
広角で撮影された広角画像内に含まれている複数の被写体の画像を検出する検出手段と、
前記広角画像と前記検出手段によって検出された複数の被写体の画像とを関連付ける処理を行う処理手段と、
前記処理手段によって関連付ける処理がされた前記広角画像と前記複数の被写体の画像とを一覧表示するように表示手段を制御する第１の表示制御手段と、
前記第１の表示制御手段によって前記複数の被写体の画像が一覧表示されている状態において、前記複数の被写体の画像の中から任意の被写体の画像をユーザ操作に応じて選択する第１の選択手段と、
前記第１の選択手段によって任意の被写体の画像が選択されると、選択された任意の被写体の画像を含む前記広角画像の一部の画像を前記表示手段に表示するよう制御する第２の表示制御手段と、
を備えることを特徴とする画像処理装置である。

本発明によれば、魚眼画像とその魚眼画像内に写っている所定の被写体との対応関係を明確にして、ユーザに提供することができる。

（１）は、画像表示装置として適用したデジタルカメラを構成する撮像装置１０と本体装置２０とを一体的に組み合わせた状態を表す外観図、（２）は、撮像装置１０と本体装置２０とを分離した状態を表す外観図。 （１）は、撮像装置１０の構成を示すブロック図、（２）は、本体装置２０の構成を示すブロック図。 （１）、（２）は、撮影時に撮像装置１０の各種の姿勢を説明するための図。 （１）、（２）は、魚眼レンズ１６Ｂを用いて撮影された魚眼画像の表示例を示した図。 （１）〜（４）は、魚眼画像（保存済み画像）を再生する場合の様子を説明するための図。 本体装置２０側の画像管理テーブル２３Ｃを説明するための図。 ３６０°撮影を行う場合の本体装置２０側の動作（第１実施形態の特徴部分の動作）を説明するためのフローチャート。 魚眼画像（保存済み画像）を再生する場合の本体装置２０側の動作（第１実施形態の特徴部分の動作）を示したフローチャート。 図８に続く動作を示したフローチャート。 魚眼画像（保存済み画像）を再生する場合の本体装置２０側の動作（第２実施形態の特徴部分の動作）を示したフローチャート。 （１）〜（４）は、第２実施形態において、魚眼画像（保存済み画像）を再生する場合の様子を説明するための図。 魚眼画像（保存済み画像）を再生する場合の本体装置２０側の動作（第３実施形態の特徴部分の動作）を示したフローチャート。 （１）〜（３）は、第３実施形態において、魚眼画像（保存済み画像）を再生する場合の様子を説明するための図。 （１）〜（３）は、第３実施形態において、魚眼画像（保存済み画像）を再生する場合の他の様子を説明するための図。

（第１実施形態）
以下、図１〜図９を参照して本発明の第１実施形態を説明する。
本実施形態は、画像処理装置としてデジタルカメラに適用した場合を例示したもので、このデジタルカメラは、後述する撮像部を備える撮像装置１０と、後述する表示部を備える本体装置２０とに分離可能なセパレート型デジタルカメラである。図１（１）は、撮像装置１０と本体装置２０とを一体的に組み合わせた状態を示し、図１（２）は、撮像装置１０と本体装置２０とを分離した状態を示した図である。このセパレート型デジタルカメラを構成する撮像装置１０と本体装置２０とは、それぞれが利用可能な無線通信を用いてペアリング（無線接続認識）が可能なもので、無線通信としては、無線ＬＡＮ（Ｗｉ−Ｆｉ）又はＢｌｕｅｔｏｏｔｈ（登録商標）を使用している。本体装置２０側では、撮像装置１０側で撮影された画像を受信取得して、この撮影画像（ライブビュー画像）を表示するようにしている。なお、本実施形態において撮影画像とは、保存済みの画像に限らず、ライブビュー画面に表示されている画像（ライブビュー画像：保存前の画像）を意味している。

図２（１）は、撮像装置１０の構成を示すブロック図であり、図２（２）は、本体装置２０の構成を示すブロック図である。
図２（１）において、撮像装置１０は、制御部１１、電源部１２、記憶部１３、通信部１４、操作部１５、撮像部１６、姿勢検出部１７を備えている。制御部１１は、電源部（二次電池）１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこの撮像装置１０の全体動作を制御するもので、この制御部１１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されている。通信部１４は、撮影画像を本体装置２０側に送信したり、本体装置２０からの操作指示信号などを受信したりする。操作部１５は、電源スイッチなどの基本的な操作キー（ハードウェアキー）を備えている。

撮像部１６は、被写体を高精細に撮影可能なカメラ部を構成するもので、この撮像部１６のレンズユニット１６Ａには、魚眼レンズ１６Ｂ、撮像素子１６Ｃなどが設けられている。なお、本実施形態のカメラは、通常の撮像レンズ（図示省略）と魚眼レンズ１６Ｂとが交換可能なもので、図示の例は、魚眼レンズ１６Ｂを装着した状態を示している。この魚眼レンズ１６Ｂは、例えば、３枚構成のレンズ系からなり、画角が略１８０゜という広範囲な撮影が可能な円周魚眼レンズ（全周魚眼レンズ）であり、この魚眼レンズ１６Ｂによって撮影された広角画像（魚眼画像）の全体は、円形の画像となる。この場合、射影方式を採用しているために、魚眼レンズ１６Ｂで撮影された広角画像（魚眼画像）は、その中心から端部に向かう程、大きく歪んだものとなる。

すなわち、魚眼レンズ１６Ｂは、その画角が略１８０゜という広範囲な撮影が可能な円周魚眼レンズであるため、魚眼画像の全体は、円形の画像となり、その中心部から端部（周辺部）の方に向かうほど、大きく歪んだものとなると共に、魚眼画像の中心部に比べてその周辺部は縮小された画像となるため、ユーザがその周辺部の内容を詳細に目視確認しょうとしてもその確認は極めて困難なものとなる。このような魚眼レンズ１６Ｂによる被写体像（光学像）が撮像素子（例えば、ＣＭＯＳ又はＣＣＤ）１６Ｃに結像されると、この撮像素子１６Ｃによって光電変換された画像信号（アナログ値の信号）は、図示省略のＡ／Ｄ変換部によってデジタル信号に変換されると共に、所定の画像表示処理が施された後、本体装置２０側に送信されてモニタ表示される。姿勢検出部１７は、撮像装置１０に加わる加速度を検出する３軸加速度センサで、撮像装置１０の姿勢に応じて検出されたＸ・Ｙ・Ｚ方向の各加速度成分を制御部１１に与える。

図２（２）において、本体装置２０は、魚眼レンズなどを使用して撮影された画像を再生する再生機能を有し、制御部２１、電源部２２、記憶部２３、通信部２４、操作部２５、タッチ表示部２６、姿勢検出部２７を備えている。制御部２１は、電源部（二次電池）２２からの電力供給によって動作し、記憶部２３内の各種のプログラムに応じてこの本体装置２０の全体動作を制御するもので、この制御部２１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部２３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ２３Ａ、この本体装置２０が動作するために必要となる各種の情報（例えば、フラグなど）を一時的に記憶するワークメモリ２３Ｂと、後述する画像管理テーブル２３Ｃなどを有している。

通信部２４は、撮像装置１０との間で各種のデータの送受信を行う。操作部２５は、電源ボタン、レリーズボタンタン、露出やシャッタスピードなどの撮影条件を設定する設定ボタンなど、押しボタン式の各種のキーを備えたもので、制御部２１は、この操作部２５からの入力操作信号に応じた処理を実行したり、入力操作信号を撮像装置１０に対して送信したりする。タッチ表示部２６は、高精細液晶などのディスプレイ２６Ａ上にタッチパネル２６Ｂを積層配置した構成で、その表示画面は、撮影された画像（魚眼画像）をリアルタイムに表示するモニタ画面（ライブビュー画面）となったり、撮影済み画像を再生する再生画面となったりする。姿勢検出部２７は、本体装置２０に加わる加速度を検出する３軸加速度センサで、本体装置２０の姿勢に応じて検出されたＸ・Ｙ・Ｚ方向の各加速度成分を制御部２１に与える。

本体装置２０側において制御部２１は、撮影を指示するレリーズボタンが操作されると、魚眼画像に対して現像処理を行って撮影画像を生成すると共に、画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部２３の記録メディアに記録保存させる。この場合、制御部２１は、魚眼画像の歪曲を補正する処理を施すことによって補正画像を生成し、魚眼画像に対応付けてその補正画像を記録保存するようにしている。この場合、仮想球面モデル上の任意の点で接する平面をスクリーンとして、仮想球面モデル上の点を平面スクリーン上の点に座標変換することにより魚眼画像の歪を補正する技術を用いているが、魚眼画像の歪を補正する処理（魚眼歪補正処理）は、画像処理において一般的に用いられている周知技術を利用するようにしているため、その具体的な説明については省略するものとする。

図３は、撮像装置１０の姿勢を説明するための図である。
撮像装置１０は、例えば、その全体が箱型を成し、その正面中央部に魚眼レンズ１６Ｂを配置した構成となっている。図３（１）は、魚眼レンズ１６Ｂの光軸方向が重力方向に対して略直交する状態、つまり、カメラが地面に対して略垂直となるようにして撮影した場合（垂直撮りを行った場合）を示し、更に、図中、破線で示した半球は、画角が略１８０゜という魚眼レンズ１６Ｂの撮影範囲を示している。図３（２）は、カメラの正面方向（魚眼レンズ１６Ｂの光軸方向）を天に向けた状態、つまり、魚眼レンズ１６Ｂの光軸方向が重力方向に対して略逆方向となるようにして撮影した場合（水平撮りを行った場合）を示している。

図４は、魚眼レンズ１６Ｂを用いて撮影された広角画像（魚眼画像）を例示した図で、本体装置２０側のタッチ表示部２６の再生画面に魚眼画像が表示された状態を示している。
図示の例は、図３（１）に示した垂直撮りで撮影した魚眼画像を示し、図４（１）は、撮影範囲として前方１８０°を垂直撮りした場合の魚眼画像、図４（２）は、撮影範囲として後方１８０°を垂直撮りした場合の魚眼画像である。このように３６０°撮影を行う場合には、前方１８０°撮影と後方１８０°撮影に分けて２回撮影を行うようにしている。なお、図示の例は、屋外で食卓を囲んでパーティを開いている様子を撮影したもので、前方１８０°を撮影した図４（１）の魚眼画像内には一組の親子が写っており、後方１８０°を撮影した図４（２）の魚眼画像内にも一組の親子が写っている場合を示している。このように３６０°撮影された各魚眼画像は、一組の魚眼画像群として一括して記憶保存される。

本体装置２０の制御部２１は、撮像装置１０によって撮影された魚眼画像を受信取得してその画像全体の歪を補正する処理を行うと共に、その補正画像内に含まれている所定の被写体を認識してその被写体部分の画像をその被写体毎に検出した後、補正画像の一部分の画像と、検出した各被写体部分の画像とを関連付ける処理を行うようにしとている。すなわち、制御部２１は、上述のようにして３６０°撮影された各魚眼画像に対してその歪曲を補正する処理を施してその補正画像を生成し、魚眼画像毎にその補正画像を対応付けて記録保存するようにしている。更に、補正画像毎にその画像を解析して補正画像内に含まれている所定の被写体（人物の顔）を全て検出する。なお、この顔検出処理は、顔パーツを検出したり、肌色を検出したりするなど、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。

この顔検出処理の結果、補正画像内に含まれている全ての人物の顔を検出すると、制御部２１は、その人物の輪郭に沿って人物毎にその被写体部分（顔部分）を切り出して顔画像を生成し、各顔画像をその魚眼画像に対応付けて記録保存するようにしている。なお、顔画像とは、人物を特定可能とするために顔を中心とした画像であるが、上半身（頭部、首、肩）を含む画像であってもよいし、また顔に限らず画像内から特徴点を検出して、当該特徴点に基づいた特徴領域を抽出するようにしてもよい。また、制御部２１は、各顔画像を所定の形状及びサイズに揃える画像処理を行ってから記録保存するようにしている。

図５は、魚眼画像（保存済み画像）を再生する場合の様子を説明するための図である。
図５（１）、本体装置２０側のタッチ表示部２６に各種の魚眼画像（保存済み画像）がサムネイル表示された一覧画面を示し、図中の円形は、個々の魚眼画像を示し、３×３のマトリックス状に魚眼画像がサムネイル表示されている状態を示している。ここで、任意のサムネイル画像の位置がタッチされると、制御部２１は、タッチされたサムネイル画像（魚眼画像）を再生対象として選択する。図５（２）は、再生対象として選択された魚眼画像を示し、上述の３６０°の魚眼画像のうち、前方１８０°を撮影した魚眼画像（図４（１）参照）を選択した場合である。

図５（３）は、再生対象として選択された魚眼画像に対応付けて記録保存されている補正画像から切り出される所定範囲内の画像を示している。この場合、補正画像内から所定範囲（例えば、長方形の切り出し枠）内の画像が切り出される。この切り出し枠（仮想枠）は、補正画像に相似するもので、例えば、補正画像の１／４の大きさの長方形枠であり、魚眼画像が選択された最初の時点では補正画像上の初期位置（中央部の位置）に設定されるが、ユーザ操作によって補正画像上の任意の位置に移動可能となっている。図示の例では、破線で示した長方形の切り出し枠内の画像（親子を含む画像）が切り出される場合を示している。

図５（４）は、再生対象として選択された魚眼画像の再生画面を示した図である。この再生画面には、上述のように補正画像の一部の画像（切り出し枠内の画像）が拡大表示されると共に、魚眼画像に対応付けられている各人物の顔画像が一覧表示される。この場合、タッチ操作で選択された魚眼画像（例えば、図４（１）の魚眼画像）内に含まれている各人物の顔画像に限らず、この魚眼画像と組みを成している他の魚眼画像（例えば、図４（２）の魚眼画像）内に含まれている各人物の顔画像も併せて一覧表示される。その際、各人物の顔画像は、魚眼画像内の各人物の配列順序に応じてその順序どおりに並べて一覧表示される。なお、各人物の顔画像は、図示のように再生画面の下部分に直線上に並べて一覧表示される。この場合、図中、左側に並ぶ親子の顔画像は、図４（１）の魚眼画像に含まれている人物の顔画像であり、右側に並ぶ親子の顔画像は、図４（２）の魚眼画像に含まれている人物の顔画像である。

また、図中、拡大表示の画像（切り出し枠内の画像）の周囲に付した破線の矢印は、タッチ操作によって移動可能な切り出し枠の移動方向を示し、この切り出し枠は、タッチ表示部２６上でのタッチ操作（スライド操作）によってそのスライド方向、スライド量に応じて移動される。これによって再生画面に表示される切り出し枠内の画像（拡大表示の画像）も切り出し枠の移動に応じてその内容が変化するようになる。なお、切り出し枠の移動方向は、上下左右の４方向に限らず、斜め方向への移動も可能としてもよい。このように再生画面上では上述のスライド操作の他に、連続した２回のタップ操作（ダブルタップ操作）も有効なタッチ操作となっており、任意の顔画像上でダブルタップ操作が行われると、制御部２１は、補正画像の中からその顔画像を含む位置を検出し、その検出位置に切り出し枠を移動（ジャンプ）させることによって、再生画面上の拡大表示の画像（切り出し枠内の画像）にその顔画像を含ませるようにしている。

図６は、本体装置２０側の画像管理テーブル２３Ｃを説明するための図である。
画像管理テーブル２３Ｃは、魚眼画像（保存済み画像）とそれに関連する画像を管理するためのテーブルで、「魚眼画像ＩＤ」、「撮影種別」、「リンクＩＤ」、「補正画像ＩＤ」、「顔画像ＩＤ」、「顔画像ＩＤ」、…の各項目を有している。「魚眼画像ＩＤ」は、魚眼画像を管理するために、その魚眼画像ファイル（図示省略）を識別する情報（一連番号など）を記憶する項目で、図示の例は、“Ａ０００１”、“Ａ０００２”、…を記憶した場合を示している。「撮影種別」は、１８０°で撮影した魚眼画像であるか、３６０°で撮影した魚眼画像であるかを示す撮影の種類を記憶する項目で、図示の例は、「魚眼画像ＩＤ」が“Ａ０００２”、“Ａ０００３”の各画像は、３６０°撮影の１組の魚眼画像群であることを示している。

「リンクＩＤ」は、「撮影種別」が３６０°撮影の場合に組となる他の魚眼画像を示す「魚眼画像ＩＤ」が記憶される項目で、図示の例では、「魚眼画像ＩＤ」が“Ａ０００２”の「リンクＩＤ」には他の魚眼画像を示す「魚眼画像ＩＤ」として“Ａ０００３”が記憶され、“Ａ０００３”の「リンクＩＤ」には他の魚眼画像を示す「魚眼画像ＩＤ」として“Ａ０００２”が記憶される。「補正画像ＩＤ」は、魚眼画像に対応してその歪を補正した補正画像を管理するために、その補正画像ファイル（図示省略）を識別する情報（一連番号など）を記憶する項目で、図示の例は、“Ｂ０００１”、“Ｂ０００２”、…を記憶した場合を示している。「顔画像ＩＤ」は、魚眼画像に対応してその魚眼画像内に含まれる各人物の顔画像を管理するために、その顔画像ファイル（図示省略）を識別する情報（一連番号など）を記憶する項目で、図示の例では、“Ｃ０００１”、“Ｃ０００２”、…を記憶した場合を示している。

次に、第１実施形態における画像処理装置（デジタルカメラ）の動作概念を図７〜図９に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体の他に、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図７〜図９は、デジタルカメラの全体動作のうち、第１実施形態の特徴部分の動作概要を示したフローチャートであり、この図７〜図９のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図７は、３６０°撮影を行う場合における本体装置２０側の動作（本実施形態の特徴部分の動作）を説明するためのフローチャートである。なお、３６０°撮影は、各種の撮影モードを選択するメニュー画面の中からユーザ操作によって任意に選択されたメニュー項目であり、この３６０°撮影のメニュー項目が選択された場合に、図７の動作が実行開始される。
まず、本体装置２０側の制御部２１は、レリーズ操作の待ち状態において（ステップＡ１）、レリーズ操作が行われると（ステップＡ１でＹＥＳ）、撮像装置１０から受信取得した魚眼画像に対して現像処理を行って撮影画像を生成すると共に、画像圧縮処理を施して標準的なファイル形式に変換した後（ステップＡ２）、記憶部２３の記録メディアに記録保存させる（ステップＡ３）。この場合、３６０°撮影が行われた２枚の魚眼画像を１組の画像として記録保存させると共に、新たな「魚眼画像ＩＤ」として、例えば、“Ａ０００２”を生成し、画像管理テーブル２３Ｃに追加登録する。

そして、制御部２１は、この新たな「魚眼画像ＩＤ」に対応する「撮影種別」として“３６０°撮影”を画像管理テーブル２３Ｃに登録すると共に、対応する「リンクＩＤ」を登録する処理を行うが（ステップＡ４）、この「リンクＩＤ」の登録は、３６０°撮影の２回目の撮影時に行われる。次に、制御部２１は、その魚眼画像に対して歪曲を補正する処理を施してその補正画像を生成し（ステップＡ５）、その補正画像を記憶部２３の記録メディアに記録保存させるが、その際、新たな「補正画像ＩＤ」として、例えば、“Ｂ０００２”を生成し、「魚眼画像ＩＤ」の“Ａ０００２”に対応付けて画像管理テーブル２３Ｃに登録する（ステップＡ６）。

更に、制御部２１は、この補正画像の全体を解析することによって人物の顔を検出する（ステップＡ７）。その結果、人物の顔を検出することができたかを調べ（ステップＡ８）、人物の顔を検出することができなければ（ステップＡ８でＮＯ）、ステップＡ１１に移り、３６０°撮影が終了したかを調べる。いま、３６０°撮影の１回目の撮影が終わった場合であるから（ステップＡ１１でＮＯ）、上述のステップＡ１に戻り、３６０°撮影の２回目の撮影を指示するレリーズが操作されるまで待ち状態となる。

いま、補正画像内の人物の顔を検出した場合には（ステップＡ８でＹＥＳ）、その人物の輪郭に沿って人物毎に切り抜いてその顔画像を生成する（ステップＡ９）。この場合、補正画像内に含まれている全ての人物に対してその顔画像を生成するようにしているが、魚眼画像の周辺部に位置している人物のように顔の歪みが大きすぎて、その歪曲補正を施しても人物の顔を精度良く検出することができなかった場合でも、人物の可能性があれば、その顔画像を生成するようにしてもよい。このように人物毎に切り抜いて生成した各顔画像を所定の形状及びサイズに揃えた後、その魚眼画像に対応付けて記憶部２３の記録メディアに記録保存させるが、この場合、「顔画像ＩＤ」として、例えば、“Ｃ０００４”、“Ｃ０００５”を生成し、「魚眼画像ＩＤ」の“Ａ０００２”に対応付けて画像管理テーブル２３Ｃに登録する（ステップＡ１０）。そして、３６０°撮影が終了するまで上述の動作（ステップＡ１〜Ａ１１）を繰り返すが、３６０°撮影が終了すると（ステップＡ１１でＹＥＳ）、図７のフローから抜ける。

図８及び図９は、魚眼画像（保存済み画像）を再生する場合の本体装置２０側の動作（本実施形態の特徴部分の動作）を示したフローチャートである。
まず、制御部２１は、ユーザ操作によって魚眼画像（保存済み画像）の再生が指示されると、記憶部２３の記録メディアに記録保存されている複数の魚眼画像（保存済み画像）を読み出して（ステップＢ１）、サムネイル画像に変換して一覧表示させる（ステップＢ２）。この状態において、この一覧画面の中から任意のサムネイル画像を再生対象として指定するタッチ操作が行われたかを調べ（ステップＢ３）、タッチ操作が行われなければ（ステップＢ３でＮＯ）、操作部２５の所定キーとして、再生終了を指示するキーが操作されたかを調べる（ステップＢ４）。ここで、再生終了が指示されなければ（ステップＢ４でＮＯ）、上述のステップＢ３に戻るが、再生終了が指示された場合には（ステップＢ４でＹＥＳ）、図８及び図９のフローから抜ける。

いま、複数の魚眼画像がマトリックス状にサムネイル画像として一覧表示されている状態において、その中から任意のサムネイル画像の位置がタッチされると（ステップＢ３でＹＥＳ）、制御部２１は、その魚眼画像を再生対象として選択指定する（ステップＢ５）そして、この指定画像（魚眼画像）に対応して保存されている補正画像を読み出し（ステップＢ６）、この補正画像から長方形の領域（切り出し枠）内の画像を切り出す（ステップＢ７）。この場合、魚眼画像が選択された最初の時点では切り出し枠が補正画像上の初期位置（中央部の位置）に設定されているので、補正画像の中央部分の画像が切り出される。そして、切り出した画像を所定のサイズに拡大して、再生画面の中央部分に表示させる（ステップＢ８）。

次に、上述の指定画像（魚眼画像）に対応して保存されている各顔画像を読み出し（ステップＢ９）、この各顔画像を再生画面に一覧表示させる（ステップＢ１０）。この場合、図５（４）に示すように、各顔画像を再生画面の下部に横一列に並べて一覧表示させるが、その並び順は、上述したように魚眼画像内の各人物の配列順なっている。そして。上述の指定画像（魚眼画像）と組みを成している他の魚眼画像、３６０°の他の魚眼画像は未指定であるかを調べ（ステップＢ１１）、未指定の魚眼画像が残っていれば（ステップＢ１１でＹＥＳ）、その未指定の魚眼画像を再生対象として指定（ステップＢ１２）した後、上述のステップＢ９に戻り、この新たな指定画像（魚眼画像）に対応して保存されている各顔画像を読み出し、この各顔画像を再生画面に一覧表示させる（ステップＢ１０）。これによって３６０°撮影の各魚眼画像を全て指定し終わった場合には（ステップＢ１１でＮＯ）、図９のフローに移る。

このような再生画面がタッチ表示部２６上に表示されている状態において、再生画面上でタッチ操作が行われると（ステップＢ１３でＹＥＳ）、そのタッチ操作は、一覧表示されている顔画像へのダブルタップ操作であるか（ステップＢ１４）、拡大表示されている補正画像（切り出し枠内の画像）近辺でのスライド操作であるかを調べる（ステップＢ１５）。いま、顔画像へのダブルタップ操作が行われた場合には（ステップＢ１４でＹＥＳ）、その補正画像内からその顔を含む位置を特定し、その検出位置に切り出し枠を移動させる（ステップＢ１６）。例えば、図５（４）に示すように女の子の顔画像上でダブルタップ操作が行われた場合には、補正画像の中からその女の子の顔画像を特定し、その顔画像が切り出し枠の中心位置となるように切り出し枠を移動させる。そして、この切り出し枠内の画像を切り出して再生画面に拡大表示させる（ステップＢ１７）。その後、ステップＢ１３に戻る。

また、再生画面上でのタッチ操作が、拡大表示されている補正画像（切り出し枠内の画像）近辺でのスライド操作であれば（ステップＢ１５でＹＥＳ）、そのスライド方向及びスライド量を検出し（ステップＢ１８）、このスライド方向及びスライド量に応じて切り出し枠を補正画像上で移動させる（ステップＢ１９）。そして、この補正画像から切り出し枠内の画像を切り出して再生画面に拡大表示（ステップＢ１７）させた後、上述のステップＢ１３に戻る。

一方、再生画面上でのタッチ操作ではなく（ステップＢ１３でＮＯ）、例えば、操作部２５の所定キーとして、３６０°撮影の他の魚眼画像への切り替えを指示するキーが操作された場合には（ステップＢ２０でＹＥＳ）、３６０°撮影が行われた２枚の魚眼画像の中から他の魚眼画像を再生対象として指定（ステップＢ２１）した後、その指定画像に対応して保存されている補正画像を読み出し（ステップＢ２２）、この補正画像から切り出し枠内の画像を切り出して（ステップＢ２３）、この切り出した画像を再生画面に拡大表示させる（ステップＢ２４）。その後、ステップＢ１３に戻る。そして、例えば、操作部２５の所定キーとして、再生終了を指示するキーが操作された場合には（ステップＢ２５でＹＥＳ）、図７及び図８のフローから抜ける。

以上のように、第１実施形態においては本体装置２０の制御部２１は、撮像装置１０によって撮影された広角画像（魚眼画像）内に含まれている所定の被写体を認識してその被写体部分の画像の歪を補正し、広角画像の一部分の画像と補正した被写体部分の画像とを関連付ける処理を行うようにしたので、魚眼画像とその魚眼画像内に写っている所定の被写体との対応関係を明確にして、ユーザに提供することができる。

制御部２１は、撮像装置１０によって撮影された広角画像（魚眼画像）の歪を補正すると共に、その補正画像内に含まれている所定の被写体（人物の顔）を認識してその被写体部分の画像（顔画像）をその被写体（人物）毎に検出し、補正画像の一部分の画像と、検出した各被写体部分の画像（顔画像）とを関連付ける処理を行うようにしたので、所定の被写体を広角で撮影した広角画像を所定の被写体が見易くなるような形態に変換することができる。例えば、画像の表示時に、歪の大きい広角画像をそのまま表示するよりもその歪を補正した画像と、各人物の顔画像とを対応付けて表示するようにすれば、広角画像を見易い形態に変換して表示させることができ、ユーザにあってはその人物を容易に確認することが可能となる。

制御部２１は、補正画像の所定範囲（切り出し枠）内の画像を拡大表示させると共に、検出した各被写体部分の画像（顔画像）を一覧表示させるようにしたので、画像の再生時に、歪が大きい広角画像の全体を表示するよりも補正画像の一部分を表示すれば、広角画像を見易い形態で表示させることができる。すなわち、ユーザにあっては広角で撮影された補正画像の一部分に絞って被写体を確認することができ、また、補正画像の一部に表示されていない人物も含めて広角で撮影された画像内に含まれている全ての人物を確認することができる。

制御部２１は、検出した各被写体部分の画像（顔画像）を一覧表示させる際に、広角画像上の各被写体（人物）の配列順序に応じてその順序にどおりに並べて一覧表示させるようにしたので、どこに誰がいたのかなどを顔画像の一覧表示を見るだけで容易に確認することができる。

制御部２１は、所定定範囲（切り出し枠）をユーザ操作（スライド操作）によって任意に移動させると共に、その切り出し枠の移動に応じて切り出した画像を拡大表示させるようにしたので、ユーザにあって補正画像の中から所望する部分の画像をその細部まで容易に確認することが可能となる。

制御部２１は、撮影方向を変えて撮影された複数の広角画像を組とする広角画像群の中に含まれている全ての所定の被写体（人物の顔）を認識してその被写体部分の画像（顔画像）をその被写体毎に検出するようにしたので、例えば、前方１８０°撮影と後方１８０°撮影の２回に分けて３６０°撮影を行ったとしてもその周囲にいる全ての人物の顔を検出することができる。

制御部２１は、撮影方向を変えて撮影された複数の広角画像を組とする広角画像群の中から表示対象の広角画像が指定された場合に、その指定された広角画像の補正画像と、広角画像群の中から検出された全ての被写体部分の画像（人物の顔）と、を対応付けて表示させるようにしたので、ユーザにあっては複数の画像（補正画像）の切り替え表示によってその複数の画像を見ることができる。

制御部２１は、撮影方向を変えて撮影された広角画像群の中からユーザ操作によって任意に選択された広角画像を表示対象として指定するようにしたので、ユーザにあっては撮影方向を変えて撮影された複数の画像（補正画像）の中から所望する画像に任意に切り替え指定してその画像の拡大表示を見ることができる。

制御部２１は、広角画像（魚眼画像）がサムネイル画像として一覧表示されている状態において、そのサムネイル画像の中から任意の広角画像がユーザ操作によって選択されると、その選択された広角画像の補正画像を拡大表示させると共に、検出した各被写体部分の画像（顔画像）を一覧表示させるようにしたので、ユーザにあっては多くの魚眼画像の中から所望する魚眼画像を任意に選択してその画像を見易い形態で確認することが可能となる。

制御部２１は、補正画像と各被写体部分の画像（顔画像）とを対応付けて記録保存するようにしたので、画像再生を行う毎に広角画像の歪補正を行ったり、補正画像から顔画像を切り出したりする処理が不要となる。

（変形例１）
上述した第１実施形態においては、撮影方向を変えて撮影された一組の魚眼画像群の中からユーザ操作によって任意に選択された魚眼画像を表示対象として指定するようにしたが、一定のタイミング毎に予め決められている順所にしたがって各魚眼画像を１枚ずつ順次選択してその補正画像を切り替え表示するようにしてもよい。これによってユーザは各魚眼画像（補正画像）を所定の順序で見ることができる。この場合、３６０°撮影において、表示中の魚眼画像（補正画像）内に含まれている人物の顔画像と、非表示の魚眼画像（補正画像）内に含まれている人物の顔画像とを識別して一覧表示するようにしてもよい。これによって魚眼画像（補正画像）と人物の顔画像との対応関係を容易に確認することができる。

（変形例２）
上述した第１実施形態においては、撮影方向を変えて撮影された一組の魚眼画像群内に含まれている全ての人物の顔画像を一覧表示するようにしたが、特定の顔画像を識別して表示するようにしてもよい。例えば、拡大表示中の補正画像の一部に含まれている人物を特定し、この人物の顔画像だけを識別表示（例えば、色分け表示、拡大表示）するようにしてもよい。これによって拡大表示中の補正画像の一部に含まれている人物と、補正画像内の非表示部分に含まれている人物とを識別して表示することができる。ここで、非表示部分に含まれている人物を拡大表示によって確認する場合には、その人物が切り出されるように切り出し枠を移動させればよい。

（変形例３）
上述した第１実施形態においては、魚眼レンズ１６Ｂとして円周魚眼レンズ（全周魚眼レンズ）を例示したが、対角魚眼レンズを使用してもよい。また、上述した実施形態においては、１つの魚眼レンズ１６Ｂを用いて、前方１８０°撮影と後方１８０°撮影の２回に分けて３６０°撮影を行うようにしたが、２つの魚眼レンズ１６Ｂを備えるようにすれば、例えば、カメラ筐体の表裏両面にそれぞれ魚眼レンズを備えれば、３６０°撮影の指示に応じて前方１８０°撮影と後方１８０°撮影を同時に行うことができる。また、超広角レンズを使用して複数回の撮影を行って３６０°撮影を行うようにしてもよい。

（変形例４）
上述した第１実施形態において、本体装置２０の制御部２１は、撮像装置１０によって撮影された魚眼画像を受信取得してその画像全体の歪を補正する処理を行うと共に、その補正画像内に含まれている所定の被写体を認識してその被写体部分の画像をその被写体毎に検出した後、補正画像の一部分の画像と、検出した各被写体部分の画像とを関連付ける処理を行うようにしとているが、それに限らず、本体装置２０の制御部２１は、撮像装置１０によって撮影された魚眼画像を受信取得すると、魚眼画像の歪みを補正することなく、その魚眼画像内に含まれている所定の被写体を認識してその被写体部分の画像をその被写体毎に検出した後、魚眼画像の一部分の画像と、検出した各被写体部分の画像とを関連付ける処理を行うようにしてもよい。

この場合、検出した各被写体部分の画像は、歪みが依然として残ることになるので、所定のタイミング、例えば、上述した関連付ける処理を行うと同時、又はその前後のタイミングや、人物毎に被写体部分を切り出すと同時、又はその前後のタイミングなどで各被写体部分の画像に対して歪補正を行うようにしてもよい。このように歪をそのまま残した魚眼画像の一部分の画像と、補正した被写体部分の画像とを関連付ける処理として、例えば、魚眼画像の一部分の画像を再生画面に表示させると共に、補正した被写体部分の画像と再生に一覧表示させる処理を行うようにすれば、上述した実施形態と同様、魚眼画像とその魚眼画像内に写っている所定の被写体との対応関係を明確にして、ユーザに提供することができる。

（変形例５）
上述した第１実施形態においては、再生対象として選択された魚眼画像に対応付けて記録保存されている補正画像から切り出される所定範囲内の画像を表示するようにしたが、それに限らず、再生対象として選択された魚眼画像そのものを表示してもよい。すなわち、歪が残っている魚眼画像と、検出した各被写体部分の画像（顔画像）とを一覧表示させるようにしてもよい。この場合においても上述した実施形態と同様、魚眼画像とその魚眼画像内に写っている所定の被写体との対応関係を明確にして、ユーザに提供することができる。

（変形例６）
上述した第１実施形態においては、撮影方向を変えて撮影された複数の広角画像を組とする広角画像群の中から表示対象の広角画像がユーザ操作によって指定された場合に、その指定された広角画像の補正画像と、広角画像群の中から検出された全ての被写体部分の画像（人物の顔）と、を対応付けて表示するようにしたが、広角画像群の中から表示対象の広角画像がユーザ操作によって指定された場合に、その指定された広角画像（歪が残っている画像）と、広角画像群の中から検出された全ての被写体部分の画像（人物の顔）と、を対応付けて表示するようにしてもよい。これによってユーザにあっては複数の広角画像の切り替え表示によってその複数の広角画像を見ることができる。

なお、上述した第１実施形態においては、補正画像の所定範囲（切り出し枠）内の画像を拡大表示させると共に、検出した各被写体部分の画像（顔画像）を一覧表示させる構成としたが、それに限らず、再生対象として選択された魚眼画像に対応付けて記録保存されている補正画像の全体と、検出した各被写体部分の画像（顔画像）を一覧表示させてもよい。

上述した第１実施形態においては、魚眼画像、補正画像、各人物の顔画像を対応付けて記録保存するようにしたが、魚眼画像、補正画像、各人物の顔画像を、例えば、ＳＤカード、ＵＳＢメモリなどの着脱自在な可搬型メモリ（記録メディア）、又は通信手段を介して外部に出力して、外部機器で補正画像と各人物の顔画像とを対応付けて表示するようにしてもよい。

上述した第１実施形態においては、魚眼画像を歪補正した補正画像の一部分（切り出し枠内の画像）を拡大して再生画面に表示するようにしたが、補正画像の全体を再生画面に表示するようにしてもよい。

上述した第１実施形態においては、前方１８０°撮影と後方１８０°撮影の２回に分けて３６０°撮影を行ってその複数の魚眼画像を組とするようにしたが、魚眼レンズ１６Ｂを用いて撮影する範囲は、１８０°撮影に限らず、任意である。また、３６０°撮影に限らず、１８０°の範囲で撮影した撮影画像においても適応できるのは勿論である。

（第２実施形態）
以下、この発明の第２実施形態について図１０及び図１１を参照して説明する。
なお、上述した第１実施形態においては、魚眼画像（保存済み画像）を再生する場合に、複数の魚眼画像をサムネイル一覧画面に表示している状態において、その中から任意のサムネイル画像の表示位置がタッチされると、その魚眼画像に対応付けられている補正画像の一部の画像（切り出し枠内の画像）を切り替え表示するようにしたが、この第２実施形態においては、魚眼画像（サムネイル画像）がタッチされると、その魚眼画像に対応付けられている各人物の顔画像の一覧画面に切り替え表示するようにしたものである。

更に、第１実施形態では、補正画像と共に表示されている顔画像がタッチされると、補正画像の中からその顔画像を含む位置を検出し、その検出した位置に切り出し枠を移動させることによって、切り出し枠内の画像にその顔画像を含ませるように制御するようにしたが、この第２実施形態では、顔画像の一覧画面の中から任意の顔画像がタッチされると、その顔画像を含む魚眼画像（サムネイル一覧画面から選択された当該魚眼画像）に対応付けられている補正画像に切り替え表示するようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。

この第２実施形態における撮影時の動作は、上述した第１実施形態と同様であり、撮影された魚眼画像に対して現像処理を行って記憶部２３の記録メディアに記録保存する場合に、この魚眼画像に対して歪曲を補正する処理を施してその補正画像を生成し、この補正画像をその魚眼画像に対応付けて記録保存するようにしている。更に、この補正画像内に含まれている各人物の顔を検出し、人物毎にその顔部分を切り出して顔画像（補正済みの画像）を生成し、その魚眼画像に対応付けて記録保存するようにしている。

図１０は、魚眼画像（保存済み画像）を再生する場合の本体装置２０側の動作（第２実施形態の特徴部分の動作）を示したフローチャートである。
まず、制御部２１は、ユーザ操作によって魚眼画像（保存済み画像）の再生が指示されると、記憶部２３の記録メディアに記録保存されている複数の魚眼画像（保存済み画像）を読み出し（ステップＣ１）、この魚眼画像をサムネイル画像に変換して一覧表示させる（ステップＣ２）。図１１（１）は、魚眼画像のサムネイル一覧画面を示し、図中、３×３のマトリックス状に配置した円形は、魚眼画像のサムネイル画像を示している。図１１（２）は、このサムネイル一覧画面の一部を拡大して示した図である。

このようなサムネイル一覧画面を表示している状態において、任意のサムネイル画像の表示位置に対して所定のタッチ操作（例えば、ダブルタップ操作）が行われたかを調べる（ステップＣ５）。いま、サムネイル画像上で２回続けて叩くダブルタップ操作が行われなければ（ステップＣ３でＮＯ）、ステップＣ９に移るが、サムネイル画像上でダブルタップ操作が行われると（ステップＣ３でＹＥＳ）、ダブルタップ操作された魚眼画像に対応付けて記録保存されている各人物の顔画像（補正済みの画像）を読み出し（ステップＣ４）、各顔画像を拡大して再生画面に切り替え表示させる（ステップＣ５）。図１１（３）は、各人物の顔画像を一覧表示した画面を示し、例えば、矩形に切り抜かれた顔画像は、例えば、上述した第１実施形態と同様の並び順で配置表示される。

このように顔画像の一覧画面が表示されている状態において、任意の顔画像の表示位置に対して所定のタッチ操作（例えば、ダブルタップ操作）が行われたかを調べる（ステップＣ６）。いま、顔画像上でダブルタップ操作が行われなければ（ステップＣ６でＮＯ）、ステップＣ９に移るが、ダブルタップ操作が行われると（ステップＣ６でＹＥＳ）、ダブルタップ操作された顔画像を含む魚眼画像に対応付けて記録保存されている補正画像を読み出し（ステップＣ７）、その補正画像に切り替え表示（全面表示）させる（ステップＣ８）。

この場合、タッチ指定された顔画像を含む魚眼画像として、サムネイル一覧画面で選択された当該魚眼画像を特定し、この魚眼画像に対応付けられている補正画像を読み出して切り替え表示させるが、その際、タッチ指定された顔画像が中央に位置するように補正画像からその顔画像を中心として切り出した画像を拡大して切り替え表示（全面表示）させるようにしている。図１１（４）は、図１１（３）に示したように女の子の顔画像がダブルタップされた場合に、その顔画像が含まれている魚眼画像に対応付けられている補正画像の一部を切り出して拡大表示した場合を例示した図で、女の子の顔を中心とした拡大画像が切り替え表示された場合である。

図１１（５）は、図１１（４）の表示例とは異なる他の表示例を説明するための図である。図１１（４）の場合には、タッチ指定された顔画像を含む魚眼画像として、サムネイル一覧画面で選択された当該魚眼画像を特定するようにしたが、図１１（５）では、当該魚眼画像以外でその顔画像を含む他の魚眼画像を特定し、その魚眼画像に対応付けられている補正画像からその一部分の画像を切り出して拡大表示させた場合である。この場合においても、タッチ指定された顔画像が中央に位置するように補正画像からその顔画像を中心として切り出した画像を拡大して切り替え表示（全面表示）させるようにしている。

なお、タッチ指定された顔画像を含む魚眼画像として、サムネイル一覧画面で選択された当該魚眼画像を優先的に特定するようにしているが、当該魚眼画像、又は当該魚眼画像以外でタッチ指定された顔画像を含む他の魚眼画像の何れかを優先的に特定するかをユーザ操作によって予め設定しておいてもよい。また、タッチ指定された顔画像を含む魚眼画像として、当該魚眼画像と他の魚眼画像とをユーザ操作によって切り替えたり、一定時間後に自動的に切り替えたりしてもよい。更に、他の魚眼画像が複数枚保存されていれば、その複数の魚眼画像を切り替え操作によって順次特定して、その特定した魚眼画像に対応付けられている補正画像を読み出して切り替え表示させるようにしてもよい。

このように補正画像が切り替え表示されている状態において、戻り指示操作が行われたかを調べ（ステップＣ９）、戻り指示操作が行われなければ（ステップＣ９でＮＯ）、その他の指示操作が行われたかを調べる（ステップＣ１０）。ここで、その他の指示操作（例えば、画像編集を指示する操作）が行われた場合には（ステップＣ１０でＹＥＳ）、その他の指示に応じた処理に移るが、戻り指示操作が行われた場合には（ステップＣ９でＹＥＳ）、上述のステップＣ３に戻る。

以上のように第２実施形態においては、広角画像をサムネイル画像として一覧表示している状態において、その中から任意の広角画像がユーザ操作によって選択されると、その広角画像内に含まれている所定の被写体部分の画像を一覧表示するようにしたので、画像全体が歪曲している広角画像をそのままの状態でサムネイル表示したとしても、ユーザは、その被写体を容易に視認することが可能となる。すなわち、広角画像（魚眼画像）は、画像全体が大きく歪んでいるため、そのサムネイル画像を見ても誰が写っているのかを正確に把握することは難しく、また、任意のサムネイル画像をユーザ操作によって指定しながら拡大表示させてその画像内に写っている顔を１人ずつ確認することは手間を要し、ユーザに負担をかけてしまうが、任意のサムネイル画像（魚眼画像）が選択された場合に、その魚眼画像内に含まれている各人物の顔画像が一覧表示されるので、ユーザにあってはサムネイル表示の魚眼画像によって撮影全域を把握しながら臨場感のある画像を見ることができると共に、人物の顔画像により誰が写っているのかを容易に視認することが可能となる。

更に、上述の顔画像が一覧表示されている状態において、その中から任意の顔画像がユーザ操作によって選択されると、その顔画像に含まれている広角画像の歪みを補正した補正画像を表示するようにしたので、ユーザにあっては歪みの無い広範囲な画像を見ることができる。

なお、上述した第２実施形態においては、撮影された魚眼画像の歪を補正する処理を行って補正画像を生成すると共に、その補正画像から切り出した各人物の顔画像を生成し、魚眼画像に対応付けて補正画像及び各人物の顔画像を記録保存し、各魚眼画像の再生時に、魚眼画像に対応付けられている各人物の顔画像を読み出して一覧表示するようにしたが、補正画像及び各人物の顔画像は、魚眼画像の再生時時に生成するようにしてもよい。すなわち、魚眼画像のサムネイル表示時に、任意に選択された魚眼画像に対してその歪を補正する処理を行って補正画像を生成した後、その補正画像から切り出した各人物の顔画像を生成するようにしてもよい。また、補正画像を生成してから各人物の顔部分を切り出す場合に限らず、魚眼画像から各人物の顔画像を切り出してその歪を補正することにより顔画像を生成するようにしてもよい。

上述した第２実施形態においては、魚眼画像をサムネイル表示する場合を示したが、この魚眼画像に対してその歪みを補正した補正画像をサムネイル表示するようにしてもよい。この場合においてもサムネイル画像（補正画像）がユーザ操作によって選択されると、その画像内に含まれている各人物の顔画像を一覧表示する画面に切り替えられることは第２実施形態と同様である。

なお、上述した第２実施形態においては、前方１８０°撮影と後方１８０°撮影の２回に分けて３６０°撮影を行ってその複数の魚眼画像を組とするようにしてもよいし、３６０°撮影に限らず、１８０°の範囲で撮影（１８０°撮影）した撮影画像に適応してもよいのは勿論である。

（第３実施形態）
以下、この発明の第３実施形態について図１２〜図１４を参照して説明する。
この第３実施形態においては、複数の魚眼画像をサムネイル画像に変換して一覧表示する際に、各サムネイル画像の近辺にその魚眼画像に対応して保存されている各人物の顔画像を一覧表示するようにしたものである。すなわち、サムネイル画像の周辺にその画像に関連する各人物の顔画像を併せて表示するようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第３実施形態の特徴部分を中心に説明するものとする。なお、この第３実施形態においても、例えば、図４（１）で示したように前方１８０°を垂直撮りした場合の魚眼画像と、図４（２）で示したように後方１８０°を垂直撮りした場合の魚眼画像、つまり、前方１８０°撮影と後方１８０°撮影に分けて２回撮影（３６０°撮影）した２枚の魚眼画像は、１組の画像として記録保存するようにしている。

図１２は、魚眼画像（保存済み画像）を再生する場合の本体装置２０側の動作（第２実施形態の特徴部分の動作）を示したフローチャートである。
まず、制御部２１は、ユーザ操作によって魚眼画像の再生が指示されると、記録保存されている複数の魚眼画像を読み出し（ステップＤ１）、この魚眼画像をサムネイル画像に変換して一覧表示させる（ステップＤ２）。そして、各魚眼画像に対応付けて記録保存されている各人物の顔画像を魚眼画像毎に読み出し（ステップＤ３）、その魚眼画像（サムネイル画像）の近辺（周辺）に、対応する各顔画像を配置表示させる（ステップＤ４）。

図１３（１）は、魚眼画像のサムネイル一覧画面の一例を示した図で、図中、３×３のマトリックス状に配置した円形は、魚眼画像のサムネイル画像を示し、この魚眼画像（サムネイル画像）の周辺に配置した縦長の小円（楕円）は、その魚眼画像に対応する各人物の顔画像を示している。図１３（２）は、このサムネイル一覧画面の一部を拡大した図で、図示の例は、３６０°撮影ではない場合、つまり、１８０°撮影を行った場合の魚眼画像をサムネイル表示した状態を示し、その魚眼画像内に含まれている各人物の顔画像が当該サムネイル画像の周辺に一覧表示される。

図１４（１）は、魚眼画像のサムネイル一覧画面を他の例を示した図で、図中、魚眼画像Ａは、図４（１）で示したように前方１８０°を垂直撮りした場合の魚眼画像を示し、魚眼画像Ｂは、図４（２）で示したように後方１８０°を垂直撮りした場合の魚眼画像を示している。このように前方１８０°撮影と後方１８０°撮影に分けて２回撮影（３６０°撮影）した一組の魚眼画像の場合、その各サムネイル画像の周辺には、自己の魚眼画像内に含まれている人物の顔画像の他に、組みを成す他の魚眼画像内に含まれている人物の顔画像も配置表示される。

図１４（２）は、このサムネイル一覧画面の一部を拡大して示した図で、魚眼画像Ａのサムネイル表示を示している。この場合、そのサムネイル画像の周辺には、魚眼画像Ａ内に写っている親子の顔画像の他に、この魚眼画像Ａと組みを成す他の魚眼画像Ｂ内に写っている親子の顔画像も併せて一覧表示される。また、この魚眼画像Ｂをサムネイル表示した場合も同様であり、図示省略したが、そのサムネイル画像の周辺には、魚眼画像Ｂ内に写っている親子の顔画像の他に、この魚眼画像Ｂと組みを成す他の魚眼画像Ａ内に写っている親子の顔画像も併せて一覧表示される。

なお、サムネイル画像の周辺に顔画像を配置表示する場合には、図１３（２）、図１４（２）に示したように各顔画像のサイズを揃えて等間隔にバランス良く配置するようにしている。このサムネイル一覧画面が表示されている状態において、その一覧画面内の顔画像の表示位置がタッチ（ダブルタップ）されたかを調べる（ステップＤ５）。いま、顔画像の表示位置がダブルタップされなければ（ステップＤ５でＮＯ）、ステップＤ８に移るが、ダブルタップされると（ステップＤ５でＹＥＳ）、ダブルタップされた顔画像から対応する魚眼画像を特定し、この魚眼画像に対応付けて記録保存されている補正画像を読み出し（ステップＤ６）、その補正画像をサムネイル一覧画面に切り替えて表示させる（ステップＤ７）。この場合においても上述した第２実施形態と同様に、サムネイル一覧画面で選択された当該魚眼画像、又は当該魚眼画像以外でタッチ指定された顔画像を含む他の魚眼画像を特定し、その特定した魚眼画像に対応付けられている補正画像を読み出して切り替え表示させるようにしている。

図１３（３）は、図１３（２）に示したように子供の顔画像がダブルタップされた場合に、その顔画像が含まれている補正画像を拡大表示させた場合を示している。図１４（３）も同様にダブルタップされた子供の顔画像が含まれている補正画像を拡大表示させた場合を示しているが、図１３（３）の場合にはサムネイル表示されている画像の補正画像であるが、図１４（３）の場合にはサムネイル表示されている画像Ａと組みを成す画像Ｂの補正画像が表示される。

このように補正画像が切り替え表示されている状態において、戻り指示操作が行われたかを調べ（ステップＤ８）、戻り指示操作が行われなければ（ステップＤ８でＮＯ）、その他の指示操作が行われたかを調べる（ステップＤ９）。ここで、その他の指示操作（例えば、画像編集を指示する操作）が行われた場合には（ステップＤ９でＹＥＳ）、その他の指示に応じた処理に移るが、戻り指示操作が行われた場合には（ステップＤ８でＹＥＳ）、上述のステップＤ２に戻り、サムネイル一覧画面を表示させる。

以上のように、第３実施形態においては、広角画像をサムネイル画像として一覧表示すると共に、広角画像から切り出して生成した被写体部分の画像をそのサムネイル画像に対応付けて表示するようにしたので、画像全体が歪曲している広角画像をそのままの状態でサムネイル表示したとしても、ユーザは、その被写体を容易に視認することが可能となる。

また、制御部１は、撮影方向を変えて撮影された複数の広角画像を組とする広角画像群の中の何れかの広角画像をサムネイル表示させている場合に、その広角画像群に含まれている全ての被写体部分の画像をサムネイル画像に対応付けて表示させるようにしたので、ユーザにあっては広角画像群の中の何れかの広角画像のサムネイル表示を確認するだけでその広角画像群に含まれている全ての被写体部分の画像を確認することができる。例えば、前方１８０°撮影と後方１８０°撮影の２回に分けて３６０°撮影が行われた場合に、その前方１８０°撮影のサムネイル画像（魚眼画像）にはその魚眼画像に含まれている人物の顔画像と共に、後方１８０°撮影の魚眼画像に含まれている人物の顔画像も一緒に表示されるので、後方１８０°撮影の魚眼画像のサムネイル表示を確認しなくてもその魚眼画像に含まれている人物の顔画像を確認することができる。

なお、上述した第３実施形態においては、撮影された魚眼画像の歪を補正する処理を行って補正画像を生成すると共に、その補正画像から切り出した各人物の顔画像を生成し、魚眼画像に対応付けて補正画像及び各人物の顔画像を記録保存し、各魚眼画像のサムネイル表示時に、魚眼画像に対応付けられている各人物の顔画像を読み出して一覧表示し、この一覧表示の中から任意の顔画像がユーザ指定された場合には、その顔画像を含む補正画像を読み出して表示するようにしたが、補正画像及び各人物の顔画像は、魚眼画像のサムネイル表示時に生成するようにしてもよい。すなわち、魚眼画像のサムネイル表示時に魚眼画像の歪を補正する処理を行って補正画像を生成すると共に、その補正画像から切り出した各人物の顔画像を生成するようにしてもよい。また、補正画像を生成してからその補正画像から各人物の顔部分を切り出す場合に限らず、魚眼画像から各人物の顔画像を切り出してその歪を補正することにより顔画像を生成するようにしてもよい。

上述した第３実施形態においては、１つの魚眼レンズ１６Ｂを用いて、前方１８０°撮影と後方１８０°撮影の２回に分けて３６０°撮影を行うようにしたが、２つの魚眼レンズ１６Ｂを備えるようにすれば、例えば、カメラ筐体の表裏両面にそれぞれ魚眼レンズを備えれば、３６０°撮影の指示に応じて前方１８０°撮影と後方１８０°撮影を同時に行うことができる。また、超広角レンズを使用して複数回の撮影を行って３６０°撮影を行うようにしてもよい。

上述した各実施形態においては、画像処理装置としてデジタルカメラに適用した場合を示したが、これに限らず、例えば、パーソナルコンピュータ、ＰＤＡ（個人向け携帯型情報通信機器）、タブレット端末装置、スマートフォンなどの携帯電話機、電子ゲーム、音楽プレイヤーなどであってもよい。

また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

また、上述した各実施形態においては、サムネイル画像として魚眼画像又は広角画像を表示するようにしたが、例えば、魚眼画像や広角画像の所定範囲の歪みを補正した画像など、これらの魚眼画像や広角画像に対応付けられている画像をサムネイル画像として表示するようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
広角で撮影された広角画像内に含まれている所定の被写体を認識してその被写体部分の画像を検出する検出手段と、
前記検出手段により検出された被写体部分の画像の歪を補正する補正手段と、
前記広角画像の少なくとも一部分の画像と前記補正手段により補正された前記被写体部分の画像とを関連付ける処理を行う処理手段と、
を備えることを特徴とする画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記補正手段は、前記広角画像の歪を更に補正し、
前記処理手段は、前記補正手段によって歪補正された広角画像の少なくとも一部分の画像と前記補正手段により補正された前記被写体部分の画像とを関連付ける処理を行う、
ことを特徴とする。
（請求項３）
請求項３に記載の発明は、請求項１に記載の画像処理装置において、
前記処理手段は、歪を有する前記広角画像の少なくとも一部分の画像と前記補正手段により補正された前記被写体部分の画像とを関連付ける処理を行う、
ことを特徴とする。
（請求項４）
請求項４に記載の発明は、請求項１乃至３の何れか１項に記載の画像処理装置において、
表示手段を更に備え、
前記処理手段は、前記広角画像の少なくとも一部分の画像を前記表示手段に表示させ、前記補正手段により補正された前記被写体部分の画像を前記表示手段に表示することで前記関連付ける処理を行う、
ことを特徴とする。
（請求項５）
請求項５に記載の発明は、請求項４に記載の画像処理装置において、
前記処理手段は、前記広角画像の少なくとも一部分の画像と、前記補正手段により補正された前記被写体部分の画像とを前記表示手段に同時に表示することで前記関連付ける処理を行う、
ことを特徴とする。
（請求項６）
請求項６に記載の発明は、請求項４又は５に記載の画像処理装置において、
前記広角画像の一部分として所定範囲内の画像を取得する取得手段を更に備え、
前記処理手段は、前記取得手段によって取得された所定範囲内の画像を前記表示手段に表示させ、前記検出手段によって検出された被写体部分の画像を前記表示手段に表示させることで、前記関連付ける処理を行う、
ことを特徴とする。
（請求項７）
請求項７に記載の発明は、請求項４乃至６の何れか１項に記載の画像処理装置において、
前記検出手段は、広角で撮影された広角画像内に含まれている所定の被写体を認識してその被写体部分の画像を検出し、
前記処理手段は、前記広角画像の少なくとも一部の画像を前記表示手段に表示させ、前記検出手段によって検出された被写体部分の画像を前記表示手段に一覧表示させることで前記関連付ける処理を行う
ことを特徴とする。
（請求項８）
請求項８に記載の発明は、請求項７に記載の画像処理装置において、
前記表示手段に前記被写体部分の画像が一覧表示されている状態において、その被写体部分の中から任意の被写体部分の画像をユーザ操作に応じて選択する第２の選択手段を更に備え、
前記処理手段は、前記第２の選択手段によって任意の被写体部分の画像が選択された際に、前記第２の選択手段によって選択された前記被写体部分に対応する、前記広角画像の少なくとも一部の画像を前記表示手段に表示することで前記関連付ける処理を行う、
ことを特徴とする。
（請求項９）
請求項９に記載の発明は、請求項７に記載の画像処理装置において、
前記補正手段は、前記第２の選択手段によって選択された被写体部分の画像を含む前記広角画像の所定範囲の歪みを更に補正し、
前記処理手段は、前記第２の選択手段によって任意の被写体部分の画像が選択された際に、前記補正手段によって補正された所定範囲の広角画像の補正画像を前記表示手段に表示することで前記関連付ける処理を行う、
ことを特徴とする。
（請求項１０）
請求項１０に記載の発明は、請求項７乃至９の何れか一項に記載の画像処理装置において、
前記処理手段は、前記被写体部分の画像が一覧表示されている状態から、前記広角画像の少なくとも一部の画像が表示されている状態になるように前記表示手段の表示を切り換えることで前記関連付ける処理を行う、
ことを特徴とする。
（請求項１１）
請求項１１に記載の発明は、請求項８又は９に記載の画像処理装置において、
前記処理手段は、前記被写体部分の画像が前記表示手段に一覧表示されている状態から、前記第２の選択手段によって選択された前記被写体部分に対応する、前記広角画像の少なくとも一部の画像が前記表示手段に表示されている状態になるように前記表示手段の表示を切り換えることで前記関連付ける処理を行う、
ことを特徴とする。
（請求項１２）
請求項１２に記載の発明は、請求項７乃至１１の何れか１項に記載の画像処理装置において、
前記検出手段は、広角で撮影された広角画像内に含まれている所定の被写体を複数認識してその被写体部分の画像をその被写体毎に検出し、
前記処理手段は、前記検出手段によって検出された各被写体部分の画像を前記表示手段に一覧表示させる際に、前記広角画像上の各被写体の配列順序に応じてその順序どおりに並べて一覧表示させる、
ことを特徴とする。
（請求項１３）
請求項１３に記載の発明は、請求項６又は９に記載の画像処理装置において、
前記所定範囲をユーザ操作によって任意に移動させる移動指示手段を更に備え、
前記取得手段は、前記移動指示手段によって移動される所定範囲内の画像を取得する、
ことを特徴とする。
（請求項１４）
請求項１４に記載の発明は、請求項４乃至１３の何れか１項に記載の画像処理装置において、
前記表示手段に前記広角画像又は前記広角画像に対応する対応画像がサムネイル画像として一覧表示されている状態においてそのサムネイル画像の中から任意の広角画像又は対応画像をユーザ操作に応じて選択する第１の選択手段を更に備え、
前記検出手段は、前記第１の選択手段によって選択された広角画像又は対応画像内に含まれている所定の被写体を認識してその被写体部分の画像を検出し、
前記処理手段は、前記第１の選択手段によって任意の広角画像又は対応画像が選択された際に、前記検出手段によって検出された被写体部分の画像であって前記補正手段により補正された画像を前記表示手段に一覧表示する、
ことを特徴とする。
（請求項１５）
請求項に記載の発明は、請求項４乃至１４の何れか１項に記載の画像処理装置において、
前記広角画像又は前記広角画像に対応する対応画像がサムネイル画像として一覧表示されている状態においてそのサムネイル画像の中から任意の広角画像又は対応画像をユーザ操作に応じて選択する第1の選択手段を更に備え、
前記処理手段は、前記第１の選択手段によって任意の広角画像又は対応画像が選択された際に、その広角画像又は対応する広角画像と前記補正手段により補正された前記被写体部分の画像とを前記表示手段に同時に表示させることで前記関連付ける処理を行う、
ことを特徴とする。
（請求項１６）
請求項に記載の発明は、請求項４乃至１５の何れか１項に記載の画像処理装置において、
前記検出手段は、撮影方向を変えて撮影された複数の広角画像を組とする広角画像群の中に含まれている全ての所定の被写体を認識してその被写体部分の画像をその被写体毎に検出し、
前記処理手段は、前記広角画像群の中の何れかの広角画像がサムネイル表示されている場合に、前記検出手段によって検出された当該広角画像群内に含まれている全ての被写体部分の画像であって前記補正手段により補正された画像を、前記サムネイル表示されている広角画像に対応付けて表示させる、
ことを特徴とする。
（請求項１７）
請求項に記載の発明は、請求項１乃至１６の何れか１項に記載の画像処理装置において、
前記検出手段は、撮影方向を変えて撮影された複数の広角画像を組とする広角画像群の中に含まれている全ての所定の被写体を認識してその被写体部分の画像をその被写体毎に検出する、
ことを特徴とする。
（請求項１８）
請求項に記載の発明は、請求項１７に記載の画像処理装置において、
撮影方向を変えて撮影された複数の広角画像を組とする広角画像群の中から一つの広角画像を指定する指定手段を更に備え、
前記処理手段は、前記指定手段によって指定された広角画像と、前記検出手段によって広角画像群の中から検出された全ての被写体部分の画像と、を関連付ける処理を行う、
ことを特徴とする。
（請求項１９）
請求項１９に記載の発明は、請求項１乃至１８の何れか１項に記載の画像処理装置において、
前記処理手段は、前記広角画像と前記検出手段によって検出された前記被写体部分の画像とを対応付けて記録保存する処理を行う、
ことを特徴とする。
（請求項２０）
請求項２０に記載の発明は、請求項１乃至１９の何れか１項に記載の画像処理装置において、
前記広角画像は、魚眼レンズを使用して撮影された魚眼画像である、
ことを特徴とする。
（請求項２１）
請求項２１に記載の発明は、
画像処理装置における画像処理方法であって、
広角で撮影された広角画像内に含まれている所定の被写体を認識してその被写体部分の画像を検出する処理と、
前記検出された被写体部分の画像の歪を補正する処理と、
前記広角画像の少なくとも一部分の画像と前記補正された前記被写体部分の画像とを関連付ける処理と、
を含むことを特徴とする。
（請求項２２）
請求項２２に記載の発明は、
画像処理装置のコンピュータに対して、
広角で撮影された広角画像内に含まれている所定の被写体を認識してその被写体部分の画像を検出する機能と、
前記検出された被写体部分の画像の歪を補正する機能と、
前記広角画像の少なくとも一部分の画像と前記補正された前記被写体部分の画像とを関連付ける機能と、
を実現させるためのプログラムである。

１０ 撮像装置
２０ 本体装置
１１、２１ 制御部
１３、２３ 記憶部
２３Ａ プログラムメモリ
２３Ｃ 画像管理テーブル
１４、２４ 通信部
１６ 撮像部
１６Ｂ 魚眼レンズ
１６Ｃ 撮像素子
２５ 操作部
２６ タッチ表示部

Claims (12)

1. 広角で撮影された広角画像内に含まれている複数の被写体の画像を検出する検出手段と、
   前記広角画像と前記検出手段によって検出された複数の被写体の画像とを関連付ける処理を行う処理手段と、
   前記処理手段によって関連付ける処理がされた前記広角画像と前記複数の被写体の画像とを一覧表示するように表示手段を制御する第１の表示制御手段と、
   前記第１の表示制御手段によって前記複数の被写体の画像が一覧表示されている状態において、前記複数の被写体の画像の中から任意の被写体の画像をユーザ操作に応じて選択する第１の選択手段と、
   前記第１の選択手段によって任意の被写体の画像が選択されると、選択された任意の被写体の画像を含む前記広角画像の一部の画像を前記表示手段に表示するよう制御する第２の表示制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記第１の選択手段によって選択された被写体の画像を含む広角画像の一部の画像の歪みを補正する補正手段を更に備え、
   前記第２の表示制御手段は、前記補正手段によって補正された広角画像の一部の画像を前記表示手段に表示するよう制御する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段は、前記広角画像内に含まれている複数の被写体を認識して、その被写体部分の画像をその被写体毎に検出し、
   前記第１の表示制御手段は、前記検出手段によって検出された各被写体の画像を前記表示手段に一覧表示させる際に、前記広角画像上の各被写体の配列順序に応じてその順序どおりに並べて一覧表示させる、
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記広角で撮影された広角画像から所定の範囲の画像を取得する取得手段を更に備え、
   前記検出手段は、前記取得手段によって取得された所定の範囲の画像から複数の被写体の画像を検出する、
   ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記取得手段が取得するべき所定の範囲の画像を、ユーザ操作によって任意に移動させる移動指示手段を更に備えることを特徴とする請求項４に記載の画像処理装置。
6. 複数の前記広角画像をサムネイル画像として前記表示手段に一覧表示するよう制御する第３の表示制御手段と、
   前記第３の表示制御手段によって一覧表示されている状態において前記サムネイル画像の中から任意のサムネイル画像をユーザ操作に応じて選択する第２の選択手段と、
   前記第２の選択手段によって任意のサムネイル画像が選択されると、選択された任意のサムネイル画像に対応する広角画像に関連付けられた前記複数の被写体の画像を一覧表示するように前記表示手段を制御する第４の表示制御手段と、
   を更に備えることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
   
7. 前記第１の表示制御手段は、前記処理手段によって関連付ける処理がされた前記広角画像と一覧表示されるべき複数の被写体の画像とを含んだ画像をサムネイル画像として一覧表示し、
   前記第１の選択手段は、前記第１の表示制御手段によって一覧表示されたサムネイル画像のうち、特定のサムネイル画像に含まれる前記複数の被写体の画像の中から任意の被写体の画像をユーザ操作に応じて選択する、
   ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
8. 前記検出手段は、前記広角画像に替えて、撮影方向を変えて撮影された複数の広角画像を組とする広角画像群に含まれている複数の被写体の画像を検出する、
   ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記処理手段は、更に、前記広角画像と前記検出手段によって検出された前記被写体の画像とを対応付けて記録保存する処理を行う、
   ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記広角画像は、魚眼レンズを使用して撮影された魚眼画像である、
    ことを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 画像処理装置における画像処理方法であって、
    広角で撮影された広角画像内に含まれている複数の被写体の画像を検出する処理と、
    前記広角画像と前記検出された複数の被写体の画像とを関連付ける処理と、
    前記関連付ける処理がされた前記広角画像と前記複数の被写体の画像とを一覧表示するように表示手段を制御する処理と、
    前記複数の被写体の画像が一覧表示されている状態において、前記複数の被写体の画像の中から任意の被写体の画像をユーザ操作に応じて選択する処理と、
    任意の被写体の画像が選択されると、選択された任意の被写体の画像を含む前記広角画像の一部の画像を前記表示手段に表示するよう制御する処理と、
    を含むことを特徴とする画像処理方法。
12. 画像処理装置のコンピュータを、
    広角で撮影された広角画像内に含まれている複数の被写体の画像を検出する検出手段、
    前記広角画像と前記検出手段によって検出された複数の被写体の画像とを関連付ける処理を行う処理手段、
    前記処理手段によって関連付ける処理がされた前記広角画像と前記複数の被写体の画像とを一覧表示するように表示手段を制御する第１の表示制御手段、
    前記第１の表示制御手段によって前記複数の被写体の画像が一覧表示されている状態において、前記複数の被写体の画像の中から任意の被写体の画像をユーザ操作に応じて選択する選択手段、
    前記選択手段によって任意の被写体の画像が選択されると、選択された任意の被写体の画像を含む前記広角画像の一部の画像を前記表示手段に表示するよう制御する第２の表示制御手段、
    として機能させることを特徴とするプログラム。

Images