JP6627352B2 - 画像表示装置、画像表示方法及びプログラム - Google Patents

Description

本発明は、魚眼レンズを用いて撮像された魚眼画像の歪を補正して表示する画像表示装置、画像表示方法及びプログラムに関する。

デジタルスチルカメラなどの撮像装置に採用されている魚眼レンズは、例えば、画角が略１８０゜という広範囲な撮像が可能であるが、射影方式が採用されているために魚眼レンズで撮像された画像（魚眼画像）は、その中心部から端部（周辺部）の方に向かうほど、大きく歪んだものとなるという特徴を有している。このような魚眼レンズを使用して撮像された魚眼画像を表示する技術としては、例えば、魚眼画像内から所定領域内の画像を切り出し、その切り出した領域内の画像に対して歪曲を補正する処理を施すことにより歪のない画像（補正画像）をユーザに提供するようにした画像処理装置が開示されている（特許文献１参照）。

実用新案登録第３０６６５９４号公報

上述した特許文献の技術によれば、魚眼レンズを使用して広範囲な撮像を行った場合でもその一部分から切り出した領域内の画像については歪のない画像を得ることが可能であるが、魚眼レンズで撮影された画像（魚眼画像）から所定領域内の画像を切り出す際に、その切り出し方によっては、補正された画像の天地方向が異なってしまうことがある。

本発明の課題は、魚眼画像内からその一部分を切り出して歪補正した画像を表示する場合に、ユーザにあっては、その切り出した画像の天地方向を正確に確認できるようにすることである。

上述した課題を解決するために本発明は、
魚眼レンズを用いて撮像された魚眼画像内からその一部分を切り出し領域として画像を切り出す切出手段と、
前記切出手段によって切り出された画像の歪を補正する補正手段と、
前記補正手段によって補正された補正画像を表示する表示手段と、
前記切出手段によって切り出されて前記補正手段によって補正された補正画像の天地方向を、前記魚眼画像の撮像時の姿勢情報に基づいて特定する特定手段と、
前記表示手段に前記補正画像を表示させる際に、前記特定手段によって特定された天地方向に基づいて、前記補正画像を表示させる制御を行う表示制御手段と、
を備え、
前記表示制御手段は、前記特定手段によって特定された補正画像の天地方向のうち地面方向が前記魚眼画像の外側に向くように前記補正画像の表示向きを制御することを特徴とする。

本発明によれば、魚眼画像内からその一部分を切り出して歪補正した画像を表示する場合に、ユーザにあっては、その切り出した画像の天地方向を正確に確認することができる。

（１）は、画像表示装置として適用したデジタルカメラを構成する撮像装置１０と本体装置２０とを一体的に組合せた状態を表す外観図、（２）は、撮像装置１０と本体装置２０とを分離した状態を表す外観図。 （１）は、撮像装置１０の構成を示すブロック図、（２）は、本体装置２０の構成を示すブロック図。 （１）〜（３）は、撮像装置１０の各種の姿勢を説明するための図、（４）は、（３）で示した撮像装置１０の姿勢（カメラ向き）で撮像した魚眼画像と、撮像時の地面方向との関係を示した図。 （１）は、魚眼レンズ１６Ｂによって撮像された画像（魚眼画像）を例示した図、（２）は、魚眼画像をタッチ表示部２６に表示している状態において、この魚眼画像上の所望する任意の位置がタッチされた場合を示した図。 切り出し領域内の画像に対して歪補正を施した後の補正画像が表示された状態を例示した図。 再生モードに切り替えられた際に実行開始される動作を示したフローチャート。 タッチ位置に基づいて、魚眼画像上の切り出し領域を特定する処理（図５のステップＡ７）を詳述するためのフローチャート。 撮像時のカメラ向きを認識して切り出し領域内の画像を切り出す処理（図５のステップＡ８）を詳述するためのフローチャート。 表示処理（図６のステップＡ１１）を詳述するためのフローチャート。 （１）、（２）は、切り出し領域を特定する処理を具体的に説明するための図。 表示形式テーブル２３Ｃを説明するための図。 （１）は、表示形式Ａによる表示例、（２）は、表示形式Ｂによる表示例、（３）は、表示形式Ｃによる表示例を示した図。

以下、図１〜図１２を参照して本発明の実施形態を説明する。
本実施形態は、画像表示装置としてデジタルカメラに適用した場合を例示したもので、このデジタルカメラは、後述する撮像部を備える撮像装置１０と、後述する表示部を備える本体装置２０とに分離可能なセパレート型デジタルカメラである。図１（１）は、撮像装置１０と本体装置２０とを一体的に組合せた状態を示し、図１（２）は、撮像装置１０と本体装置２０とを分離した状態を示した図である。このセパレート型デジタルカメラを構成する撮像装置１０と本体装置２０とは、それぞれが利用可能な無線通信を用いてペアリング（無線接続認識）が可能なもので、無線通信としては、無線ＬＡＮ（Ｗｉ−Ｆｉ）又はＢｌｕｅｔｏｏｔｈ（登録商標）を使用している。本体装置２０側では、撮像装置１０側で撮像された画像を受信取得して、この撮像画像（ライブビュー画像）を表示するようにしている。

図２（１）は、撮像装置１０の構成を示すブロック図であり、図２（２）は、本体装置２０の構成を示すブロック図である。
図２（１）において、撮像装置１０は、制御部１１、電源部１２、記憶部１３、通信部１４、操作部１５、撮像部１６、姿勢検出部１７を備えている。制御部１１は、電源部（二次電池）１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこの撮像装置１０の全体動作を制御するもので、この制御部１１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されている。通信部１４は、撮像した画像を本体装置２０側に送信したり、本体装置２０からの操作指示信号などを受信したりする。操作部１５は、電源スイッチなどの基本的な操作キー（ハードウェアキー）を備えている。

撮像部１６は、被写体を高精細に撮影可能なカメラ部を構成するもので、この撮像部１６のレンズユニット１６Ａには、魚眼レンズ１６Ｂ、撮像素子１６Ｃなどが設けられている。なお、本実施形態のカメラは、通常の撮像レンズ（図示省略）と魚眼レンズ１６Ｂとが交換可能なもので、図示の例は、通常の撮像レンズ（図示省略）に代わって魚眼レンズ１６Ｂを装着した状態を示している。この魚眼レンズ１６Ｂは、例えば、３枚構成のレンズ系からなり、画角が略１８０゜という広範囲な撮像が可能な円周魚眼レンズ（全周魚眼レンズ）であり、この魚眼レンズ１６Ｂによって撮像されたか画像の全体は、円形の画像となる。

この場合、射影方式を採用しているために、魚眼レンズ１６Ｂで撮像された画像（魚眼画像）は、その中心から端部に向かうほど、大きく歪んだものとなる。この魚眼レンズ１６Ｂからの被写体像（光学像）が撮像素子（例えば、ＣＭＯＳ又はＣＣＤ）１６Ｃに結像されると、撮像素子１６Ｃによって光電変換された画像信号（アナログ値の信号）は、図示省略のＡ／Ｄ変換部によってデジタル信号（画像信号）に変換されると共に、所定の画像表示処理が施された後、本体装置２０側に送信されてモニタ表示される。

姿勢検出部１７は、撮像装置１０に加わる加速度を検出するピエゾ抵抗型、或いは静電容量検出型などの３軸加速度センサで、互いに直交する３軸方向（Ｘ・Ｙ・Ｚ方向）の重力加速度を検出し、撮像装置１０の姿勢に応じて検出されたＸ・Ｙ・Ｚ方向の各加速度成分を制御部１１に与える。制御部１１は、姿勢検出部１７から出力される加速度成分を示す信号に基づいて、撮像装置１０の各種の姿勢（後述する）を検出する。姿勢検出部１７は、検出した重力方向、又は重力方向に対して所定角度範囲内の方向を天地方向として検出するが、その際、例えば、重力方向をマイナス方向とする、すなわち、マイナス方向を地面方向とする。なお、上述の所定角度は地面の傾斜を考慮したもので、ユーザ操作によって任意に変更可能としてもよい。

図２（２）において、本体装置２０は、魚眼レンズなどを使用して撮像された画像を再生する再生機能を有し、制御部２１、電源部２２、記憶部２３、通信部２４、操作部２５、タッチ表示部２６、姿勢検出部２７を備えている。制御部２１は、電源部（二次電池）２２からの電力供給によって動作し、記憶部２３内の各種のプログラムに応じてこの本体装置２０の全体動作を制御するもので、この制御部２１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部２３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ２３Ａ、この本体装置２０が動作するために必要となる各種の情報（例えば、フラグなど）を一時的に記憶するワークメモリ２３Ｂと、後述する表示形式テーブル２３Ｃなどを有している。

なお、記憶部２３は、例えば、魚眼画像などを記録保存するＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。通信部２４は、撮像装置１０との間で各種データを送受信を行う。操作部２５は、電源ボタン、レリーズボタンタン、露出やシャッタスピードなどの撮影条件を設定する設定ボタンなど、押しボタン式の各種のキーを備えたもので、制御部２１は、この操作部２５からの入力操作信号に応じた処理を実行したり、入力操作信号を撮像装置１０に対して送信したりする。

タッチ表示部２６は、高精細液晶などのディスプレイ２６Ａ上にタッチパネル２６Ｂを積層配置した構成で、各種のソフトウェアキー（タッチキー）を割り当て配置してその機能名を表示したり、指などによるタッチ操作を感知してそのタッチ位置に応じた操作信号を入力したりする。タッチ表示部２６の表示画面は、魚眼レンズ１６Ｂによって撮像された画像（魚眼画像）などをリアルタイムに表示するモニタ画面（ライブビュー画面）となったり、撮影済み画像（魚眼画像）などを再生する再生画面となったりする。姿勢検出部２７は、本体装置２０に加わる加速度を検出する３軸加速度センサで、互いに直交する３軸方向（Ｘ・Ｙ・Ｚ方向）の重力加速度を検出し、本体装置２０の姿勢に応じて検出されたＸ・Ｙ・Ｚ方向の各加速度成分を制御部２１に与える。制御部２１は、姿勢検出部２７から出力される加速度成分を示す信号に基づいて、本体装置２０の各種の向き（タッチ表示部２６を構成する画面の各種の向き）を検出する。

図３は、撮像装置１０の姿勢を説明するための図である。
撮像装置１０は、例えば、その全体が箱型を成し、その正面中央部に魚眼レンズ１６Ｂを配置した構成となっている。図３（１）は、カメラの正面方向（魚眼レンズ１６Ｂの光軸方向）を天に向けた状態、つまり、魚眼レンズ１６Ｂの光軸方向が重力方向に対して略逆方向となるようにして撮像した場合（水平撮りを行った場合）を示し、（２）は、魚眼レンズ１６Ｂの光軸方向が重力方向に対して略直交する状態、つまり、カメラが地面に対して略垂直となるようにして撮像した場合（垂直撮りを行った場合）を示し、更に、図中、破線で示した半球は、画角が略１８０゜という魚眼レンズ１６Ｂの撮像範囲を示している。

図３（３）は、垂直撮りを行った場合の撮像装置１０の向き（カメラ向き）を示し、図示の例は、その下面ａが地面方向となった場合のカメラの向き、右側面ｂが地面方向となった場合のカメラの向き、左側面ｃが地面方向となった場合のカメラの向き、上面ｄが地面方向となった場合のカメラの向きを示している。図３（４）は、図３（３）で示した各カメラ向きで撮像した魚眼画像と地面方向との関係を示した図である。なお、図中、各矢印方向は、各撮像装置１０の向きに応じた地面方向を示している。例えば、垂直撮りを行った場合のカメラの下面がaで地面方向となった場合（図３（３）のカメラ向きにおいて、地面方向がaの場合）、図３（４）の魚眼画像におけるａの方向が地面方向となる。撮像装置１０の制御部１１は、撮像時に、姿勢検出部１７の検出結果に基づいて撮像装置１０の姿勢として、図３（１）の水平撮り（水平置き）、図３（２）の垂直撮り（垂直置き）、図３（３）の各カメラ向きａ〜ｄを検出する。このカメラの姿勢情報は、本体装置２０側で撮像された画像を記録保存する際に、つまり、撮像された画像に対して所定の画像処理（現像処理など）を施して、撮影画像を生成して記録保存する際に、撮像時のカメラの姿勢情報がその撮影画像に付加して記録保存するようにしている。

図４（１）は、魚眼レンズ１６Ｂによって撮像された画像（魚眼画像）を例示した図で、本体装置２０側のタッチ表示部２６の再生画面に表示された状態を示している。
この魚眼画像は、図３（１）に示したような水平撮りで撮像した画像を示し、図示の例は、ビルディングが建ち並ぶ街中で空に向かってそのビル群を撮像した場合を示している。この場合、魚眼レンズ１６Ｂとしては、その画角が略１８０゜という広範囲な撮像が可能な円周魚眼レンズを採用しているために魚眼画像（特徴的な歪を持つ魚眼画像）の全体は、円形の画像となる。

図４（２）は、図４（１）の魚眼画像がタッチ表示部２６の再生画面に表示されている状態において、ユーザの所望する任意の位置（魚眼画像上の任意の位置）を指などでタッチした場合を示した図である。
図４（１）に示すように魚眼画像の中心部から離れた周辺部（端部）は、広範囲に撮像されて大きく歪んでいると共に、魚眼画像の中心部に比べてその周辺部は縮小された画像となるために、ユーザがその周辺部の内容を詳細に目視確認しょうとしてもその確認は極めて困難なものとなる。

このような場合、ユーザは、魚眼画像上の任意の位置（詳細を確認したい位置）を指などでタッチすると、例えば、図４（２）に示すように、ユーザは魚眼画像の中心部から離れた周辺部上の任意の位置を指などでタッチすると、制御部１は、このタッチ位置を含む領域（例えば、略台形）を切り出し領域として特定し、この切り出し領域内の画像に対して歪補正を施すようにしている。なお、「切り出し領域」とは、魚眼画像内からその一部分の画像を表示対象として読み出す範囲（読み出し領域、又は読み取り領域）を示しているが、魚眼画像内からその領域内の画像を抜き出す（抽出する）範囲であってもよい（以下、同様）。

図５は、図３（１）に示したように水平撮りで撮像した魚眼画像内から切り出した画像に対して歪補正を施した後の補正画像を例示した図で、図４（１）に示した魚眼画像の全体表示に切り替えて、この補正画像を拡大表示した場合である。なお、図示の例は、補正後の画像（補正画像）の拡大表示によって、魚眼画像の全体表示では目視確認が困難であったビル名（ＡＢ）までも鮮明に目視確認することが可能となった場合を示している。

魚眼画像の歪曲を補正する処理として本実施形態においては、例えば、仮想球面モデル上の任意の点で接する平面をスクリーンとして、仮想球面モデル上の点を平面スクリーン上の点に座標変換することにより魚眼画像の歪を補正する技術を用いるようにしているが、この魚眼画像の歪を補正する処理（魚眼歪補正処理）は、画像処理において一般的に用いられている周知技術を利用するようにしているため、その具体的な説明については省略するものとする。このような魚眼歪補正処理は、上述した技術に限らず、任意である。

補正画像内には、地面方向を示す地面マーク（▽）が付加表示される。ここで、魚眼画像を図３（１）に示したように水平撮りした場合、その魚眼画像内から切り出した画像の地面方向は、魚眼画像の中心からその端に向かう方向となる。すなわち、魚眼画像の撮像時の地面方向に拘らず、魚眼画像の中心からその端に向かう方向が切り出した画像の地面方向となるので、補正画像内には、この方向に地面マーク（▽）が付加される。

次に、本実施形態におけるデジタルカメラの動作概念を図６〜図９に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図６は、デジタルカメラの全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図６のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

ここで、本体装置２０側の特徴的な動作を説明する前に、撮像時における撮像装置１０と本体装置２０との間での送受信動作について簡単に説明しておくものとする。
本体装置２０側から撮像装置１０に対して撮影指示が送信されると、撮像装置１０は、その撮影指示に応答して撮像した画像を本体装置２０側に送信するが、その際、撮像装置１０側では、撮像時に姿勢検出部１７によって検出されたカメラの姿勢情報をその撮像画像に付加して送信する。本体装置２０側では、撮像装置１０から姿勢情報付の撮像画像を受信すると、その撮像画像に対して現像処理を行って撮影画像を生成すると共に、画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部２３の記録メディアに記録保存させる。

図６は、再生モードに切り替えられた際に実行開始される動作を示したフローチャートである。
先ず、本体装置２０の制御部２１は、魚眼レンズ１６Ｂなどによって撮像されて記録保存されている各種の画像（保存画像）の一覧をメニュー表示させ、その一覧表示（メニュー表示）の中から所望する画像（例えば、魚眼画像）が表示対象としてユーザ操作によって選択されると（ステップＡ１）、その選択画像（魚眼画像）をタッチ表示部２６の再生画面に表示させる（ステップＡ２）。この状態において、制御部２１は、表示されている選択画像（魚眼画像）上へのタッチ有無を調べたり（ステップＡ３）、再生終了が指示されたか（再生モードを解除する操作が行われたか）を調べたり（ステップＡ４）、選択画像（魚眼画像）の切り替えを指示する切替操作が行われたかを調べたりする（ステップＡ５）。

ここで、再生終了が指示された場合には（ステップＡ４でＹＥＳ）、図６のフローから抜けるが、魚眼画像の切替操作が行われた場合には（ステップＡ５でＹＥＳ）、最初のステップＡ１に戻る。なお、タッチ操作、再生終了を指示する操作、魚眼画像の切り替えを指示する操作のいずれも行われなければ（ステップＡ３〜Ａ５でＮＯ）、上述のステップＡ３に戻り、その操作待ち状態となる。いま、魚眼画像内からその一部分の画像を任意に切り出すために魚眼画像上の任意の位置がタッチされた場合には（ステップＡ３でＹＥＳ）、タッチパネル２６Ｂ上のタッチ位置を特定すると共に（ステップＡ６）、この特定したタッチ位置に基づいて、魚眼画像上の切り出し領域を特定する処理を行う（ステップＡ７）。

図７は、タッチ位置に基づいて、切り出し領域を特定する処理（図５のステップＡ７）を詳述するためのフローチャートである。図１０（１）は、図４（１）に示したように魚眼レンズ１６Ｂを用いて水平撮りが行われた場合に、その撮像された魚眼画像内から切り出し領域を特定するために描画した３種類の仮想線を示し、（２）は、その３種類の仮想線から特定される切り出し領域を示した図である。
先ず、制御部２１は、タッチ位置に基づいてタッチ位置と魚眼画像の中心点とを結ぶ線分を第１の仮想線（直線）として描画する（ステップＢ１）。次に、魚眼画像上に一対の第２の仮想線（直線）を描画する（ステップＢ２）。つまり、魚眼画像の中心点を三角形の頂点とすると共にその頂角（θ）を第１の仮想線を中線として二分する一対の辺を第２の仮想線として描画する。更に、魚眼画像上に一対の第３の仮想線（外側にやや膨む曲線）を描画する（ステップＢ３）。つまり、タッチ位置を境にして魚眼画像の中心方向とその逆方向に所定距離（１／２Ｈ）を隔てた一対の線分（外側にやや膨む曲線）を第３の仮想線として描画する。そして、一対の第２の仮想線と第３の仮想線との交点Ａ、Ｂ、Ｃ、Ｄを結ぶ略台形の領域を切り出し領域として特定する（ステップＢ４）。

魚眼画像はその中心から離れる（端部の方に向かう）にしたがって撮影範囲が広がりるなどの特徴を有しているために、切り出し領域を台形又は略台形として、その上底を魚眼画像の中心側に、下底を魚眼画像の端部側に向けることにより台形歪補正により長方形の画像に変換した際に、台形の下底部分に相当する画像部分で画素成分が足りなくなることを防ぐことができる。

このようにして切り出し領域を特定する処理（図６のステップＡ７）が終ると、次のステップＡ８に移り、撮像時のカメラの姿勢情報を認識して、切り出し領域内の画像を切り出す処理（後述の図８に示す処理）を行った後、その切り出し領域内の画像に対して、台形歪補正処理（射影変換処理）を行う（ステップＡ９）。この台形歪補正処理は、切り出し領域が台形の場合に限らず、略台形に近い長方形の場合でも行うようにしている。なお、台形歪補正処理としては、画像処理において一般的に用いられている周知技術を利用するようにしているため、その具体的な説明については省略するものとする。更に、魚眼画像の歪を補正する処理を行う（ステップＡ１０）。なお、この魚眼歪補正処理は、上述したとおり、仮想球面モデル上の任意の点で接する平面をスクリーンとして座標変換を行う。そして、魚眼画像とその補正画像とを表示する処理（後述の図９に示す処理）に移る（ステップＡ１１）。

図８は、撮像時のカメラ向きを認識して、切り出し領域内の画像を切り出す処理（図６のステップＡ８）を詳述するためのフローチャートである。
先ず、制御部２１は、選択画像（魚眼画像）がタッチ表示部２６の再生画面に表示されている状態において、予めその魚眼画像に付加されている撮像時におけるカメラの姿勢情報を読み出し（ステップＣ１）、この姿勢情報に基づいて、水平撮りしたことを検出したか、垂直撮りしたことを検出したかを調べ（ステップＣ２）、魚眼画像を垂直撮りした場合には（ステップＣ１で垂直撮り）、特定した切り出し領域（略台形領域）内から画像を切り出すと共に（ステップＣ３）、そのカメラ向きａ〜ｄの方向を地面方向として特定する（ステップＣ４）。

一方、カメラの姿勢情報に基づいて、魚眼画像を水平撮りしたことを検出した場合には（ステップＣ１で水平撮り）、特定した切り出し領域（略台形領域）内から画像を切り出すと共に（ステップＣ５）、その切り出した画像の地面方向として、魚眼画像の中心からその端部に向かう方向を特定する（ステップＣ６）。すなわち、魚眼画像の撮像時の地面方向に拘らず、魚眼画像の中心からその端部に向かう方向を切り出した画像の地面方向として特定する。そして、この切り出した画像を特定した地面方向に回転する処理を行う（ステップＣ７）。なお、垂直撮りか水平撮りかを検出する際は、その魚眼画像に付加されている姿勢情報（加速度センサーの測定値）がある所定の閾値を越えたか否かによって垂直撮りか水平撮りかを判定するようにすれば良いし、そのほかの方法で検出しても、勿論よい。

図９は、表示処理（図６のステップＡ１１）を詳述するためのフローチャートである。
先ず、制御部２１は、魚眼画像に付加されているカメラの姿勢情報を読み出し（ステップＤ１）、この姿勢情報に基づいて補正画像の地面方向を特定する（ステップＤ２）。すなわち、カメラの姿勢情報が“水平撮り”であれば、補正画像の地面方向として魚眼画像の外側方向（中心から離れた方向）を特定する。また、カメラの姿勢情報が“垂直撮り”でそのカメラ向きがａ〜ｄであれば、その向きａ〜ｄを補正画像の地面方向として特定する。そして、補正画像上に地面方向を示す地面マーク（▽印）を付加する（ステップＤ３）。そして、制御部２１は、表示形式テーブル２３Ｃを参照して、切り出し領域内の画像（補正後の画像）の表示形式を判別する（ステップＤ４）。

図１１は、表示形式テーブル２３Ｃを説明するための図で、魚眼画像内の一部分の画像を切り出して歪補正を施した後の補正画像を表示する場合に、魚眼画像内のどの部分（位置）を切り出したのかを表示するための表示形式を複数記憶する構成で、「表示形式」、「内容」、「選択フラグ」の各項目を有している。「表示形式」は、表示形式の種類を示すもので、図示の例は３種類の表示形式として“Ａ”、“Ｂ”、“Ｃ”を記憶した場合である。「内容」は、対応する表示形式の内容を示すもので、表示形式“Ａ”は、魚眼画像と補正画像とを切り替え表示する形式、表示形式“Ｂ”は、補正画像の一部に魚眼画像を重畳して表示する形式、表示形式“Ｃ”は、魚眼画像上の切り出し領域の位置に補正画像を重畳して表示する形式を示している。

「選択フラグ」は、３種類の表示形式のうち、予めユーザが任意に選択指定した表示方式であることを示すもので、図中、表示形式“Ｂ”に対応して付した“１（フラグオン）”は、ユーザ操作によって選択された表示方式であることを示し、“０（フラグオフ）”は、選択されていない表示方式であることを示している。この場合、制御部２１は、予め決められている複数の表示形式をタッチ表示部２６上に一覧表示（メニュー表示）している状態において、そのメニュー画面の中から任意の表示形式がタッチ（選択）されると、表示形式テーブル２３Ｃをアクセスし、その選択された表示形式に対応する「選択フラグ」をオン（“１”）するようにしている。

いま、表示形式“Ａ”がユーザ選択（選択フラグがオン）されている場合には（ステップＤ１）、切替操作が行われる毎に、制御部２１は、魚眼画像と、地面マーク（▽印）付の補正画像とをタッチ表示部２６の再生画面に切り替え表示させる（ステップＤ５）。この場合、魚眼画像又は補正画像の地面方向を再生画面の下方向に合わせて魚眼画像と補正画像とを切り替え表示させる。図１２（１）は、表示形式Ａによる切り替え表示の例を示した図である。この場合、切り出し領域内の画像（補正画像）は、再生画面の全体に拡大表示されるので、ユーザにあっては、その詳細部分までも確認することが可能となると共に地面マーク（▽印）の付加によって地面方向を容易に確認することが可能となる。

表示形式“Ｂ”がユーザ選択（選択フラグがオン）されている場合には（ステップＤ１）、地面マーク（▽印）付きの補正画像を再生画面の全体に拡大表示させた状態において、制御部２１は、その再生画面（補正画像）の隅部に、魚眼画像を所定サイズに縮小した画像を重畳して同時表示させる（ステップＤ６）。この場合、魚眼画像又は補正画像の地面方向を再生画面の下方向に合わせる。図１２（２）は、表示形式Ｂによる同時表示の例を示した図である。ユーザにあっては、補正画像をその詳細部分までも確認可能となると共に地面マーク（▽印）の付加によって地面方向を容易に確認することが可能となる。

表示形式“Ｃ”がユーザ選択（選択フラグがオン）されている場合には（ステップＤ１）、魚眼画像上の切り出し領域の位置に補正画像を重畳して表示させる（ステップＤ７）。この場合、切り出し領域内の画像（補正画像）は、例えば、魚眼画像の全体の１／８、又は１／１２程度のサイズに変更されると共に、その補正画像の中心をタッチ位置に合わせ、かつ、補正画像の地面方向を魚眼画像の外側方向（魚眼画像の中心から切り出し領域の中心を結ぶ線上において魚眼画像の中心から離れる方向）となるように魚眼画像を重畳表示される。図１２（３）は、表示形式Ｃによる同時表示の状態を例示した図で、制御部２１は、補正画像の地面方向が魚眼画像の外側に向くようにその表示向きを制御する。これによってユーザにあっては、魚眼画像上に重畳表示された補正画像によって魚眼画像上のどの部分（位置）が切り出されたのかを確認することが可能となり、更に補正画像を同時に確認することが可能となると共に地面マーク（▽印）の付加によって地面方向を同時に確認することが可能となる。

このようにして表示処理（図５のステップＡ１１）が終ると、再生終了が指示されたか（再生モードを解除する操作が行われたか）を調べたり（ステップＡ１２）、選択画像（魚眼画像）の切り替えを指示する切替操作が行われたかを調べたりする（ステップＡ１３）。ここで、再生終了が指示された場合には（ステップＡ１２でＹＥＳ）、図６のフローから抜けるが、画像の切替操作が行われた場合には（ステップＡ１３でＹＥＳ）、最初のステップＡ１に戻り、以下、上述の動作を繰り返す。

以上のように、本実施形態において本体装置２０の制御部２１は、撮像装置１０の魚眼レンズ１６Ｂを用いて撮像された画像（魚眼画像）内からその一部分の画像を表示対象として切り出してその切り出し領域内の画像に対して歪補正を施して表示する場合に、補正画像の天地方向を、魚眼画像に付加されている撮像時の姿勢情報に基づいて特定し、補正画像を表示させる際に、特定した天地方向に基づいて、その補正画像をタッチ表示部２６に回転して表示させるようにしたので、魚眼画像内からその一部分を切り出して歪補正した画像を表示する場合に、ユーザにあっては、どのような切り出し方を行ったとしてもその切り出した画像の天地方向を正確に確認することができる。

本体装置２０の制御部２１は、魚眼レンズ１６Ｂの光軸方向が地面に対して略垂直となるようにして撮像した水平撮りであることを示す姿勢情報が魚眼画像に付加されている場合には、魚眼画像の中心から切り出し領域（タッチ位置）を結ぶ線上において魚眼画像の中心から離れる方向を補正画像の地面方向として特定するようにしたので、水平撮りした魚眼画像から切り出した画像の地面方向を的確に特定することが可能となる。

本体装置２０の制御部２１は、水平撮りされた魚眼画像内の切り出し領域の位置に補正画像を重畳して表示させる際に、補正画像の地面方向が魚眼画像の外側に向くようにその表示向きを制御するようにしたので、ユーザにあっては補正画像の地面方向を容易に確認することができる。

撮像装置１０は、魚眼レンズ１６Ｂを用いて撮像する撮像部１６と、撮像装置１０の姿を検出する姿勢検出部２７とを備え、魚眼レンズ１６Ｂを用いて撮像された画像（魚眼画像）に姿勢検出部２７によって検出された姿勢情報を付加するようにしたので、魚眼画像から切り出された画像の姿勢を魚眼画像の姿勢情報から容易に特定することが可能となる。

本体装置２０の制御部２１は、魚眼画像と補正画像とを同時に並列表示する際に、魚眼画像の天地方向と補正画像の天地方向とを揃えて表示するようにしたので、魚眼画像と補正画像とを容易に見比べることができる。

本体装置２０の制御部２１は、魚眼画像と補正画像とを切り替えて表示する際に、魚眼画像の天地方向と補正画像の天地方向とを揃えて表示するようにしたので、画面全体に補正画像を表示することができ、補正画像の詳細部分までも確認することが可能となる。

補正画像の天地方向を識別表示するようにしたので、ユーザにあってはその天地方向を容易に確認することが可能となる。

補正画像内にその天地方向を示すマークを付加するようにしたので、ユーザにあってはその天地方向を直感的に確認することが可能となる。

なお、上述した実施形態においては、補正画像内にその地面方向を識別表示するようにしたが、天方向を識別表示するようにしてもよい。

補正画像の天地方向を識別表示する際に、▽マークを付加するようにしたが、その識別表示の仕方は任意であり、例えば、補正画像の一部を点滅表示させたり、着色表示したりしてもよく、更に、表示に限らず、例えば、右上角部、左下角部、下中央部などを音声メッセージとして出力して補正画像の天地方向を案内するようにしてもよい。また、上述した実施形態においては、補正画像上への地面マーク（▽印）の付加によって地面方向を確認可能としたが、地面マークを省略すると共に、補正画像の地面側が常に表示画面のいつでも所定方向側、例えば補正画像の地面側が表示画面の下側になるように表示するようにしてもよい。

上述した実施形態においては、表示形式Ａとして、魚眼画像と、その画像から切り出して歪補正した補正画像を切替操作毎に切り替え表示する場合を示したが、魚眼画像と補正画像とを並列して表示するようにしてもよい。また、魚眼画像と、その画像から切り出して歪補正した補正画像を切替操作毎に切り替え表示するモードと、魚眼画像と補正画像とを並列して表示する場合のモードとを、ユーザ操作により切替るような構成にしてもよい。

上述した実施形態においては、切り出し領域を特定する場合、切り出し領域は台形に限らず、任意であるが、例えば、魚眼画像はその中心から離れる（端部の方に向かう）にしたがって撮影範囲が広がるなどの特徴を有しているため、その特徴を考慮して遠ざかる（端部の方に向かう）程、画素成分を多くするために台形のように切り出し領域を広くするなど、切り出し領域の大きさを、魚眼画像の中心からの距離に応じてそれぞれ異なるようにしてもよい。

また、上述した実施形態においては、タッチ位置に応じて切り出し領域を特定する場合に、タッチ位置が切り出し領域の中心となるように特定するようにしたが、魚眼画像の全体を予め複数の領域に論理的に分割しておき、魚眼画像上がタッチされた際に、分割されている各領域のうち、そのタッチ位置が属する領域を切り出し領域として特定するようにしてもよい。なお、魚眼画像の全体を予め複数の領域に分割する場合に、魚眼レンズ１６Ｂの特徴を考慮し、魚眼画像の中心からの距離に応じて各分割領域の大きさが異なるようにしてもよい。

上述した実施形態においては、表示形式“Ｃ”の場合、図１２（３）に示すように、補正画像の中心を魚眼画像上のタッチ位置に合わせ、かつ、補正画像の地面方向を魚眼画像の外側方向となるように重畳表示させるようにしたが、これとは逆に、補正画像の地面方向を魚眼画像の内側方向（中心方向）に合わせて重畳表示させるようにしてもよい。また、図１２（３）の表示例では、魚眼画像上に一つの補正画像を重畳表示させた場合を例示したが、魚眼画像上で複数の位置がタッチされた場合に、タッチ位置毎にその位置で切り出されて歪補正された画像を重畳表示させるようにしてもよい。

また、上述した実施形態においては、撮像装置１０と本体装置２０とを別体化したセパレートタイプのカメラに適用した場合について説明したが、それらを一体化したコンパクトカメラに適用してもよく、また、魚眼レンズ１６Ｂを固定して装着した魚眼専用カメラに適用してもよい。

上述した実施形態においては、画像表示装置としてデジタルカメラに適用した場合を示したが、カメラに限らず、表示機能を備えたパーソナルコンピュータ、ＰＤＡ（個人向け携帯型情報通信機器）、タブレット端末装置、スマートフォンなどの携帯電話機、電子ゲーム、電子時計、音楽プレイヤーなどであってもよい。

また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
魚眼レンズを用いて撮像された魚眼画像内からその一部分を切り出し領域として画像を切り出す切出手段と、前記切出手段によって切り出された画像の歪を補正する補正手段と、前記補正手段によって補正された補正画像を表示する表示手段とを備えた画像表示装置であって、
前記切出手段によって切り出されて前記補正手段によって補正された補正画像の天地方向を、前記魚眼画像の撮像時の姿勢情報に基づいて特定する特定手段と、
前記表示手段に前記補正画像を表示させる際に、前記特定手段によって特定された天地方向に基づいて、表示させる制御を行う表示制御手段と、
を備えることを特徴とする。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像表示装置において、
前記特定手段は、前記魚眼レンズの光軸方向が重力方向に対して略逆方向となるようにして撮像した水平撮りであることを示す前記姿勢情報が前記魚眼画像に付加されている場合には、
魚眼画像の中心から前記切り出し領域を結ぶ線上において魚眼画像の中心から離れる方向を前記補正画像の地面方向として特定する、
ことを特徴とする。
（請求項３）
請求項３に記載の発明は、請求項２に記載の画像表示装置において、
前記表示制御手段は、前記水平撮りされた前記魚眼画像内の前記切り出し領域の位置に前記補正画像を重畳して表示させる際に、前記特定手段によって特定された補正画像の地面方向が前記魚眼画像の外側に向くようにその表示向きを制御する、
ことを特徴とする。
（請求項４）
請求項４に記載の発明は、請求項１乃至３のいずれか１項に記載の画像表示装置において、
魚眼レンズを用いて撮像する撮像手段と、
前記撮像手段による撮像時に当該装置の姿勢を検出する姿勢検出手段と、
を更に備え、
前記特定手段は、前記姿勢検出手段によって検出された姿勢情報に基づいて補正画像の天地方向を特定する、
ことを特徴とする。
（請求項５）
請求項５に記載の発明は、請求項１乃至４のいずれか１項に記載の画像表示装置において、
前記表示制御手段は、前記魚眼画像と前記補正画像とを同時に並列表示する際に、前記特定手段によって特定された魚眼画像の天地方向と前記補正画像の天地方向とを揃えて表示させる、
ことを特徴とする。
（請求項６）
請求項６に記載の発明は、請求項１乃至５のいずれか１項に記載の画像表示装置において、
前記表示制御手段は、前記魚眼画像と前記補正画像とを切り替えて表示する際に、前記特定手段によって特定された魚眼画像の天地方向と前記補正画像の天地方向とを揃えて表示させる、
ことを特徴とする。
（請求項７）
請求項７に記載の発明は、請求項１〜６のいずれか１項に記載の画像表示装置において、
前記表示制御手段は、前記特定手段によって特定された補正画像の天地方向を識別表示する制御を行う、
ことを特徴とする。
（請求項８）
請求項８に記載の発明は、請求項７に記載の画像表示装置において、
前記表示制御手段は、前記補正画像内にその天地方向を示すマークを付加する制御を行う、
ことを特徴とする。
（請求項９）
請求項９に記載の発明は、
魚眼レンズを用いて撮像された魚眼画像内からその一部分を切り出し領域として画像を切り出す切出手段と、前記切出手段によって切り出された画像の歪を補正する補正手段と、前記補正手段によって補正された補正画像を表示する表示手段とを備えた画像表示装置における画像表示方法であって、
前記切出手段によって切り出されて前記補正手段によって補正された補正画像の天地方向を、前記魚眼画像の撮像時の姿勢情報に基づいて特定する処理と、
前記表示手段に前記補正画像を表示させる際に、前記特定手段によって特定された天地方向に基づいて、その補正画像を回転して表示させる制御を行う処理と、
を含むことを特徴とする。
（請求項１０）
請求項１０に記載の発明は、
魚眼レンズを用いて撮像された魚眼画像内からその一部分を切り出し領域として画像を切り出す切出手段と、前記切出手段によって切り出された画像の歪を補正する補正手段と、前記補正手段によって補正された補正画像を表示する表示手段とを備えた画像表示装置のコンピュータに対して、
前記切出手段によって切り出されて前記補正手段によって補正された補正画像の天地方向を、前記魚眼画像の撮像時の姿勢情報に基づいて特定する機能と、
前記表示手段に前記補正画像を表示させる際に、前記特定手段によって特定された天地方向に基づいて、その補正画像を回転して表示させる制御を行う機能と、
を実現させるためのプログラムである。

１０ 撮像装置
２０ 本体装置
１１、２１ 制御部
１３、２３ 記憶部
２３Ａ プログラムメモリ
２３Ｃ 表示形式テーブル
１４、２４ 通信部
１６ 撮像部
１６Ｂ 魚眼レンズ
１６Ｃ 撮像素子
２５ 操作部
２６ タッチ表示部
１７、２７ 姿勢検出部
Ａ、Ｂ、Ｃ 表示形式

Claims (11)

1. 魚眼レンズを用いて撮像された魚眼画像内からその一部分を切り出し領域として画像を切り出す切出手段と、
   前記切出手段によって切り出された画像の歪を補正する補正手段と、
   前記補正手段によって補正された補正画像を表示する表示手段と、
   前記切出手段によって切り出されて前記補正手段によって補正された補正画像の天地方向を、前記魚眼画像の撮像時の姿勢情報に基づいて特定する特定手段と、
   前記表示手段に前記補正画像を表示させる際に、前記特定手段によって特定された天地方向に基づいて、前記補正画像を表示させる制御を行う表示制御手段と、
   を備え、
   前記表示制御手段は、前記特定手段によって特定された補正画像の天地方向のうち地面方向が前記魚眼画像の外側に向くように前記補正画像の表示向きを制御することを特徴とする画像表示装置。
2. 前記特定手段は、前記魚眼レンズの光軸方向が重力方向に対して略逆方向となるようにして撮像した水平撮りであることを示す前記姿勢情報が前記魚眼画像に付加されている場合には、
   魚眼画像の中心から前記切り出し領域を結ぶ線上において魚眼画像の中心から離れる方向を前記補正画像の地面方向として特定する、
   ことを特徴とする請求項１に記載の画像表示装置。
3. 前記表示制御手段は、前記水平撮りされた前記魚眼画像内の前記切り出し領域の位置に前記補正画像を重畳して表示させる際に、前記特定手段によって特定された補正画像地面方向が前記魚眼画像の外側に向くようにその表示向きを制御する、
   ことを特徴とする請求項２に記載の画像表示装置。
4. 魚眼レンズを用いて撮像する撮像手段と、
   前記撮像手段による撮像時に前記画像表示装置の姿勢を検出する姿勢検出手段と、
   を更に備え、
   前記特定手段は、前記姿勢検出手段によって検出された姿勢情報に基づいて補正画像の天地方向を特定する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像表示装置。
5. 前記表示制御手段は、前記魚眼画像と前記補正画像とを同時に並列表示する際に、前記特定手段によって特定された魚眼画像の天地方向と前記補正画像の天地方向とを揃えて表示させる、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像表示装置。
6. 前記表示制御手段は、前記魚眼画像と前記補正画像とを切り替えて表示する際に、前記特定手段によって特定された魚眼画像の天地方向と前記補正画像の天地方向とを揃えて表示させる、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像表示装置。
7. 前記表示制御手段は、前記特定手段によって特定された補正画像の天地方向を識別表示する制御を行う、
   ことを特徴とする請求項１〜６のいずれか１項に記載の画像表示装置。
8. 前記表示制御手段は、前記補正画像内にその天地方向を示すマークを付加する制御を行う、
   ことを特徴とする請求項７に記載の画像表示装置。
9. 前記表示制御手段は、前記魚眼画像内の前記切り出し領域の位置に前記補正画像を重畳して表示させることを特徴とする請求項１乃至８の何れかに記載の画像表示装置。
10. 魚眼レンズを用いて撮像された魚眼画像内からその一部分を切り出し領域として画像を切り出す切出手段と、前記切出手段によって切り出された画像の歪を補正する補正手段と、前記補正手段によって補正された補正画像を表示する表示手段とを備えた画像表示装置における画像表示方法であって、
    前記切出手段によって切り出されて前記補正手段によって補正された補正画像の天地方向を、前記魚眼画像の撮像時の姿勢情報に基づいて特定する処理と、
    前記表示手段に前記補正画像を表示させる際に、前記特定する処理によって特定された天地方向に基づいて、前記補正画像を表示させる制御を行う処理と、
    を含み、
    前記補正画像を表示させる制御を行う処理は、前記特定する処理によって特定された補正画像の天地方向のうち地面方向が前記魚眼画像の外側に向くように前記補正画像の表示向きを制御する、
    ことを特徴とする画像処理方法。
11. 魚眼レンズを用いて撮像された魚眼画像内からその一部分を切り出し領域として画像を切り出す切出手段と、前記切出手段によって切り出された画像の歪を補正する補正手段と、前記補正手段によって補正された補正画像を表示する表示手段とを備えた画像表示装置のコンピュータに対して、
    前記切出手段によって切り出されて前記補正手段によって補正された補正画像の天地方向を、前記魚眼画像の撮像時の姿勢情報に基づいて特定する機能と、
    前記表示手段に前記補正画像を表示させる際に、前記特定する機能によって特定された天地方向に基づいて、前記補正画像を表示させる制御を行う機能と、
    を実現させ、
    前記補正画像を表示させる制御を行う機能は、前記特定する機能によって特定された補正画像の天地方向のうち地面方向が前記魚眼画像の外側に向くように前記補正画像の表示向きを制御する、
    ことを特徴とするプログラム。

Images