JP5136060B2 - 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体と撮像装置 - Google Patents

Description

本発明は、撮像された広視野画像を処理する画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体と撮像装置に関する。

従来から、例えば魚眼レンズを用いて撮像された画像中、ユーザにより必要な領域が指定され、指定された領域の魚眼画像データの歪曲収差の補正がなされ、補正された画像がモニタで表示される、という技術が提案されている。撮像された画像は、静止画だけでなく動画もある（例えば、日本特開２０００−３２４３８６号公報（明細書段落[０００９]、図１）参照。）。

上記日本特開２０００−３２４３８６号公報に記載の装置において、ユーザが、カメラで撮像した画像中から領域を指定するときの指定方法をもっと工夫すれば、さらに便利になることが予想される。このようにカメラが用いられたシステムは、将来の幅広い応用が期待されていることから、ユーザにとって使いやすいインタフェースを提供することが重要な課題となる。

本発明に係る画像処理装置は、撮像光学部を通るときに歪が生じた光学像を撮像することで得られる画像データから、一部の選択領域を識別可能に強調処理した前記歪を含む広視野画像と、前記選択領域の画像から前記歪が補正された歪補正後の選択画像とを生成する画像処理部と、前記広視野画像と前記歪補正後の選択画像を用いて、表示モードに応じた表示画像を出力する画像出力処理部と、前記選択領域が切り替えられたことに応じて、前記歪補正後の選択画像を前記表示画像とする第１の表示モードから、前記歪補正後の選択画像の一部領域に前記広視野画像の全体が合成処理された画像を前記表示画像とする第２の表示モードに、前記画像出力処理部の前記表示モードを変更する処理制御部と、を備えるものである。本発明における「画像」には、主に動画を意味するが、もちろん静止画も含まれる。

この発明では、選択領域が切り替えられたことに応じて、例えば選択領域の切り替え指示を行う入力部が設けられて、この切り替え指示によって選択領域の切り替えが行われたとき、表示モードが所定期間変更される。また、切り替え指示に基づいて選択領域を直交座標上で切り替える第１の領域選択モードと、切り替え指示に基づいて選択領域を極座標上で切り替える第２の領域選択モードが設けられて、この領域選択モードの切り替えが行われたとき、表示モードが所定期間変更される。直交座標モードとは、例えば人間が普通に見る視野、つまり上下左右のある風景等の画像が撮像される場合に特に有効なモードである。また、極座標モードとは、例えば水平面から上方向又は下方向に臨むような視野の画像が撮像される場合に特に有効なモードである。したがって、領域選択モードを切り替えることで、人間にとって直感性の高い操作が可能となる。このように、選択領域の切り替えや領域選択モードの切り替えが行われたとき、所定期間表示モードを変更すれば、選択領域が切り替えられたときに、所定期間だけ通常時とは異なる表示が可能となり、表示部を有効に利用した画像表示が可能となる。また、撮像方向を検出する方向検出センサを設け、方向検出センサからのセンサ信号によって選択領域が変更されたことを判別したとき、表示モードを所定期間変更することでも表示部を有効に利用した画像表示が可能となる。

ここで、処理制御部は、歪補正後の選択画像を前記表示画像とする第１の表示モードを、選択領域を識別可能とした広視野画像が表示画像に用いられている第２の表示モードに所定期間変更することが望ましい。この場合、選択領域が変更されたときや領域選択モードが切り替えられたとき、所定期間選択領域を識別可能とした広視野画像が表示されることから、選択領域の設定状態を確認することが可能となる。また、所定時間経過後には歪補正後の選択画像を前記表示画像とする第１の表示モードに切り替えられるので、例えば選択領域の歪補正された画像において、選択領域を識別可能とした広視野画像が合成されたことよって死角となる領域が生じても、所定時間後には、この領域の画像を確認することが可能となる。ここで所定時間とは例えば３秒、５秒等の数秒であるが、これらに限られるものではない。
本発明に係る画像処理方法は、撮像光学部を通るときに歪が生じた光学像を撮像することで得られる画像データから、一部の選択領域を識別可能に強調処理した前記歪を含む広視野画像と、前記選択領域の画像から前記歪が補正された歪補正後の選択画像とを生成するステップと、前記選択領域が切り替えられたことに応じて、前記歪補正後の選択画像を表示画像とする第１の表示モードから、前記歪補正後の選択画像の一部領域に前記広視野画像の全体が合成処理された画像を表示画像とする第２の表示モードに、表示モードを変更するステップと、前記広視野画像と前記歪補正後の選択画像を用いて、前記第１の表示モードまたは前記第２の表示モードに応じた表示画像を出力するステップと、を備える。この発明は、プログラムの発明やそのプログラムを記録した記録媒体、撮像装置の発明にも適用できる。

以上のように、本発明によれば、撮像光学部を用いて撮像された画像中、その画像内の領域が選択された画像を再生することが可能な画像処理において、ユーザにとって便利で使いやすい画像処理装置、又は画像処理方法等を実現することができる。

本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。 撮像素子に形成される被写体画像と選択領域の関係を説明するための図である。 画像処理部の機能構成を示すブロック図である。 表示モード及び領域選択モードを説明するための図である。 画像処理部の具体的構成を例示したブロック図である。 全体画像を示す図である。 表示部に表示される画像の一例を示す図である。 処理制御部の動作を示すフローチャートである。 視野を三次元空間の球面として示す図である。 撮像部により撮像されるときの視野（撮像範囲）をそれぞれ示す図である。 レンズの像高特性を説明するための図である。 歪補正処理の原理を説明するための図である。 領域選択モードのうち、直交座標モードでの動作を説明するための図である。 領域選択モードのうち、極座標モードでの動作を説明するための図である。 ユーザが、入力部を用いて選択領域の変更指示を行う際に表示されるＧＵＩの一例を示している。 直交座標モードが選択されているときに選択領域の切り替え指示が行われた場合を説明するための図である。 直交座標モードが選択されている場合に、表示モードが順に切り替えられるときの表示部１４に表示される表示画像を示す。 極座標モードが選択されているときの、表示部の表示画像を示す図である。 極座標モードが選択されているときの、切り替え指示後の表示画像を示す図である。 極座標モードが選択されているときの、表示部の表示画像を示す図であり、分割表示モードの表示を上下逆にする場合を説明するための図である。 分割表示モードを選択可能としたときの表示モードの切り替えの遷移を示した図である。 選択領域表示画像の拡大／縮小処理を説明するための図である。 回転の操作指示前の状態を示した図である。 選択領域の画像の回転処理を説明するための図である。 同じく選択領域の画像の回転処理を説明するための図である。 本発明の他の実施の形態に係る画像処理システムの構成を示すブロック図である。 図２６で示した画像処理システムが行う処理の一例を示すフローチャートである。 図２６で示した画像処理システムが行う処理の他の例を示すフローチャートである。 位置情報又は軌跡情報の記憶処理を示すフローチャートである。 図２９で示したフローで、表示画像上の所定範囲の軌跡を説明するための図である。 本発明のさらに別の実施の形態に係る画像処理システムの構成を示すブロック図である。 本発明のまたさらに別の実施形態に係る画像処理システムの構成を示すブロック図である。 図３２の画像処理システムにおいて、撮像部１１の設置方向に応じて領域選択モードＭＳを切り替える様子を概念的に示した図である。 図３３の状態Ｓ₀，Ｓ₁，Ｓ₂を切り替えるための閾値の設定方法について説明した図である。 図３２の画像処理システム４０が状態Ｓ₀，Ｓ₁及びＳ₂を切り替える場合の動作の流れを示したフローチャートである。 図３２の画像処理システムが直交座標モードと極座標モードとをそれぞれ設定する場合の座標計算方法について説明した図である。 図３２の画像処理システムが直交座標モードと極座標モードとをそれぞれ設定する場合の座標計算方法について説明した図である。 図３２の画像処理システムが直交座標モードと極座標モードとをそれぞれ設定する場合の座標計算方法について説明した図である。 図３２の画像処理システムが直交座標モードと極座標モードとをそれぞれ設定する場合の座標計算方法について説明した図である。 接触に応じて表示モードを切り替える方法を概念的に示した図である。 撮像光学部で２７０度の視野を得た場合を示した図である。 撮像方向を水平方向に対して４５度上向きにした状態を示した図である。 撮像部の設置例を示した図である。 領域選択モードの自動切り替えを説明するための図である。 領域選択モードを自動的に切り替える場合のＧＵＩ表示と画像領域の移動方向を示した図である。 混合モードを含めた領域選択モードの切り替え動作を説明するための図である。 混合モードを含めた領域選択モードの切り替え動作を示すフローチャートである。 方向ボタンが操作されたときの動作を示すフローチャートである。 本発明のさらに別の実施形態において、選択領域の切り替えに応じて表示モードＭＨを変更する様子を示した図である。 本発明のさらに別の実施形態において、領域選択モードＭＳの切り替え変化に応じて表示モードＭＨを変更する様子を示した図である。 表示モード切替処理を行う場合の画像処理システムの動作の流れを示したフローチャートである。 表示モード切替処理を行う場合の画像処理システムの動作の他の流れを示したフローチャートである。 表示モード切替処理の別の形態を示した図である。

以下、本発明の実施の形態を図面に基づき説明する。

図１は、本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。

画像処理システム１０は、撮像部１１、入力部１２、画像処理部１３、表示部１４を備えている。また、撮像部１１は、撮像光学部１１１と撮像素子１１２を用いて構成されている。

撮像光学部１１１は、被写体画像を撮像素子１１２の撮像面に結像させるためのものである。ここで、撮像光学部１１１は、広視野の被写体画像を撮像素子１１２の撮像面に結像させるために例えば広角レンズを用いる。広角レンズとしては、画角がおよそ４５度以上のものが用いられるが、これに限られるわけではない。また、撮像光学部１１１は、魚眼レンズやＰＡＬ（Panoramic Annular Lens）（環状のレンズ）等を用いて構成するものとしてよい。さらに、広角レンズを用いる代わりに、筒状，お椀状あるいは円錐状等のミラーを用いて、広視野の被写体画像がミラーの反射を利用して撮像素子１１２の撮像面に結像されるようにしてもよい。また、レンズやミラー等を複数組み合わせて、視野をさらに広げるようにしてもよい。例えば、画角が１８０°程度の魚眼レンズを２つ用いることで、全方位（球空間（３６０°））の視野の被写体画像を得ることもできる。

撮像素子１１２は、光を電気信号に変換する例えばＣＣＤ（Charge Coupled Device）や、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等が用いられる。この撮像素子１１２は、被写体画像に基づいた画像データＤＶaを生成して画像処理部１３に供給する。

図２は、撮像光学部１１１に魚眼レンズを用いたとき、撮像素子１１２に形成される被写体画像と選択領域の関係を示している。撮像光学部１１１の画角が例えば１８０°程度であり、視野を図２の半球状の球面５１として示すことができるとき、撮像素子１１２に形成される被写体画像（以下「広視野画像」という）Ｇcは、撮像光学部１１１によって歪を生じた画像例えば円形状の画像となる。このため、撮像素子１１２で得られた画像データＤＶaに基づいて画像表示を行うと、表示される画像は撮像光学部１１１による歪を生じた表示画像となってしまう。ここで、画像データＤＶaで表される視野の一部の領域を示す選択領域を設けたとき、この選択領域は、撮像光学部１１１の画角内では例えば選択領域７１に相当するものとなり、広視野画像Ｇcにおいては画像領域ＡＲsに相当するものとなる。したがって、画像処理部１３は、画像領域ＡＲsの画像に対して、撮像光学部１１１によって生じた歪を補正する歪補正処理を行うことで、歪のない選択領域の画像を表示することが可能となる。このため、例えば撮像光学部１１１の画角内において、所望の被写体が含まれるように選択領域の設定を行うことで、歪のない所望の被写体の画像を表示することが可能となる。さらに、選択領域の位置を新たな位置に切り替えるものとしたり、選択領域のサイズや形状を変更すれば、選択領域に対応する画像領域ＡＲsの位置やサイズ，形状も変更される。したがって、撮像光学部１１１の画角内における任意の位置や領域の画像を、撮像光学部１１１の歪を補正した状態で表示することが可能となる。

ここで、選択領域は、撮像光学部１１１の画角内における選択領域７１の位置や選択領域７１の範囲を示す角度範囲等を指定することで設定できる。また、広視野画像Ｇc上に設定される画像領域ＡＲsは、上述のように選択領域と対応するものであることから、画像領域ＡＲsの位置や範囲等を指定することによっても、選択領域を設定できる。

なお、魚眼レンズを用いたときには、選択領域が小さいほど、また、選択領域が視野の中央に位置するほど、画像領域ＡＲsの範囲は選択領域の形状に近くなる。反対に、選択領域が大きいほど、また、選択領域が視野の端に位置するほど、画像領域ＡＲsの範囲は選択領域に対して歪んだ形になる。

入力部１２は、ユーザ操作に応じて選択領域の位置の切り替えや選択領域の領域サイズや領域形状の変更、選択領域の切り替えを行う際の動作モードや、画像の表示モードの設定等を行うためのものである。入力部１２は、ユーザが操作できる機器であれば何でもよい。例えばマウス、キーボード、スイッチ機器、タッチセンサ、ゲーム機器のコントローラ、ユーザが把持可能なスティック状の操作機器等が挙げられる。この入力部１２は、ユーザ操作に応じた入力情報ＰＳを生成して画像処理部１３に供給する。

画像処理部１３は、撮像部１１から供給された画像データＤＶaを用いて歪補正処理を行い、撮像光学部１１１によって生じた歪が補正されている選択領域の画像を生成する。また、画像処理部１３は、表示部１４に表示する画像の表示モード設定を行い、設定された表示モードに応じた表示画像の画像データＤＶdを生成して表示部１４に供給する。なお、画像処理部１３は、表示画像として広視野画像や歪が補正されている選択領域の画像等を用いる。さらに、画像処理部１３は、選択領域の位置を切り替える際の動作モードである領域選択モードの設定を行い、入力部１２からの入力情報ＰＳに基づき、設定された領域選択モードで選択領域の切り替え処理を行う。また、画像処理部１３は、最初の動作開始時に予め指定された表示モードや領域選択モードに設定する処理や、動作終了時の表示モードや領域選択モードに設定して動作を開始する処理等も行う。

表示部１４は、液晶表示素子や有機ＥＬ素子等で構成されており、画像処理部１３から供給された画像データＤＶdに基づいて画像表示を行う。

本実施の形態で示す画像処理システム１０において、撮像部１１、入力部１２、画像処理部１３、表示部１４は一体化して設けるものとしてもよく、個々に分離して設けるものとしてもよい。さらに、一部のみを一体化してもよい。例えば入力部１２と表示部１４を一体化して設けるものとすれば、表示部１４の表示を確認しながら入力部１２の操作を行うことが容易に可能となる。さらに、撮像部１１においても、撮像光学部１１１と撮像素子１１２を一体化しるものとしたり、分離して設けるようにしてもよい。

図３は、画像処理部１３の機能構成を示すブロック図である。画像処理部１３は、歪補正部１３ａ、領域選択モード設定部１３ｂ、表示モード設定部１３ｃ、データ出力部１３ｄ及び制御部１３ｅを有する。

歪補正部１３ａは、画像データＤＶaにおける選択領域に相当する画像データを用いて、撮像光学部１１１の歪を補正する歪補正を行い、被歪補正データの生成を行う。

領域選択モード設定部１３ｂは、選択領域の設定や切り替えを行うときの動作モードである領域選択モードを設定する。この領域選択モード設定部１３ｂは、例えば図４に示すように、領域選択モードＭＳとして、第１の領域選択モードである直交座標モードＭＳ１、第１の領域選択モードである極座標モードＭＳ２を設けておき、いずれかの領域選択モードを選択的に設定する。なお、各領域選択モードについては後述する。

表示モード設定部１３ｃは、表示部１４で歪補正がなされた画像等を表示する際の表示モードを設定する。この表示モード設定部１３ｃでは、例えば図４に示すように、表示モードＭＨとして、全体画像表示モードＭＨ１、選択画像表示モードＭＨ２、両方表示モードＭＨ３、分割表示モードＭＨ４を設けておき、いずれかの表示モードに設定する。なお、各表示モードについては後述する。

データ出力部１３ｄは、設定された表示モードに応じた表示画像の画像データを出力する。ここで、撮像光学部１１１の歪が補正されている選択領域の画像を表示画像として表示する場合、被歪補正データの出力を行う。また、広視野画像を表示画像として表示する場合、撮像部１１から供給された画像データの出力を行う。さらに、撮像光学部１１１の歪が補正されている選択領域の画像と広視野画像を表示する場合には、被歪補正データと撮像部１１から供給された画像データを用いて新たな画像データを生成して出力する。

制御部１３ｅは、領域選択モード設定部１３ｂで設定された領域選択モードＭＳに応じて選択領域の設定や切り替えを行う。

図５は、画像処理部１３の具体的構成を例示したブロック図である。画像データＤＶaは、画像抽出処理部１３１と歪補正処理部１３３に供給される。

画像抽出処理部１３１は、画像データＤＶaから広視野画像（被写体画像）Ｇcの画像データＤＶcを抽出して選択領域強調表示処理部１３２に供給する。ここで、広視野画像Ｇcは、図２に示すように、撮像素子１１２におけるセンサ面上の一部の領域を示すものであり、撮像光学部１１１によって決定される。このため、センサ面上の広視野画像Ｇcの領域が固定している場合は、画像データＤＶaから所定の画素データ抽出を行って広視野画像Ｇcの領域の画素データを抽出する。また、撮像光学部１１１が交換可能でセンサ面上の広視野画像Ｇcの領域が変化する場合、あるいは撮像光学部１１１の光学特性が変更できるようになされているためセンサ面上の広視野画像Ｇcの領域が変化する場合、センサ面上の広視野画像Ｇcの領域を予め判別しておき、判別されている広視野画像Ｇcの領域の画像データを抽出する。広視野画像Ｇcの領域の判別は、例えば撮像光学部１１１の視野内がすべて白色の被写体となるようにして撮像を行い、画像データＤＶaが白色のレベルとなる画素位置を検出する。このようにすれば、容易に広視野画像Ｇcの領域を判別することができる。

選択領域強調表示処理部１３２は、広視野画像Ｇcにおいて、後述する処理制御部１３５から供給された選択領域設定情報ＪＡに基づき、この選択領域設定情報ＪＡによって示された選択領域と対応する画像領域ＡＲsを、ユーザが容易に識別できるように処理する。例えば選択領域強調表示処理部１３２は、画像領域ＡＲsと画像領域ＡＲsでない領域との境界を示す境界表示を設けるものとしたり、画像領域ＡＲsを除いた領域の輝度や色を変更して、画像領域ＡＲsが識別可能となるように表示制御を行う。この画像領域ＡＲsの画像は、識別可能に強調された画像であり強調画像Ｇsと呼ぶものとする。このような画像処理を行い、広視野画像Ｇcにおいて、画像領域ＡＲsが強調画像Ｇsとして識別可能とされている画像（以下「全体画像Ｇcp」という）の画像データＤＶcpを生成して画像出力処理部１３４に供給する。

歪補正処理部１３３は、図３に示す歪補正部１３ａに相当するものであり、画像データＤＶaを用いて撮像光学部１１１の歪補正処理を行い、処理制御部１３５から供給された選択領域設定情報ＪＡによって示された選択領域の歪補正がなされた被補正画像データＤＶscを生成して画像出力処理部１３４に供給する。

画像出力処理部１３４は、図３に示すデータ出力部１３ｄに相当するものであり、処理制御部１３５からの表示制御情報ＪＨに基づき、画像データＤＶcp及び／又は被補正画像データＤＶscを用いて表示画像の画像データＤＶdを生成する。

処理制御部１３５は、図３に示す領域選択モード設定部１３ｂ，表示モード設定部１３ｃ，制御部１３ｅに相当するものである。処理制御部１３５は、領域選択モードの設定を行い、設定した領域選択モードに応じて、入力部１２からの入力情報ＰＳに基づいた選択領域の設定や切り替えを行い、設定した選択領域あるいは新たに設定した選択領域を示す選択領域設定情報ＪＡを生成して、選択領域強調表示処理部１３２や歪補正処理部１３３に供給する。また、処理制御部１３５は、表示モードの設定を行い、設定した表示モードに応じて表示制御情報ＪＨを生成して画像出力処理部１３４に供給する。さらに、処理制御部１３５は、表示制御情報ＪＨによって、表示画像にメニュー表示を含める処理等も行わせる。

画像処理部１３は、例えばＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のハードウェア、ＲＯＭ等に格納されたソフトウェア、あるいはファームウェア等で構成される。また、画像処理部１３は、ＦＰＧＡ（Field Programmable Gate Array）、あるいはＤＳＰ（Digital Signal Processor）等で構成して、他にもビデオエンコーダ、サウンドエンコーダ、上記入力情報ＰＳを取得するためのインタフェース、又は上記表示部１４へ画像データＤＶdを出力するためのインタフェース等を備えてもよい。また、ＦＰＧＡとＤＳＰが両方用いられ、両者が処理を分担するようにしてもよい。

入力部１２から画像処理部１３に供給する入力情報ＰＳとは、上述のように表示モードＭＨや領域選択モードＭＳの設定、選択領域の切り替え指示等を示す情報である。また、選択領域の切り替え指示を示す情報には、選択領域を所定方向に所定量単位で移動させるための情報、変更後の選択領域の位置を示す情報等を含めるものとしてもよい。さらに、入力情報ＰＳには、選択領域の領域サイズを変更する情報、選択領域を回転させる情報、選択領域の領域形状を設定する情報等を含めるものとしてもよい。

選択領域は、ユーザ操作に応じて切り替え等が行われる形態に限られるものではない。例えば、上述のように予め指定された位置に選択領域を設定する形態も考えられる。その場合の当該選択領域に関する情報は、予め図示しないＲＯＭや、外部の記憶装置等に格納されていればよい。さらに、広視野画像Ｇc内のある特定の領域が自動認識される場合に、その自動認識された特定の領域を選択領域に対応する画像領域ＡＲsとして処理する形態も考えられる。例えば、動きのある被写体が自動認識される場合に、この動きのある被写体の画像を含む領域を画像領域ＡＲsとして自動的に処理する形態も考えられる。あるいは、図示しない様々なセンサによって、広視野画像Ｇc内で検出された画像領域を選択領域に対応する画像領域ＡＲsとして処理する形態もある。その場合、センサとは、例えば温度センサ、音センサ、圧力センサ、光センサ、湿度センサ、振動センサ、ガスセンサ、その他様々なセンサが挙げられる。これらのセンサで生成されたセンサ信号は、処理制御部１３５に供給されて、処理制御部１３５では供給されたセンサ信号を利用して選択領域の切り替えや各部の制御を行う。例えば、異常な温度や異常な音等を検出したときには、異常な温度や異常な音等が検出された方向に対応させて選択領域を自動的に切り替えるものとすれば、表示部１４の画面上に、異常が検出された方向の撮像画像を歪補正された状態で表示することができる。また、異常の検出に応じて表示モードの切り替えや領域サイズの切り替え、領域形状の切り替え等を行うものとすれば、異常の確認をユーザが容易に行えるような表示も可能となる。

なお、図５に示す構成は例示的なものであり、画像処理部１３は、図３に示す機能構成を有するものであれば、図５に示す構成に限られるものではない。例えば、撮像部１１から供給される画像データＤＶaが広視野画像Ｇcのみを示すものであるときは、画像抽出処理部１３１を設ける必要がない。また、選択領域強調表示処理部１３２を画像出力処理部１３４の入力側に代えて出力側に設けるものとしてもよい。この場合、画像データＤＶaに基づく画像に広視野画像が含まれるとき、広視野画像において、選択領域と対応する画像領域を、ユーザが容易に識別できるように処理する。

図６は、全体画像を示している。画像データＤＶaに対して画像処理部１３で歪補正処理を行わない場合、広視野画像Ｇcは、撮像光学部１１１によって生じた歪みを有する画像となる。ここで、処理制御部１３５によって選択領域が設定された場合、選択領域強調表示処理部１３２は、上述のように選択領域が容易に識別できるように画像処理を行う。すなわち、表示されている広視野画像Ｇcにおいて、選択領域と対応する画像領域ＡＲsと画像領域ＡＲsでない領域との境界を示す境界表示（例えば枠表示）を設けるものとしたり、画像領域ＡＲsを除いた領域の輝度や色を変更して画像領域ＡＲsを強調した強調画像Ｇsとする。なお、選択領域を全視野に設定したとき、選択領域に対応する画像領域ＡＲsは、広視野画像Ｇcの全体を示すものとなる。

また、処理制御部１３５は、表示制御情報ＪＨによって画像出力処理部１３４の動作を制御して、全体画像表示モードＭＨ１に設定した場合には、図６に示すように広視野画像Ｇcにおいて、画像領域ＡＲsが強調画像Ｇsとして識別可能とされている全体画像Ｇcpのみを表示画像とした画像データＤＶdを生成させる。また、処理制御部１３５は、選択画像表示モードＭＨ２に設定した場合、画像領域ＡＲsの画像に対して撮像光学部１１１によって生じた歪の補正が行われている画像（以下「選択領域表示画像」という）Ｇscのみを表示画像とした画像データＤＶdを生成させる。また、処理制御部１３５は、両方表示モードＭＨ３に設定した場合、図７に示すように全体画像Ｇcpと選択領域表示画像Ｇscが同時に表示された表示画像の画像データＤＶdを生成させる。さらに、選択領域が複数設定される場合には、選択領域に対応する各強調画像の歪が補正された画像を選択領域表示画像Ｇscとして、全体画像Ｇcpとともに表示した表示画像の画像データＤＶdを生成させる。ここで、図７に示すように、全体画像Ｇcpと選択領域表示画像Ｇscを同時に表示する場合、画像出力処理部１３４は、例えばＯＳＤ（On Screen Display）等の技術を用いればよい。

次に、処理制御部１３５の動作を図８のフローチャートを用いて説明する。処理制御部１３５は、表示モードや領域選択モードの初期設定や選択領域の設定を行う（ＳＴ１００１）。例えば、最初の動作開始時には、予め設定されている表示モードや領域選択モードに設定する。また、選択領域を予め設定されている視野方向に所定サイズで設定する。また、動作終了時に表示モードや領域選択モードの設定状態や選択領域の設定状態を示す情報を記憶しておき、この情報を次回の動作開始時に用いて、前回の動作終了時の状態で動作を開始するものとしてもよい。

処理制御部１３５は、入力部１２から供給された入力情報ＰＳが設定等の変化を生じさせる情報であるか否かを判別する（ＳＴ１００２）。ここで、入力情報ＰＳが設定等の変化を生じさせる情報である場合（ＳＴ１００２のＹＥＳ）、処理制御部１３５は、取得した入力情報ＰＳに応じて、表示モードや領域選択モードの設定の変更や、選択領域の変更を行い、変更後の選択領域の画像に対して歪補正処理が行われるように、歪補正処理部１３３の動作を制御する。また、変更後の選択領域の画像が識別可能となるように選択領域強調表示処理部１３２を制御する。さらに、変更後のモードに応じた画像データＤＶdが生成されるように画像出力処理部１３４の動作を制御する（ＳＴ１００３）。また、取得した入力情報ＰＳが選択領域のサイズや形状を変更させるものであるときは、変更後の選択領域に対応して歪み補正や強調表示処理が行われるように歪補正処理部１３３や選択領域強調表示処理部１３２を制御する。例えば、選択領域の形状が、円形，楕円形，三角形，５角形以上の多角形，直線と曲線とで構成される形状、あるいはこれら以外の複雑な形状等に設定されたときでも、これらの形状の選択領域に含まれる画像の歪み補正が行われるように、歪補正処理部１３３を制御する。また、これらの形状の選択領域に対応した強調画像となるように選択領域強調表示処理部１３２の動作を制御する。なお、入力情報ＰＳが設定や選択の変化を生じさせる情報でない場合（ＳＴ１００２のＮＯ）ＳＴ１００２に戻り、入力部１２から新たに供給された入力情報ＰＳが設定や選択の変化を生じさせる情報であるか否かの判別を行う。

以降、処理制御部１３５が、入力情報ＰＳを取得し、それに応じて選択領域の画像を歪が補正されている状態で得ることを展開処理という。

次に、図９及び図１０を用いて、撮像光学部１１１の設置状態の態様について説明する。視野を図９のように三次元空間で表現するものとした場合、選択領域は球面５２上に表現することが可能となる。なお、矢印ＯＡを光軸としたとき角度θは入射角を示す。

ここで、撮像光学部１１１が例えば１８０°程度の画角である魚眼レンズを用いて構成されている場合、視野は球面５２のうち半球部分に相当するものとなる。このため、撮像光学部１１１を真上に向けて設置した場合は、図１０の（Ａ)に示すように、球面の上半分が撮像光学部１１１の視野となる。なお、球面の上半分の視野を上半球視野という。また、撮像光学部１１１を真下に向けて設置した場合は、図１０の（Ｂ)に示すように、球面の下半分が撮像光学部１１１の視野となる。なお、球面の下半分の視野を下半球視野という。さらに、撮像光学部１１１を水平方向に向けて設置して前方を撮像する場合は、図１０の（Ｃ)に示すように、球面の前半分が撮像光学部１１１の視野となる。なお、球面の前半分の視野を前半球視野という。また、前方を撮像に代えて左方向や右方向を撮像する場合の視野は、左半球視野あるいは左半球視野となる。

撮像光学部１１１を真上に向けて設置する場合としては、すなわち撮像光学部１１１の光軸を鉛直線と略一致させてするものとなり撮像方向が上方となる場合としては、例えば、地面、床上、机上から上方向を見る場合が想定される。撮像光学部１１１を真下に向けて設置する場合としては、すなわち撮像光学部１１１の光軸が鉛直線と略一致するものとなり撮像方向が下方となる場合としては、例えば、天井や上空から下方向を見る場合が想定される。撮像光学部１１１を水平方向に向けて設置する場合としては、例えば地面に垂直な壁等から水平方向あるいは横方向を見る場合が想定される。

これらのほか、斜め上半分や斜め下半分の視野も考えられる。これらのように、撮像光学部１１１の設置方向（撮像光学部１１１と撮像素子１１２が一体に構成されているときは撮像部１１の設置方向）に応じた半球状の視野が得られる。なお、魚眼レンズを用いた場合に限らず、広角レンズやミラー等を用いた場合にも設置方向に応じて視野の方向が変化する。さらに、視野が広いときには一部の視野範囲を選択して、この選択した視野範囲を利用するものとしてもよい。

次に、歪補正処理部１３３の歪補正処理について説明する。歪補正処理の手法として、幾何学的補正が用いられ、例えば歪のある系の二次元座標から歪のない二次元直交座標系に変換するような一般的なアルゴリズムが用いられればよい。この場合、その変換式や変換テーブルが図示しないＲＯＭやその他のメモリ等に保存されていればよい。しかし、そのような歪補正に限られず、他の公知の歪補正が用いられてもよい。

図１１は、レンズの像高特性を説明するための図である。図１１の（Ａ)では、点Ｏを中心とする上半球視野をｙ軸方向から見て二次元表示としたものである。図中、矢印ＯＰkは例えば被写体の方向を示している。この矢印ＯＰkで示す方向に位置する被写体の結像点を点Ｑとしたとき、点Ｏから結像点Ｑまでの距離が像高Ｌhとなる。図１１の（Ｂ)は、当該像高特性を例示したグラフである。横軸が角度（入射角)θ、縦軸が像高Ｌhを示している。当該データは、変換テーブルとして予めメモリに記憶されていればよい。

図１２は、歪補正処理の原理を説明するための図である。図１２の（Ａ)は、表示部１４に表示する画像の範囲を示す表示平面８１である。図１２の（Ｂ)は、上半球視野の球面５１に対して表示平面８１を設定した状態を示している。ここで、選択領域の画像を表示部１４の表示画像とする場合、この表示画像の範囲を示す表示平面８１は選択領域に相当するものとなる。図１２の（Ｃ)は、図１２の（Ｂ)に示す球面５１をｘ−ｙ平面上に投影した状態を示すものであり、この球面５１が投影された領域が全体画像Ｇcpの領域に相当する。

上半球視野の球面５１に対して設定した表示平面８１上の例えば点Ｐについて説明する。この点Ｐの位置をＰ（ｕ，ｖ，ｗ）とすると、ＯＰ＝（ｕ²＋ｖ²＋ｗ²）^1/2であることから、角度θはθ＝ａｒｃｃｏｓ[ｗ／（（ｕ²＋ｖ²＋ｗ²）^1/2）]の演算を行うことにより求めることができる。なお、表示平面８１の中心はＨＯとする。また、上述した像高特性を撮像光学部１１１について予め求めておき、角度θと像高Ｌhの変換テーブルを記憶させておけば、角度θを算出することで点Ｐに対する像高Ｌhを得ることができる。

また、点Ｐからｘ−ｙ平面に垂線をおろしたときのｘ−ｙ平面上の交点を点Ｐ’（ｕ，ｖ，０）とすると、ＯＰ’＝ＯＰ×ｓｉｎ（θ）となる。したがって、結像点Ｑ（ｘp，ｙp）は、ｘp＝ｕ×Ｌh／（（ｕ²＋ｖ²＋ｗ²）^1/2×ｓｉｎ（θ））、ｙp＝ｖ×Ｌh／（（ｕ²＋ｖ²＋ｗ²）^1/2×ｓｉｎ（θ））の位置となり、このようにして結像点Ｑ（ｘp，ｙp）を求めることができる。

また、点Ｐに対応したｘ−ｙ平面上の点Ｐ’の方向とｘ軸との角度φを求めて、角度φと像高Ｌhから結像点Ｑの位置を求めるものとしてもよい。ここで、角度φは、φ＝ａｒｃｃｏｓ[ｕ／（（ｕ²＋ｖ²）^1/2）]の演算を行うことにより求めることができる。したがって、点Ｏからｘ軸に対して角度φを成す方向に像高Ｌhだけ離れた位置が結像点Ｑとなる。

このようにして求めた結像点Ｑの画素信号を撮像素子１１２から得るものとして、この画素データに基づき図１２の（Ｄ)に示すように表示平面８１上の点Ｐの描画を行う。また、表示平面８１内のすべての点（画素）についても同様な処理を行うことで、表示平面８１上に、撮像光学部１１１によって生じた歪が補正された画像を表示できる。なお、結像点Ｑに対応する画素信号がない場合には、結像点Ｑの周囲に位置する画素の画素信号を用いて結像点Ｑに対応する画素信号を生成すればよい。例えば結像点Ｑの周囲に位置する画素の画素信号を用いて補間等を行うことで、結像点Ｑに対応する画素信号を生成できる。

このように、表示平面８１上の各点に対応する結像点Ｑの画素データを用いて描画を行うことで、歪補正された画像を得られることから、処理制御部１３５は、選択領域に対応する結像点すなわち選択領域に対応する画像領域ＡＲsを判別可能とする情報を選択領域設定情報ＪＡとして生成する。例えば、処理制御部１３５は、図１２の（Ｂ)に示す角度θ，φを用いて選択領域を示した情報を選択領域設定情報ＪＡとする。この場合、角度θに対応する像高Ｌhと角度φから、選択領域に対応した画像領域ＡＲsを判別できるので、選択領域強調表示処理部１３２は、選択領域に対応した画像領域ＡＲsを強調画像Ｇsとした全体画像Ｇcpの画像データＤＶcpを生成することができる。また、歪補正処理部１３３は、選択領域に相当する表示平面上の各画素を示す角度θ，φに基づいて各画素に対応した画素データを得ることで、歪補正処理がなされた選択領域表示画像Ｇscの被補正画像データＤＶscを生成できる。また、選択領域設定情報ＪＡとして、選択領域の範囲を示す座標値を用いるものとしても、上述のような演算処理等を行うことで、全体画像Ｇcpの画像データＤＶcpや選択領域表示画像Ｇscの被補正画像データＤＶscを生成することができる。また、座標値を用いるものとすれば、選択領域の形状が複雑となっても選択領域を容易に示すことが可能となる。

次に、領域選択モードについて説明する。領域選択モードＭＳとしては、図４に示すように、第１の領域選択モードである直交座標モードＭＳ１と第２の領域選択モードである極座標モードＭＳ２が設けられている。

直交座標モードＭＳ１とは、例えば図１０の（Ｃ)に示すように、前半球視野として地面に垂直な壁等から水平方向あるいは横方向を見る場合等に、所望の被写体の歪補正処理がなされた画像を容易に得られるモードである。具体的には、入力部１２から選択領域の切り替え指示を示す入力情報ＰＳが供給されたとき、処理制御部１３５は切り替え指示に基づいて選択領域７１を直交座標系の軸方向に移動する演算処理を行い、新たに設定した選択領域を示す選択領域設定情報ＪＡの生成を行う。

図１３は、領域選択モードのうち、直交座標モードＭＳ１での動作を説明するための図である。直交座標モードＭＳ１では、直交座標系を用いて選択領域７１を切り替え指示に応じて切り替える。切り替え指示は、例えば切り替え後の選択領域のｘ座標とｙ座標の座標値を示すものとしたり、選択領域のｘ方向の移動量やｙ方向の移動量を示すものとして、選択領域７１を直交座標上で切り替える。ここで、ｘ座標あるいはｙ座標のいずれか一方のみが変更されるとき、選択領域７１は直交座標系の軸方向に移動した新たな位置となる。また、ｘ座標とｙ座標を変更すれば、選択領域７１は直交座標系の軸方向に対して斜め方向に移動した新たな位置となる。

切り替え指示に基づき選択領域７１をｘ方向に移動させて順次設定するとき、選択領域７１上の任意の点（例えば中心ＰＯ）の軌跡は線５１ｘとなる。また、切り替え指示に基づき選択領域７１をｙ方向に移動させて順次設定するとき、選択領域７１上の中心ＰＯの軌跡は線５１ｙとなる。なお、選択領域７１が移動されることで画像領域ＡＲsも移動する。

このように、直交座標モードＭＳ１では、直交座標系の座標値を変更することで前記選択領域の切り替えを行う。このため、視野が例えば前半球視野となる場合に直交座標モードＭＳ１を選択すれば、選択領域の切り替え指示によって、選択領域７１を水平方向あるいは垂直方向に移動した位置に容易に設定することが可能となるので、表示部１４に表示されている画像を、容易に所望の方向の画像に切り替えることができる。例えば水平方向に並んでいる被写体から所望の被写体を選択して表示させることが容易となる。

次に、極座標モードＭＳ２について説明する。極座標モードＭＳ２とは、例えば図１０の（Ａ)に示すように、上半球視野として地面、床上、机上から上方向を見る場合、あるいは図１０の（Ｂ)に示すように、下半球視野として天井や上空から下方向を見る場合等に、所望の被写体の歪補正処理がなされた画像を容易に得られるモードである。具体的には、入力部１２から選択領域の切り替え指示を示す入力情報ＰＳが供給されたとき、処理制御部１３５は切り替え指示に基づいて選択領域７１を極座標系の偏角の変化方向に移動する演算処理を行い、新たに設定した選択領域を示す選択領域設定情報ＪＡの生成を行う。

図１４は、領域選択モードのうち、極座標モードＭＳ２での動作を説明するための図である。極座標モードＭＳ２では、極座標系を用いて選択領域７１を切り替え指示に応じて切り替える。切り替え指示は、図１４に示すように、視野を三次元空間で表現するものとした場合、例えば切り替え後の選択領域の偏角θagと偏角φagを示すものとしたり、偏角θagの変化量や偏角φagの変化量を示すものとして、選択領域７１を極座標上で切り替える。ここで、偏角θagあるいは偏角φagのいずれか一方のみが変更されるとき、選択領域７１は極座標系の偏角θagが変化する方向（以下「θag変化方向」という）あるいは偏角φagが変化する方向（以下「φag変化方向」という）に移動した新たな位置となる。また、偏角θagと偏角φagを変更すれば、選択領域７１は極座標系のθag変化方向あるいはφag変化方向に対して斜め方向に移動した新たな位置となる。

切り替え指示に基づき選択領域７１をθag変化方向に移動させて順次設定するとき、選択領域７１上の任意の点（例えば中心ＰＯ）の軌跡は線５１ｒとなる。また、切り替え指示に基づき選択領域７１をφag変化方向に移動させて順次設定するとき、選択領域７１上の中心ＰＯの軌跡は線５１ｓとなる。なお、選択領域７１が移動されることで画像領域ＡＲsも移動する。

また、二次元空間で表現される画像で視野を表現する場合、切り替え指示は、例えば切り替え後の選択領域の偏角φagと動径を示すものとしたり、偏角φagの変化量や動径の変化量を示すものとすれば、視野を二次元空間で表現する場合にも、選択領域７１を極座標上で切り替えることが可能となる。

このように、極座標モードＭＳ２では、極座標系の偏角および／または動径を変更することで選択領域の切り替えを行う。このため、視野が上半球視野あるいは下半球視野となる場合に極座標モードＭＳ２を選択すれば、選択領域の切り替え指示によって、選択領域７１を偏角の変化方向に移動した位置に容易に設定することが可能となるので、表示部１４に表示されている画像を、容易に所望の方向の画像に切り替えることができる。例えば、撮像光学部１１１の周囲に位置する被写体から所望の被写体を選択して表示させることが容易となる。

図１５は、ユーザが入力部１２を用いて選択領域を操作する際に表示されるＧＵＩ（Graphical User Interface）の一例を示している。図１５の（Ａ)，図１５の（Ｂ)に示す操作入力画面Ｇuは、図７に示した全体画像Ｇcp及び選択領域表示画像Ｇscとともに表示部１４に表示されればよい。あるいは、操作入力画面Ｇuと、全体画像Ｇcp等とは別々の表示部に表示されるようにしてもよい。さらに、全体画像Ｇcpや選択領域表示画像Ｇscを表示する表示部１４とば別個に表示部を設けて、例えば入力部１２に表示部を設けて、この表示部でＧＵＩ表示を行うものとしてもよい。操作入力画面Ｇuには、方向ボタン群Ｇuaあるいは方向ボタン群Ｇubと、「拡大」ボタンＧuc1及び「縮小」ボタンＧuc2が設けられている。図１５の（Ａ)では、方向ボタン群Ｇuaとして、例えば中央の「選択」ボタンＧua1の周りに、「Up」「Down」「Right」「Left」ボタン等の方向ボタンＧua2がある。また、図１５の（Ｂ)では、方向ボタン群Ｇubとして、例えば中央の「選択」ボタンＧub1の周りに、「North」ボタンや「SE(South East)」ボタン等の方角ボタンＧub2がある。

図１６は、直交座標モードＭＳ１が選択されているときに選択領域の切り替え指示が行われた場合を説明するためのものである。この例では、表示モードＭＨとして両方表示モードＭＨ３で表示する場合を挙げている。また、ここでは、例えばユーザは図１５の（Ａ)に示した操作入力画面Ｇu等を見ながら操作する例を挙げて説明する。

図１６の（Ａ)に示す状態から、ユーザがマウスやキーボード等によって、方向ボタンＧua2の「Right」ボタンを１回、複数、又は連続して押すとする。なお、「連続して押す」とは、１度押された状態が解除されないままの状態のことであり、いわゆる「長押し」である。

そのように「Right」ボタンが押されると、その入力部１２の入力情報ＰＳに応じて、画像処理部１３の処理制御部１３５は、直交座標モードＭＳ１に応じた方向に選択領域の切り替え処理を行い、新たに設定した選択領域を示す選択領域設定情報ＪＡを生成する。また、処理制御部１３５は、生成した選択領域設定情報ＪＡを選択領域強調表示処理部１３２に供給して、強調画像Ｇsが新たに設定した選択領域に対応する画像領域ＡＲsを示すように、強調表示領域の変更を行う。さらに、処理制御部１３５は、生成した選択領域設定情報ＪＡを歪補正処理部１３３に供給して、新たに設定した選択領域に対応する画像領域ＡＲsの画像を、撮像光学部１１１によって生じた歪を補正した状態の選択領域表示画像Ｇscとする処理を行う。

また、画像出力処理部１３４は、選択領域表示画像Ｇscを含む表示画像の画像データＤＶdを表示モードに応じて生成して表示部１４に供給する。

これにより、表示部１４では、図１６の（Ｂ)に示すように、選択領域を右側に移動したときの画像が表示されることとなる。また、全体画像Ｇcpにおいても、強調画像Ｇsの位置が更新される。また、「Right」ボタンが複数、あるいは連続して押されることにより、処理制御部１３５は、「Right」ボタンの操作回数や押されている期間に応じて選択領域の移動量を設定して、選択領域表示画像Ｇscを更新する。このように、処理制御部１３５は、図１３で示した直交座標系で展開処理を行い、選択領域表示画像を表示部１４に表示させる。

また、ユーザにより例えば「Up」ボタンが押されると、処理制御部１３５は、その入力情報ＰＳに応じて選択領域の切り替え処理を行い、選択領域の切り替えに伴い移動する画像領域ＡＲsの強調画像Ｇsを、撮像光学部１１１によって生じた歪が補正された選択領域表示画像Ｇscとして表示部１４に表示させる。

図１５の（Ａ)，（Ｂ)における「選択」ボタンＧua1，Ｇub1は、様々な利用方法が考えられる。例えば現在の画像領域ＡＲs内の選択領域表示画像Ｇscを録画しておくための録画開始ボタンとして利用できる。また、画像領域ＡＲsが強調画像Ｇsとして示されていない場合に、この画像領域ＡＲsを強調画像Ｇsとして表示してユーザが領域選択動作を行えるようにする領域選択動作の開始ボタンとしても利用できる。あるいは、表示モードＭＨの切り替えボタン、その他、いろいろな決定ボタンとしても利用できる。

また、撮像部１１における基準位置が予め決められた方向例えば北方向となるように正しく設定されている場合、方角ボタンＧub2の「East」ボタンが操作されたことを処理制御部１３５が判別したとき、選択領域を「East」方向に新たに設定することで、選択領域表示画像Ｇscを更新する。また、「West」ボタンが操作されたことを処理制御部１３５が判別したとき、選択領域を「West」方向に新たに設定することで、選択領域表示画像Ｇscを更新する。このように、所望の方角を示すボタンを操作することで、選択領域が所望の新たな位置に設定されている画像を表示部１４に歪みを生じさせることなく表示できる。

なお、図１５の（Ａ)，（Ｂ)に示したＧＵＩ表示は単なる例であり、これに限定されないことは言うまでもない。

図１７は、例えば直交座標モードが選択されている場合に、表示モードが順に切り替えられるときの表示部１４に表示される表示画像を示す。図１７の（Ａ)は、全体画像表示モードＭＨ１に設定されたときの表示画像であり、全体画像Ｇcpのみが表示される。図１７の（Ｂ)は、選択画像表示モードＭＨ２に設定されたときの表示画像であり、選択領域表示画像Ｇscのみが表示される。図１７の（Ｃ)は、両方表示モードＭＨ３に設定されたときの表示画像であり、全体画像Ｇcpと選択領域表示画像Ｇscの両者が表示される。また、表示モードを順に切り替えたときには、全体画像表示モードＭＨ１と選択画像表示モードＭＨ２と両方表示モードＭＨ３がサイクリックに切り替えられる。

図１８は、極座標モードＭＳ２が選択されているときの表示部１４に表示される表示画像を示している。また、図１８では、２つの選択領域を設けた場合を示している。なお、選択領域は１つあるいは２つに限られるものでなく、ユーザが自由に設けられるようにしてもよい。例えば図１５の（Ａ)，（Ｂ)に示した「Menu」ボタンＧuc3が操作されるごとに、増えるようにしてもよいし、他の図示しないＧＵＩ表示が用いられてもよい。この場合、処理制御部１３５は、入力部１２からの入力情報ＰＳに応じて選択領域を複数設ける処理を行う。あるいは、入力部１２からの入力情報ＰＳによらず、予め選択領域を複数設けるように設定してもよい。また、処理制御部１３５は、入力部１２からの入力情報ＰＳに応じて、分割表示モードＭＨ４に設定されたとき、各選択領域の選択領域表示画像を個々に生成して表示部１４で同時に表示させるものとしてもよい。

極座標モードＭＳ２の説明に戻る。図１８では、説明を分かりやすくするため、例えば人間が入り込むことのできない配管の中を、ロボットが走行するといった状態を想定している。また、このロボットには、例えば広角レンズを用いた撮像光学部１１１が設置されているものとする。また、配管の内壁９１の上部にひび割れ９２が発生しているものとする。選択領域表示画像Ｇsc1は、第１の選択領域の画像である。すなわち第１の選択領域に対応する画像領域ＡＲs1の強調画像Ｇs1が歪補正処理されている画像である。また、選択領域表示画像Ｇsc2は、第２の選択領域に対応する画像領域ＡＲs2の強調画像Ｇs2が歪補正処理されている画像である。

図１８の（Ａ)の状態である場合、入力部１２から供給された入力情報ＰＳが例えば図１４に示す極座標系のφag変化方向に選択領域を切り替える切り替え指示であるとき、処理制御部１３５は、切り替え指示に応じてφag変化方向に選択領域を切り替える処理を行い、処理後の選択領域を示す選択領域設定情報ＪＡを選択領域強調表示処理部１３２と歪補正処理部１３３に供給する。選択領域強調表示処理部１３２は、選択領域設定情報ＪＡに基づいて、処理後の選択領域に対応した強調画像Ｇs1，Ｇs2の表示を行う。歪補正処理部１３３は、選択領域設定情報ＪＡに基づいて、処理後の選択領域に対応した画像領域ＡＲs1，ＡＲs2の画像を、撮像光学部１１１によって生じた歪を補正した状態の選択領域表示画像Ｇsc1，Ｇsc2とする補正処理を行う。このため、切り替え指示後の表示画像は、図１８の（Ｂ)に示すように、切り替え指示後の選択領域の画像が選択領域表示画像Ｇsc1，Ｇsc2として表示される。また、強調画像Ｇs1，Ｇs2は選択領域表示画像Ｇsc1，Ｇsc2の領域を正しく示すようになる。この場合、画像領域ＡＲs1，ＡＲs2は全体画像Ｇcp上において反時計方向に移動したものとなり、切り替え指示の方向が逆方向であるときは、画像領域ＡＲs1，ＡＲs2が時計方向に移動したものとなる。

また、図１８の（Ａ)の状態である場合、入力部１２から供給された入力情報ＰＳが例えば図１４に示す極座標系のθag変化方向に選択領域を切り替える切り替え指示であるとき、処理制御部１３５は、切り替え指示に応じてθag変化方向に選択領域を切り替える処理を行い、処理後の選択領域を示す選択領域設定情報ＪＡを選択領域強調表示処理部１３２と歪補正処理部１３３に供給する。選択領域強調表示処理部１３２は、選択領域設定情報ＪＡに基づいて、処理後の選択領域に対応した強調画像Ｇs1，Ｇs2の表示を行う。歪補正処理部１３３は、選択領域設定情報ＪＡに基づいて、処理後の選択領域に対応した画像領域ＡＲs1，ＡＲs2の画像を、撮像光学部１１１によって生じた歪を補正した状態の選択領域表示画像Ｇsc1，Ｇsc2とする補正処理を行う。このため、切り替え指示後の表示画像は、図１９に示すように、切り替え指示後の選択領域の画像が選択領域表示画像Ｇsc1，Ｇsc2として表示される。また、強調画像Ｇs1，Ｇs2は選択領域表示画像Ｇsc1，Ｇsc2の領域を正しく示すようになる。この場合、画像領域ＡＲs1，ＡＲs2は全体画像Ｇcp上において径方向に互いに近づくように移動したものとなり、切り替え指示の方向が逆方向であるときは、画像領域ＡＲs1，ＡＲs2が全体画像Ｇcp上において径方向に互い離れるように移動したものとなる。

なお、極座標モードＭＳ２においては、例えば、選択領域の切り替えは、マウス、キーボード、タッチセンサ等により実現することができ、そのときのＧＵＩはどのような形態であってもよい。

極座標モードＭＳ２では、例えば図１８の（Ａ)に示す表示画像の状態から、図２０に示すように、入力部１２からの取得する入力情報ＰＳに応じて、選択領域表示画像Ｇsc1を表示部１４の下側に１８０度回転させて表示し、選択領域表示画像Ｇsc2を表示部１４の上側に１８０度回転させて表示することも可能である。これにより、ユーザが見やすい角度で画像を見ることができ便利である。

もちろん、上記直交座標モードＭＳ１においても、選択領域が複数設けられており、それに応じて分割表示モードＭＨ４が適用されてもよい。あるいは、直交座標モードＭＳ１及び極座標モードＭＳ２で、画像処理部１３は、選択領域を複数設ける場合であっても、一画面の合成歪補正画像を生成せずに、１つの選択領域の選択領域表示画像を生成して表示部１４に出力するようにしてもよい。この場合、１つの選択領域についての選択領域表示画像を一画面表示とする画像データを出力するか、複数の選択領域の選択領域表示画像を生成して各選択領域表示画像を一画面表示とする画像データを出力するかは、入力部１２による入力情報ＰＳに応じて、あるいは予め設定された設定情報に応じて画像処理部１３の処理制御部１３５が制御する。

極座標モードＭＳ２においては、例えば「Menu」ボタンＧuc3がユーザによって操作される度に、処理制御部１３５は表示モードＭＨの切り替えを直交座標モードＭＳ１と同様に行う。さらに、選択領域が複数設けられるときは、分割表示モードＭＨ４を選択可能とする。

図２１は、分割表示モードＭＨ４を選択可能としたときの表示モードの切り替えの遷移を示した図である。なお、選択領域は４つ設けられているものとする。例えば両方表示モードＭＨ３で１つの選択領域補正画像を表示するモード（図２１の（Ａ)）、両方表示モードＭＨ３で１つの選択領域表示画像を上下反転させて表示するモード（図２１の（Ｂ)）、分割表示モードＭＨ４で２つ選択領域補正画像を表示するモード（図２１の（Ｃ)）、分割表示モードＭＨ４で選択領域補正画像が２つ表示されている画像を上下反転させて表示するモード（図２１の（Ｄ)）、分割表示モードＭＨ４で４つ選択領域補正画像を表示するモード（図２１の（Ｅ)）、分割表示モードＭＨ４で選択領域補正画像が４つ表示されている画像を上下反転させて表示するモード（図２１の（Ｆ)）を切り替えて表示することが可能である。なお、図２１では、すべての選択領域補正画像が表示されていないので、表示する選択領域補正画像を切り替え可能とすればよい。なお、全体画像表示モードＭＨ１や選択画像表示モードＭＨ２への切り替えを可能としてもよいことはもちろんである。

以上のように、本実施の形態によれば、領域選択モードとして直交座標モードＭＳ１と極座標モードＭＳ２を設けたので、例えば視野方向に応じて領域選択モードを切り替えることで、直感的で分かりやすい操作が可能となり、ユーザにとって便利で使いやすい画像処理装置を実現できる。

画像処理部１３は、これまで説明してきたような処理のほか、選択領域表示画像を拡大したり縮小や回転させたりする処理を行うことができる。

図２２を参照して、選択領域表示画像の拡大／縮小処理について説明する。図２２の（Ａ)に示される状態で、ユーザが例えば図１５の（Ａ)，（Ｂ)に示す「拡大」ボタンＧuc1を操作とする。そうすると、このときの入力情報ＰＳに応じて処理制御部１３５は、選択領域の範囲を縮小する処理を行い、処理後の選択領域を示す選択領域設定情報ＪＡを選択領域強調表示処理部１３２と歪補正処理部１３３に供給する。選択領域強調表示処理部１３２は、選択領域設定情報ＪＡに基づいて、処理後の選択領域に対応した強調画像Ｇs1，Ｇs2の表示を行う。歪補正処理部１３３は、選択領域設定情報ＪＡに基づいて、処理後の選択領域に対応した画像領域ＡＲs1，ＡＲs2の画像を、撮像光学部１１１によって生じた歪を補正した状態の選択領域表示画像Ｇsc1，Ｇsc2とする補正処理を行う。ここで、図２２の（Ａ)に示すように、両方表示モードＭＨ３とされている場合、縮小操作が行われた後の表示画像は、縮小後の選択領域に対応した選択領域表示画像Ｇscが、図２２の（Ｂ)に示すように全体画像Ｇcpの表示領域を除く全画面に表示されるので、画像領域ＡＲsに含まれていた人物画像ＧＭは、図２２の（Ａ)に比べて拡大されて表示されることになる。なお、選択領域を縮小することから、全体画像Ｇcpにおける画像領域ＡＲsは狭くなる。

反対に、ユーザが「縮小」ボタンＧuc2を操作すれば、処理制御部１３５はその入力情報ＰＳに応じて選択領域の範囲を縮小する処理を行い、処理後の選択領域を示す選択領域設定情報ＪＡを選択領域強調表示処理部１３２と歪補正処理部１３３に供給する。このため、拡大後の選択領域に対応した画像領域ＡＲsの強調画像Ｇsが歪補正処理されて選択領域表示画像Ｇscとして全体画像Ｇcpの表示領域を除く全画面に表示されるので、画像領域ＡＲsに含まれていた人物画像ＧＭは、図２２の（Ａ)に比べて縮小されて表示されることになる。このようにして拡大／縮小処理が可能となる。

次に、図２３，図２４を参照して、画像処理部１３により選択領域の画像を回転して表示する場合について説明する。図２３の（Ａ)，（Ｂ)は「回転」の操作指示前の状態を示す図であり、図２３の（Ａ)は、全体画像Ｇcp中の例えば人物画像ＧＭが画像領域ＡＲsに含まれるように選択領域が設定されている場合を示している。また、図２３の（Ｂ)は、画像領域ＡＲsの強調画像Ｇsが歪補正処理された画像である選択領域表示画像Ｇscを示している。ユーザからの「回転」の操作指示があった場合、図２４の（Ａ)に示すように、処理制御部１３５はその入力情報ＰＳに応じて、画像領域ＡＲsのほぼ中心点を中心として回転するように選択領域の変更処理を行う。この場合、変更処理後の選択領域に対応する画像領域ＡＲsでは人物画像ＧＭが逆方向に回転された状態となる。したがって、変更処理後の選択領域に対応する画像領域ＡＲsの強調画像Ｇsに対する選択領域表示画像Ｇscを生成すれば、図２４の（Ｂ)に示すように、人物画像ＧＭが選択領域の回転方向とは逆方向に回転された画像を得ることができる。このような回転処理により、ユーザは観察対象物を見やすい角度で見ることができ、便利である。

また、選択領域を回転させるのではなく、全体画像Ｇcpを回転させるようにしても構わない。例えば、図２５の（Ａ)に示すように、直交座標モードＭＳ１における移動軸としてｘ軸（Ｐａｎ軸）が水平方向、ｙ軸（Ｔｉｌｔ軸）が垂直方向となる状態から、図２５の（Ｂ)に示すように、全体画像Ｇcpを、上記ｘ軸及びｙ軸、強調画像Ｇsとともに例えば反時計回りに回転させる。この場合、表示部１４に出力される選択領域表示画像Ｇscに変化はない。これにより、全体画像表示モードＭＨ１において、上記回転方向におけるカメラの設置角度の傾きを補正したり、全体画像Ｇcpを意図的に回転させて特殊効果として表示させたりすることも可能となる。

図２６は、本発明の他の実施の形態に係る画像処理システムの構成を示すブロック図である。これ以降の説明では、図１に示した画像処理システム１０が備えるデバイスや機能等について同様のものは説明を簡略又は省略し、異なる点を中心に説明する。

画像処理システム２０は、図１の画像処理システム１０にさらに記憶装置２１を加えた構成を有している。この記憶装置２１は、例えば撮像部１１で生成された画像データＤＶaや画像処理部１３で生成された各種の画像データを記憶する装置である。記憶装置２１に用いられる記憶媒体としては、光ディスク、磁気ディスク、半導体メモリ、誘電体メモリ、テープ状の記憶媒体等、画像データを記憶できる媒体なら何でもよい。

例えば記憶装置２１は、画像データＤＶaを記憶しておく場合、画像処理部１３は、入力部１２からの入力情報ＰＳに応じて、記憶装置２１からユーザが望む画像データＤＶaを読み出して、表示部１４に表示させることが可能となる。具体的には、ユーザ操作に基づく入力情報ＰＳに応じて、画像処理部１３が、記憶装置２１に記憶された過去の広視野画像Ｇcの画像データＤＶaを読み出して、この読み出された画像データＤＶaで表される視野に対して選択領域を設定して、この選択領域の歪が補正された画像である選択領域表示画像を表示部１４に表示させる、という形態が考えられる。あるいは、ユーザによらず、画像処理部１３は、記憶装置２１に記憶された過去の広視野画像中から、予め設定された選択領域の画像を歪補正処理して表示部１４に表示させる形態も考えられる。

その場合のより具体的な例として、次のような形態も考えられる。例えばユーザが、撮像部１１からリアルタイムで得られる広視野画像中から選択領域を選択して、リアルタイムで全体画像Ｇcp及び選択領域表示画像Ｇscを見るなり、記憶装置２１に記憶しておくなりする。そして、ユーザは、その後、記憶された全体画像Ｇcpを見ながら、上記リアルタイム時に選択した領域とは別の領域を選択してその選択領域表示画像Ｇscを見たりすることも可能である。

あるいは、画像処理部１３は、記憶装置２１に全体画像Ｇcpの画像データを記憶させないで、選択領域表示画像Ｇscの画像データのみを記憶させておくようにすることもできる。この場合、ユーザは、その選択領域表示画像Ｇscを後で見ることができる。もちろん、全体画像Ｇcp及び選択領域表示画像Ｇscの両方を示す画像データやそれぞれの画像の画像データを記憶しておくようにしてもよい。

あるいは、画像処理部１３は、図２７に示すフローチャートの処理を行うこともできる。画像処理部１３は、撮像部１１からリアルタイムの広視野画像を取得し（ＳＴ２４０１）、かつ、記憶装置２１に記憶された過去の広視野画像又は過去の選択領域表示画像を取得する（ＳＴ２４０２）。画像処理部１３は、取得した広視野画像と、過去の広視野画像又は過去の選択領域表示画像とを一画面の画像データとして両者を合成する処理を行い（ＳＴ２４０３）、合成された画像データを表示部１４に出力することができる（ＳＴ２４０４）。あるいは、画像処理部１３は、取得した広視野画像と、過去の広視野画像又は過去の選択領域表示画像とを別々の表示部１４にそれぞれ表示してもよい。なお、ＳＴ２４０１と２４０２とが逆の順である形態も考えられる。

あるいは、画像処理部１３は、リアルタイムで歪補正処理を行って得られる選択領域表示画像Ｇsc（この選択領域表示画像Ｇscは、リアルタイムの広視野画像からリアルタイムで生成される画像でもよいし、記憶装置２１に記憶された過去の広視野画像からリアルタイムで生成される画像でもよい。）と、過去の選択領域表示画像とを両方出力する形態が考えられる。具体的には、図２８に示すように、画像処理部１３は、撮像部１１からリアルタイムで広視野画像を取得するか、又は、記憶装置２１から過去の広視野画像を取得する（ＳＴ２５０１）。さらに、画像処理部１３は、記憶装置２１に記憶された過去の選択領域表示画像を取得する（ＳＴ２５０２）。画像処理部１３は、ＳＴ２５０１で取得した上記広視野画像内の選択領域の画像に対する歪補正処理を行う（ＳＴ２５０３）。画像処理部１３は、その歪補正処理により生成された選択領域表示画像と、ＳＴ２５０２で取得した選択領域表示画像を一画面の画像データとして合成処理し（ＳＴ２５０４）、これを選択領域表示画像Ｇscとして表示部１４に出力する（ＳＴ２５０５）。なお、ＳＴ２５０１と２５０２とが逆の順である形態も考えられるし、ＳＴ２５０２と２５０３とが逆の順である形態も考えられる。

図２８に示す処理の場合、さらに、画像処理部１３は、ＳＴ２５０３で歪補正処理を行って得られる選択領域表示画像（以下、リアルタイム選択領域表示画像という。）と、過去の選択領域表示画像とが、人間が表示部上で区別できるような態様で出力することもできる。具体的には、画像処理部１３が、例えばリアルタイム選択領域表示画像及び過去の選択領域表示画像中のうち少なくとも一方に識別子を付した画像を生成するとか、両画像を囲む枠を生成してその枠の色を変えた画像を生成する等が考えられる。

なお、記憶装置２１に記憶された画像データが動画なら、記憶装置２１の記憶容量に応じて、ある一定容量分の動画データを記憶し、最も古い画像フレームから順次、自動的に消去されるようにしてもよい。

記憶装置２１を用いた形態として、さらに以下のような形態も考えられる。例えば、ある任意の時に、ユーザが、リアルタイムの広視野画像内、又は記憶装置２１から読み出した画像データに基づく広視野画像内に選択領域を設ける操作を行い、画像処理部１３は、その操作に応じて記憶装置２１に選択領域がどのように設けられているかを示す位置情報のみを記憶しておく。また、上記領域選択モードＭＳに応じて選択領域の切り替えが行われた場合、画像処理部１３は、選択領域の切り替えを再現可能とする軌跡情報を記憶装置２１に記憶しておけばよい。図２９は、位置情報又は軌跡情報の記憶処理を示すフローチャートである。画像処理部１３は、撮像部１１からリアルタイムで取得される広視野画像内、又は、記憶装置２１から読み出した画像データに基づく広視野画像内に選択領域を設定するときの入力情報を取得する（ＳＴ２６０１）。画像処理部１３の処理制御部１３５は、入力情報に応じてその選択領域の位置情報を生成する、又は選択領域の切り替え操作が行われたときは、軌跡情報を生成して、選択領域の切り替えを再現可能とする（ＳＴ２６０２）。画像処理部１３の処理制御部１３５は、生成した位置情報又は軌跡情報を記憶装置２１に記憶させる（ＳＴ２６０３）。

このような形態は、例えばある場所のうち、所定の範囲の画像や、ある範囲の軌跡による画像が必要な場合に有効である。例えば、撮像部１１がセキュリティ用の定点監視カメラに搭載される場合、広視野画像の中から、ある所定の範囲の画像や、ある範囲の軌跡の画像が必要になることが考えられる。その場合に、広視野画像中の予め定められた範囲、あるいは予め定められた範囲の軌跡に対応させて選択領域を設定すれば、ユーザが、その範囲やその範囲の軌跡の選択領域表示画像を常に表示部１４で表示画像として監視することができる。このような形態では、例えば記憶装置２１に所定範囲の「軌跡」の選択領域表示画像が記憶される場合、選択領域の連続的な動きの始点から終点までの動きが自動的に周期的に繰り返されるようにすればよい。そして、その周期ごとの画像が記憶装置２１に記憶されればよい。なお、もちろん、本形態はセキュリティ用に限られるわけではない。

念のために説明しておくが、上記所定の範囲の画像は静止画であってもよいし、動画であってもよい。ある範囲の軌跡の画像についてであっても、当該軌跡上の位置の静止画であってもよいし、軌跡の始点から終点までの動画で記憶することができる。この場合、画像処理部１３は、歪補正処理後の画像を静止画で出力する等の処理も考えられる。

図３０は、記憶装置２１を用いた形態として、上述のような、所定範囲の軌跡の設定方法を説明するための図である。

ユーザが、広視野画像に対して選択領域を設定して選択領域の位置を切り替えていく。具体的には、例えば図１５の（Ａ)，（Ｂ)に示した方向ボタンＧua2や方角ボタンＧub2のいずれのボタンが操作されたかを判別して、操作されたボタンの方向に選択領域を移動する処理を繰り返すことで実現され、画像処理システム２０の内部処理では、図２９のＳＴ２６０２及びＳＴ２６０３で示したように、画像処理部１３は、「選択」ボタンＧua1，Ｇub1の操作を示す入力情報に応じて、このときの選択領域の位置情報を記憶装置２１に記憶する。例えば、選択領域に対応した画像領域ＡＲsが広視野画像Ｇc上の位置ａとされたときに「選択」ボタンＧua1，Ｇub1が操作された場合、このときの選択領域の位置情報を記憶する。また、選択領域が切り替えられて、切り替え後の選択領域に対応した画像領域ＡＲsが広視野画像Ｇc上の位置ｂとされたときに「選択」ボタンＧua1，Ｇub1が操作された場合、このときの選択領域の位置情報を記憶する。以下同様に、選択領域に対応した画像領域ＡＲsが広視野画像Ｇc上の位置ｃ，ｄとされたときの選択領域の位置情報を記憶する。

あるいは、ユーザが方向ボタンＧua2あるいは方角ボタンＧub2を操作しなくても、予めプログラムで軌跡が設定されていてもよいし、上述した様々なセンサにより自動認識で軌跡が生成されてもよい。その場合、軌跡は、図３０に示す位置ａ，ｂ，ｃ，ｄのような不連続な点に画像領域ＡＲsが設けられるように選択領域を設定するものでもよいし、位置ａから位置ｄまで連続するように選択領域を設定するものであってもよい。あるいは、ユーザが位置ａ，ｂ，ｃ，ｄの不連続点を設定した場合、位置ａ，ｂ，ｃ，ｄの各点を補間する位置に画像領域ＡＲsが設けられるように選択領域を設定するようなプログラムを、画像処理部１３が備えていてもよい。

あるいは、予め軌跡情報が複数あって、ユーザがそれを選択できるようにしても構わない。

図３１は、本発明のさらに別の実施の形態に係る画像処理システムの構成を示すブロック図である。この画像処理システム３０は、上述の撮像部１１がなく、記憶装置２１を備えている。記憶装置２１には、例えば上述のように広視野画像が予め記憶されている。このような構成によれば、画像処理部１３が広視野画像の画像データＤＶmを読み出し、その広視野画像から展開処理によって選択領域表示画像を得ることができる。

そのほか、画像処理システム３０では、画像処理部１３が、予め記憶装置２１に記憶された画像データに基づく広視野画像から展開処理を行って選択領域表示画像を得るものとし、その広視野画像と選択領域表示画像とを対応付けて記憶装置２１に記憶しておくことも可能である。あるいは、画像処理部１３は、予め記憶された画像データに基づく広視野画像と、その広視野画像から展開処理を行う領域である選択領域を示す情報とを対応付けて記憶装置２１に記憶しておくことも可能である。

本発明は以上説明した実施の形態には限定されるものではなく、種々の変形が可能である。

表示部１４に表示される、全体画像Ｇcpと選択領域表示画像Ｇscとが、所定の時間ごとに交互に表示部１４に表示されるようにすることも可能である。その場合において、ユーザからの何らかの操作入力が合った場合に、全体画像Ｇcpと選択領域表示画像Ｇscとが両方表示されるようにしてもよい。

図１，図２６において、撮像部１１の撮像素子１１２、入力部１２、画像処理部１３、表示部１４、記憶装置２１等は、インターネット、ＬＡＮ（Local Area Network）、あるいは専用回線等のネットワークを介してそれぞれ接続されていてもよい。

上記各実施の形態に係る画像処理システムは、例えば、セキュリティシステム、テレビ会議システム、機械や設備等の検査、管理、試験等のシステム、道路交通システム、移動カメラ（例えば移動する車両、飛行体、その他移動体から撮像するためのカメラ）が用いられるシステム、介護や医療システム等、様々な用途がある。

図２６及び図３１に示した実施形態が組み合わされた画像処理システムを実現することも可能である。つまり、前段と後段にそれぞれ記憶装置があるシステムも実現可能である。

次に、本発明のさらにまた別の実施形態について説明する。本実施形態においては、画像処理部１３の処理制御部１３５が、撮像部１１の設置方向（設置角度）に応じて領域選択モードＭＳを切り替えることが可能である。以下、この場合の画像処理システム４０の構成及び動作について説明する。

図３２は、本発明のさらにまた別の実施形態に係る画像処理システムの構成を示すブロック図である。図３２に示すように、本実施形態において、画像処理システム４０は、図１に示した画像処理システム１０の各構成要素に加えて、撮像光学部１１１に入射する光学像の入射方向を検出する方向検出センサ、例えばジャイロセンサ４１を有している。

ジャイロセンサ４１は、撮像光学部１１１に固定して設けられており、撮像光学部１１１に入射する光学像の入射方向を検出して、方向検出結果を示すセンサ信号ＥＳを画像処理部１３の処理制御部１３５に供給する。なお、以下の説明では、撮像光学部１１１と撮像素子１１２とジャイロセンサ４１を一体として撮像部１１を構成しているものとする。

図３３は、本実施形態において、撮像部１１の設置方向に応じて領域選択モードＭＳを切り替える様子を概念的に示した図である。

図３３に示すように、撮像部１１の設置態様は、上記図１０でも示したように、地面や床上、机上等に設置されて所望の被写体ＨＭを撮像する場合（上半球視野、図３３の（Ａ)）、地面に垂直な壁面等に設置されて被写体ＨＭを水平方向から撮像する場合（前半球視野、図３３の（Ｂ)）、天井や空中等に設置されて被写体ＨＭを撮像する場合（下半球視野、図３３の（Ｃ)）の３つに大別される。

このため、画像処理部１３の処理制御部１３５は、方向検出センサからのセンサ信号に基づいて判別した撮像部１１における鉛直方向の角度に応じて、領域選択モードＭＳの設定や切り替えを自動的に行う。

具体的には、撮像部１１が上半球視野及び下半球視野にある場合には領域選択モードＭＳを極座標モードＭＳ２に切り替え、前半球視野にある場合には直交座標モードＭＳ１に切り替えることとする。このように切り替えるものとすれば、撮像部１１が上半球視野や下半球視野にある場合、広視野画像Ｇcの中心部分の被写体よりもその周囲を容易かつ万遍なく観察することが可能となる。また撮像部１１が前半球視野にある場合には、直交座標モードＭＳ１に設定することで、広視野画像Ｇcの中心部分の被写体を詳細に観察しながら、当該被写体の上下左右方向も容易に観察することができる。

なお、本実施形態において、図３３の（Ａ)のように撮像部１１が上半球視野となるように設置され、領域選択モードＭＳが極座標モードＭＳ２となる状態をＳ₀、図３３の（Ｂ)のように撮像部１１が前半球視野となるように設置され、領域選択モードＭＳが直交座標モードＭＳ１となる状態をＳ₁、図３３の（Ｃ)のように撮像部１１が下半球視野となるように設置され、領域選択モードＭＳが極座標モードＭＳ２となる状態をＳ₂とそれぞれ称することとする。

図３４は、状態Ｓ₀，Ｓ₁及びＳ₂を切り替えるための閾値の設定方法について説明した図である。図３４に示すように、本実施形態においては、例えば撮像部１１が上半球視野にある状態を基準位置（ψ＝０度）とし、まず２つの閾値（ψ₁、ψ₂）を用いて、撮像部１１の設置角度が閾値ψ₁あるいは閾値ψ₂を超えるか否かに応じて上記３つの状態Ｓ₀，Ｓ₁及びＳ₂のいずれの状態であるか判別して、判別結果に基づき領域選択モードＭＳを設定する。さらに、領域選択モードＭＳを設定後に撮像部１１の設置角度に変化があった場合には、上記閾値ψ₁及び閾値ψ₂とは別の閾値を用いて、各状態から別の状態に切り替える際にヒステリシスを持たせる。

具体的には、図３４の（Ａ)に示すように、閾値ψ₁，ψ₂とは別に、例えば閾値ψ₁の前後±１０度の値を新たな閾値ψ₃，ψ₄とし、また例えば閾値ψ₂の前後±１０度の値を新たな閾値ψ₅，ψ₆として設定する。図３４の（Ｂ)に示すように、閾値ψ₃は、状態Ｓ₀から状態Ｓ₁へ切り替える際の閾値であり、閾値ψ₄は、状態Ｓ₁から状態Ｓ₀へ切り替える際の閾値である。また、閾値ψ₅は、状態Ｓ₁から状態Ｓ₂へ切り替える際の閾値であり、閾値ψ₆は、状態Ｓ₂から状態Ｓ₁へ切り替える際の閾値である。閾値ψ₁，ψ₂を含めたこれら各閾値の大小関係は、図３４の（Ｂ)に示すように、ψ₄<ψ₁<ψ₃<ψ₆<ψ₂<ψ₅となる。なお、閾値ψ₁は例えば４５度、閾値ψ₂は例えば１３５度であるが、この数値に限られるものではない。また、上記閾値ψ₃，ψ₄，ψ₅，ψ₆も上記±１０度の値に限られるものではなく、±５度、±１５度等、様々な値を採ることができ、また、閾値ψ₁と、閾値ψ₃及び閾値ψ₄との各差の絶対値が異なるように、また閾値ψ₂と、閾値ψ₅及び閾値ψ₆との各差の絶対値が異なるように設定しても構わない。

次に、本実施形態において上記状態Ｓ₀，Ｓ₁，Ｓ₂の切り替え動作について説明する。図３５は、画像処理システム４０が状態Ｓ₀，Ｓ₁及びＳ₂を切り替える場合の動作を示したフローチャートである。

図３５に示すように、まず、撮像部１１を上記基準位置（ψ＝０度）の位置とする。画像処理部１３の処理制御部１３５は、このときのジャイロセンサ４１の測定結果を取得する（ＳＴ３２０１）。次に、撮像部１１を所望の位置に設置する。処理制御部１３５は、このときのジャイロセンサ４１の測定結果を取得して、この測定結果とＳＴ３２０１で取得した測定結果から現在角度ψ_Pを測定する（ＳＴ３２０２）。

続いて、処理制御部１３５は、現在角度ψ_Pが閾値ψ₁以下であるか否かを判定する（ＳＴ３２０３）。ψ_P≦ψ₁である場合（ＹＥＳ）、処理制御部１３５は、上記Ｓ₀の状態であると判別して、領域選択モードＭＳを上半球視野における極座標モードＭＳ２に設定する（ＳＴ３２０４）。

上記ＳＴ３２０３において、ψ_P＞ψ₁である場合（ＮＯ）、処理制御部１３５は、さらに現在角度ψ_Pが閾値ψ₂以下であるか否かを判定する（ＳＴ３２０７）。ψ_P≦ψ₂である場合（ＹＥＳ）、処理制御部１３５は、上記Ｓ₁の状態であると判別して、領域選択モードＭＳを前半球視野における直交座標モードＭＳ１に設定する（ＳＴ３２０８）。

上記ＳＴ３２０７において、ψ_P＞ψ₂である場合（ＮＯ）、処理制御部１３５は、上記Ｓ₂の状態であると判別して、領域選択モードＭＳを下半球視野における極座標モードＭＳ２に設定する（ＳＴ３２１２）。

ＳＴ３２０４において、領域選択モードＭＳを極座標モードＭＳ２に設定した後、処理制御部１３５は、ジャイロセンサ４１から再度現在角度ψ_Pを読み込み（ＳＴ３２０５）、現在角度ψ_Pが閾値ψ₃以上であるか否かを判定する（ＳＴ３２０６）。ψ_P≧ψ₃である場合（ＹＥＳ）、処理制御部１３５は、上記Ｓ₁の状態に撮像部１１が変更されたと判別して、領域選択モードＭＳを直交座標モードＭＳ１に設定する（ＳＴ３２０８）。ψ_P<ψ₃である場合（ＮＯ）、処理制御部１３５は極座標モードＭＳ２の状態を維持する（ＳＴ３２０４）。

ＳＴ３２０８において、領域選択モードＭＳを直交座標モードＭＳ１に設定した後、処理制御部１３５は、ジャイロセンサ４１から再度現在角度ψ_Pを読み込み（ＳＴ３２０９）、現在角度ψ_Pが閾値ψ₄以下であるか否かを判定する（ＳＴ３２１０）。ψ_P≦ψ₄である場合（ＹＥＳ）、処理制御部１３５は、上記Ｓ₀の状態に撮像部１１が変更されたと判別して、領域選択モードＭＳを極座標モードＭＳ２に設定する（ＳＴ３２０４）。

ＳＴ３２１０において、ψ_P＞ψ₄である場合（ＮＯ）、処理制御部１３５は、さらに上記現在角度ψ_Pが閾値ψ₅以上であるか否かを判定する（ＳＴ３２１１）。ψ_P≧ψ₅の場合（ＹＥＳ）、処理制御部１３５は、上記Ｓ₂の状態に撮像部１１が変更されたと判別して、領域選択モードＭＳを極座標モードＭＳ２に設定する（ＳＴ３２１２）。ψ_P<ψ₅である場合（ＮＯ）、処理制御部１３５は直交座標モードＭＳ１の状態を維持する（ＳＴ３２０８）。

ＳＴ３２１２において、領域選択モードＭＳを極座標モードＭＳ２に設定した後、処理制御部１３５は、ジャイロセンサ４１から再度現在角度ψ_Pを読み込み（ＳＴ３２１３）、現在角度ψ_Pが閾値ψ₆以下であるか否かを判定する（ＳＴ３２１４）。ψ_P<ψ₆である場合（ＮＯ）、処理制御部１３５は、上記Ｓ₁の状態に撮像部１１が変更されたと判別して、領域選択モードＭＳを直交座標モードＭＳ１に設定する（ＳＴ３２０８）。

ＳＴ３２１４において、ψ_P≧ψ₆である場合（ＹＥＳ）、処理制御部１３５は極座標モードＭＳ２の状態を維持する（ＳＴ３２１２）。

このように、処理制御部１３５は、以上の動作を繰り返し行うことで、撮像部１１の設置角度に応じて領域選択モードＭＳを自動的に切り替える。

ここで、状態Ｓ₀及び状態Ｓ₂における極座標モードＭＳ２、又は状態Ｓ₁における直交座標モードＭＳ１に設定して、各モードにおいて選択領域表示画像Ｇscを表示する場合の座標計算方法について説明する。図３６，図３７，図３８，図３９は、当該座標計算方法について示した図である。

まず、図３６の（Ａ)に示すように、上述した極座標モードＭＳ２（上半球視野）において、表示平面８１のＰａｎ（ｚ軸中心の回転）の角度をＨ（ｘ軸方向を０度）、Ｔｉｌｔ（ｘ軸又はｙ軸中心の回転）の角度をＶ（ｘ軸方向を０度）とする。

次に、直交座標モードＭＳ１においては、極座標モードＭＳ２に比べて視野の方向が９０度傾くため、上記図３６の（Ａ)に示した座標軸を入れ替え、上記Ｐａｎ及びＴｉｌｔ値を変換する。

具体的には、まず、図３６の（Ｂ)に示すように、図３６の（Ａ)の各座標軸を、ｘ軸→ｙ軸、ｙ軸→ｚ軸、ｚ軸→ｘ軸というように入れ替え、図３６の（Ａ)におけるＰａｎ角（Ｈ）及びＴｉｌｔ角（Ｖ）がそれぞれ回転した角度をＰａｎ角（ｈ）及びＴｉｌｔ角（ｖ）とする。この場合、表示部１４に表示する画像に対応した領域である選択領域の設定方向を表す方向ベクトル［Ｄ］は、各座標系におけるｘ軸方向の単位ベクトルの回転により、図３７に示す行列で求められる。これにより、直交座標モードＭＳ１における上記回転後のＰａｎ角（ｈ）及びＴｉｌｔ角（ｖ）のｓｉｎ値及びｃｏｓ値は以下のように求められる。

ｓｉｎ（ｖ）＝−ｃｏｓ（Ｈ）ｃｏｓ（Ｖ）
ｃｏｓ（ｖ）＝（１−ｓｉｎ（ｖ）²）^1/2
ｓｉｎ（ｈ）＝ｃｏｓ（Ｈ）ｃｏｓ（Ｖ）／ｃｏｓ（ｖ）
ｃｏｓ（ｈ）＝−ｓｉｎ（Ｖ）／ｃｏｓ（ｖ）
なお、極座標モードＭＳ２においてはｈ＝Ｈ、ｖ＝Ｖとなる。

一方、表示部１４として例えばＶＧＡ（Video Graphics Array）ディスプレイのような固定画素出力とした場合、当該出力に合わせて表示平面［ａ］の座標を表すと、図３８の（Ａ)に示すように、
［ａ］＝［ａ００＝（０，０），ａ０１＝（ｒ，０），・・・ａ１０＝（０，ｑ），ａ１１＝（ｒ，ｑ），ａ１２＝（２ｒ，ｑ），ａｍｎ＝（ｎｒ，ｍｑ），・・・ａＭＮ＝（Ｎｒ，Ｍｑ）］
となる。

当該表示平面［ａ］を、図３８の（Ｂ)に示すように、ｘ軸に垂直に各点列がｙ軸及びｚ軸に平行となり、かつ、中心をｘ軸が通りｘ座標がＲ（Ｒ＝例えば魚眼半径）となるように置いた３次元上の平面［Ｐ０］とすると、上記平面［ａ］は、図３８の（Ｃ)にも示すように、以下のようにして３次元化される。

［ａ］＝［（ｘ０，ｙ０），（ｘ１，ｙ０），・・・（ｘＮ，ｙＭ）］
→［Ａ］＝［（ｘ０，ｙ０，１），（ｘ１，ｙ０，１），・・・（ｘＮ，ｙＭ，１）］
当該行列［Ａ］に、図３８の（Ｃ)で示す行列［Ｋ］を乗じた行列を［Ｐ０］とする（［Ｐ０］＝［Ｋ］［Ａ］）。

続いて、当該平面［Ｐ０］を、図３９の（Ａ)で示すような、上記図１５の（Ａ)，（Ｂ)の操作入力画面Ｇuで設定可能なパラメータにより、図３９の（Ｂ)に示すような球面上に拡大移動する。この場合、当該移動後の平面を平面［Ｐ２］とすると、平面［Ｐ０］上の点Ｐjに対応する平面［Ｐ２］上の点は、点Ｐj2（ｘ２，ｙ２，ｚ２）となる。この平面［Ｐ２］上の各点は、図３９の（Ｃ)に示す［Ｐ０］、［Ｐ２］、［Ｘ］、［Ｙ］、［Ｚ］及び［Ｍ］の各行列を用いて、図３９の（Ｄ)の計算式により求められる。

すなわち、直交座標モードＭＳ１のときは［Ｐ２］＝［Ｚ］［Ｙ］［Ｘ］［Ｍ］［Ｐ０］となり、極座標モードＭＳ２のときは［Ｐ２］＝［Ｚ］［Ｙ］［Ｍ］［Ｐ０］となる。このようにして算出した平面［Ｐ２］の座標値から点Ｐj2に対応する座標値（ｘ２，ｙ２，ｚ２）を用いる。

そして、図３９の（Ｂ)において、上記平面［Ｐ２］上の点Ｐj2（ｘ２，ｙ２，ｚ２）から上述の図１２を用いた歪補正処理の原理と同様に処理すれば、点Ｐj2（ｘ２，ｙ２，ｚ２）に対応する結像点Ｑj2を求めることができる。また、平面［Ｐ２］上の各点についても同様な処理を行うことで、直交座標モードＭＳ１及び極座標モードＭＳ２における歪補正処理後の画像である選択領域表示画像Ｇscを構成する撮像素子１１２上の各画素位置が求められ、この求めた画素位置の画素データを用いることで、歪を生じていない選択領域表示画像Ｇscが表示可能となる。

以上説明した構成及び動作により、本実施形態における画像処理システム４０によれば、撮像部１１の設置角度をジャイロセンサ４１により検出して、当該設置角度に応じて領域選択モードＭＳを適宜切り替えることができ、ユーザの利便性が向上する。

また、ヒステリシスを持たせながら領域選択モードＭＳの切り替えを行うようにしているので、上記閾値ψ₁及び閾値ψ₂付近で設置角度のぶれが生じたとき、ぶれに応じて領域選択モードＭＳが頻繁に切り替わってしまうことがなく、ユーザを混乱させてしまうことがない。

なお、方向検出センサとして上記ジャイロセンサ４１の代わりに例えば重力センサ等の他のセンサを用いて撮像部１１の設置角度を検出するようにしても構わない。

また、本実施形態においては、撮像部１１の設置角度に応じて領域選択モードＭＳを切り替えるようにしていたが、例えば、撮像部１１が、物体に接触したか否かに応じて領域選択モードＭＳを切り替えるようにしても構わない。

図４０は、接触に応じて表示モードを切り替える方法を概念的に示した図である。例えば、配管９５内を撮像部１１が図４０の矢印Ｔ方向へ移動する場合、処理制御部１３５は、配管９５内では例えば極座標モードＭＳ２に設定して、配管９５の周囲を撮像する。また、配管９５の端部において壁面９６に接触した場合、処理制御部１３５は、当該壁面を撮像するために直交座標モードＭＳ１に切り替えるようにしても構わない。この場合、画像処理システムは、接触を検知するための検知センサを設けて、検知結果を画像処理部１３の処理制御部１３５に入力すればよい。その検知センサは、メカニカルなセンサでもよいし、光センサであってもよい。

また、直交座標モードＭＳ１と極座標モードＭＳ２の自動切り替えは、方向検出センサや検知センサ等を用いることなく実施することもできる。次に、センサを用いることなく直交座標モードＭＳ１と極座標モードＭＳ２の自動切り替えを行う場合について説明する。

ここで、自動切り替え動作を容易に理解できるものとするため、撮像部１１の視野を例えば２７０度として説明する。図４１は、撮像光学部１１１として超広角レンズを用いることで２７０度の視野を得た場合を示している。撮像光学部１１１に入射された光は撮像素子１１２の方向に進み、撮像素子１１２のセンサ面上に２７０度の視野の広視野画像Ｇcが形成される。

また、図４２に示すように、２７０度の視野を有した撮像部１１を、視野の中心方向である矢印ＯＣtの方向が水平方向に対して４５度上向きとなるように設けると、前半球視野５３ｈと上半球視野５３ｕが得られている状態となる。

図４３は、２７０度の視野を有した撮像部１１の設置例を示している。例えば船の舳先に、視野の中心方向が水平方向に対して４５度上向きとなるように撮像部１１を設ける。また、撮像部１１の後方には座席ＦＳが設けられた状態となっている。このように撮像部１１を設けた場合、前方の景色を表示部１４に表示させるときには、前半球視野の場合に適したモードである直交座標モードＭＳ１で動作を行うものとすれば、所望の方向の風景に選択領域を設定することが容易となり、歪のない所望の方向の風景画像を表示部１４に表示させることができる。また、後方の座席ＦＳに座っている乗客を表示部１４に表示させるときには、上半球視野や下半球視野の場合に適したモードである極座標モードＭＳ２で動作を行うものとすれば、所望の方向の乗客に選択領域を設定することが容易となり、歪のない所望の方向の乗客画像を表示部１４に表示させることができる。このため、画像処理部１３は、選択領域をいずれの方向に設定するかに応じて領域選択モードＭＳを自動的に切り替えて、撮像光学部１１１の歪が補正されている画像を表示部１４に表示できるようにする。

ここで、選択領域の方向や選択領域の範囲を示す角度範囲等を入力情報ＰＳ等によって指定して選択領域が設定される場合、選択領域を指定する入力情報等に基づき、選択領域の方向を判別できる。また、上述のように、選択領域と画像領域ＡＲsは対応していることから、歪補正処理を行う画像領域ＡＲsの画像位置から選択領域の設定方向を判別できる。

図４４は、選択領域の設定方向に応じて領域選択モードＭＳを自動的に切り替える場合を示している。図４３に示すように撮像部１１を設置したとき、視野が２７０度の広視野画像Ｇcは、図４４に示すものとなる。なお、広視野画像Ｇcの中心は、撮像光学部１１１の光軸方向であり、視野の中心方向が水平方向に対して４５度上向きとなるように撮像部１１が設けられているとき、水平方向の前方正面位置は例えば視野が９０度に相当する画像上の点Ｐfとなる。

図４４の（Ａ)では、前方正面の画像を含むように領域ＡＳ1を設けて、画像領域ＡＲs（図示せず）の例えば中央位置が領域ＡＳ1に含まれるように選択領域の方向が設定されているときは、直交座標モードＭＳ１に設定する。また、後方の画像を含むように領域ＡＳ2を設けて、画像領域ＡＲsの例えば中央位置が領域ＡＳ2に含まれるように選択領域の方向が設定されているときは、極座標モードＭＳ２に設定する。なお、画像領域ＡＲsの中央位置が領域ＡＳ1，ＡＳ2に含まれないときは、設定されている領域選択モードＭＳを保持する。

また、図４４の（Ｂ)に示すように、広視野画像Ｇcの領域を予めマトリクス状に分割して各領域に対して設定する領域選択モードＭＳを割り当てておき、画像領域ＡＲsの例えば中央位置がいずれの領域に含まれるかに応じて領域選択モードＭＳを設定するものとしてもよい。例えば、前方の画像を含む各領域ＡＳm1に対しては、設定する領域選択モードＭＳとして直交座標モードＭＳ１を割り当てておく。また、後方の画像を含む各領域ＡＳm2に対しては、設定する領域選択モードＭＳとして極座標モードＭＳ２を割り当てておく。ここで、選択領域に対応する画像領域ＡＲsの中央位置が領域ＡＳm1に該当するときは直交座標モードＭＳ１に設定する。また、画像領域ＡＲsの中央位置が領域ＡＳm2に該当するときは極座標モードＭＳ２に設定する。

このようにすれば、いずれの視野方向の画像を表示部１４に表示しているかに応じて、領域選択モードＭＳを最適なモードに自動的に設定することが可能となり、所望の方向に位置する被写体の画像を容易に表示部１４に表示できる。

また、センサを用いていないことから、画像処理システム１０，２０，３０のいずれにも適用することが可能である。さらに、センサを用いる画像処理システム４０に適用してもよい。この場合、ジャイロセンサ４１からのセンサ信号ＥＳに基づき、撮像部１１の傾きに応じて領域ＡＳ1，ＡＳ2，ＡＳm1，ＡＳm2の位置や領域サイズを自動的に調整すれば、撮像部１１が水平方向に対して４５度上向きとなるように設けられていなくとも、撮像部１１が水平方向に対して４５度上向きとされている場合と同等の特性で領域選択モードＭＳの切り替え処理を行うことができる。また、撮像部１１の傾きに応じて領域ＡＳ1，ＡＳ2，ＡＳm1，ＡＳm2の位置や領域サイズを設定できるようにしておけば、領域選択モードＭＳの切り替え特性を自由に設定することも可能となる。

ここで、領域選択モードＭＳを自動的に切り替える場合、各領域選択モードに応じたＧＵＩ表示とすれば、いずれの領域選択モードＭＳに設定されているか容易に判別できる。
図４５は、領域選択モードＭＳを自動的に切り替える場合のＧＵＩ表示と画像領域ＡＲsの移動方向を示している。直交座標モードＭＳ１に設定されたときは、図４５の（Ａ)に示すように方向ボタンＧua2として、例えば「Up」「Down」「Right」「Left」ボタンを設ける。なお、図４５の（Ｂ)は、方向ボタンＧua2が操作されたときの全体画像Ｇcpにおける画像領域ＡＲsの移動方向を例示している。極座標モードＭＳ２に設定されたときは、図４５の（Ｃ)に示すように方向ボタンＧud2として、例えば「Center」「Outer」「Right rotation」「Left rotation」ボタンを設ける。なお、図４５の（Ｄ)は、方向ボタンＧud2が操作されたときの全体画像Ｇcpにおける画像領域ＡＲsの移動方向を例示している。

このように、各領域選択モードに応じたＧＵＩ表示とすれば、ユーザはいずれの領域選択モードに設定されているか容易に判別できる。また、所望の方向に位置する被写体の画像を表示部１４に表示する際に、ユーザは方向ボタンの選択を容易に行うことができる。

さらに、撮像部１１は鉛直方向（あるいは水平方向）に対する傾き角度に応じて自動切り替え動作を停止して、直交座標モードＭＳ１あるいは極座標モードＭＳ２のいずれかに設定するものとしてもよい。図４６に示すように、角度ψが「３３７．５度≦ψ＜２２．５度」「１５７．５度≦ψ＜２０２．５度」であるときは、画像領域ＡＲsの位置にかかわらず極座標モードＭＳ２に設定する。角度ψが「６７．５度≦ψ＜１１２．５度」「２４７．５度≦ψ＜２９２．５度」であるときは、画像領域ＡＲsの位置にかかわらず直交座標モードＭＳ１に設定する。角度ψが「２２．５度≦ψ＜６７．５度」「１１２．５度≦ψ＜１５７．５度」「２０２．５度≦ψ＜２４７．５度」「２９２．５度≦ψ＜３３７．５度」であるときは混合モードとして、上述のように画像領域ＡＲsの位置に応じて直交座標モードＭＳ１あるいは極座標モードＭＳ２に自動的に設定する。

図４７は、混合モードを含めた領域選択モードの切り替え動作を示すフローチャートである。処理制御部１３５は角度検出を行い、撮像部１１の傾き角度ψを検出する（ＳＴ３３０１）。次に、処理制御部１３５は検出した傾き角度ψに基づき混合モードに設定するか否かを判別する（ＳＴ３３０２）。ここで、混合モードに設定しないとき（ＮＯ）、処理制御部１３５は、角度ψの検出結果に基づき、領域選択モードを直交座標モードＭＳ１あるいは極座標モードＭＳ２のいずれに設定するが検出する（ＳＴ３３０３）。また、混合モードに設定するとき（ＳＴ３３０２のＹＥＳ）、処理制御部１３５は、選択領域の位置に基づき、領域選択モードを直交座標モードＭＳ１あるいは極座標モードＭＳ２のいずれに設定するが検出する（ＳＴ３３０４）。

ＳＴ３３０３あるいはＳＴ３３０４で領域選択モードの検出が完了すると、処理制御部１３５は領域選択モードを検出した座標モードに設定する（ＳＴ３３０５）。次に、処理制御部１３５は、ＳＴ３３０５で設定した領域選択モードに応じてＧＵＩ表示を行いＳＴ３３０１に戻る（ＳＴ３３０６）。このように領域選択モードを切り替えることで、ユーザにとってより使いやすいインタフェースを提供することができる。

図４８は、方向ボタンが操作されたときの動作を示すフローチャートである。処理制御部１３５は、領域選択モードＭＳを直交座標モードＭＳ１に設定しているか否かを判別する（ＳＴ３４０１）。

ここで、処理制御部１３５は、直交座標モードＭＳ１に設定しているとき（ＹＥＳ）、入力情報ＰＳに基づき方向ボタン操作が行われたか否かを判別する（ＳＴ３４０２）。ここで、方向ボタン操作が行われていないと判別したとき（ＮＯ）はＳＴ３４０１に戻り、方向ボタン操作が行われたと判別したとき（ＹＥＳ）は、「Right」ボタンの操作であるか否かを判別する（ＳＴ３４０３）。

処理制御部１３５は、「Right」ボタンの操作であると判別したとき（ＹＥＳ）、選択領域を右方向の位置に切り替える処理を行いＳＴ３４０１に戻る（ＳＴ３４０４）。処理制御部１３５は、「Right」ボタンの操作でないと判別したとき（ＳＴ３４０３のＮＯ）は、「Left」ボタンの操作であるか否かを判別する（ＳＴ３４０５）。

処理制御部１３５は、「Left」ボタンの操作であると判別したとき（ＹＥＳ）、選択領域を左方向の位置に切り替える処理を行いＳＴ３４０１に戻る（ＳＴ３４０６）。処理制御部１３５は、「Left」ボタンの操作でないと判別したとき（ＳＴ３４０５のＮＯ）は、「Up」ボタンの操作であるか否かを判別する（ＳＴ３４０７）。

処理制御部１３５は、「Up」ボタンの操作であると判別したとき（ＹＥＳ）、選択領域を上方向の位置に切り替える処理を行いＳＴ３４０１に戻る（ＳＴ３４０８）。処理制御部１３５は、「Up」ボタンの操作でないと判別したとき（ＳＴ３４０７のＮＯ）は、「Down」ボタンの操作であるとして、選択領域を下方向の位置に切り替える処理を行いＳＴ３４０１に戻る（ＳＴ３４０９）。

処理制御部１３５は、極座標モードＭＳ２に設定しているとき（ＳＴ３４０１のＮＯ）、入力情報ＰＳに基づき方向ボタン操作が行われたか否かを判別する（ＳＴ３４１０）。ここで、方向ボタン操作が行われていないと判別したとき（ＮＯ）はＳＴ３４０１に戻り、方向ボタン操作が行われたと判別したとき（ＹＥＳ）は、「Right rotation」ボタンの操作であるか否かを判別する（ＳＴ３４１１）。

処理制御部１３５は、「Right rotation」ボタンの操作であると判別したとき（ＹＥＳ）、選択領域を右方向に回転させる処理を行いＳＴ３４０１に戻る（ＳＴ３４１２）。処理制御部１３５は、「Right rotation」ボタンの操作でないと判別したとき（ＳＴ３４１１のＮＯ）は、「Left rotation」ボタンの操作であるか否かを判別する（ＳＴ３４１３）。

処理制御部１３５は、「Left rotation」ボタンの操作であると判別したとき（ＹＥＳ）、選択領域を左方向に回転させる処理を行いＳＴ３４０１に戻る（ＳＴ３４１４）。処理制御部１３５は、「Left rotation」ボタンの操作でないと判別したとき（ＳＴ３４１３のＮＯ）は、「Center」ボタンの操作であるか否かを判別する（ＳＴ３４１５）。

処理制御部１３５は、「Center」ボタンの操作であると判別したとき（ＹＥＳ）、選択領域を中心方向に位置に切り替える処理を行いＳＴ３４０１に戻る（ＳＴ３４１６）。処理制御部１３５は、「Center」ボタンの操作でないと判別したとき（ＳＴ３４１５のＮＯ）は、「Outer」ボタンの操作であるとして、選択領域を中心方向とは逆方向である外方向の位置に切り替える処理を行いＳＴ３４０１に戻る（ＳＴ３４１７）。

このような処理を行うことで、所望の方向に選択領域を容易に切り替えることができる。すなわち、所望の方向に位置する被写体の画像を、撮像光学部１１１の歪を補正した状態として表示部１４の画面上に表示できる。

ところで、本実施形態の画像処理システムでは、表示モードＭＨとして上述の複数のモードを有しており、例えば選択画像表示モードＭＨ２に設定されている状態では、いずれの視野方向に選択領域が設定されているか判別することができない。したがって、選択領域がどのように設定されているかを確認するためには、表示モードＭＨを全体画像表示モードＭＨ１あるいは両方表示モードＭＨ３に変更する操作が必要となってしまう。そこで、選択領域の切り替えや領域選択モードＭＳの切り替え等が行われたときに、全体画像Ｇcpが少なくとも所定時間表示された状態となるように表示モードの変更を行うことで、表示モードの変更操作をユーザが行わなくとも選択領域の確認を容易に行えるようにする。なお、本実施形態における画像処理システムの構成は上記図３２に示した画像処理システム４０と同様のため、説明を省略する。

図４９及び図５０は、全体画像Ｇcpの表示動作を示しており、図４９は、選択領域の切り替えに応じて表示モードＭＨを変更する様子を示した図、図５０は、領域選択モードＭＳの切り替えに応じて表示モードＭＨを変更する様子を示した図である。

画像処理システムの画像処理部１３は、全体画像Ｇcpが表示されない表示モードへの表示モード切り替えが行われたとき、また、全体画像Ｇcpが表示されない表示モードに設定されている場合に、領域選択モードＭＳの切り替えや選択領域の切り替え指示が行われたとき、設定されている表示モードにかかわらず自動的に全体画像Ｇcpが表示される表示モードに所定時間変更する。

図４９の（Ａ)は、選択画像表示モードＭＨ２で表示が行われている場合を示している。選択領域の切り替え指示が行われて選択領域の切り替えが行われた場合、設定されている表示モードに応じた表示画像に対して全体画像Ｇcpを合成する処理を行い、合成処理後の画像を新たに表示画像として表示させる。例えば、表示モードＭＨを両方表示モードＭＨ３に変更して、図４９の（Ｂ)に示すように全体画像Ｇcpも表示させる。その後、所定時間が経過したときには、全体画像Ｇcpの合成処理を終了して全体画像Ｇcpを表示画面から消去する。例えば、表示モードＭＨを選択画像表示モードＭＨ２に戻して、図４９の（Ｃ)に示すように全体画像Ｇcpを消去させる。また、選択領域の切り替え指示が行われて選択領域が元の位置に戻された場合、表示モードＭＨを所定時間だけ両方表示モードＭＨ３に変更して、図４９の（Ｃ)、図４９の（Ｄ)及び図４９の（Ａ)の順に表示を行わせる。

図５０の（Ａ)は、選択画像表示モードＭＨ２で表示が行われており、極座標モードＭＳ２に設定されている場合を示している。ここで、領域選択モードＭＳが直交座標モードＭＳ１に切り替えられた場合には、設定されている表示モードに応じた表示画像に対して全体画像Ｇcpを合成する処理を行い、合成処理後の画像を新たに表示画像として表示させる。例えば、表示モードＭＨを両方表示モードＭＨ３に変更して、図５０の（Ｂ)に示すように全体画像Ｇcpも表示させる。その後、所定時間が経過したときには、全体画像Ｇcpの合成処理を終了して全体画像Ｇcpを表示画面から消去する。例えば、表示モードＭＨを選択画像表示モードＭＨ２に戻して、図５０の（Ｃ)に示すように全体画像Ｇcpを消去させる。

また、領域選択モードＭＳが直交座標モードＭＳ１から極座標モードＭＳ２に切り替えられた場合にも、表示モードＭＨを所定時間だけ両方表示モードＭＨ３に変更して、図５０の（Ｃ)、図５０の（Ｄ)及び図５０の（Ａ)の順に表示を行わせる。なお、所定時間とは例えば３秒、５秒等の数秒であるが、これに限られるものではない。

さらに、画像処理部１３は、領域選択モードＭＳの切り替わり時のみならず、選択領域の切り替え指示が行われたときにも全体画像Ｇcpを表示して、所定時間経過後に選択領域表示画像Ｇscのみの表示に変更することも可能である。

また、画像処理部１３は、選択領域の切り替え指示によって選択領域の切り替えが生じる場合や領域選択モードＭＳの切り替えが行われたときに表示モードを所定期間変更するだけでなく、撮像方向が変化して選択領域に対応する画像領域ＡＲsの画像が変更された場合にも、表示モードを所定期間変更するようにしてもよい。例えば撮像部１１による撮像方向が変化すると広視野画像Ｇcの画像が変化することから、撮像素子１１２のセンサ面上における画像領域ＡＲsの位置が変化していなくとも選択領域表示画像Ｇscは変化したものとなってしまう。すなわち、選択領域が変更された状態となる。このため、例えばジャイロセンサ４１からのセンサ信号ＥＳに基づき撮像領域の変更を判別したときには、所定期間表示モードの変更を行い全体画像Ｇcpを表示する。このようにすれば、ユーザは、所望の方向に位置する被写体の画像を表示部１４に表示するために選択領域の切り替え指示をどのように行えばよいか容易に判断できる。

図５１は、図４９や図５０に示した表示モードの変更を行う場合の、画像処理システムの動作の流れを示したフローチャートである。画像処理部１３の処理制御部１３５は、選択領域の切り替え（移動）があったか否かを判別する（ＳＴ３６０１）。すなわち、選択領域の切り替え指示を行うための上記方向ボタンＧua2，Ｇud2や方角ボタンＧub2に対するユーザ操作を示す入力情報ＰＳが入力部１２から供給されたか否か、あるいは上述の軌跡情報に基づいて自動的に選択領域を切り替える場合に選択領域の切り替えが生じたか否かを判定する。ここで、選択領域の切り替えがあった場合（ＹＥＳ）には、画像出力処理部１３４に表示制御情報ＪＨを供給して、画像出力処理部１３４により、全体画像Ｇcp及び選択領域表示画像Ｇscを合成した合成画像を表示部１４で表示させる（ＳＴ３６０６）。そして、処理制御部１３５は、当該合成画像の出力から所定時間が経過したか否かを判定し（ＳＴ３６０７）、所定時間が経過した場合（ＹＥＳ）には、表示制御情報ＪＨを画像出力処理部１３４に供給して、合成画像から全体画像Ｇcpが消去された一画面の選択領域表示画像Ｇscの表示に変更する（ＳＴ３６０８）。すなわち、処理制御部１３５によって画像出力処理部１３４を制御して、図４９や図５０に示すように、所定時間経過後に、表示モードＭＨを両方表示モードＭＨ３から選択画像表示モードＭＨ２に変更する。

画像処理部１３の処理制御部１３５は、選択領域の切り替えがあったか否かを判別で、選択領域の切り替えがないと判別した場合（ＮＯ）、処理制御部１３５は、上記表示モードＭＨや領域選択モードＭＳのモード切り替えがあるか否か、すなわち、モードを切り替えるための上記「選択」ボタンＧua1，Ｇub1や「Menu」ボタンＧuc3に対するユーザ操作を示す入力情報ＰＳが入力部１２から供給されたか否かを判定する（ＳＴ３６０２）。ここで、モード切り替えがあった場合（ＹＥＳ）、上記ＳＴ３６０６以降の処理を行う。また、画像処理部１３は、ＳＴ３６０２においてモードの切り替えがないと判定した場合（ＮＯ）、撮像部１１の姿勢（設置角度）に変化があったか否かを判定する（ＳＴ３６０３）。すなわち、処理制御部１３５は、上記図３２で示したジャイロセンサ４１が検知した傾斜角度を示すセンサ信号ＥＳに基づき、例えば当該検知結果と、予め定めた初期値との相違を判定する。撮像部１１の設置角度に変化があった場合（ＹＥＳ）、画像処理部１３は、上記ＳＴ３６０６以降の処理を行う。

さらに、処理制御部１３５は、ＳＴ３６０３において撮像部１１の設置角度に変化がないと判定した場合（ＮＯ）には、入力部１２に対する何らかのユーザ操作があるか否かを判定して、ユーザ操作がある場合（ＹＥＳ）には上記ＳＴ３６０６以降の処理を行い、ユーザ操作がない場合（ＮＯ）には上記ＳＴ３６０１以降の処理を繰り返す。なお、当該ユーザ操作は、上記表示モードＭＨや領域選択モードＭＳを切り替える操作や、選択領域を切り替えるための操作である場合には、上記ＳＴ３６０１又はＳＴ３６０２の処理と同様となるため、ＳＴ３６０４におけるユーザ操作はそれら以外の操作を判定対象とする。

なお、図５１では、選択領域の切り替えがないと判別した場合に、モード切り替えがあるか否か、姿勢変化があるか否か、操作入力があるか否かを順番に判定するものとしたが、図５２に示すＳＴ３６０５で、選択領域の切り替え、モード切り替え、姿勢変化、操作入力のいずれかがあるか否かを判別して、いずれかがあると判別したときＳＴ３６０６からの処理を行うものとしても、全体画像Ｇcpを所定時間表示することが可能となる。

以上の処理により、選択領域の切り替え、表示モードＭＨや領域選択モードＭＳの切り替え、撮像部１１の姿勢の変化及びユーザからの操作入力があった場合、全体画像Ｇcpが少なくとも所定時間表示された状態となるように表示が行われる。したがって、ユーザは、選択領域の切り替えやモードの切り替えが行われた場合に、選択領域がどのように設定されているかを全体画像Ｇcp中の画像領域ＡＲsの強調画像Ｇsによって容易に確認することができるとともに、確認後は、選択領域表示画像Ｇscを全体画像Ｇcpに邪魔されることなく観察することができる。

なお、画像処理部１３は、まず両方表示モードＭＨ３で全体画像Ｇcpを表示してから所定時間経過後に全体画像Ｇcpのない選択画像表示モードＭＨ２に切り替えるのとは逆に、上記表示モードＭＨや領域選択モードＭＳ等の切り替えがあった場合には、まず選択画像表示モードＭＨ２で選択領域表示画像Ｇscのみを出力してから、所定時間経過後に、全体画像Ｇcpが合成された両方表示モードＭＨ３で合成画像を表示するように画像データＤＶdを生成しても構わない。これにより、まず表示部１４に表示された選択領域表示画像Ｇscを死角なく確認してから、所定時間経過後に表示されるようになった選択領域表示画像Ｇscを観察して、現在の選択領域を確認することができる。

図５３は、表示モード切替処理の別の形態を示した図である。画像処理部１３は、上記合成画像を表示する際に、例えば合成画像として、選択領域表示画像Ｇscを縮小して全体画像Ｇcpと重複しないように一画面に並べて出力するようにしても構わない。また、全体画像Ｇcpを選択領域表示画像Ｇsc上に半透明状態で合成して出力するようにしても構わない。いずれにしても、画像処理部１３は、全体画像Ｇcpを表示しながらユーザが選択領域表示画像Ｇscを死角なく観察できるような処理を行えばよい。

さらに、画像処理部１３は、上記所定時間を一定値とせずに、動的に変化させるようにしても構わない。例えば、領域選択モードＭＳが切り替わった場合には、選択領域の位置が大幅に変化することがあるため、その場合には、上記所定時間を、同一の領域選択モードＭＳにおける選択領域の切り替えや撮像部１１の姿勢等の変化があった場合の上記所定時間に比べて長くして、ユーザが選択領域を確実に確認できるようにしてもよい。また例えば、分割表示モードＭＨ４において分割領域が増えると、複数の選択領域を確認するのに時間を要することが考えられるため、分割領域が増えるような（全体画像Ｇcp中の強調画像Ｇsの数が増えるような）操作をユーザが行った場合には、他のモード切り替えや姿勢変化等の場合に比べて所定時間を長くしてユーザが確実に選択領域を確認できるようにしてもよい。

この発明では、画像データで表される視野の一部を示す選択領域が切り替えられたことに応じて、選択領域を識別可能とした被写体画像が表示画像に用いられていない画像データに代えて、選択領域を識別可能とした被写体画像が表示画像に用いられている画像データに変更される。このため、撮像された広画角画像に対して所望の領域を選択領域として設定して、この選択領域の画像の確認等を行う場合に好適である。

Claims (9)

1. 撮像光学部を通るときに歪が生じた光学像を撮像することで得られる画像データから、一部の選択領域を識別可能に強調処理した前記歪を含む広視野画像と、前記選択領域の画像から前記歪が補正された歪補正後の選択画像とを生成する画像処理部と、
   前記広視野画像と前記歪補正後の選択画像を用いて、表示モードに応じた表示画像を出力する画像出力処理部と、
   前記選択領域が切り替えられたことに応じて、前記歪補正後の選択画像を前記表示画像とする第１の表示モードから、前記歪補正後の選択画像の一部領域に前記広視野画像の全体が合成処理された画像を前記表示画像とする第２の表示モードに、前記画像出力処理部の前記表示モードを変更する処理制御部と、
   を備える画像処理装置。
2. 前記処理制御部は、前記選択領域が切り替えられたことに応じて、前記第１の表示モードを、前記第２の表示モードに所定期間変更し、前記所定期間後、前記第１の表示モードに変更する、
   請求項１に記載の画像処理装置。
3. 前記選択領域の切り替え指示を行う入力部をさらに備え、
   前記処理制御部は、前記切り替え指示に応じて前記選択領域の切り替えを行う、
   請求項１または２に記載の画像処理装置。
4. 前記処理制御部は、
   前記切り替え指示に基づいて前記選択領域を直交座標系の軸方向に移動させる第１の領域選択モードと、前記切り替え指示に基づいて前記選択領域を極座標系の偏角方向に移動させる第２の領域選択モードを有し、
   前記第１および第２の領域選択モードが変更されたことに応じて、前記第１の表示モードを前記第２の表示モードに変更する、
   請求項３に記載の画像処理装置。
5. 撮像方向を検出する方向検出センサをさらに備え、
   前記処理制御部は、
   前記方向検出センサからのセンサ信号によって、前記撮像方向が変化し前記選択領域が変更されたことを判別したとき、前記表示モードを所定期間変更するように、前記第１の表示モードを前記第２の表示モードに変更する、
   請求項１または２に記載の画像処理装置。
6. 撮像光学部を通るときに歪が生じた光学像を撮像することで得られる画像データから、一部の選択領域を識別可能に強調処理した前記歪を含む広視野画像と、前記選択領域の画像から前記歪が補正された歪補正後の選択画像とを生成するステップと、
   前記選択領域が切り替えられたことに応じて、前記歪補正後の選択画像を表示画像とする第１の表示モードから、前記歪補正後の選択画像の一部領域に前記広視野画像の全体が合成処理された画像を表示画像とする第２の表示モードに、表示モードを変更するステップと、
   前記広視野画像と前記歪補正後の選択画像を用いて、前記第１の表示モードまたは前記第２の表示モードに応じた表示画像を出力するステップと、
   を備える画像処理方法。
7. 撮像光学部を通るときに歪が生じた光学像を撮像することで得られる画像データから、一部の選択領域を識別可能に強調処理した前記歪を含む広視野画像と、前記選択領域の画像から前記歪が補正された歪補正後の選択画像とを生成するステップと、
   前記選択領域が切り替えられたことに応じて、前記歪補正後の選択画像を表示画像とする第１の表示モードから、前記歪補正後の選択画像の一部領域に前記広視野画像の全体が合成処理された画像を表示画像とする第２の表示モードに、表示モードを変更するステップと、
   前記広視野画像と前記歪補正後の選択画像を用いて、前記第１の表示モードまたは前記第２の表示モードに応じた表示画像を出力するステップと、
   をコンピュータに実行させるためのプログラム。
8. 撮像光学部を通るときに歪が生じた光学像を撮像することで得られる画像データから、一部の選択領域を識別可能に強調処理した前記歪を含む広視野画像と、前記選択領域の画像から前記歪が補正された歪補正後の選択画像とを生成するステップと、
   前記選択領域が切り替えられたことに応じて、前記歪補正後の選択画像を表示画像とする第１の表示モードから、前記歪補正後の選択画像の一部領域に前記広視野画像の全体が合成処理された画像を表示画像とする第２の表示モードに、表示モードを変更するステップと、
   前記広視野画像と前記歪補正後の選択画像を用いて、前記第１の表示モードまたは前記第２の表示モードに応じた表示画像を出力するステップと、
   をコンピュータに実行させるためのプログラムを記録した、コンピュータ読み取り可能な記録媒体。
9. 撮像光学部と、
   前記撮像光学部を通るときに歪が生じた光学像を撮像する撮像素子と、
   前記撮像素子から得られる画像データから、一部の選択領域を識別可能に強調処理した前記歪を含む広視野画像と、前記選択領域の画像から前記歪が補正された歪補正後の選択画像とを生成する画像処理部と、
   前記広視野画像と前記歪補正後の選択画像を用いて、表示モードに応じた表示画像を出力する画像出力処理部と、
   前記選択領域が切り替えられたことに応じて、前記歪補正後の選択画像を前記表示画像とする第１の表示モードから、前記歪補正後の選択画像の一部領域に前記広視野画像の全体が合成処理された画像を前記表示画像とする第２の表示モードに、前記画像出力処理部の前記表示モードを変更する処理制御部と、
   を備える撮像装置。

Images