WO2007055335A1

WO2007055335A1 - 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体

Info

Publication number: WO2007055335A1
Application number: PCT/JP2006/322498
Authority: WO
Inventors: Shigemitsu Yamaoka; Ryo Kamiya
Original assignee: Sony Corporation
Priority date: 2005-11-11
Filing date: 2006-11-10
Publication date: 2007-05-18
Also published as: US20090160996A1; JPWO2007055335A1; JP5136060B2; EP1954029B1; DE602006021219D1; US8254713B2; JPWO2007055336A1; EP1950954B1; US20090041378A1; EP1954029A4; US8169527B2; JP5136059B2; DE602006021225D1; KR101329470B1; KR101270893B1; EP1950954A4; KR20080068697A; EP1950954A1; KR20080068698A; WO2007055336A1

Abstract

　被写体からの光学像を歪を与える撮像光学部を介して撮像することで得られる、撮像光学部の歪を含む画像データを処理する画像処理装置において、領域選択モード設定部（１３ｂ）は、画像データで表される視野に対して、直交座標系を用いて視野の一部の領域を示す選択領域を選択する第１の領域選択モードと、画像データで表される視野に対して、極座標系を用いて視野の一部の領域を示す選択領域を選択する第２の領域選択モードとを選択的に設定する。歪補正部（１３ａ）は、領域選択モード設定部１３ｂで設定された第１又は第２の領域選択モードにおいて選択された選択領域に相当する画像データを歪補正して被歪補正データを得る。データ出力部（１３ｄ）は被歪補正データを出力する。

Description

画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体

技術分野

[0001] 本発明は、撮像された広視野画像を処理する画像処理装置、画像処理方法、そのプログラム及び記録媒体に関する。

背景技術

[0002] 従来から、例えば魚眼レンズを用いて撮像された画像中、ユーザにより必要な領域が指定され、指定された領域の魚眼画像データの歪曲収差の補正がなされ、補正された画像がモニタで表示される、という技術が提案されている。撮像された画像は、静止画だけでなく動画もある（例えば、日本特開 2000— 324386号公報（明細書段落 [0009]、図 1)参照。）。

[0003] 上記日本特開 2000— 324386号公報に記載の装置において、ユーザが、カメラで撮像した画像中から領域を指定するときの指定方法をもっと工夫すれば、さらに便禾 IJになることが予想される。このようにカメラが用いられたシステムは、将来の幅広い応用が期待されて、ることから、ユーザにとって使、やす、インタフェースを提供することが重要な課題となる。

発明の開示

[0004] 本発明に係る画像処理装置は、被写体からの光学像を歪を与える撮像光学部を介して撮像することで得られる、撮像光学部の歪を含む画像データを処理する画像処理装置において、画像データで表される視野に対して、直交座標系を用いて視野の一部の領域を示す選択領域を選択する第 1の領域選択モードと、画像データで表される視野に対して、極座標系を用いて視野の一部の領域を示す選択領域を選択する第 2の領域選択モードとを選択的に設定する領域選択モード設定部と、領域選択モード設定部で設定された第 1又は第 2の領域選択モードにおいて選択された選択領域に相当する画像データを歪補正することにより得た被歪補正データを出力するデータ出力部とを備える。 [0005] 本発明では、領域選択モードとして第 1の領域選択モードと第 2の領域選択モードが設けられており、そのうち 1つの領域選択モードで選択領域の設定や切り替えを行う。これにより、ユーザにとって便利で使いやすい画像処理装置が実現される。領域選択モードは、例えばユーザの好みの領域選択モードに設定するものとしてもよ!/、し、撮像される場所、環境、又は目的等に応じて設定するようにしてもよい。あるいは、予め設定された領域選択モードに設定するものとしてもよい。このようにして、領域選択モードを選択的に設定して、設定された領域選択モードで選択領域の設定や切り替えを行う。なお、被写体画像は、主に動画を意味するが、もちろん静止画も含まれる。

[0006] 本発明におヽて、第 1の領域選択モードが選択される場合、選択領域が直交座標系を用いて切り替えられるので、例えば人間が普通に見る視野、つまり上下左右のある風景等の画像が撮像される場合に特に有効である。すなわち、このような場合に第

1の領域選択モードを選択することで、人間にとって直感性の高い操作が可能となる。一方、第 2の領域選択モードが選択される場合、選択領域が極座標系を用いて切り替えられるので、例えば水平面から上方向又は下方向に臨むような視野の画像が撮像される場合に特に有効である。すなわち、このような場合に第 2の領域選択モードを選択することで、人間にとって直感性の高い操作が可能となる。

[0007] 本発明におヽて、画像処理装置で用いる画像データは、撮像光学部と該撮像光学部を介して入射する被写体画像の画像データを生成する撮像素子を有する撮像部から出力される画像データでもよぐまた、撮像光学部を介して入射する被写体画像の画像データを記憶した記憶装置力読み出された画像データであってもよ、。この撮像部や記憶装置は、画像処理装置と一体に設けられていても、また別個に設けられていてもよい。さらに、撮像部と記憶装置のいずれか一方のみを用いる構成であつてもよい

[0008] 撮像部を用いるものとすれば、例えばリアルタイムに得られる広視野の被写体画像から視野の一部の領域を示す選択領域の画像を、歪みを生じさせることなく表示することができる。また、記憶装置を用いるものとすれば、例えば既に撮影されている広視野の被写体画像から選択領域の画像を、歪みを生じさせることなく表示することができる。さらに、撮像部と記憶装置を用いるものとすれば、リアルタイムの画像と過去の画像を 1度に視認することができ、便利である。

[0009] 本発明において、画像処理装置は、撮像光学部に入射する光学像の入射方向を検出する方向検出センサを設けて、この方向検出センサ力ものセンサ信号に基づき、第 1の領域選択モード又は第 2の領域選択モードに設定するものとしてもよい。また、方向検出センサ力のセンサ信号に基づいて判別した鉛直方向に対する角度に応じて、領域選択モードの設定を行うものとしてもよい。これにより、撮像光学部による撮像方向に応じて領域選択モードを切り替えることができるため、例えば被写体を上方、下方、水平方向のいずれの方向から撮像するかに応じて適切な領域選択モードを選択することができ、ユーザの利便性が向上する。例えば撮像光学部に入射する光学像の入射方向が鉛直方向である場合の角度を 0度とした場合、検出した角度が 45度未満又は 135度以上の場合には第 2の領域選択モード、 45度以上 135度未満の場合には第 1の領域選択モードというように切り替えられる。

[0010] さらに、角度が第 1の閾値を超えたか否かに応じて第 1の領域設定モードから第 2 の領域設定モードへ切り替え、角度が第 1の閾値とは異なる第 2の閾値を超えたか否力に応じて第 2の領域選択モードから第 1の領域選択モードへ切り替えを行うようにしても構わない。このように、第 1の領域選択モードから第 2の領域選択モードへ切り替える場合の閾値と、第 2の領域選択モードから第 1の領域選択モードへ切り替える場合の閾値とを異ならせてヒステリシスを持たせることで、 1つの閾値付近における傾斜角度の揺らぎによりモードが頻繁に切り替わってユーザに混乱を与えることを回避することがでさる。

[0011] 本発明において、画像処理装置は、物体の接触を検知する検知センサを設けて、接触が検知されたか否かに応じて、第 1の領域選択モードと第 2の領域選択モードとを切り替えるようにしてもょ、。

[0012] これにより、撮像光学部を移動させながら撮像する場合に、撮像光学部と被写体との距離に応じて領域選択モードを切り替えることができるため、例えば接触を検知しない間は第 2の領域選択モード、検知した場合には第 1の領域選択モードというように、ユーザの用途に応じた適切なモード切替を実現できる。 [0013] また、画像処理装置では、選択領域の設定状態に応じて第 1の領域選択モード又は第 2の領域選択モードに設定される。これにより、選択領域がどのように設定されているかに応じて、領域選択モードを自動的に切り替えることが可能となる。さらに、領域選択モードに応じて GUI (Graphical User Interface)の表示を切り替えることで、いずれの領域選択モードに設定されて!、るかを容易に判別できる。

[0014] 本発明に係る画像処理方法は、被写体からの光学像を歪を与える撮像光学部を介して撮像することで得られる、前記撮像光学部の歪を含む画像データを処理する画像処理方法において、前記画像データで表される視野に対して、直交座標系を用いて前記視野の一部の領域を示す選択領域を選択する第 1の領域選択モードと、前記画像データで表される視野に対して、極座標系を用いて前記視野の一部の領域を示す選択領域を選択する第 2の領域選択モードとを選択的に設定する領域選択モード設定ステップと、前記領域選択モード設定ステップで設定された第 1又は第 2の領域選択モードで選択された選択領域に相当する前記画像データを歪補正することにより得た被歪補正データを出力するデータ出力ステップとを備える。この発明は、プログラムの発明やそのプログラムを記録した記録媒体の発明にも適用できる。

[0015] 以上のように、本発明によれば、被写体力もの光学像を歪を与える撮像光学部を介して撮像することで得られる、前記撮像光学部の歪を含む画像データを用いて、この画像データで表される視野の一部の領域の画像の再生を行う場合に、ユーザにとつて便利で使!ヽやす!ヽ画像処理装置、又は画像処理方法等を実現することができる。図面の簡単な説明

[0016] [図 1]本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である

[図 2]撮像素子に形成される被写体画像と選択領域の関係を説明するための図である。

[図 3]画像処理部の機能構成を示すブロック図である。

[図 4]表示モード及び領域選択モードを説明するための図である。

[図 5]画像処理部の具体的構成を例示したブロック図である。

[図 6]全体画像を示す図である。 [図 7]表示部に表示される画像の一例を示す図である。

[図 8]処理制御部の動作を示すフローチャートである。

圆 9]視野を三次元空間の球面として示す図である。

圆 10]撮像部により撮像されるときの視野 (撮像範囲)をそれぞれ示す図である。圆 11]レンズの像高特性を説明するための図である。

[図 12]歪補正処理の原理を説明するための図である。

圆 13]領域選択モードのうち、直交座標モードでの動作を説明するための図である。圆 14]領域選択モードのうち、極座標モードでの動作を説明するための図である。圆 15]ユーザが、入力部を用いて選択領域の変更指示を行う際に表示される GUIの一例を示している。

圆 16]直交座標モードが選択されているときに選択領域の切り替え指示が行われた場合を説明するための図である。

圆 17]直交座標モードが選択されている場合に、表示モードが順に切り替えられるときの表示部 14に表示される表示画像を示す。

[図 18]極座標モードが選択されているときの、表示部の表示画像を示す図である。圆 19]極座標モードが選択されているときの、切り替え指示後の表示画像を示す図である。

[図 20]極座標モードが選択されているときの、表示部の表示画像を示す図であり、分割表示モードの表示を上下逆にする場合を説明するための図である。

圆 21]分割表示モードを選択可能としたときの表示モードの切り替えの遷移を示した図である。

圆 22]選択領域表示画像の拡大 Z縮小処理を説明するための図である。

圆 23]回転の操作指示前の状態を示した図である。

圆 24]選択領域の画像の回転処理を説明するための図である。

圆 25]同じく選択領域の画像の回転処理を説明するための図である。

[図 26]本発明の他の実施の形態に係る画像処理システムの構成を示すブロック図である。

[図 27]図 26で示した画像処理システムが行う処理の一例を示すフローチャートである。

[図 28]図 26で示した画像処理システムが行う処理の他の例を示すフローチャートである。

[図 29]位置情報又は軌跡情報の記憶処理を示すフローチャートである。

[図 30]図 29で示したフローで、表示画像上の所定範囲の軌跡を説明するための図である。

[図 31]本発明のさらに別の実施の形態に係る画像処理システムの構成を示すブロック図である。

圆 32]本発明のまたさらに別の実施形態に係る画像処理システムの構成を示すプロック図である。

[図 33]図 32の画像処理システムにおいて、撮像部 11の設置方向に応じて領域選択モード MSを切り替える様子を概念的に示した図である。

[図 34]図 33の状態 S , S , Sを切り替えるための閾値の設定方法について説明した

0 1 2

図である。

[図 35]図 32の画像処理システム 40が状態 S , S及び Sを切り替える場合の動作の

0 1 2

流れを示したフローチャートである。

[図 36]図 32の画像処理システムが直交座標モードと極座標モードとをそれぞれ設定する場合の座標計算方法について説明した図である。

[図 37]図 32の画像処理システムが直交座標モードと極座標モードとをそれぞれ設定する場合の座標計算方法について説明した図である。

[図 38]図 32の画像処理システムが直交座標モードと極座標モードとをそれぞれ設定する場合の座標計算方法について説明した図である。

[図 39]図 32の画像処理システムが直交座標モードと極座標モードとをそれぞれ設定する場合の座標計算方法について説明した図である。

圆 40]接触に応じて表示モードを切り替える方法を概念的に示した図である。

圆 41]撮像光学部で 270度の視野を得た場合を示した図である。

[図 42]撮像方向を水平方向に対して 45度上向きにした状態を示した図である。

[図 43]撮像部の設置例を示した図である。 [図 44]領域選択モードの自動切り替えを説明するための図である。

[図 45]領域選択モードを自動的に切り替える場合の GUI表示と画像領域の移動方向を示した図である。

[図 46]混合モードを含めた領域選択モードの切り替え動作を説明するための図である。

[図 47]混合モードを含めた領域選択モードの切り替え動作を示すフローチャートである。

[図 48]方向ボタンが操作されたときの動作を示すフローチャートである。

[図 49]本発明のさらに別の実施形態において、選択領域の切り替えに応じて表示モード MHを変更する様子を示した図である。

[図 50]本発明のさらに別の実施形態において、領域選択モード MSの切り替え変化に応じて表示モード MHを変更する様子を示した図である。

[図 51]表示モード切替処理を行う場合の画像処理システムの動作の流れを示したフローチャートである。

[図 52]表示モード切替処理を行う場合の画像処理システムの動作の他の流れを示したフローチャートである。

[図 53]表示モード切替処理の別の形態を示した図である。

発明を実施するための最良の形態

[0017] 以下、本発明の実施の形態を図面に基づき説明する。

[0018] 図 1は、本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。

[0019] 画像処理システム 10は、撮像部 11、入力部 12、画像処理部 13、表示部 14を備えている。また、撮像部 11は、撮像光学部 111と撮像素子 112を用いて構成されている。

[0020] 撮像光学部 111は、被写体画像を撮像素子 112の撮像面に結像させるためのものである。ここで、撮像光学部 111は、広視野の被写体画像を撮像素子 112の撮像面に結像させるために例えば広角レンズを用いる。広角レンズとしては、画角がおよそ 4 5度以上のものが用いられる力これに限られるわけではない。また、撮像光学部 11 1は、魚眼レンズや PAL (Panoramic Annular Lens) (環状のレンズ）等を用いて構成するものとしてよい。さらに、広角レンズを用いる代わりに、筒状，お椀状あるいは円錐状等のミラーを用いて、広視野の被写体画像がミラーの反射を利用して撮像素子 112の撮像面に結像されるようにしてもよい。また、レンズやミラー等を複数組み合わせて、視野をさらに広げるようにしてもよい。例えば、画角が 180° 程度の魚眼レンズを 2つ用いることで、全方位 (球空間（360° ；) )の視野の被写体画像を得ることもできる。

[0021] 撮像素子 112は、光を電気信号に変換する例えば CCD (Charge Coupled Device) や、 CMOS (Complementary Metal-Oxide Semiconductor)センサ等が用いられる。この撮像素子 112は、被写体画像に基づ!/、た画像データ DVaを生成して画像処理部 13に供給する。

[0022] 図 2は、撮像光学部 111に魚眼レンズを用いたとき、撮像素子 112に形成される被写体画像と選択領域の関係を示して!/、る。撮像光学部 111の画角が例えば 180° 程度であり、視野を図 2の半球状の球面 51として示すことができるとき、撮像素子 11 2に形成される被写体画像 (以下「広視野画像」 t ヽぅ） Gcは、撮像光学部 111によつて歪を生じた画像例えば円形状の画像となる。このため、撮像素子 112で得られた画像データ DVaに基づヽて画像表示を行うと、表示される画像は撮像光学部 111による歪を生じた表示画像となってしまう。ここで、画像データ DVaで表される視野の一部の領域を示す選択領域を設けたとき、この選択領域は、撮像光学部 111の画角内では例えば選択領域 71に相当するものとなり、広視野画像 Gcにおいては画像領域 ARsに相当するものとなる。したがって、画像処理部 13は、画像領域 ARsの画像に対して、撮像光学部 111によって生じた歪を補正する歪補正処理を行うことで、歪のない選択領域の画像を表示することが可能となる。このため、例えば撮像光学部 111 の画角内において、所望の被写体が含まれるように選択領域の設定を行うことで、歪のない所望の被写体の画像を表示することが可能となる。さらに、選択領域の位置を新たな位置に切り替えるものとしたり、選択領域のサイズや形状を変更すれば、選択領域に対応する画像領域 ARsの位置やサイズ，形状も変更される。したがって、撮像光学部 111の画角内における任意の位置や領域の画像を、撮像光学部 111の歪を補正した状態で表示することが可能となる。

[0023] ここで、選択領域は、撮像光学部 111の画角内における選択領域 71の位置や選択領域 71の範囲を示す角度範囲等を指定することで設定できる。また、広視野画像 Gc上に設定される画像領域 ARsは、上述のように選択領域と対応するものであることから、画像領域 ARsの位置や範囲等を指定することによつても、選択領域を設定できる。

[0024] なお、魚眼レンズを用いたときには、選択領域が小さ!/、ほど、また、選択領域が視野の中央に位置するほど、画像領域 ARsの範囲は選択領域の形状に近くなる。反対に、選択領域が大きいほど、また、選択領域が視野の端に位置するほど、画像領域 ARsの範囲は選択領域に対して歪んだ形になる。

[0025] 入力部 12は、ユーザ操作に応じて選択領域の位置の切り替えや選択領域の領域サイズや領域形状の変更、選択領域の切り替えを行う際の動作モードや、画像の表示モードの設定等を行うためのものである。入力部 12は、ユーザが操作できる機器であれば何でもよい。例えばマウス、キーボード、スィッチ機器、タツチセンサ、ゲーム機器のコントローラ、ユーザが把持可能なスティック状の操作機器等が挙げられる。この入力部 12は、ユーザ操作に応じた入力情報 PSを生成して画像処理部 13に供給する。

[0026] 画像処理部 13は、撮像部 11から供給された画像データ DVaを用いて歪補正処理を行、、撮像光学部 111によって生じた歪が補正されて、る選択領域の画像を生成する。また、画像処理部 13は、表示部 14に表示する画像の表示モード設定を行い、設定された表示モードに応じた表示画像の画像データ DVdを生成して表示部 14に供給する。なお、画像処理部 13は、表示画像として広視野画像や歪が補正されている選択領域の画像等を用いる。さらに、画像処理部 13は、選択領域の位置を切り替える際の動作モードである領域選択モードの設定を行い、入力部 12からの入力情報 PSに基づき、設定された領域選択モードで選択領域の切り替え処理を行う。また、画像処理部 13は、最初の動作開始時に予め指定された表示モードや領域選択モードに設定する処理や、動作終了時の表示モードや領域選択モードに設定して動作を開始する処理等も行う。 [0027] 表示部 14は、液晶表示素子や有機 EL素子等で構成されており、画像処理部 13 から供給された画像データ DVdに基づいて画像表示を行う。

[0028] 本実施の形態で示す画像処理システム 10において、撮像部 11、入力部 12、画像処理部 13、表示部 14は一体ィ匕して設けるものとしてもよぐ個々に分離して設けるものとしてもよい。さらに、一部のみを一体ィ匕してもよい。例えば入力部 12と表示部 14 を一体化して設けるものとすれば、表示部 14の表示を確認しながら入力部 12の操作を行うことが容易に可能となる。さらに、撮像部 11においても、撮像光学部 111と撮像素子 112を一体ィ匕しるものとしたり、分離して設けるようにしてもょ、。

[0029] 図 3は、画像処理部 13の機能構成を示すブロック図である。画像処理部 13は、歪補正部 13a、領域選択モード設定部 13b、表示モード設定部 13c、データ出力部 13 d及び制御部 13eを有する。

[0030] 歪補正部 13aは、画像データ DVaにおける選択領域に相当する画像データを用いて、撮像光学部 111の歪を補正する歪補正を行い、被歪補正データの生成を行う。

[0031] 領域選択モード設定部 13bは、選択領域の設定や切り替えを行うときの動作モードである領域選択モードを設定する。この領域選択モード設定部 13bは、例えば図 4に示すように、領域選択モード MSとして、第 1の領域選択モードである直交座標モード MS1、第 1の領域選択モードである極座標モード MS2を設けておき、いずれかの領域選択モードを選択的に設定する。なお、各領域選択モードについては後述する。

[0032] 表示モード設定部 13cは、表示部 14で歪補正がなされた画像等を表示する際の表示モードを設定する。この表示モード設定部 13cでは、例えば図 4に示すように、表示モード MHとして、全体画像表示モード MH1、選択画像表示モード MH2、両方表示モード MH3、分割表示モード MH4を設けておき、いずれかの表示モードに設定する。なお、各表示モードについては後述する。

[0033] データ出力部 13dは、設定された表示モードに応じた表示画像の画像データを出力する。ここで、撮像光学部 111の歪が補正されている選択領域の画像を表示画像として表示する場合、被歪補正データの出力を行う。また、広視野画像を表示画像として表示する場合、撮像部 11から供給された画像データの出力を行う。さらに、撮像光学部 111の歪が補正されて!ヽる選択領域の画像と広視野画像を表示する場合には、被歪補正データと撮像部 11から供給された画像データを用いて新たな画像データを生成して出力する。

[0034] 制御部 13eは、領域選択モード設定部 13bで設定された領域選択モード MSに応じて選択領域の設定や切り替えを行う。

[0035] 図 5は、画像処理部 13の具体的構成を例示したブロック図である。画像データ DVa は、画像抽出処理部 131と歪補正処理部 133に供給される。

[0036] 画像抽出処理部 131は、画像データ DVaから広視野画像 (被写体画像) Gcの画像データ DVcを抽出して選択領域強調表示処理部 132に供給する。ここで、広視野画像 Gcは、図 2に示すように、撮像素子 112におけるセンサ面上の一部の領域を示すものであり、撮像光学部 111によって決定される。このため、センサ面上の広視野画像 Gcの領域が固定している場合は、画像データ DVaから所定の画素データ抽出を行って広視野画像 Gcの領域の画素データを抽出する。また、撮像光学部 111が交換可能でセンサ面上の広視野画像 Gcの領域が変化する場合、あるいは撮像光学部 111の光学特性が変更できるようになされて!、るためセンサ面上の広視野画像 Gcの領域が変化する場合、センサ面上の広視野画像 Gcの領域を予め判別しておき、判別されて!ヽる広視野画像 Gcの領域の画像データを抽出する。広視野画像 Gcの領域の判別は、例えば撮像光学部 111の視野内がすべて白色の被写体となるようにして撮像を行い、画像データ DVaが白色のレベルとなる画素位置を検出する。このよう〖こすれば、容易に広視野画像 Gcの領域を判別することができる。

[0037] 選択領域強調表示処理部 132は、広視野画像 Gcにお、て、後述する処理制御部 135から供給された選択領域設定情 ¾JAに基づき、この選択領域設定情 ¾JAによつて示された選択領域と対応する画像領域 ARsを、ユーザが容易に識別できるように処理する。例えば選択領域強調表示処理部 132は、画像領域 ARsと画像領域 A Rsでない領域との境界を示す境界表示を設けるものとしたり、画像領域 ARsを除いた領域の輝度や色を変更して、画像領域 ARsが識別可能となるように表示制御を行う。この画像領域 ARsの画像は、識別可能に強調された画像であり強調画像 Gsと呼ぶものとする。このような画像処理を行い、広視野画像 Gcにおいて、画像領域 ARs が強調画像 Gsとして識別可能とされてヽる画像 (以下「全体画像 Gcp」 t ヽぅ）の画像データ DVcpを生成して画像出力処理部 134に供給する。

[0038] 歪補正処理部 133は、図 3に示す歪補正部 13aに相当するものであり、画像データ DVaを用いて撮像光学部 111の歪補正処理を行、、処理制御部 135から供給された選択領域設定情 ¾JAによって示された選択領域の歪補正がなされた被補正画像データ DVscを生成して画像出力処理部 134に供給する。

[0039] 画像出力処理部 134は、図 3に示すデータ出力部 13dに相当するものであり、処理制御部 135からの表示制御情 ¾JHに基づき、画像データ DVcp及び Z又は被補正画像データ DVscを用いて表示画像の画像データ DVdを生成する。

[0040] 処理制御部 135は、図 3に示す領域選択モード設定部 13b,表示モード設定部 13 c,制御部 13eに相当するものである。処理制御部 135は、領域選択モードの設定を行い、設定した領域選択モードに応じて、入力部 12からの入力情報 PSに基づいた選択領域の設定や切り替えを行!ヽ、設定した選択領域あるいは新たに設定した選択領域を示す選択領域設定情衞 Aを生成して、選択領域強調表示処理部 132や歪補正処理部 133に供給する。また、処理制御部 135は、表示モードの設定を行い、設定した表示モードに応じて表示制御情！ BJHを生成して画像出力処理部 134に供給する。さらに、処理制御部 135は、表示制御情衞 Hによって、表示画像にメニュー表示を含める処理等も行わせる。

[0041] 画像処理部 13は、例えば CPU (Central Processing Unit)、 RAM (Random Access

Memory)、 ROM (Read Only Memory)等のハードウェア、 ROM等に格納されたソフトウエア、あるいはファームウェア等で構成される。また、画像処理部 13は、 FPGA(F ield Programmable Gate Arrayノ、あるヽは DSP (Digital Signal Processor) で構成して、他にもビデオエンコーダ、サウンドエンコーダ、上記入力情報 PSを取得するためのインタフェース、又は上記表示部 14へ画像データ DVdを出力するためのインタフエース等を備えてもよい。また、 FPGAと DSPが両方用いられ、両者が処理を分担するようにしてちょい。

[0042] 入力部 12から画像処理部 13に供給する入力情報 PSとは、上述のように表示モード MHや領域選択モード MSの設定、選択領域の切り替え指示等を示す情報である。また、選択領域の切り替え指示を示す情報には、選択領域を所定方向に所定量単位で移動させるための情報、変更後の選択領域の位置を示す情報等を含めるものとしてもよい。さらに、入力情報 PSには、選択領域の領域サイズを変更する情報、選択領域を回転させる情報、選択領域の領域形状を設定する情報等を含めるものとしてちょい。

[0043] 選択領域は、ユーザ操作に応じて切り替え等が行われる形態に限られるものではない。例えば、上述のように予め指定された位置に選択領域を設定する形態も考えられる。その場合の当該選択領域に関する情報は、予め図示しない ROMや、外部の記憶装置等に格納されていればよい。さらに、広視野画像 Gc内のある特定の領域が自動認識される場合に、その自動認識された特定の領域を選択領域に対応する画像領域 ARsとして処理する形態も考えられる。例えば、動きのある被写体が自動認識される場合に、この動きのある被写体の画像を含む領域を画像領域 ARsとして自動的に処理する形態も考えられる。あるいは、図示しない様々なセンサによって、広視野画像 Gc内で検出された画像領域を選択領域に対応する画像領域 ARsとして処理する形態もある。その場合、センサとは、例えば温度センサ、音センサ、圧力センサ、光センサ、湿度センサ、振動センサ、ガスセンサ、その他様々なセンサが挙げられる。これらのセンサで生成されたセンサ信号は、処理制御部 135に供給されて、処理制御部 135では供給されたセンサ信号を利用して選択領域の切り替えや各部の制御を行う。例えば、異常な温度や異常な音等を検出したときには、異常な温度や異常な音等が検出された方向に対応させて選択領域を自動的に切り替えるものとすれば、表示部 14の画面上に、異常が検出された方向の撮像画像を歪補正された状態で表示することができる。また、異常の検出に応じて表示モードの切り替えや領域サイズの切り替え、領域形状の切り替え等を行うものとすれば、異常の確認をユーザが容易に行えるような表示も可能となる。

[0044] なお、図 5に示す構成は例示的なものであり、画像処理部 13は、図 3に示す機能構成を有するものであれば、図 5に示す構成に限られるものではない。例えば、撮像部 11から供給される画像データ DVaが広視野画像 Gcのみを示すものであるときは、画像抽出処理部 131を設ける必要がない。また、選択領域強調表示処理部 132を画像出力処理部 134の入力側に代えて出力側に設けるものとしてもよい。この場合、画像データ DVaに基づく画像に広視野画像が含まれるとき、広視野画像において、選択領域と対応する画像領域を、ユーザが容易に識別できるように処理する。

[0045] 図 6は、全体画像を示している。画像データ DVaに対して画像処理部 13で歪補正処理を行わない場合、広視野画像 Gcは、撮像光学部 111によって生じた歪みを有する画像となる。ここで、処理制御部 135によって選択領域が設定された場合、選択領域強調表示処理部 132は、上述のように選択領域が容易に識別できるように画像処理を行う。すなわち、表示されている広視野画像 Gcにおいて、選択領域と対応する画像領域 ARsと画像領域 ARsでなヽ領域との境界を示す境界表示 (例えば枠表示)を設けるものとしたり、画像領域 ARsを除いた領域の輝度や色を変更して画像領域 ARsを強調した強調画像 Gsとする。なお、選択領域を全視野に設定したとき、選択領域に対応する画像領域 ARsは、広視野画像 Gcの全体を示すものとなる。

[0046] また、処理制御部 135は、表示制御情! BJHによって画像出力処理部 134の動作を制御して、全体画像表示モード MH1に設定した場合には、図 6に示すように広視野画像 Gcにお、て、画像領域 ARsが強調画像 Gsとして識別可能とされて、る全体画像 Gcpのみを表示画像とした画像データ DVdを生成させる。また、処理制御部 135 は、選択画像表示モード MH2に設定した場合、画像領域 ARsの画像に対して撮像光学部 111によって生じた歪の補正が行われて、る画像 (以下「選択領域表示画像」という） Gscのみを表示画像とした画像データ DVdを生成させる。また、処理制御部 135は、両方表示モード MH3に設定した場合、図 7に示すように全体画像 Gcpと選択領域表示画像 Gscが同時に表示された表示画像の画像データ DVdを生成させる。さらに、選択領域が複数設定される場合には、選択領域に対応する各強調画像の歪が補正された画像を選択領域表示画像 Gscとして、全体画像 Gcpとともに表示した表示画像の画像データ DVdを生成させる。ここで、図 7に示すように、全体画像 Gcp と選択領域表示画像 Gscを同時に表示する場合、画像出力処理部 134は、例えば O SD (On Screen Display)等の技術を用いればよい。

[0047] 次に、処理制御部 135の動作を図 8のフローチャートを用いて説明する。処理制御部 135は、表示モードや領域選択モードの初期設定や選択領域の設定を行う (ST1 001)。例えば、最初の動作開始時には、予め設定されている表示モードや領域選択モードに設定する。また、選択領域を予め設定されている視野方向に所定サイズで設定する。また、動作終了時に表示モードや領域選択モードの設定状態や選択領域の設定状態を示す情報を記憶しておき、この情報を次回の動作開始時に用いて、前回の動作終了時の状態で動作を開始するものとしてもよい。

[0048] 処理制御部 135は、入力部 12から供給された入力情報 PSが設定等の変化を生じさせる情報である力否かを判別する（ST1002)。ここで、入力情報 PSが設定等の変化を生じさせる情報である場合 (ST1002の YES)、処理制御部 135は、取得した入力情報 PSに応じて、表示モードや領域選択モードの設定の変更や、選択領域の変更を行い、変更後の選択領域の画像に対して歪補正処理が行われるように、歪補正処理部 133の動作を制御する。また、変更後の選択領域の画像が識別可能となるように選択領域強調表示処理部 132を制御する。さらに、変更後のモードに応じた画像データ DVdが生成されるように画像出力処理部 134の動作を制御する（ST1003 )。また、取得した入力情報 PSが選択領域のサイズや形状を変更させるものであるときは、変更後の選択領域に対応して歪み補正や強調表示処理が行われるように歪補正処理部 133や選択領域強調表示処理部 132を制御する。例えば、選択領域の形状が、円形，楕円形，三角形， 5角形以上の多角形，直線と曲線とで構成される形状、あるいはこれら以外の複雑な形状等に設定されたときでも、これらの形状の選択領域に含まれる画像の歪み補正が行われるように、歪補正処理部 133を制御する。また、これらの形状の選択領域に対応した強調画像となるように選択領域強調表示処理部 132の動作を制御する。なお、入力情報 PSが設定や選択の変化を生じさせる情報でない場合（ST1002の NO) ST1002に戻り、入力部 12から新たに供給された入力情報 PSが設定や選択の変化を生じさせる情報である力否かの判別を行う。

[0049] 以降、処理制御部 135が、入力情報 PSを取得し、それに応じて選択領域の画像を歪が補正されて、る状態で得ることを展開処理と、う。

[0050] 次に、図 9及び図 10を用いて、撮像光学部 111の設置状態の態様について説明する。視野を図 9のように三次元空間で表現するものとした場合、選択領域は球面 52 上に表現することが可能となる。なお、矢印 OAを光軸としたとき角度 Θは入射角を示す。 [0051] ここで、撮像光学部 111が例えば 180° 程度の画角である魚眼レンズを用いて構成されている場合、視野は球面 52のうち半球部分に相当するものとなる。このため、撮像光学部 111を真上に向けて設置した場合は、図 10の (A)に示すように、球面の上半分が撮像光学部 111の視野となる。なお、球面の上半分の視野を上半球視野という。また、撮像光学部 111を真下に向けて設置した場合は、図 10の（B)に示すように、球面の下半分が撮像光学部 111の視野となる。なお、球面の下半分の視野を下半球視野という。さら〖こ、撮像光学部 111を水平方向に向けて設置して前方を撮像する場合は、図 10の（C)に示すように、球面の前半分が撮像光学部 111の視野となる。なお、球面の前半分の視野を前半球視野という。また、前方を撮像に代えて左方向や右方向を撮像する場合の視野は、左半球視野あるいは左半球視野となる。

[0052] 撮像光学部 111を真上に向けて設置する場合としては、すなわち撮像光学部 111 の光軸を鉛直線と略一致させてするものとなり撮像方向が上方となる場合としては、例えば、地面、床上、机上力上方向を見る場合が想定される。撮像光学部 111を真下に向けて設置する場合としては、すなわち撮像光学部 111の光軸が鉛直線と略一致するものとなり撮像方向が下方となる場合としては、例えば、天井や上空から下方向を見る場合が想定される。撮像光学部 111を水平方向に向けて設置する場合としては、例えば地面に垂直な壁等から水平方向あるいは横方向を見る場合が想定される。

[0053] これらのほか、斜め上半分や斜め下半分の視野も考えられる。これらのように、撮像光学部 111の設置方向（撮像光学部 111と撮像素子 112がー体に構成されて、るときは撮像部 11の設置方向）に応じた半球状の視野が得られる。なお、魚眼レンズを用いた場合に限らず、広角レンズやミラー等を用いた場合にも設置方向に応じて視野の方向が変化する。さらに、視野が広いときには一部の視野範囲を選択して、この選択した視野範囲を利用するものとしてもよい。

[0054] 次に、歪補正処理部 133の歪補正処理について説明する。歪補正処理の手法として、幾何学的補正が用いられ、例えば歪のある系の二次元座標力歪のない二次元直交座標系に変換するような一般的なアルゴリズムが用いられればよヽ。この場合、その変換式や変換テーブルが図示しない ROMやその他のメモリ等に保存されていればよい。しかし、そのような歪補正に限られず、他の公知の歪補正が用いられてもよい。

[0055] 図 11は、レンズの像高特性を説明するための図である。図 11の (A)では、点 Oを中心とする上半球視野を y軸方向から見て二次元表示としたものである。図中、矢印 O Pkは例えば被写体の方向を示して、る。この矢印 OPkで示す方向に位置する被写体の結像点を点 Qとしたとき、点 O力も結像点 Qまでの距離が像高 Lhとなる。図 11の (B)は、当該像高特性を例示したグラフである。横軸が角度 (入射角） Θ、縦軸が像高 Lhを示している。当該データは、変換テーブルとして予めメモリに記憶されていればよい。

[0056] 図 12は、歪補正処理の原理を説明するための図である。図 12の (A)は、表示部 14 に表示する画像の範囲を示す表示平面 81である。図 12の（B)は、上半球視野の球面 51に対して表示平面 81を設定した状態を示している。ここで、選択領域の画像を表示部 14の表示画像とする場合、この表示画像の範囲を示す表示平面 81は選択領域に相当するものとなる。図 12の（C)は、図 12の（B)に示す球面 51を x—y平面上に投影した状態を示すものであり、この球面 51が投影された領域が全体画像 Gcpの領域に相当する。

[0057] 上半球視野の球面 51に対して設定した表示平面 81上の例えば点 Pについて説明する。この点 Pの位置を P (u, V, w)とすると、 OP= (u²+v²+w²) ^1/2であることから、角度 Θは Θ =arccos[wZ ( (u²+v²+w²) ^1/2) ]の演算を行うことにより求めることができる。なお、表示平面 81の中心は HOとする。また、上述した像高特性を撮像光学部 111について予め求めておき、角度 Θと像高 Lhの変換テーブルを記憶させておけば、角度 Θを算出することで点 Pに対する像高 Lhを得ることができる。

[0058] また、点 Pから X— y平面に垂線をおろしたときの X— y平面上の交点を点 P' (u, v, 0)とすると、 OP， =OP X sin ( 0 )となる。したがって、結像点 Q (xp, yp)は、 xp=u X Lh/ ( (u +v +w ) ^1/2 X sin ( θ ) )ゝ yp=v X Lh/ ( (u +v +w²) ^{1 2} X sin ( Θ ) )の位置となり、このようにして結像点 Q (xp, yp)を求めることができる。

[0059] また、点 Pに対応した X— y平面上の点 P'の方向と X軸との角度 φを求めて、角度 φ と像高 Lh力も結像点 Qの位置を求めるものとしてもよい。ここで、角度 φは、 φ =arc cos[uZ ( (u +v²) ^1/2) ]の演算を行うことにより求めることができる。したがって、点 Oから X軸に対して角度 φを成す方向に像高 Lhだけ離れた位置が結像点 Qとなる。

[0060] このようにして求めた結像点 Qの画素信号を撮像素子 112から得るものとして、この画素データに基づき図 12の（D)に示すように表示平面 81上の点 Pの描画を行う。また、表示平面 81内のすべての点（画素）についても同様な処理を行うことで、表示平面 81上に、撮像光学部 111によって生じた歪が補正された画像を表示できる。なお、結像点 Qに対応する画素信号がない場合には、結像点 Qの周隨こ位置する画素の画素信号を用いて結像点 Qに対応する画素信号を生成すればょ、。例えば結像点 Qの周隨こ位置する画素の画素信号を用いて補間等を行うことで、結像点 Qに対応する画素信号を生成できる。

[0061] このように、表示平面 81上の各点に対応する結像点 Qの画素データを用いて描画を行うことで、歪補正された画像を得られることから、処理制御部 135は、選択領域に対応する結像点すなわち選択領域に対応する画像領域 ARsを判別可能とする情報を選択領域設定情衞 Aとして生成する。例えば、処理制御部 135は、図 12の（B)に示す角度 θ , φを用いて選択領域を示した情報を選択領域設定情 ¾JAとする。この場合、角度 Θに対応する像高 Lhと角度 φから、選択領域に対応した画像領域 ARs を判別できるので、選択領域強調表示処理部 132は、選択領域に対応した画像領域 ARsを強調画像 Gsとした全体画像 Gcpの画像データ DVcpを生成することができる。また、歪補正処理部 133は、選択領域に相当する表示平面上の各画素を示す角度 0 , φに基づいて各画素に対応した画素データを得ることで、歪補正処理がなされた選択領域表示画像 Gscの被補正画像データ DVscを生成できる。また、選択領域設定情 ¾JAとして、選択領域の範囲を示す座標値を用いるものとしても、上述のような演算処理等を行うことで、全体画像 Gcpの画像データ DVcpや選択領域表示画像 Gscの被補正画像データ DVscを生成することができる。また、座標値を用いるものとすれば、選択領域の形状が複雑となっても選択領域を容易に示すことが可能となる。

[0062] 次に、領域選択モードについて説明する。領域選択モード MSとしては、図 4に示すように、第 1の領域選択モードである直交座標モード MS1と第 2の領域選択モードである極座標モード MS2が設けられて!/、る。

[0063] 直交座標モード MS1とは、例えば図 10の（C)に示すように、前半球視野として地面に垂直な壁等力も水平方向あるいは横方向を見る場合等に、所望の被写体の歪補正処理がなされた画像を容易に得られるモードである。具体的には、入力部 12から選択領域の切り替え指示を示す入力情報 PSが供給されたとき、処理制御部 135は切り替え指示に基づいて選択領域 71を直交座標系の軸方向に移動する演算処理を行！ヽ、新たに設定した選択領域を示す選択領域設定情衞 Aの生成を行う。

[0064] 図 13は、領域選択モードのうち、直交座標モード MS1での動作を説明するための図である。直交座標モード MS1では、直交座標系を用いて選択領域 71を切り替え指示に応じて切り替える。切り替え指示は、例えば切り替え後の選択領域の X座標と y座標の座標値を示すものとしたり、選択領域の X方向の移動量や y方向の移動量を示すものとして、選択領域 71を直交座標上で切り替える。ここで、 X座標あるいは y座標のいずれか一方のみが変更されるとき、選択領域 71は直交座標系の軸方向に移動した新たな位置となる。また、 X座標と y座標を変更すれば、選択領域 71は直交座標系の軸方向に対して斜め方向に移動した新たな位置となる。

[0065] 切り替え指示に基づき選択領域 71を X方向に移動させて順次設定するとき、選択領域 71上の任意の点（例えば中心 PO)の軌跡は線 51xとなる。また、切り替え指示に基づき選択領域 71 方向に移動させて順次設定するとき、選択領域 71上の中心 POの軌跡は線 51yとなる。なお、選択領域 71が移動されることで画像領域 ARsも移動する。

[0066] このように、直交座標モード MS1では、直交座標系の座標値を変更することで前記選択領域の切り替えを行う。このため、視野が例えば前半球視野となる場合に直交座標モード MS1を選択すれば、選択領域の切り替え指示によって、選択領域 71を水平方向あるいは垂直方向に移動した位置に容易に設定することが可能となるので、表示部 14に表示されている画像を、容易に所望の方向の画像に切り替えることができる。例えば水平方向に並んで、る被写体から所望の被写体を選択して表示させることが容易となる。

[0067] 次に、極座標モード MS2について説明する。極座標モード MS2とは、例えば図 10 の (A)に示すように、上半球視野として地面、床上、机上から上方向を見る場合、あるいは図 10の (B)に示すように、下半球視野として天井や上空から下方向を見る場合等に、所望の被写体の歪補正処理がなされた画像を容易に得られるモードである。具体的には、入力部 12から選択領域の切り替え指示を示す入力情報 PSが供給されたとき、処理制御部 135は切り替え指示に基づ!/、て選択領域 71を極座標系の偏角の変化方向に移動する演算処理を行ヽ、新たに設定した選択領域を示す選択領域設定情衞 Aの生成を行う。

[0068] 図 14は、領域選択モードのうち、極座標モード MS2での動作を説明するための図である。極座標モード MS2では、極座標系を用いて選択領域 71を切り替え指示に応じて切り替える。切り替え指示は、図 14に示すように、視野を三次元空間で表現するものとした場合、例えば切り替え後の選択領域の偏角 Θ agと偏角 c^ agを示すものとしたり、偏角 Θ agの変化量や偏角 φ agの変化量を示すものとして、選択領域 71を極座標上で切り替える。ここで、偏角 Θ agあるいは偏角 ( ) agのいずれか一方のみが変更されるとき、選択領域 71は極座標系の偏角 Θ agが変化する方向（以下「 Θ ag変化方向」という）あるいは偏角 φ agが変化する方向（以下「 φ ag変化方向」という）に移動した新たな位置となる。また、偏角 Θ agと偏角 φ agを変更すれば、選択領域 71は極座標系の Θ ag変化方向あるいは φ ag変化方向に対して斜め方向に移動した新たな位置となる。

[0069] 切り替え指示に基づき選択領域 71を Θ ag変化方向に移動させて順次設定するとき、選択領域 71上の任意の点（例えば中心 PO)の軌跡は線 51rとなる。また、切り替え指示に基づき選択領域 71を変化方向に移動させて順次設定するとき、選択領域 71上の中心 ΡΟの軌跡は線 51sとなる。なお、選択領域 71が移動されることで画像領域 ARsも移動する。

[0070] また、二次元空間で表現される画像で視野を表現する場合、切り替え指示は、例えば切り替え後の選択領域の偏角 φ agと動径を示すものとしたり、偏角 φ agの変化量や動径の変化量を示すものとすれば、視野を二次元空間で表現する場合にも、選択領域 71を極座標上で切り替えることが可能となる。

[0071] このように、極座標モード MS2では、極座標系の偏角および Zまたは動径を変更することで選択領域の切り替えを行う。このため、視野が上半球視野あるいは下半球視野となる場合に極座標モード MS2を選択すれば、選択領域の切り替え指示によつて、選択領域 71を偏角の変化方向に移動した位置に容易に設定することが可能となるので、表示部 14に表示されている画像を、容易に所望の方向の画像に切り替えることができる。例えば、撮像光学部 111の周囲に位置する被写体力も所望の被写体を選択して表示させることが容易となる。

[0072] 図 15は、ユーザが入力部 12を用いて選択領域を操作する際に表示される GUI (G raphical User Interface)の一例を示している。図 15の（A),図 15の（B)に示す操作入力画面 Guは、図 7に示した全体画像 Gcp及び選択領域表示画像 Gscとともに表示部 14に表示されればよい。あるいは、操作入力画面 Guと、全体画像 Gcp等とは別々の表示部に表示されるようにしてもよい。さらに、全体画像 Gcpや選択領域表示画像 Gs cを表示する表示部 14とば別個に表示部を設けて、例えば入力部 12に表示部を設けて、この表示部で GUI表示を行うものとしてもよい。操作入力画面 Guには、方向ボタン群 Guaあるいは方向ボタン群 Gubと、「拡大」ボタン Gucl及び「縮小」ボタン Guc2 が設けられている。図 15の (A)では、方向ボタン群 Guaとして、例えば中央の「選択」ボタン Gualの周りに、「Up」「Down」「Right」「Left」ボタン等の方向ボタン Gua2がある。また、図 15の（B)では、方向ボタン群 Gubとして、例えば中央の「選択」ボタン Gubl の周りに、「North」ボタンや「SE(South East)」ボタン等の方角ボタン Gub2がある。

[0073] 図 16は、直交座標モード MS1が選択されているときに選択領域の切り替え指示が行われた場合を説明するためのものである。この例では、表示モード MHとして両方表示モード MH3で表示する場合を挙げている。また、ここでは、例えばユーザは図 1 5の (A)に示した操作入力画面 Gu等を見ながら操作する例を挙げて説明する。

[0074] 図 16の（A)に示す状態から、ユーザがマウスやキーボード等によって、方向ボタン Gua2の「Right」ボタンを 1回、複数、又は連続して押すとする。なお、「連続して押す」とは、 1度押された状態が解除されないままの状態のことであり、いわゆる「長押し」である。

[0075] そのように「Right」ボタンが押されると、その入力部 12の入力情報 PSに応じて、画像処理部 13の処理制御部 135は、直交座標モード MS 1に応じた方向に選択領域の切り替え処理を行！ヽ、新たに設定した選択領域を示す選択領域設定情衞 Aを生成する。また、処理制御部 135は、生成した選択領域設定情 ¾JAを選択領域強調表示処理部 132に供給して、強調画像 Gsが新たに設定した選択領域に対応する画像領域 ARsを示すように、強調表示領域の変更を行う。さらに、処理制御部 135は、生成した選択領域設定情衞 Aを歪補正処理部 133に供給して、新たに設定した選択領域に対応する画像領域 ARsの画像を、撮像光学部 111によって生じた歪を補正した状態の選択領域表示画像 Gscとする処理を行う。

[0076] また、画像出力処理部 134は、選択領域表示画像 Gscを含む表示画像の画像データ DVdを表示モードに応じて生成して表示部 14に供給する。

[0077] これにより、表示部 14では、図 16の（B)に示すように、選択領域を右側に移動したときの画像が表示されることとなる。また、全体画像 Gcpにおいても、強調画像 Gsの位置が更新される。また、「Right」ボタンが複数、あるいは連続して押されることにより、処理制御部 135は、「Right」ボタンの操作回数や押されている期間に応じて選択領域の移動量を設定して、選択領域表示画像 Gscを更新する。このように、処理制御部 135は、図 13で示した直交座標系で展開処理を行い、選択領域表示画像を表示部 14に表示させる。

[0078] また、ユーザにより例えば「Up」ボタンが押されると、処理制御部 135は、その入力情報 PSに応じて選択領域の切り替え処理を行!ヽ、選択領域の切り替えに伴！、移動する画像領域 ARsの強調画像 Gsを、撮像光学部 111によって生じた歪が補正された選択領域表示画像 Gscとして表示部 14に表示させる。

[0079] 図 15の（A), (B)における「選択」ボタン Gual, Gublは、様々な利用方法が考えられる。例えば現在の画像領域 ARs内の選択領域表示画像 Gscを録画しておくための録画開始ボタンとして利用できる。また、画像領域 ARsが強調画像 Gsとして示されて V、な、場合に、この画像領域 ARsを強調画像 Gsとして表示してユーザが領域選択動作を行えるようにする領域選択動作の開始ボタンとしても利用できる。あるいは、表示モード MHの切り替えボタン、その他、いろいろな決定ボタンとしても利用できる。

[0080] また、撮像部 11における基準位置が予め決められた方向例えば北方向となるように正しく設定されてヽる場合、方角ボタン Gub2の「East」ボタンが操作されたことを処理制御部 135が判別したとき、選択領域を ¾ 」方向に新たに設定することで、選択領域表示画像 Gscを更新する。また、「West」ボタンが操作されたことを処理制御部 135が判別したとき、選択領域を「West」方向に新たに設定することで、選択領域表示画像 Gscを更新する。このように、所望の方角を示すボタンを操作することで、選択領域が所望の新たな位置に設定されている画像を表示部 14に歪みを生じさせることなく表示できる。

[0081] なお、図 15の（A), (B)に示した GUI表示は単なる例であり、これに限定されないことは言うまでもない。

[0082] 図 17は、例えば直交座標モードが選択されている場合に、表示モードが順に切り替えられるときの表示部 14に表示される表示画像を示す。図 17の (A)は、全体画像表示モード MH1に設定されたときの表示画像であり、全体画像 Gcpのみが表示される。図 17の（B)は、選択画像表示モード MH2に設定されたときの表示画像であり、選択領域表示画像 Gscのみが表示される。図 17の（C)は、両方表示モード MH3〖こ設定されたときの表示画像であり、全体画像 Gcpと選択領域表示画像 Gscの両者が表示される。また、表示モードを順に切り替えたときには、全体画像表示モード MH1 と選択画像表示モード MH2と両方表示モード MH3がサイクリックに切り替えられる。

[0083] 図 18は、極座標モード MS2が選択されているときの表示部 14に表示される表示画像を示している。また、図 18では、 2つの選択領域を設けた場合を示している。なお、選択領域は 1つあるいは 2つに限られるものでなぐユーザが自由に設けられるようにしてもよい。例えば図 15の（A), (B)に示した「Menu」ボタン Guc3が操作されるごとに、増えるようにしてもよいし、他の図示しない GUI表示が用いられてもよい。この場合、処理制御部 135は、入力部 12からの入力情報 PSに応じて選択領域を複数設ける処理を行う。あるいは、入力部 12からの入力情報 PSによらず、予め選択領域を複数設けるように設定してもよい。また、処理制御部 135は、入力部 12からの入力情報 PSに応じて、分割表示モード MH4に設定されたとき、各選択領域の選択領域表示画像を個々に生成して表示部 14で同時に表示させるものとしてもよい。

[0084] 極座標モード MS2の説明に戻る。図 18では、説明を分力りやすくするため、例えば人間が入り込むことのできない配管の中を、ロボットが走行するといつた状態を想定している。また、このロボットには、例えば広角レンズを用いた撮像光学部 111が設置されているものとする。また、配管の内壁 91の上部にひび割れ 92が発生しているものとする。選択領域表示画像 Gsclは、第 1の選択領域の画像である。すなわち第 1 の選択領域に対応する画像領域 ARslの強調画像 Gslが歪補正処理されている画像である。また、選択領域表示画像 Gsc2は、第 2の選択領域に対応する画像領域 A Rs2の強調画像 Gs2が歪補正処理されている画像である。

[0085] 図 18の (A)の状態である場合、入力部 12から供給された入力情報 PSが例えば図 14に示す極座標系の φ ag変化方向に選択領域を切り替える切り替え指示であるとき、処理制御部 135は、切り替え指示に応じて φ ag変化方向に選択領域を切り替える処理を行!ヽ、処理後の選択領域を示す選択領域設定情衞 Aを選択領域強調表示処理部 132と歪補正処理部 133に供給する。選択領域強調表示処理部 132は、選択領域設定情 ¾JAに基づいて、処理後の選択領域に対応した強調画像 Gsl, Gs2 の表示を行う。歪補正処理部 133は、選択領域設定情 ¾JAに基づいて、処理後の選択領域に対応した画像領域 ARsl, ARs2の画像を、撮像光学部 111によって生じた歪を補正した状態の選択領域表示画像 Gscl, Gsc2とする補正処理を行う。このため、切り替え指示後の表示画像は、図 18の（B)に示すように、切り替え指示後の選択領域の画像が選択領域表示画像 Gscl, Gsc2として表示される。また、強調画像 Gsl , Gs2は選択領域表示画像 Gscl, Gsc2の領域を正しく示すようになる。この場合、画像領域 ARsl, ARs2は全体画像 Gcp上にぉ、て反時計方向に移動したものとなり、切り替え指示の方向が逆方向であるときは、画像領域 ARsl, ARs2が時計方向に移動したものとなる。

[0086] また、図 18の (A)の状態である場合、入力部 12から供給された入力情報 PSが例えば図 14に示す極座標系の Θ ag変化方向に選択領域を切り替える切り替え指示であるとき、処理制御部 135は、切り替え指示に応じて Θ ag変化方向に選択領域を切り替える処理を行!ヽ、処理後の選択領域を示す選択領域設定情 ¾JAを選択領域強調表示処理部 132と歪補正処理部 133に供給する。選択領域強調表示処理部 132 は、選択領域設定情 ¾JAに基づいて、処理後の選択領域に対応した強調画像 Gsl , Gs2の表示を行う。歪補正処理部 133は、選択領域設定情 ¾JAに基づいて、処理後の選択領域に対応した画像領域 ARsl, ARs2の画像を、撮像光学部 111によって生じた歪を補正した状態の選択領域表示画像 Gscl, Gsc2とする補正処理を行う。このため、切り替え指示後の表示画像は、図 19に示すように、切り替え指示後の選択領域の画像が選択領域表示画像 Gscl, Gsc2として表示される。また、強調画像 Gsl , Gs2は選択領域表示画像 Gscl, Gsc2の領域を正しく示すようになる。この場合、画像領域 ARs 1, ARs2は全体画像 Gcp上にお、て径方向に互いに近づくように移動したものとなり、切り替え指示の方向が逆方向であるときは、画像領域 ARsl, ARs2が全体画像 Gcp上にぉ、て径方向に互、離れるように移動したものとなる。

[0087] なお、極座標モード MS2においては、例えば、選択領域の切り替えは、マウス、キ一ボード、タツチセンサ等により実現することができ、そのときの GUIはどのような形態であってもよい。

[0088] 極座標モード MS2では、例えば図 18の（A)に示す表示画像の状態から、図 20に示すように、入力部 12からの取得する入力情報 PSに応じて、選択領域表示画像 Gs clを表示部 14の下側に 180度回転させて表示し、選択領域表示画像 Gsc2を表示部 14の上側に 180度回転させて表示することも可能である。これにより、ユーザが見やす、角度で画像を見ることができ便利である。

[0089] もちろん、上記直交座標モード MS1においても、選択領域が複数設けられており、それに応じて分割表示モード MH4が適用されてもよい。あるいは、直交座標モード MS1及び極座標モード MS2で、画像処理部 13は、選択領域を複数設ける場合であっても、一画面の合成歪補正画像を生成せずに、 1つの選択領域の選択領域表示画像を生成して表示部 14に出力するようにしてもよい。この場合、 1つの選択領域につ 1ヽての選択領域表示画像を一画面表示とする画像データを出力するか、複数の選択領域の選択領域表示画像を生成して各選択領域表示画像を一画面表示とする画像データを出力するかは、入力部 12による入力情報 PSに応じて、あるいは予め設定された設定情報に応じて画像処理部 13の処理制御部 135が制御する。

[0090] 極座標モード MS2においては、例えば「Menu」ボタン Guc3がユーザによって操作される度に、処理制御部 135は表示モード MHの切り替えを直交座標モード MS1と同様に行う。さらに、選択領域が複数設けられるときは、分割表示モード MH4を選択可能とする。

[0091] 図 21は、分割表示モード MH4を選択可能としたときの表示モードの切り替えの遷移を示した図である。なお、選択領域は 4つ設けられているものとする。例えば両方表示モード MH3で 1つの選択領域補正画像を表示するモード（図 21の (A))、両方表示モード MH3で 1つの選択領域表示画像を上下反転させて表示するモード（図 2 1の（B))、分割表示モード MH4で 2つ選択領域補正画像を表示するモード（図 21の (C))、分割表示モード MH4で選択領域補正画像が 2つ表示されている画像を上下反転させて表示するモード（図 21の（D))、分割表示モード MH4で 4つ選択領域補正画像を表示するモード（図 21の（E))、分割表示モード MH4で選択領域補正画像力つ表示されている画像を上下反転させて表示するモード（図 21の（F))を切り替えて表示することが可能である。なお、図 21では、すべての選択領域補正画像が表示されていないので、表示する選択領域補正画像を切り替え可能とすればよい。なお、全体画像表示モード MH1や選択画像表示モード MH2への切り替えを可能としてもよ、ことはもちろんである。

[0092] 以上のように、本実施の形態によれば、領域選択モードとして直交座標モード MS 1 と極座標モード MS2を設けたので、例えば視野方向に応じて領域選択モードを切り替えることで、直感的で分力りやすい操作が可能となり、ユーザにとって便利で使いやす、画像処理装置を実現できる。

[0093] 画像処理部 13は、これまで説明してきたような処理のほか、選択領域表示画像を拡大したり縮小や回転させたりする処理を行うことができる。

[0094] 図 22を参照して、選択領域表示画像の拡大 Z縮小処理について説明する。図 22 の（A)に示される状態で、ユーザが例えば図 15の（A), (B)に示す「拡大」ボタン Guc 1を操作とする。そうすると、このときの入力情報 PSに応じて処理制御部 135は、選択領域の範囲を縮小する処理を行! \処理後の選択領域を示す選択領域設定情 ¾J Aを選択領域強調表示処理部 132と歪補正処理部 133に供給する。選択領域強調表示処理部 132は、選択領域設定情 ¾JAに基づいて、処理後の選択領域に対応した強調画像 Gsl, Gs2の表示を行う。歪補正処理部 133は、選択領域設定情 ¾JAに基づいて、処理後の選択領域に対応した画像領域 ARsl, ARs2の画像を、撮像光学部 111によって生じた歪を補正した状態の選択領域表示画像 Gscl, Gsc2とする補正処理を行う。ここで、図 22の（A)に示すように、両方表示モード MH3とされている場合、縮小操作が行われた後の表示画像は、縮小後の選択領域に対応した選択領域表示画像 Gscが、図 22の（B)に示すように全体画像 Gcpの表示領域を除く全画面に表示されるので、画像領域 ARsに含まれていた人物画像 GMは、図 22の（A)に比べて拡大されて表示されることになる。なお、選択領域を縮小することから、全体画像 Gcpにおける画像領域 ARsは狭くなる。

[0095] 反対に、ユーザが「縮小」ボタン Guc2を操作すれば、処理制御部 135はその入力情報 PSに応じて選択領域の範囲を縮小する処理を行!ヽ、処理後の選択領域を示す選択領域設定情衞 Aを選択領域強調表示処理部 132と歪補正処理部 133に供給する。このため、拡大後の選択領域に対応した画像領域 ARsの強調画像 Gsが歪補正処理されて選択領域表示画像 Gscとして全体画像 Gcpの表示領域を除く全画面に表示されるので、画像領域 ARsに含まれていた人物画像 GMは、図 22の (A)に比べて縮小されて表示されることになる。このようにして拡大 Z縮小処理が可能となる。

[0096] 次に、図 23,図 24を参照して、画像処理部 13により選択領域の画像を回転して表示する場合について説明する。図 23の (A), (B)は「回転」の操作指示前の状態を示す図であり、図 23の (A)は、全体画像 Gcp中の例えば人物画像 GMが画像領域 ARs に含まれるように選択領域が設定されている場合を示している。また、図 23の（B)は、画像領域 ARsの強調画像 Gsが歪補正処理された画像である選択領域表示画像 Gs cを示している。ユーザからの「回転」の操作指示があった場合、図 24の (A)に示すように、処理制御部 135はその入力情報 PSに応じて、画像領域 ARsのほぼ中心点を中心として回転するように選択領域の変更処理を行う。この場合、変更処理後の選択領域に対応する画像領域 ARsでは人物画像 GMが逆方向に回転された状態となる。したがって、変更処理後の選択領域に対応する画像領域 ARsの強調画像 Gsに対する選択領域表示画像 Gscを生成すれば、図 24の（B)に示すように、人物画像 GM が選択領域の回転方向とは逆方向に回転された画像を得ることができる。このような回転処理により、ユーザは観察対象物を見やすい角度で見ることができ、便利である [0097] また、選択領域を回転させるのではなぐ全体画像 Gcpを回転させるようにしても構わない。例えば、図 25の（A)に示すように、直交座標モード MS1における移動軸として X軸 (Pan軸）が水平方向、 y軸 (Tilt軸）が垂直方向となる状態から、図 25の（B)に示すように、全体画像 Gcpを、上記 X軸及び y軸、強調画像 Gsとともに例えば反時計回りに回転させる。この場合、表示部 14に出力される選択領域表示画像 Gscに変化はない。これにより、全体画像表示モード MH1において、上記回転方向における力メラの設置角度の傾きを補正したり、全体画像 Gcpを意図的に回転させて特殊効果として表示させたりすることも可能となる。

[0098] 図 26は、本発明の他の実施の形態に係る画像処理システムの構成を示すブロック図である。これ以降の説明では、図 1に示した画像処理システム 10が備えるデバイスや機能等について同様のものは説明を簡略又は省略し、異なる点を中心に説明する。

[0099] 画像処理システム 20は、図 1の画像処理システム 10にさらに記憶装置 21をカ卩えた構成を有している。この記憶装置 21は、例えば撮像部 11で生成された画像データ D Vaや画像処理部 13で生成された各種の画像データを記憶する装置である。記憶装置 21に用いられる記憶媒体としては、光ディスク、磁気ディスク、半導体メモリ、誘電体メモリ、テープ状の記憶媒体等、画像データを記憶できる媒体なら何でもよい。

[0100] 例えば記憶装置 21は、画像データ DVaを記憶しておく場合、画像処理部 13は、入力部 12からの入力情報 PSに応じて、記憶装置 21からユーザが望む画像データ D Vaを読み出して、表示部 14に表示させることが可能となる。具体的には、ユーザ操作に基づく入力情報 PSに応じて、画像処理部 13が、記憶装置 21に記憶された過去の広視野画像 Gcの画像データ DVaを読み出して、この読み出された画像データ DV aで表される視野に対して選択領域を設定して、この選択領域の歪が補正された画像である選択領域表示画像を表示部 14に表示させる、という形態が考えられる。あるいは、ユーザによらず、画像処理部 13は、記憶装置 21に記憶された過去の広視野画像中から、予め設定された選択領域の画像を歪補正処理して表示部 14に表示させる形態も考えられる。

[0101] その場合のより具体的な例として、次のような形態も考えられる。例えばユーザが、撮像部 11からリアルタイムで得られる広視野画像中から選択領域を選択して、リアルタイムで全体画像 Gcp及び選択領域表示画像 Gscを見るなり、記憶装置 21に記憶しておくなりする。そして、ユーザは、その後、記憶された全体画像 Gcpを見ながら、上記リアルタイム時に選択した領域とは別の領域を選択してその選択領域表示画像 Gs cを見たりすることも可能である。

[0102] あるいは、画像処理部 13は、記憶装置 21に全体画像 Gcpの画像データを記憶させな、で、選択領域表示画像 Gscの画像データのみを記憶させておくようにすることもできる。この場合、ユーザは、その選択領域表示画像 Gscを後で見ることができる。もちろん、全体画像 Gcp及び選択領域表示画像 Gscの両方を示す画像データやそれぞれの画像の画像データを記憶しておくようにしてもょ、。

[0103] あるいは、画像処理部 13は、図 27に示すフローチャートの処理を行うこともできる。

画像処理部 13は、撮像部 11からリアルタイムの広視野画像を取得し (ST2401)、かつ、記憶装置 21に記憶された過去の広視野画像又は過去の選択領域表示画像を取得する（ST2402)。画像処理部 13は、取得した広視野画像と、過去の広視野画像又は過去の選択領域表示画像とを一画面の画像データとして両者を合成する処理を行い（ST2403)、合成された画像データを表示部 14に出力することができる（S T2404)。あるいは、画像処理部 13は、取得した広視野画像と、過去の広視野画像又は過去の選択領域表示画像とを別々の表示部 14にそれぞれ表示してもよい。なお、 ST2401と 2402とが逆の順である形態も考えられる。

[0104] あるいは、画像処理部 13は、リアルタイムで歪補正処理を行って得られる選択領域表示画像 Gsc (この選択領域表示画像 Gscは、リアルタイムの広視野画像からリアルタイムで生成される画像でもよヽし、記憶装置 21に記憶された過去の広視野画像からリアルタイムで生成される画像でもよい。）と、過去の選択領域表示画像とを両方出力する形態が考えられる。具体的には、図 28に示すように、画像処理部 13は、撮像部 11からリアルタイムで広視野画像を取得するか、又は、記憶装置 21から過去の広視野画像を取得する（ST2501)。さらに、画像処理部 13は、記憶装置 21に記憶された過去の選択領域表示画像を取得する（ST2502)。画像処理部 13は、 ST2501 で取得した上記広視野画像内の選択領域の画像に対する歪補正処理を行う（ST25 03)。画像処理部 13は、その歪補正処理により生成された選択領域表示画像と、 ST 2502で取得した選択領域表示画像を一画面の画像データとして合成処理し (ST2 504)、これを選択領域表示画像 Gscとして表示部 14に出力する（ST2505)。なお、 ST2501と 2502とが逆の順である形態も考えられるし、 ST2502と 2503と力逆の順である形態も考えられる。

[0105] 図 28に示す処理の場合、さらに、画像処理部 13は、 ST2503で歪補正処理を行つて得られる選択領域表示画像 (以下、リアルタイム選択領域表示画像という。）と、過去の選択領域表示画像とが、人間が表示部上で区別できるような態様で出力することもできる。具体的には、画像処理部 13が、例えばリアルタイム選択領域表示画像及び過去の選択領域表示画像中のうち少なくとも一方に識別子を付した画像を生成すると力両画像を囲む枠を生成してその枠の色を変えた画像を生成する等が考えられる。

[0106] なお、記憶装置 21に記憶された画像データが動画なら、記憶装置 21の記憶容量に応じて、ある一定容量分の動画データを記憶し、最も古い画像フレーム力も順次、自動的に消去されるようにしてもょ、。

[0107] 記憶装置 21を用いた形態として、さらに以下のような形態も考えられる。例えば、ある任意の時に、ユーザが、リアルタイムの広視野画像内、又は記憶装置 21から読み出した画像データに基づく広視野画像内に選択領域を設ける操作を行い、画像処理部 13は、その操作に応じて記憶装置 21に選択領域がどのように設けられて、るかを示す位置情報のみを記憶しておく。また、上記領域選択モード MSに応じて選択領域の切り替えが行われた場合、画像処理部 13は、選択領域の切り替えを再現可能とする軌跡情報を記憶装置 21に記憶しておけばよい。図 29は、位置情報又は軌跡情報の記憶処理を示すフローチャートである。画像処理部 13は、撮像部 11からリアルタイムで取得される広視野画像内、又は、記憶装置 21から読み出した画像データに基づく広視野画像内に選択領域を設定するときの入力情報を取得する（ST260 D o画像処理部 13の処理制御部 135は、入力情報に応じてその選択領域の位置情報を生成する、又は選択領域の切り替え操作が行われたときは、軌跡情報を生成して、選択領域の切り替えを再現可能とする（ST2602)。画像処理部 13の処理制御部 135は、生成した位置情報又は軌跡情報を記憶装置 21に記憶させる（ST2603)

[0108] このような形態は、例えばある場所のうち、所定の範囲の画像や、ある範囲の軌跡による画像が必要な場合に有効である。例えば、撮像部 11がセキュリティ用の定点監視カメラに搭載される場合、広視野画像の中から、ある所定の範囲の画像や、ある範囲の軌跡の画像が必要になることが考えられる。その場合に、広視野画像中の予め定められた範囲、あるいは予め定められた範囲の軌跡に対応させて選択領域を設定すれば、ユーザが、その範囲やその範囲の軌跡の選択領域表示画像を常に表示部 14で表示画像として監視することができる。このような形態では、例えば記憶装置 21に所定範囲の「軌跡」の選択領域表示画像が記憶される場合、選択領域の連続的な動きの始点力終点までの動きが自動的に周期的に繰り返されるようにすればよい。そして、その周期ごとの画像が記憶装置 21に記憶されればよい。なお、もちろん、本形態はセキュリティ用に限られるわけではな、。

[0109] 念のために説明しておくが、上記所定の範囲の画像は静止画であってもよいし、動画であってもよい。ある範囲の軌跡の画像についてであっても、当該軌跡上の位置の静止画であってもよ、し、軌跡の始点から終点までの動画で記憶することができる。この場合、画像処理部 13は、歪補正処理後の画像を静止画で出力する等の処理ち考免られる。

[0110] 図 30は、記憶装置 21を用いた形態として、上述のような、所定範囲の軌跡の設定方法を説明するための図である。

[0111] ユーザが、広視野画像に対して選択領域を設定して選択領域の位置を切り替えていく。具体的には、例えば図 15の (A), (B)に示した方向ボタン Gua2や方角ボタン G ub2の、ずれのボタンが操作されたかを判別して、操作されたボタンの方向に選択領域を移動する処理を繰り返すことで実現され、画像処理システム 20の内部処理では、図 29の ST2602及び ST2603で示したように、画像処理部 13は、「選択」ボタン G ual, Gublの操作を示す入力情報に応じて、このときの選択領域の位置情報を記憶装置 21に記憶する。例えば、選択領域に対応した画像領域 ARsが広視野画像 Gc 上の位置 aとされたときに「選択」ボタン Gual, Gublが操作された場合、このときの選択領域の位置情報を記憶する。また、選択領域が切り替えられて、切り替え後の選択領域に対応した画像領域 ARsが広視野画像 Gc上の位置 bとされたときに「選択」ボタン Gual, Gublが操作された場合、このときの選択領域の位置情報を記憶する。以下同様に、選択領域に対応した画像領域 ARsが広視野画像 Gc上の位置 c, dとされたときの選択領域の位置情報を記憶する。

[0112] あるいは、ユーザが方向ボタン Gua2あるいは方角ボタン Gub2を操作しなくても、予めプログラムで軌跡が設定されていてもよいし、上述した様々なセンサにより自動認識で軌跡が生成されてもよい。その場合、軌跡は、図 30に示す位置 a, b, c, dのような不連続な点に画像領域 ARsが設けられるように選択領域を設定するものでもよいし、位置 aから位置 dまで連続するように選択領域を設定するものであってもよい。あるいは、ユーザが位置 _a, b, c, dの不連続点を設定した場合、位置 a, b, c, dの各点を補間する位置に画像領域 ARsが設けられるように選択領域を設定するようなプロダラムを、画像処理部 13が備えていてもよい。

[0113] あるいは、予め軌跡情報が複数あって、ユーザがそれを選択できるようにしても構わない。

[0114] 図 31は、本発明のさらに別の実施の形態に係る画像処理システムの構成を示すブロック図である。この画像処理システム 30は、上述の撮像部 11がなぐ記憶装置 21 を備えている。記憶装置 21には、例えば上述のように広視野画像が予め記憶されている。このような構成によれば、画像処理部 13が広視野画像の画像データ DVmを読み出し、その広視野画像から展開処理によって選択領域表示画像を得ることができる。

[0115] そのほか、画像処理システム 30では、画像処理部 13が、予め記憶装置 21に記憶された画像データに基づく広視野画像から展開処理を行って選択領域表示画像を得るものとし、その広視野画像と選択領域表示画像とを対応付けて記憶装置 21に記憶しておくことも可能である。あるいは、画像処理部 13は、予め記憶された画像データに基づく広視野画像と、その広視野画像から展開処理を行う領域である選択領域を示す情報とを対応付けて記憶装置 21に記憶しておくことも可能である。

[0116] 本発明は以上説明した実施の形態には限定されるものではなぐ種々の変形が可能である。

[0117] 表示部 14に表示される、全体画像 Gcpと選択領域表示画像 Gscとが、所定の時間ごとに交互に表示部 14に表示されるようにすることも可能である。その場合において、ユーザからの何らかの操作入力が合った場合に、全体画像 Gcpと選択領域表示画像 Gscとが両方表示されるようにしてもょ、。

[0118] 図 1,図 26において、撮像部 11の撮像素子 112、入力部 12、画像処理部 13、表示部 14、記憶装置 21等は、インターネット、 LAN (Local Area Network)、あるいは専用回線等のネットワークを介してそれぞれ接続されて、てもよ、。

[0119] 上記各実施の形態に係る画像処理システムは、例えば、セキュリティシステム、テレビ会議システム、機械や設備等の検査、管理、試験等のシステム、道路交通システム、移動カメラ（例えば移動する車両、飛行体、その他移動体力撮像するためのカメラ）が用いられるシステム、介護や医療システム等、様々な用途がある。

[0120] 図 26及び図 31に示した実施形態が組み合わされた画像処理システムを実現することも可能である。つまり、前段と後段にそれぞれ記憶装置があるシステムも実現可能である。

[0121] 次に、本発明のさらにまた別の実施形態について説明する。本実施形態においては、画像処理部 13の処理制御部 135が、撮像部 11の設置方向（設置角度）に応じて領域選択モード MSを切り替えることが可能である。以下、この場合の画像処理システム 40の構成及び動作にっ、て説明する。

[0122] 図 32は、本発明のさらにまた別の実施形態に係る画像処理システムの構成を示すブロック図である。図 32に示すように、本実施形態において、画像処理システム 40は、図 1に示した画像処理システム 10の各構成要素に加えて、撮像光学部 111に入射する光学像の入射方向を検出する方向検出センサ、例えばジャイロセンサ 41を有している。

[0123] ジャイロセンサ 41は、撮像光学部 111に固定して設けられており、撮像光学部 111 に入射する光学像の入射方向を検出して、方向検出結果を示すセンサ信号 ESを画像処理部 13の処理制御部 135に供給する。なお、以下の説明では、撮像光学部 11 1と撮像素子 112とジャイロセンサ 41を一体として撮像部 11を構成して!/、るものとする。

[0124] 図 33は、本実施形態において、撮像部 11の設置方向に応じて領域選択モード M Sを切り替える様子を概念的に示した図である。

[0125] 図 33に示すように、撮像部 11の設置態様は、上記図 10でも示したように、地面や床上、机上等に設置されて所望の被写体 HMを撮像する場合 (上半球視野、図 33 の (A))、地面に垂直な壁面等に設置されて被写体 HMを水平方向から撮像する場合 (前半球視野、図 33の (B))、天井や空中等に設置されて被写体 HMを撮像する場合 (下半球視野、図 33の (C))の 3つに大別される。

[0126] このため、画像処理部 13の処理制御部 135は、方向検出センサ力ものセンサ信号に基づ!/、て判別した撮像部 11における鉛直方向の角度に応じて、領域選択モード MSの設定や切り替えを自動的に行う。

[0127] 具体的には、撮像部 11が上半球視野及び下半球視野にある場合には領域選択モード MSを極座標モード MS2に切り替え、前半球視野にある場合には直交座標モード MS1に切り替えることとする。このように切り替えるものとすれば、撮像部 11が上半球視野や下半球視野にある場合、広視野画像 Gcの中心部分の被写体よりもその周囲を容易かつ万遍なく観察することが可能となる。また撮像部 11が前半球視野にある場合には、直交座標モード MS 1に設定することで、広視野画像 Gcの中心部分の被写体を詳細に観察しながら、当該被写体の上下左右方向も容易に観察することができる。

[0128] なお、本実施形態において、図 33の (A)のように撮像部 11が上半球視野となるように設置され、領域選択モード MSが極座標モード MS2となる状態を S、図 33の（B)

0

のように撮像部 11が前半球視野となるように設置され、領域選択モード MSが直交座標モード MS1となる状態を S、図 33の（C)のように撮像部 11が下半球視野となるよう

1

に設置され、領域選択モード MSが極座標モード MS2となる状態を Sとそれぞれ称

2

することとする。

[0129] 図 34は、状態 S , S及び Sを切り替えるための閾値の設定方法について説明した

0 1 2

図である。図 34に示すように、本実施形態においては、例えば撮像部 11が上半球視野にある状態を基準位置（ =0度)とし、まず 2つの閾値（、 φ )を用いて、撮像部 11の設置角度が閾値 φ あるいは閾値 φ を超えるか否かに応じて上記 3つの状

1 2

態 S , S及び Sのいずれの状態である力判別して、判別結果に基づき領域選択モ

0 1 2

ード MSを設定する。さらに、領域選択モード MSを設定後に撮像部 11の設置角度に変化があった場合には、上記閾値 Φ

1及び閾値 φ

2とは別の閾値を用いて、各状態力別の状態に切り替える際にヒステリシスを持たせる。

[0130] 具体的には、図 34の (A)に示すように、閾値 φ , φ とは別に、例えば閾値 φ の前

1 2 1 後 ± 10度の値を新たな閾値 φ , φ とし、また例えば閾値 φ の前後 ± 10度の値を

3 4 2

新たな閾値 φ , φ として設定する。図 34の（B)に示すように、閾値 φ は、状態 Sか

5 6 3 0 ら状態 Sへ切り替える際の閾値であり、閾値 φ は、状態 Sから状態 Sへ切り替える

1 4 1 0 際の閾値である。また、閾値 φ は、状態 Sから状態 Sへ切り替える際の閾値であり、

5 1 2

閾値 Φ は、状態 S力状態 Sへ切り替える際の閾値である。閾値 φ , φ を含めたこ

6 2 1 1 2 れら各閾値の大 /J、関係は、図 34の（B)〖こ示すよう〖こ、 φ く φ く φ く φ く φ く φ となる

4 1 3 6 2 5

。なお、閾値 φ は例えば 45度、閾値 φ は例えば 135度である力この数値に限られ

1 2

るものではない。また、上記閾値 φ , φ , φ , φも上記 ± 10度の値に限られるもの

3 4 5 6

ではなぐ ± 5度、 ± 15度等、様々な値を採ることができ、また、閾値 φ と、閾値 φ

1 3 及び閾値 Φ

4との各差の絶対値が異なるように、また閾値 Φ

2と、閾値 Φ

5及び閾値 Φ

6 との各差の絶対値が異なるように設定しても構わな、。

[0131] 次に、本実施形態において上記状態 S , S , Sの切り替え動作について説明する

0 1 2

。図 35は、画像処理システム 40が状態 S , S及び Sを切り替える場合の動作を示し

0 1 2

たフローチャートである。

[0132] 図 35に示すように、まず、撮像部 11を上記基準位置（ =0度）の位置とする。画像処理部 13の処理制御部 135は、このときのジャイロセンサ 41の測定結果を取得する（ST3201)。次に、撮像部 11を所望の位置に設置する。処理制御部 135は、このときのジャイロセンサ 41の測定結果を取得して、この測定結果と ST3201で取得した測定結果から現在角度 Φ を測定する（ST3202)。

P

[0133] 続いて、処理制御部 135は、現在角度 φ が閾値 φ 以下である力否かを判定する（

P 1

ST3203)。 φ ≤φ である場合 (YES)、処理制御部 135は、上記 Sの状態であると

P 1 0

判別して、領域選択モード MSを上半球視野における極座標モード MS2に設定する (ST3204)。

[0134] 上記 ST3203において、 φ > φである場合 (NO)、処理制御部 135は、さらに現

P 1

在角度 Φ が閾値 φ 以下である力否かを判定する（ST3207)。 φ ≤φである場合

Ρ 2 Ρ 2

(YES)、処理制御部 135は、上記 Sの状態であると判別して、領域選択モード MS

1

を前半球視野における直交座標モード MS 1に設定する（ST3208)。

[0135] 上記 ST3207において、 φ > φである場合（NO)、処理制御部 135は、上記 S

P 2 2 の状態であると判別して、領域選択モード MSを下半球視野における極座標モード MS 2に設定する（ST3212)。

[0136] ST3204において、領域選択モード MSを極座標モード MS2に設定した後、処理制御部 135は、ジャイロセンサ 41から再度現在角度 φ を読み込み（ST3205)、現

P

在角度 Φ が閾値 φ 以上である力否かを判定する（ST3206)。 φ ≥φである場合

Ρ 3 Ρ 3

(YES)、処理制御部 135は、上記 Sの状態に撮像部 11が変更されたと判別して、

1

領域選択モード MSを直交座標モード MS1に設定する（ST3208)。 φ く φである

Ρ 3 場合 (NO)、処理制御部 135は極座標モード MS2の状態を維持する（ST3204)。

[0137] ST3208において、領域選択モード MSを直交座標モード MS 1に設定した後、処理制御部 135は、ジャイロセンサ 41から再度現在角度 φ を読み込み（ST3209)、

P

現在角度 φ が閾値 φ 以下である力否かを判定する（ST3210)。 φ ≤φである場

Ρ 4 Ρ 4 合 (YES)、処理制御部 135は、上記 Sの状態に撮像部 11が変更されたと判別して

0

、領域選択モード MSを極座標モード MS2に設定する（ST3204)。

[0138] ST3210において、 φ > φである場合 (NO)、処理制御部 135は、さらに上記現

P 4

在角度 Φ が閾値 φ 以上である力否かを判定する（ST3211)。 φ ≥φ の場合 (YE

P 5 P 5

S)、処理制御部 135は、上記 Sの状態に撮像部 11が変更されたと判別して、領域

2

選択モード MSを極座標モード MS2に設定する（ST3212)。 φ く φである場合 (Ν

Ρ 5

Ο)、処理制御部 135は直交座標モード MSIの状態を維持する（ST3208)。

[0139] ST3212において、領域選択モード MSを極座標モード MS2に設定した後、処理制御部 135は、ジャイロセンサ 41から再度現在角度 φ を読み込み（ST3213)、現

P

在角度 Φ が閾値 φ 以下である力否かを判定する（ST3214)。 φ く φである場合（

P 6 P 6

NO)、処理制御部 135は、上記 Sの状態に撮像部 11が変更されたと判別して、領域選択モード MSを直交座標モード MS 1に設定する（ST3208)

[0140] ST3214において、 φ ≥ φである場合 (YES)、処理制御部 135は極座標モード

P 6

MS 2の状態を維持する（ST3212)。

[0141] このように、処理制御部 135は、以上の動作を繰り返し行うことで、撮像部 11の設置角度に応じて領域選択モード MSを自動的に切り替える。

[0142] ここで、状態 S及び状態 Sにおける極座標モード MS2、又は状態 Sにおける直交

0 2 1

座標モード MS 1に設定して、

ヽて選択領域表示画像 Gscを表示する場合の座標計算方法について説明する。図 36,図 37,図 38,図 39は、当該座標計算方法にっ、て示した図である。

[0143] まず、図 36の (A)に示すように、上述した極座標モード MS2 (上半球視野）において、表示平面 81の Pan (z軸中心の回転)の角度を H (x軸方向を 0度）、 Tilt (X軸又は y軸中心の回転)の角度を V (X軸方向を 0度）とする。

[0144] 次に、直交座標モード MS1においては、極座標モード MS2に比べて視野の方向が 90度傾くため、上記図 36の (A)に示した座標軸を入れ替え、上記 Pan及び Tilt値を変換する。

[0145] 具体的には、まず、図 36の（B)に示すように、図 36の（A)の各座標軸を、 x軸→y軸 y軸→z軸、∑軸→ 軸というように入れ替え、図 36の（A)における Pan角（H)及び Ti It角（V)がそれぞれ回転した角度を Pan角（h)及び Tilt角（v)とする。この場合、表示部 14に表示する画像に対応した領域である選択領域の設定方向を表す方向ベタトル [D]は、各座標系における X軸方向の単位ベクトルの回転により、図 37に示す行列で求められる。これにより、直交座標モード MS1における上記回転後の Pan角（h) 及び Tilt角（V)の sin値及び cos値は以下のように求められる。

[0146] sin(v) = -cos (H) cos (V)

cos v) = sin(v) )

sm (hノ = cos (H) COS (V) / cos \ j

cos (h) =― sin (V) / cos (v)

なお、極座標モード MS2においては h = H v=Vとなる。

[0147] 一方、表示部 14として例えば VGA (Video Graphics Arrav)ディスプレイのような固定画素出力とした場合、当該出力に合わせて表示平面 [a]の座標を表すと、図 38の (A)に示すように、

[a] = [aOO= (0, 0) , a01 = (r, 0) , · ' ·&10= (0, q) , al l = (r, q) , al2= (2r , q) , amn= (nr, mq) , · · -aMN= (Nr, Mq) ]

となる。

[0148] 当該表示平面 [a]を、図 38の（B)に示すように、 x軸に垂直に各点列が y軸及び z軸に平行となり、かつ、中心を X軸が通り X座標が R(R=例えば魚眼半径）となるように置いた 3次元上の平面 [PO]とすると、上記平面 [a]は、図 38の（C)にも示すように、以下のようにして 3次元化される。

[0149] [a] = [ (χθ, yO) , (xl, yO) , · · · (xN, yM) ]

→[A] = [ (xO, yO, 1) , (xl, yO, 1) , · · · (xN, yM, 1) ]

当該行列 [A]に、図 38の (C)で示す行列 [K]を乗じた行列を [PO]とする（ [PO] = [K] [A])。

[0150] 続いて、当該平面 [PO]を、図 39の (A)で示すような、上記図 15の (A), (B)の操作入力画面 Guで設定可能なパラメータにより、図 39の（B)に示すような球面上に拡大移動する。この場合、当該移動後の平面を平面 [P2]とすると、平面 [PO]上の点 Pjに対応する平面 [P2]上の点は、点 Pj2 (x2, y2, z2)となる。この平面 [P2]上の各点は、図 39の（C)に示す [ΡΟ]、 [Ρ2]、 [Χ]、 [Υ]、 [Ζ]及び [Μ]の各行列を用いて、図 3 9の（D)の計算式により求められる。

[0151] すなわち、直交座標モード MS 1のときは [Ρ2] = [Z] [Y] [X] [M] [PO]となり、極座標モード MS2のときは [P2] = [Z] [Y] [M] [PO]となる。このようにして算出した平面 [P2]の座標値力点 Pj2に対応する座標値 (x2, y2, z2)を用いる。

[0152] そして、図 39の（B)において、上記平面 [P2]上の点 Pj2 (x2, y2, z2)力も上述の図 12を用いた歪補正処理の原理と同様に処理すれば、点 Pj2 (x2, y2, z2)に対応する結像点 Qj2を求めることができる。また、平面 [P2]上の各点についても同様な処理を行うことで、直交座標モード MS1及び極座標モード MS2における歪補正処理後の画像である選択領域表示画像 Gscを構成する撮像素子 112上の各画素位置が求められ、この求めた画素位置の画素データを用いることで、歪を生じていない選択領域表示画像 Gscが表示可能となる。

[0153] 以上説明した構成及び動作により、本実施形態における画像処理システム 40によれば、撮像部 11の設置角度をジャイロセンサ 41により検出して、当該設置角度に応じて領域選択モード MSを適宜切り替えることができ、ユーザの利便性が向上する。

[0154] また、ヒステリシスを持たせながら領域選択モード MSの切り替えを行うようにしてヽるので、上記閾値 φ及び閾値 φ付近で設置角度のぶれが生じたとき、ぶれに応じ

1 2

て領域選択モード MSが頻繁に切り替わってしまうことがなぐユーザを混乱させてしまうことがない。

[0155] なお、方向検出センサとして上記ジャイロセンサ 41の代わりに例えば重力センサ等の他のセンサを用いて撮像部 11の設置角度を検出するようにしても構わな、。

[0156] また、本実施形態においては、撮像部 11の設置角度に応じて領域選択モード MS を切り替えるようにしていた力例えば、撮像部 11が、物体に接触したか否かに応じて領域選択モード MSを切り替えるようにしても構わな、。

[0157] 図 40は、接触に応じて表示モードを切り替える方法を概念的に示した図である。例えば、配管 95内を撮像部 11が図 40の矢印 T方向へ移動する場合、処理制御部 13 5は、配管 95内では例えば極座標モード MS2に設定して、配管 95の周囲を撮像する。また、配管 95の端部において壁面 96に接触した場合、処理制御部 135は、当該壁面を撮像するために直交座標モード MS 1に切り替えるようにしても構わな、。この場合、画像処理システムは、接触を検知するための検知センサを設けて、検知結果を画像処理部 13の処理制御部 135に入力すればよい。その検知センサは、メカ-力ルなセンサでもよいし、光センサであってもよい。

[0158] また、直交座標モード MS1と極座標モード MS2の自動切り替えは、方向検出センサゃ検知センサ等を用いることなく実施することもできる。次に、センサを用いることなく直交座標モード MS 1と極座標モード MS2の自動切り替えを行う場合について説明する。

[0159] ここで、自動切り替え動作を容易に理解できるものとするため、撮像部 11の視野を例えば 270度として説明する。図 41は、撮像光学部 111として超広角レンズを用いることで 270度の視野を得た場合を示してヽる。撮像光学部 111に入射された光は撮像素子 112の方向に進み、撮像素子 112のセンサ面上に 270度の視野の広視野画像 Gcが形成される。

[0160] また、図 42に示すように、 270度の視野を有した撮像部 11を、視野の中心方向である矢印 OCtの方向が水平方向に対して 45度上向きとなるように設けると、前半球視野 53hと上半球視野 53uが得られている状態となる。

[0161] 図 43は、 270度の視野を有した撮像部 11の設置例を示している。例えば船の舳先に、視野の中心方向が水平方向に対して 45度上向きとなるように撮像部 11を設ける。また、撮像部 11の後方には座席 FSが設けられた状態となっている。このように撮像部 11を設けた場合、前方の景色を表示部 14に表示させるときには、前半球視野の場合に適したモードである直交座標モード MS 1で動作を行うものとすれば、所望の方向の風景に選択領域を設定することが容易となり、歪のない所望の方向の風景画像を表示部 14に表示させることができる。また、後方の座席 FSに座っている乗客を表示部 14に表示させるときには、上半球視野や下半球視野の場合に適したモードである極座標モード MS2で動作を行うものとすれば、所望の方向の乗客に選択領域を設定することが容易となり、歪のない所望の方向の乗客画像を表示部 14に表示させることができる。このため、画像処理部 13は、選択領域をいずれの方向に設定するかに応じて領域選択モード MSを自動的に切り替えて、撮像光学部 111の歪が補正されて!/、る画像を表示部 14に表示できるようにする。

[0162] ここで、選択領域の方向や選択領域の範囲を示す角度範囲等を入力情報 PS等によって指定して選択領域が設定される場合、選択領域を指定する入力情報等に基づき、選択領域の方向を判別できる。また、上述のように、選択領域と画像領域 ARsは対応して!/、ることから、歪補正処理を行う画像領域 ARsの画像位置から選択領域の設定方向を判別できる。

[0163] 図 44は、選択領域の設定方向に応じて領域選択モード MSを自動的に切り替える場合を示している。図 43に示すように撮像部 11を設置したとき、視野が 270度の広視野画像 Gcは、図 44に示すものとなる。なお、広視野画像 Gcの中心は、撮像光学部 111の光軸方向であり、視野の中心方向が水平方向に対して 45度上向きとなるように撮像部 11が設けられているとき、水平方向の前方正面位置は例えば視野が 90 度に相当する画像上の点 Pfとなる。

[0164] 図 44の (A)では、前方正面の画像を含むように領域 AS1を設けて、画像領域 ARs

(図示せず)の例えば中央位置が領域 ASlに含まれるように選択領域の方向が設定されているときは、直交座標モード MS 1に設定する。また、後方の画像を含むように領域 AS2を設けて、画像領域 ARsの例えば中央位置が領域 AS2に含まれるように選択領域の方向が設定されているときは、極座標モード MS2に設定する。なお、画像領域 ARsの中央位置が領域 ASl, AS2に含まれないときは、設定されている領域選択モード MSを保持する。

[0165] また、図 44の（B)に示すように、広視野画像 Gcの領域を予めマトリクス状に分割して各領域に対して設定する領域選択モード MSを割り当てておき、画像領域 ARsの例えば中央位置がいずれの領域に含まれるかに応じて領域選択モード MSを設定するものとしてもよい。例えば、前方の画像を含む各領域 ASmlに対しては、設定する領域選択モード MSとして直交座標モード MS1を割り当てておく。また、後方の画像を含む各領域 ASm2に対しては、設定する領域選択モード MSとして極座標モード MS2を割り当てておく。ここで、選択領域に対応する画像領域 ARsの中央位置が領域 ASmlに該当するときは直交座標モード MS1に設定する。また、画像領域 ARs の中央位置が領域 ASm2に該当するときは極座標モード MS2に設定する。

[0166] このようにすれば、いずれの視野方向の画像を表示部 14に表示しているかに応じて、領域選択モード MSを最適なモードに自動的に設定することが可能となり、所望の方向に位置する被写体の画像を容易に表示部 14に表示できる。

[0167] また、センサを用いていないことから、画像処理システム 10, 20, 30のいずれにも適用することが可能である。さらに、センサを用いる画像処理システム 40に適用してもよい。この場合、ジャイロセンサ 41からのセンサ信号 ESに基づき、撮像部 11の傾きに応じて領域 ASl, AS2, ASml, ASm2の位置や領域サイズを自動的に調整すれば、撮像部 11が水平方向に対して 45度上向きとなるように設けられて、なくとも、撮像部 11が水平方向に対して 45度上向きとされている場合と同等の特性で領域選択モード MSの切り替え処理を行うことができる。また、撮像部 11の傾きに応じて領域 ASl, AS2, ASml, ASm2の位置や領域サイズを設定できるようにしておけば、領域選択モード MSの切り替え特性を自由に設定することも可能となる。

[0168] ここで、領域選択モード MSを自動的に切り替える場合、各領域選択モードに応じた GUI表示とすれば、 Vヽずれの領域選択モード MSに設定されて!ヽるか容易に判別できる。

図 45は、領域選択モード MSを自動的に切り替える場合の GUI表示と画像領域 ARs の移動方向を示している。直交座標モード MS1に設定されたときは、図 45の（A)に示すように方向ボタン Gua2として、例えば「Up」「Down」「Right」「Left」ボタンを設ける。なお、図 45の（B)は、方向ボタン Gua2が操作されたときの全体画像 Gcpにおける画像領域 ARsの移動方向を例示している。極座標モード MS2に設定されたときは、図 45の（C)に示すように方向ボタン Gud2として、例えば「Center」「Outer」「Right rotatio nj「Left rotationボタンを設ける。なお、図 45の（D)は、方向ボタン Gud2が操作されたときの全体画像 Gcpにおける画像領域 ARsの移動方向を例示している。

[0169] このように、各領域選択モードに応じた GUI表示とすれば、ユーザは、ずれの領域選択モードに設定されている力容易に判別できる。また、所望の方向に位置する被写体の画像を表示部 14に表示する際に、ユーザは方向ボタンの選択を容易に行うことができる。

[0170] さらに、撮像部 11は鉛直方向（あるいは水平方向）に対する傾き角度に応じて自動切り替え動作を停止して、直交座標モード MS1あるいは極座標モード MS2のいずれかに設定するものとしてもよい。図 46に示すように、角度 φが「337. 5度≤ φぐ 2 2. 5度」「157. 5度≤ φ < 202. 5度」であるときは、画像領域 ARsの位置にかかわらず極座標モード MS2に設定する。角度 φが「67. 5度≤ φく 112. 5度」「247. 5度 ≤ φ < 292. 5度」であるときは、画像領域 ARsの位置にかかわらず直交座標モード MS1に設定する。角度 φが「22. 5度≤ φく 67. 5度」「112. 5度≤ φく 157. 5度」「202. 5度≤ φく 247. 5度」「292. 5度≤ φく 337. 5度」であるときは混合モードとして、上述のように画像領域 ARsの位置に応じて直交座標モード MS 1あるいは極座標モード MS2に自動的に設定する。

[0171] 図 47は、混合モードを含めた領域選択モードの切り替え動作を示すフローチャートである。処理制御部 135は角度検出を行い、撮像部 11の傾き角度 φを検出する（S T3301)。次に、処理制御部 135は検出した傾き角度 φに基づき混合モードに設定する力否かを判別する（ST3302)。ここで、混合モードに設定しないとき (NO)、処理制御部 135は、角度 φの検出結果に基づき、領域選択モードを直交座標モード MS 1ある!/、は極座標モード MS2の!、ずれに設定するが検出する（ST3303)。また、混合モードに設定するとき（ST3302の YES)、処理制御部 135は、選択領域の位置に基づき、領域選択モードを直交座標モード MS 1あるいは極座標モード MS2の V、ずれに設定するが検出する（ST3304)。

[0172] ST3303あるいは ST3304で領域選択モードの検出が完了すると、処理制御部 13 5は領域選択モードを検出した座標モードに設定する（ST3305)。次に、処理制御部 135は、 ST3305で設定した領域選択モードに応じて GUI表示を行い ST3301に戻る（ST3306)。このように領域選択モードを切り替えることで、ユーザにとってより使、やす、インタフェースを提供することができる。

[0173] 図 48は、方向ボタンが操作されたときの動作を示すフローチャートである。処理制御部 135は、領域選択モード MSを直交座標モード MS 1に設定しているか否かを判別する（ST3401)。

[0174] ここで、処理制御部 135は、直交座標モード MS 1に設定しているとき (YES)、入力情報 PSに基づき方向ボタン操作が行われた力否かを判別する（ST3402)。ここで、方向ボタン操作が行われていないと判別したとき（NO)は ST3401に戻り、方向ボタン操作が行われたと判別したとき (YES)は、「Right」ボタンの操作であるか否かを判別する（ST3403)。

[0175] 処理制御部 135は、「Right」ボタンの操作であると判別したとき (YES)、選択領域を右方向の位置に切り替える処理を行い ST3401に戻る（ST3404)。処理制御部 1 35は、「Right」ボタンの操作でないと判別したとき（ST3403の NO)は、「Left」ボタンの操作である力否かを判別する（ST3405)。

[0176] 処理制御部 135は、「Left」ボタンの操作であると判別したとき (YES)、選択領域を左方向の位置に切り替える処理を行、ST3401に戻る (ST3406)。処理制御部 13 5は、「Left」ボタンの操作でないと判別したとき（ST3405の NO)は、「Up」ボタンの操作であるか否かを判別する（ST3407)。 [0177] 処理制御部 135は、「Up」ボタンの操作であると判別したとき (YES)、選択領域を上方向の位置に切り替える処理を行、ST3401に戻る (ST3408)。処理制御部 13 5は、「Up」ボタンの操作でないと判別したとき（ST3407の NO)は、「Down」ボタンの操作であるとして、選択領域を下方向の位置に切り替える処理を行ヽ ST3401に戻る（ST3409)。

[0178] 処理制御部 135は、極座標モード MS2に設定しているとき（ST3401の NO)、入力情報 PSに基づき方向ボタン操作が行われた力否かを判別する（ST3410)。ここで、方向ボタン操作が行われていないと判別したとき (NO)は ST3401に戻り、方向ボタン操作が行われたと判別したとき（YES)は、「Right rotationボタンの操作であるか否かを判別する（ST3411)。

[0179] 処理制御部 135は、「Right rotation]ボタンの操作であると判別したとき (YES)、選択領域を右方向に回転させる処理を行い ST3401に戻る（ST3412)。処理制御部 135は、「Right rotationjボタンの操作でないと判別したとき（ST3411の NO)は、「L eft rotationボタンの操作であるか否かを判別する（ST3413)。

[0180] 処理制御部 135は、「Left rotation]ボタンの操作であると判別したとき（YES)、選択領域を左方向に回転させる処理を行い ST3401に戻る（ST3414)。処理制御部 135は、「Left rotationjボタンの操作でないと判別したとき（ST3413の NO)は、「Ce nterjボタンの操作であるか否かを判別する（ST3415)。

[0181] 処理制御部 135は、「Center」ボタンの操作であると判別したとき (YES)、選択領域を中心方向に位置に切り替える処理を行、ST3401に戻る（ST3416)。処理制御部 135は、「Center」ボタンの操作でないと判別したとき（ST3415の NO)は、「Outer 」ボタンの操作であるとして、選択領域を中心方向とは逆方向である外方向の位置に切り替える処理を行、ST3401に戻る（ST3417)。

[0182] このような処理を行うことで、所望の方向に選択領域を容易に切り替えることができる。すなわち、所望の方向に位置する被写体の画像を、撮像光学部 111の歪を補正した状態として表示部 14の画面上に表示できる。

[0183] ところで、本実施形態の画像処理システムでは、表示モード MHとして上述の複数のモードを有しており、例えば選択画像表示モード MH2に設定されて、る状態では、いずれの視野方向に選択領域が設定されているか判別することができない。したがつて、選択領域がどのように設定されているかを確認するためには、表示モード MH を全体画像表示モード MH1あるいは両方表示モード MH3に変更する操作が必要となってしまう。そこで、選択領域の切り替えや領域選択モード MSの切り替え等が行われたときに、全体画像 Gcpが少なくとも所定時間表示された状態となるように表示モードの変更を行うことで、表示モードの変更操作をユーザが行わなくとも選択領域の確認を容易に行えるようにする。なお、本実施形態における画像処理システムの構成は上記図 32に示した画像処理システム 40と同様のため、説明を省略する。

[0184] 図 49及び図 50は、全体画像 Gcpの表示動作を示しており、図 49は、選択領域の切り替えに応じて表示モード MHを変更する様子を示した図、図 50は、領域選択モード MSの切り替えに応じて表示モード MHを変更する様子を示した図である。

[0185] 画像処理システムの画像処理部 13は、全体画像 Gcpが表示されない表示モードへの表示モード切り替えが行われたとき、また、全体画像 Gcpが表示されない表示モードに設定されている場合に、領域選択モード MSの切り替えや選択領域の切り替え指示が行われたとき、設定されて！ヽる表示モードにかかわらず自動的に全体画像 Gc Pが表示される表示モードに所定時間変更する。

[0186] 図 49の (A)は、選択画像表示モード MH2で表示が行われて、る場合を示して!/ヽる。選択領域の切り替え指示が行われて選択領域の切り替えが行われた場合、設定されている表示モードに応じた表示画像に対して全体画像 Gcpを合成する処理を行い、合成処理後の画像を新たに表示画像として表示させる。例えば、表示モード MH を両方表示モード MH3に変更して、図 49の（B)に示すように全体画像 Gcpも表示させる。その後、所定時間が経過したときには、全体画像 Gcpの合成処理を終了して全体画像 Gcpを表示画面から消去する。例えば、表示モード MHを選択画像表示モード MH2に戻して、図 49の（C)に示すように全体画像 Gcpを消去させる。また、選択領域の切り替え指示が行われて選択領域が元の位置に戻された場合、表示モード MH を所定時間だけ両方表示モード MH3に変更して、図 49の（C)、図 49の（D)及び図 49の（A)の順に表示を行わせる。

[0187] 図 50の (A)は、選択画像表示モード MH2で表示が行われており、極座標モード M S 2に設定されている場合を示している。ここで、領域選択モード MSが直交座標モード MS1に切り替えられた場合には、設定されている表示モードに応じた表示画像に対して全体画像 Gcpを合成する処理を行ヽ、合成処理後の画像を新たに表示画像として表示させる。例えば、表示モード MHを両方表示モード MH3に変更して、図 50 の（B)に示すように全体画像 Gcpも表示させる。その後、所定時間が経過したときには、全体画像 Gcpの合成処理を終了して全体画像 Gcpを表示画面から消去する。例えば、表示モード MHを選択画像表示モード MH2に戻して、図 50の（C)に示すように全体画像 Gcpを消去させる。

[0188] また、領域選択モード MSが直交座標モード MS1から極座標モード MS2に切り替えられた場合にも、表示モード MHを所定時間だけ両方表示モード MH3に変更して、図 50の（C)、図 50の（D)及び図 50の（A)の順に表示を行わせる。なお、所定時間とは例えば 3秒、 5秒等の数秒である力これに限られるものではない。

[0189] さらに、画像処理部 13は、領域選択モード MSの切り替わり時のみならず、選択領域の切り替え指示が行われたときにも全体画像 Gcpを表示して、所定時間経過後に選択領域表示画像 Gscのみの表示に変更することも可能である。

[0190] また、画像処理部 13は、選択領域の切り替え指示によって選択領域の切り替えが生じる場合や領域選択モード MSの切り替えが行われたときに表示モードを所定期間変更するだけでなぐ撮像方向が変化して選択領域に対応する画像領域 ARsの画像が変更された場合にも、表示モードを所定期間変更するようにしてもよい。例えば撮像部 11による撮像方向が変化すると広視野画像 Gcの画像が変化することから、撮像素子 112のセンサ面上における画像領域 ARsの位置が変化していなくとも選択領域表示画像 Gscは変化したものとなってしまう。すなわち、選択領域が変更された状態となる。このため、例えばジャイロセンサ 41からのセンサ信号 ESに基づき撮像領域の変更を判別したときには、所定期間表示モードの変更を行い全体画像 Gcpを表示する。このようにすれば、ユーザは、所望の方向に位置する被写体の画像を表示部 14に表示するために選択領域の切り替え指示をどのように行えばよ!、か容易に判断できる。

[0191] 図 51は、図 49や図 50に示した表示モードの変更を行う場合の、画像処理システムの動作の流れを示したフローチャートである。画像処理部 13の処理制御部 135は、選択領域の切り替え (移動）があった力否かを判別する（ST3601)。すなわち、選択領域の切り替え指示を行うための上記方向ボタン Gua2, Gud2や方角ボタン Gub2に対するユーザ操作を示す入力情報 PSが入力部 12から供給された力否か、あるいは上述の軌跡情報に基づいて自動的に選択領域を切り替える場合に選択領域の切り替えが生じた力否かを判定する。ここで、選択領域の切り替えがあった場合 (YES) には、画像出力処理部 134に表示制御情 ¾JHを供給して、画像出力処理部 134により、全体画像 Gcp及び選択領域表示画像 Gscを合成した合成画像を表示部 14で表示させる（ST3606)。そして、処理制御部 135は、当該合成画像の出力から所定時間が経過したカゝ否かを判定し (ST3607)、所定時間が経過した場合 (YES)には、表示制御情！ BJHを画像出力処理部 134に供給して、合成画像から全体画像 Gcp が消去された一画面の選択領域表示画像 Gscの表示に変更する（ST3608)。すなわち、処理制御部 135によって画像出力処理部 134を制御して、図 49や図 50に示すように、所定時間経過後に、表示モード MHを両方表示モード MH3から選択画像表示モード MH2に変更する。

[0192] 画像処理部 13の処理制御部 135は、選択領域の切り替えがあった力否かを判別で、選択領域の切り替えがないと判別した場合 (NO)、処理制御部 135は、上記表示モード MHや領域選択モード MSのモード切り替えがあるか否力、すなわち、モードを切り替えるための上記「選択」ボタン Gual, Gublや「Menu」ボタン Guc3に対するユーザ操作を示す入力情報 PSが入力部 12から供給されたカゝ否かを判定する（ST3 602)。ここで、モード切り替えがあった場合 (YES)、上記 ST3606以降の処理を行う。また、画像処理部 13は、 ST3602においてモードの切り替えがないと判定した場合 (NO)、撮像部 11の姿勢 (設置角度）に変化があった力否かを判定する（ST360 3)。すなわち、処理制御部 135は、上記図 32で示したジャイロセンサ 41が検知した傾斜角度を示すセンサ信号 ESに基づき、例えば当該検知結果と、予め定めた初期値との相違を判定する。撮像部 11の設置角度に変化があった場合 (YES)、画像処理部 13は、上記 ST3606以降の処理を行う。

[0193] さらに、処理制御部 135は、 ST3603において撮像部 11の設置角度に変化がないと判定した場合 (NO)には、入力部 12に対する何らかのユーザ操作がある力否かを判定して、ユーザ操作がある場合 (YES)には上記 ST3606以降の処理を行い、ュ一ザ操作がない場合 (NO)には上記 ST3601以降の処理を繰り返す。なお、当該ュ一ザ操作は、上記表示モード MHや領域選択モード MSを切り替える操作や、選択領域を切り替えるための操作である場合には、上記 ST3601又は ST3602の処理と同様となるため、 ST3604におけるユーザ操作はそれら以外の操作を判定対象とする。

[0194] なお、図 51では、選択領域の切り替えがないと判別した場合に、モード切り替えがあるか否か、姿勢変化があるカゝ否カゝ、操作入力があるカゝ否かを順番に判定するものとしたが、図 52に示す ST3605で、選択領域の切り替え、モード切り替え、姿勢変化、操作入力のいずれかがあるか否かを判別して、いずれかがあると判別したとき ST36 06からの処理を行うものとしても、全体画像 Gcpを所定時間表示することが可能となる。

[0195] 以上の処理により、選択領域の切り替え、表示モード MHや領域選択モード MSの切り替え、撮像部 11の姿勢の変化及びユーザ力ゝらの操作入力があった場合、全体画像 Gcpが少なくとも所定時間表示された状態となるように表示が行われる。したがつて、ユーザは、選択領域の切り替えやモードの切り替えが行われた場合に、選択領域がどのように設定されて！、るかを全体画像 Gcp中の画像領域 ARsの強調画像 Gs によって容易に確認することができるとともに、確認後は、選択領域表示画像 Gscを全体画像 Gcpに邪魔されることなく観察することができる。

[0196] なお、画像処理部 13は、まず両方表示モード MH3で全体画像 Gcpを表示してから所定時間経過後に全体画像 Gcpのない選択画像表示モード MH2に切り替えるのとは逆に、上記表示モード MHや領域選択モード MS等の切り替えがあった場合には、まず選択画像表示モード MH2で選択領域表示画像 Gscのみを出力してから、所定時間経過後に、全体画像 Gcpが合成された両方表示モード MH3で合成画像を表示するように画像データ DVdを生成しても構わない。これにより、まず表示部 14に表示された選択領域表示画像 Gscを死角なく確認してから、所定時間経過後に表示されるようになった選択領域表示画像 Gscを観察して、現在の選択領域を確認することがでさる。

[0197] 図 53は、表示モード切替処理の別の形態を示した図である。画像処理部 13は、上記合成画像を表示する際に、例えば合成画像として、選択領域表示画像 Gscを縮小して全体画像 Gcpと重複しな、ように一画面に並べて出力するようにしても構わな!/ヽ。また、全体画像 Gcpを選択領域表示画像 Gsc上に半透明状態で合成して出力するようにしても構わない。いずれにしても、画像処理部 13は、全体画像 Gcpを表示しな力 Sらューザが選択領域表示画像 _Gscを死角なく観察できるような処理を行えばよい。

[0198] さらに、画像処理部 13は、上記所定時間を一定値とせずに、動的に変化させるようにしても構わない。例えば、領域選択モード MSが切り替わった場合には、選択領域の位置が大幅に変化することがあるため、その場合には、上記所定時間を、同一の領域選択モード MSにおける選択領域の切り替えや撮像部 11の姿勢等の変化があつた場合の上記所定時間に比べて長くして、ユーザが選択領域を確実に確認できるようにしてもよい。また例えば、分割表示モード MH4において分割領域が増えると、複数の選択領域を確認するのに時間を要することが考えられるため、分割領域が増えるような (全体画像 Gcp中の強調画像 Gsの数が増えるような)操作をユーザが行つた場合には、他のモード切り替えや姿勢変化等の場合に比べて所定時間を長くしてユーザが確実に選択領域を確認できるようにしてもよ!、。

産業上の利用可能性

[0199] この発明では、画像データで表される視野に対して、直交座標系を用いて視野の一部の領域を示す選択領域を選択する第 1の領域選択モードと、画像データで表される視野に対して、極座標系を用いて視野の一部の領域を示す選択領域を選択する第 2の領域選択モードが設けられて、設定された第 1又は第 2の領域選択モードにおいて選択された選択領域に相当する画像データの歪補正が行われる。このため、撮像された広画角画像に対して所望の領域を選択領域として設定して、この選択領域の画像の確認等を行う場合に好適である。

Claims

請求の範囲

[1] 被写体力ゝらの光学像を歪を与える撮像光学部を介して撮像することで得られる、前記撮像光学部の歪を含む画像データを処理する画像処理装置において、

前記画像データで表される視野に対して、直交座標系を用いて前記視野の一部の領域を示す選択領域を選択する第 1の領域選択モードと、前記画像データで表される視野に対して、極座標系を用いて前記視野の一部の領域を示す選択領域を選択する第 2の領域選択モードとを選択的に設定する領域選択モード設定部と、前記領域選択モード設定部で設定された第 1又は第 2の領域選択モードにおいて選択された選択領域に相当する画像データを歪補正することにより得た被歪補正データを出力するデータ出力部とを備える画像処理装置。

[2] 前記選択領域に相当する前記画像データを歪補正する歪補正部をさらに備える、請求の範囲第 1項記載の画像処理装置。

[3] 前記歪補正部は、前記選択領域に相当する前記画像データのみを歪補正する、請求の範囲第 2項記載の画像処理装置。

[4] 前記第 1の領域選択モードで前記選択領域を切り替えるとき、前記直交座標系の座標値を変更することで前記選択領域の切り替えを行! \前記第 2の領域選択モードで前記選択領域の切り替えるとき、前記極座標系の偏角および Zまたは動径を変更することで前記選択領域の切り替えを行う制御部をさらに備える、請求の範囲第 1 項記載の画像処理装置。

[5] 前記撮像光学部と該撮像光学部を介して入射する光学像の画像データを生成する撮像素子とを有する撮像部をさらに備える、請求の範囲第 1項記載の画像処理装置。

[6] 前記撮像光学部は魚眼レンズを用いて構成した、請求の範囲第 5項記載の画像処理装置。

[7] 前記撮像光学部に入射する光学像の入射方向を検出する方向検出センサをさらに備え、

前記領域選択モード設定部は、前記方向検出センサ力ものセンサ信号に基づき、前記第 1の領域選択モードと前記第 2の領域選択モードのいずれか一方を選択する、請求の範囲第 5項記載の画像処理装置。

[8] 前記領域選択モード設定部は、前記方向検出センサ力のセンサ信号に基づいて判別した鉛直方向に対する角度に応じて、前記第 1の領域選択モードと前記第 2の領域選択モードの!/、ずれか一方を選択する、請求の範囲第 7項記載の画像処理装置。

[9] 前記領域選択モード設定部は、前記角度が第 1の閾値を超えた力否かに応じて前記第 1の領域設定モードから前記第 2の領域設定モードへ切り替え、前記角度が前記第 1の閾値とは異なる第 2の閾値を超えた力否かに応じて前記第 2の領域選択モードから前記第 1の領域選択モードへ切り替えを行う、請求の範囲第 8項記載の画像処理装置。

[10] 物体との接触を検知する検知センサをさらに備え、

前記領域選択モード設定部では、前記検知センサ力ものセンサ信号に基づき、物体との接触が検知されたか否かに応じて、前記第 1の領域選択モードと前記第 2の領域選択モードのいずれか一方を選択する、請求の範囲第 1項記載の画像処理装置

[11] 前記領域選択モード設定部では、前記選択領域の選択位置に応じて、前記第 1の領域選択モードと前記第 2の領域選択モードの、ずれか一方を選択する、請求の範囲第 1項記載の画像処理装置。

[12] 前記選択領域の選択指示を含む入力情報の生成を行う入力部をさらに備え、前記領域選択モード設定部は、前記入力情報に含まれて!/、る前記選択指示に基づき前記選択領域の選択を行う、請求の範囲第 1項記載の画像処理装置。

[13] 前記撮像光学部の歪を含む画像データを記憶した記憶装置をさらに備え、

前記記憶装置力読み出した画像データに対して処理を行う、請求の範囲第 1項記載の画像処理装置。

[14] グラフィカルユーザインタフェース表示を行う表示部をさらに備え、

前記領域選択モード設定部は、前記第 1の領域選択モードと前記第 2の領域選択モードとで前記グラフィカルユーザインタフェース表示の切り替えを行う、請求の範囲第 1項記載の画像処理装置。

[15] 被写体力ゝらの光学像を歪を与える撮像光学部を介して撮像することで得られる、前記撮像光学部の歪を含む画像データを処理する画像処理方法において、

前記画像データで表される視野に対して、直交座標系を用いて前記視野の一部の領域を示す選択領域を選択する第 1の領域選択モードと、前記画像データで表される視野に対して、極座標系を用いて前記視野の一部の領域を示す選択領域を選択する第 2の領域選択モードとを選択的に設定する領域選択モード設定ステップと、前記領域選択モード設定ステップで設定された第 1又は第 2の領域選択モードで選択された選択領域に相当する前記画像データを歪補正することにより得た被歪補正データを出力するデータ出力ステップとを備える画像処理方法。

[16] 被写体力ゝらの光学像を歪を与える撮像光学部を介して撮像することで得られる、前記撮像光学部の歪を含む画像データを処理する画像処理をコンピュータに行わせるプログラムであって、

前記画像データで表される視野に対して、直交座標系を用いて前記視野の一部の領域を示す選択領域を選択する第 1の領域選択モードと、前記画像データで表される視野に対して、極座標系を用いて前記視野の一部の領域を示す選択領域を選択する第 2の領域選択モードとを選択的に設定する領域選択モード設定ステップと、前記領域選択モード設定ステップで設定された第 1又は第 2の領域選択モードで選択された選択領域に相当する前記画像データを歪補正することにより得た被歪補正データを出力するデータ出力ステップとを備えるプログラム。

[17] 被写体力ゝらの光学像を歪を与える撮像光学部を介して撮像することで得られる、前記撮像光学部の歪を含む画像データを処理する画像処理をコンピュータに行わせるプログラムを記録した記録媒体であって、

前記画像データで表される視野に対して、直交座標系を用いて前記視野の一部の領域を示す選択領域を選択する第 1の領域選択モードと、前記画像データで表される視野に対して、極座標系を用いて前記視野の一部の領域を示す選択領域を選択する第 2の領域選択モードとを選択的に設定する領域選択モード設定ステップと、前記領域選択モード設定ステップで設定された第 1又は第 2の領域選択モードで選択された選択領域に相当する前記画像データを歪補正することにより得た被歪補正データを出力するデータ出力ステップとを備えるプログラムを記録した記録媒体。