JP4487952B2 - カメラ装置及び監視システム - Google Patents

Description

本発明は、監視システムの監視カメラ（ＩＴＶ）に係り、特にレンズ方向固定で、且つ、超広角レンズを取り付けたＩＴＶカメラで撮像した画像の歪補正画像処理に関する。

従来より超広角撮像した画像の歪を補正して合成する監視システムは公知である。その一般的な構成では、超広角レンズを取り付けたＩＴＶカメラにて撮像した歪補正する前の画像を何らかの伝送手段によりホストコンピュータに伝送し、このホストコンピュータが画像を取り込みソフトウェアにて歪補正、切り出し、合成等の画像処理を行って表示器に表示している(例えば特許文献１参照）。
特開平７−９３５５８号公報

しかしながら、このような従来の監視システムにおけるホストコンピュータは、歪補正、切り出し、合成等の画像処理が重くなるため、安価であるが性能の低いホストコンピュータでは処理時間が１フレーム内に間に合わず、リアルタイム性が低下する。そこでリアルタイム性が確保できるようにするにはホストコンピュータに高価で性能の高いものを使用すればよいが、それではシステムのコストが増大する。

ところで、一般的なカメラで超広角撮像して歪補正前の画像をホストコンピュータに伝送する場合、一般的なカメラから出力される画像はカメラ信号処理した画像であり、その画像はガンマ処理等によりダイナミックレンジが低くなっている。また、一般的にはカメラに搭載しているイメージングセンサの総画素数と及び元画像の総画素数とカメラからの出力画像の総画素数とは同じであるため、カメラの出力画像はレンズの歪曲収差の特性により周辺の解像度は低くなっている。それ故、伝送手段がアナログ（NTSC等）の場合においては、伝送ノイズの悪影響もあり、ホストコンピュータが処理するための元画像は取得時に既に劣化した状態となっている。それ故、このような画像をホストコンピュータで歪補正をしても、良好な画質のものは得られなかった。

また、超広角撮像した画像を歪補正する方法としては、歪補正前の画像を用いてレンズ歪曲収差を格子状に配置することによって、そのベクトル量を歪補正パラメータとして持つことで歪補正するアルゴリズムが公知である。このアルゴリズムを用いて、元画像における任意の部分を切り出した後、別の部分にレンズの向きがスムーズに変化しているかのごとくパン・チルト・ズーム・回転させるには、元画像における切り出す部分の歪補正パラメータを予め用意していなければならない。

この場合、上記切り出し部分の間隔が広いと、パン・チルト・ズーム・回転などをさせた時の画像が飛び飛びに表示機に表示され、逆に切り出す部分の間隔が狭いと、比較的連続的な表示はなされるが、その分、記憶すべき歪補正パラメータが多くなるため、これらパラメータを記憶する記憶装置の容量が増大し、システムのコストが増大してしまう。

そこで、この問題を回避するために、歪補正パラメータを予め記憶装置に用意するのではなく、ホストコンピュータの演算処理により歪補正パラメータを随時生成するようにすれば、記憶装置の容量の増大なく、パン・チルト・ズーム・回転させた時の画像のスムーズな表示を得ることができる。しかしながら、ホストコンピュータによる歪補正パラメータの演算に多大な時間が掛かり過ぎると、やはり上記画像が表示器に飛び飛びに表示されてしまうため、高性能であるが高価なホストコンピュータを用いて演算時間を短縮しなければならないが、これではシステムのコストが増大してしまう。

一方、テレビカメラ付きインターホンや広視野カメラ装置等では、超広角撮像した画像をカメラ側で歪補正する特許が数件公知となっている。しかしながら、これらの装置では任意の歪補正パラメータ等を書き換えられるものはなく、固定的な補正しかできないことと、現在の歪補正パラメータから別の歪補正パラメータにパラメータ自体を補間するものもないため、カメラ自体でスムーズな電子パン・チルト等ができなかった。そのため、システムで使用するドーム型カメラ（メカ駆動でレンズの方向が変えられるカメラ）を上記のようなカメラ側で歪補正するカメラで置き換えることができなかった。

本発明は前記事情に鑑み案出されたものであって、本発明の目的は、カメラ或いはシステムのコストを上昇させることなく、パン・チルト・ズーム・回転などをさせた時の画像の表示をスムーズに行うことができるレンズ方向固定のカメラ装置及びそれを用いた監視システムを提供することにある。

本発明は上記目的を達成するため、レンズの結像画像を撮像素子で撮像して画像データにし、その画像データに含まれる前記レンズの歪曲収差を歪補正する機能を備えたカメラ装置であって、第１状態の前記画像データの前記歪曲収差を歪補正するための第１の歪補正パラメータを保持する第１の記憶手段と、前記第１状態の画像データより後の時刻の画像データに対応する第２状態をあらかじめ指定する制御手段と、前記第２状態の画像データの前記歪曲収差を歪補正するための第２の歪補正パラメータを保持する第２の記憶手段と、前記画像データが前記第１状態から前記第２状態に遷移する際に、その間の状態を示す複数の画像データの前記歪曲収差を歪補正するための歪補正パラメータを、前記第１の歪補正パラメータと、前記第２の歪補正パラメータに基づき、補間して生成する歪補正パラメータ補間手段と、を具備する。

また、本発明は、前記撮像素子の受光総画素数は前記歪補正されて当該カメラ装置から出力される出力画像の総画素数よりも多い。

また、本発明は、超広角レンズを備え、レンズの結像画像を撮像素子で撮像して画像データにし、その画像データに含まれる前記レンズの歪曲収差を歪補正する機能を備えたカメラ装置を外部から制御する監視システムであって、第１状態の前記画像データの前記歪曲収差を歪補正するための第１の歪補正パラメータを保持する第１の記憶手段と、前記第１状態の画像データより後の時刻の画像データに対応する第２状態をあらかじめ指定する制御手段と、前記第２状態の画像データの前記歪曲収差を歪補正するための第２の歪補正パラメータを保持する第２の記憶手段と、前記画像データが前記第１状態から前記第２状態に遷移する際に、その間の状態を示す複数の画像データの前記歪曲収差を歪補正するための歪補正パラメータを、前記第１の歪補正パラメータと、前記第２の歪補正パラメータに基づき、補間して生成する歪補正パラメータ補間手段と、を具備するカメラ装置を有する。
またさらに、カメラ装置と接続され、カメラ装置の制御手段に対して、第１状態の画像データへの画像処理を指定する外部インターフェースを具備する。

このように本発明では、超広角レンズ等で撮像した画像の歪補正をカメラ装置側で行うため、このカメラ装置を回線等で接続するホストコンピュータの性能は標準的なものでよく、また、カメラ装置の制御部は、最初と最終的画像状態の画像に対する歪補正パラメータを指示すればよく、その間の細かい歪補正パラメータは、安価な歪補正パラメータ補間手段が生成し、これを用いて画像の歪曲収差を補正するため、監視システムのコストを上昇させることなく、パン・チルト・ズーム・回転などを行うことができ、さらにこれら動作を行った時などの画像のスムーズな表示を行うことができる。

また、前記撮像素子の受光総画素数は前記歪補正されて当該カメラ装置から出力される出力画像の総画素数よりも多い、例えば５〜６倍のため、歪補正時の画像の劣化がなく、良好な画質の画像を得ることができる。

本発明によれば、超広角レンズで撮像した画像の歪補正をカメラ装置側で行うため、このカメラ装置を回線等で接続するホストコンピュータの性能は標準的なものでよく、ホストコンピュータが監視システムのコストアップ要因にはならない。また、カメラ装置の制御部（マイクロコンピュータ部）は、最初と最終的画像状態における画像の歪補正パラメータを指示すればよく、その間の細かい歪補正パラメータは補間して生成し、これを用いて画像の歪を補正するため、パン・チルト・ズーム・回転させた時などの画像のスムーズな表示を行うことができる。この際、制御部はそれほど多くの歪補正パラメータを持つ必要がないため、記憶装置の容量を大きくしたり、性能のよいＣＰＵを用いる必要がないため、カメラ装置のコストは監視システムのコストアップ要因にならない。しかも、歪補正パラメータ補間手段は安価なハードウェアで構成できるため、これも、監視システムのコストアップ要因にならない。したがって、スムーズな電子パン・チルト・ズーム・回転等を安価なシステムで実現することができる。また、上記効果によって、監視システムで使用するドーム型カメラ（メカ駆動でレンズの方向が変えられるカメラ）をレンズの方向が固定のカメラ装置で置き換えることができる。また、前記撮像素子の受光総画素数は前記歪補正されて当該カメラ装置から出力される出力画像の総画素数よりも多い、例えば５〜６倍のため、歪補正時の画像の劣化がなく、良好な画質の画像を得ることができる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。
図１は、本発明の第１の実施形態に係る監視システムに用いられる超広角撮像のカメラ装置の構成を示したブロック図である。超広角撮像カメラ装置は、超広角レンズ１、イメージングセンサー２、カメラ信号処理部３、フレームメモリ（ＲＡＭ）４、書き込みアドレス生成部５、読み出しアドレス変換部６、出力処理部７、マイクロコンピュータ部８、歪補正パラメータ用ＲＡＭ９、歪補正パラメータ用ＲＡＭ１０、歪補正パラメータ補間処理部１１を有して構成されている。尚、マイクロコンピュータ部８は伝送回線を通して外部のインターフェース（ＩＦ）である例えばホストコンピュータ（図示せず）に接続され、監視システムなどを構成し、この場合、前記カメラ装置は監視カメラと呼ばれる。

次に本実施形態の動作について説明する。本実施形態の超広角撮像カメラは歪補正パラメータを用いることにより、超広角撮像した画像を歪補正しつつ、切り出し（パン・チルト・ズーム）、回転、鏡像処理、合成等を行う。この時、マイクロコンピュータ部８は歪補正パラメータを内蔵のＲＯＭ/ＲＡＭ等のメモリに予め記憶していてもよいし、マイクロコンピュータ部８の演算により求めてもよいし、或いは、このカメラ装置が伝送回線によって接続されているホストコンピュータ（図示せず）からの外部通信により受信してもよい。

被写体は超広角レンズ１によって撮像される。図２は超広角レンズ１を用いた撮像の概念を示している。歪補正パラメータの算出は図２に示すように超広角レンズ１の歪曲収差を示した格子を撮像面（平面）に射像することにより超広角レンズ１の歪曲収差を示した格子を得、撮像面の正方格子に対し超広角レンズ１の歪曲収差を示した格子が一致するように各格子のベクトル（Ｘ，Ｙ）を求める。

従って、歪補正パラメータは図３のように出力画像における各格子点を、歪補正する前の元画像の各格子点を示すベクトル（Ｘ，Ｙ）で指し示している。この時、図２の法線ＯＰの距離ｆにより画角（ズーム倍率）が変更でき、天頂角θと方位角φにより切り出す部分が変更（パン・チルト・回転）できる。また、各格子点の間は、着目する格子点における周囲の格子点のベクトルを用い補間する。この時、補間アルゴリズムは最近傍法(Nearest Neighbor)でもよいし、線形補間法(Bilinear)でもよいし、３次補間法(Bicubic)でもよい。

超広角レンズ１は被写体の光学画像をイメージングセンサー２の受光面に結像させ、イメージングセンサー２は光学画像を光電変換してＲＡＷデータとする。こうして撮像された画像データはカメラ信号処理部３を経てフレームメモリ４に入力され、ここでレンズ１の歪曲収差による歪が補正され、適切な状態（ＡＥ、ＡＷＢ等）で歪なし画像（以降、元画像と云う）として出力処理部７からホストコンピュータに出力される。この時、本実施形態のイメージングセンサー２の総画素数、およびカメラ信号処理部３に入力される元画像の総画素数は、出力処理部７から出力される画像の総画素数より数倍多く、これによりレンズ１の歪曲収差における周辺解像度の低下を抑制することができる。この元画像は書き込みアドレス生成部５により指定されたアドレスに従ってフレームメモリ４に順次格納される。

マイクロコンピュータ部８はこれから歪補正したい元画像部分を示す歪補正パラメータをＲＡＭ９に格納する。その時、ＲＡＭ１０は現在歪補正している歪補正パラメータを格納しており、ＲＡＭ１０からＲＡＭ９の歪補正パラメータに遷移（スムーズなパン・チルト・ズーム・回転）後、ＲＡＭ９の歪補正パラメータはＲＡＭ１０に転送される。この遷移の際に、歪補正パラメータ補間処理部１１は図３に示すような格子状に作られた歪補正パラメータにおける各格子点の間におけるベクトル（Ｘ，Ｙ）を補間し、また、スムーズなパン・チルト・ズーム・回転等時にＲＡＭ１０の歪補正パラメータからＲＡＭ９の歪補正パラメータに遷移する途中の各格子点におけるベクトル（Ｘ，Ｙ）の補間を行う。この補間ベクトル（歪補正パラメータ）は歪補正パラメータ補間処理部１１によって順次生成される。

読み出しアドレス変換部６はパラメータ補間処理部１１によって順次生成される歪補正パラメータのベクトル（Ｘ，Ｙ）を、実アドレスに変換してフレームメモリ４に与える。これにより、フレームメモリ４ではほぼ連続的に変化する歪補正パラメータによって元画像の補正対象部分の円滑な歪補正が行われる。フレームメモリ４から読み出されたデータは歪補正、切り出し、合成等された画像となり、その後、出力処理部７によりガンマ処理、マスク処理、フォーマット変換等を受けて外部に出力される。

ここで、歪補正パラメータの導出について説明する。但し、歪補正パラメータはマイクロコンピュータ部８のＲＯＭ/ＲＡＭ等のメモリに記憶していてもよいし、マイクロコンピュータ部８の演算により求めてもよいし、ホストコンピュータからの外部通信により受信してもよい。

（１−１）元画像からの部分切り出し（パン・チルト）
元画像における任意の部分を切り出す（パン・チルト）には、図４のように元画像における任意の部分を、レンズの歪曲収差を示した各格子点のベクトル（Ｘ，Ｙ）に出力画像における各格子点のオフセット（Ｘ，Ｙ）を加算し、歪補正パラメータとする。
(１−２)元画像からの部分切り出しにおける画角変更（ズーム）
元画像における任意の部分の切り出しにおいて画角を変更する（ズーム）には、図５、図６のように元画像における任意の範囲を、レンズの歪曲収差を示した各格子点のベクトル（Ｘ，Ｙ）に出力画像における各格子点のオフセット（Ｘ，Ｙ）を加算し、歪補正パラメータとする。
(１−３)元画像からの部分切り出しにおける回転
元画像における任意の部分を切り出して回転させるには、図７のように元画像における任意の範囲を、元画像における原点Ｏを中心に角φ回転させた時のレンズの歪曲収差を示した各格子点のベクトル（Ｘ，Ｙ）に出力画像における各格子点のオフセット（Ｘ，Ｙ）を加算し、歪補正パラメータとする。
(１−４)元画像からの部分切り出しにおける鏡像処理（上下左右反転）
元画像における任意の部分の切り出しおいて鏡像にする（上下左右反転）には、図８のように元画像における任意の部分・範囲を、レンズの歪曲収差を示した各格子点のベクトル（Ｘ，Ｙ）に出力画像における各格子点のオフセット（Ｘ，Ｙ）を加算し、それを任意の中心（縦線、横線、斜線、原点）より対照に折り返したものを、歪補正パラメータとする。
（１−５）元画像からの部分切り出しにおける合成
元画像における任意の部分の切り出しおいて合成するには、図９のように元画像における任意の部分・範囲を、レンズの歪曲収差を示した各格子点のベクトル（Ｘ，Ｙ）に出力画像における各格子点のオフセット（Ｘ，Ｙ）を加算し、それを任意の分割線（縦線、横線、斜線等）より各切り出したい部分を合成することによって、歪補正パラメータとする。
この時、出力画像において合成したい切り出し部分の範囲を変化（大きく、または小さくする）させることにより、各切り出し画像の出力サイズが任意となる。
（１−６）元画像の歪補正しない
元画像の歪補正をしない場合、各格子点のベクトル（Ｘ，Ｙ）をレンズの歪曲収差を考慮しない、つまり“０”（ゼロ）とし、それに出力画像における各格子点のオフセット（Ｘ，Ｙ）を加算し、歪補正なしパラメータとする。但し、上記した（1-１）〜（１-６）の処理は組み合わせて用いてもよい。

次に出力画像における単一画像、または合成した複数の画像全て、または任意の部分の画像を、元画像における別の部分に、レンズの向きがスムーズに変化している（動いている）ごとくパン・チルト・ズーム・回転等をさせる方法を図１の構成を参照して以下に説明する。

（２−１）歪補正パラメータ補間処理部１１における遷移時の動作
図１においてＲＡＭ１０は現在歪補正している部分（以降、移動元と云う）を示す歪補正パラメータが格納されている。遷移開始時、マイクロコンピュータ部８はこれから歪補正させたい部分（以降、移動先と云う）を示す歪パラメータをＲＡＭ９に格納する。マイクロコンピュータ部８により遷移開始を促された歪補正パラメータ補間処理部１１は、ＲＡＭ１０に格納された歪補正パラメータ（移動元）における各格子点のベクトル（Ｘ，Ｙ）を、ＲＡＭ９に格納された歪補正パラメータ（移動先）おける各格子点のベクトル（Ｘ，Ｙ）に遷移させるための補間を行う。

遷移終了後、ＲＡＭ９（移動先）の内容はＲＡＭ１０（移動元）にコピーされ、新たに現在歪補正している部分（移動元）を示すことになる。この時、ＲＡＭ９からＲＡＭ１０へのコピーはＤＭＡでもよいし、ＲＡＭのバンク制御でもよい。

また、遷移途中において補間している歪補正パラメータを一時的に更新しないようにすることにより、パン・チルト・回転等を一時停止させることができ、補間処理により生成された補間歪補正パラメータを再びＲＡＭ１０に書き戻すことによって遷移を中断（停止）することができる。遷移するためのステップ数（補間する数）は任意であり、ステップ数が多いほど遷移が遅くなり、少ないほど遷移は早くなる。

この時、遷移するための１ステップにおける時間的な間隔は、撮像画像または出力画像におけるフレームレートの任意の周期でもよいし、実時間でもよく、マイクロコンピュータ部８による制御でも、ハードウェア（ＨＷ）による制御でもよい。
（２−２）パン・チルト・ズーム等、回転以外の時の補間
パン・チルト・ズーム等、回転以外は図１０のようにＲＡＭ１０（移動元）に格納された歪補正パラメータにおける各格子点のベクトル（Ｘ，Ｙ）から、ＲＡＭ９（移動先）に格納された歪補正パラメータおける各格子点のベクトル（Ｘ，Ｙ）に、遷移するための任意のステップ数にて線形補間する。この時、ＲＡＭ１０（移動元）とＲＡＭ９（移動先）に格納された歪補正パラメータおける各格子点のベクトル（Ｘ，Ｙ）に差異がない箇所は補間しない。
（２−３）回転時の補間
回転は図１１のようにＲＡＭ１０（移動元）に格納された歪補正パラメータにおける各格子点のベクトル（Ｘ，Ｙ）から、ＲＡＭ９（移動先）に格納された歪補正パラメータおける各格子点のベクトル（Ｘ，Ｙ）に、任意の遷移するためのステップ数にて補間するベクトルが円の軌跡を描くように補間する（以降、円形補間と云う）。この時、ＲＡＭ１０（移動元）とＲＡＭ９（移動先）に格納された歪補正パラメータおける各格子点のベクトル（Ｘ，Ｙ）に差異がない箇所は補間しない。
（２−４）円形補間の方法
円形補間するには、元画像における原点Ｏを中心に各格子点（移動元、移動先）のベクトル（Ｘ，Ｙ）の和を元に逆正接関数によりそれぞれの角φを得、角φを遷移するためのステップ数で割ってステップ角θを求める。ステップ毎に移動元の各格子点の角φに角θを加えてゆき、それを元に正弦関数により原点Ｏを中心とした係数Ｋxを、余弦関数によりＫyを求め、移動元の各格子点のベクトル（Ｘ，Ｙ）に乗ずることにより補間する。図１２に例として３１５度から４５度に１８ステップで遷移した時のＫxとＫyを示す。

尚、”（１−１）〜（１−５）”および”（２−１）〜（２−４）”を組み合わせることにより、元画像の任意の部分を複数切り出し、場合によってはそれを鏡像処理し、それらを図１３に示すように合成し、合成した全部または任意の部分のみを図１４に示すようにスムーズにパン・チルト・ズーム・回転等をさせることが可能である。

次に図1に示したカメラ装置を接続するホストコンピュータなどにより外部から制御することについて説明する。外部インターフェース（ＩＦ）により簡易な指示で、元画像における切り出し部分（パン・チルト）、画角の変更（ズーム）、回転角、鏡像処理（上下左右反転）、合成する方法を示す。この時、外部ＩＦはホストコンピュータからの通信でもよいし、スイッチ（接点入力）でもよい。

（３−１）外部ＩＦがホストコンピュータからの通信の場合
ホストコンピュータは“パン角、チルト角、画角、回転角、鏡像処理あり/なし、出力画像サイズ、出力画像位置”を指定する。この時、複数の画像を合成するのであれば、別途、上記を指定する。
（３−２）外部ＩＦがスイッチ（接点入力）の場合
ホストコンピュータはスイッチ（接点入力）のオン/オフにより任意の歪補正パラメータを指定する。この時、スイッチ（接点入力）のオン/オフを組み合わせてもよい。
（３−３）指定された歪補正パラメータの生成
マイクロコンピュータ部８は上記”（３−１）、〜（３−２）”で指定された時、対応する歪補正パラメータをＲＯＭ/ＲＡＭ等のメモリから読み出す。この時、マイクロコンピュータ部８の演算により読み出した歪補正パラメータを修飾してもよい。また、基本的な歪補正パラメータを部分的にＲＯＭ/ＲＡＭに記憶させておき、それらを組み合わせて歪補正パラメータを生成してもよいし、ＲＯＭ/ＲＡＭに記憶させずマイクロコンピュータ部８の演算により歪補正パラメータを生成してもよい。
（３−４）歪補正パラメータの更新
マイクロコンピュータ部８は上記“（３−３）”にて得られた歪補正パラメータを図１におけるＲＡＭ９に書き込み、歪補正パラメータ補間処理部１１に遷移開始を促すことより、歪補正、切り出し、回転、鏡像処理、合成等を行う。また、外部ＩＦにより遷移の一時停止や中断（停止）を促してもよい。

図１５は図１に示したカメラ装置の動作手順を示したフローチャートである。まず、ステップＳ１において、イメージングセンサー２からＲＡＷデータが出力される。ステップＳ２では、カメラ信号処理部３はＲＡＷデータをカメラ信号処理し、歪補正前画像（元画像）をフレームメモリ４に出力する。その際、ステップＳ３で、書き込みアドレス生成部５により生成されたアドレスにより、元画像がフレムーメモリ４に書き込まれる。

ステップＳ４において歪補正パラメータ補間処理部１１は後述する外部ＩＦからの遷移を促す指示などでＲＡＭ９からＲＡＭ１０への歪補正パラメータの遷移実行中かどうかを判定し、遷移実行中でない場合は、ステップＳ５に進み、遷移実行中である場合はステップＳ１２に進む。

ステップＳ５で、歪補正パラメータ補間処理部１１はＲＡＭ１０の歪補正パラメータを各格子点のベクトル（Ｘ，Ｙ）とする。ステップＳ６で、歪補正パラメータ補間処理部１１はＲＡＭ１０の歪補正パラメータを各格子点間におけるベクトル（Ｘ，Ｙ）間を補間し、各画素毎のベクトル（Ｘａ、Ｙａ）を生成する。ステップＳ７で、読み出しアドレス変換部６は歪補正パラメータ補間処理部１１により生成されたベクトル（Ｘａ、Ｙａ）を元に読み出しアドレスを生成し、フレームメモリ４から画素データを読み出す（歪補正、切り出し、合成等後の画像となる）。ステップＳ８で、出力処理部７はフレームメモリ４から読み出した画素データをマスク処理、フォーマット変換等をしてホストコンピュータなどの外部装置に伝送回線などを通して出力した後、ステップＳ１の処理に戻る。

一方、ステップＳ４で遷移実行中と判定された場合、ステップＳ１２で、歪補正パラメータ補間処理部１１は遷移ステップ毎にＲＡＭ１０の歪補正パラメータからＲＡＭ９の歪補正パラメータに線形または円形補間することで、各格子点のベクトル（Ｘ，Ｙ）を生成し、ステップＳ１３で後述する外部ＩＦの指示などにより遷移一時停止かどうか判定し、一時停止である場合はステップＳ１の処理に戻る。遷移一時停止でない場合はステップＳ１４で、歪補正パラメ―タ補間処理部１１は遷移ステップを更新し、ステップＳ１５で遷移終了かどうかを判定し、遷移終了の場合はステップＳ１６に進み、ここで歪補正パラメータ補間処理部１１はＲＡＭ９の歪補正パラメータをＲＡＭ１０にコピーする。遷移終了でない場合、歪補正パラメータ補間処理部１１は、ステップＳ１９で外部ＩＦなどからの指示で遷移中断があったかどうかを判定し、ない場合はステップＳ１に戻り、ある場合はステップＳ２０で歪補正パラメータ補間処理部１１により線形または円形補間されていた補間中の各格子点のベクトル（Ｘ，Ｙ）をＲＡＭ１０に書き戻し、遷移を中断する。

次に外部インターフェースによる指示が発生した場合について説明する。外部インターフェースによる指示が発生した場合、マイクロコンピュータ部８は、ステップＳ９で、その指示内容に応じた処理に分岐する。歪補正パラメータの変更指示があった場合、ステップＳ１０に進み、ここで、マイクロコンピュータ部８は任意の歪補正パラメータをＲＯＭ／ＲＡＭ等のメモリから読み出し、またはマイクロコンピュータ部８の演算により生成する。ステップＳ１１でマイクロコンピュータ部８は任意の歪補正パラメータをＲＡＭ９に書き込み、歪補正パラメータ補間処理部１１に遷移開始を促す。

遷移の一時停止指示があった場合、ステップＳ１７に進み、ここで、マイクロコンピュータ部８は歪補正パラメータ補間処理部１１に遷移一時停止を促す。遷移中断指示があった場合、ステップＳ１８に進み、ここで、マイクロコンピュータ部８は歪補正パラメータ補間処理部１１に遷移中断を促す。

本実施形態によれば、超広角レンズ１で撮像した画像の歪補正をカメラ装置側で行うため、このカメラ装置を回線等で接続するホストコンピュータの性能は標準的なものでよく、ホストコンピュータが監視システムのコストアップ要因にはならない。また、カメラ装置では、マイクロコンピュータ部８は、最初と最終的画像状態における画像の歪補正パラメータを指示すればよく、その間の細かい歪補正パラメータは歪補正パラメータ補間処理部１１が生成し、これを用いて画像の歪を補正するため、パン・チルト・ズーム・回転させた時などの画像のスムーズな表示を行うことができる。この際、マイクロコンピュータ部８はそれほど多くの歪補正パラメータを持つ必要がないため、記憶装置の容量を大きくしたり、性能のよいＣＰＵを用いる必要がないため、マイクロコンピュータ部８のコストは監視システムのコストアップ要因にならない。しかも、歪補正パラメータ補間処理部１１は安価なハードウェアで構成するため、これも、監視システムのコストアップ要因にならない。

さらに本実施形態によれば、超広角レンズを用い撮像した元画像をカメラ自体が歪補正、切り出し、鏡像処理、合成等の画像処理を行い出力するので、以下の効果が期待できる。即ち、外部のホストコンピュータがソフトウェアによりカメラ画像の歪補正、切り出し、合成等の画像処理をしていた場合に比べ、ホストコンピュータの負荷が大幅に軽減され、リアルタイム性が向上（高フレームレート化が容易）するので視認性を向上させることができる。

また、歪補正パラメータにより歪補正だけでなく、歪補正パラメータを補間して生成できるため、パン・チルト・ズーム・回転が容易に実現できることでメカ駆動が真に不要であり、鏡像処理、合成等、そしてそれらの組み合わせで、あらゆる画像処理が容易に実現でき更なる付加価値を与えることができ、その上、スムーズなパン・チルト・ズーム・回転でき、且つ所望の位置にて停止させることができ、且つそこから別の状態にスムーズにパン・チルト・ズーム・回転できため、視覚的な操作性を向上させることができる。

また、外部ＩＦにおいて簡易な指示によりパン・チルト・ズーム、回転、合成等の制御を行うことができ、システム的なコストを削減することができる。

また、カメラ装置内部で元画像の歪補正、切り出し、合成等の画像処理を行うので、ダイナミックレンジが向上し、出力画素数に対し総画素数が多いイメージングセンサー２を用いることで、レンズの歪曲収差の特性による周辺の解像度低下を抑制でき、伝送手段がアナログ（NTSC等）の場合でも、歪補正、切り出し、合成等の処理を行い伝送するため（元画像に比べ拡大画像を送れる）ＳＮを向上させることができる。

任意の歪補正パラメータをカメラ装置自体がメモリに記憶している、またはマイクロコンピュータ部８により演算させるので、任意の画角のレンズや歪曲収差の違うレンズを使用した場合にも容易に対応することができる。

また、上記の構成より、現在の画角から別の画角にメカ駆動のようなスムーズなズームができる。現在の回転角から別の回転角にメカ駆動のようなスムーズな回転ができる。
現在の画像から鏡像にスムーズに遷移できる。現在の切り出し部分から別の切り出し部分にメカ駆動のようなスムーズなパン・チルトができる。
現在の画角から別の画角にメカ駆動のようなスムーズなズームができる。元画像の中心を原点として、現在の切り出し部分から別の切り出し部分に、メカ駆動のようなスムーズな回転ができる。

現在の画像から鏡像にスムーズに遷移できる。
現在の画像サイズから別の画像サイズにスムーズに遷移できる。
現在の位置から別の位置にスムーズに配置できる。任意の切り出し部分のみを実行できる。
歪補正した画像から歪補正をしない画像に、またその逆にスムーズに遷移できる。ズムーズに遷移する速度（時間）を任意に設定できる。
遷移する時間を最短時間にすることにより、各種の画像状態に一気に遷移することができる。スムーズに遷移している途中で一時停止することができる。
スムーズに遷移している途中で停止（中断）することができ、停止した状態から遷移することができる。

尚、本発明は上記実施形態に限定されることなく、その要旨を逸脱しない範囲において、具体的な構成、機能、作用、効果において、他の種々の形態によっても実施することができる。

本発明の第１の実施形態に係る監視システムに用いられる超広角撮像のカメラ装置の構成を示したブロック図である。 超広角撮像概念を説明する図である。 超広角レンズで撮像した画像の歪補正する例を説明する図である。 パン・チルト例を説明する図である。 画角変更例１を説明する図である。 画角変更例２を説明する図である。 回転例を説明する図である。 左右鏡像例を説明する図である。 左右合成例を説明する図である。 パン・チルト線形補間例遷移例を説明する図である。 回転円形補間遷移例を説明する図である。 回転円形補間遷移例のＫｘとＫｙの変化特性を示した図である。 複数の方法を合成する例を示した図である。 パン・チルト回転遷移例を示した図である。 図１に示したカメラ装置の動作手順を示したフローチャートである。

符号の説明

１…超広角レンズ、２…イメージングセンサー、３…カメラ信号処理部、４……フレームメモリ、５…書き込みアドレス生成部、６…読み出しアドレス変換部、７…出力処理部、８……マイクロコンピュータ部、９、１０…歪み補正パラメータ用ＲＡＭ、１１…歪み補正パラメータ補間処理部。

Claims (10)

1. レンズの結像画像を撮像素子で撮像して画像データにし、その画像データに含まれる前記レンズの歪曲収差を歪補正する機能を備えたカメラ装置であって、
   第１状態の前記画像データの前記歪曲収差を歪補正するための第１の歪補正パラメータを保持する第１の記憶手段と、
   前記第１状態の画像データより後の時刻の画像データに対応する第２状態をあらかじめ指定する制御手段と、
   前記第２状態の画像データの前記歪曲収差を歪補正するための第２の歪補正パラメータを保持する第２の記憶手段と、
   前記画像データが前記第１状態から前記第２状態に遷移する際に、その間の状態を示す複数の画像データの前記歪曲収差を歪補正するための歪補正パラメータを、前記第１の歪補正パラメータと、前記第２の歪補正パラメータに基づき、補間して生成する歪補正パラメータ補間手段と、を具備する
   カメラ装置。
2. 前記撮像素子の受光総画素数は前記歪補正されて当該カメラ装置から出力される出力画像の総画素数よりも多い請求項１記載のカメラ装置。
3. 前記レンズは超広角レンズである請求項１記載のカメラ装置。
4. 前記レンズの方向は固定である請求項１記載のカメラ装置。
5. 前記歪補正パラメータ補間手段はハードウェアで構成する請求項１記載のカメラ装置。
6. 前記歪補正パラメータ補間手段は、歪補正パラメータで円形補間する時、前記画像データにおける原点Ｏを中心に各格子点（移動元、移動先）の歪補正パラメータを示すベクトル（Ｘ，Ｙ）の和を元に逆正接関数によりそれぞれの角φを得た後、この角φを遷移するためのステップ数で割ってステップ角θを求め、ステップ毎に移動元の各格子点の角φに前記求めた角θを加えてゆき、それを元に正弦関数により原点Ｏを中心とした係数Ｋxを、余弦関数によりＫyを求め、移動元の各格子点の歪補正パラメータを示すベクトル（Ｘ，Ｙ）に乗ずることにより補間する請求項１記載のカメラ装置。
7. 前記第１、第２の状態における画像データの前記歪曲収差を補正するための歪補正パラメータは、前記第１、第２の記憶手段に対して前記歪補正パラメータを読み書きする制御手段の記憶装置に予め記憶させておくか、前記制御手段の演算により求めるか、或いは、このカメラ装置の外部装置からの通信により受信して得る請求項１記載のカメラ装置。
8. 前記画像データの第１状態から第２状態への遷移は、前記第１状態の画像データの任意の画像範囲に対して、切り出し、任意の点を中心とした回転による切り出し、画角の変更、回転、鏡像処理、画面サイズ変更、任意の位置への配置変更及びこれらの組み合わせにより生じる請求項１記載のカメラ装置。
9. 超広角レンズを備え、レンズの結像画像を撮像素子で撮像して画像データにし、その画像データに含まれる前記レンズの歪曲収差を歪補正する機能を備えたカメラ装置を外部から制御する監視システムであって、
   第１状態の前記画像データの前記歪曲収差を歪補正するための第１の歪補正パラメータを保持する第１の記憶手段と、前記第１状態の画像データより後の時刻の画像データに対応する第２状態をあらかじめ指定する制御手段と、前記第２状態の画像データの前記歪曲収差を歪補正するための第２の歪補正パラメータを保持する第２の記憶手段と、前記画像データが前記第１状態から前記第２状態に遷移する際に、その間の状態を示す複数の画像データの前記歪曲収差を歪補正するための歪補正パラメータを、前記第１の歪補正パラメータと、前記第２の歪補正パラメータに基づき、補間して生成する歪補正パラメータ補間手段と、を具備するカメラ装置と、
   前記カメラ装置と接続され、前記カメラ装置の前記制御手段に対して、前記第１状態の画像データへの画像処理を指定する外部インターフェースと、
   を具備する
   監視システム。
10. 前記カメラ装置の撮像素子の受光総画素数は前記歪補正されて当該カメラから出力され
    る出力画像の総画素数よりも多いことを特徴とする請求項９記載の監視システム。

Images