JP4935440B2 - 画像処理装置およびカメラ装置 - Google Patents
画像処理装置およびカメラ装置 Download PDFInfo
- Publication number
- JP4935440B2 JP4935440B2 JP2007064404A JP2007064404A JP4935440B2 JP 4935440 B2 JP4935440 B2 JP 4935440B2 JP 2007064404 A JP2007064404 A JP 2007064404A JP 2007064404 A JP2007064404 A JP 2007064404A JP 4935440 B2 JP4935440 B2 JP 4935440B2
- Authority
- JP
- Japan
- Prior art keywords
- angle
- distortion correction
- pan
- tilt
- zoom
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 65
- 238000012937 correction Methods 0.000 claims description 336
- 230000033001 locomotion Effects 0.000 claims description 60
- 238000003384 imaging method Methods 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 19
- 238000000034 method Methods 0.000 description 116
- 239000013598 vector Substances 0.000 description 31
- 238000010586 diagram Methods 0.000 description 17
- 238000004091 panning Methods 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 230000004075 alteration Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000009795 derivation Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241000287463 Phalacrocorax Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、たとえば広角レンズで撮像された画像の歪み補正機能を有する画像処理装置およびカメラ装置に関するものである。
広角レンズにより広角撮像した画像をもとに、格子状に配置した歪み補正パラメータ（ベクトル）を用いて歪み補正し、電子パンチルトズームする技術が知られている（特許文献１参照）。
このように、広角撮像した画像をもとに、レンズ歪曲収差を格子状に配置した歪み補正パラメータ（ベクトル）を用いた歪み補正するアルゴリズムは公知である。
その技術を用い電子パンチルトするためには、任意のパンチルト角・画角の歪み補正パラメータを、マイクロプロセッサ等の演算処理により生成する必要がある。
特開平７−９３５５８号公報
その技術を用い電子パンチルトするためには、任意のパンチルト角・画角の歪み補正パラメータを、マイクロプロセッサ等の演算処理により生成する必要がある。
ところが、上述した技術では、電子パンチルトするためには、任意のパンチルト角・画角の歪み補正パラメータを、マイクロプロセッサ等の演算処理により生成しなくてはならいことから、演算に多大な時間が掛かり過ぎるとフレームレートが低下し、結果、表示においてはコマ送りように表示されリアルタイム性、視認性が低下する。
また、仮に高性能なマイクロプロセッサ等を用いれば演算時間を短縮でき、結果、表示におけるリアルタイム性、視認性は向上するが、システム的なコストが増大する。
また、仮に高性能なマイクロプロセッサ等を用いれば演算時間を短縮でき、結果、表示におけるリアルタイム性、視認性は向上するが、システム的なコストが増大する。
そして、歪み補正パラメータをあらかじめ用意していた場合、任意のパンチルト角やズーム画角を表示するためには、多くの歪み補正パラメータが必要となり、歪み補正パラメータ用の記憶装置の容量が増大しシステム的なコストが増大した。
また、歪み補正パラメータを通信によりホストシステムからカメラにダウンロードした場合、パンチルト角、ズーム画角を切り替えるたびに歪み補正パラメータの通信を行う必要があり、通信に多大な時間が掛かり過ぎるとフレームレートが低下し、結果、表示においてはコマ送りの様に表示されリアルタイム性、視認性が低下する。
また、歪み補正パラメータを通信によりホストシステムからカメラにダウンロードした場合、パンチルト角、ズーム画角を切り替えるたびに歪み補正パラメータの通信を行う必要があり、通信に多大な時間が掛かり過ぎるとフレームレートが低下し、結果、表示においてはコマ送りの様に表示されリアルタイム性、視認性が低下する。
また、仮に高速な通信プロトコルを用いれば通信時間を短縮でき、結果、表示におけるリアルタイム性、視認性は向上するが、マイクロプロセッサの処理における負荷が増大するため、やはり高性能なマイクロプロセッサや高速通信用のハードウェア等が必要になり、システム的なコストが増大する。
また、パンチルトズームの移動方向が、あらかじめ決められた角度にしか移動できない場合、別途用意された何らかの検出処理（動き検出等）により検出した被写体を、パンチルトズームにより追従し表示する際、表示おいては、パンチルトズームを時分割に切り替えつつ追従している様に、カクカクとしたぎこちない表示となり、視認性が低下する。
また、検出した被写体を表示画像の中心付近に捕らえられない可能性がある。
さらにまた、広角側と狭角側の表示において、パン、チルトの角度により表示領域を制御すると、広角側では遅く、狭角側では早く表示され、パンチルトする際の操作性や視認性が低下する。
また、検出した被写体を表示画像の中心付近に捕らえられない可能性がある。
さらにまた、広角側と狭角側の表示において、パン、チルトの角度により表示領域を制御すると、広角側では遅く、狭角側では早く表示され、パンチルトする際の操作性や視認性が低下する。
本発明は、リアルタイム性、視認性の向上を図れ、しかも、歪み補正パラメータを記憶するための記憶装置の容量を削減でき、ひいてはシステム的なコストを削減でき、また、歪み補正パラメータの通信量を削減することが可能な画像処理装置およびカメラ装置を提供することにある。
本発明の第１の観点は、広角レンズで撮像した元画像を、格子状に形成された歪み補正パラメータを用い歪み補正が可能な画像処理装置であって、少なくとも３種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角、およびズーム画角のうちの少なくともいずれかの歪み補正パラメータを生成する処理部を有し、上記処理部は、広角側および狭角側でそれぞれ上記歪み補正パラメータを生成し、当該広角側および狭角側で生成した歪み補正パラメータを補間することにより、任意のパン角、チルト角、およびズーム画角のうちの少なくともいずれかの歪み補正パラメータを生成し、歪み補正の精度を高くする場合、上記少なくとも３種類の歪み補正パラメータよりさらに多くの歪み補正パラメータを用い、補間対象となる歪み補正パラメータをパン角、チルト角、ズーム画角のいずれかに応じて、随時切り替え、パン角、チルト角、ズーム画角を座標（Ｘ，Ｙ，Ｚ）に定義し、パン、チルト、ズームにおける移動角度に制約なく、任意の角度、任意の画角に移動する機能を含み、上記座標系をもとに目標とする任意の座標までの距離を求め、求めた距離に基づきパンチルトズームにて移動するための制御を行い、各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、表示におけるパンチルトの移動角度を補正し、広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させ、広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする。
また、本発明の第１の観点は、広角レンズで撮像した元画像を、格子状に形成された歪み補正パラメータを用い歪み補正が可能な画像処理装置であって、少なくとも３種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角、およびズーム画角のうちの少なくともいずれかの歪み補正パラメータを生成する処理部を有し、上記処理部は、歪み補正の精度を高くする場合、上記少なくとも３種類の歪み補正パラメータよりさらに多くの歪み補正パラメータを用い、補間対象となる歪み補正パラメータをパン角、チルト角、ズーム画角のいずれかに応じて、随時切り替え、パン角、チルト角、ズーム画角を座標（Ｘ，Ｙ，Ｚ）に定義し、パン、チルト、ズームにおける移動角度に制約なく、任意の角度、任意の画角に移動する機能を含み、上記座標系をもとに目標とする任意の座標までの距離を求め、求めた距離に基づきパンチルトズームにて移動するための制御を行い、各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、表示におけるパンチルトの移動角度を補正し、広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させ、広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする。
また、本発明の第１の観点は、広角レンズで撮像した元画像を、格子状に形成された歪み補正パラメータを用い歪み補正が可能な画像処理装置であって、少なくとも３種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角、およびズーム画角のうちの少なくともいずれかの歪み補正パラメータを生成する処理部を有し、上記処理部は、歪み補正の精度を高くする場合、上記少なくとも３種類の歪み補正パラメータよりさらに多くの歪み補正パラメータを用い、補間対象となる歪み補正パラメータをパン角、チルト角、ズーム画角のいずれかに応じて、随時切り替え、パン角、チルト角、ズーム画角を座標（Ｘ，Ｙ，Ｚ）に定義し、パン、チルト、ズームにおける移動角度に制約なく、任意の角度、任意の画角に移動する機能を含み、上記座標系をもとに目標とする任意の座標までの距離を求め、求めた距離に基づきパンチルトズームにて移動するための制御を行い、各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、表示におけるパンチルトの移動角度を補正し、広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させ、広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする。
本発明の第２の観点は、電子パンチルトズーム機能を有するカメラ装置であって、撮像素子と、光軸を中心として点対称な歪みを有する広角レンズを含み、上記記撮像素子に被写体像を結像する光学系と、上記撮像素子による広角レンズで撮像した元画像を、格子状に形成された歪み補正パラメータを用い歪み補正が可能な画像処理装置と、を有し、上記画像処理装置は、少なくとも３種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角、およびズーム画角のうちの少なくともいずれかの歪み補正パラメータを生成する処理部を有し、上記処理部は、広角側および狭角側でそれぞれ上記歪み補正パラメータを生成し、当該広角側および狭角側で生成した歪み補正パラメータを補間することにより、任意のパン角、チルト角、およびズーム画角のうちの少なくともいずれかの歪み補正パラメータを生成し、歪み補正の精度を高くする場合、上記少なくとも３種類の歪み補正パラメータよりさらに多くの歪み補正パラメータを用い、補間対象となる歪み補正パラメータをパン角、チルト角、ズーム画角のいずれかに応じて、随時切り替え、パン角、チルト角、ズーム画角を座標（Ｘ，Ｙ，Ｚ）に定義し、パン、チルト、ズームにおける移動角度に制約なく、任意の角度、任意の画角に移動する機能を含み、上記座標系をもとに目標とする任意の座標までの距離を求め、求めた距離に基づきパンチルトズームにて移動するための制御を行い、各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、表示におけるパンチルトの移動角度を補正し、広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させ、広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする。
また、本発明の第２の観点は、電子パンチルトズーム機能を有するカメラ装置であって、撮像素子と、光軸を中心として点対称な歪みを有する広角レンズを含み、上記記撮像素子に被写体像を結像する光学系と、上記撮像素子による広角レンズで撮像した元画像を、格子状に形成された歪み補正パラメータを用い歪み補正が可能な画像処理装置と、を有し、上記画像処理装置は、少なくとも３種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角、およびズーム画角のうちの少なくともいずれかの歪み補正パラメータを生成する処理部を有し、上記処理部は、歪み補正の精度を高くする場合、上記少なくとも３種類の歪み補正パラメータよりさらに多くの歪み補正パラメータを用い、補間対象となる歪み補正パラメータをパン角、チルト角、ズーム画角のいずれかに応じて、随時切り替え、パン角、チルト角、ズーム画角を座標（Ｘ，Ｙ，Ｚ）に定義し、パン、チルト、ズームにおける移動角度に制約なく、任意の角度、任意の画角に移動する機能を含み、上記座標系をもとに目標とする任意の座標までの距離を求め、求めた距離に基づきパンチルトズームにて移動するための制御を行い、各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、表示におけるパンチルトの移動角度を補正し、広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させ、広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする。
また、本発明の第２の観点は、電子パンチルトズーム機能を有するカメラ装置であって、撮像素子と、光軸を中心として点対称な歪みを有する広角レンズを含み、上記記撮像素子に被写体像を結像する光学系と、上記撮像素子による広角レンズで撮像した元画像を、格子状に形成された歪み補正パラメータを用い歪み補正が可能な画像処理装置と、を有し、上記画像処理装置は、少なくとも３種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角、およびズーム画角のうちの少なくともいずれかの歪み補正パラメータを生成する処理部を有し、上記処理部は、歪み補正の精度を高くする場合、上記少なくとも３種類の歪み補正パラメータよりさらに多くの歪み補正パラメータを用い、補間対象となる歪み補正パラメータをパン角、チルト角、ズーム画角のいずれかに応じて、随時切り替え、パン角、チルト角、ズーム画角を座標（Ｘ，Ｙ，Ｚ）に定義し、パン、チルト、ズームにおける移動角度に制約なく、任意の角度、任意の画角に移動する機能を含み、上記座標系をもとに目標とする任意の座標までの距離を求め、求めた距離に基づきパンチルトズームにて移動するための制御を行い、各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、表示におけるパンチルトの移動角度を補正し、広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させ、広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする。
本発明によれば、処理部において、複数、たとえば少なくもと３種類の歪み補正パラメータを補間することにより、任意のパン角およびチルト角のうち少なくとも一方の歪み補正パラメータが生成される。
本発明によれば、リアルタイム性、視認性の向上を図れ、しかも、歪み補正パラメータを記憶するための記憶装置の容量を削減でき、ひいてはシステム的なコストを削減でき、また、歪み補正パラメータの通信量を削減することができる。
以下、本発明の実施形態を図面に関連付けて説明する。
図１は、本発明の実施形態に係る画像処理装置を採用したカメラ装置の構成例を示すブロック図である。
本実施形態に係るカメラ装置１０は、図１に示すように、光学系１１、撮像素子（イメージングセンサ）１２、カメラ信号処理部１３、フレームメモリ１４、書き込みアドレス生成部１５、読み出しアドレス変換部１６、出力処理部１７、マイクロコンピュータ（マイコン）１８、歪み補正パラメータメモリ（ＲＡＭ）部１９、および歪み補正パラメータ補間処理部２０を有する。
そして、フレームメモリ１４、書き込みアドレス生成部１５、読み出しアドレス変換部１６、出力処理部１７、マイクロコンピュータ（マイコン）１８、歪み補正パラメータＲＡＭ部１９、および歪み補正パラメータ補間処理部２０により画像処理装置の処理部が構成される。
そして、フレームメモリ１４、書き込みアドレス生成部１５、読み出しアドレス変換部１６、出力処理部１７、マイクロコンピュータ（マイコン）１８、歪み補正パラメータＲＡＭ部１９、および歪み補正パラメータ補間処理部２０により画像処理装置の処理部が構成される。
なお、本実施形態においては、レンズ歪曲収差における歪み補正パラメータを、単に歪み補正パラメータという。
本実施形態に係るカメラ装置１０は、広角レンズで撮像した画像をもとに、格子状に形成された（張られた）歪み補正パラメータ（ベクトル）を用い歪み補正が可能であって、複数の歪み補正パラメータを補間することにより、任意のパン角、チルト角、ズーム画角に、スムースにパンチルトズーム可能なカメラ装置として構成されている。
カメラ装置１０は、後述するように、４種類あるいは３種類の歪み補正パラメータを用いて、それらを補間することにより、任意のパン角、チルト角の歪み補正パラメータを生成する方法を採用している。
カメラ装置１０は、これらの方法を用いて、広角側、狭角側でそれぞれ生成された歪み補正パラメータを補間することにより、任意のパン角、チルト角、ズーム画角の歪み補正パラメータを生成する。
カメラ装置１０は、後述するように、４種類あるいは３種類の歪み補正パラメータを用いて、それらを補間することにより、任意のパン角、チルト角の歪み補正パラメータを生成する方法を採用している。
カメラ装置１０は、これらの方法を用いて、広角側、狭角側でそれぞれ生成された歪み補正パラメータを補間することにより、任意のパン角、チルト角、ズーム画角の歪み補正パラメータを生成する。
カメラ装置１０は、さらに多くの種類の歪み補正パラメータを用いることで、歪み補正の精度を向上させたパン、チルト、ズームを実現することも可能である。たとえば広角撮像した領域において、このような歪み補正パラメータを９種類、１８種類等、さらに多くの種類を用意し、それらおいて、補間対象となる歪み補正パラメータをパン角、チルト角、ズーム画角に応じ、随時切り替えることも可能である。
この場合、パン角、チルト角、ズーム画角を座標（Ｘ，Ｙ，Ｚ）に定義し、パン、チルト、ズームにおける移動角度に制約なく、任意の角度、任意の画角に移動する方法が採用可能である。
そして、その座標系をもとに目標とする任意の座標までの距離を求め、それに基づきパンチルトズームにて移動するための制御方法が採用される。
また、カメラ装置１０は、各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、表示におけるパンチルトの移動角度を補正する機能を有する。
また、カメラ装置１０は、広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させる機能を有する。
また、カメラ装置１０は、広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする機能を有する。
これらの方法については、後で詳細に説明する。
この場合、パン角、チルト角、ズーム画角を座標（Ｘ，Ｙ，Ｚ）に定義し、パン、チルト、ズームにおける移動角度に制約なく、任意の角度、任意の画角に移動する方法が採用可能である。
そして、その座標系をもとに目標とする任意の座標までの距離を求め、それに基づきパンチルトズームにて移動するための制御方法が採用される。
また、カメラ装置１０は、各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、表示におけるパンチルトの移動角度を補正する機能を有する。
また、カメラ装置１０は、広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させる機能を有する。
また、カメラ装置１０は、広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする機能を有する。
これらの方法については、後で詳細に説明する。
本実施形態に係るカメラ装置１０は、歪み補正パラメータを用いることにより、超広角撮像した画像の歪み補正をしつつ、切り出し（パン・チルト・ズーム）、回転、鏡像処理、合成等を行う。
このとき、マイクロコンピュータ１８は、歪み補正パラメータを内蔵のＲＯＭ／ＲＡＭ等のメモリにあらかじめ記憶してもよいし、マイクロコンピュータ１８の演算により求めてもよいし、カメラ装置１０が伝送回線によって接続されているホストコンピュータ（図示せず）からの外部通信により受信するように構成することも可能である。
このとき、マイクロコンピュータ１８は、歪み補正パラメータを内蔵のＲＯＭ／ＲＡＭ等のメモリにあらかじめ記憶してもよいし、マイクロコンピュータ１８の演算により求めてもよいし、カメラ装置１０が伝送回線によって接続されているホストコンピュータ（図示せず）からの外部通信により受信するように構成することも可能である。
光学系１１は、たとえば超広角レンズにより形成される広角レンズ１１１を含み、広角レンズ１１１を通した被写体像を撮像素子１２の撮像面に結像させる。
撮像素子１２は、たとえばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｙｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）デバイスであるイメージングセンサにより構成される。
撮像素子１２は、半導体基板上にマトリクス状に配列した光センサにより光学系１１による被写体像を検出して信号電荷を生成し、同信号電荷を垂直信号線や水平信号線を介して読み出して被写体のデジタル画像信号をカメラ信号処理部１３に出力する。
撮像素子１２は、半導体基板上にマトリクス状に配列した光センサにより光学系１１による被写体像を検出して信号電荷を生成し、同信号電荷を垂直信号線や水平信号線を介して読み出して被写体のデジタル画像信号をカメラ信号処理部１３に出力する。
カメラ信号処理部１３は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を行い、フレームメモリ１４に出力する。
フレームメモリ１４は、ＲＡＭにより構成され、書き込みアドレス生成部１５にて生成されたアドレスにカメラ信号処理部１３による画像データを順次記憶する。
フレームメモリ１４には、読み出しアドレス変換部１６において、補間された歪み補正パラメータ（ベクトル）が変換された実アドレスが供給され、連続的に変化する歪み補正パラメータによって記憶されている元画像の補正対象部分の歪み補正が行われる。
フレームメモリ１４から読み出された画像データは、歪み補正、切り出し、合成等が施された画像となり、出力処理部１７に出力される。
フレームメモリ１４には、読み出しアドレス変換部１６において、補間された歪み補正パラメータ（ベクトル）が変換された実アドレスが供給され、連続的に変化する歪み補正パラメータによって記憶されている元画像の補正対象部分の歪み補正が行われる。
フレームメモリ１４から読み出された画像データは、歪み補正、切り出し、合成等が施された画像となり、出力処理部１７に出力される。
読み出しアドレス変換部１６は、歪み補正パラメータ補間処理部２０により順次生成される歪み補正パラメータのベクトルを実アドレスに変換して、フレームメモリ１４に供給する。
フレームメモリ１４においては、ほぼ連続的に変化する歪み補正パラメータによって元画像の補正対象部分の円滑な歪み補正が行われる。
フレームメモリ１４においては、ほぼ連続的に変化する歪み補正パラメータによって元画像の補正対象部分の円滑な歪み補正が行われる。
出力処理部１７は、フレームメモリ１４から読み出された、元画像に歪み補正、切り出し、合成等が施された画像データにガンマ処理、マスク処理、フォーマット変換等を施して外部に出力する。
マイクロコンピュータ１８は、これから歪み補正すべき元画像部分を示す歪み補正パラメータを、歪み補正パラメータ格納メモリ（ＲＡＭ）部１９の各ＲＡＭ１９−１〜１９−８に格納し、また、アクセスするためのメモリアドレスＭＡＤＲを歪み補正パラメータ格納メモリ（ＲＡＭ）部１９に供給する。
なお、前述したように、マイクロコンピュータ１８は、歪み補正パラメータを内蔵のＲＯＭ／ＲＡＭ等のメモリにあらかじめ記憶してもよいし、マイクロコンピュータ１８の演算により求めてもよいし、カメラ装置１０が伝送回線によって接続されているホストコンピュータ（図示せず）からの外部通信により受信するように構成することも可能である。
なお、前述したように、マイクロコンピュータ１８は、歪み補正パラメータを内蔵のＲＯＭ／ＲＡＭ等のメモリにあらかじめ記憶してもよいし、マイクロコンピュータ１８の演算により求めてもよいし、カメラ装置１０が伝送回線によって接続されているホストコンピュータ（図示せず）からの外部通信により受信するように構成することも可能である。
歪み補正パラメータ補間処理部２０は、たとえばマイクロコンピュータ１８の指示により歪み補正パラメータメモリ（ＲＡＭ）部１９から読み出された３種類、４種類、または８種類の歪み補正パラメータを、格子状に形成された（張られた）各格子点の間におけるベクトルを示す（Ｘ，Ｙ）に補間する。
歪み補正パラメータ（ベクトル）格納メモリ１９は、たとえば複数（図１の例では８）のＲＡＭ１９−１〜１９−８を有する。なお、ＲＡＭの数は、補間する歪み補正パラメータの種類（数）や、システムに応じた数となり、任意であり、このＲＡＭの数により、種類の異なる歪み補正パラメータを順次補間処理が可能なことは云うまでもない。
ここで、本実施形態に係る広角撮像した画像に対する歪み補正パラメータ、歪み補正パラメータの補間方法、歪み補正の精度を向上させる方法、歪む補正パラメータの３次元座標化、パンチルト角ズーム画角からの座標の導出方法、座標からの歪み補正パラメータの導出方法、座標によりパンチルトズーム制御方法、表示におけるパンチルトの移動角度の補正方法、表示における見た目の移動速度を一致させる方法、およびズーム時に画像中心にズームする方法について、順を追ってより具体的に説明する。
＜歪み補正技術と歪み補正パラメータの要約＞
まず、補正技術について簡易に説明する。
図２は、広角レンズを用いた撮像の概念を示す図である。
図２において、２１で示す円は超広角レンズ１１１で射像したものであり、２２は撮像素子１２の撮像面を示している。
歪み補正パラメータの算出は、図２に示すように、広角レンズ１１１の歪曲収差を示した格子を撮像面（平面）２２に射像することにより広角レンズの歪曲収差を示した格子を得る。そして、図３に示すような、撮像面２２の正方格子に対し広角レンズ１１１の歪曲収差を示した格子が一致するように各格子のベクトル（Ｘ，Ｙ）を求める。
まず、補正技術について簡易に説明する。
図２は、広角レンズを用いた撮像の概念を示す図である。
図２において、２１で示す円は超広角レンズ１１１で射像したものであり、２２は撮像素子１２の撮像面を示している。
歪み補正パラメータの算出は、図２に示すように、広角レンズ１１１の歪曲収差を示した格子を撮像面（平面）２２に射像することにより広角レンズの歪曲収差を示した格子を得る。そして、図３に示すような、撮像面２２の正方格子に対し広角レンズ１１１の歪曲収差を示した格子が一致するように各格子のベクトル（Ｘ，Ｙ）を求める。
したがって、歪み補正パラメータは、図４に示すように、出力画像における各格子点を、歪み補正する前の元画像の各格子点を示すベクトル（Ｘ，Ｙ）で指し示している。
このとき、図２の法線ＯＰの距離ｆにより画角（ズーム倍率）が変更でき、天頂角θと方位角φにより切り出す領域が変更（パン・チルト）できる。
また、各格子点間は、着目する格子点における周囲の格子点のベクトルを用い補間する。
このときの補間アルゴリズムは、最近傍法(Nearest Neighbor)でもよいし、線形補間法(Bilinear)でもよいし、３次補間法(Bicubic)でもよいし、レンズの歪曲収差に基づく補間法でもよい。
このとき、図２の法線ＯＰの距離ｆにより画角（ズーム倍率）が変更でき、天頂角θと方位角φにより切り出す領域が変更（パン・チルト）できる。
また、各格子点間は、着目する格子点における周囲の格子点のベクトルを用い補間する。
このときの補間アルゴリズムは、最近傍法(Nearest Neighbor)でもよいし、線形補間法(Bilinear)でもよいし、３次補間法(Bicubic)でもよいし、レンズの歪曲収差に基づく補間法でもよい。
＜４種類の歪み補正パラメータの補間方法＞
図５（Ａ）〜（Ｃ）は、４種類の歪み補正パラメータの補間方法を説明するための図である。また、図６は、４種類の歪み補正パラメータを補間することより任意のパン角、チルト角の歪み補正パラメータを生成する方法を示す図である。
なおここでは、説明を簡略化するため、各歪み補正パラメータのパン角やチルト角を、以下の仕様とするが、この通りでなくてもよいことは云うまでもない。
図５（Ａ）〜（Ｃ）は、４種類の歪み補正パラメータの補間方法を説明するための図である。また、図６は、４種類の歪み補正パラメータを補間することより任意のパン角、チルト角の歪み補正パラメータを生成する方法を示す図である。
なおここでは、説明を簡略化するため、各歪み補正パラメータのパン角やチルト角を、以下の仕様とするが、この通りでなくてもよいことは云うまでもない。
図５（Ａ）〜（Ｃ）の歪み補正パラメータは、光軸中心からのチルト角が＜１＞と＜２＞は同じ、＜３＞と＜４＞は同じである。ただし、＜１＞,＜２＞と＜３＞,＜４＞は相違する。
また、光軸中心からのパン角が＜１＞と＜３＞は同じ、＜２＞と＜４＞は同じ、ただし＜１＞,＜３＞と＜２＞,＜４＞は相違する。また、＜１＞,＜２＞,＜３＞,＜４＞の画角は同じとする。なな、図５（Ａ），（Ｂ）,（Ｃ）は、例として様々なバリエーションを示している。
以降、これを例に４種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角の歪み補正パラメータを生成する方法を示す（図６参照）。
たとえば、＜１＞，＜２＞，＜３＞，＜４＞で囲まれた領域内の任意のパン角、チルト角を表示するための歪み補正パラメータを生成する場合、まず、＜１＞における全格子点における各ベクトル（Ｘ，Ｙ）と、＜２＞における全格子点における各ベクトル（Ｘ，Ｙ）をある重み付けをもって補間し、次に＜３＞と＜４＞を同様に補間し、最後にそれらを同様に補間すればよい。
また、光軸中心からのパン角が＜１＞と＜３＞は同じ、＜２＞と＜４＞は同じ、ただし＜１＞,＜３＞と＜２＞,＜４＞は相違する。また、＜１＞,＜２＞,＜３＞,＜４＞の画角は同じとする。なな、図５（Ａ），（Ｂ）,（Ｃ）は、例として様々なバリエーションを示している。
以降、これを例に４種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角の歪み補正パラメータを生成する方法を示す（図６参照）。
たとえば、＜１＞，＜２＞，＜３＞，＜４＞で囲まれた領域内の任意のパン角、チルト角を表示するための歪み補正パラメータを生成する場合、まず、＜１＞における全格子点における各ベクトル（Ｘ，Ｙ）と、＜２＞における全格子点における各ベクトル（Ｘ，Ｙ）をある重み付けをもって補間し、次に＜３＞と＜４＞を同様に補間し、最後にそれらを同様に補間すればよい。
つまり、次のような補間を行う。
＜１＞＜２＞の補間ベクトル：
Ａ（Ｘn，Ym）＝＜１＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜２＞（Ｘn，Ym）・Ｋx
Ａ（Ｘn，Ym）＝＜１＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜２＞（Ｘn，Ym）・Ｋx
＜３＞＜４＞の補間ベクトル：
Ｂ（Ｘn，Ym）＝＜３＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜４＞（Ｘn，Ym）・Ｋx
Ｂ（Ｘn，Ym）＝＜３＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜４＞（Ｘn，Ym）・Ｋx
＜１＞＜２＞＜３＞＜４＞の補間ベクトル：
Ｃ（Ｘn，Ym）＝Ａ（Ｘn，Ym）・(1 - Ｋy) ＋ Ｂ（Ｘn，Ym）・Ｋy
Ｃ（Ｘn，Ym）＝Ａ（Ｘn，Ym）・(1 - Ｋy) ＋ Ｂ（Ｘn，Ym）・Ｋy
ここで、ｎとｍは各格子点の配列番号を示し、KxとKyは重み付け係数を示し、0〜1の値をとる。
なお、上式は単純に示すため線形補間としたが、補間アルゴリズムは最近傍法(Nearest Neighbor)でもよいし、線形補間法(Bilinear)でもよいし、３次補間法(Bicubic)でもよいし、レンズの歪曲収差に基づく補間法でもよい。
また、このとき、最終的に生成される歪み補正パラメータのパン角、チルト角は、補間する際の重み付け係数を変えればよい。
なお、上式は単純に示すため線形補間としたが、補間アルゴリズムは最近傍法(Nearest Neighbor)でもよいし、線形補間法(Bilinear)でもよいし、３次補間法(Bicubic)でもよいし、レンズの歪曲収差に基づく補間法でもよい。
また、このとき、最終的に生成される歪み補正パラメータのパン角、チルト角は、補間する際の重み付け係数を変えればよい。
つまり、たとえば次のようになる。
＜１＞＜２＞＜３＞＜４＞の補間後のパン角
＝{（＜２＞のパン角 ＜１＞のパン角）× Kx} ＋ ＜１＞のパン角
＝{（＜２＞のパン角 ＜１＞のパン角）× Kx} ＋ ＜１＞のパン角
＜１＞＜２＞＜３＞＜４＞の補間後のチルト角
＝{（＜３＞のチルト角 ＜１＞のチルト角）× Ky} ＋ ＜１＞のチルト角
＝{（＜３＞のチルト角 ＜１＞のチルト角）× Ky} ＋ ＜１＞のチルト角
したがって、各重み付け係数を変更することにより、＜１＞，＜２＞，＜３＞，＜４＞の領域内における、任意のパン角、チルト角の歪み補正パラメータを生成することができる。
＜３種類の歪み補正パラメータの補間方法＞
図７は、３種類の歪み補正パラメータの補間方法を説明するための図である。また、図８は、３種類の歪み補正パラメータを補間することより任意のパン角、チルト角の歪み補正パラメータを生成する方法を示す図である。
なお、ここでは説明を簡略化するため、各歪み補正パラメータのパン角やチルト角を、以下の仕様とするが、この通りでなくてもよいことは云うまでもない。
図７は、３種類の歪み補正パラメータの補間方法を説明するための図である。また、図８は、３種類の歪み補正パラメータを補間することより任意のパン角、チルト角の歪み補正パラメータを生成する方法を示す図である。
なお、ここでは説明を簡略化するため、各歪み補正パラメータのパン角やチルト角を、以下の仕様とするが、この通りでなくてもよいことは云うまでもない。
図７の歪み補正パラメータは、光軸中心からのチルト角が＜２＞と＜３＞は同じである。また、光軸中心からのパン角が＜１＞と＜３＞は同じであり、また、＜１＞＜２＞＜３＞の画角は同じであるとする。
以降、これを例に３種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角の歪み補正パラメータを生成する方法を示す（図８参照）。
たとえば、＜１＞，＜２＞，＜３＞で囲まれた領域内の任意のパン角、チルト角を表示するための歪み補正パラメータを生成する場合、まず、＜２＞における全格子点における各ベクトル（Ｘ，Ｙ）と、＜３＞における全格子点における各ベクトル（Ｘ，Ｙ）をある重み付けをもって補間し、それと＜１＞を同様に補間すればよい。
つまり、次のような補間を行う。
以降、これを例に３種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角の歪み補正パラメータを生成する方法を示す（図８参照）。
たとえば、＜１＞，＜２＞，＜３＞で囲まれた領域内の任意のパン角、チルト角を表示するための歪み補正パラメータを生成する場合、まず、＜２＞における全格子点における各ベクトル（Ｘ，Ｙ）と、＜３＞における全格子点における各ベクトル（Ｘ，Ｙ）をある重み付けをもって補間し、それと＜１＞を同様に補間すればよい。
つまり、次のような補間を行う。
＜２＞＜３＞の補間ベクトル：
Ａ（Ｘn，Ym）＝＜２＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜３＞（Ｘn，Ym）・Ｋx
Ａ（Ｘn，Ym）＝＜２＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜３＞（Ｘn，Ym）・Ｋx
＜１＞＜２＞＜３＞の補間ベクトル：
Ｂ（Ｘn，Ym）＝＜１＞（Ｘn，Ym）・(1 - Ｋy) ＋ Ａ（Ｘn，Ym）・Ｋy
Ｂ（Ｘn，Ym）＝＜１＞（Ｘn，Ym）・(1 - Ｋy) ＋ Ａ（Ｘn，Ym）・Ｋy
ここで、ｎとｍは各格子点の配列番号を示し、KxとKyは重み付け係数を示し、0〜1の値をとる。
なお、上式は単純に示すため線形補間としたが、補間アルゴリズムは最近傍法(Nearest Neighbor)でもよいし、線形補間法(Bilinear)でもよいし、３次補間法(Bicubic)でもよいし、レンズの歪曲収差に基づく補間法でもよい。
また、このとき、最終的に生成される歪み補正パラメータのパン角、チルト角は、補間する際の重み付け係数を変えればよい。
つまり、たとえば次のようになる。
なお、上式は単純に示すため線形補間としたが、補間アルゴリズムは最近傍法(Nearest Neighbor)でもよいし、線形補間法(Bilinear)でもよいし、３次補間法(Bicubic)でもよいし、レンズの歪曲収差に基づく補間法でもよい。
また、このとき、最終的に生成される歪み補正パラメータのパン角、チルト角は、補間する際の重み付け係数を変えればよい。
つまり、たとえば次のようになる。
＜２＞＜３＞の補間後のパン角
＝{（＜３＞のパン角 ＜２＞のパン角）× Kx} ＋ ＜２＞のパン角
＝{（＜３＞のパン角 ＜２＞のパン角）× Kx} ＋ ＜２＞のパン角
＜１＞＜２＞＜３＞の補間後のパン角
＝{（＜２＞＜３＞のパン角 ＜１＞のパン角）× Ky} ＋ ＜２＞＜３＞のパン角
＝{（＜２＞＜３＞のパン角 ＜１＞のパン角）× Ky} ＋ ＜２＞＜３＞のパン角
＜１＞＜２＞＜３＞の補間後のチルト角
＝{（＜３＞のチルト角 ＜１＞のチルト角）× Ky} ＋ ＜１＞のチルト角
＝{（＜３＞のチルト角 ＜１＞のチルト角）× Ky} ＋ ＜１＞のチルト角
したがって、各重み付け係数を変更することにより、＜１＞＜２＞＜３＞の領域内における、任意のパン角、チルト角の歪み補正パラメータを生成することができる。
このように、本実施形態においては、補間に用いる歪み補正パラメータを４種類あるいは３種類とし、２種類としていない理由は以下の通りである。
２種類の歪み補正パラメータで補間すると、補間対象とする歪み補正パラメータのパン角、チルト角、ズーム画角により、生成される歪み補正パラメータが異なってしまい、結果、同じパン角、チルト角、ズーム画角を表示した場合において、微妙に出力画像が異なる可能性がある。
つまり、図５における＜１＞と＜４＞、＜２＞と＜３＞でそれぞれ中間地点になるよう補間した場合、それぞれの歪み補正ベクトルが異なる。
また、停止時にその時に補間し生成されたた歪み補正パラメータを、新たな移動元の歪み補正パラメータとする場合、次々に生成される移動元の歪み補正パラメータに演算誤差が蓄積し、結果、同じパン角、チルト角、ズーム画角を表示した場合において、微妙に出力画像が異なってくる。
そこで、本実施形態としては、補間に用いる歪み補正パラメータを４種類あるいは３種類としている。
２種類の歪み補正パラメータで補間すると、補間対象とする歪み補正パラメータのパン角、チルト角、ズーム画角により、生成される歪み補正パラメータが異なってしまい、結果、同じパン角、チルト角、ズーム画角を表示した場合において、微妙に出力画像が異なる可能性がある。
つまり、図５における＜１＞と＜４＞、＜２＞と＜３＞でそれぞれ中間地点になるよう補間した場合、それぞれの歪み補正ベクトルが異なる。
また、停止時にその時に補間し生成されたた歪み補正パラメータを、新たな移動元の歪み補正パラメータとする場合、次々に生成される移動元の歪み補正パラメータに演算誤差が蓄積し、結果、同じパン角、チルト角、ズーム画角を表示した場合において、微妙に出力画像が異なってくる。
そこで、本実施形態としては、補間に用いる歪み補正パラメータを４種類あるいは３種類としている。
＜広角側、狭角側の歪み補正パラメータの補間方法＞
図９は、広角側、狭角側の歪み補正パラメータの補間方法を説明するための図である。また、図１０は、８種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角、ズーム画角の歪み補正パラメータを生成する方法を示す図である。
なお、ここでは説明を簡略化するため、歪み補正パラメータの種類（数）や、各歪み補正パラメータのパン角やチルト角を、以下の仕様とするが、この通りでなくてもよいことは云うまでもない。
また、広角側、狭角側の歪み補正パラメータの補間方法は、前述した４種類、３種類の歪み補正パラメータの補間方法のいずれでもよい。
図９は、広角側、狭角側の歪み補正パラメータの補間方法を説明するための図である。また、図１０は、８種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角、ズーム画角の歪み補正パラメータを生成する方法を示す図である。
なお、ここでは説明を簡略化するため、歪み補正パラメータの種類（数）や、各歪み補正パラメータのパン角やチルト角を、以下の仕様とするが、この通りでなくてもよいことは云うまでもない。
また、広角側、狭角側の歪み補正パラメータの補間方法は、前述した４種類、３種類の歪み補正パラメータの補間方法のいずれでもよい。
図９のひずみ補正パラメータは、上述した補間方法で示した＜１＞，＜２＞，＜３＞，＜４＞、および光軸中心からのチルト角が＜５＞と＜６＞は同じあり、＜７＞と＜８＞は同じである。ただし、＜５＞，＜６＞と＜７＞，＜８＞は相違する。
光軸中心からのパン角が＜５＞と＜７＞は同じ、＜６＞と＜８＞は同じである。ただし＜５＞＜７＞と＜６＞＜８＞は相違する。
また、＜１＞，＜２＞，＜３＞，＜４＞の画角は同じであり、＜５＞，＜６＞，＜７＞＜８＞の画角は同じ。ただし、＜１＞，＜２＞，＜３＞，＜４＞の画角より＜５＞，＜７＞＜６＞，＜８＞の画角は狭い。＜１＞，＜２＞と＜５＞，＜６＞、＜３＞，＜４＞と＜７＞，＜８＞のチルト角は同じであり、＜１＞，＜３＞と＜５＞，＜７＞、＜２＞，＜４＞と＜６＞，＜８＞のパン角は同じとする。
以降、これを例に８種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角、ズーム画角の歪み補正パラメータを生成する方法を示す（図１０参照）。
この場合、まず、上述した４種類の歪み補正パラメータを用いた補間方法により、＜１＞，＜２＞，＜３＞，＜４＞で囲まれた領域内の任意のパン角、チルト角を表示するための歪み補正パラメータを生成し、次に，＜５＞，＜６＞，＜７＞，＜８＞を＜１＞，＜２＞，＜３＞，＜４＞と同じパン角、チルト角を表示するための歪み補正パラメータを生成し、最後にそれらを任意のズーム画角を得るため同様に補間すればよい。
つまり、次のような補間を行う。
光軸中心からのパン角が＜５＞と＜７＞は同じ、＜６＞と＜８＞は同じである。ただし＜５＞＜７＞と＜６＞＜８＞は相違する。
また、＜１＞，＜２＞，＜３＞，＜４＞の画角は同じであり、＜５＞，＜６＞，＜７＞＜８＞の画角は同じ。ただし、＜１＞，＜２＞，＜３＞，＜４＞の画角より＜５＞，＜７＞＜６＞，＜８＞の画角は狭い。＜１＞，＜２＞と＜５＞，＜６＞、＜３＞，＜４＞と＜７＞，＜８＞のチルト角は同じであり、＜１＞，＜３＞と＜５＞，＜７＞、＜２＞，＜４＞と＜６＞，＜８＞のパン角は同じとする。
以降、これを例に８種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角、ズーム画角の歪み補正パラメータを生成する方法を示す（図１０参照）。
この場合、まず、上述した４種類の歪み補正パラメータを用いた補間方法により、＜１＞，＜２＞，＜３＞，＜４＞で囲まれた領域内の任意のパン角、チルト角を表示するための歪み補正パラメータを生成し、次に，＜５＞，＜６＞，＜７＞，＜８＞を＜１＞，＜２＞，＜３＞，＜４＞と同じパン角、チルト角を表示するための歪み補正パラメータを生成し、最後にそれらを任意のズーム画角を得るため同様に補間すればよい。
つまり、次のような補間を行う。
＜１＞＜２＞の補間ベクトル：
Ａ（Ｘn，Ym）＝＜１＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜２＞（Ｘn，Ym）・Ｋx
Ａ（Ｘn，Ym）＝＜１＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜２＞（Ｘn，Ym）・Ｋx
＜３＞＜４＞の補間ベクトル：
Ｂ（Ｘn，Ym）＝＜３＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜４＞（Ｘn，Ym）・Ｋx
Ｂ（Ｘn，Ym）＝＜３＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜４＞（Ｘn，Ym）・Ｋx
＜１＞＜２＞＜３＞＜４＞の補間ベクトル：
Ｃ（Ｘn，Ym）＝Ａ（Ｘn，Ym）・(1 - Ｋy) ＋ Ｂ（Ｘn，Ym）・Ｋy
Ｃ（Ｘn，Ym）＝Ａ（Ｘn，Ym）・(1 - Ｋy) ＋ Ｂ（Ｘn，Ym）・Ｋy
＜５＞＜６＞の補間ベクトル：
Ｄ（Ｘn，Ym）＝＜５＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜６＞（Ｘn，Ym）・Ｋx
Ｄ（Ｘn，Ym）＝＜５＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜６＞（Ｘn，Ym）・Ｋx
＜７＞＜８＞の補間ベクトル：
Ｅ（Ｘn，Ym）＝＜７＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜８＞（Ｘn，Ym）・Ｋx
Ｅ（Ｘn，Ym）＝＜７＞（Ｘn，Ym）・(1 - Ｋx) ＋ ＜８＞（Ｘn，Ym）・Ｋx
＜５＞＜６＞＜７＞＜８＞の補間ベクトル：
Ｆ（Ｘn，Ym）＝Ｄ（Ｘn，Ym）・(1 - Ｋy) ＋ Ｅ（Ｘn，Ym）・Ｋy
Ｆ（Ｘn，Ym）＝Ｄ（Ｘn，Ym）・(1 - Ｋy) ＋ Ｅ（Ｘn，Ym）・Ｋy
＜１＞＜２＞＜３＞＜４＞＜５＞＜６＞＜７＞＜８＞の補間ベクトル：
Ｇ（Ｘn，Ym）＝Ｃ（Ｘn，Ym）・(1 - Ｋz) ＋ Ｆ（Ｘn，Ym）・Ｋz
Ｇ（Ｘn，Ym）＝Ｃ（Ｘn，Ym）・(1 - Ｋz) ＋ Ｆ（Ｘn，Ym）・Ｋz
ここで、ｎとｍは各格子点の配列番号を示し、KxとKyとKzは重み付け係数を示し、0〜1の値をとる。
なお、上式は単純に示すため線形補間としたが、補間アルゴリズムは最近傍法(Nearest Neighbor)でもよいし、線形補間法(Bilinear)でもよいし、３次補間法(Bicubic)でもよいし、レンズの歪曲収差に基づく補間法でもよい。
また、この時、最終的に生成される歪み補正パラメータのパン角、チルト角、ズーム画角は、補間する際の重み付け係数を変えればよい。
つまり、たとえば次のようになる。
なお、上式は単純に示すため線形補間としたが、補間アルゴリズムは最近傍法(Nearest Neighbor)でもよいし、線形補間法(Bilinear)でもよいし、３次補間法(Bicubic)でもよいし、レンズの歪曲収差に基づく補間法でもよい。
また、この時、最終的に生成される歪み補正パラメータのパン角、チルト角、ズーム画角は、補間する際の重み付け係数を変えればよい。
つまり、たとえば次のようになる。
＜１＞＜２＞＜３＞＜４＞の補間後のパン角：
Ａ＝{（＜２＞のパン角 ＜１＞のパン角）× Kx} ＋ ＜１＞のパン角
Ａ＝{（＜２＞のパン角 ＜１＞のパン角）× Kx} ＋ ＜１＞のパン角
＜１＞＜２＞＜３＞＜４＞の補間後のチルト角：
Ｂ＝{（＜３＞のチルト角 ＜１＞のチルト角）× Ky} ＋ ＜１＞のチルト角
Ｂ＝{（＜３＞のチルト角 ＜１＞のチルト角）× Ky} ＋ ＜１＞のチルト角
＜５＞＜６＞＜７＞＜８＞の補間後のパン角：
Ｃ＝{（＜６＞のパン角 ＜５＞のパン角）× Kx} ＋ ＜５＞のパン角
Ｃ＝{（＜６＞のパン角 ＜５＞のパン角）× Kx} ＋ ＜５＞のパン角
＜５＞＜６＞＜７＞＜８＞の補間後のチルト角：
Ｄ＝{（＜７＞のチルト角 ＜５＞のチルト角）× Ky} ＋ ＜５＞のチルト角
Ｄ＝{（＜７＞のチルト角 ＜５＞のチルト角）× Ky} ＋ ＜５＞のチルト角
＜１＞＜２＞＜３＞＜４＞＜５＞＜６＞＜７＞＜８＞の補間後のパン角：
Ｇ＝{（パン角Ｃ パン角Ａ）× Kz} ＋ パン角Ａ
Ｇ＝{（パン角Ｃ パン角Ａ）× Kz} ＋ パン角Ａ
＜１＞＜２＞＜３＞＜４＞＜５＞＜６＞＜７＞＜８＞の補間後のチルト角：
Ｈ＝{（チルト角Ｄ チルト角Ｂ）× Kz} ＋ チルト角Ｂ
Ｈ＝{（チルト角Ｄ チルト角Ｂ）× Kz} ＋ チルト角Ｂ
＜１＞＜２＞＜３＞＜４＞＜５＞＜６＞＜７＞＜８＞の補間後のズーム画角：
Ｉ＝{（＜５＞の画角 ＜１＞の画角）× Kz} ＋ ＜１＞の画角
Ｉ＝{（＜５＞の画角 ＜１＞の画角）× Kz} ＋ ＜１＞の画角
したがって、各重み付け係数を変更することにより、＜１＞＜２＞＜３＞＜４＞＜５＞＜６＞＜７＞＜８＞の領域内における、任意のパン角、チルト角、およびズーム画角の歪み補正パラメータを生成することができる。
＜歪み補正の精度を向上させる方法＞
図１１（Ａ），（Ｂ）は、歪み補正の精度を向上させる方法を説明するための図である。
図１１（Ａ），（Ｂ）は、歪み補正の精度を向上させる方法を説明するための図である。
上述した４種類および３種類の歪み補正パラメータの補間方法を用い、歪み補正の精度を向上させるには、広角レンズで撮像した画像において、歪み補正する領域の種類（数）、つまり歪み補正パラメータの種類（数）を増やし、それぞれのパン角、チルト角、ズーム角において補間する対象を随時切り替えればよい。
つまり、広角レンズで撮像した画像において、各歪み補正パラメータ間のパン角、チルト角が狭くなるような歪み補正パラメータを用意すればするほど、補間後のパラメータは正しいベクトルを指し示すことになり、結果、歪み補正パラメータの精度は向上することになる。
つまり、広角レンズで撮像した画像において、各歪み補正パラメータ間のパン角、チルト角が狭くなるような歪み補正パラメータを用意すればするほど、補間後のパラメータは正しいベクトルを指し示すことになり、結果、歪み補正パラメータの精度は向上することになる。
たとえば、図１１（Ａ）のように９種類の歪み補正パラメータを用意し、任意のパン角、チルト角に応じ、補間する対象を＜１＞，＜２＞，＜４＞，＜５＞、＜２＞，＜３＞，＜５＞，＜６＞、および＜５＞，＜６＞，＜８＞＜，９＞等に切り替えればよい。
また、このとき、図１１（Ｂ）のように狭角側の歪み補正パラメータも同様に９種類用意し、同様に処理することにより、ズーム方向においても、歪み補正精度が向上することは云うまでもない。
なお、この方法において、歪み補正パラメータの数は９種類(3x3)に限定されるものではなく、また、上述した４種類および３種類の歪み補正パラメータの補間方法を共用してもよく、また、狭角側の種類（数）は広角側の種類（数）と一致する必要もなく、また、ズーム時における歪み補正の精度を向上させたいのであれば、ズーム方向の補間数を増やしてもよいことは云うまでもない。
また、このとき、図１１（Ｂ）のように狭角側の歪み補正パラメータも同様に９種類用意し、同様に処理することにより、ズーム方向においても、歪み補正精度が向上することは云うまでもない。
なお、この方法において、歪み補正パラメータの数は９種類(3x3)に限定されるものではなく、また、上述した４種類および３種類の歪み補正パラメータの補間方法を共用してもよく、また、狭角側の種類（数）は広角側の種類（数）と一致する必要もなく、また、ズーム時における歪み補正の精度を向上させたいのであれば、ズーム方向の補間数を増やしてもよいことは云うまでもない。
＜歪み補正パラメータの３次元座標化(1)＞
図１２は、補間された歪み補正パラメータの３次元座標化の第１の方法を説明するための図である。また、図１３は、他の歪み補正パラメータも座標上にマッピングすることにより、歪み補正パラメータを３次元座標に置き換える方法を示す図である。
図１２は、補間された歪み補正パラメータの３次元座標化の第１の方法を説明するための図である。また、図１３は、他の歪み補正パラメータも座標上にマッピングすることにより、歪み補正パラメータを３次元座標に置き換える方法を示す図である。
上述した４種類および３種類の歪み補正パラメータの補間方法を用いてパンチルトズーム制御するための座標化の方法を、図１２を例に説明する。
まず、任意のパン角、チルト角、ズーム角の歪み補正パラメータを生成するため、それらを３次元の座標（Ｘ，Ｙ，Ｚ）とし、この時、座標の最小値を０、座標の最大値を１００と定義する。
次に、広角側で、且つパン角、チルト角が最大である＜１＞の歪み補正パラメータ座標を（０，０，０）とし、同様に＜２＞の歪み補正パラメータの座標を（１００，０，０）、というように他の歪み補正パラメータも座標上にマッピングすることにより、歪み補正パラメータを３次元座標に置き換える（図１３参照）。
まず、任意のパン角、チルト角、ズーム角の歪み補正パラメータを生成するため、それらを３次元の座標（Ｘ，Ｙ，Ｚ）とし、この時、座標の最小値を０、座標の最大値を１００と定義する。
次に、広角側で、且つパン角、チルト角が最大である＜１＞の歪み補正パラメータ座標を（０，０，０）とし、同様に＜２＞の歪み補正パラメータの座標を（１００，０，０）、というように他の歪み補正パラメータも座標上にマッピングすることにより、歪み補正パラメータを３次元座標に置き換える（図１３参照）。
＜歪み補正パラメータの３次元座標化(2)＞
上述の歪み補正の精度を向上させる方法を用いてパンチルトズーム制御するための座標化の方法を説明する。
この場合の座標は、図１２および図１３の例の場合と同様に、座標の最大値を１００としてもよいし、パン角、チルト角、ズーム画角をそれぞれ切り替える種類により、座標の最大値を増やしてもよい。
たとえば、座標の最大値を増やす場合、たとえば図１１（Ｂ）のような広角側、狭角側、それぞれ９種類の歪み補正パラメータを用い、かつそれらを４種類の歪み補正パラメータで補間するのであれば、パン、チルトにおける切り替える種類は２種類であり、ズーム画角は１種類であるため、座標の最大値は（２００，２００，１００）としてもよい（図１４参照）
なお、図１４は、他の歪み補正パラメータも座標上にマッピングすることにより、歪み補正パラメータを３次元座標に置き換える他の方法を示す図である。
上述の歪み補正の精度を向上させる方法を用いてパンチルトズーム制御するための座標化の方法を説明する。
この場合の座標は、図１２および図１３の例の場合と同様に、座標の最大値を１００としてもよいし、パン角、チルト角、ズーム画角をそれぞれ切り替える種類により、座標の最大値を増やしてもよい。
たとえば、座標の最大値を増やす場合、たとえば図１１（Ｂ）のような広角側、狭角側、それぞれ９種類の歪み補正パラメータを用い、かつそれらを４種類の歪み補正パラメータで補間するのであれば、パン、チルトにおける切り替える種類は２種類であり、ズーム画角は１種類であるため、座標の最大値は（２００，２００，１００）としてもよい（図１４参照）
なお、図１４は、他の歪み補正パラメータも座標上にマッピングすることにより、歪み補正パラメータを３次元座標に置き換える他の方法を示す図である。
＜歪み補正パラメータの３次元座標化(3)＞
３種類の歪み補正パラメータの補間方法を用い座標化した場合は、必ずしも４角（平面）や立方体のような座標にはならないことは云うまでもない。
また、あらかじめ用意された歪み補正パラメータのパン角、チルト角、ズーム画角は周知であることから、３次元座標上にマッピングする際、各歪み補正パラメータのパン角、チルト角、ズーム画角に応じ、座標値を合わせこんでもよい。
３種類の歪み補正パラメータの補間方法を用い座標化した場合は、必ずしも４角（平面）や立方体のような座標にはならないことは云うまでもない。
また、あらかじめ用意された歪み補正パラメータのパン角、チルト角、ズーム画角は周知であることから、３次元座標上にマッピングする際、各歪み補正パラメータのパン角、チルト角、ズーム画角に応じ、座標値を合わせこんでもよい。
＜任意のパンチルト角ズーム画角からの座標の導出方法＞
あらかじめ用意された歪み補正パラメータのパン角、チルト角、ズーム画角はあらかじめ知ることができることから、３次元座標上にマッピングした各歪み補正パラメータの座標における、パン角、チルト角、ズーム画角も周知となるため、任意のパン角、チルト角、ズーム画角からその座標（Ｘ，Ｙ，Ｚ）を得るには、単純にそこから割り戻せばよい。
あらかじめ用意された歪み補正パラメータのパン角、チルト角、ズーム画角はあらかじめ知ることができることから、３次元座標上にマッピングした各歪み補正パラメータの座標における、パン角、チルト角、ズーム画角も周知となるため、任意のパン角、チルト角、ズーム画角からその座標（Ｘ，Ｙ，Ｚ）を得るには、単純にそこから割り戻せばよい。
＜座標からの歪み補正パラメータの導出方法＞
座標から歪み補正パラメータを導出するには、まず、各座標値を前述した４種類、３種類の歪み補正パラメータの補間方法、あるいは広角側、狭角側の歪み補正パラメータの補間方法における重み付け係数に変換し、各歪み補正パラメータを補間処理すればよい。
たとえば図１３の座標系であれば、座標の値が０の時、各重み付け係数Ｋx、Ｋy、Ｋzが０となり、座標の値が１００の時、各重み付け係数Ｋx、Ｋy、Ｋzが１となる。
従って、各重み付け係数Ｋx、Ｋy、Ｋzは、次のようになり、前述した４種類、３種類の歪み補正パラメータの補間方法を用いればよい。
座標から歪み補正パラメータを導出するには、まず、各座標値を前述した４種類、３種類の歪み補正パラメータの補間方法、あるいは広角側、狭角側の歪み補正パラメータの補間方法における重み付け係数に変換し、各歪み補正パラメータを補間処理すればよい。
たとえば図１３の座標系であれば、座標の値が０の時、各重み付け係数Ｋx、Ｋy、Ｋzが０となり、座標の値が１００の時、各重み付け係数Ｋx、Ｋy、Ｋzが１となる。
従って、各重み付け係数Ｋx、Ｋy、Ｋzは、次のようになり、前述した４種類、３種類の歪み補正パラメータの補間方法を用いればよい。
Ｋx＝座標（Ｘ）÷１００、
Ｋy＝座標（Ｙ）÷１００、
Ｋz＝座標（Ｚ）÷１００
Ｋy＝座標（Ｙ）÷１００、
Ｋz＝座標（Ｚ）÷１００
なお、図１１（Ａ）のような広角側、狭角側、それぞれ９種類の歪み補正パラメータを用い、かつそれらを４種類の歪み補正パラメータで補間するため、座標の最大値を（２００，２００，１００）とした場合は、座標（Ｘ）、（Ｙ）を１００で剰余した値を用いればよい。
したがって、この場合の各重み付け係数Ｋx、Ｋy、Ｋzは、次のようになり、これを広角側、狭角側の歪み補正パラメータの補間方法を用いればよい。
したがって、この場合の各重み付け係数Ｋx、Ｋy、Ｋzは、次のようになり、これを広角側、狭角側の歪み補正パラメータの補間方法を用いればよい。
Ｋx＝座標（Ｘ mod １００）÷１００、
Ｋy＝座標（Ｙ mod １００）÷１００、
Ｋz＝座標（Ｚ mod １００）÷１００
ここで、modは剰余算を示す。
Ｋy＝座標（Ｙ mod １００）÷１００、
Ｋz＝座標（Ｚ mod １００）÷１００
ここで、modは剰余算を示す。
＜座標によるパンチルトズーム制御(1)＞
上述した歪み補正パラメータの３次元座標化方法、任意のパンチルト角ズーム画角からの座標の導出方法、座標からの歪み補正パラメータの導出方法を用い、広角撮像した画像における任意の領域を、任意の方向に移動しつつ、パンチルトズームする方法を、図１３に関連付けて説明する。
上述した歪み補正パラメータの３次元座標化方法、任意のパンチルト角ズーム画角からの座標の導出方法、座標からの歪み補正パラメータの導出方法を用い、広角撮像した画像における任意の領域を、任意の方向に移動しつつ、パンチルトズームする方法を、図１３に関連付けて説明する。
まず、座標を更新する時間的な間隔（たとえば表示のフレームレート等）で、現在の座標（Ｘ，Ｙ，Ｚ）に、ステップ距離を加える。
なお、ステップ距離は任意であり、ステップ距離が短いほど移動が遅くなり、長いほど移動が早くなる。
このとき、パン方向に移動するのであれば座標（Ｘ）に、チルト方向に移動するのであれば座標（Ｙ）に、ズーム方向に移動するのであれば座標（Ｚ）に加える。
なお、パンにおいて左方向、およびチルトにおいて下方向、およびズームにおいて縮小方向であれば、ステップ距離は方向によりマイナスを乗ずればよい。
また、パン、チルトにおいて斜め方向であれば座標（Ｘ）と座標（Ｙ）に同時に加えればよく、この時、座標（Ｘ）と座標（Ｙ）に加えるステップ距離の比率を変えることにより、任意のパン、チルト方向（角度）に移動できることになる。
また、座標（Ｘ）と座標（Ｙ）と座標（Ｚ）に同時に加えれば、パン、チルト、ズーム方向に同時に移動することができることは云うまでもない。
なお、ステップ距離は任意であり、ステップ距離が短いほど移動が遅くなり、長いほど移動が早くなる。
このとき、パン方向に移動するのであれば座標（Ｘ）に、チルト方向に移動するのであれば座標（Ｙ）に、ズーム方向に移動するのであれば座標（Ｚ）に加える。
なお、パンにおいて左方向、およびチルトにおいて下方向、およびズームにおいて縮小方向であれば、ステップ距離は方向によりマイナスを乗ずればよい。
また、パン、チルトにおいて斜め方向であれば座標（Ｘ）と座標（Ｙ）に同時に加えればよく、この時、座標（Ｘ）と座標（Ｙ）に加えるステップ距離の比率を変えることにより、任意のパン、チルト方向（角度）に移動できることになる。
また、座標（Ｘ）と座標（Ｙ）と座標（Ｚ）に同時に加えれば、パン、チルト、ズーム方向に同時に移動することができることは云うまでもない。
＜座標によるパンチルトズーム制御(2)＞
上述した歪み補正パラメータの３次元座標化方法、任意のパンチルト角ズーム画角からの座標の導出方法、座標からの歪み補正パラメータの導出方法を用い、現在の座標（Ｘ，Ｙ，Ｚ）から、目標とする座標（Ｘ，Ｙ，Ｚ）にパンチルトズームする方法を、図１３に関連付けて説明する。
上述した歪み補正パラメータの３次元座標化方法、任意のパンチルト角ズーム画角からの座標の導出方法、座標からの歪み補正パラメータの導出方法を用い、現在の座標（Ｘ，Ｙ，Ｚ）から、目標とする座標（Ｘ，Ｙ，Ｚ）にパンチルトズームする方法を、図１３に関連付けて説明する。
まず、現在の座標（Ｘ，Ｙ，Ｚ）から目標とする座標（Ｘ，Ｙ，Ｚ）までの距離を求め、それをステップ距離で除算し、ステップ間隔を求める。
なお、ステップ距離は任意であり、ステップ距離が短いほど移動が遅くなり、長いほど移動が早くなる。
次に、現在の座標（Ｘ）から目標とする座標（Ｘ）までの距離（Ｘ）を求め、それをステップ間隔で除算し、ステップ距離（Ｘ）を求める。
同様に、同様にステップ距離（Ｙ）、ステップ距離（Ｚ）を求める。
そして、座標を更新する時間的な間隔（例えば表示のフレームレート等）で、現在の座標（Ｘ，Ｙ，Ｚ）に、ステップ距離（Ｘ，Ｙ，Ｚ）を加えていくことにより、目標の座標に移動することができる。
なお、ステップ距離は任意であり、ステップ距離が短いほど移動が遅くなり、長いほど移動が早くなる。
次に、現在の座標（Ｘ）から目標とする座標（Ｘ）までの距離（Ｘ）を求め、それをステップ間隔で除算し、ステップ距離（Ｘ）を求める。
同様に、同様にステップ距離（Ｙ）、ステップ距離（Ｚ）を求める。
そして、座標を更新する時間的な間隔（例えば表示のフレームレート等）で、現在の座標（Ｘ，Ｙ，Ｚ）に、ステップ距離（Ｘ，Ｙ，Ｚ）を加えていくことにより、目標の座標に移動することができる。
＜各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、表示におけるパンチルトの移動角度の補正方法＞
図１５は、表示におけるパンチルトの移動角度の補正方法を説明するための図である。
上述した座標によるパンチルトズーム制御方法を用いパンチルトする際、各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、パンチルトで移動する際の、表示における見た目の移動速度を同じにする方法を、図１５に関連付けて説明する。
図１５は、表示におけるパンチルトの移動角度の補正方法を説明するための図である。
上述した座標によるパンチルトズーム制御方法を用いパンチルトする際、各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、パンチルトで移動する際の、表示における見た目の移動速度を同じにする方法を、図１５に関連付けて説明する。
たとえば、上述した座標によるパンチルトズーム制御(2)の方法で、座標上を斜め４５度方向に移動したとすると、ステップ距離（Ｘ）とステップ距離（Ｙ）は同じになり、遷移中の座標（Ｘ，Ｙ）の傾きは同じになるが、このとき、実際の表示においては、各歪み補正パラメータのパン角、チルト角の相違により、斜めに移動しているものの、結果、約３９度で移動しているように見える。
これを補正するための方法を以下に示す。
まず、次のように、各歪み補正パラメータのパン角、チルト角の比率を求める。
まず、次のように、各歪み補正パラメータのパン角、チルト角の比率を求める。
パン角：チルト角＝Ｋdx：Ｋdy
この比率を上述した座標によるパンチルトズーム制御(2)の方法における、現在の座標（Ｘ，Ｙ，Ｚ）から目標とする座標（Ｘ，Ｙ，Ｚ）までの距離を求める際に適用する。
つまり、次のようにして、それを元に目標とする座標までの距離を求め、以降標によるパンチルトズーム制御(2)の方法で処理すればよい。
つまり、次のようにして、それを元に目標とする座標までの距離を求め、以降標によるパンチルトズーム制御(2)の方法で処理すればよい。
目標とする座標までの距離（Ｘ）＝{目標とする座標（Ｘ）−現在の座標（Ｘ）}×Ｋdx
目標とする座標までの距離（Ｙ）＝{目標とする座標（Ｙ）−現在の座標（Ｙ）}×Ｋdy
目標とする座標までの距離（Ｙ）＝{目標とする座標（Ｙ）−現在の座標（Ｙ）}×Ｋdy
なお、ここでは例として目標とする座標までの距離を補正したが、他に上述した歪む補正パラメータの３次元座標化(1),(2)の方法における座標自体を補正しても、ステップ距離を補正してもよいことは、云うまでもない。
＜広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させる方法＞
図１６は、広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させる方法を説明するための図である。
上述した座標によるパンチルトズーム制御方法を用いパンチルトする際、広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させる方法を、図１６に関連付けて説明する。
図１６は、広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させる方法を説明するための図である。
上述した座標によるパンチルトズーム制御方法を用いパンチルトする際、広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させる方法を、図１６に関連付けて説明する。
たとえば、上述した座標によるパンチルトズーム制御(2)の方法で、座標上をパンチルトで移動したとすると、広角側（座標（Ｚ）＝最小値）でも、狭角側（座標（Ｚ）＝最大値）でも、ステップ距離は同じであるため、遷移中の座標（Ｘ，Ｙ）は同じになる。
ところが、このとき、実際の表示においては、図１６に示すように、広角側では広範囲を表示しているため、パンチルトしている時の見た目はゆっくり（遅く）移動している様に見え、狭角側では狭い範囲を飛び飛びに表示しているため、パンチルトしているときの見た目は早く移動している様に見える。
ところが、このとき、実際の表示においては、図１６に示すように、広角側では広範囲を表示しているため、パンチルトしている時の見た目はゆっくり（遅く）移動している様に見え、狭角側では狭い範囲を飛び飛びに表示しているため、パンチルトしているときの見た目は早く移動している様に見える。
これを補正するための方法を以下に示す。
まず、次のように、各歪み補正パラメータの広角側の画角を１とした時の、狭角側の画角の比率を求める。
まず、次のように、各歪み補正パラメータの広角側の画角を１とした時の、狭角側の画角の比率を求める。
広角側の画角：狭角側の画角＝１：Ｋza
この比率を上述した座標によるパンチルトズーム制御(2)の方法における、座標（Ｚ）に応じ、ステップ距離を変化させるための係数を求める。座標（Ｚ）の最小値が広角側の画角、最大値が狭角側の画角の場合、次のようになり、この係数をステップ距離に乗じたものを、上述した座標によるパンチルトズーム制御(2)の方法で処理すればよい。
Ｋzb＝１−{（現在の座標（Ｚ）÷座標（Ｚ）の最大値）×Ｋza}
図１７は、例として、広角側の画角を９０度、狭角側の画角を４５度、座標（Ｚ）の最小値が０、最大値が１００の場合を示す図である。
なお、ここでは例としてステップ距離を補正したが、他に上述した歪み補正パラメータの３次元座標化方法における座標自体を補正しても、目標とする座標までの距離を補正してもよいことは、云うまでもない。
なお、ここでは例としてステップ距離を補正したが、他に上述した歪み補正パラメータの３次元座標化方法における座標自体を補正しても、目標とする座標までの距離を補正してもよいことは、云うまでもない。
＜広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合においてズーム時に画像中心にズームする方法＞
図１８は、ズーム時に画像中心にズームする方法を説明するための図である。
上述した座標によるパンチルトズーム制御（1）の方法を用いズームする際、広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする方法を、図１８に関連付けて説明する。
図１８は、ズーム時に画像中心にズームする方法を説明するための図である。
上述した座標によるパンチルトズーム制御（1）の方法を用いズームする際、広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする方法を、図１８に関連付けて説明する。
たとえば、図１２において、広角側のパン角と狭角側のパン角が同じで、且つ広角側のチルト角と狭角側のチルト角が同じである場合、上述した座標によるパンチルトズーム制御（1）,(2)の方法を用い、座標（Ｘ，Ｙ）を固定してズームすると、どの座標（Ｘ，Ｙ）においても表示における画像を中心にズーム（拡大、縮小）する。
しかし、図１８に示すように、広角側のパン角と狭角側のパン角が違い、または、広角側のチルト角と狭角側のチルト角が違う場合、上述した座標によるパンチルトズーム制御（1）,(2)の方法を用い、座標（Ｘ，Ｙ）を固定してズームしても、表示における画像を中心にズーム（拡大、縮小）せず、斜めにパンチルトしつつズームしたようになる。
しかし、図１８に示すように、広角側のパン角と狭角側のパン角が違い、または、広角側のチルト角と狭角側のチルト角が違う場合、上述した座標によるパンチルトズーム制御（1）,(2)の方法を用い、座標（Ｘ，Ｙ）を固定してズームしても、表示における画像を中心にズーム（拡大、縮小）せず、斜めにパンチルトしつつズームしたようになる。
これを補正するための方法を以下に示す。
なお、図１８における広角側における各歪み補正パラメータの相対的なパン角は同じであり、かつチルト角も同じであり、また、狭角側における各歪み補正パラメータの相対的なパン角は同じで、かつチルト角も同じとし、座標の最大値は（１００，１００，１００）とする。
まず、広角側の画像中心と狭画像中心における、座標のズレ幅を求める。
座標のズレ幅Ｘzは、狭角側でパンした時（座標（Ｘ，０，１００））のパン角と、広角側の座標（０，０，０）歪み補正パラメータのパン角が一致した時の、座標（Ｘ）である。
同様に、座標のズレ幅Ｙzは、狭角側でチルトした時（座標（０，Ｙ，１００））のチルト角と、広角側の座標（０，０，０）歪み補正パラメータのチルト角が一致したときの、座標（Ｙ）である。
次に、上述した座標によるパンチルトズーム制御（1）の方法で、次に移動したい座標（Ｘ，Ｙ，Ｚ）を求め、そこから補正量を求める。
なお、図１８における広角側における各歪み補正パラメータの相対的なパン角は同じであり、かつチルト角も同じであり、また、狭角側における各歪み補正パラメータの相対的なパン角は同じで、かつチルト角も同じとし、座標の最大値は（１００，１００，１００）とする。
まず、広角側の画像中心と狭画像中心における、座標のズレ幅を求める。
座標のズレ幅Ｘzは、狭角側でパンした時（座標（Ｘ，０，１００））のパン角と、広角側の座標（０，０，０）歪み補正パラメータのパン角が一致した時の、座標（Ｘ）である。
同様に、座標のズレ幅Ｙzは、狭角側でチルトした時（座標（０，Ｙ，１００））のチルト角と、広角側の座標（０，０，０）歪み補正パラメータのチルト角が一致したときの、座標（Ｙ）である。
次に、上述した座標によるパンチルトズーム制御（1）の方法で、次に移動したい座標（Ｘ，Ｙ，Ｚ）を求め、そこから補正量を求める。
Ｚl＝次に移動したい座標（Ｚ）−現在の座標（Ｚ）
{５０−現在の座標（Ｘ）}の絶対値が、Ｚlの絶対値より小さい場合、Ｘa＝５０−現在の座標（Ｘ）とし、それ以外の場合は、Ｘa＝Ｚlとする。
Ｘs＝Ｘa × （１／１００） × Ｘz
Ｚlが０以上の場合、Ｘshift＝Ｘsとし、Ｚlが０未満の場合は、Ｘshift＝Ｘs × −１とする。
{５０−現在の座標（Ｙ）}の絶対値が、Ｚlの絶対値より小さい場合、
Ｙa＝５０−現在の座標（Ｙ）とし、それ以外の場合は、Ｙa＝Ｚlとする。
Ｙa＝５０−現在の座標（Ｙ）とし、それ以外の場合は、Ｙa＝Ｚlとする。
Ｙs＝Ｙa × （１／１００） × Ｙz
Ｚlが０以上の場合、Ｙshift＝Ｙsとし、Ｚlが０未満の場合は。Ｙshift＝Ｙs × −１とする。
最後に、次に移動したい座標（Ｘ，Ｙ）に、補正量（Ｘshift，Ｙshift）を加える。
この補正量を加えた座標（Ｘ，Ｙ，Ｚ）を元に、補間処理を行えばよい。
最後に、次に移動したい座標（Ｘ，Ｙ）に、補正量（Ｘshift，Ｙshift）を加える。
この補正量を加えた座標（Ｘ，Ｙ，Ｚ）を元に、補間処理を行えばよい。
ここで、この補間処理の具体例を図１９に関連付けて説明する。
現在の座標を（０，０，０）、目標の座標を（０，０，１００），Ｚ方向のステップ（Ｓｔｅｐ）角を４とすると、次に移動したい座標は次のようになる。
現在の座標を（０，０，０）、目標の座標を（０，０，１００），Ｚ方向のステップ（Ｓｔｅｐ）角を４とすると、次に移動したい座標は次のようになる。
次に移動したい座標
＝｛目標の座標（０，０，１００）−現在の座標（０，０，０）｝／４
＝（０，０，２５）
＝｛目標の座標（０，０，１００）−現在の座標（０，０，０）｝／４
＝（０，０，２５）
したがって、Ｚl＝２５となる。
{５０−現在の座標（Ｘ）}の絶対値＝５０である。
{５０−現在の座標（Ｘ）}の絶対値＝５０が、Ｚlの絶対値より小さい場合には、{５０−現在の座標（Ｘ）}の絶対値＝５０＜Ｚｌ＝２５である。
よって、偽であるため、Ｘa＝Ｚl＝２５である。したがって、Ｘsは次のようになる。
{５０−現在の座標（Ｘ）}の絶対値＝５０である。
{５０−現在の座標（Ｘ）}の絶対値＝５０が、Ｚlの絶対値より小さい場合には、{５０−現在の座標（Ｘ）}の絶対値＝５０＜Ｚｌ＝２５である。
よって、偽であるため、Ｘa＝Ｚl＝２５である。したがって、Ｘsは次のようになる。
Ｘs＝Ｘa × （１／１００） × Ｘz＝２５ × （１／１００） × ２５＝６．２５
Ｚｌが０以上なら、Ｚｌ＞０＝２５＞０である。
これは、真であるため、補正量Ｘshift＝Ｘs＝６．２５となる。
これは、真であるため、補正量Ｘshift＝Ｘs＝６．２５となる。
現在の座標（０，０，０）に補正量Ｘshiftを加えた、補正後の次に移動する座標は次のようになる。ただし、Ｙについては省略している。
次に移動したい座標＝（０，０，０）＋（６．２５，Ｙ，２５）
現在の座標に補正量Ｘshiftを加え続けレベルよい。このとき、無論Ｚｌも加える。Ｙについては省略している。
以下、Ｙについてステップとして記す。この場合も、現在の座標（０，０，０）である。
以下、Ｙについてステップとして記す。この場合も、現在の座標（０，０，０）である。
Ｓｔｅｐ１：
（０，Ｙ，０）＋（６．２５，Ｙ，２５）＝ （６．２５，Ｙ，２５）
Ｓｔｅｐ２：
（６．２５，Ｙ，２５）＋（６．２５，Ｙ，２５）＝（１２．５，Ｙ，５０）
Ｓｔｅｐ３：
（１２．５，Ｙ，５０）＋（６．２５，Ｙ，２５）＝（１８．７５，Ｙ，５０）
Ｓｔｅｐ４：
（１８．７５，Ｙ，７５）＋（６．２５，Ｙ，２５）＝（２５，Ｙ，１００）
（０，Ｙ，０）＋（６．２５，Ｙ，２５）＝ （６．２５，Ｙ，２５）
Ｓｔｅｐ２：
（６．２５，Ｙ，２５）＋（６．２５，Ｙ，２５）＝（１２．５，Ｙ，５０）
Ｓｔｅｐ３：
（１２．５，Ｙ，５０）＋（６．２５，Ｙ，２５）＝（１８．７５，Ｙ，５０）
Ｓｔｅｐ４：
（１８．７５，Ｙ，７５）＋（６．２５，Ｙ，２５）＝（２５，Ｙ，１００）
なお、ここでは例として次に移動したい座標を補正したが、他に上述した歪み補正パラメータの３次元座標化法（1）,(2)における座標自体を補正してもよいことは、云うまでもない。
以上説明したように、本実施形態のカメラ装置１０は、広角レンズで撮像した画像をもとに、格子状に形成された（張られた）歪み補正パラメータ（ベクトル）を用い歪み補正が可能であって、複数の歪み補正パラメータを補間することにより、任意のパン角、チルト角、ズーム画角に、スムースにパンチルトズーム可能であり、４種類あるいは３種類の歪み補正パラメータを用いて、それらを補間することにより、任意のパン角、チルト角の歪み補正パラメータを生成する。
また、カメラ装置１０は、広角側、狭角側でそれぞれ生成された歪み補正パラメータを補間することにより、任意のパン角、チルト角、ズーム画角の歪み補正パラメータを生成する。さらに、カメラ装置１０は、多くの種類の歪み補正パラメータを用いることで、歪み補正の精度を向上させたパン、チルト、ズームを実現することも可能である。たとえば広角撮像した領域において、このような歪み補正パラメータを９種類、１８種類等、さらに多くの種類を用意し、それらおいて、補間対象となる歪み補正パラメータをパン角、チルト角、ズーム画角に応じ、随時切り替えることも可能であり、この場合、パン角、チルト角、ズーム画角を座標（Ｘ，Ｙ，Ｚ）に定義し、パン、チルト、ズームにおける移動角度に制約なく、任意の角度、任意の画角に移動する。そして、その座標系をもとに目標とする任意の座標までの距離を求め、それに基づきパンチルトズームにて移動するための制御方法が採用される。
また、カメラ装置１０は、各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、表示におけるパンチルトの移動角度を補正する機能と、広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させる機能と、広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする機能と、を有する。
したがって、本実施形態によれば、以下の効果を得ることができる。
また、カメラ装置１０は、広角側、狭角側でそれぞれ生成された歪み補正パラメータを補間することにより、任意のパン角、チルト角、ズーム画角の歪み補正パラメータを生成する。さらに、カメラ装置１０は、多くの種類の歪み補正パラメータを用いることで、歪み補正の精度を向上させたパン、チルト、ズームを実現することも可能である。たとえば広角撮像した領域において、このような歪み補正パラメータを９種類、１８種類等、さらに多くの種類を用意し、それらおいて、補間対象となる歪み補正パラメータをパン角、チルト角、ズーム画角に応じ、随時切り替えることも可能であり、この場合、パン角、チルト角、ズーム画角を座標（Ｘ，Ｙ，Ｚ）に定義し、パン、チルト、ズームにおける移動角度に制約なく、任意の角度、任意の画角に移動する。そして、その座標系をもとに目標とする任意の座標までの距離を求め、それに基づきパンチルトズームにて移動するための制御方法が採用される。
また、カメラ装置１０は、各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、表示におけるパンチルトの移動角度を補正する機能と、広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させる機能と、広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする機能と、を有する。
したがって、本実施形態によれば、以下の効果を得ることができる。
１）マイクロプロセッサ等が任意のパンチルト角・画角の歪み補正パラメータを、演算により生成していた場合に比べ、マイクロプロセッサ等の負荷が大幅に軽減され、結果、リアルタイム性が向上（高フレームレート化が容易）し、視認性が向上する。
また、安価な低性能のマイクロプロセッサ等を用いることができ、システム的なコストが削減できる。
２）任意のパンチルト角やズーム画角を表示するため、あらかじめ多くの歪み補正パラメータを記憶する必要はなくなり、記憶装置の容量を削減でき、システム的なコストが削減できる。
３）パンチルト角、ズーム画角を切り替えるたびに歪み補正パラメータを通信によりホストシステムからカメラにダウンロードする必要がなくなり、リアルタイム性が向上（高フレームレート化が容易）し、視認性が向上する。
また、高速通信用のハードウェア等が必要なくなり、システム的なコストが削減できる。
４）２種類の歪み補正パラメータで補間するのに比べ、３種類、または４種類で歪み補正パラメータを補間するため、同じパン角、チルト角、ズーム画角を表示した場合において、出力画像が異なることはなくなり、歪み補正の精度が向上する。
５）２種類の歪み補正パラメータで補間するのに比べ、生成した歪み補正パラメータを再び補間する必要がないため、歪み補正パラメータに誤差が蓄積しない。
６）座標をもとに補間する歪み補正パラメータを生成するため、各歪み補正パラメータのパンチルト角、画角を意識する必要がなくなり、パンチルトズーム制御が簡易になり、安価な低性能のマイクロプロセッサ等を用いることができ、システム的なコストが削減できる。
７）パンチルトズームの移動方向に制限がなくなり、あらゆるパンチルトズーム方向に移動が可能になるため、別途用意された何らかの検出処理（動き検出等）により検出した被写体を、パンチルトズームにより追従し表示する際の、追従性、および視認性が向上する。
８）広角側と狭角側の表示におけるパンチルトする移動速度を同じにできるため、パンチルトする際の操作性や視認性が向上する。
９）任意の歪み補正パラメータにより歪み補正、パンチルトズームが可能なため、歪曲収差の違うレンズを使用した場合でも容易に対応できる。
また、安価な低性能のマイクロプロセッサ等を用いることができ、システム的なコストが削減できる。
２）任意のパンチルト角やズーム画角を表示するため、あらかじめ多くの歪み補正パラメータを記憶する必要はなくなり、記憶装置の容量を削減でき、システム的なコストが削減できる。
３）パンチルト角、ズーム画角を切り替えるたびに歪み補正パラメータを通信によりホストシステムからカメラにダウンロードする必要がなくなり、リアルタイム性が向上（高フレームレート化が容易）し、視認性が向上する。
また、高速通信用のハードウェア等が必要なくなり、システム的なコストが削減できる。
４）２種類の歪み補正パラメータで補間するのに比べ、３種類、または４種類で歪み補正パラメータを補間するため、同じパン角、チルト角、ズーム画角を表示した場合において、出力画像が異なることはなくなり、歪み補正の精度が向上する。
５）２種類の歪み補正パラメータで補間するのに比べ、生成した歪み補正パラメータを再び補間する必要がないため、歪み補正パラメータに誤差が蓄積しない。
６）座標をもとに補間する歪み補正パラメータを生成するため、各歪み補正パラメータのパンチルト角、画角を意識する必要がなくなり、パンチルトズーム制御が簡易になり、安価な低性能のマイクロプロセッサ等を用いることができ、システム的なコストが削減できる。
７）パンチルトズームの移動方向に制限がなくなり、あらゆるパンチルトズーム方向に移動が可能になるため、別途用意された何らかの検出処理（動き検出等）により検出した被写体を、パンチルトズームにより追従し表示する際の、追従性、および視認性が向上する。
８）広角側と狭角側の表示におけるパンチルトする移動速度を同じにできるため、パンチルトする際の操作性や視認性が向上する。
９）任意の歪み補正パラメータにより歪み補正、パンチルトズームが可能なため、歪曲収差の違うレンズを使用した場合でも容易に対応できる。
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
１０・・・カメラ装置、１１・・・光学系、１１１・・・広角レンズ、１２・・・撮像素子、１３・・・カメラ信号処理部、１４・・・フレームメモリ、１５・・・書き込みアドレス生成部、１６・・・読み出しアドレス変換部、１７・・・出力処理部、１８・・・マイクロコンピュータ（マイコン）、１９・・・歪み補正パラメータ（ベクトル）格納メモリ（ＲＡＭ）、２０・・・歪み補正パラメータ補間処理部。
Claims (6)
- 広角レンズで撮像した元画像を、格子状に形成された歪み補正パラメータを用い歪み補正が可能な画像処理装置であって、
少なくとも３種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角、およびズーム画角のうちの少なくともいずれかの歪み補正パラメータを生成する処理部を有し、
上記処理部は、
広角側および狭角側でそれぞれ上記歪み補正パラメータを生成し、当該広角側および狭角側で生成した歪み補正パラメータを補間することにより、任意のパン角、チルト角、およびズーム画角のうちの少なくともいずれかの歪み補正パラメータを生成し、
歪み補正の精度を高くする場合、上記少なくとも３種類の歪み補正パラメータよりさらに多くの歪み補正パラメータを用い、補間対象となる歪み補正パラメータをパン角、チルト角、ズーム画角のいずれかに応じて、随時切り替え、
パン角、チルト角、ズーム画角を座標（Ｘ，Ｙ，Ｚ）に定義し、パン、チルト、ズームにおける移動角度に制約なく、任意の角度、任意の画角に移動する機能を含み、
上記座標系をもとに目標とする任意の座標までの距離を求め、求めた距離に基づきパンチルトズームにて移動するための制御を行い、
各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、表示におけるパンチルトの移動角度を補正し、
広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させ、
広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする
画像処理装置。 - 上記処理部は、
広角側および狭角側でそれぞれ少なくとも３種類の歪み補正パラメータを補間することにより、任意のパン角およびチルト角のうち少なくとも一方の歪み補正パラメータを生成し、当該広角側および狭角側で生成した歪み補正パラメータを補間することにより、任意のズーム画角の歪み補正パラメータを得る
請求項１記載の画像処理装置。 - 広角レンズで撮像した元画像を、格子状に形成された歪み補正パラメータを用い歪み補正が可能な画像処理装置であって、
少なくとも３種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角、およびズーム画角のうちの少なくともいずれかの歪み補正パラメータを生成する処理部を有し、
上記処理部は、
歪み補正の精度を高くする場合、上記少なくとも３種類の歪み補正パラメータよりさらに多くの歪み補正パラメータを用い、補間対象となる歪み補正パラメータをパン角、チルト角、ズーム画角のいずれかに応じて、随時切り替え、
パン角、チルト角、ズーム画角を座標（Ｘ，Ｙ，Ｚ）に定義し、パン、チルト、ズームにおける移動角度に制約なく、任意の角度、任意の画角に移動する機能を含み、
上記座標系をもとに目標とする任意の座標までの距離を求め、求めた距離に基づきパンチルトズームにて移動するための制御を行い、
各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、表示におけるパンチルトの移動角度を補正し、
広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させ、
広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする
画像処理装置。 - 電子パンチルトズーム機能を有するカメラ装置であって、
撮像素子と、
光軸を中心として点対称な歪みを有する広角レンズを含み、上記記撮像素子に被写体像を結像する光学系と、
上記撮像素子による広角レンズで撮像した元画像を、格子状に形成された歪み補正パラメータを用い歪み補正が可能な画像処理装置と、を有し、
上記画像処理装置は、
少なくとも３種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角、およびズーム画角のうちの少なくともいずれかの歪み補正パラメータを生成する処理部を有し、
上記処理部は、
広角側および狭角側でそれぞれ上記歪み補正パラメータを生成し、当該広角側および狭角側で生成した歪み補正パラメータを補間することにより、任意のパン角、チルト角、およびズーム画角のうちの少なくともいずれかの歪み補正パラメータを生成し、
歪み補正の精度を高くする場合、上記少なくとも３種類の歪み補正パラメータよりさらに多くの歪み補正パラメータを用い、補間対象となる歪み補正パラメータをパン角、チルト角、ズーム画角のいずれかに応じて、随時切り替え、
パン角、チルト角、ズーム画角を座標（Ｘ，Ｙ，Ｚ）に定義し、パン、チルト、ズームにおける移動角度に制約なく、任意の角度、任意の画角に移動する機能を含み、
上記座標系をもとに目標とする任意の座標までの距離を求め、求めた距離に基づきパンチルトズームにて移動するための制御を行い、
各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、表示におけるパンチルトの移動角度を補正し、
広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させ、
広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする
カメラ装置。 - 上記処理部は、
広角側および狭角側でそれぞれ少なくとも３種類の歪み補正パラメータを補間することにより、任意のパン角およびチルト角のうち少なくとも一方の歪み補正パラメータを生成し、当該広角側および狭角側で生成した歪み補正パラメータを補間することにより、任意のズーム画角の歪み補正パラメータを得る
請求項４記載のカメラ装置。 - 電子パンチルトズーム機能を有するカメラ装置であって、
撮像素子と、
光軸を中心として点対称な歪みを有する広角レンズを含み、上記記撮像素子に被写体像を結像する光学系と、
上記撮像素子による広角レンズで撮像した元画像を、格子状に形成された歪み補正パラメータを用い歪み補正が可能な画像処理装置と、を有し、
上記画像処理装置は、
少なくとも３種類の歪み補正パラメータを補間することにより、任意のパン角、チルト角、およびズーム画角のうちの少なくともいずれかの歪み補正パラメータを生成する処理部を有し、
上記処理部は、
歪み補正の精度を高くする場合、上記少なくとも３種類の歪み補正パラメータよりさらに多くの歪み補正パラメータを用い、補間対象となる歪み補正パラメータをパン角、チルト角、ズーム画角のいずれかに応じて、随時切り替え、
パン角、チルト角、ズーム画角を座標（Ｘ，Ｙ，Ｚ）に定義し、パン、チルト、ズームにおける移動角度に制約なく、任意の角度、任意の画角に移動する機能を含み、
上記座標系をもとに目標とする任意の座標までの距離を求め、求めた距離に基づきパンチルトズームにて移動するための制御を行い、
各歪み補正パラメータのパン角、チルト角が相対的に違う場合において、表示におけるパンチルトの移動角度を補正し、
広画角時のパンチルトする移動速度と、狭画角時のパンチルトする移動速度において、表示における見た目の移動速度を一致させ、
広角側の歪み補正パラメータと狭角側の歪み補正パラメータのパン角が違う、またはチルト角が違う、またはいずれも違う場合において、ズーム時に画像中心にズームする
カメラ装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007064404A JP4935440B2 (ja) | 2007-03-14 | 2007-03-14 | 画像処理装置およびカメラ装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007064404A JP4935440B2 (ja) | 2007-03-14 | 2007-03-14 | 画像処理装置およびカメラ装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2008227996A JP2008227996A (ja) | 2008-09-25 |
| JP2008227996A5 JP2008227996A5 (ja) | 2011-08-04 |
| JP4935440B2 true JP4935440B2 (ja) | 2012-05-23 |
Family
ID=39846056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007064404A Expired - Fee Related JP4935440B2 (ja) | 2007-03-14 | 2007-03-14 | 画像処理装置およびカメラ装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4935440B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102445818B (zh) * | 2010-09-30 | 2016-09-14 | 株式会社尼康 | 更换镜头及相机体 |
| US9030597B2 (en) | 2010-09-30 | 2015-05-12 | Nikon Corporation | Interchangeable lens and camera body |
| JP5240323B2 (ja) * | 2010-09-30 | 2013-07-17 | 株式会社ニコン | 交換レンズおよびカメラボディ |
| WO2012056982A1 (ja) * | 2010-10-25 | 2012-05-03 | コニカミノルタオプト株式会社 | 画像処理方法、画像処理装置及び撮像装置 |
| JPWO2012060269A1 (ja) * | 2010-11-04 | 2014-05-12 | コニカミノルタ株式会社 | 画像処理方法、画像処理装置及び撮像装置 |
| WO2012060271A1 (ja) * | 2010-11-04 | 2012-05-10 | コニカミノルタオプト株式会社 | 画像処理方法、画像処理装置及び撮像装置 |
| JP5914813B2 (ja) | 2011-01-06 | 2016-05-11 | パナソニックＩｐマネジメント株式会社 | カメラ、歪み補正装置、及び歪み補正方法 |
| KR102114248B1 (ko) | 2013-09-13 | 2020-05-22 | 삼성전자 주식회사 | 깊이 정보 기반 광학 왜곡 보상 장치 및 방법 |
| KR101762475B1 (ko) | 2014-04-23 | 2017-07-27 | 주식회사 에스360브이알 | 직선수차보정 영상면의 주시 방향이 사전에 정해진 궤적을 따라서 주기적으로 스캔되는 영상 처리 기반의 디지털 팬·틸트·줌·슬라이드 카메라 |
| US10863112B1 (en) * | 2019-09-26 | 2020-12-08 | Plantronics, Inc. | Smoothing image transitions when changing views |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003052057A (ja) * | 2001-08-08 | 2003-02-21 | Hitachi Ltd | 映像変換による立体視映像生成装置 |
| JP4333270B2 (ja) * | 2003-08-13 | 2009-09-16 | ソニー株式会社 | 画像処理装置、画像処理システム、撮像装置および画像処理方法 |
-
2007
- 2007-03-14 JP JP2007064404A patent/JP4935440B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008227996A (ja) | 2008-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4935440B2 (ja) | 画像処理装置およびカメラ装置 | |
| TWI524306B (zh) | 圖像轉換和多視圖輸出系統及方法 | |
| JP4487952B2 (ja) | カメラ装置及び監視システム | |
| JP6337888B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
| JP5235910B2 (ja) | カメラ雲台システム | |
| JP6821339B2 (ja) | 像振れ補正装置、傾き補正装置、像振れ補正装置の制御方法、傾き補正装置の制御方法 | |
| JP5666069B1 (ja) | 座標算出装置及び方法、並びに画像処理装置及び方法 | |
| KR101078623B1 (ko) | 화상 처리 장치 및 카메라 시스템 | |
| US9667864B2 (en) | Image conversion apparatus, camera, image conversion method, and storage medium with program stored therein | |
| JP6292227B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
| JP2011142419A5 (ja) | ||
| WO2012060269A1 (ja) | 画像処理方法、画像処理装置及び撮像装置 | |
| JP6310320B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および、プログラム | |
| US8289420B2 (en) | Image processing device, camera device, image processing method, and program | |
| JP6151930B2 (ja) | 撮像装置およびその制御方法 | |
| JP2018182730A (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
| JP2012003503A (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
| JP6278668B2 (ja) | 複眼撮像装置 | |
| JP6320165B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
| EP4091319A1 (en) | Method of controlling a camera | |
| WO2019026183A1 (ja) | 画像生成装置および画像生成方法 | |
| TW201843648A (zh) | 影像視角轉換方法及其系統 | |
| JPWO2011161746A1 (ja) | 画像処理方法、プログラム、画像処理装置及び撮像装置 | |
| JP2007249791A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| JP2002094765A (ja) | 画像処理装置及び画像処理方法並びにメモリ媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100303 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110712 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110826 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111018 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120124 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120206 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150302 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150302 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |