JP4504575B2

JP4504575B2 - Correction parameter calculation method and calculation apparatus, image correction apparatus and image correction method using the correction parameter, and standard samples used in these

Info

Publication number: JP4504575B2
Application number: JP2001021613A
Authority: JP
Inventors: 博隆岩野; 透大木; 徳行佐藤; 亮太河内
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2001-01-30
Filing date: 2001-01-30
Publication date: 2010-07-14
Anticipated expiration: 2021-01-30
Also published as: JP2002232920A

Description

【０００１】
【発明の属する技術分野】
本発明は、パノラマ画像や広角画像を撮像するために、その撮像部に広角レンズ（魚眼レンズを含む）を使用した際のレンズ特性に起因する歪みを補正するための補正パラメータの算出方法及び補正パラメータの算出装置、その補正パラメータを利用した画像補正装置及び画像補正方法、並びに、これらの方法及び装置に使用される標準試料に関する。
【０００２】
【従来の技術】
従来から、広角レンズ（魚眼レンズを含む）を用いて撮像されたレンズ特性に起因する歪み画像を、ルックアップテーブルを用いてデジタル的に変換する手法やリアルタイムに変換する手法などによって補正する歪み補正方法や装置が知られている（例えば、特開２０００−２３５６４５号公報、特開平５−１７６３２３号公報参照）。
【０００３】
このような歪み補正をする場合に使用される補正パラメータは、図４（ａ）に示すように、座標上の位置を特定するための複数の点ｐが平面上に配置された標準試料１を撮像部２で撮像して、画像上での点ｐの座標を求め、標準試料１上での点座標とを手動で対応させ各点毎に求めていた。
【０００４】
撮像部２は、実際のカメラと同様に、広角レンズ３と二次元エリアＣＣＤ等のイメージセンサー４と、このイメージセンサー４に結像された像を画像変換する変換部（図示せず）とを備えている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述したように、補正パラメータを求める主要プロセスを手動で行っていたため、カメラ毎（レンズ毎）に歪み補正のためのパラメータやテーブルを作成することは困難で、標準的なパラメータやテーブルを作成し、その標準的なパラメータやテーブルを全てのカメラに適用していることから、カメラ個々の歪みのばらつきを吸収することはできなかった。
【０００６】
なお、画像の歪みには上述したレンズ特性に起因するものばかりでなく、図４（ｂ）に示すように、標準試料１の中心Ｑ１と、広角レンズ３の光学中心Ｑ２とイメージセンサー４の画素中心Ｑ３とが一致しない状態で配置された場合にも発生する。
【０００７】
本発明は、上記問題を解決するため、レンズ毎に歪み補正用の補正パラメータを求めることができる補正パラメータの算出方法及び算出装置、補正パラメータを利用した画像補正装置及び画像補正方法、並びに、これらに使用される標準試料を提供することを目的とする。
【０００８】
また、補正パラメータの算出装置を有する画像補正装置をカメラに一体に装備することによって、各光学部材の中心ズレに起因する歪みも補正することができる。
【０００９】
【課題を解決するための手段】
その目的を達成するため、請求項１に記載の補正パラメータの算出方法は、広角レンズを用いた撮像部で撮像されたレンズ特性に起因する画像の歪みを画像補正部によって正常な画像に補正する際に用いられる補正パラメータの算出方法であって、
座標上の位置を特定するための複数の点が異なるカラー色で平面上に配置された標準試料を前記撮像部で撮像し、画像上での前記各点の座標をその色情報によって識別・特定すると共にその識別・特定された画像上での前記各点の座標と前記標準試料上での前記各点の座標とを対応させて正常な画像に補正・変換するための補正パラメータを算出することを要旨とする。
【００１０】
請求項２に記載の補正パラメータの算出装置は、広角レンズを有する撮像部と、該撮像部で撮像されると共に座標上の位置を特定するための複数の点が異なるカラー色で平面上に配置された標準試料と、前記撮像部で撮像した画像上での点座標と前記標準試料上での点座標とを対応させてレンズ特性に起因する画像の歪みを解析して正常な画像に補正・変換するための補正パラメータを算出する歪み解析部とを備えることを要旨とする。
請求項３に記載の画像補正装置は、広角レンズを有する撮像部と、該撮像部で撮像されると共に座標上の位置を特定するための複数の点が異なるカラー色で平面上に配置された標準試料と、前記撮像部で撮像した画像上での点座標と前記標準試料上での点座標とを対応させる対応データベースを構築する前処理部と、前記対応データベースからのデータに基づいて画像中心から各点までの距離と前記標準試料の試料中心から各点までの距離とを関係付けるための補正パラメータを算出すると共に前記広角レンズの光学中心に対する画像中心のずれベクトル及び前記広角レンズの光学中心に対する前記標準試料の試料中心のずれベクトルをそれぞれ算出するパラメータ推定部と、前記パラメータ推定部で求めた補正パラメータとずれベクトルとを用いて前記撮像部による撮像画像の各画素のアドレスと歪み補正画像の各画素のアドレスとを対応付けるテーブルを生成するテーブル生成部と、該テーブル生成部で生成されたテーブルに基づいてレンズ特性に起因する画像の歪みを補正した歪み補正画像を出力する画像補正部とを備えていることを要旨とする。
【００１１】
請求項４に記載の画像補正方法は、請求項３に記載の画像補正装置を用い、前記前処理部において、標準試料の点を選択する標準座標選択ステップと、その選択した点の標準座標に基づいて座標−色データベースから座標に対応する色情報を抽出して前記撮像部からの出力の中で抽出した色情報に近い色の画素のみを選択して残す二値化処理ステップと、隣接する残存画素のクラスタを検出するクラスタ処理ステップと、クラスタの中心座標を求める重心演算ステップと、唯一のクラスタが抽出されたかを判定する同定可能判定ステップと、前記判定で同定可能でない時には前記標準座標選択ステップに戻り次の点を選択するルートと、同定可能である時は標準座標と撮像画像上の座標であるクラスタの中心座標とを対応させるデータを格納するデータベース追加ステップと、データベース追加ステップでまだ標準座標全ての点のデータを格納していない時は前記標準座標選択ステップに戻り次の点を選択するルートとを含み且つ前記各ステップと前記各ルートの処理が自動的に行われることを要旨とする。
【００１２】
請求項５に記載の標準試料は、試料中心に接近する程に密度が高くなるように前記各点が配置されていることを要旨とする。
【００１３】
請求項６に記載の標準試料は、試料中心を中心とする同心円上に前記各点が配置されていることを要旨とする。
【００１４】
【発明の実施の形態】
次に、本発明の実施の形態を図面に基づいて説明する。
【００１５】
図１において、１０は標準試料、１１はＴＶカメラ等の撮像部、１２はＴＶカメラに内蔵された画像補正部、１３はＴＶカメラ等の表示画面や記録部等の出力部である。
【００１６】
標準試料１０には、図２（ａ）に示すように、座標上の位置を特定するための複数の点ｐが異なるカラー色で平面上に精密に配置されている。この点ｐは、試料中心Ｑ１（この試料中心Ｑ１にも点ｐが設けられ、標準試料１０の中心検出が可能となっている。）に接近する程に密度が高くなるように配置されている。なお、図２（ｂ）に示すように、試料中心Ｑ１を中心とする同心円上に点ｐが配置されていてもよい。
【００１７】
図２（ａ）に示した点ｐは、基本的には正方格子状に配置したもので、この配置に加えて試料中心Ｑ１の近傍の密度を高くしている。また、点ｐはカラーであり特定の色の点ｐは１つ（試料中心Ｑ１上に配置されたもの）しかない。
【００１８】
これは、広角レンズ１４の歪みは同心円上であり、広角レンズ１４の光学中心からの距離に応じて歪んでいる。特に、広角レンズ１４の光学中心付近は大きく円周部に向かって歪んでいるため、撮像された標準試料１０の画像では広角レンズ１４の光学中心にあたる領域で格子密度が疎になる。その結果として、広角レンズ１４の光学中心付近のデータが不足し十分な歪み補正ができなくなる。そこで、標準試料１０の点ｐの配置に密な領域を規定し、広角レンズ１４の光学中心を対峙させるように光学系を設置することで、撮像された画像には比較的均一な密度の点画像が得られるようになる。
【００１９】
後述する補正パラメータを決定する際に重要なのは、撮像された画像の各点ｐが、標準試料１０のどれに対応するかを決定することである。そこで、各点ｐのうち、試料中心Ｑ１上の点ｐの色を特定して試料中心Ｑ１の識別性を安定させると共に、他の点ｐ毎においても特徴的な色付けとすることで、各点ｐの色を解析し自動的な対応付けを可能とする。
【００２０】
撮像部１１には広角レンズ（又は魚眼レンズ）１４と、二次元エリアＣＣＤ等のイメージセンサー１５と、イメージセンサー１５に結像された像を画像変換する変換部（図示せず）とが設けられている。
【００２１】
撮像部１１で撮像された標準試料１０の像は、レンズ特性（並びに中心ズレ）に起因して歪みのある画像として画像補正部１２に出力される。
【００２２】
画像補正部１２では、予め求められた補正パラメータによって歪みのない画像へと変換した上で主力部１３へと出力する。
【００２３】
画像補正部１２による補正パラメータによる歪み補正は、ＴＶカメラ毎に内蔵された歪み解析部１６によって歪みを解析することによって補正パラメータを算出して行う。尚、歪み解析部１６は、ＴＶカメラ出荷時の検査ライン、撮像部組み立て検査ライン、レンズ研削又は組み付け検査ライン等に設置し、画像補正部１２に算出された補正パラメータを出力して各ＴＶカメラ毎の画像補正部１２に記憶させることも可能である。
【００２４】
歪み解析部１６は、撮像部１１から歪みのある画像データが入力され、前処理部１７、パラメータ推定部１８、テーブル生成部１９、標準試料１０の各点ｐに対応した座標と色とを記憶した座標−色データベース２０を備えている。
【００２５】
前処理部１７は、撮像された画像を用いて点ｐの画像上での座標を検出し、標準試料１０での点座標との対応データベースを構築する機能を有する。即ち、歪みのある画像上での点ｐの座標と標準試料１０上での点ｐの座標の対応データベースが生成される。十分な量のデータベースが構築された時点で、次段のパラメータ推定部１８に移行する。
【００２６】
具体的には、以下のルーチン（ルックアップテーブル）において、対応データベースを構築する。
【００２７】
即ち、標準試料１０の点ｐを選択する標準座標選択ステップと、その選択した点の標準座標（標準試料１０での点座標）に基づいて歪み解析部１６に設けられた座標−色データベース２０から選択した点ｐが配置されているとする座標に対応する色情報を抽出して実際に撮像した画像上の点ｐで抽出した色情報に近い色の画素のみを選択して残す二値化処理ステップと、隣接する残存画素のクラスタ（集合）を検出するクラスタ処理ステップと、クラスタの中心座標を求める重心演算ステップと、唯一のクラスタが抽出されたかを判定する同定可能判定ステップと、判定で同定可能でない時（Ｎｏ）には標準座標選択ステップに戻り次の点ｐを選択するルート（ループ）と、同定可能である時（Ｙｅｓ）は標準座標と画像上の座標であるクラスタの中心座標とを対応させるデータを格納するデータベース追加ステップと、データベース追加ステップで格納したデータベースで標準座標１０に配置された点ｐの全てのデータを格納したかを確認する完了確認ステップと、完了していない場合には標準座標選択ステップに戻って次の点ｐを選択するルート（ループ）を行うと共に、これら各ステップと各ルートの処理が自動的に行われる。
【００２８】
パラメータ推定部１８は、画像全体の歪みを定量的に評価し、補正基本式のパラメータを同定するものである。広角でないレンズを用いた場合には、二次の補正式を用いるのが最も一般的の様であるが、歪みの大きい広角レンズ１４の場合にはより高次の多項式がたびたび用いられるが、いずれにせよ、標準試料１０上での中心位置からの距離をｒ’、撮像画像（イメージセンサ）上での対応する点の中心位置からの距離をｒとすると、
【００２９】
【式１】

【００３０】
の式を用いてそれぞれの座標間の対応を関係付けることができるように、各係数α_nを決定する。ただし、定数項α₀は０である。
【００３１】
ここで重要なのは、上述した図４（ｂ）に示すように、広角レンズ３の光学中心Ｑ２と標準試料１０の試料中心Ｑ１、及び、イメージセンサ４の画素中心Ｑ３とが一般には完全に一致していないことである。これを補正するために、広角レンズ１４の光学中心の推定を行う必要がある。そのためには具体的には、
【００３２】
【式２】

【００３３】
の式を満たすように各形数α_n及び（ベクトルｒ₀’、ベクトルｒ）を決定する必要がある。
【００３４】
最も簡単な方法は、周囲の複数の点座標に基づいた内挿法を用いて（ベクトルｒ₀’、ベクトルｒ）を線形で近似し、例えば、ニュートン法等の逐次法を用いて式（２）の自二乗誤差が最小となるようにα₀及び（ベクトルｒ₀’、ベクトルｒ）を決定する方法である。どのような方法を用いるにせよ式（２）を満足するようにベクトルｒ₀を決定できれば、そこが撮像画像（イメージセンサ）上でのレンズ中心位置であると考えられ、また適切な係数α_nが決定される。
【００３５】
画像補正部１２において後述するテーブル生成部１９で生成されたテーブルを用いずに補正パラメータによって直接演算する場合にはこの処理をもって処理を終了し、補正パラメータを画像補正部１８に転送して終了となる。
【００３６】
ところで、図２（ｂ）に示した点対称の同心円上に点ｐを精密に配置した標準試料１０の場合、同心円上の全ての点ｐが【式２】について同じ値になるはずであり、そのため全ての点ｐを使った最小自乗法を行わなくとも、一部のデータのみで有効に広角レンズ１４の光学中心の推定が行いやすく、より高速な処理が可能になると考えられるためである。また、同心円上に点ｐを精密に配置した場合には、標準試料１０の点ｐの配置設計する際に、歪んだ画像上での距離ｒに関して等間隔のデータが得られるようすることも容易であるという利点もある。
【００３７】
テーブル生成部１９では、パラメータ推定部１８で求められた補正パラメータを用いて、入力画像（歪み画像）と出力画像（補正画像）との画像アドレスを対応付けしたテーブルを作成する。一般には、出力画像の各画像アドレスに対応する入力画像のアドレスを求める。そのため、本質的に【式２】の逆関数を求めることになる。４次多項式までであれば一般解が利用できるが、それ以上の高次多項式を用いる場合には、ニュートン法などの数値計算により求めるのが通常である。
【００３８】
このように、補正に必要な補正パラメータの取得やテーブルの作成を自動化することで、量産においても各カメラ毎に適切な処理が可能となり、高精度な歪み補正変換を実現することができる。
【００３９】
【発明の効果】
以上説明したように、請求項１に記載の補正パラメータの算出方法は、座標上の位置を特定するための複数の点が異なるカラー色で平面上に配置された標準試料を前記撮像部で撮像し、画像上での前記各点の座標をその色情報によって識別・特定すると共にその識別・特定された画像上での前記各点の座標と前記標準試料上での前記各点の座標とを対応させて正常な画像に補正・変換するための補正パラメータを算出することにより、レンズ毎に歪み補正用の補正パラメータを求めることができる。
【００４０】
請求項２に記載の補正パラメータの算出装置にあっては、広角レンズを有する撮像部と、該撮像部で撮像されると共に座標上の位置を特定するための複数の点が異なるカラー色で平面上に配置された標準試料と、前記撮像部で撮像した画像上での点座標と前記標準試料上での点座標とを対応させてレンズ特性に起因する画像の歪みを解析して正常な画像に補正・変換するための補正パラメータを算出する歪み解析部とを備えることにより、レンズ毎に歪み補正用の補正パラメータを求める装置とすることができる。
【００４１】
請求項３に記載の画像補正装置にあっては、広角レンズを有する撮像部と、該撮像部で撮像されると共に座標上の位置を特定するための複数の点が異なるカラー色で平面上に配置された標準試料と、前記撮像部で撮像した画像上での点座標と前記標準試料上での点座標とを対応させる対応データベースを構築する前処理部と、前記対応データベースからのデータに基づいて画像中心から各点までの距離と前記標準試料の試料中心から各点までの距離とを関係付けるための補正パラメータを算出すると共に前記広角レンズの光学中心に対する画像中心のずれベクトル及び前記広角レンズの光学中心に対する前記標準試料の試料中心のずれベクトルをそれぞれ算出するパラメータ推定部と、前記パラメータ推定部で求めた補正パラメータとずれベクトルとを用いて前記撮像部による撮像画像の各画素のアドレスと歪み補正画像の各画素のアドレスとを対応付けるテーブルを生成するテーブル生成部と、該テーブル生成部で生成されたテーブルに基づいてレンズ特性に起因する画像の歪みを補正した歪み補正画像を出力する画像補正部とを備えていることにより、補正パラメータの算出装置を有する画像補正装置を製品に一体に装備することができ、各光学部材の中心ズレに起因する歪みも補正することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係わる画像補正装置を示し、装置の概略構成のブロック図である。
【図２】同じく、（ａ）は中央密型の標準試料の正面図、（ｂ）は同心円状配置型の標準試料の正面図である。
【図３】同じく、前処理部での処理ルーチンを示すフロー図である。
【図４】同じく、（ａ）は試料中心とレンズ光学中心と画素中心とが一致している状態の説明図、（ｂ）は試料中心とレンズ光学中心と画素中心のそれぞれがずれている状態の説明図である。
【符号の説明】
１０…標準試料
ｐ…点
１１…撮像部
１２…画像補正部
１４…広角レンズ
１６…歪み解析部
１７…前処理部
１８…パラメータ推定部
１９…テーブル生成部
２０…座標−色データベース[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a correction parameter calculation method and correction parameters for correcting distortion caused by lens characteristics when a wide-angle lens (including a fisheye lens) is used in an imaging unit to capture a panoramic image or a wide-angle image. The present invention relates to an image calculation apparatus, an image correction apparatus and an image correction method using the correction parameters, and a standard sample used in these methods and apparatuses.
[0002]
[Prior art]
Conventionally, a distortion correction method that corrects a distortion image caused by lens characteristics imaged using a wide-angle lens (including a fisheye lens) by a digital conversion method using a lookup table or a real-time conversion method. And an apparatus are known (for example, refer to Japanese Unexamined Patent Publication Nos. 2000-235645 and 5-176323).
[0003]
As shown in FIG. 4A, the correction parameter used in the case of performing such distortion correction is the standard sample 1 in which a plurality of points p for specifying positions on coordinates are arranged on a plane. The image is picked up by the image pickup unit 2, the coordinates of the point p on the image are obtained, and the point coordinates on the standard sample 1 are manually associated with each other to obtain each point.
[0004]
As with an actual camera, the imaging unit 2 includes a wide-angle lens 3, an image sensor 4 such as a two-dimensional area CCD, and a conversion unit (not shown) that converts an image formed on the image sensor 4. I have.
[0005]
[Problems to be solved by the invention]
However, as described above, since the main process for obtaining correction parameters is manually performed, it is difficult to create parameters and tables for distortion correction for each camera (for each lens). Since it was created and the standard parameters and tables were applied to all cameras, it was not possible to absorb variations in individual camera distortions.
[0006]
Note that the distortion of the image is not only caused by the lens characteristics described above, but also the center Q1 of the standard sample 1, the optical center Q2 of the wide-angle lens 3, and the pixels of the image sensor 4, as shown in FIG. This also occurs when the center Q3 is not aligned.
[0007]
In order to solve the above problems, the present invention provides a correction parameter calculation method and calculation apparatus capable of obtaining a correction parameter for distortion correction for each lens, an image correction apparatus and an image correction method using the correction parameters, and these The purpose is to provide a standard sample to be used.
[0008]
In addition, by equipping the camera with an image correction apparatus having a correction parameter calculation apparatus, it is possible to correct distortion caused by the center shift of each optical member.
[0009]
[Means for Solving the Problems]
In order to achieve the object, the correction parameter calculation method according to claim 1 corrects distortion of an image caused by lens characteristics imaged by an imaging unit using a wide-angle lens into a normal image by the image correction unit. A correction parameter calculation method used in the process,
A standard sample in which a plurality of points for specifying positions on coordinates are arranged on a plane in different color colors is imaged by the imaging unit, and the coordinates of each point on the image are identified and specified by the color information And calculating correction parameters for correcting / converting the coordinates of each point on the identified / identified image and the coordinates of each point on the standard sample into a normal image. Is the gist.
[0010]
The correction parameter calculation apparatus according to claim 2, wherein an imaging unit having a wide-angle lens and a plurality of points that are imaged by the imaging unit and specify a position on coordinates are arranged on a plane with different color colors The corrected standard sample, and the point coordinates on the image captured by the imaging unit and the point coordinates on the standard sample are associated with each other to analyze the distortion of the image due to the lens characteristics and correct the normal image. The gist is to include a distortion analysis unit that calculates a correction parameter for conversion.
The image correction apparatus according to claim 3, wherein an imaging unit having a wide-angle lens and a plurality of points that are imaged by the imaging unit and specify a position on coordinates are arranged on a plane with different color colors An image center based on the data from the correspondence database, a preprocessing unit that builds a correspondence database that associates the standard sample, the point coordinates on the image captured by the imaging unit, and the point coordinates on the standard sample A correction parameter for relating the distance from each point to each point and the distance from the sample center of the standard sample to each point is calculated, and a deviation vector of the image center with respect to the optical center of the wide-angle lens and the optical center of the wide-angle lens A parameter estimation unit for calculating a deviation vector of the sample center of the standard sample with respect to the correction sample, a correction parameter and a deviation vector obtained by the parameter estimation unit, A table generation unit that generates a table that associates the address of each pixel of the image captured by the imaging unit with the address of each pixel of the distortion-corrected image, and the lens characteristics based on the table generated by the table generation unit And an image correcting unit that outputs a distortion-corrected image obtained by correcting distortion of the image to be corrected.
[0011]
According to a fourth aspect of the present invention, there is provided an image correction method using the image correction device according to the third aspect, wherein the preprocessing unit selects a standard coordinate selection step of selecting a point of a standard sample, and a standard coordinate of the selected point. A binarization processing step that extracts color information corresponding to the coordinates from the coordinate-color database based on the image and selects only pixels having colors close to the color information extracted from the output from the imaging unit; A cluster processing step for detecting a cluster of remaining pixels, a centroid calculation step for obtaining the center coordinates of the cluster, an identifiable determination step for determining whether a single cluster has been extracted, and the standard coordinate selection when the identification is not possible in the determination Stores data that correlates the route for selecting the next point back to the step and the standard coordinates and the center coordinates of the cluster that are the coordinates on the captured image when identification is possible. And a route for returning to the standard coordinate selection step and selecting the next point when the data for all the points of the standard coordinates has not yet been stored in the database addition step. The gist is that this process is automatically performed.
[0012]
The gist of the standard sample according to claim 5 is that each of the points is arranged so that the density increases as it approaches the sample center.
[0013]
The gist of the standard sample according to claim 6 is that each of the points is arranged on a concentric circle centered on the sample center.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
[0015]
In FIG. 1, 10 is a standard sample, 11 is an imaging unit such as a TV camera, 12 is an image correction unit built in the TV camera, and 13 is an output unit such as a display screen or a recording unit of the TV camera.
[0016]
In the standard sample 10, as shown in FIG. 2A, a plurality of points p for specifying positions on coordinates are precisely arranged on a plane with different color colors. This point p is arranged so that the density increases as it approaches the sample center Q1 (the point p is also provided in the sample center Q1 and the center of the standard sample 10 can be detected). . In addition, as shown in FIG.2 (b), the point p may be arrange | positioned on the concentric circle centering on the sample center Q1.
[0017]
The points p shown in FIG. 2A are basically arranged in a square lattice shape, and in addition to this arrangement, the density in the vicinity of the sample center Q1 is increased. Further, the point p is a color, and there is only one point p of a specific color (arranged on the sample center Q1).
[0018]
This is because the distortion of the wide-angle lens 14 is concentric, and is distorted according to the distance from the optical center of the wide-angle lens 14. In particular, since the vicinity of the optical center of the wide-angle lens 14 is greatly distorted toward the circumferential portion, the lattice density is sparse in the region corresponding to the optical center of the wide-angle lens 14 in the captured image of the standard sample 10. As a result, data near the optical center of the wide-angle lens 14 is insufficient, and sufficient distortion correction cannot be performed. Therefore, by defining a dense region in the arrangement of the points p of the standard sample 10 and installing an optical system so as to confront the optical center of the wide-angle lens 14, a point with a relatively uniform density is obtained in the captured image. An image can be obtained.
[0019]
What is important when determining the correction parameters described later is to determine which of the standard samples 10 each point p of the captured image corresponds to. Therefore, among the points p, the color of the point p on the sample center Q1 is specified to stabilize the distinguishability of the sample center Q1, and each point p is also colored characteristically, The color of p is analyzed to enable automatic association.
[0020]
The imaging unit 11 is provided with a wide-angle lens (or fisheye lens) 14, an image sensor 15 such as a two-dimensional area CCD, and a conversion unit (not shown) that converts an image formed on the image sensor 15. Yes.
[0021]
The image of the standard sample 10 captured by the imaging unit 11 is output to the image correction unit 12 as an image having distortion due to the lens characteristics (and the center shift).
[0022]
The image correction unit 12 converts the image into a distortion-free image using a correction parameter obtained in advance, and outputs the image to the main unit 13.
[0023]
The distortion correction by the correction parameter by the image correction unit 12 is performed by calculating the correction parameter by analyzing the distortion by the distortion analysis unit 16 built in each TV camera. The distortion analysis unit 16 is installed in an inspection line at the time of shipment of the TV camera, an imaging unit assembly inspection line, a lens grinding or assembly inspection line, etc., and outputs the correction parameters calculated to the image correction unit 12 to output each TV camera. It is also possible to store the image correction unit 12 for each image.
[0024]
The distortion analysis unit 16 receives image data with distortion from the imaging unit 11 and stores coordinates and colors corresponding to the points p of the preprocessing unit 17, the parameter estimation unit 18, the table generation unit 19, and the standard sample 10. The coordinate-color database 20 is provided.
[0025]
The preprocessing unit 17 has a function of detecting the coordinates of the point p on the image using the captured image and constructing a correspondence database with the point coordinates of the standard sample 10. That is, a correspondence database of the coordinates of the point p on the distorted image and the coordinates of the point p on the standard sample 10 is generated. When a sufficient amount of database is constructed, the process proceeds to the parameter estimation unit 18 at the next stage.
[0026]
Specifically, a correspondence database is constructed in the following routine (lookup table).
[0027]
That is, from the standard coordinate selection step for selecting the point p of the standard sample 10 and the coordinate-color database 20 provided in the distortion analysis unit 16 based on the standard coordinates of the selected point (point coordinates on the standard sample 10). A binarization process that extracts color information corresponding to the coordinates where the selected point p is arranged and selects and leaves only pixels having a color close to the color information extracted at the point p on the actually captured image. A step, a cluster processing step for detecting a cluster (set) of adjacent remaining pixels, a centroid calculating step for obtaining the center coordinates of the cluster, an identifiable determination step for determining whether a single cluster has been extracted, and an identification by determination When it is not possible (No), it returns to the standard coordinate selection step and returns to the route (loop) for selecting the next point p, and when it can be identified (Yes), it is the standard coordinate and the coordinates on the image. A database addition step for storing data corresponding to the center coordinates of the data, a completion confirmation step for confirming whether all data of the points p arranged at the standard coordinates 10 are stored in the database stored in the database addition step, If not completed, the process returns to the standard coordinate selection step to perform a route (loop) for selecting the next point p, and the processing of each step and each route is automatically performed.
[0028]
The parameter estimation unit 18 quantitatively evaluates the distortion of the entire image and identifies the parameters of the correction basic formula. When a non-wide-angle lens is used, it is most common to use a quadratic correction formula. However, in the case of a wide-angle lens 14 with large distortion, a higher-order polynomial is often used. In any case, when the distance from the center position on the standard sample 10 is r ′ and the distance from the center position of the corresponding point on the captured image (image sensor) is r,
[0029]
[Formula 1]

[0030]
Each coefficient α _n is determined so that the correspondence between the respective coordinates can be related using the following equation. However, the constant term α ₀ is 0.
[0031]
What is important here is that the optical center Q2 of the wide-angle lens 3, the sample center Q1 of the standard sample 10, and the pixel center Q3 of the image sensor 4 generally coincide completely as shown in FIG. That is not. In order to correct this, it is necessary to estimate the optical center of the wide-angle lens 14. To that end, specifically,
[0032]
[Formula 2]

[0033]
It is necessary to determine each shape number α _n and (vector r ₀ ′, vector r) so as to satisfy the following equation.
[0034]
The simplest method is to linearly approximate (vector r ₀ ′, vector r) using an interpolation method based on a plurality of surrounding point coordinates, and for example, using a sequential method such as Newton's method (2 ) alpha ₀ and as self-squared error is minimal (vector r ₀ ', is a method for determining a vector r). Whatever method is used, if the vector r ₀ can be determined so as to satisfy Equation (2), it is considered that this is the lens center position on the captured image (image sensor), and an appropriate coefficient α _n. Is determined.
[0035]
In the case where the image correction unit 12 directly calculates the correction parameter without using the table generated by the table generation unit 19 described later, the process ends with this processing, and the correction parameter is transferred to the image correction unit 18 to end. Become.
[0036]
By the way, in the case of the standard sample 10 in which the points p are precisely arranged on the point-symmetrical concentric circles shown in FIG. 2B, all the points p on the concentric circles should have the same value with respect to [Equation 2] Therefore, even if the least square method using all the points p is not performed, it is easy to estimate the optical center of the wide-angle lens 14 effectively with only a part of the data, and it is considered that faster processing is possible. In addition, when the points p are precisely arranged on the concentric circles, it is easy to obtain equidistant data regarding the distance r on the distorted image when designing the arrangement of the points p of the standard sample 10. There is also an advantage of being.
[0037]
The table generation unit 19 uses the correction parameter obtained by the parameter estimation unit 18 to create a table in which image addresses of the input image (distortion image) and the output image (correction image) are associated with each other. In general, the address of the input image corresponding to each image address of the output image is obtained. Therefore, an inverse function of [Equation 2] is essentially obtained. A general solution can be used up to a fourth order polynomial, but when a higher order polynomial is used, it is usually obtained by numerical calculation such as Newton's method.
[0038]
In this way, by automating the acquisition of correction parameters necessary for correction and the creation of tables, it is possible to perform appropriate processing for each camera even in mass production, and to realize highly accurate distortion correction conversion.
[0039]
【The invention's effect】
As described above, according to the correction parameter calculation method of the first aspect, the image pickup unit picks up the standard sample in which a plurality of points for specifying the position on the coordinates are arranged on the plane with different color colors. The coordinates of the points on the image are identified and specified by the color information, and the coordinates of the points on the identified and specified image and the coordinates of the points on the standard sample are determined. By calculating a correction parameter for correcting and converting to a normal image in correspondence, a correction parameter for distortion correction can be obtained for each lens.
[0040]
The correction parameter calculation apparatus according to claim 2, wherein an imaging unit having a wide-angle lens and a plurality of points that are imaged by the imaging unit and that specify positions on coordinates are flat in different color colors. A normal image obtained by analyzing the distortion of the image caused by the lens characteristics by associating the standard sample arranged above, the point coordinates on the image captured by the imaging unit, and the point coordinates on the standard sample By providing a distortion analysis unit that calculates a correction parameter for correcting / converting, a device for obtaining a correction parameter for distortion correction for each lens can be obtained.
[0041]
The image correction apparatus according to claim 3, wherein an imaging unit having a wide-angle lens and a plurality of points that are imaged by the imaging unit and specify a position on coordinates are in different color colors on a plane. Based on the data from the correspondence database, a preprocessing unit for constructing a correspondence database for associating the arranged standard sample, the point coordinates on the image captured by the imaging unit and the point coordinates on the standard sample And calculating a correction parameter for associating the distance from the image center to each point and the distance from the sample center to each point of the standard sample, and the deviation vector of the image center with respect to the optical center of the wide-angle lens and the wide-angle lens A parameter estimator for calculating a deviation vector of the sample center of the standard sample with respect to the optical center, a correction parameter obtained by the parameter estimator and a deviation And a table generating unit that generates a table for associating the address of each pixel of the image captured by the imaging unit with the address of each pixel of the distortion-corrected image, and a lens based on the table generated by the table generating unit. An image correction unit that outputs a distortion-corrected image obtained by correcting the distortion of the image due to the characteristics, so that an image correction device having a correction parameter calculation device can be integrally provided in the product. Distortion caused by the center shift of the member can also be corrected.
[Brief description of the drawings]
FIG. 1 is a block diagram of a schematic configuration of an image correction apparatus according to Embodiment 1 of the present invention.
2A is a front view of a central dense standard sample, and FIG. 2B is a front view of a concentric arrangement type standard sample.
FIG. 3 is a flowchart showing a processing routine in a preprocessing unit.
4A is an explanatory diagram of a state in which the sample center, the lens optical center, and the pixel center coincide with each other, and FIG. 4B is a state in which the sample center, the lens optical center, and the pixel center are shifted from each other. It is explanatory drawing of.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Standard sample p ... Point 11 ... Imaging part 12 ... Image correction part 14 ... Wide angle lens 16 ... Distortion analysis part 17 ... Pre-processing part 18 ... Parameter estimation part 19 ... Table generation part 20 ... Coordinate-color database

Claims

A method for calculating a correction parameter used when correcting an image distortion caused by a lens characteristic imaged by an imaging unit using a wide-angle lens into a normal image by an image correction unit,
A standard sample in which a plurality of points for specifying positions on coordinates are arranged on a plane in different color colors is imaged by the imaging unit, and the coordinates of each point on the image are identified and specified by the color information And calculating correction parameters for correcting / converting the coordinates of each point on the identified / identified image and the coordinates of each point on the standard sample into a normal image. The calculation method of the correction parameter characterized by these.

An image pickup unit having a wide-angle lens, a standard sample in which a plurality of points for specifying a position on coordinates are arranged on a plane with different color colors, and an image picked up by the image pickup unit A distortion analysis unit that calculates a correction parameter for correcting and converting a normal image by analyzing the distortion of the image due to the lens characteristics by associating the point coordinates on the standard sample with the point coordinates on the standard sample; An apparatus for calculating a correction parameter, comprising:

An image pickup unit having a wide-angle lens, a standard sample in which a plurality of points for specifying a position on coordinates are arranged on a plane with different color colors, and an image picked up by the image pickup unit A pre-processing unit for constructing a correspondence database that associates the point coordinates on the standard sample with the point coordinates on the standard sample, and the distance from the image center to each point based on the data from the correspondence database and the standard sample A correction parameter for relating the distance from the sample center to each point is calculated, and a deviation vector of the image center with respect to the optical center of the wide-angle lens and a deviation vector of the sample center of the standard sample with respect to the optical center of the wide-angle lens are calculated. A captured image by the imaging unit using a parameter estimation unit to be calculated, and a correction parameter and a deviation vector obtained by the parameter estimation unit. A table generator that generates a table that associates the address of each pixel with the address of each pixel of the distortion-corrected image, and distortion correction that corrects image distortion caused by lens characteristics based on the table generated by the table generator An image correction apparatus comprising: an image correction unit that outputs an image.

A standard coordinate selection step of selecting a standard sample point in the pre-processing unit using the image correction apparatus according to claim 3, and corresponding to a coordinate from a coordinate-color database based on the standard coordinate of the selected point. A binarization processing step for extracting color information and selecting and leaving only pixels having colors close to the color information extracted from the output from the imaging unit; and a cluster processing step for detecting a cluster of adjacent residual pixels; A center-of-gravity calculation step for determining the center coordinates of the cluster, an identifiable determination step for determining whether a single cluster has been extracted, and a route for selecting the next point by returning to the standard coordinate selection step when the determination is not possible A database adding step for storing data that associates the standard coordinates and the center coordinates of the cluster, which are the coordinates on the captured image, when it can be identified; In the database adding step, when the data of all the points of the standard coordinates have not been stored yet, the process returns to the standard coordinate selecting step and includes a route for selecting the next point, and the processing of each step and each route is automatically performed. An image correction method characterized by being performed.

The standard sample according to any one of claims 1 to 4, wherein each of the points is arranged so that the density increases as it approaches the center of the sample.

The standard sample according to any one of claims 1 to 4, wherein each of the points is arranged on a concentric circle centered on the sample center.