JP4305142B2 - Image correction method and imaging apparatus - Google Patents
Image correction method and imaging apparatus Download PDFInfo
- Publication number
- JP4305142B2 JP4305142B2 JP2003392567A JP2003392567A JP4305142B2 JP 4305142 B2 JP4305142 B2 JP 4305142B2 JP 2003392567 A JP2003392567 A JP 2003392567A JP 2003392567 A JP2003392567 A JP 2003392567A JP 4305142 B2 JP4305142 B2 JP 4305142B2
- Authority
- JP
- Japan
- Prior art keywords
- lens
- image
- imaging
- correction
- reference mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 67
- 238000000034 method Methods 0.000 title claims description 30
- 238000003702 image correction Methods 0.000 title claims description 18
- 238000012937 correction Methods 0.000 claims description 55
- 230000004075 alteration Effects 0.000 claims description 48
- 230000003287 optical effect Effects 0.000 claims description 35
- 238000006243 chemical reaction Methods 0.000 claims description 33
- 238000012360 testing method Methods 0.000 claims description 33
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 18
- 230000014509 gene expression Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000005259 measurement Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像部により取得された画像データを、レンズの収差特性に基づいて収差補正変換し、補正画像データを生成する画像補正方法及び撮像装置に関するものである。 The present invention relates to an image correction method and an imaging apparatus for generating corrected image data by performing aberration correction conversion on image data acquired by an imaging unit based on the aberration characteristics of a lens.
撮像素子を備える筐体にレンズを組み付けてなる撮像部(カメラ)において、レンズには収差があるため、レンズを介して撮影された被写体の画像データには、レンズ収差に起因した歪が生じる。その際、レンズ収差はレンズの中心位置(光軸)から距離の二乗に比例して発生する。 In an imaging unit (camera) in which a lens is assembled to a housing including an imaging element, the lens has aberration. Therefore, distortion due to lens aberration occurs in image data of a subject photographed through the lens. At that time, the lens aberration is generated in proportion to the square of the distance from the center position (optical axis) of the lens.
そこで、レンズ収差を補正する方法として、レンズの収差特性を数式で表現し、当該数式に基づいてレンズ収差を補正する方法がある。そのような数式の一例を以下に示す。
(数1) Rd2=Xd2+Yd2
(数2) X=(Xd−Cx){S1×Rd4+S2×Rd2+S3}+Cx
(数3) Y=(Yd−Cy){S1×Rd4+S2×Rd2+S3}+Cy
尚、上記数式1〜3において、Rd:補正前の撮像素子中心から画像座標までの距離、(Xd,Yd):補正前の画像座標、(X,Y):補正後の画像座標、(Cx,Cy):レンズの中心座標、S1,S2,S3:係数(レンズの収差特性値)である。
Therefore, as a method for correcting the lens aberration, there is a method of expressing the lens aberration characteristic by a mathematical expression and correcting the lens aberration based on the mathematical expression. An example of such a mathematical formula is shown below.
(Equation 1) Rd 2 = Xd 2 + Yd 2
(Expression 2) X = (Xd−Cx) {S1 × Rd 4 + S2 × Rd 2 + S3} + Cx
(Equation 3) Y = (Yd−Cy) {S1 × Rd 4 + S2 × Rd 2 + S3} + Cy
In
ここで、各座標の基準面は撮像素子面である。従って、便宜上、レンズの中心位置(カメラの光軸)が撮像素子の中心位置と一致しているものとみなし、撮像素子の中心位置を補正の中心位置であるレンズの中心座標として、上記数式1〜3に基づき画像データを収差補正変換している。 Here, the reference plane of each coordinate is the imaging element plane. Therefore, for the sake of convenience, it is assumed that the center position of the lens (the optical axis of the camera) coincides with the center position of the image sensor, and the center position of the image sensor is defined as the center coordinate of the lens as the correction center position. The image data is subjected to aberration correction conversion based on .about.3.
しかしながら、レンズの中心位置(光軸)と撮像素子の中心位置とが一致するようにレンズ及び撮像素子の位置関係の調整を行うのは困難である。実際、撮像素子及び/又はレンズの組み付け誤差等により、レンズの中心位置と撮像素子の中心位置とに位置のずれが生じる。すなわち、補正後の画像データに上記ずれによる歪が生じる。 However, it is difficult to adjust the positional relationship between the lens and the image sensor so that the center position (optical axis) of the lens matches the center position of the image sensor. Actually, a positional deviation occurs between the center position of the lens and the center position of the image sensor due to an assembly error of the image sensor and / or lens. That is, distortion due to the shift occurs in the corrected image data.
本発明は上記問題点に鑑み、補正画像データの歪を低減できる画像補正方法及び撮像装置を提供することを目的とする。 SUMMARY OF THE INVENTION In view of the above problems, an object of the present invention is to provide an image correction method and an imaging apparatus that can reduce distortion of corrected image data.
上記目的を達成する為に請求項1に記載の画像補正方法は、撮像素子を備える筐体にレンズを組み付けてなる撮像部により取得された画像データを、レンズの収差特性に基づいて補正を行う補正部により収差補正変換し、補正画像データを生成する画像補正方法である。その際、レンズの中心位置に対応する撮像素子の部位を検出し、当該部位を補正における中心位置として収差補正変換を実行することを特徴とする。 In order to achieve the above object, the image correction method according to claim 1 corrects image data acquired by an image pickup unit in which a lens is assembled to a housing having an image pickup element based on aberration characteristics of the lens. This is an image correction method for generating corrected image data by performing aberration correction conversion by a correction unit. In that case, a part of the image sensor corresponding to the center position of the lens is detected, and aberration correction conversion is executed with the part as the center position in the correction.
このように、本発明の画像補正方法によると、レンズの中心位置(光軸)に対応する撮像素子面の部位を検出し、当該部位を補正における中心位置であるレンズの中心座標として収差補正変換を実行する。従って、従来のように、撮像素子の中心位置をレンズの中心座標として収差補正変換する場合よりも、補正後の画像データに生じる歪を低減することができる。 As described above, according to the image correction method of the present invention, the part of the imaging element surface corresponding to the center position (optical axis) of the lens is detected, and the aberration correction conversion is performed using the part as the center coordinate of the lens as the center position in the correction. Execute. Therefore, it is possible to reduce the distortion generated in the corrected image data, compared to the case where aberration correction conversion is performed using the center position of the image sensor as the center coordinate of the lens as in the prior art.
具体的には、請求項2に記載のように、撮像部との間に十分な間隔を有する検定用チャートに位置基準マークが設けられ、レンズの中心位置を通る撮像部の光軸が、検定用チャートの平面に対して垂直で、且つ、検定用チャートにおいて位置基準マークの形成位置と略一致するように、位置基準マークに対して撮像部を位置決めする。そして、位置決め状態で、撮像部により位置基準マークを含む検定用チャートを撮像し、画像データを取得することにより、レンズの中心位置に対応する撮像素子の部位を検出する。
Specifically, as described in
このように、本発明の方法によると、レンズの中心位置を通る撮像部の光軸が、検定用チャートの平面に対して垂直で、且つ、検定用チャートにおいて位置基準マークの形成位置と略一致するように、位置基準マークに対して撮像部が位置決めされる。従って、位置基準マークがレンズの中心位置(光軸)と一致しているので、位置決め状態で、撮像部により位置基準マークを含む検定用チャートを撮像し、画像データを取得することにより、画像データからレンズの中心位置に対応する撮像素子の部位を精度良く検出することができる。 As described above, according to the method of the present invention, the optical axis of the imaging unit passing through the center position of the lens is perpendicular to the plane of the test chart and substantially coincides with the position reference mark formation position in the test chart. As described above, the imaging unit is positioned with respect to the position reference mark. Accordingly, since the position reference mark coincides with the center position (optical axis) of the lens, the image data is obtained by capturing an image of the test chart including the position reference mark by the imaging unit and acquiring the image data in the positioning state. Therefore, the part of the image sensor corresponding to the center position of the lens can be detected with high accuracy.
尚、撮像部と位置基準マークを有する検定用チャートとが十分に離れた距離にあるので、光軸が検定用チャートに対して垂直とすることにより、撮像部の光軸を検定用チャートにおける位置基準マークの形成位置と略一致するように、位置基準マークに対して撮像部を容易に位置決めすることができる。 Since the imaging unit and the calibration chart having the position reference mark are at a sufficient distance, the optical axis of the imaging unit is positioned in the calibration chart by making the optical axis perpendicular to the calibration chart. The imaging unit can be easily positioned with respect to the position reference mark so as to substantially coincide with the formation position of the reference mark.
ここで、請求項2に記載の位置決め方法として、例えば請求項3に記載の方法がある。この方法によると、撮像部により撮像される検定用チャートと、撮像部を位置決め固定する固定装置との、いずれか一方にレーザ光射出装置を配置し、他方にミラーを配置する。そして、レーザ光射出装置から射出されたレーザ光が、検定用チャートの平面に垂直で、且つ、当該レーザ光のミラーによる反射光と同一光路となるように、レーザ光射出装置とミラーとの相対的な位置関係を調整する。この位置決め状態で、レーザ光射出装置及びミラーの配置されていた位置に置き換えて、検定用チャートに位置基準マークを形成し、撮像部の光軸がレーザ光の光軸と一致するように、固定装置に撮像部を固定する。これにより、位置基準マークに対して撮像装置を位置決めすることができる。
Here, as a positioning method according to
このように、レーザ光射出装置とミラーを用いることにより、検定用チャートにおける位置基準マークの形成位置と固定装置における撮像部の固定位置とを精度良く決定することができる。 As described above, by using the laser beam emitting device and the mirror, the position reference mark formation position in the test chart and the fixing position of the imaging unit in the fixing device can be accurately determined.
そして、レーザ光射出装置及びミラーの配置されていた位置に置き換えて、検定用チャートに位置基準マークを形成し、固定装置に撮像部を固定することにより、容易に位置基準マークに対して撮像装置を位置決めすることができる。 Then, the position reference mark is formed on the chart for inspection instead of the position where the laser beam emitting device and the mirror are arranged, and the image pickup unit is fixed to the fixing device, thereby easily picking up the image pickup device with respect to the position reference mark. Can be positioned.
尚、請求項4に記載のように、補正部は、レンズの収差特性による画像の歪を是正するための座標変換用マップを有することが好ましい。 According to a fourth aspect of the present invention, it is preferable that the correction unit has a coordinate conversion map for correcting image distortion due to the aberration characteristics of the lens.
補正部としてレンズの収差特性に基づく数式を有しても良いが、当該数式による演算結果を座標変換用マップとして有していれば、補正処理時間を短縮することができる。 The correction unit may have a mathematical expression based on the aberration characteristics of the lens. However, if the calculation result based on the mathematical expression is used as a coordinate conversion map, the correction processing time can be shortened.
次に、請求項1〜4の画像補正方法を実現する撮像装置としては、請求項5に記載のように、撮像素子を備える筐体にレンズを組み付けてなる撮像部と、レンズの中心位置に対応する撮像素子の部位が検出され、当該部位をレンズの中心座標として記憶する記憶部と、撮像部により被写体を撮像して得られる画像データを、レンズの中心座標を補正の中心位置として収差補正変換する補正部と、を備えることを特徴とする。
Next, as an image pickup apparatus that realizes the image correction method according to any one of
このように、本発明の撮像装置は、レンズの中心位置に対応する撮像素子の部位を、レンズの中心座標として記憶する記憶部を備えている。そして、補正部は当該レンズの中心座標を補正の中心位置として収差補正変換を実行する。従って、従来のように、撮像素子の中心位置をレンズの中心座標として収差補正変換する場合よりも、補正後の画像データに生じる歪を低減することができる。 As described above, the imaging apparatus according to the present invention includes a storage unit that stores the part of the imaging element corresponding to the center position of the lens as the center coordinates of the lens. Then, the correction unit performs aberration correction conversion using the center coordinates of the lens as the correction center position. Therefore, the distortion generated in the corrected image data can be reduced as compared with the conventional case where aberration correction conversion is performed using the center position of the image sensor as the center coordinate of the lens.
尚、請求項6に記載のように、補正部は、レンズの収差特性による画像の歪を是正するための座標変換用マップを有することが好ましい。 According to a sixth aspect of the present invention, the correction unit preferably has a coordinate conversion map for correcting image distortion due to the aberration characteristics of the lens.
補正部としてレンズの収差特性に基づく数式を有しても良い。しかしながら、本発明の撮像装置は、レンズの中心位置に対応する撮像素子の部位を、レンズの中心座標として記憶する記憶部を有している。従って、補正部が、レンズの中心座標をレンズの収差特性に基づく数式に代入して得られる演算結果を、座標変換用マップとして有することで、補正処理時間を短縮することもできる。 You may have a numerical formula based on the aberration characteristic of a lens as a correction | amendment part. However, the imaging apparatus of the present invention includes a storage unit that stores the part of the imaging element corresponding to the center position of the lens as the center coordinates of the lens. Accordingly, the correction processing time can be shortened by having the calculation result obtained by substituting the center coordinates of the lens into the mathematical formula based on the aberration characteristics of the lens as a coordinate conversion map.
以下、本発明の実施の形態を図に基づいて説明する。
(第1の実施形態)
図1は、本実施形態の撮像装置の概略構成を示す図である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a diagram illustrating a schematic configuration of an imaging apparatus according to the present embodiment.
図1に示すように、撮像装置100は、撮像部としてのカメラ10と、撮像により得られた画像データを処理する画像処理ユニット20とにより構成される。尚、本実施形態における撮像装置100は、さらに、出力部としてのモニタ30も備えている。
As illustrated in FIG. 1, the
カメラ10は、レンズ11と、CCDやCMOSを利用した撮像素子12と、駆動回路としての回路基板13と、レンズ11、撮像素子12、及び回路基板13を収納する筐体14とにより構成されるものである。本実施形態におけるカメラ10はCCDカメラであり、例えば車両側面と道路走行区分線(白線等)を含んで撮影するように、車両の所定位置に配置される。しかしながら、撮像部は上記カメラ10に限定されるものではない。例えば、デジカメ等の静止画を撮像するカメラであっても良い。
The
画像処理ユニット20は、マイクロコンピュータを主要部として構成され、カメラ10により撮像された画像データを記憶する画像メモリと、後述する検定用チャートを撮像した画像データからレンズ11の中心位置に対応する撮像素子12の部位を検出する検出部と、検出された撮像素子12面におけるレンズ11の中心位置を、レンズ11の中心座標として記憶する記憶部と、レンズ11の中心座標に基づいて画像データを収差補正変換する補正部とを備えている。尚、画像処理ユニット20は、カメラ10及びモニタ30のいずれかと一体の構造となっていても良い。
The
モニタ30は、例えば補正された画像データに基づく画像を表示する。また、画像データに基づく静止画像を表示しても良い。この場合、作業者がモニタ30を確認することで、レンズ11の中心位置に対応する撮像素子12の部位を検出することもできる。尚、出力部は、モニタ30に限定されるものではなく、プリンタであっても良い。また、検出結果を座標として出力するものであっても良い。また、撮像装置100は必ずしもモニタ30を有していなくとも良い。例えば、画像処理ユニット20が、補正画像データに応じた信号を外部(例えばECU)だけに出力する構成である場合には、不要である。
For example, the
ここで、カメラ10により被写体を撮像して得られる画像データは、レンズ11の収差特性により、例えば図2(a)に示すように、周囲ほど歪んだたる型となる。このレンズ11の収差は、レンズ11の中心位置(光軸)から距離の二乗に比例して発生する。
Here, the image data obtained by imaging the subject with the
このような、レンズ11の収差に起因した歪を補正する方法として、レンズ11の収差特性を表現した数式に基づいてレンズ11の収差を補正する方法がある。このような数式はいくつかあるが、その一例を以下に示す。
(数4) Rd2=Xd2+Yd2
(数5) X=(Xd−Cx){S1×Rd4+S2×Rd2+S3}+Cx
(数6) Y=(Yd−Cy){S1×Rd4+S2×Rd2+S3}+Cy
上記数式4〜数式6において、Rd:補正前の撮像素子12中心から画像座標までの距離、(Xd,Yd):補正前の画像座標、(X,Y):補正後の画像座標、(Cx,Cy):レンズ11の中心座標、S1,S2,S3:係数(レンズ11の収差特性値)である。尚、係数S1,S2,S3は、予め、レンズ11のメーカから提供されるか、若しくは、レンズ11と撮像素子12とが正規の位置関係にある状態で、格子板等を撮像して得られる画像データの歪率をもとに算出される。
As a method of correcting such distortion caused by the aberration of the
(Equation 4) Rd 2 = Xd 2 + Yd 2
(Expression 5) X = (Xd−Cx) {S1 × Rd 4 + S2 × Rd 2 + S3} + Cx
(Equation 6) Y = (Yd−Cy) {S1 × Rd 4 + S2 × Rd 2 + S3} + Cy
In
上記数式5,6に示されるCx,Cyは、レンズ11の中心座標、すなわち、撮像素子12面におけるレンズ11の中心位置(光軸)である。従来は、便宜上、レンズ11の中心位置が撮像素子12の中心位置と一致しているものとみなし、撮像素子12の中心位置を補正の中心位置であるレンズ11の中心座標として、上記数式4〜数式6に基づき画像データを収差補正変換していた。
Cx and Cy shown in the
しかしながら、レンズ11の中心位置(光軸)と撮像素子12の中心位置とが一致するようにレンズ11及び撮像素子12を筐体14に高精度に組み付けるのは困難である。実際、レンズ11及び/又は撮像素子12の組み付け誤差等により、図2(b)に示すように、レンズ11の中心位置11a(図2(b)における破線)と撮像素子12の中心位置12a(図2(b)における一点鎖線)に位置のずれが生じることがある。この場合、撮像素子12の中心をレンズ11の中心座標として、上記数式4〜数式6に基づき収差補正処理を行っても、補正画像データに上記ずれによる歪が生じる。
However, it is difficult to attach the
それに対し、本実施形態における撮像装置100は、上述したように、画像処理ユニット20として、検出された撮像素子12面におけるレンズ11の中心位置をレンズ11の中心座標として記憶する記憶部と、レンズ11の中心座標に基づいて画像データを収差補正変換する補正部とを備えている。従って、補正画像データに生じる歪みを従来よりも低減することができる。
On the other hand, as described above, the
次に、上述の撮像装置100を製造するための、レンズ11の中心座標の検出方法を含む画像補正方法について説明する。尚、図3は、画像補正方法を説明するための概略図であり、(a)は位置調整装置としてのレーザ光射出装置及びミラーを説明するための図、(b)は位置基準マークとカメラ10の光軸11aとの位置関係を説明するための図である。
Next, an image correction method including a method for detecting the center coordinates of the
先ず、レンズ11の中心位置11a(カメラ10の光軸)と、位置基準マークとの相対的な位置を位置調整装置により調整する。本実施形態において、両者の位置を調整するために、位置調整装置としてレーザ光射出装置及びミラーを使用する。
First, the relative position between the
図3(a)に示すように、検定用チャート40に対し、十分な間隔を空けて、カメラ10を固定するための固定装置50を配置する。このとき、検定用チャート40と固定装置50との位置関係は、後述するカメラ10による検定用チャート40の撮像時と同一条件とする。本実施形態においては、3m角の検定用チャート40に対して、3mの間隔を空けて、検定用チャート40の平面に対して、伸延方向が平行となるように固定装置50を配置する。
As shown in FIG. 3A, a fixing
次いで、位置調整装置として、検定用チャート40及び固定装置50のいずれか一方にレーザ光射出装置60を配置し、他方にミラー61を配置する。そして、レーザ光射出装置60から射出されたレーザ光60aが、検定用チャート40の平面に垂直で、且つ、当該レーザ光60aのミラー61による反射光61aと同一光路となるように、レーザ光射出装置60とミラー61との相対的な位置関係を調整する。本実施形態においては、図3(a)に示すように、検定用チャート40にミラー61を配置し、固定装置50にレーザ光射出装置60を配置して、両者の位置関係を調整した。
Next, as a position adjusting device, the laser
レーザ光射出装置60とミラー61との位置関係調整後、図3(b)に示すように、レーザ光射出装置60及びミラー61の配置されていた位置に置き換えて、検定用チャート40に位置基準マーク41を形成し、カメラ10の光軸(レンズ11の中心位置)11aがレーザ光60aの光軸と一致するように、固定装置50にカメラ10を固定する。本実施形態においては、レーザ光射出装置60とカメラ10とを置き換えるだけで、カメラ10の光軸11aがレーザ光60aの光軸と一致するように構成されている。
After the positional relationship between the laser
本実施形態においては、図4に示すように、白色の検定用チャート40に対して、カメラ10による検定用チャート40の撮像中心に、位置基準マーク41として黒点が形成されている。図4は、検定用チャート40の撮像面を示す平面図である。尚、位置基準マーク41は、検定用チャート40の他の部位と明確に異なる色彩或いは明度を有していれば、その色や形状は特に限定されるものではない。例えば検定用チャート40の位置基準マーク41に対応する部位をくりぬき、背面側から特定色の光を発光させたものであっても良い。
In the present embodiment, as shown in FIG. 4, a black dot is formed as a
尚、本実施形態に示すように、検定用チャート40に対し、撮像した画像がぼけない撮像距離を確保した十分な間隔を空けて固定装置50が配置されていると、カメラ10を固定装置50に取り付ける際に、検定用チャート40に対するカメラ10の固定位置が上下左右方向に多少ずれた(例えば、横1ラインで3mが撮像され、300画素/1ラインとした場合、検定用チャート40上における1画素10mmに対して、取付け位置ずれは1〜2mm程度)としても、固定装置50に対するカメラ10の取付け角度(すなわちカメラ10の光軸11aの方向)さえ変わらなければ、位置基準マーク41とカメラ10の光軸11aを略一致させることができる。
As shown in the present embodiment, when the fixing
これにより、カメラ10の光軸11aが、検定用チャート40において、位置基準マーク41の形成位置に略一致するように、位置基準マーク41に対してカメラ10が位置決めされる。すなわち、撮像された画像データにおける位置基準マーク41の位置が、カメラ10の光軸11aの位置(レンズ11の中心位置)を示すこととなる。
As a result, the
このように、位置調整装置としてレーザ光射出装置60とミラー61を用いることにより、検定用チャート40における位置基準マーク41の形成位置と固定装置50におけるカメラ10の固定位置とを精度良く決定することができる。
As described above, by using the laser
また、レーザ光射出装置60及びミラー61に置き換えて、位置基準マーク41とカメラ10を配置するので、位置基準マーク41に対してカメラ10を容易に位置決めすることができる
次に、この位置決め状態で、カメラ10により位置基準マーク41を含む検定用チャート40を撮像し、得られた画像データを画像処理ユニット20の画像メモリ(図示せず)に記憶する。そして、検出部である画像処理ユニット20のCPUが、画像データから撮像素子12の中心位置12aに対する位置基準マーク41のずれ(位置基準マーク41の位置)を検出し、撮像素子12の中心位置の座標を基準にして、位置基準マーク41の位置をレンズ11の中心座標として決定する。そして、レンズ11の中心座標のデータは、一旦画像処理ユニット20の記憶部に入力される。尚、本実施形態において、カメラ10の画角は44度である。
Further, since the
尚、カメラ10において、レンズ11の中心位置11aと撮像素子12の中心位置12aがずれていると、図5に示すように、得られた画像データにおいて、位置基準マーク41の位置と撮像素子12の中心位置12a(図5における一点鎖線の交点位置)がずれることとなる。
In the
本実施形態においては、撮像素子12の中心位置12aを基準として、当該中心位置12aに対する位置基準マーク41のずれ量から、レンズ11の中心座標を決定した。しかしながら、撮像素子12面における位置基準マーク41の位置を直接的に求め、レンズ11の中心座標としても良い。
In the present embodiment, the center coordinate of the
また、画像処理ユニット20が検出部を有していなくても、上述の画像データを画像或いは座標としてモニタ30に表示し、作業者がモニタ30を確認して撮像素子12の中心位置12aに対するレンズ11の中心位置11aのずれを検出することにより、レンズ11の中心座標を決定することもできる。
Even if the
そして、レンズ11の中心座標が記憶された撮像装置100において、カメラ10により被写体を撮像すると、撮像された画像データは画像メモリに記憶される。画像処理ユニット20は、記憶部からレンズ11の中心座標のデータを読み出すとともに、画像メモリから画像データを読み出して、画像データを補正部によりレンズ11の中心座標を補正中心として収差補正し、補正画像データを生成する。以上が本実施形態に示す画像補正方法である。
Then, in the
尚、画像処理ユニット20は、補正部として座標変換用マップを有している。この座標変換用マップは、上述した数式4〜数式6の演算結果をマップとしたものである。補正部は、上述した数式4〜数式6により、補正処理後の画像座標(xd,yd)を算出しても良いが、上記各数式に基づいて補正処理後の座標を算出するのには時間がかかるため、座標変換用マップを有していることが好ましい。
The
また、画像処理ユニット20は、必要に応じて、補正画像データに基づく画像をモニタ30に出力し、補正画像データに応じた信号を外部(例えばECU)に出力する。
Further, the
また、レンズ11の中心座標が記憶部に入力されず(例えば上述したように、作業者によりレンズ11の中心座標が決定された場合)、係数S1,S2,S3とともに予め数式5,6に代入され、座標変換用マップとして補正部が有している場合には、画像処理ユニット20は、撮像された画像データのみを画像メモリから読み出し、補正部により収差補正変換を実行する。
Further, the center coordinates of the
ここで、本実施形態に示す画像補正方法の効果を、図6及び図7を用いて説明する。 Here, the effect of the image correction method shown in the present embodiment will be described with reference to FIGS.
尚、比較するに当たっては、補正画像データの画像エリア(本実施形態においては、縦488pixel、横648pixel)を、図6(a)に示すように4等分し、その内の1区分をx,y方向にそれぞれ6等分した格子点(X0,Y0)〜(X5,Y5)の部位を測定点とした。尚、(X0,Y0)は撮像素子12の中心位置12aである。また、図6(b),(c)及び図7(a),(b)において、誤差とは、レンズ11の中心位置11aが撮像素子12の中心位置12aと一致した状態で、収差補正変換を行った場合の補正画像データ(理想値)に対する各測定点のずれを示すものである。
For comparison, the image area of the corrected image data (vertical 488 pixels and horizontal 648 pixels in the present embodiment) is equally divided into four as shown in FIG. Sites of lattice points (X0, Y0) to (X5, Y5) divided into 6 parts in the y direction were used as measurement points. Note that (X0, Y0) is the
図6(b)、(c)は、撮像素子12の中心位置12aとレンズ11の中心位置11aが10pixelずれた状態で、撮像素子12の中心位置12aをレンズ11の中心座標として、収差補正変換した補正画像データの理想値に対する各測定点の誤差を示す図であり、図6(b)はx軸方向の誤差、図6(c)はy軸方向の誤差を示す図である。
6B and 6C show aberration correction conversion with the
図7(a)、(b)は、撮像素子12の中心位置12aに対するレンズ11の中心位置11aのずれ(図6同様10pixel)を検出し、レンズ11の中心位置11aを撮像素子12面におけるレンズ11の中心座標として、収差補正変換した補正画像データの理想値に対する各測定点の誤差を示す図であり、図7(a)はx軸方向の誤差、図7(b)はy軸方向の誤差を示す図である。
7A and 7B detect a shift (10 pixels as in FIG. 6) of the
図6(b),(c)に示すように、レンズ11の中心位置11aを検出せずに、撮像素子12の中心位置12aをレンズ11の中心座標として収差補正変換した場合、撮像素子12の中心位置12aとレンズ11の中心位置11aとのずれに基づいて歪み、誤差が生じる。特に、画像エリアの周囲(すなわち撮像エリアの周囲)ほど、補正の中心位置であるレンズ11の中心座標(この場合撮像素子12の中心位置12aで代用)から遠くなるので、誤差が大きい。
As shown in FIGS. 6B and 6C, when the aberration correction conversion is performed using the
それに対し、図7(a),(b)に示すように、レンズ11の中心位置11aを検出し、当該中心位置11aをレンズ11の中心座標として収差補正変換した場合、図6(b),(c)に示す場合よりも誤差が縮小された。特に、画像エリアの周囲(すなわち撮像エリアの周囲)でも、撮像素子12の中心方向と同等の誤差であった。
On the other hand, as shown in FIGS. 7A and 7B, when the
このように、本実施形態における画像補正方法によると、撮像素子12面におけるレンズ11の中心位置(光軸11a)を精度良く検出することができ、レンズ11の中心位置11aをレンズ11の中心座標として、上述の数式4〜6に基づき、収差補正処理を実行することができる。従って、得られた補正画像データは、従来よりも歪が低減される。
As described above, according to the image correction method of the present embodiment, the center position (
以上本発明の好ましい実施形態について説明したが、本発明は上述の実施形態のみに限定されず、種々変更して実施する事ができる。 The preferred embodiments of the present invention have been described above. However, the present invention is not limited to the above-described embodiments, and various modifications can be made.
本実施形態において、位置基準マーク41とカメラ10の光軸11aとの相対的な位置調整を行う位置調整装置として、レーザ光射出装置60とミラー61を用いる例を示した。しかしながら、それ以外にも、検定用チャート40における位置基準マーク41の形成位置と、固定装置50におけるカメラ10の固定位置とを結ぶ直線が、検定用チャート40の平面及び固定装置50の伸延方向にともに垂直となるような、位置基準マーク41の形成位置と、カメラ10の固定位置(カメラ10の光軸11a角度)を決定できるもの(例えば検定用チャート40及び固定装置50に糸を張る)であれば適用することができる。
In this embodiment, the example which uses the laser
10・・・カメラ
11・・・レンズ
11a・・・光軸(レンズ11の中心位置)
12・・・撮像素子
12a・・・撮像素子の中心位置
20・・・画像処理ユニット
40・・・検定用チャート
41・・・位置基準マーク
60・・・レーザ光射出装置
61・・・ミラー
100・・・撮像装置
10 ...
DESCRIPTION OF
Claims (6)
前記レンズの中心位置に対応する前記撮像素子の部位を検出し、当該部位を補正における中心位置として前記収差補正変換を実行することを特徴とする画像補正方法。 An image correction method for generating corrected image data by performing aberration correction conversion on image data acquired by an image pickup unit in which a lens is assembled to a housing having an image pickup element, and correcting the image data based on the aberration characteristics of the lens Because
An image correction method comprising: detecting a part of the imaging element corresponding to a center position of the lens, and executing the aberration correction conversion with the part as a center position in correction.
当該位置決め状態で、前記撮像部により前記位置基準マークを含む前記検定用チャートを撮像し、画像データを取得することにより、前記レンズの中心位置に対応する前記撮像素子の部位を検出することを特徴とする請求項1に記載の画像補正方法。 A position reference mark is provided on the calibration chart having a sufficient interval between the imaging section, and the optical axis of the imaging section passing through the center position of the lens is perpendicular to the plane of the calibration chart, And positioning the imaging unit with respect to the position reference mark so as to substantially coincide with the formation position of the position reference mark in the test chart,
In the positioning state, the imaging chart including the position reference mark is imaged by the imaging unit, and image data is acquired to detect a part of the imaging element corresponding to the center position of the lens. The image correction method according to claim 1.
前記レーザ光射出装置から射出されたレーザ光が、前記検定用チャートの平面に垂直で、且つ、当該レーザ光の前記ミラーによる反射光と同一光路となるように、前記レーザ光射出装置と前記ミラーとの相対的な位置関係を調整した状態で、
前記レーザ光射出装置及び前記ミラーに置き換えて、前記検定用チャートに前記位置基準マークを形成し、前記撮像部の光軸が前記レーザ光の光軸と一致するように前記固定装置に前記撮像部を固定することにより、前記位置基準マークに対して前記撮像部が位置決めされることを特徴とする請求項2に記載の画像補正方法。 A laser light emitting device is disposed on one of the test chart imaged by the imaging unit and a fixing device for positioning and fixing the imaging unit, and a mirror is disposed on the other.
The laser light emitting device and the mirror so that the laser light emitted from the laser light emitting device is perpendicular to the plane of the test chart and has the same optical path as the reflected light of the laser light by the mirror. With the relative positional relationship between and adjusted,
In place of the laser beam emitting device and the mirror, the position reference mark is formed on the verification chart, and the imaging unit is connected to the fixing device so that the optical axis of the imaging unit coincides with the optical axis of the laser beam. The image correction method according to claim 2, wherein the imaging unit is positioned with respect to the position reference mark by fixing the position reference mark.
前記レンズの中心位置に対応する前記撮像素子の部位が検出され、当該部位を前記レンズの中心座標として記憶する記憶部と、
前記撮像部により被写体を撮像して得られる画像データを、前記レンズの中心座標を補正の中心位置として収差補正変換する補正部と、を備えることを特徴とする撮像装置。 An imaging unit formed by assembling a lens in a housing including an imaging element;
A storage unit that detects a part of the imaging element corresponding to a center position of the lens and stores the part as a center coordinate of the lens;
An image pickup apparatus comprising: a correction unit configured to perform aberration correction conversion on image data obtained by picking up an image of a subject with the image pickup unit using a center coordinate of the lens as a correction center position.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003392567A JP4305142B2 (en) | 2003-11-21 | 2003-11-21 | Image correction method and imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003392567A JP4305142B2 (en) | 2003-11-21 | 2003-11-21 | Image correction method and imaging apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005159548A JP2005159548A (en) | 2005-06-16 |
| JP4305142B2 true JP4305142B2 (en) | 2009-07-29 |
Family
ID=34719222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003392567A Expired - Fee Related JP4305142B2 (en) | 2003-11-21 | 2003-11-21 | Image correction method and imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4305142B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6074672B2 (en) * | 2011-10-28 | 2017-02-08 | 株式会社ミツトヨ | Displacement detection device, displacement detection method, and displacement detection program |
| CN105223756B (en) * | 2015-10-06 | 2018-03-09 | 瑞声光电科技(常州)有限公司 | Array camera lens module |
-
2003
- 2003-11-21 JP JP2003392567A patent/JP4305142B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005159548A (en) | 2005-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101787304B1 (en) | Calibration method, calibration device, and computer program product | |
| JP4861034B2 (en) | Car camera calibration system | |
| US8593536B2 (en) | Image pickup apparatus with calibration function | |
| US20090128648A1 (en) | Image processing device and image processing method for performing three dimensional measurements | |
| JP6209833B2 (en) | Inspection tool, inspection method, stereo camera production method and system | |
| CN107407558B (en) | Measuring tools, calibration methods, calibration devices and procedures | |
| JP6620869B2 (en) | Calibration method, calibration apparatus, and program | |
| JP2011529313A (en) | Stereo camera system | |
| CN115023626B (en) | Method for calibrating a camera and/or lidar sensor for a vehicle or robot | |
| JP5487946B2 (en) | Camera image correction method, camera apparatus, and coordinate transformation parameter determination apparatus | |
| JP5561871B2 (en) | Stereo camera and stereo camera calibration method | |
| JP5457665B2 (en) | Electronic component mounting device | |
| US7742087B2 (en) | Image pickup device | |
| JP4305142B2 (en) | Image correction method and imaging apparatus | |
| JPWO2010055809A1 (en) | Image pickup apparatus adjustment method and image pickup apparatus | |
| JP2001272210A (en) | Distance-recognition apparatus | |
| JPWO2017042995A1 (en) | In-vehicle stereo camera device and correction method thereof | |
| US20110234860A1 (en) | Solid-state imaging device | |
| JP6680335B2 (en) | Stereo camera, vehicle, calculation method and program | |
| JP2008294065A (en) | Electronic component mounting method and apparatus | |
| JP7600179B2 (en) | Method for calibrating distance measurement device, distance measurement device, and computer program | |
| JP2005136743A (en) | Image sensor position adjustment apparatus and position adjustment method | |
| JP2005114683A (en) | Lens misregistration detection method and lens misregistration detecting device | |
| JP2021027370A (en) | Calibration method of on-vehicle camera and calibration device of the on-vehicle camera | |
| JP6367584B2 (en) | Camera calibration device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090113 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090407 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090420 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4305142 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140515 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |