WO2006057147A1

WO2006057147A1 - カメラの校正方法及びカメラの校正装置

Info

Publication number: WO2006057147A1
Application number: PCT/JP2005/020345
Authority: WO
Inventors: Toshiaki Kakinami
Original assignee: Aisin Seiki Kabushiki Kaisha
Priority date: 2004-11-24
Filing date: 2005-11-07
Publication date: 2006-06-01
Also published as: EP1816869A1; CN101065969A; JP2006148745A; US8269848B2; US20080031514A1; KR100869570B1; EP1816869A4; JP4681856B2; KR20070064371A

Abstract

少なくとも４点の座標情報を含む平面状の校正指標（ｃ１）を第１の平面Ｓ１に配置し、校正指標をその視界内に含むカメラ画像の画像面を第２の平面Ｓ２として入力する。第２の平面上に存在し校正指標の所定の部位に対応する点（ｃ２）を特定し、第１の平面と第２の平面に共通して包含される少なくとも４点の対応関係に基づき、第１の平面と第２の平面との間のホモグラフィを演算して、カメラ画像を校正する。例えば、車両に搭載し、３次元空間における平面上の配置が既知である４点を校正指標として使用し、夫々に対応するカメラ画像中の４点の対応づけを、自動的に行う。

Description

明細書

カメラの校正方法及びカメラの校正装置

技術分野

[0001] 本発明は、カメラの校正方法及びカメラの校正装置に関し、特に、 3次元空間を 2次元画像に投影するカメラによるカメラ画像に対し校正を行うカメラの校正方法及びカメラの校正装置に係る。

背景技術

[0002] 従来、カメラの校正方法に関しては、種々の提案がされており、この中の一つに、形状が予め既知であって特徴ある立体物を、校正用の指標として 3次元空間上に置き、その立体物の特徴点がカメラの画像座標系でどのように表示されるかによって、カメラパラメータを算出する方法が知られている。

[0003] 例えば、非特許文献 1には、特徴ある立体物校正指標を用いて、 11自由度のカメラパラメータを算出する方法が開示されている。これにおいては、カメラパラメータを決定するために、特徴ある立体物をカメラで撮像可能な位置に置き、立体物がカメラの画像座標系において、どの点に表示されるかを幾何学的に算出し、 3次元空間からカメラパラメータを決定する方法を取っている。しかし、このように、車両にカメラを取り付けた後、カメラの校正を行う方法にあっては、校正を行う対象物が車両に取り付けられたカメラである場合、工場等の車両組立ラインで校正を行うことになる力このような生産現場では作業性が良いことが条件となる。生産現場では、特徴ある立体物を置、て校正を行う方法をとると、校正指標として立体物をその都度置くことは効率が悪ぐし力も災害防止の観点から、校正用に足元に 3次元的な立体物を置くことは避けることが望ましぐカメラの校正を行う校正指標は、工場の床面に描画された模様のように、作業者が踏みつけても問題な、指標であることが望まし、。

[0004] 上記の問題点に鑑み、特許文献 1にお、ては、車両の製造現場等でカメラの校正を行う場合であっても、簡単な方法でカメラの校正を行うことができる装置及び方法が提案され、画面上の任意の点に描画が行うことができるようにカメラパラメータを設定可能な校正指標とすることにより、車両み立てラインでのカメラの校正を可能とする方法が開示されている。

[0005] 更に、非特許文献 2にも、上記非特許文献 1に記載の方法と同様、特徴ある立体物校正指標を用いて、特徴ある立体物をカメラで撮像可能な位置に置き、立体物が力メラの画像座標系において、どの点に表示されるかを幾何学的に算出し、 3次元空間カゝらカメラパラメータを決定する方法が提案されてヽる。

[0006] 尚、下記の非特許文献 3乃至 5には、本発明の基礎となる画像処理技術等の技術情報が開示されている力これらについては、本発明の実施形態の説明の一環として後述する。

[0007] 特許文献 1 :特開 2001— 245326号公報

特干文献 1： Luc Robert着「Camera calibration without Feature ExtractionJ Institut e National de Recherche en Informatique Automatique、 Research Report No. 2204、 1994年 2月発行、 1頁乃至 21頁

非特許文献 2： Roger Y. Tsai著「An Efficient and Accurate Camera Calibration Tech nique for 3D Machine Vision」、 Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Miami Beach, FL, 1986年発行、 364頁乃至 374頁非特許文献 3 :佐藤淳著「コンピュータビジョン」、コロナ社、 2001年 10月 10日初版第 3刷発行、 11頁乃至 41頁

非特干文献 4 : Andrew Zisserman着「Geometnc Framework for Vision I: Single View and Two-View Geometry」、 [online]、 1997年 4月 16日、 [2004年 9月 3日検索]、 Ro botics Research uroup. University of Oxford.、 Ίンタ' ~~ ットく URL:http://homepage s.inf.ed.ac.uk/rbf/CVonline/LOCAL—COPIES/EPSRC—SSAZ/epsrc— ssaz.html〉非特許文献 5： Richard Hartley及び Andrew Zisserman著「Multiple View Geometry in Computer VisionJ、 Cambridge University Press. 2000年 8月発行、 11頁乃至 16頁発明の開示

発明が解決しょうとする課題

[0008] 然し乍ら、前掲の特許文献 1に記載のカメラの校正方法にぉ、ては、カメラの外部ノメータの回転成分以外は既知であり予め設定している値を用いることが前提とされているので、その値に公差や誤差が残留することになる。このため、そのままでは、ここで校正されたパラメータを用いて投影変換した値には誤差が残ることになる。尚、非特許文献 2においても、画像面と 3次元路面との間の座標変換関係において、カメラの内部パラメータと外部パラメータが何らかの校正方法により既知であるということを前提としているので、前述の非特許文献 1に記載の方法と同様の問題が生じ得る。

[0009] そこで、本発明は、カメラの内部パラメータのみならず外部パラメータに係る情報を必要とすることなぐカメラの校正を適切に行い得るカメラの校正方法を提供することを課題とする。

[0010] また、本発明は、カメラの内部パラメータのみならず外部パラメータに係る情報を必要とすることなぐカメラの校正を適切に行い得るカメラの校正装置を提供し、更に、車両に搭載し得るカメラの校正装置を提供することを別の課題とする。

課題を解決するための手段

[0011] 上記の課題を達成するため、本発明は、 3次元空間を 2次元画像に投影するカメラによるカメラ画像に対し校正を行うカメラの校正方法において、少なくとも 4点の座標情報を含む平面状の校正指標を第 1の平面に配置して、前記校正指標を含む前記カメラ画像の画像面を第 2の平面として入力し、前記第 2の平面上に存在し前記校正指標の所定の部位に対応する点を特定し、前記第 1の平面と前記第 2の平面に共通して包含される前記少なくとも 4点の対応関係に基づき、前記第 1の平面と前記第 2 の平面との間のホモグラフィを演算して、カメラ画像を校正することとしたものである。

[0012] 上記カメラの校正方法において、更に、前記第 1の平面上に特定のマーク及び直線パターンの少なくとも一方を配置して前記校正指標とすることとしてもよい。また、前記第 2の平面上で、直線、交点、並びに直線及び交点の組み合わせの少なくとも一つを用いて、前記校正指標の所定の部位に対応する点を特定することとしてもよい。

[0013] そして、本発明のカメラの校正装置は、少なくとも 4点の座標情報を含む平面状の校正指標を第 1の平面に配置して成る校正指標手段と、前記校正指標を含む前記力メラ画像の画像面を第 2の平面として入力する画像入力手段と、前記第 2の平面上に存在し前記校正指標の所定の部位に対応する点を特定する対応点特定手段と、前記第 1の平面と前記第 2の平面に共通して包含される少なくとも 4点の対応関係に基づき、前記第 1の平面と前記第 2の平面との間のホモグラフィを演算するホモグラフィ演算手段とを備えることとしたものである。このカメラの校正装置において、前記校正指標手段は、前記第 1の平面上に特定のマーク及び直線パターンの少なくとも一方を配置して前記校正指標とするとよい。更に、前記対応点特定手段は、前記第 2の平面上で、直線、交点、並びに直線及び交点の組み合わせの少なくとも一つを用いて、前記校正指標の所定の部位に対応する点を特定することとしてもよい。特に、前記カメラ、前記画像入力手段、前記対応点特定手段、及び前記ホモグラフィ演算手段を車両に搭載したものとすることができる。

[0014] 更に、少なくとも 4点の座標情報を含む平面状の校正指標を第 1の平面に配置して成る校正指標手段と、前記校正指標を含む前記カメラ画像の画像面を第 2の平面として表示する表示手段と、該表示手段に所定のマーカを重畳表示するマーカ表示手段と、該マーカ表示手段の位置を前記カメラによって撮影される画像座標内で変化させる調整手段と、該調整手段により前記マーカが前記校正指標の所定の部位と一致するように前記マーカの位置関係を調整し、前記マーカが前記校正指標と一致したときに前記第 2の平面内での前記第 1の平面上の特定部位と対応する点として特定する対応点特定手段と、前記第 1の平面と前記第 2の平面に共通して包含される少なくとも 4点の対応関係に基づき、前記第 1の平面と前記第 2の平面との間のホモグラフィを演算するホモグラフィ演算手段とを備えたカメラの校正装置を構成することとしてもよ、。

[0015] そして、上記マーカ表示手段を含むカメラの校正装置を車両に搭載し、前記校正指標を、前記車両の中心を通る主軸に対して左右に配置するように構成するとよ、。この場合において、前記校正指標は、前記車両を基準とした座標系における既知の 4点を含むものとするよい。例えば、前記校正指標は、前記第 1の平面上で前記 4点を市松模様で示すこととし、あるいは、前記第 1の平面上で前記 4点に配設した光源を含むものとしてもよい。更に、前記校正指標として、前記車両を駐車するときの駐車区画の四隅の 4点を用いることもできる。

発明の効果

[0016] 本発明は上述のように構成されているので以下の効果を奏する。即ち、上記カメラの校正方法においては、 3次元空間における平面上の配置が既知である 4点を校正指標として使用し、 2画像間の 4点の変換関係をホモグラフィによって求めることとしているので、カメラの焦点距離や原点位置等のカメラの内部パラメータは未知でよぐし力も、カメラが搭載されている高さや角度等のカメラの外部パラメータも未知でよいので、高精度な校正を簡単な方法で実現することができる。

[0017] また、上記カメラの校正装置によれば、 3次元空間における平面上の配置が既知である 4点を校正指標として使用し、夫々に対応するカメラ画像中の 4点の対応づけをホモグラフィによって行うこととしているので、カメラの内部パラメータ及び外部パラメータが何れも未知であっても、カメラ画像中の 4点を、元の 3次元空間における平面上の 4点として適切に復元することができる。この場合において、カメラの焦点距離や原点位置等のカメラの内部パラメータは未知でよぐし力も、 3次元空間中のカメラの位置及び姿勢の情報であるカメラの外部パラメータも未知でょ、ので、カメラの設置及び装着条件が緩和される。更に、上記カメラの校正装置は、車両に搭載したものとすることができ、この場合には、 3次元空間における平面上の配置が既知である 4点を校正指標として使用し、夫々に対応するカメラ画像中の 4点の対応づけを、対応点特定手段によって自動的に行うことができ、適切にカメラの校正を行うことができる。

[0018] 特に、上記マーカ表示手段を含むカメラの校正装置によれば、 3次元空間における平面上の配置が既知である 4点を校正指標として使用し、夫々に対応する表示画像中の 4点の対応づけを手動操作によって行うことができ、適切にカメラの校正を行うことができる。そして、この校正装置を車両に搭載し、校正指標を、車両の中心を通る主軸に対して左右に配置することとすれば、種々の態様の校正指標を設定することができる。例えば、車両を基準とした座標系における既知の 4点を含むものとし、第 1 の平面上で同 4点を巿松模様で示し、あるいは、第 1の平面上で同 4点に配設した光源を用いた態様とすることもできる。更には、車両を駐車するときの駐車区画の四隅の 4点を用いた態様とすることもできる。

図面の簡単な説明

[0019] [図 1]本発明の一実施形態に係るカメラの校正装置の主要構成を示すブロック図である。圆 2]本発明の他の実施形態に係るカメラの校正装置の主要構成を示すブロック図である。

圆 3]本発明の画像処理を路面走行レーン検出装置に適用した一実施形態を示すブロック図である。

[図 4]駐車支援のためのバックモニタカメラの校正指標に供される校正用ターゲットの配置例を示す平面図である。

圆 5]前方監視用のカメラの校正指標に供される校正用ターゲットの配置例を示す平面図である。

圆 6]平面の路面の 4点が帯状ラインの交点となるように構成された校正用ターゲット部材を示す平面図である。

圆 7]平面の路面上の 4点が市松模様となるように構成された校正用ターゲット部材を示す平面図である。

圆 8]平面の路面上の 4点の 4点に小光源が埋設された校正用ターゲット部材を示す平面図である。

[図 9]入力スィッチの構成の一例を示す回路図である。

[図 10]校正用ターゲット上の 4点に相当する画像上の位置を手動によって検出する状況を示す画像の正面図である。

圆 11]本発明のカメラの校正装置を車両に搭載した一実施形態において、カメラ画像が歪曲している状況を示す画像の正面図である。

圆 12]本発明のカメラの校正装置を車両に搭載した一実施形態において、カメラ画像が上空から見た画像に変換され、駐車区画が検出される状況を示す画像の正面図である。

圆 13]本発明のカメラの校正装置を一般的なカメラ画像の校正に適用した実施形態として、建物の画像に対し射影変換を行った実験結果を示す説明図である。

圆 14]本発明のカメラの校正装置を一般的なカメラ画像の校正に適用した実施形態として、廊下の壁面の画像に対し射影変換を行った実験結果を示す説明図である。圆 15]本発明のカメラの校正装置を一般的なカメラ画像の校正に適用した一実施形態として、巿松模様のパターンを撮影した画像が歪曲してヽる状況を示す画像の正面図である。

[図 16]本発明のカメラの校正装置を一般的なカメラ画像の校正に適用した実施形態として、図 15の画像に対して歪曲補正を行った後に、射影変換を行った実験結果を示す説明図である。

[図 17]—般的なカメラ技術における透視投影を示す説明図である。

[図 18]—般的なカメラ技術におけるカメラ座標とワールド座標の関係を示す説明図である。

[図 19]一般的なカメラ技術における平面射影変換を示す説明図である。

[図 20]—般的なカメラ技術における 2つの平面 π及び平面 Πの平面上の点の関係を示す説明図である。

符号の説明

[0020] CM カメラ

IM 画像入力手段

HM ホモグラフィ演算手段

ID 対応点特定手段

DS 表示手段

MK マーカ表示手段

AJ 調整手段

SY 同期分離回路

FM フレームメモリ

VC 画像処理部

発明を実施するための最良の形態

[0021] 上記の構成になる本発明のカメラの校正方法の具体的一態様について、以下に図面を参照して説明する。最初に、本発明が前提とするカメラ技術について図 17乃至 20を参照して説明した後、図 1及び図 2を参照して本発明の実施形態を説明する。先ず、カメラ座標系を図 17に示すように定義する。即ち、非特許文献 3で説明されているように、カメラの光学中心 Cを座標原点とし、 3次元座標の X軸と Y軸を、それぞれ画像面上の X軸および y軸に平行にとり、 Z軸を光軸 1に対し平行にとっている。光学中心 C力画像面 πに垂直に引いた直線 1を「光軸」と言い、光軸と画像面との交点 X

0

を「画像中心」と言う。

C

[0022] 図 17において、 3次元空間中で (X, Υ, Ζ)の座標を持つ点 Χ= [X, Υ, Ζ]^τが、 2 次元画像上で (X, y)の位置の点 x= [x, y]^Tに投影される。尚、大文字の X等は 3次元を表し、小文字の X等は 2次元を表す。また、「^τ」は転置行列を意味する。焦点距離を f = lとすれば、図 17の 2次元画像上の点を 3次元空間中の点と考えると、その位置は (X, y, 1)である。図 17から明らかなように、このカメラによる投影では、 2次元画像上の点の Xと fの比が 3次元空間中の点の Xと Zの比に等しぐまた yと fの比が Yと Zの比に等しい。従って、 3次元空間中の点とその投影像との間には、下記 [数 1]式の関係が成り立ち、このような投影を「透視投影」と言う。

[0023] [数 1]

X Y

Z ' ^J Z

[0024] 上記 [数 1]式の透視投影は、斉次座標を用いて下記 [数 2]式のように、行列演算の形で表すことができる。

[0025] [数 2]

.7；1 1 0 0 0

A = 0 1 0 0

() 0 1 0

[0026] [数 2]式においてえは任意の実数であり、 [数 2]式は [数 1]式と同じ投影を表している。尚、 [数 2]式は下記 [数 3]式のように簡単ィ匕して表す。

[0027] [数 3]

[0028] 上記 [数 3]式において、 Pfは下記 [数 4]のとおりである。

[0029] [数 4] 0 1 0 0

0 0 1 0

[0030] ところで、コンピュータ上で扱う画像データは、その原点をどこにとる力、画素座標値としての細分方法や縦横比は、設計により変わるものである。即ち、コンピュータ上で扱う画像データは物理的な大きさや位置とは無関係な画素単位の画像座標に基づいている。従って、実際のカメラをモデルィ匕する場合には、物理的座標 Xから画像座標 mに変換する必要がある。この変換は原点位置合わせのための平行移動、縦横のスケール変換及び焦点距離に応じたスケール変換を組み合わせたものであり、次のように表される。

[0031] [数 5]

m = Ax

[0032] ここで、上記 [数 5]式の前段は [m , m , m ]^τで表され、画像座標 m= [u, ν]^τの斉

1 2 3

次座標であって、下記 [数 6]式の同値関係が成り立つように設定する。即ち、 u=m

1

/m， v=m /mで te 。

3 2 3

[0033] [数 6]

[0034] また、 Aは物理的座標 xを画像座標 mに変換する行列であり、焦点距離 f、画像中心の座標（u , V )、 u及び V方向のスケール 'ファクター k , k、及び、せん断係数 kに

0 0 u V s よって下記 [数 7]のように表される。尚、この「せん断係数」は、平行性は保つが直角性は保たなヽような変形 (せん断変形）を発生させる係数である。

[0035] [数 7]

Jん s UQ

A ΪΚ v₀ [0036] 上記 [数 3]及び [数 5]により、 3次元空間中の点 Xは、 2次元画像上の画素 mに対し下記 [数 8]のように投影される。ここで、 Aは「カメラ校正行列」と言い、更に詳細には、上記 [数 7]力も明らかなように、カメラの内部パラメータによって構成される行列であるので、「カメラの内部パラメータ行列」と呼ぶ。

[0037] [数 8]

Ar¾ = AP;X

[0038] 次に、複数のカメラ間の関係や、同一のカメラであっても複数の位置に移動することを考慮し、あるいは、そのカメラと対象物との関係を考慮する際には、基準となる座標系を設定するとよい。この場合に、図 18に示すように、考慮されるカメラの数や位置、対象物に対して共通に決められた座標力「ワールド座標」と定義される。このワールド座標 (Xとする）からカメラ座標 Xへは、 3次元の回転 R及び並進 Tによって下記 [数 9]式のように変換される。

[0039] [数 9]

X = RX_W + T

[0040] 3次元の回転 R及び並進 Tは、夫々、 X軸回り、 Y軸回り、 Z軸回りの回転 0 , θ ,

Θ 及び X軸方向、 Y軸方向、 z軸方向の並進 τ , τ , Tより成り、夫々、下記 [数 10] 及び [数 11]のように表される。

[0041] [数 10]

1 0 0 cos θγ 0 sin θ_γ COS θζ 一 sin θζ 0

R ϋ cos θ_χ ― sin θ_χ 0 1 0 sin θ_ζ COS θζ ϋ 0 sm θ_χ cos θ χ 一 sin θγ 0 COS θγ 0 0 1

[数 11]

[0042] 前掲の [数 9]式は、斉次座標を用いれば下記 [数 12]式のように表すことができる。 [0043] [数 12]

X = MX

[0044] ここで、 Μは回転 Rと並進 Τを組み合わせた 4 X 4行列であり、下記 [数 13]のとおりである。つまり、 Μはワールド座標に対する姿勢（回転)及び位置（並進）によって決まる行列である。そして、これらの回転及び並進は「カメラの外部パラメータ」と言い、前述の Αを「カメラの内部パラメータ行列」と呼ぶのに対し、 Mを「カメラの外部パラメータ行列」と呼ぶ。

[0045] [数 13]

R

M

[0046] 上記 [数 8]及び [数 12]により、ワールド座標系における 3次元空間の点 Xは 2次元画像上の点 mに次のように投影される。

[0047] [数 14]

Am = PX

[0048] 上記 [数 14]式において、 Pは下記 [数 15]で表される 3 X 4行列である。尚、 [数 14 ]式においては、ワールド座標 Xが Xで置き直されている力以後、ワールド座標と力メラ座標に対して記号を区別することなく、ともに Xで表すこととする。

[0049] [数 15]

P = AP/M

= A [ R T

[0050] 而して、上記 [数 14]式で表されるカメラモデルを「透視力メラモデル」と言う。また、 Pは「透視力メラ行列」と呼び、カメラの内部パラメータ及び外部パラメータによって構成される。従って、 Pが求まれば、これを A、 R、 Tに分解することができる。そして、 Α、 R、 Tが共に既知、即ち Ρが既知である場合には、そのカメラは「校正済みである」といい、これらが未知の場合には「カメラが未校正である」という。従って、 A、 R、 Tを求めることを「カメラの校正」と呼ぶ。

[0051] 上記の「透視力メラモデル」では、カメラ行列 Pが A、 R、 Tで構成されて、るが、カメラ行列 Ρを 3 X 4行列で一般ィ匕して表すと、下記 [数 16]のようになる。

[0052] [数 16]

Am = P^

[0053] 上記の Pは下記 [数 17」のような 3 X 4行列である。このように一般ィ匕された 3 X 4行

P

列で表されたカメラモデルを「射影カメラモデル」と言い、 Pを「射影カメラ行列」と呼

P

[0054] [数 17]

[0055] 上記 [数 17]に示すように、 Pは 3 X 4行列でその要素の数は 12個である。しかし、

P

上記 [数 16]式は斉次座標で表されており、 Pを定数倍しても全く同じカメラモデルを

P

表すことになるため、その自由度は 12ではなく 11である。而して、「透視力メラ」は、このような「射影カメラ」によって一般ィ匕することができる。

[0056] 次に、図 19に示すように、ワールド座標を Z = 0の平面に限定すると、上記の 3 X 4 行列を、下記 [数 18]式のように 3 X 3行列に簡単ィ匕することができる力この 3 X 3行列は一般的な「平面射影変換」（ホモグラフィ)を表す。

[0057] [数 18]

[0058] ここで、図 20に示すような 2つの平面 πと平面 Πを考えたときに、夫々の平面上の点 Xと χ'との関係は、下記 [数 19]式のように表すことができる。

[0059] [数 19]

'21 h.2'2 ん.23

f

31 32 一 .

[0060] あるいは、 3 X 3の正則行列（但し、行列式は 0ではない）を用いて、下記 [数 20]のように表すこともでき、この Hをホモグラフィと言う。

[0061] [数 20]

x' = Hx

[0062] そして、上記の [数 20]は下記 [数 21]式のように表すこともできる。

[0063] [数 21] a;,

I 二—-:

X...

[0064] 更に、ホモグラフィ Hの要素において、各平面で対応する点に対し下記の [数 22] 及び [数 23]の 2つの線形方程式が得られる。これは、平面上の任意の 4点は他の平面上の 4点に射影的に変換可能であることを表して、る。

[0065] [数 22]

X (Η_3ιχ + h^y + /'33) = /ίιι-χ + h_V2y + h_u

[数 23] y' {h_3}x + h_:i2y + h_:ii) = h_2lx + h₂₂y + Ιι_2Ά

[0066] 本発明は、上記のようにホモグラフィを用いて演算してカメラの校正を行うもので、その一実施形態を図 1に示す。図 1におけるカメラ CMとしては、 3次元空間を 2次元画像に投影するカメラであれば、どのような態様であってもよい。この実施形態においては、少なくとも 4点の座標情報を含む平面状の校正指標 (代表して clで表す)を第 1 の平面 S 1に配置して成る校正指標手段 CLと、校正指標 c 1をその視界内に含むカメラ画像の画像面を第 2の平面 S2として入力する画像入力手段 IMと、第 2の平面 S2 上に存在し校正指標 clの所定の部位に対応する点（代表して c2で表す)を特定する対応点特定手段 IDと、第 1の平面 S1と第 2の平面 S2に共通して包含される少なくとも 4点の対応関係に基づき、第 1の平面 SIと第 2の平面 S2との間のホモグラフィを演算するホモグラフィ演算手段 HMを具備して、る。

[0067] 上記の校正指標については、例えば、第 1の平面上 S1に特定のマーク及び直線ノターンの少なくとも一方を配置して校正指標 c 1とする態様があり、これらにつ!/、ては図 6乃至図 8を参照して後述する。また、対応点特定手段 IDとしては、例えば、第 2の平面 S2上で、直線、交点、並びに直線及び交点の組み合わせの少なくとも一つによる処理によって、校正指標の所定の部位に対応する点を特定する態様があり、この対応点特定手段 IDによって、第 2の平面 S2上に存在し校正指標 clの所定の部位に対応する点 c2を、自動的に特定することができる。尚、これらについては図 3を参照して後述する。

[0068] 而して、図 1に記載のカメラの校正装置において、 3次元空間における平面上の配置が既知である 4点 (cl)を校正指標として使用すれば、対応点特定手段 IDによって、夫々に対応する画像中の 4点（c2)の対応づけを行うことにより、カメラの外部パラメータが未知であっても、画像中の 4点（c2)を、元の 3次元空間における平面上の 4点 (cl)として復元することができる。この場合において、カメラ CMの設置及び装着状態、例えば、カメラの高さやチルト角等の 3次元空間中のカメラの位置及び姿勢の情報であるカメラの外部パラメータは必要とせず、これらは未知でよいので、カメラ CM の設置及び装着条件が緩和されると共に、 2次元画像上の平面（S2)と 3次元空間内の平面（S1)との間の変換精度が向上することとなる。尚、これについては、図 12を参照して後述する。

[0069] 本発明のカメラ等は移動体に搭載してもよぐ図 2に示すように、例えば図 1の装置をそのまま車両 VHに搭載することができる。更に、図 2には、カメラの校正装置を車両に搭載したときの他の実施形態を包含している。即ち、ここでは、少なくとも 4点の座標情報を含む平面状の校正指標 (代表して clで表す)を第 1の平面 S1に配置して成る校正指標手段 CLと、破線で示すように、校正指標 (cl)をその視界内に含むカメラ画像の画像面を第 2の平面 S2'として表示する表示手段 DSを備えると共に、この表示手段 DSに少なくとも 4点の所定のマーカ（代表して mlで表す)を重畳表示するマーカ表示手段 MKと、このマーカ表示手段 MKの位置をカメラ CMによって撮影される画像座標内で変化させる調整手段 AJとを備えている。この場合には、調整手段 AJによりマーカ mlが校正指標（cl)の所定の部位と一致するようにマーカの位置関係を調整し、マーカ mlが校正指標 (cl)と一致したときに、対応点特定手段 IDにて、第 2の平面 S2'内での第 1の平面 S1上の特定部位 (cl)と対応する点（マーカ ml)として特定することとし、ホモグラフィ演算手段 HMでは、第 1の平面 S1と第 2の平面 S2 ，に共通して包含される少なくとも 4点の対応関係に基づき、第 1の平面 S1と第 2の平面 S2，との間のホモグラフィを演算することとしている。これにより、第 2の平面 S2，内での第 1の平面 S1上の特定部位 (cl)と対応する点 (マーカ ml)を、調整手段 AJを手動操作することによって特定することができる。これらの具体的態様については、図 9及び図 10を参照して後述する。

[0070] 更に、上記のカメラの校正装置を車両に搭載し、例えば、車両周辺の状況を把握するための画像表示システム、走路を認識するシステム、障害物を検出するシステム等に適用することができ、その一例として路面走行レーン検出装置に適用した具体的構成例を図 3に示す。本実施形態においては、図示しない車両の前方又は後方に、カメラ CM (例えば CCDカメラ）が装着されており、路面を含む車両前方の視界が連続して撮像される。カメラ CMの映像信号は、ビデオ入力バッファ回路 VB、同期分離回路 SYを経て AZD変換されフレームメモリ FMに格納される。このフレームメモリ FMに格納された画像データは、画像処理部 VCで処理される。画像処理部 VCは、画像データ制御部 VP、歪曲補正部 CP、対応点特定部 SP、ホモグラフィ演算部 HP 、及び認識処理部 LPで構成されている。

[0071] 画像処理部 VCにおいては、フレームメモリ FM内の画像データから、画像データ制御部 VPでアドレス指定されたデータが呼び出されて歪曲補正部 CPに送られ、ここで歪曲補正処理が行われる。このように歪曲補正された画像上において、対応点特定部 SPにより、予め設定された ROI (Region of Interest)と呼ぶウィンドウ（関心領域)の中で、前述の校正指標として機能する校正用ターゲットの座標点に対応する位置が検出される。

[0072] 校正用ターゲットは、例えば図 5に示すように既知の位置に配置され、カメラは所定の公差内で搭載されるので、校正用ターゲットの画像上の位置は概略で定まる。従つて、公差の平均値による画像上の位置を基準として、公差の範囲と画像処理のためのマージンを考慮して ROIの位置とサイズが設定される。

[0073] 尚、校正用ターゲット（画像上の対応点）の検出のためにコーナー検出器（図示せず)を用いることとしてもよい。コーナー検出器としては、画像処理の分野で周知の検出器 (例えば、 Tomas卜 Kanade検出器、ハリス検出器等）を利用することができる。

[0074] 続、て、ホモグラフィ演算部 HPにお、て、下記の [表 1]に示すように校正用ターゲットの各 4点に対し、画像座標と路面座標の対応づけが行なわれ、この結果が前述の [数 19]式に適用され、ホモグラフィ Hが演算される。これにより、ー且ホモグラフィ H が定まれば、下記の 4点以外の任意の座標であっても変換可能となる。

[0075] [表 1]

[0076] そして、認識処理部 LPにて、例えば、レーン境界の位置として確からしい直線が選択されて道路境界線として認識され、即ち、走行レーンの境界線が特定され、描画部 DP及び表示コントローラ DCを介して画像信号が出力される力これらの処理は本発明に直接関係するものではな、ので、詳細な説明は省略する。

[0077] 次に、校正指標の例として、図 4に、駐車支援のためのバックモニタカメラ CMrの校正指標に供される校正用ターゲット (代表して CTrで表す)の配置例を示す。また、図 5には、前方監視用のカメラ CMfの校正指標に供される校正用ターゲット (代表して CTfで表す）の配置例を示す。これらの校正用ターゲット CTf又は CTrの配置とそのサイズは、それを撮影するカメラの分解能やカメラ画像を取り込んだ画像メモリの分解能によって、画像上の校正用ターゲットの像の大きさが変わるので、画像上での検出、確認が容易になるように設定される。

[0078] 校正用ターゲット CTf又は CTrは、本実施形態では、車両の中心を通る主軸（図 4 及び図 5に一点鎖線で示す）に対して左右対称に配置されている。これらの校正用タ一ゲットの配置は、原理的には、 4点が既知であれば矩形 (正方形、長方形)、台形等、任意であり、必ずしも車両の中心を通る主軸に対して左右対称である必要はないが、図 4及び図 5においては、分かり易さや作業のし易さを考慮し、説明の簡単ィ匕のために矩形としている。但し、校正用ターゲットの 4点が既知、即ち、車両を基準とした座標系における校正用ターゲットの 4点の座標が正確に分かっていることが必要である。もっとも、自車との相対的な位置関係を問題としない使い方をする場合、例えば、路面のトップビュー画像を表示する力そのときに、自車がどこにあるかを表示する必要がない場合は、 4点の座標が正確に分力つていればよぐ自車と校正指標との位置関係は知る必要がな、。

[0079] 尚、実際には図 6乃至図 8に示すような校正用ターゲット部材が使用される。図 6では、平面の路面 RS上の 4点が帯状ラインの交点 CTcとなるように構成されている。図 7では、平面の路面 RS上の 4点が巿松模様 CTdとなるように構成されている。更に、図 8では、平面の路面 RS上の 4点に小さな光源 (例えば LED光源) CTeが埋設されている。もっとも、これらは、 3次元的に既知の座標情報を有する位置の座標を、カメラ画像で特定し易いという観点力選択されたものであり、カメラ画像での特定が容易であれば、他の校正用ターゲット部材を用いることとしてもよい。

[0080] 更に、図 3においては、校正用ターゲット（画像上の対応点）の検出のためにコーナ一検出器 (図示せず)を用いることが可能として説明したが、図 6のような帯状ラインを用いた校正用ターゲットを使用する場合は、水平及び垂直の境界線を検出し、その交点座標を求めることとしてもよい。また、図 8に示すような平面内に埋設された小さな光源 CTeが使用される場合には、画像上での明るい領域を検出し、その重心を求めることとしてちよい。

[0081] 上記の図 3の構成においては、校正用ターゲット上の 4点に相当する画像上の位置を自動的に検出する方法に係るものであるが、手動によって検出することも可能である。例えば、画面上に表示したカーソルを校正用ターゲットの位置に合わせその座標を読み取る方法があり、その一例を図 10に示す。ここでは、歪曲補正された画像に表示されている駐車区画白線の四隅の点を利用する構成とされている。そして、図 9 に示す入力スィッチ SWの操作によって、画面上でカーソル（図示せず）を移動するように構成されている。この入力スィッチ SWとしては、特許文献 1に記載のように、 A 乃至 Cの押しボタンを有し、例えば、 Aの押しボタンによってカーソルの移動方向を変更し、 Bと Cの押しボタンによりカーソルの移動方向に対して順方向又は逆方向に所定の小ステップで、カーソルを上下、左右に移動することができるように構成されている（尚、 FCS1及び FCS2は信号端子で GNDは接地端子である)。而して、例えば、図 3に示す表示コントローラ DC力ゝらの出力画像信号をモニタディスプレー（図示せず )に映し、そのディスプレーを見ながらカーソルの位置を移動させることができる。

[0082] 尚、図 10では歪曲補正された画像 (従って、図 10の上下の点描部分はカメラ画像ではない）が用いられているが、これに限るものではない。即ち、歪曲補正係数が既知で、歪曲補正後の座標が求まるため、画面上に表示したカーソルを校正用ターゲットの位置に合わせ、その座標を読み取るときに使用する画像は、図 11のような画像そのものを歪曲補正して!/ヽな、ものであってもよ!/、。

[0083] そして、図 10に示すように歪曲補正された画像から、図 12の上側に示すように、駐車区画の四隅の 4点が検出され、それらの 4点が元の駐車区画の形状に一致するように、前述のホモグラフィ Hによる変換が行われると、図 12の下側に示すように、元の長方形の駐車区画として復元される。

[0084] 次に、前述のホモグラフィ Hにより変換した別の実験例を示す。図 13の左側の画像は、建物を斜め方向カゝら撮影されたもので、その画像の中で、元は長方形であった 4 点が、図 13の右側に示すように、長方形として復元されるように射影変換されたものである。この実験は、非特許文献 5の第 14頁に掲載されているものを用いたもので、図 13は実際の画像を線画として簡単ィ匕して図示しており、点描部分は実際の画像ではない。図 13から理解し得るように、建物の窓はもともと矩形であったものであり、画像から窓枠の 4点を取得しそれらが長方形として復元されるように変換されて、る。

[0085] 同様に、非特許文献 5に掲載された画像を用いて実験を行った例を図 14に示す。

図 14の上側に示すように、奥行のある画像の中で、斜め方向力の画像となった廊下右側の壁面において元は長方形であった 4点力図 14の下側に示すように、元の長方形として復元されるように射影変換されたものである。

[0086] 更に、図 15及び図 16は他の実験例を図示したもので、既知のサイズの正方形の集合で作られた市松模様のパターンを撮影し、図 15のカメラ画像に対して歪曲補正を行った後に、射影変換を行ったものである。図 16においても、元は長方形であった 4点が、図 16の下側に示すように、長方形として復元されている。上記の各実験において、何れも前述のホモグラフィを用いた演算を行っている力画像中の任意の 4点を別の画像中の任意の 4点に変換し得るという原理に基づくものであり、カメラの外部ノメータは一切必要とせず、従って、外部パラメータは用いていない。即ち、カメラの校正を行うときに、カメラの外部パラメータを校正する必要はない。

[0087] 以上のように、内部パラメータは未知であり（画像の歪曲は補正されているとし）、 3 次元空間における平面上の配置が既知である任意の 4点を校正指標として使用すれば、夫々に対応するカメラ画像中の 4点の対応づけを、前述のように手動または自動で行うことにより、カメラの外部パラメータが未知であっても、カメラ画像中の 4点を、元の 3次元空間における平面上の 4点として復元することができる。この場合において、カメラの設置及び装着状態、例えば、カメラの高さやチルト角等の 3次元空間中の力メラの位置及び姿勢の情報であるカメラの外部パラメータ Rと Tは必要とせず、これらは未知でよいので、カメラの設置及び装着条件が緩和されると共に、 2次元画像上の平面と 3次元空間内の平面との間の変換精度が向上する。

[0088] 尚、本発明は、上記のような車両等の移動体に搭載される装置に限定されるものではなぐカメラ画像を用いる種々の装置に適用することができ、カメラの校正を高精度で行うことができる。

Claims

請求の範囲

[1] 3次元空間を 2次元画像に投影するカメラによるカメラ画像に対し校正を行うカメラの校正方法において、少なくとも 4点の座標情報を含む平面状の校正指標を第 1の平面に配置して、前記校正指標を含む前記カメラ画像の画像面を第 2の平面として入力し、前記第 2の平面上に存在し前記校正指標の所定の部位に対応する点を特定し、前記第 1の平面と前記第 2の平面に共通して包含される前記少なくとも 4点の対応関係に基づき、前記第 1の平面と前記第 2の平面との間のホモグラフィを演算して、カメラ画像を校正することを特徴とするカメラの校正方法。

[2] 前記第 1の平面上に特定のマーク及び直線パターンの少なくとも一方を配置して前記校正指標とすることを特徴とする請求項 1記載のカメラの校正方法。

[3] 前記第 2の平面上で、直線、交点、並びに直線及び交点の組み合わせの少なくとも一つを用いて、前記校正指標の所定の部位に対応する点を特定することを特徴とする請求項 1記載のカメラの校正方法。

[4] 3次元空間を 2次元画像に投影するカメラによるカメラ画像に対し校正を行うカメラの校正装置において、少なくとも 4点の座標情報を含む平面状の校正指標を第 1の平面に配置して成る校正指標手段と、前記校正指標を含む前記カメラ画像の画像面を第 2の平面として入力する画像入力手段と、前記第 2の平面上に存在し前記校正指標の所定の部位に対応する点を特定する対応点特定手段と、前記第 1の平面と前記第 2の平面に共通して包含される少なくとも 4点の対応関係に基づき、前記第 1の平面と前記第 2の平面との間のホモグラフィを演算するホモグラフィ演算手段とを備えたことを特徴とするカメラの校正装置。

[5] 前記校正指標手段は、前記第 1の平面上に特定のマーク及び直線パターンの少なくとも一方を配置して前記校正指標とすることを特徴とする請求項 4記載のカメラの校正装置。

[6] 前記対応点特定手段は、前記第 2の平面上で、直線、交点、並びに直線及び交点の組み合わせの少なくとも一つを用いて、前記校正指標の所定の部位に対応する点を特定することを特徴とする請求項 4記載のカメラの校正装置。

[7] 前記カメラ、前記画像入力手段、前記対応点特定手段、及び前記ホモグラフィ演算手段を車両に搭載したことを特徴とする請求項 4記載のカメラの校正装置。

[8] 3次元空間を 2次元画像に投影するカメラによるカメラ画像に対し校正を行うカメラの校正装置において、少なくとも 4点の座標情報を含む平面状の校正指標を第 1の平面に配置して成る校正指標手段と、前記校正指標を含む前記カメラ画像の画像面を第 2の平面として表示する表示手段と、該表示手段に所定のマーカを重畳表示するマーカ表示手段と、該マーカ表示手段の位置を前記カメラによって撮影される画像座標内で変化させる調整手段と、該調整手段により前記マーカが前記校正指標の所定の部位と一致するように前記マーカの位置関係を調整し、前記マーカが前記校正指標と一致したときに前記第 2の平面内での前記第 1の平面上の特定部位と対応する点として特定する対応点特定手段と、前記第 1の平面と前記第 2の平面に共通して包含される少なくとも 4点の対応関係に基づき、前記第 1の平面と前記第 2の平面との間のホモグラフィを演算するホモグラフィ演算手段とを備えたことを特徴とするカメラの校正装置。

[9] 前記カメラは車両に搭載して成り、前記校正指標を、前記車両の中心を通る主軸に対して左右に配置することを特徴とする請求項 8記載のカメラの校正装置。

[10] 前記校正指標は、前記車両を基準とした座標系における既知の 4点を含むことを特徴とする請求項 9記載のカメラの校正装置。

[11] 前記校正指標は、前記第 1の平面上で前記 4点を市松模様で示すことを特徴とする請求項 10記載のカメラの校正装置。

[12] 前記校正指標は、前記第 1の平面上で前記 4点に配設した光源を含むことを特徴とする請求項 10記載のカメラの校正装置。

[13] 前記校正指標は、前記車両を駐車するときの駐車区画の四隅の 4点を含むことを特徴とする請求項 9記載のカメラの校正装置。