JP6334734B2 - 車両サラウンドビューシステムの較正用データ処理システムおよび方法 - Google Patents

Description

本発明は、所定の内部較正を有する複数のカメラを含むカメラシステムの較正方法に関するものである。カメラは、車両などの物体に設けられ、物体の周囲領域をカバーする。

技術的課題

車両の周囲の物体について視覚情報を実時間で得る必要性がますます高まっている。車両運転者はしばしば、単純なセンサの範囲を超える情報を得て車両の隣接物体との距離を調整する必要がある。そのような情報はとりわけ、不慣れな、狭い、もしくは限られた空間で、または超長尺車両を正確に運転するのに視覚的支援が必要な状況で、有用なことがある。そのような場合、しばしば望ましいのは、操作ディスプレイに提示される実質的な全体像を出力し、車両とその周囲の両方を鳥瞰図、または入力データから算出可能な何らかの他の所望の俯瞰図で示すことである。上述の全体像によって運転者は、限られた空間、および長尺車両で通り抜けるなどの困難の多い他の運転状況でも、車両を正確に運転することができる。

典型的には、実質的に360°に近い状況の周囲の映像を得るには、少なくとも２台のカメラが必要である。そのようなカメラは、車両のサイドミラー、および車体の前後部に設けてもよい。これらのカメラから得たデータをデータ処理システムで処理する。そのような全体像を出力するカメラシステムの重要な側面は、システムの較正、とくに正確な映像の接合に必要なカメラの外部パラメータ較正である。製造者が正確に装着し外部パラメータを初期較正しても、車両を使用し車体を修理すると、外部カメラパラメータが変わり、不正確な映像接合に起因して車両サラウンドビューが歪んでしまうことである。

公知の技術では、較正処理は単純でも迅速でもなく、高度の技術的知識を必要とする。また、外部カメラパラメータの較正は通常、通常の修理工場で見受けられる標準装備室よりはるかに高度な特殊装備室にて行なわれる。

本発明は、カーペット状の較正パターンなどの廉価なハードウエアを使って車両サラウンドビューについての高度の知識を必要とせずに、車両サラウンドビューシステムの較正、すなわち外部カメラパラメータの較正の問題を解決するものである。また、この方法は、較正パターンを１つだけ使用し、わずかに平坦な床を有する何らかの通常の修理工場で実行することができる。較正点をさらに追加する必要はなく、システム自体は、使用するカーペット間の相対的位置、またはサラウンドビューシステムを装備した車両についてその相対的位置が不明でも、短時間で較正可能である。

最後に、サラウンドビューシステムを装備した超長尺車両の場合のように修理工場に十分な空間がなくても、１つ以上の較正パターンから較正映像の順次撮像が可能である。

先行技術

関連技術分野に関する特許文献および非特許文献をいくつか選んだ。欧州特許公開公報2523163号(Natroshvili K.およびGassmann B.)には、マルチカメラシステムの較正方法およびプログラムが教示されている。これは、所定の内部較正を有する複数のカメラを有し、カメラは、車両に設けられて車両の周囲領域をカバーしている。この方法では、既知の距離で相互に離間され物体の周囲領域で単一平面上にあってカメラの視界に配置される１組のマーカを配置し、次にカメラのそれぞれのマーカからカメラの外部パラメータを算出し、複数のカメラのうちの他のカメラのそれぞれについてこれを繰り返すものである。本発明とこの引用した欧州公開公報2523163号との本質的な相違点は、本発明が座標を再計算して車両座標系と合わせるやり方をとっていることである。

国際公開公報2013/074604号(Pliefke S.)には、較正パターンを使用して車両サラウンドビュー用の１組のカメラを較正する方法が開示され、その方法は、この引例の段落0028に記載のように、各カメラの被写界が重複して共通の較正パターンを取得し、外部パラメータを計算して各カメラを互いに較正するものである。

欧州公開公報2530647号(NATROSHVILI K.およびSCHOLL K.-U.)によれば、車両視覚システムの較正方法が教示されている。車両視覚システムは複数の撮像装置を有し、これらはそれぞれ、非線形分布を有する映像を撮像する。各撮像装置、すなわち各カメラは、視界が重なっている。撮像装置の複数の被写体に対する位置および配向は、撮像した映像を基に得られる。この文献の段落[0010]に記載のように、複数の被写体の互いに対する位置は既知であり、これらの所定の相対的位置を使用して、その撮像装置および別の撮像装置の複数の被写体に対する位置および配向を求めることができる。複数の被写体は、三面体配置の市松模様などの専用のマーカでもよい。段落[0010]には、当業者に明瞭な方式が記載され、正確な相対マーカ位置が既知である必要があり、そのためこの方法を何らかの修理工場内で使用するのは煩雑である。

米国特許公開公報2011/115922号(SHIMIZU S.)には、物体に装着された複数のカメラのそれぞれについて複数のカメラのうちの２台の撮像範囲が互いに重複するようにしてカメラ較正を行なう較正装置および較正方法が開示されている。上記較正装置は、２台のカメラで撮像した第１および第２の映像を得るように構成された撮像装置と、マーカセットの映像を含む第１および第２の映像を使用することで一時的リンク構成を形成するように構成された一時的リンク構成形成部とを有している。本方式でもマーカの正確な位置が必要なことは、当業者に明瞭である。

米国特許公開公報2010/194886号(ASARI K.、ISHII Y.)には、カメラ較正を行なって複数のカメラ映像を複数のカメラから所定の表面に投写し、較正後、受けた結果に基づいてこれらを組み合わせるカメラ較正装置が教示されている。本方式でもマーカの正確な位置が必要なことは、当業者に明瞭である。

文献、Kannala J.、Brandt S.S.、"A Generic Camera Model and Calibration Method for Conventional, Wide-Angle, and Fish-Eye Lenses"、IEEE Transactions on Pattern Analysis and Machine Intelligence、vol. 28、no. 8、pp. 1335-1340、2006年8月には、平面状較正パターンの撮像に基づく魚眼レンズカメラのカメラ較正方法が教示されている。実験で検証しているが、この方法は使用が簡単で、円形配置した操作点で比較的高度の正確さが得られる。提案されたカメラモデルは上位概念であり、望遠レンズまたは広角レンズを有する従前のカメラにも容易に拡張され適用される。

文献、Sorkine 0.、"Least-Squares Rigid Motion Using SVD"、Technical notes、2009年には、２組の点を位置合わせする剛体変換を計算するアルゴリズムが教示されている。これは以下のサイトから得られる。
http://igl.ethz.ch/projects/ARAP/svd_rot.pdf

本発明は、較正済の内部カメラパラメータを有する２つ以上の広角カメラc _i を含む車両サラウンドビューシステムの較正用データ処理システムの動作方法を開示するものである。内部カメラパラメータは、データ処理システムによってアクセス可能に蓄積される。較正方法は以下の工程を含む。すなわち、
(i)車両に固定された２つ以上のカメラc _i の間の重複視界において、任意の位置ｊに位置する２つ以上の2D較正パターンs_jを撮像し、較正パターンs_jは、車両または他の較正パターンに対して任意に配向され、各較正パターンは、サラウンドビューシステムを有する車両を載置した平面Z = 0内にあり、２つ以上のカメラの間の重複視界に位置するいずれかの較正パターンs _j の映像は、上記カメラによって同時に撮像されて、カメラおよび較正パターンの交互のシリーズの鎖、
... - カメラc _i - パターンs _j - カメラc _i' - パターンs _j' - カメラc _i" - ...
が車両を上記較正対象のサラウンドビューシステムで囲繞する工程と、
(ii)データ収集工程と、
(iii)外部パラメータの集合R_i ^jおよびC_i ^jを算出する工程と、
(iv)各較正パターンs _j に関連するカメラc _i によって撮像可能なX _i ^j マーカ座標を各カメラc _i について選択した共通座標系へマッピングする工程と、
(v)較正パターンｓを結合することによってカメラc _k の補正された集合をすべてカメラc _i へ併合し、外部カメラc _k パラメータR_k、C_k、および上記カメラc _k より撮像可能な較正パターン座標の共通座標系への再計算を実行する工程と、
(vi)外部カメラパラメータの集合R_i、C_iおよび対応する較正パターン変位パラメータt_x ^j、t_y ^j、α^jを最適化し、これによって較正システムs _j に属するいずれかの3D座標X^jの各カメラc _i の2D座標x_i ^jへの正確なマッピングを可能とする工程である。

最後に、工程(vi)で推定された各カメラc _i の外部パラメータR_i、C_iを再計算して車両座標系を一致させる。

本方法は、車体に対するカメラの正確な位置が製造者から既知である場合、およびそのようなデータが提供されていない場合に、適している。後者の、そのようなデータが提供されない場合は、車体に関する理想的なカメラ位置を再計算する必要がある。

４台のカメラ{c ₁ 、c ₂ 、c ₃ 、c ₄ }が車両サラウンドビューを形成するもっとも一般的な状況を表す図である。各カメラの視界は点線で示されている。１つ以上の較正パターンは、ここでは市松模様カーペット{s ₁ 、s ₂ 、s ₃ 、s ₄ }として単純化して示すが、何らの互いに対する相関、または停めた車両との相関なしに、２台の車両カメラ間の重複する視野内に配置されている。

発明の詳細な説明

車両に実装されるサラウンドビューは通常、魚眼またはその変形の広角カメラがいくつか上記車両の本体に搭載されている。これらのカメラは、全視界を十分にカバーするように配分されている。本映像処理システムはさらに、カメラ撮像された各映像を映像接合として知られる処理によって、好ましくは実時間で組み合わせる。正確な映像接合には、各カメラの内部パラメータおよび外部パラメータを較正する必要がある。

車両搭載に先立って、各カメラを較正し、カメラごとの内部パラメータを決定して記憶しておく。正確な装着および外部パラメータの初期較正をしても、車両を使用し車体を修理すれば、不正確な映像接合に起因して車両サラウンドビューが歪むような外部カメラパラメータに変わってしまう。

本発明は、何れの修理工場でも最小の技術的装備で何らの熟練知識がなくても行なうことができる車両サラウンドビューの迅速で正確な較正の問題を解決するものである。カメラ外部パラメータの較正に必要な唯一の装備は、２次元構体として形成された較正パターン、すなわちカーペットであり、これは、検出が容易で良好に画成された幾何学的パターンを有している。車両位置、相対的較正パターン位置または相対的較正パターン配向などの他の情報は、下記以外、不要である。すなわち、
(1)較正作業中は、車両を載置したのと同じ平面内に１つ以上の較正パターンを置き、
(2)カーペット状の較正パターンを２台のカメラの間の重複する視界内に配置し、上記カメラからの映像を同時に撮像すること以外は、不要である。

較正作業は、使用するカメラまたは較正パターンの数とは無関係である。簡単のため、４台のカメラおよび４つの較正パターンによる一般的な状況を詳細に説明するが、本発明を制限するものではない。当業者は、このような較正作業を任意の数のカメラ/較正パターンに拡張するにすぎない。
内部カメラパラメータの決定

内部カメラパラメータは、車両サラウンドビューシステムへの装着前に較正処理において取得する。一般的に言うと、どんな広角カメラにも、以下の集合{k₁,k₂,k₃,k₄,u₀,v₀}で記述される、いわゆるp₆カメラモデルを使うことができる。ただし、[u₀,v₀]^Tはカメラの撮像装置(CMOS、CCDまたは同様のもの)の主点を表し、{k₁,k₂,k₃,k₄}−は広角カメラモデル、すなわちレンズモデルを定義するものである。

一般の較正作業では通常、理想的なピンホールカメラモデルを仮定するが、その場合、カメラから見えるどの3D座標も上記モデルを用いて下記の変換で定義される実際のカメラピクセル[x,y]^Tへマッピングする。

ただし、

は、理想的なピンホールカメラモデル投写座標を表し、この場合、

はピンホールカメラの幅および高さの半分を定義し、θmaxは所望の水平視界を定義するものである。パラメータ間の関係は当該技術で公知であり、以下のように定義される。

各カメラc _i の最終結果は、理想的なピンホールカメラの内部行列である。

較正作業が成功した後、算出されたカメラパラメータを各カメラの内部、例えば対応する搭載されたフラッシュメモリへ蓄積する。

内部カメラパラメータおよび外部カメラパラメータの推定に関する作業は、当該技術で公知である。例えば、上述の作業は、以下の学会論文に記載されている。すなわち、
Hedi A.、Loncaric S.、"System for Vehicle Surround View"、10th IFAC Symposium on Robot Control 2012、IFAC SYROCO 2012、Dubrovnik; ISBN: 978-1-62276-367-2。

または、様々なレンズモデルを比較してさらに検討した下記の文献がある。
Kannala J.、Brandt S. S.、A Generic Camera Model and Calibration Method for Conventional, Wide-Angle, and Fish-Eye Lenses"; IEEE Transactions on Pattern Analysis and Machine Intelligence、vol. 28、no. 8、pp. 1335-1340、2006年8月。

後者の文献には、θmax > 75°なるカメラのさらに好都合の表記法が記載され、その場合、内部カメラパラメータはわずかに書き換えられている。式(1)および(2)は、カメラ座標に対応する何らかの3D点X=[X,Y,Z]^Tを実際のカメラピクセルx = [x,y]^Tにマッピングするが、これは以下のように書き換えられる。

ただし パラメータθ、φ、およびr(θ)は式(2')で与えられる。
φ = atan2(Y,X)
θ = atan2{(X² + Y²)^1/2,Z} (2')
r(θ) = k₁θ+ k₂θ³ + k₃θ⁵ + k₄θ⁷ + k₅θ⁹ + ...

パラメータm_uおよびm_vは、水平および垂直方向における単位距離当たりのカメラピクセル数を示す。(2')においてr(θ)を定義するk_jパラメータの集合は所望の精度に依存し、著者らは、適切なr(θ)の定義について一般に５つのパラメータで十分であることを確認している。

当業者に明らかなように、行列A_iを使用して、3D点X = [X,Y,Z]^Tを実際のカメラピクセルx = [x,y]^Tへ、または同じマッピングについて上記(1')および(2')で定義される写影へマッピングすることは、逆変換を求めない限り、計算上の観点からは等価である。

本文では、A_i行列に言及する際、これは、予め較正した内部カメラパラメータを特徴とする3D空間から2D空間への十分に定義された変換を表すと仮定する。本発明にとって逆変換が重要でないことを考慮して、簡単のためにA_i行列による表記を取り入れる。
外部カメラパラメータの決定

外部カメラパラメータの決定は、実世界の3D座標系とカメラ3D座標系の間の幾何学的関係で生ずる処理である。回転行列R_i ^jおよび並進ベクトルt_i ^jは、ピンホールカメラモデルの場合、当該技術で周知の方法で定義される。

(4)
マーカ座標系ｊのいずれかに属する3D座標X_i ^jを、カメラc _i で捉えた2D座標x_i ^jにマッピングする。各行列A_iは、車両に搭載されたカメラによって既に定義されているので、パラメータR_i ^jおよびt_i ^jが推定されよう。系内の各カメラは、６つのパラメータを使ってパラメータ化される。すなわち、３つのパラメータは相対的位置について、また３つのパラメータは配向についてである。つまり回転行列は、オイラ角を用いでパラメータ化される。

R_i ^jおよびt_i ^jを評価するのに必要なのは、カメラc _i から見える較正パターンs _j に関する少なくとも４つの明確な点、すなわち3Dマーカ座標の特定である。この特徴抽出は、使用する較正パターンに依存し、魚眼レンズまたは広角レンズに起因する強い幾何学的歪によるため、困難なことがある。様々なタイプのマーカで実験すると、所期の作業には市松模様マーカが適切であることが分かる。市松模様マーカの自動検出として実現されるパターン認識処理は、当該技術で公知である。同様のアプローチは、Scharfenberger N. C.、"Panoramic Vision for Automotive Applications: From Image Rectification to Ambiance Monitoring and Driver Body Height Estimation"、PhD. Thesis、Technischen Universitat Munchen 2010、http://mediatum.ub.tum.de/doc/1002339/1002339.pdfに説明されている。

本発明では、市松模様マーカ/カーペットを使用するが、いずれの他の適切な較正パターンも同様に使用できる。使用するマーカのタイプ、またはそれらの可能な組合せは任意であり、較正処理アルゴリズム自体は、使用するマーカに依存しない。正確に知る必要があるのは、車両の周囲に位置する他の市松模様マーカおよび車両の配向自体に対して任意に配向された座標系ｊにおける抽出したマーカ座標の位置である。抽出したマーカ点の集合は、各点についてZ^j = 0とすると、[X^j, Y^j, 0, l]の形を有する。ホモグラフィH_i ^jを使用すると、外部パラメータR_i ^jおよびt_i ^jを以下のように求めることができる。
R_i ^j =[r_1i ^j, r_1i ^j, r_3i ^j] (5)
ただし、

であり、tⁱは以下で定義される。

要素h_1i ^j、h_1i ^j、h_3i ^jは対応する行列H_i ^jの列である。スカラλ^jは次のように定義される。

ただし行列ノルムはフロベニウス型である。

算出したホモグラフィ H_i ^jの結果は求まったR_i ^jおよびt_i ^jを与える。また、較正パターンs _j について算出したカメラc _i 中心、

が正の第３の座標を有するか否かをチェックすることが必要である。これが否定的であると、地平面に対するカメラ位置を以下の変換の集合によってフリップしなければならない。
r_1i ^j = -r_1i ^j r_2i ^j = -r_2i ^j t_1i ^j = -t_1i ^j および r_3i ^j = r_1i ^j x r_2i ^j (9)

最後に、適切に定義されたR_i ^j、t_i ^j = -R_i ^j C_i ^jを得る。

良好に定義されたパラメータR_i ^jおよびt_i ^jの結果が得られるならば、何れの他の適切な外部カメラパラメータ較正技術も同様に用いてもよい。強調すべきは、外部カメラパラメータおよび内部カメラパラメータを求めることは、本発明の主要な技術的課題の解決に必須の条件、すなわち車両サラウンドビューの迅速かつ正確な較正を形成していることである。内部パラメータおよび外部パラメータを求めることは当該技術において周知であり、他にも記載されている。例えば、Hartley R.、Zisserman A.、"Multiple View Geometry in Computer Vision"、Cambridge University Press 2000、2003年である。
較正作業
工程１

較正作業は、後にサラウンドビュー映像の生成に使用する外部カメラc _i パラメータR_iおよびC_iを補正する作業である。本発明は、操作が単純で迅速、かつ専門知識または高度の較正装置を用いることなく使用することを企図している。上述の作業を達成するために、本システムは、修理工場の床の周囲に較正パターンを分配配置し、較正担当者が車両をカメラの重複視界内に載置しなければならないように設計されている。

最も好都合の作業が図１に示され、この場合、それぞれの較正パターンはカメラの対ごとに撮られ、十分な数のカーペット状の較正パターンが車両の周囲に配分されている。そのような較正設定により、較正作業に用いる必要な映像のすべてを瞬時に撮像することができる。

しかし、車両が動いていないことを考慮すると、この作業は、市松模様カーペットとしてわずか１つの較正パターンを使って順次に行なうことができる。車両を載置したことは、車体搭載カメラが修理工場の床に対して静止していることも意味する。較正パターンは、車両に対して２台の異なるカメラで同時に撮像されるように配置されている。較正パターン映像を上記カメラで撮像したら、その較正パターンを次の重複カメラ視界に移して、新たな映像の集合を撮像する。効果的には、多数の較正パターンを同時に使用する場合も最終結果は同じであるが、この作業は、精度を損なうことなく長く続く。しかし、超長尺車両で較正作業を行なう場合は、後者の方が重要である。そのような車両で較正作業を行なう理想的な空間を見つけて必要なカメラ映像をすべて瞬時に撮像することは、いかにも困難である。そこで、撮像を段階的に行なうのは非常に好都合であり、これは本願記載の較正システムの利点である。

較正作業について必要なのは、較正が必要なサラウンドビューを有する車両全体を囲繞するカメラ映像および較正パターンの交互のシリーズの鎖を確立することである。図１を参照すると、較正鎖はs ₁ -c ₁ -s ₂ -c ₄ -s ₄ -c ₃ -s ₃ -c ₂ -s ₁ である。上述のように、使用する較正パターンは、論理的には、１枚の較正パターンを車両の周囲の複数の位置に次々と移すことでも、効果的に代替えすることができる。換言すれば、c ₁ -s ₂ -c ₄ は、この例では前方車両カメラc ₁ および右側車両カメラc ₄ が較正パターンs ₂ から同時に映像を撮像したことを意味している。１台のカメラが３枚以上の較正パターンを撮影する場合は、この処理に分岐鎖などの他の位相的構造も有用である。ここでは検討しないような較正誤差補正があり得るような状況の技術的可能性があることは、当業者はすぐに分かるであろう。

較正アルゴリズムは、車両サラウンドビューシステムの一部としての、または車両サラウンドビューシステムへデータを出力する機能を有し車両とは別の動作可能なデータ処理システムで実行される。本文の後半では、較正パターンs _j に着目すると、文字ｊに伴う数字は、対応するカメラで撮像される較正パターンの位置を示す。
工程２

工程２は、基本的にデータ収集工程である。データ処理システムは、すべてのA_i内部カメラパラメータをロードする必要がある。ただしｉは、図１に示す例では１ないし４であり、この場合、A_iの意味は、内部カメラパラメータの決定の項目で前に説明したように、外部行列を超えて拡張される。

次に、データ処理システムは、２つ以上の較正パターンs_jから各カメラc _i で撮像した映像よりマーカの集合x_i ^jを検出しなければならない。検出値の集合x_i ^jは、較正パターンs_jに属する対応のカメラc _i で受けた2D点である。この検出は、外部カメラパラメータの決定の項目で前に説明したように、関連技術で既述した何れの適切な技術によっても行なうことができる。

各較正パターンs_jについて、X^jマーカの集合、すなわち車両に搭載されたカメラで撮像された対応するカメラ映像によって既に検出されている2D値に関連する対応の較正パターンs _j の座標系内に位置する3D点をデータ処理システム内部にロードする。

最後の動作では、すべての必要なデータをデータ処理システムに蓄積すると、最早較正パターンは不要となる。
工程３

工程３は外部パラメータR_i ^j, t_i ^j = -R_i ^j C_i ^jを計算するものであり、これは、内部カメラパラメータA_iが既知であることを考慮して、検出したx_i ^jマーカとカメラc _i からそれぞれ撮像可能な較正パターンs _j の対応する3D値X^jとを直接連結するのに必要である。パラメータt_i ^j = -R_i ^jC_i ^jについて式(4)を書き直すと、

既に図１に記載したシステムを参照すると、工程３は各カメラc _i について下記のR_i ^j、C_i ^jパラメータの集合、
カメラ１：{R₁ ¹, C₁ ¹; R₁ ², C₁ ²}
カメラ２：{R₂ ¹, C₂ ¹; R₂ ³, C₂ ³}
カメラ３：{R₃ ³, C₃ ³; R₃ ⁴, C₃ ⁴}
カメラ４：{R₄ ², C₄ ²; R₄ ⁴, C₄ ⁴}
を生ずる。

例えば、図１のカメラ/較正パターン構成を参照すると、本例で式(10)を使用して、較正パターンs ₃ について２つの対応する式が得られる

工程４

工程４は、専ら各カメラc _i の共通座標系への、より正確には、同じカメラc _i で撮像される較正パターンs _j に対応する座標系のうちの１つへの変換である。あるカメラc _i がいくつかの較正パターンを撮像している場合を考えると、アルゴリズムは、１つのｊ座標系を、カメラc _i から撮像可能な他のすべての較正パターンs _j について共通の座標系として宣言することを決定する。

図１に示す例では、カメラc ₁ は、較正パターンs ₁ および較正パターンs ₂ を同時に撮像している。そこで、j = 1またはj = 2を共通座標系として選択してもよい。各カメラc _i について少なくとも１つの、いわゆる1^st座標系を識別し、対応するルックアップテーブル、例えば、

を作成することができる。

上記各ルックアップテーブルは、共通のカメラ座標系への変換に対して等しく良好である。各カメラc ₁ について、明らかに、ルックアップテーブルに従ってR_i = R_i ^1st、C_i = C_i ^1stとして既に割り当てた1^st座標系に対応する１対の外部パラメータR_i ^j、C_i ^jを割り当てると都合がよい。

さて、選んだ1^st 較正パターンとは異なるカメラc _i から撮像される他の較正パターンs _j のそれぞれについて、以下の変換を行なう。
X_i ^j ← TX_i ^j、ただし ｊ≠ 1st (12)
また、変換行列Ｔは下記の通りである。

記号「←」は、それぞれのX_i ^jについて変換X_i ^jを算出し、新たに得た値を一時蓄積し、それぞれのｉおよびｊ指数について演算を行なうと、一時蓄積した値をX_i ^jに蓄積することを意味する。

ここで、いくつかの3D座標X_iをカメラc _i の1^st座標系からカメラc _i へ投写できることを利用して、

のようになった。ただしX_i ^jは、同じ3D点に対応するが、較正パターンs _j に対応する座標系で表わしてある。行列Ｔは、２つの座標系の間の標準変換行列であり、j≠lstである。Ｔ行列を式(13)から(14)に代入すると、等号が成立する。

工程４の結果は、各カメラごとに、対応するR_i ^j、C_i ^jの集合が１つだけ存在し、このとき上記同じカメラc _i から撮像される各較正パターンs _j について他のデータX_i ^jはすべて、カメラc _i についてルックアップテーブルで定義された共通座標系に属する。
工程５

工程５は、専ら共通座標系への変換であり、隣接するカメラから撮像される共通の較正パターンでこれらのカメラを結合することになる。

工程５はいずれのカメラで開始してもよい。しかし都合がよいのは、カメラc ₁ で始めることである。このカメラは待ち行列に入れられ、上記待ち行列か空にならない限り、以下の動作を繰り返すことになる。

最先のカメラｃを待ち行列から取り出し、いくつかのループを循環する。

上記カメラc _i から撮像される各較正パターンｓについて、カメラc _k (i ≠ k)の集合を求め、そこから、これが重要であるが較正パターンｓの同じ集合を撮像する。ただし、カメラc _k は未処理である。これによって、与えられた位相的構造内の全結合を探索できる。

この例では、位相的構造はs ₁ -c ₁ -s ₂ -[c ₄ ]-s ₄ -c ₃ -s ₃ -c ₂ -s ₁ となる。

例えば、i = 4が最先のカメラの場合、撮像される較正パターンはs ₂ およびs ₄ であり、これによって２つのタイプの結合、すなわちc ₁ -s ₂ -[c ₄ ](k = 1の場合)、およびc ₄ -s ₄ -[c ₃ ](k = 3の場合)が可能となる。

剛体変換を用いると、上述の較正パターンｓを介して各カメラc _i をカメラc _k と直接併合することができる。目標は、各カメラc _k について式X_c ^s = RX_c ^s + Tによって同じ点X_k ^sおよびX_c ^sの集合を結合する回転行列Ｒおよび並進行列Ｔを求めることである。適切なアルゴリズムが当該技術において公知であり、以下に記載のものを用いてもよい。Sorkine O.、"Least-Squares Rigid Motion Using SVD"; Technical notes、2009年。

推定した対Ｒ、Ｔは変換XR_k ^s → X R_c ^sを定義し、これによってすべてのパラメータとカメラc _k から撮像可能なマーカとを再計算することができる。ｑは、カメラc _k から撮像可能なすべてのマーカを表わし、結合する較正パターンｓからのマーカを含むものとすると、それぞれのX_k ^qを再計算する。

さらに、次の変換行列を算出して、

各外部カメラc _k パラメータR_k、C_kを変換する。
R_k ← M(1:3, 1:3)
C_k ← -R_k ^-1 M(1:3, 4) (17)
留意すべきは、まずR_kを計算して、値を使用してC_kの更新された値を算出することである。

最後に、全部のカメラc _k を待ち行列の先頭から取り出し、最初から作業を開始し、上記の場合、すなわちある特定のカメラｃについてすべてのパラメータを記憶する。

備考：演算を実行すると、同じ較正パターンｓによってカメラc _i を結合するすべてのカメラに対して、カメラc _i に共通の座標系、より厳密にはカメラc _i について1^stであるように割り当てられた座標系に対応する座標系について、対応するすべての3Dマーカ座標X_k ^qが再計算された。また、カメラc _k の上記集合の対応する外部パラメータは、同じ座標系について再計算される。

工程５は、移送的相互結合をすべて評価すると、終了する。
工程６

工程６は、専ら、それぞれ撮影範囲内の較正パターンｓパラメータ、およびすべてのカメラパラメータR_i、C_iの微調整を行なうものである。各較正パターンについて、共通座標系について再計算され工程５で得られた上記較正パターンを直接撮像するカメラからの情報を使用することができる。図１に示す例を参照すると、下記データの集合X^j、
較正パターンs ₁ ：X¹ = X₁ ¹またはX¹ = X₂ ¹
較正パターンs ₂ ：X² = X₁ ²またはX² = X₄ ²
較正パターンs ₃ ：X³ = X₂ ³またはX³ = X₃ ³
較正パターンs ₄ ：X⁴ = X₄ ⁴またはX⁴ = X₃ ⁴
がある。

各較正パターン座標系ｊは、対応するＺ軸を中心に角度α^jだけ回転し、Z = 0面内でベクトル[t_x ^j、t_y ^j]だけ最適位置から並進すると考えることができる。

計算上の理由から、データX^jは、重心O^jに対して補正される。
X^j = X^j - O^j (18)
ただし重心O^jは、同じ較正パターンs _j に属するすべてのX^jに対して計算される。較正パターンs _j 上のいくつかのマーカ3D位置X^jの微調整は、次のように書くことができる。

または、式(19)におけるRotZ(α^j)を書き換えると、

この場合、初期状態でa^jが０にセットされ、[t_x ^j、t_y ^j]が算出された重心O^jと一致する。

補正されたR_i、C_iを各カメラc _i ごとに、またt_x ^j、t_y ^jおよびα^jパラメータを各較正パターンs _j ごとに得るために、下記の非線形最適化を行なう。

この場合、各カメラc _i および各較正パターンs _j ごとに全パラメータR_i、C_i、t_x ^j、t_y ^j、α^jについてargmin最小化を行なう。本例では、これは36個の独立パラメータ、すなわち12個のパラメータは４つの較正パターンに、また別の24個のパラメータは４台のカメラに対応している。

下記の値、

はカメラで得られた測定値に対応し、値x_i ^jはモデル化された値に対応している。式(10)および(20)を組み合わせると、モデルは以下のようになる。

それぞれ選択されたカメラc _i について、上記カメラで撮像される各較正パターンｓごとに最適化を行なう。ただしX^jは、較正パターンｓから得られた3Dデータに属するデータである。

工程６は、較正パターン座標系ｓに属する3D座標X^jを各カメラc _i の2D座標X_i ^jへの正確なマッピングが可能なパラメータの集合R_i、C_i、t_x ^j、t_y ^j、α^jで終了する。
工程７

すでに１つの共通車両座標系へ最適化したすべての3D座標系ｓを車両中心にある原点と一致させることが必要である。実際上、２つの可能性が生じよう。すなわち、第１の可能性は、各カメラc _i の車体に対する正確な位置が車両製造者からの提供データによって既知である最も一般的な場合である。第２の可能性は、車両カメラ位置が未定な場合である。しかし、後者は、前方カメラおよび後方カメラと、車両中心と考えられる上記距離の半分を表わす点とを結ぶベクトルを定義することによって、解決可能である。

カメラ中心C_iは工程６で求める。装着位置が得られない場合は、車両の中心をそれについて測定した中点centerC = (C_front + C_rear)/2として定義する。各カメラc _i について、下記の理想的な装着位置

をcenterCに対する理想的な装着位置として算出する。これは以下のようになる。

ただし、前方カメラおよび後方カメラと車両とを結ぶベクトルの相対的回転βは、以下から算出される。

行列B = rotΖ(-(β-π/2))を定義する。その機能は、前後ベクトルを車両ｙ軸方向へ補正することである。ここで、各カメラc _i について下記の位置、

を再計算して、

としてもよい。

車体上の正確なカメラ装着位置が既知であれば、下記、

が定義される。

下記、

が良好に定義されれば、剛体変換パラメータR_V、T_Vを計算でき、これは、下記の点集合、

を対応する点集合C_iへ下記の式によってマッピングするものである。

入力パラメータが工程６からのR_i、C_iパラメータ、および新たに確立したパラメータR_V、T_Vである下記の行列を構成すると、

各カメラc _i のR_iおよびC_iを補正して車両座標系、
R_i ← M_i(l:3, l:3)
C_i ← -R_i ^-1M_i(1:3, 4) (24)
に合うように調整することができる。

この工程によって技術的問題は完全に解決する。すなわち、各カメラのパラメータを較正して値R_i、C_iを車両サラウンドビューに蓄積する。制限があっても、工程１〜工程７に規定される計算を標準のFPGAベースハードウエアで、図１に示す例の場合、60秒未満で行なうことができる。

様々な映像処理手順を含む映像化処理において、カメラc _i 座標系にマッピングされたいずれの3D座標X_iも車両座標系に再計算されて下記のようになる。

変換式(25)によって、当該技術で公知の鳥瞰図または同様の方法などの所望の写影を生成することができる。

産業上の利用

本発明の産業上の利用は顕著である。車両サラウンドビューの再較正の用途以外に、本発明は、２台以上のカメラから撮像した「映像接合」によって映像を得るようなずれのサラウンドカメラシステムの再較正にも有用である。

C_i カメラ
s_j 較正パターン(カーペット)
X^j 座標系ｊにおける較正パターンs_jの3Dマーカ座標
X _i ^j 座標系ｉにおける較正パターンs _j の3Dマーカ座標
x_i ^j カメラc_iにおいて較正パターンs_jから見た2Dマーカ座標
R_i カメラc_i回転行列
C_i カメラc_i中心
A_i 撮像された2Dカメラ映像への3Dカメラ座標系から定義されたマッピング

Claims (6)

1. 較正済の内部カメラパラメータを有する２つ以上の広角カメラを含む車両サラウンドビューシステムの較正用データ処理システムの動作方法において、前記内部カメラパラメータは、前記データ処理システムによってアクセス可能に蓄積され、該方法は、
   (i)車両に固定された２つ以上のカメラc_iの間の重複視界において、任意の位置ｊに位置する１つ以上の2D較正パターンを撮像する工程を含み、該較正パターンs_jは、前記車両または他の較正パターンに対して任意に配向され、各較正パターンは、前記サラウンドビューシステムを有する車両を載置した平面Z = 0内にあり、２つ以上のカメラの間の重複視界に位置するいずれかの較正パターンs_jの映像は、前記カメラによって同時に撮像されて、カメラおよび較正パターンの交互のシリーズの鎖、
   ... - カメラc_i - パターンs_j - カメラc_i' - パターンs_j' - カメラc_i" - ...
   が前記車両を較正対象のサラウンドビューシステムで囲繞し、
   (ii)該方法はさらに、データ収集工程を含み、該工程は、内部カメラパラメータをロードし、各カメラc_iから受け較正パターンs_jから検出された2Dマーカ座標x_i ^jをロードし、前記較正パターンs_jに固定された座標系において表わされる前記較正パターンs_jから特定済みのマーカ座標X ^j に対応する3D座標をロードし、すべてのパラメータを前記データ処理システムに蓄積することを含み、
   (iii)さらに、前記カメラｉについて外部パラメータの集合R_i ^jおよびC_i ^jを算出し、該集合は、前記対応する較正パターンに対応する座標系ｊについて算出され、前記R_i ^jおよびC_i ^jを使用して、特定済みのマーカ座標X_i ^jに対応する3D座標を2Dカメラｉ点x_i ^jへ内部カメラパラメータによってマッピングし、
   (iv)較正パターンs_jの集合を撮像する各カメラｉについて、１つの座標系を共通座標系として宣言し、対応する外部カメラc_iパラメータをR_iおよびC_iとして割り当て、前記カメラc_iに対応し異なる座標系ｊに属する他のX_i ^jデータはすべて下記の式、
   
   X_i ^j ← TX_i ^j、ただし j ≠ common
   
   

   

   
   で再計算し、
   (v)各カメラc_iについて、前記データ処理システムは、前記カメラおよび較正パターンの交互のシリーズの鎖内で前記カメラc_iに結合されたカメラc_kの集合を較正パターンｓによって特定し、対応する外部パラメータR_k、C_kを再計算し、前記カメラc_kから撮像可能で前記結合された較正パターンｓから撮像可能なパラメータを含む各マーカを下記の変換式、
   

   

   
   によって再計算し、ただしＲパラメータおよびＴパラメータは、２つのデータ集合を結合する剛体変換X_k ^s → X_c ^sとして式X_c ^s = RX_k ^s + Tによって定義され、
   非線形最適化を各カメラc_iについて、
   

   

   
   を最小化することによって行なう工程を含み、ただし下記、
   

   

   
   は測定値であり、x_i ^jは撮像された較正パターンs_jに対してモデル化された値であり、その場合、各モデル化された較正パターンは、Z = 0平面内でベクトル[t_x ^j、t_y ^j]だけ移動し、かつＺ軸を中心にα^jだけ回転するものとし、該工程は、前記座標系ｊに属する3D座標X^jを各カメラc_iの2D座標x_i ^jへの正確なマッピングを可能なパラメータ集合R_i、C_i、t_x ^j、t_y ^j、α^jで終了し、
   (vi)各カメラc_iの工程(vi)で推定された前記外部パラメータR_i、C_iは、
   Ａ．製造者から提供される各カメラｉの前記車体に対する下記の正確な位置、
   

   

   
   を使用することによって、または
   Ｂ．各カメラc_iの下記の理想的な位置、
   

   

   
   を再計算し、その場合、車両中心は、前方カメラおよび後方カメラの間の中点centerC = (C_front + C_rear)/2として定義され、下記、
   

   

   
   を再計算して、下記、
   

   

   
   とし、下記マッピング、
   

   

   
   を実行し、ただし、
   

   

   
   であり、行列は、B = rotZ(-(β - π/2))であり、
   さらに、パラメータR_V、T_Vを求める剛体変換を行ない、該剛体変換は、Ａ．もしくはＢ．からの下記の点集合、
   

   

   
   を、下記の式、
   

   

   
   によって、対応する点集合C_iに変換するものであり、
   さらに、
   R_i ← M_i(1:3, 1:3)
   C_i ← -R_i ^-1 M_i(1:3, 4)
   を再計算することにより再計算されて車両座標系に合わせ、
   ただし、
   

   

   
   であることを特徴とするデータ処理システムの動作方法。
2. 請求項１に記載の方法において、使用する較正パターンは、市松模様の較正パターンの形状であることを特徴とするデータ処理システムの動作方法。
3. 請求項１または２に記載の方法において、較正パターンを１つのみ使用して複数のカメラ較正を行なうことを特徴とするデータ処理システムの動作方法。
4. 請求項１ないし３のいずれかに記載の方法において、前記広角カメラは、魚眼レンズを備えたカメラであることを特徴とするデータ処理システムの動作方法。
5. 請求項１ないし４のいずれかに記載の方法を実行する手段を含む車両サラウンドビューシステムの較正用データ処理システム。
6. 車両サラウンドビューシステムの一体部分を形成する請求項５に記載のデータ処理システム。

Images