JP6316468B1 - キャリブレーションシステム - Google Patents

Abstract

【課題】特別な冶具やターゲット装置を準備する必要がなく、キャリブレーションを実施できるキャリブレーションシステムを得る。【解決手段】車両Ａおよび車両Ｂが、その特徴点について、自車両の車両座標系における３次元座標をそれぞれ記憶手段１２、２２に記憶し、車両に搭載されたカメラによりそれぞれ相手車両を撮像し、この画像上の特徴点を指定手段１３、１４により指定するとともに指定された特徴点の画面上の座標をそれぞれ出力し、これらの特徴点の画面上の座標および両車両の車両座標系における３次元座標を基にして、計算手段１５によりそれぞれのカメラの光軸方向を計算して、キャリブレーションを行なう。【選択図】図１

Description

この発明は、車両搭載のカメラのキャリブレーションを行なうキャリブレーションシステムに関するものである。

車両に単数または複数のカメラを搭載し、撮影した映像から、進路上の歩行者、他の車両、障害物を検知し、警告を出したり、あるいは駐車場の区画線を検知し、車両を区画内に自動的に駐車する制御（自動駐車）を行ったりする技術がある。
そのためには、歩行者、他の車両、障害物、駐車場の区画線などの検知対象のカメラ画像座標（画像座標系におけるＸ，Ｙ座標）（特許文献１参照）から、車両座標系の座標（原点からの方向と距離）を算出する必要がある。
検知対象の座標を算出するには、車両座標系におけるカメラの光軸方向が必要となる。それらは、車両によって異なるずれが生じるので、車両ごとに補正する必要があり、その作業をカメラのキャリブレーションとする。

特許文献１には、カメラのキャリブレーションを距離が既知である複数のマーカから構成される治具を用いて行うキャリブレーション装置が示されている。
また、特許文献２には、ターゲット装置に取り付けられ、ステレオカメラによって構成された目標データ取得手段によって得られたデータから、ターゲット装置自体が車両に対してどのような位置関係にあるかを計算し、車両のカメラのターゲット装置のカメラ画像座標をもとにキャリブレーションを行うキャリブレーション方法が示されている。
非特許文献１には、すでに空間的な位置のわかっている対象の画像上での位置を利用したカメラの位置、姿勢の補正について記載されている。

特開２０１１−１０７９９０号公報（第４〜５頁、第１図） 特開２００１−２８５６８１号公報（第４〜７頁、第２図）

コンピュータビジョン、グラフィックスのための射影幾何学［ＩＶ］、出口光一郎、計測と制御、Ｖｏｌ．３０、Ｎｏ．３、１９９１年３月

特許文献１、２のキャリブレーション方法では、キャリブレーションのために特別な冶具やターゲット装置を準備し、設置する作業を車両１台ごとに実施する必要がある。そのため、作業に時間がかかるという問題がある。
また、非特許文献１でも、空間的な位置のわかっている対象の画像上での位置を利用するものであり、同様の問題がある。

この発明は、上述のような課題を解決するためになされたものであり、特別な冶具やターゲット装置を準備する必要がなく、キャリブレーションを実施できるキャリブレーションシステムを得ることを目的とする。

この発明に係わるキャリブレーションシステムにおいては、車両に搭載されたカメラの
光軸方向を補正するキャリブレーションシステムであって、自車両の特徴点について自車両の車両座標系における３次元座標を記憶する記憶手段、他車両との間の通信を行なう通信手段、この通信手段を介して取得した他車両のカメラの画像上で、この画像に含まれる自車両の特徴点の位置を指定するとともに、この指定された自車両の特徴点の画面上の２次元座標を出力する第一の指定手段、自車両のカメラの画像上で、この画像に含まれる他車両の特徴点の位置を指定するとともに、この指定された他車両の特徴点の画面上の２次元座標を出力する第二の指定手段、および記憶手段に記憶された自車両の車両座標系の特徴点の３次元座標と、通信手段を介して取得した他車両の車両座標系の特徴点の３次元座標と、第一の指定手段の出力する自車両の特徴点の画面上の２次元座標と、第二の指定手段の出力する他車両の特徴点の画面上の２次元座標とを用いて、自車両および他車両に搭載されたカメラの光軸方向を計算する計算手段を備えたものである。

この発明によれば、車両に搭載されたカメラの光軸方向を補正するキャリブレーションシステムであって、自車両の特徴点について自車両の車両座標系における３次元座標を記憶する記憶手段、他車両との間の通信を行なう通信手段、この通信手段を介して取得した他車両のカメラの画像上で、この画像に含まれる自車両の特徴点の位置を指定するとともに、この指定された自車両の特徴点の画面上の２次元座標を出力する第一の指定手段、自車両のカメラの画像上で、この画像に含まれる他車両の特徴点の位置を指定するとともに、この指定された他車両の特徴点の画面上の２次元座標を出力する第二の指定手段、および記憶手段に記憶された自車両の車両座標系の特徴点の３次元座標と、通信手段を介して取得した他車両の車両座標系の特徴点の３次元座標と、第一の指定手段の出力する自車両の特徴点の画面上の２次元座標と、第二の指定手段の出力する他車両の特徴点の画面上の２次元座標とを用いて、自車両および他車両に搭載されたカメラの光軸方向を計算する計算手段を備えたので、キャリブレーションのための特別な冶具やターゲット装置を準備する必要がなく、両方の車両のキャリブレーションを一度の作業で実施することができる。

この発明の実施の形態１によるキャリブレーションシステムを示す構成図である。 この発明の実施の形態１によるキャリブレーションシステムの特徴点を示す説明図である。 この発明の実施の形態１によるキャリブレーションシステムの画像上の特徴点の座標指定を示す説明図である。 この発明の実施の形態１によるキャリブレーションシステムの車両の特徴点を示す説明図である。

実施の形態１．
図１は、この発明の実施の形態１によるキャリブレーションシステムを示す構成図である。
図１において、車両Ａは、キャリブレーションの対象となるカメラＡ１〜Ａ４を搭載している。車両Ｂは、キャリブレーションの対象となるカメラＢ１〜Ｂ４を搭載している。
実施の形態１では、カメラＡ１とカメラＢ３のキャリブレーションを行う場合について説明するが、他のカメラについても同様にキャリブレーションを行うことができる。よって、簡単のため、以降カメラＡ１をカメラＡ、カメラＢ３をカメラＢとして説明する。

車両Ａには、次の各手段が搭載されている。
通信手段１１は、後述する車両Ｂの通信手段２１と通信を行なう。記憶手段１２は、車両Ａの特徴点の位置を示すデータと、車両Ａの車両座標系における特徴点の３次元座標を
記憶している。指定手段１３（第一の指定手段）では、カメラＢの画像上の車両Ａの特徴点の位置がオペレータにより指定される。指定手段１４（第二の指定手段）では、カメラＡの画像上の車両Ｂの特徴点の位置がオペレータにより指定される。
計算手段１５は、車両Ａおよび車両Ｂの車両座標系の特徴点の３次元座標と、カメラＡおよびカメラＢの画像上の特徴点の位置の画面上の座標から、カメラＡ、カメラＢの光軸方向を計算する。

車両Ｂには、次の各手段が搭載されている。
通信手段２１（他車両通信手段）は、車両Ａの通信手段１１と通信する。
記憶手段２２（他車両記憶手段）は、車両Ｂの特徴点の位置を示すデータと、車両Ｂの車両座標系における特徴点の３次元座標を記憶する。

通信手段１１、２１は、カメラＢの画像データと、車両Ｂの特徴点を示すデータと、車両Ｂの車両座標系の特徴点の３次元座標を、車両Ａに送り、また計算手段１５の計算結果であるカメラＢの光軸方向を車両Ｂに送る。
車両Ａおよび車両Ｂの特徴点を示すデータは、図２に示す。図２は、各車両の写真映像に特徴点の位置をマークで示したものである。
ここで、特徴点は、カメラＡおよびカメラＢと、車両Ａ、Ｂの前輪と後輪の地面との接点を含む６点以上とする。車両Ａ、車両Ｂは同一平面（地面）に設置されるものとする。

なお、車両に搭載された各手段は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、記憶装置、表示装置を有する計算機によって実行される。

図２は、この発明の実施の形態１によるキャリブレーションシステムの特徴点を示す説明図である。
図２（ａ）は、車両Ｂの特徴点を示すデータを示す図、図２（ｂ）は、車両Ａの特徴点を示すデータを示す図である。
図２において、各車両の写真映像に特徴点の位置をマークで示したものであり、特徴点１はカメラ、特徴点２は前輪タイヤの地面との接点、特徴点３は後輪タイヤの地面との接点、特徴点４はヘッドライト、特徴点５は後部窓、特徴点６は車両後部である。

図３は、この発明の実施の形態１によるキャリブレーションシステムの画像上の特徴点の座標指定を示す説明図である。
図３（ａ）は、指定手段１４により、カメラＡの画像上の車両Ｂの特徴点の座標を指定する動作を示す図で、車両Ｂの特徴点を示すデータの表示およびカメラＡの映像が表示されている。図３（ｂ）は、指定手段１３により、カメラＢの画像上の車両Ａの特徴点の座標を指定する動作を示す図で、車両Ａの特徴点を示すデータの表示およびカメラＢの映像が表示されている。
図３（ａ）（ｂ）で、カメラＢまたはカメラＡの画像データが表示された画面上で、タッチパネルまたはマウスなどのポインティングデバイスによって各特徴点に対応する位置にオペレータがアイコンを移動し、特徴点の位置を指定するようになっている。

図４は、この発明の実施の形態１によるキャリブレーションシステムの車両の特徴点を示す説明図である。
図４において、車両Ａおよび車両Ｂの特徴点２、３を示している。ここで、車両Ａ、車両Ｂが同一平面（地面）にあるものとする。

次に、動作について説明する。
指定手段１３と指定手段１４では、図３に示すように、車両Ａおよび車両Ｂの特徴点を
示すデータを表示し、その表示を見ながら、カメラＢおよびカメラＡの画像データが表示された画面上で、タッチパネルまたはマウスなどのポインティングデバイスによって各特徴点に対応する位置に、アイコンを移動し、特徴点の位置を指定する。
また、指定手段１３、１４は、指定された特徴点の画面上の位置の座標を出力する。

次に、キャリブレーション、すなわちカメラＡ、Ｂの各車両Ａ、Ｂの車両座標系における光軸方向を補正する手順について説明する。
始めに、カメラＢの画像データを通信手段２１によって車両Ａに送信し、カメラＡ、カメラＢそれぞれに相手の車両の特徴点が映る位置に、車両Ａ、車両Ｂが設置されているかどうかを確認する。

車両Ａの記憶手段１２に記憶された車両Ａの特徴点を示すデータを、指定手段１３に表示する。その表示を見ながら、カメラＢの映像が表示されたポインティングデバイスの画面上で各特徴点に対応する位置に、オペレータがアイコンを移動し、車両Ａの特徴点の位置を指定する。
このときの指定された車両Ａの特徴点の画面上の座標（カメラ画像座標）をｂＡ_ｉ＝〈ｓＡ_ｉ，ｔＡ_ｉ，１〉ｉ＝１〜６とする。

次に、車両Ｂの記憶手段２２に記憶された車両Ｂの特徴点を示すデータを、通信手段２１により車両Ａに送信し、カメラＡの画像上の車両Ｂの特徴点の座標を指定する指定手段１４に表示する。
その表示を見ながら、オペレータが、カメラＡの映像が表示されたポインティングデバイスの画面上で各特徴点に対応する位置に、アイコンを移動し、車両Ｂの特徴点の位置を指定する。
このときの指定された特徴点の画面上の座標をｂＢ_ｉ＝〈ｓＢ_ｉ，ｔＢ_ｉ，１〉ｉ＝１〜６とする。

次に、車両Ｂの記憶手段２２に記憶された車両Ｂの車両座標系の特徴点の３次元座標、ａＢ_ｉ＝〈ｘＢ_ｉ，ｙＢ_ｉ，ｚＢ_ｉ，１〉ｉ＝１〜６を、通信手段２１により車両Ａに送信する。

カメラＡの光軸方向を計算する計算手段１５は、車両Ｂより送られた車両Ｂの車両座標系の特徴点の３次元座標ａＢ_ｉ＝〈ｘＢ_ｉ，ｙＢ_ｉ，ｚＢ_ｉ，１〉ｉ＝１〜６と、車両Ａの記憶手段１２に記憶された車両Ａの車両座標系の特徴点の３次元座標ａＡ_ｉ＝〈ｘＡ_ｉ，ｙＡ_ｉ，ｚＡ_ｉ，１〉ｉ＝１〜６と、車両Ａの特徴点の画面上の座標ｂＡ_ｉ＝〈ｓＡ_ｉ，ｔＡ_ｉ，１〉ｉ＝１〜６と、車両Ｂの特徴点の画面上の座標ｂＢ_ｉ＝〈ｓＢ_ｉ，ｔＢ_ｉ，１〉ｉ＝１〜６から、カメラＡの光軸方向を計算する。

カメラＡ、Ｂの光軸方向を計算する計算手段１５は、車両Ｂの車両座標系におけるカメラＡの位置ｅＡ_ｉと光軸方向ｗ_１Ａ_ｉ、ｗ_２Ａ_ｉを、非特許文献１ ｐ．２４２のａ_ｉとｂ_ｉに、それぞれａＡ_ｉとｂＡ_ｉを適用し、計算する。
同様に、カメラＢの車両Ａの車両座標系におけるカメラＢの位置ｅＢ_ｉと光軸方向（非特許文献１の視線方向）ｗ_１Ｂ_ｉ、ｗ_２Ｂ_ｉを、ａＢ_ｉとｂＢ_ｉを適用し、計算する。
カメラの位置が得られたので、カメラＡと車両Ｂの特徴点の距離と、カメラＢと車両Ａの特徴点の距離が得られる。

非特許文献１によると、ｉ番目（ｉ＝１〜６）の点の３次元空間座標、その像のカメラ座標でそれぞれ、（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）、（ｓ_ｉ，ｔ_ｉ）としたとき、ａ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ，１）とｂ_ｉ＝（ｓ_ｉ，ｔ_ｉ，１）の関係は、行列Ｍにより、［ａ_ｉＭ］＝［ｂ_ｉ］と表わされる。
ＭをＭ＝（ｍ_１，ｍ_２，ｍ_３）（各ｍ_ｉは、４×１の縦ベクトル）とし、式（１）とすると、

式（２）となる。

この式（２）の行列は、１２行１２列で、行列Ｍの１２成分（ｍの１２成分）を、低数倍を除いて決める。
行列Ｍと、カメラの中心（視点）の位置ｅ、視線方向と画像面の回転を決めるベクトルｕ、ｗ_１、ｗ_２の関係は、焦点距離ｕ＝|ｕ|＝１ とすると、式（３）である。

ここで、Ｗは、式（４）である。

よって、行列Ｍより、ｕ、ｗ_１、ｗ_２が求まる。３次元空間における長さは、カメラの焦点距離を１として測ることとする。
視点の位置ｅ は、あるひとつの点の対応から、
ｅ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）−ｈ_ｉ（ｓ_ｉ，ｔ_ｉ，１）Ｗ^−１
と求まる。

図４において、車両Ａ、車両Ｂが同一平面（地面）にあるとする。カメラＡと、カメラＡの真下の地面上の点Ａ´との距離ｈＡは、特徴点の座標より得られ、カメラＡと車両Ｂの特徴点の前輪の地面との接地点の距離が得られているので、点Ａ´と車両Ｂの特徴点の前輪の地面との接地点の間の距離が得られる。
また、カメラＡと車両Ｂの特徴点の後輪の地面との接地点の距離が得られているので、点Ａ´と車両Ｂの特徴点の後輪の地面との接地点の間の距離が得られる。
車両Ｂの特徴点の前輪、後輪の地面との接地点の距離は与えられているので、三角形、点Ａ´―前輪―後輪 が定まり、車両Ａと車両Ｂの車両座標系の位置関係が定まる。
車両Ａと車両Ｂの車両座標系の位置関係が定まったので、車両Ａの車両座標系におけるカメラＡの光軸方向が得られる。
同様に、車両Ｂの車両座標系におけるカメラＢの光軸方向が得られる。

カメラＢの光軸方向は、通信手段を用いて、車両Ｂへ送信する。
車両に搭載された他のカメラ（カメラＡ２〜Ａ４、カメラＢ１〜Ｂ２、Ｂ４）をキャリブレーションする場合は、図示しない切替手段で、カメラＡ（カメラＡ１）、カメラＢ（カメラＢ２）と特徴点の位置を示すデータ、特徴点の３次元座標を切り替え、同様にキャリブレーションを実施する。

実施の形態１によれば、キャリブレーション対象のカメラを搭載した車両同士において、お互いを撮影してキャリブレーションを行うため、キャリブレーションのための特別な冶具やターゲット装置を準備し、設置する必要がなく、両方の車両のキャリブレーションを一度の作業で実施することができる。
そのため、１台の車両のキャリブレーションの作業の時間を短縮することができる。

なお、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。

１１ 通信手段、１２ 記憶手段、１３ 指定手段、１４ 指定手段、１５ 計算手段、２１ 通信手段、２２ 記憶手段

Claims (2)

1. 車両に搭載されたカメラの光軸方向を補正するキャリブレーションシステムであって、
   自車両の特徴点について自車両の車両座標系における３次元座標を記憶する記憶手段、
   他車両との間の通信を行なう通信手段、
   この通信手段を介して取得した上記他車両のカメラの画像上で、この画像に含まれる自車両の特徴点の位置を指定するとともに、この指定された自車両の特徴点の画面上の２次元座標を出力する第一の指定手段、
   自車両のカメラの画像上で、この画像に含まれる上記他車両の特徴点の位置を指定するとともに、この指定された上記他車両の特徴点の画面上の２次元座標を出力する第二の指定手段、
   および上記記憶手段に記憶された自車両の車両座標系の特徴点の３次元座標と、上記通信手段を介して取得した上記他車両の車両座標系の特徴点の３次元座標と、上記第一の指定手段の出力する自車両の上記特徴点の画面上の２次元座標と、上記第二の指定手段の出力する上記他車両の特徴点の画面上の２次元座標とを用いて、自車両および上記他車両に搭載されたカメラの光軸方向を計算する計算手段を備えたことを特徴とするキャリブレーションシステム。
2. 上記他車両は、
   当該車両の特徴点について、当該車両の車両座標系における３次元座標を記憶する他車両記憶手段、
   および車両間の通信を行なう他車両通信手段を備えたことを特徴とする請求項１記載のキャリブレーションシステム。