JP6035620B2 - 車載ステレオカメラシステム及びそのキャリブレーション方法 - Google Patents
車載ステレオカメラシステム及びそのキャリブレーション方法 Download PDFInfo
- Publication number
- JP6035620B2 JP6035620B2 JP2015529231A JP2015529231A JP6035620B2 JP 6035620 B2 JP6035620 B2 JP 6035620B2 JP 2015529231 A JP2015529231 A JP 2015529231A JP 2015529231 A JP2015529231 A JP 2015529231A JP 6035620 B2 JP6035620 B2 JP 6035620B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- stereo camera
- feature
- frame
- camera system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 42
- 238000003384 imaging method Methods 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 24
- 238000012937 correction Methods 0.000 claims description 10
- 208000033748 Device issues Diseases 0.000 claims 1
- 206010034719 Personality change Diseases 0.000 claims 1
- 239000000284 extract Substances 0.000 claims 1
- 230000005484 gravity Effects 0.000 claims 1
- 238000007689 inspection Methods 0.000 claims 1
- 230000036544 posture Effects 0.000 description 66
- 238000010586 diagram Methods 0.000 description 19
- 238000003702 image correction Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000007429 general method Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、2台以上のカメラで被写体を撮影することによりその被写体の3次元位置を算出し、環境認識をするステレオカメラシステム、及びそれを搭載する移動体に関する。
2台以上のカメラで同一の被写体を撮影することによりその被写体の3次元位置を認識するシステムはステレオカメラシステムとして知られている。
今後、自動車や建設機械などの車両にステレオカメラシステムを搭載することにより、車両の自動操縦機能や操作支援機能が実現可能になると期待されている。
3次元位置を正しく認識するためには、ステレオカメラシステムの内部パラメータと外部パラメータを正確に同定する必要がある。これを校正あるいはキャリブレーションと呼ばれている。内部パラメータとは各カメラの焦点距離、画像中心位置、レンズ歪みを指し、外部パラメータとは各カメラ間の相対位置姿勢を指す。事前に精度良くキャリブレーションする方法として、チェッカーパターンを持つ平面など幾何形状が既知の物体を撮影する方法が広く採用されている。
ただし、ステレオカメラシステムを搭載する移動体の走行中において、ステレオカメラシステムへの物理的な衝撃と振動が影響し外部パラメータが変化することがある。そのため、運用中のステレオカメラシステムにおける外部パラメータの再校正が必要となるが、運用中に形状既知の物体をマーカーとして準備し特別に撮影することはコストが掛かる。そのため、運用中に撮影した画像を利用して外部パラメータを自動的に校正することが要求されており、これをセルフキャリブレーションと呼ぶ。
セルフキャリブレーションの従来技術として、非特許文献1には、各カメラによって同時に撮影された画像から同一の点を表す組を対応点として複数組抽出し、それらの対応点の画像上の位置を用いて推定した基礎行列を特異値分解することで外部パラメータを求める手法が記載されている。
基礎行列の分解:焦点距離の直接的表現(著:金谷健一他、情報処理学会研究報告、2000−CVIM−120−7、2000年1月20日、pp.49−56)
ここで、被写体となる物体とステレオカメラシステムとの距離の大小によって、ステレオカメラシステムによる撮影結果と外部パラメータとの関係は異なってくる。例えば、水平画角50度で水平方向画素数1000のカメラでは5km先の物体の分解能は2.3m程度である。そのため、完全に同一方向を向いている2つのカメラ間の距離が1m程度の場合、5km以内の、特に2km以内の近距離物体を撮影した撮影結果の両画面に大きいズレが発生する。このように、カメラ相対位置を同定する場合、両画面の大きいズレから特徴対応点の探索処理が難しくなる。このことから、相対姿勢を同定するにあたり、近距離の物体を用いた場合に、対応点位置の認識誤差が生じやすくなり、相対姿勢推定のロバスト性が低くなる。そこで、本発明者らは、近距離の物体の撮影画面を用いたセルフキャリブレーションに着目した。
非特許文献1に記載の手法は、被写体の距離の問題を取り扱っておらず、一般的な手法で相対位置と相対姿勢を求めている。そのため、対応点の画像上の位置の認識誤差に対し、精度とロバスト性の低い手法となっている。
以上に記述したように、外部パラメータの変化に対応するための従来手法は、自動あるいは半自動システムを構築するためにはロバスト性が不十分である。そこで、本発明は、対応点マッチングの認識誤差に対し高精度なセルフキャリブレーションが可能なステレオカメラシステムを提供することを目的とする。
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。複数の撮像部と、複数の撮像部それぞれが撮影した画像を用いて相対姿勢が変化したか否かを判断する姿勢変更判断部と、複数の撮像部それぞれが撮影した画像を用いて時系列に基づいて複数の撮影部間特徴対応点を検出する対応点検出部と、姿勢変化程度を判断してシステム作業停止しハードウェア修正を求めるアラームを出す姿勢調整要否判断部と、を有する車載ステレオカメラシステムである。
対応点検出部は、複数の撮像部それぞれが撮影した複数のフレーム画像の組から、第Nフレームの画像の対応点位置を算出し、左右の画像それぞれについて第Nフレームと第N+1フレームの位置関係から、第N+1フレームの両画面の特徴対応点を検出し、これら特徴対応点を用いて複数の撮像部間の第N+1フレームの相対位置を推定する。
本発明のステレオカメラシステムによれば、近距離被写体の対応点位置の認識誤差に対し高精度とロバストなセルフキャリブレーションが行われる。
以下、自律走行ダンプトラックに本発明の車載ステレオカメラシステムを適用した実施例1を説明する。
本実施例の車載ステレオカメラシステムは、被写体の3次元位置を出力する。
図1は、実施例1における車載ステレオカメラシステム100の構成を表すブロック図である。自律走行ダンプトラック向け車載ステレオカメラシステム100は、複数の撮像部101(101a、101b)、画像取得部102、画像保存部103、対応点検出部104、姿勢変更判断105、姿勢調整要否判断部106、画像補正部107、パラメータ推定部108、を備え、作業期間の被写体の3次元位置を取得し、環境認識システム制御部109に提供する。図2には上記の車載ステレオカメラシステムがダンプトラック111に実装されている様子を示す。図1の車載ステレオカメラシステム100及び環境認識システム制御部109の主要部は、図2に示す車載コントローラ110に内蔵されている。この車載コントローラは、CPU、RAM、記憶部などの一般的なハードウエア構成を有する。
図1に戻り説明を続ける。撮像部101a、101bは自身の視野内に存在する被写体を撮影する機器であり、モノクロームカメラ、カラーカメラ、赤外線カメラ、ハイパースペクトルカメラなどとして実装される。各カメラ101a、101bは同一の被写体を撮影できるような相対位置姿勢関係にある。2台のカメラ101a、101bの位置関係は固定であり既知としてよい。ただし、各カメラの姿勢については推定する必要がある。なお、本実施例では撮像部(カメラ)が2台の例を示したが、3台以上でもよい。3台以上の場合、それぞれ各2つのカメラ間でカメラキャリブレーションを行い、2台の例の応用で実現できる。また、今後の実施例の説明中で、2台のカメラで同時に撮るそれぞれの画像をR画像、L画像と呼ぶ。
画像所得部102、画像保存部103、対応点検出部104、姿勢変更判断部105、姿勢調整要否判断部106、画像補正部107、パラメータ推定部108は、各演算処理を行うため、役割毎に分けられた複数のCPU及びRAMの組み合わせとして実装される。前記の各部は外部記憶装置としてのハードディスク、USBメモリなどを採用する。姿勢調整要否判断部106にはアラームを出す装置としてスピーカまたはランプ111が接続されている。
図3は、実施例1における車載ステレオカメラシステム100全体の処理例を説明するフローチャートである。まず、S302では、撮像部101で同時撮影したR画像、L画像を画像取得部102に入力する。S303で毎フレームの画像を画像保存部103に提供する。S304では、画像保存部103に格納された毎フレームの画像を姿勢変更判断部105に提供し、カメラ相対姿勢が変化したか否かの判断を行う。姿勢変化なしと判定した場合、処理を終了する。姿勢変化ありと判定した場合、S105に進む。S304での姿勢が変化したか否かの判定の詳細については、後に図4を参照して説明する。S305では、その両画像と前フレーム両画像を対応点検出部104に提供する。対応点検出部104は、姿勢推定要のフレームの両画像の特徴対応点を検出する。特徴対応点を検出する方法は、後に図5を参照して説明する。S306では、画像補正部107で、レンズ歪みなどによって歪められている対応点検出部104で検出した両画像の対応点の各画像での位置を補正する。S307では、パラメータ推定部108で、画像補正部107提供した補正後の特徴対応点の組を運用し、姿勢推定プログラムに基づき、撮像部のカメラ間の相対姿勢を推定する。そして、S308では、姿勢調整要否判断部106でカメラ相対姿勢のマニュアル修正が必要か否かを判断し、前記S302から繰り返し実行させる。
画像取得部102は、撮像部101を同時撮影した画像の入力を行い、毎フレームの画像を画像保存部103に提供する。
画像保存部103は、撮像部101を同時撮影した毎フレームの画像を画像取得部102から入力し、格納している。
続いて、姿勢変更判断部105は、画像保存部103に格納した毎フレームの両画像を用いて、カメラ相対姿勢が変化したか否かの判断を行う。この判断結果により、カメラ相対姿勢推定要という信号が与えられた場合に、現在のフレームの両画像と、画像保存部103に格納した前フレームの両画像を、対応点検出部104に提供する。図13は、実施例1における各撮像部が同時に撮影した両画像からカメラ相対姿勢変更か否かを判断する例を表す模式図である。左右の両画像の平行移動のみで画素的にマッチングできる面積には、ある最大値が得られる。両カメラの相対姿勢に変化が起きていない場合には、この最大値はある値(標準値)よりも大きくなる。そこで、毎フレームの両画像が入力した後、以前のパラメータ推定部によるS307の姿勢推定の結果に基づきカメラ姿勢を校正し、S304の姿勢変化判断のプログラムを実行する。左右の両画像のうちの、横移動のみで画素的にマッチングできる領域の面積を前記標準値と比較し、カメラ相対姿勢が変化したか否かを判断する。
図4は、姿勢変更判断部105の姿勢変化判断の処理を説明するフローチャートである。S1041では、撮影した両画像の姿勢を、以前起こった姿勢推定結果に基づき、校正する。続いて、S1042はマッチング率を算出する。マッチング率を計算する手法の例として、左右の両画像のうちの横移動のみで画素的にマッチングできる領域の面積を算出し、その全体画像面積に対する割合を算出する。他の計算方式でもよい。S1043で標準値と比較し、カメラ姿勢に変化があったか否かを判断する。以上が図3のS304の姿勢変化判断の詳細である。
対応点検出部104は、姿勢変更判断部105の信号に基づき、画像保存部103に格納した第Nフレームの両画像と、第N+1フレームの両画像を用いて、カメラ相対姿勢推定要の第N+1フレームの両画像の特徴対応点を検出し、画像補正部107に提供する。図6は、従来技術における各撮像部が同時に撮影した画像の組の特徴対応点検出例を表す模式図である。非特許文献1に記載の手法は相対位置と相対姿勢を求めている。遠距離の場合に問題なく使える手法である。
図7は、近距離の被写体である場合に、各撮像部が同時に撮影した画像の組からの対応点検出にミスマッチングが生じる例を表す模式図である。被写体の距離の問題を取り扱わずに、つまり一般的な手法で相対位置と相対姿勢を求めた場合に、カメラの離間間隔に対して被写体までの距離が近距離になる程、各カメラの画像の間で対応点の位置ずれは大きくなる。したがって、例えば図7中で、実線で結ぶ点同士を特徴対応点と認識してしまう認識誤差あるいはミスマッチングが近距離ではたくさん起きる。つまり、過去のフレームの情報を用いず、2画像の現フレーム同士を比較して対応点を検出する手法は精度とロバスト性の低い手法である。
図5は、実施例1における対応点検出部104の処理を説明するフローチャートである。図8、図9、図10、図11を用いて説明される。
図8は、実施例1における各撮像部が同時に撮影した第Nフレームの両画像上で特徴点を抽出するステップ(図5のステップS1051)、既知相対姿勢から特徴点の対応点を算出するステップ(図5のステップS1052)の結果の例を表す模式図である。
まず、特徴点の抽出は以下のように実現される。撮像部101a、101bで撮影した第Nフレームの両画像のうちの左画像から複数個の特徴点をコーナ法で抽出する。これは、画像上の各点に対し、その点を囲むような小ウィンドウにおける2次微分画像の自己相関行列を計算し、その行列の二つの固有値がどちらも閾値より大きくなる点をコーナ(特徴点)とするものである。まず、カラー画像をグレー画像に変換する。その変換式は
である。ここで、iは画像内画素の横方法番号、jは縦方向番号、vはグレー画像での輝度値、r,g,bはそれぞれカラー画像における赤、緑、青成分の輝度値を表す。続いて、2次微分画像の自己相関行列Mを以下の式より求める。
ここで、vi,vjはそれぞれi,j方向の偏微分関数を表し、mは小ウィンドウの大きさ、i,kはi,j番目の画素を中心とした小ウィンドウ内の画素の番号を表す。行列M(i,j)の固有値をλ(i,j)とすると,次の2次方程式を解くことで二つの固有値が得られる。
これら二つの固有値が両方とも大きい場合、i,j番目の画素は交差する2つのエッジを持っていることになり、コーナ特徴点として抽出される。他の特徴点抽出方法で実現してもよい。
続いて、第Nフレームの左画像から、既知のカメラ間相対姿勢に基づき、第Nフレームの右画像で対応点を算出する。このことにより、カメラ変化前の第Nフレームの両画像の対応点を組み合わせる。
図9は、実施例1における左カメラが撮影した第Nフレームから第N+1フレームの対応点を検出するステップ(図5の左画像オプティカルフロー算出ステップS1053)の結果の例を表す模式図である。対応点を検出する手法を述べると、撮像部の左カメラ101aで連続撮影された2画像に対し、前フレーム(第Nフレーム)画像からLucas-Kanadeオプティカルフロー抽出法を基づき、抽出された特徴点を後フレーム(第N+1フレーム)画像で対応点を検出する。第Nフレーム画像から抽出した特徴点についてそれを中心とした小ウィンドウを切り出し、その小ウィンドウが第N+1の画像どこに存在するか探索し、次のような2つの仮定の下、画像の偏微分を利用する。
1. カメラ間相対位置姿勢が小さい
2.局所的には画像はほぼ一様な動きをする。
第Nフレームの画像をvL(i,j)とし、抽出した特徴点画素の位置をiL,jLとする。さらに、第N+1の画像をvR(i,j)とし、探索結果となる特徴点画像の位置をiR,jRとする。対応点探索は次式で表現される連立方程式を解き、左画像101aが撮影した第Nフレーム画像と第N+1フレーム画像の対応点を検出することにより実施する。
1. カメラ間相対位置姿勢が小さい
2.局所的には画像はほぼ一様な動きをする。
第Nフレームの画像をvL(i,j)とし、抽出した特徴点画素の位置をiL,jLとする。さらに、第N+1の画像をvR(i,j)とし、探索結果となる特徴点画像の位置をiR,jRとする。対応点探索は次式で表現される連立方程式を解き、左画像101aが撮影した第Nフレーム画像と第N+1フレーム画像の対応点を検出することにより実施する。
他の対応点探索手法でもよい。
図10は、 実施例1における右カメラが撮影した第Nフレームから第N+1フレームの対応点を検出するステップ(図5の右画像オプティカルフロー算出ステップS1054)の結果の例を表す模式図である。このステップ1054でも、前記S1053と同様な手順を踏む。すなわち、撮像部の右カメラ101bで連続撮影された2画像に対し、前フレーム(第Nフレーム)画像からLucas-Kanadeオプティカルフロー抽出法を基づき、抽出された特徴点を後フレーム(第N+1フレーム)画像で対応点を検出する。第Nフレーム画像から抽出した特徴点についてそれを中心とした小ウィンドウを切り出し、その小ウィンドウが第N+1の画像どこに存在するか探索し、次のような2つの仮定の下、画像の偏微分を利用する。
1.カメラ間相対位置姿勢が小さい。
2.局所的には画像はほぼ一様な動きをする。
1.カメラ間相対位置姿勢が小さい。
2.局所的には画像はほぼ一様な動きをする。
第Nフレームの画像をvL(i,j)とし、抽出した特徴点画素の位置をiL,jLとする。さらに、第N+1の画像をvR(i,j)とし、探索結果となる特徴点画像の位置をiR,jRとする。特徴点探索は次式で表現される連立方程式を解き、右画像101bが撮影した第Nフレーム画像と第N+1フレーム画像の対応点を検出する。他の対応点探索手法でもよい。
図11は実施例1における各撮像部が同時に撮影した第N+1フレームの左右画像間の対応点を決定するステップ(図5の対応点決定ステップS1055)の結果の例を表す模式図である。先のステップS1052では先行する第Nフレームの左右画像の特徴対応点を算出した。そして、各画像の左画像の第Nフレームと第N+1フレームの対応点をステップS1053で、また右画像の第Nフレームと第N+1フレームの対応点をステップS1054で算出した。これらの結果をから、第N+1フレームの左右画像間の特徴対応点を認知できる。以上が対応点検出部104の処理の詳細である。
画像補正部107は、画像中心からの位置やレンズ歪みにとって歪められている対応点検出部104検出した両画像の対応点の各画像での位置を補正する。例えば、内部パラメータは、焦点距離{fx,fy}、画像中心位置{cx,cy}、歪みパラメータ{k1,k2,k3,p1,p2}で表現することができる。画像の幅をw、画像の高さをhとするとき、歪んだ画像上の点の座標{ud,vd}と補正後の画像上の点の座標{ud,vd}との関係は〔数5〕で表現することができる。
補正された対応点を、パラメータ推定部108と姿勢調整要否判断部106に提供し、カメラ相対姿勢推定とシステム復元アラーム要否判断を行う。他の補正方法で対応点を補正してもよい。
パラメータ推定部108は、画像補正部107提供した補正後の対応点の組を運用し、姿勢推定プログラムに基づき、各撮像部101間の相対姿勢を同定する。画像補正部103から得られた複数の対応点が、幾何学の関係式を満たすようにカメラ間相対姿勢を求める。相対姿勢の自由度に基づき、対応点の組みで相対姿勢を一意に決めることができる。特徴点探索に入り込む誤差の影響を軽減するため、より多くの対応点を抽出するべきである。
例えば、以下のように実現される。
複数の方程式から解を求める最も一般的な方法に最小2乗法がある。入力データに対してロバストな結果を出力できる手法として、RANSACという誤対応も同時に推定し排除するアルゴリズムを採用することができる。
抽出した対応点のうち、少量の対応点をランダムにサンプリングし、それによって相対姿勢を推定する。続いて、その推定結果を用いたときに幾何学的関係式が成り立つか否かを全ての対応点に対して判定し、成立した対応点数をその推定結果の評価とする。このランダムサンプリングを複数回行い、最も評価の高かった場合の相対姿勢から誤対応を決定して排除し、最終的に正しい対応点のみで最小2乗法を適用し推定結果とする。他の姿勢推定手法でもよい。
その推定結果を、環境認識システム制御部109と車載ステレオカメラシステム100との双方の全体制御を行う姿勢変更判断部105に提供する。この推定結果は、次回のカメラ相対姿勢変化があったか否かの判断のときに運用される。
姿勢調整要否判断部106は、ある条件を満たさない場合に、許容範囲を超える相対姿勢変化が起きたと判断し、マニュアルのシステム修正を請求するアラームを出す。判定方法として、対応点検出部104が算出した特徴対応点の個数がキャリブレーションに必要な対応点数の下限より少ない場合、及び前記の特徴点の抽出段階で抽出され左画面もしくは右画面のた特徴点の数に対する対応点検出部104が算出した特徴対応点の比率が20%以下になる場合、及び前記対応点検出部で検出した特徴対応点の重心の画像の中心からの偏移が80%を超える場合に、両画面のズレが許容範囲を超える可能性が高いと判断することができる。特徴対応点の数と左画像もしくは右画像の特徴点の数の比率について説明する。特徴点の数に対する対応点検出部104が算出した特徴対応点の数の比率が小さいと、左右両画面の比較時に大部分の特徴点が共通の画像領域外にはずれたことを意味し、つまり両画像のズレが大きいと判断することができるである。これらの場合に、ハードウェア的にアラームを出し、マニュアルの修正を請求する。前記比率及び偏移判定のしきい値は調整可能であり、20%、80%に限定するものではない。
図12は、実施例1における各撮像部が同時に撮影した両画像の相対姿勢変化が大きいためアラームを出す例を表す模式図である。S104のプログラムを運行するため、S120からの対応点組みが必要し、この対応点個数がある下限よりも少ないとき及びカメラ相対姿勢が図12のように許容範囲を超える相対姿勢変化が起きたときマニュアルのシステム修正を請求するアラームを出す。
環境認識システム制御部109は、ステレオカメラ姿勢推定の結果を出力し、車載ステレオカメラシステム100全体的に制御を行う。車載ステレオカメラシステムが撮影した画像から、環境認識を行い、被写体の3次元位置情報を算出し、この情報を基づき、カメラシステムを搭載した移動体の走行制御を行う。
100:車載ステレオカメラシステム
101a、101b:撮像部
102:画像取得部
103:画像保存部
104:対応点検出部
105:姿勢変更判断部
106:姿勢調整要否判断部
107:対応点補正部
108:パラメータ推定部
109:環境認識システム制御部
111:アラーム出力部
101a、101b:撮像部
102:画像取得部
103:画像保存部
104:対応点検出部
105:姿勢変更判断部
106:姿勢調整要否判断部
107:対応点補正部
108:パラメータ推定部
109:環境認識システム制御部
111:アラーム出力部
Claims (11)
- 移動体にそれぞれ配置された第1、第2のカメラを少なくとも備える車載ステレオカメラシステムのセルフキャリブレーション方法であって、
前記第1、第2のカメラで撮影した左画像、右画像のそれぞれの第1から第N+1フレームのデータを入力して保存し、
現フレームである左画像の第N+1フレームと右画像の第N+1フレームの組から、前記第1カメラ、第2カメラ間の相対姿勢に変化が生じたか否かを判断し、
前記第1カメラ、第2カメラ間の相対姿勢に変化が生じたと判断されたときに限り、左画像の第Nフレーム及び右画像の第Nフレームを用いて、左右画像それぞれの第N+1フレーム同士の組から対応する点の組を特徴対応点の対として検出し、検出された前記特徴対応点の対を使用してカメラ相対姿勢の推定を行うことを特徴とする車載ステレオカメラシステムのセルフキャリブレーション方法。 - 請求項1に記載の車載ステレオカメラシステムのセルフキャリブレーション方法であって、
前記特徴対応点の対を検出するステップは、
前記左画像の第Nフレームおよび右画像の第Nフレームからそれぞれ特徴点を抽出し、
抽出された特徴点から、前記左画像の第Nフレームとの右画像の第Nフレームの間の対応点を算出し、
前記左画像の第Nフレーム上の前記対応点に対応する前記左画像の第N+1フレーム上の点を算出し、前記右画像の第Nフレーム上の前記対応点に対応する前記右画像の第N+1フレーム上の点を算出し、もって左右画像それぞれの第N+1フレーム同士の前記特徴対応点を検出することを特徴とする車載ステレオカメラシステムのセルフキャリブレーション方法。 - 請求項1に記載の車載ステレオカメラシステムのキャリブレーション方法であって、
前記第1カメラ、第2カメラ間の相対姿勢に変化が生じたか否かの判断は、
左右画像それぞれの第N+1フレームの一方に横移動のみを行って他方に画素的にマッチングできる面積の最大値を算出し、マッチング比率を算出し、標準と比較して判断することを特徴とする車載ステレオカメラセルフキャリブレーション方法。 - 請求項1に記載の車載ステレオカメラシステムのキャリブレーション方法であって、
前記左右画像それぞれの第N+1フレーム同士の特徴対応点の対を使用してカメラ相対姿勢の推定が行なわれると、カメラ相対姿勢のズレが所定の許容範囲を超えるか否かを判定し、前記カメラ相対姿勢のズレが許容範囲を超える場合にシステム復元を要請するアラームを発することを特徴とする車載ステレオカメラシステムのキャリブレーション方法。 - 請求項4に記載の車載ステレオカメラシステムのキャリブレーション方法であって、
上記特徴対応点の数がキャリブレーションに必要な対応点数の下限より少ない場合に、前記カメラ相対姿勢のズレが許容範囲を超えると判断する特徴とする車載ステレオカメラシステムのキャリブレーション方方法。 - 請求項4に記載の車載ステレオカメラシステムのキャリブレーション方法であって、
前記左画像の特徴点の数もしくは前記右画像の特徴点の数に対する、前記左右画像それぞれの第N+1フレーム同士の特徴対応点の数の比率を算出し、当該比率が閾値以下である場合に、前記カメラ相対姿勢のズレが許容範囲を超えると判断する特徴とする車載ステレオカメラシステムのキャリブレーション方方法。 - 請求項4に記載の車載ステレオカメラシステムのキャリブレーション方法であって、
前記左右画像それぞれの第N+1フレーム同士の特徴対応点の重心位置の画像の中心からの偏移がしきい値を超える場合に、前記カメラ相対姿勢のズレが許容範囲を超えると判断することを特徴とする車載ステレオカメラシステムのキャリブレーション方法。 - 移動体にそれぞれ配置された第1、第2のカメラを少なくとも備える撮像部と、
前記第1、第2のカメラがそれぞれ撮影した画像を入力する画像取得部と、
前記第1、第2のカメラがそれぞれ撮影した画像を保存する画像保存部と、
前記第1、第2のカメラの姿勢同定を行うため、それぞれの撮影した画像を用いて前記第1、第2カメラ間の相対姿勢に変化が生じたか否かを判断する姿勢変更判断部と、
前記複数の撮像部中の2つの撮像部が左右両画像部として、前記第1、第2カメラそれぞれが撮影した左右画像の時系列フレームに基づき前記左右画像間の特徴対応点を検出する対応点検出部と、
前記検出した特徴対応点を使用し、前記複数の撮像部中の2つの撮像部カメラ姿勢推定を行うパラメータ推定部と、
許容範囲を超える相対姿勢変化が起きたときに、マニュアルのシステム修正を請求するアラームを出す姿勢調整要否判断部と、
環境認識システム制御部と、
を有するステレオカメラシステム。 - 請求項8に記載のステレオカメラシステムであって、
前記姿勢変更判断部は前記第1、第2カメラが撮影した左右画像の一方を横移動したのみで他方の画素にマッチングできる面積の最大値を算出して、マッチング比率を算出し、標準と比較して判断することを特徴とするステレオカメラシステム。 - 請求項8に記載のステレオカメラシステムであって、
前記対応点検出部は、前記第1カメラが撮影した左画像の第Nフレームの特徴点をと、第2カメラが撮像した右画像の第Nフレームの特徴点を抽出し、抽出された特徴点から前記左画像の第Nフレームと前記右画像の第Nフレームとの対応点を算出し、
前記左画像の第Nフレーム上の対応点に対応する左画像の第N+1フレームの点を算出し、前記右フレームの第Nフレームの対応点に対応する右画像の第N+1フレームの点を算出し、もって左右画像それぞれの第N+1フレーム同士の特徴対応点を検出することを特徴とするステレオカメラ装置。 - 請求項8に記載のステレオカメラシステムであって、
前記姿勢調整要否判断部は、前記対応点検出部のが検出した特徴対応点の個数を記録し、
前記特徴対応点の個数がキャリブレーションに必要な対応点数の下限より少ない場合、
もしくは前記左画像もしくは右画像の特徴点の数と前記検出した特徴対応点の比率がしきい値以下になる場合、
もしくは前記検出した特徴対応点の重心位置の画像の中心からの変移がしきい値を超えた場合に、前記マニュアルの修正請求のアラームを出すことを特徴とするステレオカメラ装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2013/070415 WO2015015542A1 (ja) | 2013-07-29 | 2013-07-29 | 車載ステレオカメラシステム及びそのキャリブレーション方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6035620B2 true JP6035620B2 (ja) | 2016-11-30 |
JPWO2015015542A1 JPWO2015015542A1 (ja) | 2017-03-02 |
Family
ID=52431124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015529231A Expired - Fee Related JP6035620B2 (ja) | 2013-07-29 | 2013-07-29 | 車載ステレオカメラシステム及びそのキャリブレーション方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6035620B2 (ja) |
WO (1) | WO2015015542A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101828558B1 (ko) * | 2017-06-22 | 2018-02-14 | 주식회사 디아이랩 | 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017208314A1 (ja) * | 2016-05-31 | 2017-12-07 | 株式会社日立製作所 | カメラシステム及びその自己較正方法 |
CN111670572B (zh) * | 2018-02-09 | 2022-01-28 | 索尼公司 | 校准装置、校准方法和计算机可读存储介质 |
JP7118717B2 (ja) * | 2018-04-18 | 2022-08-16 | 日立Astemo株式会社 | 画像処理装置およびステレオカメラ装置 |
JP7493302B2 (ja) * | 2018-10-02 | 2024-05-31 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP7472796B2 (ja) * | 2018-12-13 | 2024-04-23 | ソニーグループ株式会社 | 制御装置、制御方法、および制御プログラム |
TWI705011B (zh) * | 2019-03-12 | 2020-09-21 | 緯創資通股份有限公司 | 車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統 |
JP2022166505A (ja) | 2021-04-21 | 2022-11-02 | 株式会社東芝 | 3次元マップ推定装置および障害物検出装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004354257A (ja) * | 2003-05-29 | 2004-12-16 | Olympus Corp | キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム |
JP2008275366A (ja) * | 2007-04-26 | 2008-11-13 | Tokyo Institute Of Technology | ステレオ3次元計測システム |
JP2010271950A (ja) * | 2009-05-21 | 2010-12-02 | Canon Inc | 情報処理装置及びキャリブレーション処理方法 |
-
2013
- 2013-07-29 WO PCT/JP2013/070415 patent/WO2015015542A1/ja active Application Filing
- 2013-07-29 JP JP2015529231A patent/JP6035620B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004354257A (ja) * | 2003-05-29 | 2004-12-16 | Olympus Corp | キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム |
JP2008275366A (ja) * | 2007-04-26 | 2008-11-13 | Tokyo Institute Of Technology | ステレオ3次元計測システム |
JP2010271950A (ja) * | 2009-05-21 | 2010-12-02 | Canon Inc | 情報処理装置及びキャリブレーション処理方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101828558B1 (ko) * | 2017-06-22 | 2018-02-14 | 주식회사 디아이랩 | 자동 캘리브레이션 기능을 구비한 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
WO2015015542A1 (ja) | 2015-02-05 |
JPWO2015015542A1 (ja) | 2017-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6035620B2 (ja) | 車載ステレオカメラシステム及びそのキャリブレーション方法 | |
US10620000B2 (en) | Calibration apparatus, calibration method, and calibration program | |
JP6334734B2 (ja) | 車両サラウンドビューシステムの較正用データ処理システムおよび方法 | |
KR101969030B1 (ko) | 차량용 카메라 캘리브레이션 장치 및 그 방법 | |
JP4919036B2 (ja) | 移動物体認識装置 | |
US9087374B2 (en) | Automatic airview correction method | |
CN106960454B (zh) | 景深避障方法、设备及无人飞行器 | |
CN108470356B (zh) | 一种基于双目视觉的目标对象快速测距方法 | |
JP4341564B2 (ja) | 対象物判定装置 | |
EP2426642A1 (en) | Method, device and system for motion detection | |
JP4943034B2 (ja) | ステレオ画像処理装置 | |
KR101449160B1 (ko) | 차량의 사각지대 정보 제공 장치 및 방법 | |
US20060093239A1 (en) | Image processing method and image processing device | |
CA3000859A1 (en) | Camera-based speed estimation and system calibration therefor | |
JP2014074632A (ja) | 車載ステレオカメラの校正装置及び校正方法 | |
US11880993B2 (en) | Image processing device, driving assistance system, image processing method, and program | |
JP5228614B2 (ja) | パラメータ計算装置、パラメータ計算システムおよびプログラム | |
JP5501084B2 (ja) | 平面領域検出装置及びステレオカメラシステム | |
CN112597857B (zh) | 一种基于kinect的室内机器人楼梯攀爬位姿快速估计方法 | |
JP2016200557A (ja) | 校正装置、距離計測装置及び校正方法 | |
JP6617150B2 (ja) | 物体検出方法及び物体検出装置 | |
JP4586571B2 (ja) | 対象物判定装置 | |
US20200193184A1 (en) | Image processing device and image processing method | |
KR102065337B1 (ko) | 비조화비를 이용하여 대상체의 이동 정보를 측정하는 장치 및 방법 | |
JP2008224323A (ja) | ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161012 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6035620 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |