JP7126963B2 - ステレオカメラの調整システム - Google Patents

ステレオカメラの調整システム Download PDF

Info

Publication number
JP7126963B2
JP7126963B2 JP2019023195A JP2019023195A JP7126963B2 JP 7126963 B2 JP7126963 B2 JP 7126963B2 JP 2019023195 A JP2019023195 A JP 2019023195A JP 2019023195 A JP2019023195 A JP 2019023195A JP 7126963 B2 JP7126963 B2 JP 7126963B2
Authority
JP
Japan
Prior art keywords
vehicle
adjustment
stereo camera
plate
deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019023195A
Other languages
English (en)
Other versions
JP2020134148A (ja
Inventor
集 大塚
仁志 中村
真也 榎本
浩輔 中野
倫広 黒崎
謙治 亀飼
博之 松本
湧斗 中川
太希 雨宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2019023195A priority Critical patent/JP7126963B2/ja
Priority to US16/707,570 priority patent/US11574419B2/en
Publication of JP2020134148A publication Critical patent/JP2020134148A/ja
Application granted granted Critical
Publication of JP7126963B2 publication Critical patent/JP7126963B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402Image calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Description

本発明は、ステレオカメラの調整システム、特に、車両に搭載されたステレオカメラの位置的なずれを画像処理で修正するステレオカメラの調整システムに関する。
ステレオカメラを用いて同一対象を異なる視点から撮像し、その画像から得られる距離データ(視差)に基づいて対象を三次元的に認識するステレオ画像処理技術が知られている。車両においては、車両に搭載したステレオカメラで自車両前方画像を撮像し、その撮像画像から自車両前方の走行環境を三次元的に認識し、その自車両前方走行環境内の前方障害物に対する車両挙動を制御したり、先行車両への追従走行を制御したりする技術が開発され、実用に供されている。
こうしたステレオカメラは、一般に、2台1組のカメラを互いの光軸が略平行となるようにして所定の基線長(光軸間隔)で機械的に固定して構成される。このとき、2つのカメラの取付位置にずれが生じると、双方のカメラの撮像方向がずれてしまうことから、例えば自車両前方の走行環境を三次元的に適正に認識できないおそれがある。自車両前方の走行環境を三次元的に認識する場合、2つのカメラの光軸は車両の進行方向に対して真直ぐ向いている必要がある。また、ステレオカメラでは、周知のステレオマッチングを行う際、双方のカメラ画像間の対象検索ライン(エピポーラライン)が画素レベルで一致している必要がある。ステレオカメラの組立工程や車両への組付工程では、こうした構成上の条件が満たされるように努めているものの、或る程度の組付誤差や累積誤差は回避できない。
そこで、下記特許文献1では、ステレオカメラの前方に、ステレオカメラの位置的なずれに伴う画像情報のずれを修正するための調整用のチャートを配置し、この調整用チャートをステレオカメラで撮像し、その撮像画像を処理することによりステレオカメラの位置的なずれに伴う画像情報のずれを、例えば、車両に搭載されるカメラコントロールユニットで修正するステレオカメラの調整システムが開示されている。また、下記特許文献2では、上記ステレオカメラの調整システムに使用される具体的な調整用チャートの詳細が開示されている。
特開2004-132870号公報 特開2015-143657号公報
ところで、前述のように車両に搭載されたステレオカメラの位置的なずれに伴う画像情報のずれを画像処理で修正する場合、例えば、車両の左右前輪の車両幅方向内側面の位置を規定し、その状態で、上記調整用チャートが表示された調整用プレートを車両の前方の所定位置に配置し、その状態で、調整用チャートをステレオカメラで撮像して、上記の調整を行うようにしている。このとき、例えば、規定される車両の左右前輪の車両幅方向内側面に対して、車両が常に適正に調整用プレートに対向していれば問題ない。しかしながら、車両そのものに組付誤差や累積誤差がある場合には、車両の位置を規定する車両の左右前輪の車両幅方向内側面に対して、ステレオカメラの光軸を車両の進行方向に対して完全に真直ぐに対向させることが困難になる。即ち、例えば、組上げられた車両は、前述のように規定された車両停止状態の所定車両姿勢に対して、例えば、ヨー、ピッチ、ロール方向に姿勢がずれている可能性がある。
本発明は、上記課題に鑑みてなされたものであり、その目的は、ステレオカメラの光軸が車両の進行方向に対して真直ぐ向くようにすることで、車両に搭載されるステレオカメラの位置的なずれに伴う画像情報のずれをより適正に修正することが可能なステレオカメラの調整システムを提供することにある。
上記目的を達成するため請求項1に記載のステレオカメラの調整システムは、
ステレオカメラを搭載する車両に対して所定位置に、該ステレオカメラの位置的なずれに伴う画像情報のずれを調整するための調整用チャートが表示された調整用プレートを配置し、該調整用チャートを前記ステレオカメラで撮像し、該調整用チャートの撮像画像を処理することで前記ステレオカメラの位置的なずれに伴う画像情報のずれを修正するステレオカメラの調整システムにおいて、
前記調整用プレートの前記車両に対する配置状態を調整可能なプレート移動装置と、規定位置に停止された状態での前記車両の姿勢を検出する車両姿勢検出手段と、前記車両姿勢検出手段で検出された前記車両の姿勢に基づいて前記調整用プレートの配置状態が前記車両に対して所定位置になるように前記プレート移動装置による前記調整用プレートの配置状態の調整を制御するプレート配置制御手段と、を備えたことを特徴とする。
この構成によれば、例えば、組付誤差や累積誤差によって生じる車両のヨー方向、ピッチ方向、ロール方向の予め設定された所定姿勢に対するずれ量を車両姿勢として検出し、これらのずれ量を補正して、調整用プレートの調整配置状態を車両に対して所定位置になるように制御することで、ステレオカメラの光軸を車両の進行方向に対し真直ぐに向けることができ、これによりステレオカメラの位置的なずれに伴う画像情報のずれをより適正に修正することができる。
請求項2に記載のステレオカメラの調整システムは、請求項1に記載のステレオカメラの調整システムにおいて、前記車両姿勢検出手段は、予め設定された所定車両姿勢に対する前記車両のヨー方向、ピッチ方向、及びロール方向の少なくとも1つのずれ量を検出することを特徴とする。
この構成によれば、組付誤差や累積誤差によって生じる車両姿勢の状態を定量的に検出することができ、検出された車両姿勢の所定姿勢からのずれ量を補正するように調整用プレートの調整配置状態を制御することによって、ステレオカメラの光軸を車両の進行方向に対して真直ぐに向けることができる。
請求項3に記載のステレオカメラの調整システムは、請求項2に記載のステレオカメラの調整システムにおいて、前記プレート配置制御手段は、前記車両のヨー方向、ピッチ方向、及びロール方向の少なくとも1つのずれ量に基づいて、前記調整用プレートが前記車両の前方で且つ該車両から所定の距離の位置に配置されるように該調整用プレートの調整位置を制御することを特徴とする。
この構成によれば、ステレオカメラの光軸を車両の進行方向に対して確実に真直ぐに向けることができる。
請求項4に記載のステレオカメラの調整システムは、請求項2又は3に記載のステレオカメラの調整システムにおいて、前記プレート移動装置は、前記調整用プレートの前記車両に対する向きを調整することができ、前記プレート配置制御手段は、前記車両のヨー方向、ピッチ方向、及びロール方向の少なくとも1つのずれ量に基づいて、前記車両に対する前記調整用プレートの前記プレート移動装置による向きの調整を制御することを特徴とする。
この構成によれば、検出された車両姿勢の所定姿勢からのずれ量を補正するように調整用プレートの調整向きを制御することによって、ステレオカメラの光軸を車両の進行方向に対して確実に真直ぐに向けることができる。
請求項5に記載のステレオカメラの調整システムは、請求項2乃至4に記載のステレオカメラの調整システムにおいて、前記車両姿勢検出手段は、前記車両の上面画像、側面画像、及び後面又は前面画像の少なくとも1つを取得する撮像手段を有して構成され、前記車両の上面画像から検出されたヨー方向姿勢判定基準、前記側面画像から検出されたピッチ方向姿勢判定基準、及び前記後面又は前面画像から検出されたロール方向姿勢判定基準の少なくとも1つに基づいて、前記車両のヨー方向、ピッチ方向、及びロール方向の少なくとも1つのずれ量を算出することを特徴とする。
この構成によれば、所定姿勢に対する車両のヨー方向、ピッチ方向、及びロール方向の少なくとも1つのずれ量を確実に検出することができる。
以上説明したように、本発明によれば、例えば、組付誤差や累積誤差によって生じる車両の所定姿勢に対するずれ量を検出し、これらのずれ量を補正して、調整用プレートの調整配置状態を車両に対して所定位置になるように制御することで、ステレオカメラの光軸を車両の進行方向に対し真直ぐに向けることができ、その結果、ステレオカメラの位置的なずれに伴う画像情報のずれをより適正に修正することができることから、自車両前方の走行環境を三次元的に正確に認識することが可能となる。
本発明のステレオカメラの調整システムの一実施の形態の概略構成を示す斜視図である。 図1のステレオカメラの調整システムにおけるプレート移動装置の作用を説明する三面図である。 図1のプレート配置制御装置で実行される演算処理のフローチャートである。
以下に、本発明のステレオカメラの調整システムの一実施の形態について図面を参照して詳細に説明する。図1は、この実施の形態のステレオカメラの調整システムの概略構成図、図2は、図1の三面図(後述のロボットは図示を省略)であり、図2(A)は平面図、図2(B)は側面図、図2(C)は背面図である。この実施の形態では、ステレオカメラ10は車両12に搭載されている。このステレオカメラ10は、2つのカメラ10a、10bを有し、それらカメラ10a、10bの光軸は、所定の基線長間隔で車両幅方向に並べるようにして、車両12の進行方向、すなわち前方に略一致されている。しかしながら、前述のように、例えば、ステレオカメラそのものの組付誤差や、車体取付状態における累積誤差によって、2つのカメラ10a、10bの光軸は必ずしも車両前方に一致されているとは限らない。そこで、上記特許文献1に記載されるように、それらのカメラ10a、10bの光軸の位置的なずれに伴う画像情報のずれを画像処理によって車両12側で修正するのが、この実施の形態の調整システムの本来の目的である。
この実施の形態では、車両12の左右前輪14の車両幅方向内側面を規定する規定部材18(図2(A)参照)がステレオカメラ調整エリア内に予め設置されている。このステレオカメラ調整エリアでは、例えば、車両12の前輪14及び後輪16が所定の位置になるようにして、ステアリングホイールを中庸状態に維持した無人車両直進状態で、左右前輪14の車両幅方向内側面を規定部材18で規定することにより車両12の位置を規定する。このように車両12を規定位置に停止した状態で、車両12が予め設定された規定姿勢状態に一致している場合の姿勢を所定車両姿勢と規定する。このように停止位置が規定された車両12の前方に調整用プレート20が配置される。調整用プレート20の車両側の面には、例えば、前述した特許文献2に記載の調整用チャートが表示されている。
車両12側で行うステレオカメラ10の調整(画像情報のずれの修正)は、例えば、前述の特許文献1や特開2015-190921号公報に詳細に記載されている。このステレオカメラ10の調整について簡潔に述べるならば、撮像画像内の対象となる点(物体)までの距離を三角測量法で求めるためには、2つのカメラ画像における対象点の視差(距離データ)が必要となるが、この視差を求めるために、それぞれのカメラ画像における対象点を探索するためのエピポーラライン(この場合、略水平画素ライン)を一致させる必要がある。具体的には、2つのカメラ画像の光学的歪みの補正、車両12のヨー方向及びピッチ方向における光軸の調整、及び2つのカメラ10a、10bの位置ずれ、具体的には並進及び回転方向のずれの修正をパラメータの補正で行うことにより、2つのカメラ10a、10bのエピポーララインが一致される。この調整は車両12側で行われ、そのために、例えば、ステレオカメラ10のコントロールユニットには、調整のためのプログラムが予め実装されている。
一方、ステレオカメラ10を搭載する車両12そのものにも、組付誤差や累積誤差があり得る。すなわち、上記のように車両位置を規定しても、調整用プレート20が正しく車両12の前方にある、換言すれば、ステレオカメラ10が調整用プレート20の調整用チャートに正対しているとは限らない。そこで、この実施の形態では、規定位置に停止している車両12の姿勢を検出し、調整用チャートが車両12の前方に対向、換言すれば車両12の進行方向と対向するように調整用プレート20の位置及び向き、すなわち配置状態を移動調整する。具体的には、調整用プレート20が車両12の進行方向真直ぐ前方で且つその車両12から所定の距離の位置に配置されるように移動調整する。この目的のために、調整用プレート20はプレート移動装置に取付けられている。具体的に、この実施の形態では、調整用プレート20を多軸産業用ロボット(以下、ロボット)22に取付け、ロボット22のマニュプレータを移動することで調整用プレート20を移動させる。また、ロボット22は、車両幅方向への移動を可能とするスライド装置24に搭載されている。
このロボット22及びスライド装置24からなるプレート移動装置により、調整用プレート20は、車両12の前方で、車両幅方向、上下方向、車両前後方向の位置を調整することができ、且つ車両12のヨー方向、ピッチ方向、ロール方向に向きを調整することもできる。なお、ロボット22及びスライド装置24は、後述する車両外部のプレートコントローラ32からの指令に応じ、予め記憶された軌跡に沿って、調整用プレート20を車両幅方向、上下方向、車両前後方向の位置を調整すると共に、車両12のヨー方向、ピッチ方向、ロール方向の向きを調整する。
また、この実施の形態では、上記規定位置に停止している車両12の姿勢を検出するために、車両12の上面画像を撮像する上方カメラ26、側面画像を撮像する側方カメラ28、及び後面画像を撮像する後方カメラ30を備える。後方カメラ30に代えて、車両12の前面画像を撮像する前方カメラとすることも可能である。後述する車両姿勢検出では、これらの撮像画像から車両12の姿勢を検出するための判定基準を検出する。例えば、車両12の上面画像からは車両12のヨー方向の姿勢を検出するためのヨー方向姿勢判定基準として、例えばルーフサイドレールRを検出する。また、車両12の側面画像からは車両12のピッチ方向の姿勢を検出するためのピッチ方向姿勢判定基準として、例えばキャラクタラインCを検出する。また、車両12の後面画像からは車両12のロール方向の姿勢を検出するためのロール方向姿勢判定基準として、例えば車両幅方向両側のリヤコンビネーションランプL(レンズ)の上端を連結する直線を検出する。車両12の後面画像に代えて、車両12の前面画像を撮像する場合には、例えば車両幅方向両側のヘッドライト(レンズ)の上端を連結する直線を検出するなどすればよい。
プレートコントローラ32は、コンピュータシステムを用いて構成され、高度な演算処理機能を有する。また、既存のコンピュータシステムと同様に、記憶装置や入出力装置を備え、予め記憶されたプログラムに従って作動する。この実施の形態では、プレートコントローラ32は、上方カメラ26、側方カメラ28、後方カメラ30の撮像画像を入力し、ロボット22及びスライド装置24に調整用プレート20の移動指令を出力する。
図3は、プレートコントローラ32で実行される演算処理のフローチャートである。この演算処理は、オペレータの操作で開始され、まずステップS1で、上記上方カメラ26で撮像された車両上面画像を読込む。
次にステップS2に移行して、ステップS1で読込まれた車両上面画像から、例えばルーフサイドレールなどのヨー方向姿勢判定基準を検出する。このルーフサイドレールの検出は、例えば周知のテンプレートマッチングなどが適用可能である。
次にステップS3に移行して、ステップS2で検出したヨー方向姿勢判定基準から車両12のヨー方向姿勢ずれ量を算出する。このヨー方向姿勢ずれ量は、前述した車両12の状態が設定状態に一致している場合の所定車両姿勢におけるヨー方向姿勢判定基準と、実際に検出されたヨー方向姿勢判定基準が、どの方向に、どれぐらいずれているかを、例えば画像中の画素値から求める。
次にステップS4に移行して、上記側方カメラ28で撮像された車両側面画像を読込む。
次にステップS5に移行して、ステップS4で読込まれた車両側面画像から、例えばキャラクタラインなどのピッチ方向姿勢判定基準を検出する。このキャラクタラインの検出は、例えば周知のテンプレートマッチングなどが適用可能である。
次にステップS6に移行して、ステップS5で検出したピッチ方向姿勢判定基準から車両12のピッチ方向姿勢ずれ量を算出する。このピッチ方向姿勢ずれ量は、前述した車両12の状態が設定状態に一致している場合の所定車両姿勢におけるピッチ方向姿勢判定基準と、実際に検出されたピッチ方向姿勢判定基準が、どの方向に、どれぐらいずれているかを、例えば画像中の画素値から求める。
次にステップS7に移行して、上記後方(又は前方)カメラで撮像された車両後面(又は前面)画像を読込む。
次にステップS8に移行して、ステップS7で読込まれた車両後面(又は前面)画像から、例えばリヤコンビネーションランプ(又はヘッドライト)の上端を連結する直線などのロール方向姿勢判定基準を検出する。このリヤコンビネーションランプ(又はヘッドライト)の検出は、例えば周知のテンプレートマッチングなどが適用可能である。
次にステップS9に移行して、ステップS8で検出したロール方向姿勢判定基準から車両12のロール方向姿勢ずれ量を算出する。このロール方向姿勢ずれ量は、前述した車両12の状態が設定状態に一致している場合の所定車両姿勢におけるロール方向姿勢判定基準と、実際に検出されたロール方向姿勢判定基準が、どの方向に、どれぐらいずれているかを、例えば画像中の画素値から求める。
次にステップS10に移行して、ヨー方向、ピッチ方向、及びロール方向の姿勢ずれ量からステレオカメラ10の正面、すなわち車両12の進行方向に調整用プレート20を正対させるためのプレート移動位置及び向きを算出する。これは、換言すれば、ヨー方向、ピッチ方向、及びロール方向への車両12の姿勢ずれを調整用プレート20側で補正して、車両12の進行方向に調整用チャートを正対させるための補正量である。
次にステップS11に移行して、ロボット22及びスライド装置24(プレート移動装置)に調整用プレート移動指令を出力してから復帰する。具体的には、例えば、ステレオカメラ10の正対位置に調整用チャートの基準点を位置させるように調整用プレート20を移動し、且つ、ヨー方向姿勢ずれ量(ヨー角変化量)、ピッチ方向姿勢ずれ量(ピッチ角変化量)、及びロール方向姿勢ずれ量(ロール角変化量)だけ、調整用プレート20を回転する。
この演算処理によれば、上方カメラ26、側方カメラ28、後方カメラ30で撮像された車両12の上面画像、側面画像、後面画像から、それぞれ、ヨー方向姿勢判定基準、ピッチ方向姿勢判定基準、ロール方向姿勢判定基準が検出され、それらの所定車両姿勢における姿勢判定基準からヨー方向、ピッチ方向、ロール方向のずれ量が算出され、それらのずれ量を補正して、車両12の進行方向の真直ぐ前方の所定位置に調整用プレート20が移動される。したがって、その状態から、上記車両12側の調整プログラムを起動することで、ステレオカメラ10の位置的なずれに伴う画像情報のずれを画像処理によって適正に修正することができる。
このように、この実施の形態のステレオカメラの調整システムでは、ステレオカメラ10を搭載する車両12に対して所定位置に調整用プレート20を配置し、その調整用プレート20に表示された調整用チャートをステレオカメラ10で撮像し、その調整用チャートの撮像画像を処理することでステレオカメラ10の位置的なずれに伴う画像情報のずれを修正する場合に、調整用プレート20の車両12に対する配置状態を調整可能とすると共に車両12の姿勢を検出し、検出された車両12の姿勢に基づいて調整用プレート20の配置状態が車両12に対して所定位置になるようにプレート移動装置による配置状態の調整を制御する。これにより、組付誤差や累積誤差によって生じる車両12のヨー方向、ピッチ方向、ロール方向の所定車両姿勢に対するずれ量を補正して、調整用プレート20の調整位置を車両12に対して所定位置になるように制御することができ、その結果、ステレオカメラ10の光軸を車両12の進行方向に対し真直ぐに向けることができることから、ステレオカメラ10の位置的なずれに伴う画像情報のずれをより適正に修正することができる。
また、予め設定された所定車両姿勢に対する車両12のヨー方向、ピッチ方向、及びロール方向のずれ量を検出することにより、組付誤差や累積誤差によって生じる車両姿勢の状態を定量的に検出することができ、検出された車両姿勢の所定姿勢からのずれ量を補正するように調整用プレート20の調整配置状態を制御することによって、ステレオカメラ10の光軸を車両12の進行方向に対して真直ぐに向けることができる。
また、車両12のヨー方向、ピッチ方向、及びロール方向のずれ量に基づいて、調整用プレート20が車両12の前方で且つその車両12から所定の距離の位置に配置されるように調整用プレート20の調整配置状態を制御することにより、ステレオカメラ10の光軸を車両12の進行方向に対して確実に真直ぐに向けることができる。
また、車両12のヨー方向、ピッチ方向、及びロール方向のずれ量に基づいて、車両12に対する調整用プレート20のプレート移動装置による向きの調整を制御することにより、検出された車両姿勢の所定姿勢からのずれ量を補正するように調整用プレート20の調整向きを制御することによって、ステレオカメラ10の光軸を車両12の進行方向に対して確実に真直ぐに向けることができる。
また、車両12の上面画像、側面画像、及び後面画像をカメラで取得し、車両12の上面画像から検出されたヨー方向姿勢判定基準、側面画像から検出されたピッチ方向姿勢判定基準、及び前記後面画像から検出されたロール方向姿勢判定基準に基づいて、車両12のヨー方向、ピッチ方向、及びロール方向のずれ量を算出する。これにより、所定車両姿勢に対する車両12のヨー方向、ピッチ方向、及びロール方向のずれ量を確実に検出することができる。
以上、実施の形態に係るステレオカメラの調整システムについて説明したが、本件発明は、上記実施の形態で述べた構成に限定されるものではなく、本件発明の要旨の範囲内で種々変更が可能である。例えば、上記実施の形態では、車両12に対して調整用プレート20の向きを調整可能としたが、車両12に対するヨー方向、ピッチ方向、ロール方向の向きのずれ量が微小である場合には、調整用プレートの向きの調整を省略することもできる。
同様に、所定車両姿勢に対する車両12のヨー方向、ピッチ方向、ロール方向の何れかのずれ量が調整不要な程度に微小な場合には、その方向のずれ量の補正を省略することも可能である。
また、プレート移動装置はロボット22に限定されるものではなく、例えば周知の3軸ステージ(テーブル)などを用いることもできる。更に、上記実施の形態では、プレート移動装置をステレオカメラ調整エリア、例えば検査場の床面に設置しているが、このプレート移動装置を床面以外の部位に設けてもよい。例えば、プレート移動装置を検査場の天井に設け、検査場に移動された車両の前方に調整用プレートが上方から下降され、ステレオカメラの調整後に調整プレートが上昇され、上昇された調整用プレートの下方を車両が移動するようにすることもできる。更には、調整用プレートの両側に設けられた柱で調整用プレートの昇降を案内する構造とし、それら柱と調整用プレートの支持部に、調整用プレートの角度を変更する機構を設け、その角度変更機構をプレート移動装置とすることもできる。このようにしても、ステレオカメラの調整後に、調整用プレートの下方を車両が移動することができる。また、調整用プレートを吊り下げ式にすることも可能である。
10 ステレオカメラ
12 車両
20 調整用プレート
22 ロボット(プレート移動装置)
24 スライド装置(プレート移動装置)
26 上方カメラ(撮像手段)
28 側方カメラ(撮像手段)
30 後方カメラ(撮像手段)
32 プレートコントローラ(プレート配置制御手段)

Claims (5)

  1. ステレオカメラを搭載する車両に対して所定位置に、該ステレオカメラの位置的なずれに伴う画像情報のずれを調整するための調整用チャートが表示された調整用プレートを配置し、該調整用チャートを前記ステレオカメラで撮像し、該調整用チャートの撮像画像を処理することで前記ステレオカメラの位置的なずれに伴う画像情報のずれを修正するステレオカメラの調整システムにおいて、
    前記調整用プレートの前記車両に対する配置状態を調整可能なプレート移動装置と、
    規定位置に停止された状態での前記車両の姿勢を検出する車両姿勢検出手段と、
    前記車両姿勢検出手段で検出された前記車両の姿勢に基づいて前記調整用プレートの位置が前記車両に対して所定位置になるように前記プレート移動装置による前記調整用プレートの配置状態の調整を制御するプレート配置制御手段と、を備えたことを特徴とするステレオカメラの調整システム。
  2. 前記車両姿勢検出手段は、予め設定された所定車両姿勢に対する前記車両のヨー方向、ピッチ方向、及びロール方向の少なくとも1つのずれ量を検出することを特徴とする請求項1に記載のステレオカメラの調整システム。
  3. 前記プレート配置制御手段は、前記車両のヨー方向、ピッチ方向、及びロール方向の少なくとも1つのずれ量に基づいて、前記調整用プレートが前記車両の前方で且つ該車両から所定の距離の位置に配置されるように該調整用プレートの配置状態の調整を制御することを特徴とする請求項2に記載のステレオカメラの調整システム。
  4. 前記プレート移動装置は、前記調整用プレートの前記車両に対する向きを調整することができ、
    前記プレート配置制御手段は、前記車両のヨー方向、ピッチ方向、及びロール方向の少なくとも1つのずれ量に基づいて、前記車両に対する前記調整用プレートの前記プレート移動装置による向きの調整を制御することを特徴とする請求項2又は3に記載のステレオカメラの調整システム。
  5. 前記車両姿勢検出手段は、前記車両の上面画像、側面画像、及び後面又は前面画像の少なくとも1つを取得する撮像手段を有して構成され、前記車両の上面画像から検出されたヨー方向姿勢判定基準、前記側面画像から検出されたピッチ方向姿勢判定基準、及び前記後面又は前面画像から検出されたロール方向姿勢判定基準の少なくとも1つに基づいて、前記車両のヨー方向、ピッチ方向、及びロール方向の少なくとも1つのずれ量を算出することを特徴とする請求項2乃至4の何れか1項に記載のステレオカメラの調整システム。
JP2019023195A 2019-02-13 2019-02-13 ステレオカメラの調整システム Active JP7126963B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019023195A JP7126963B2 (ja) 2019-02-13 2019-02-13 ステレオカメラの調整システム
US16/707,570 US11574419B2 (en) 2019-02-13 2019-12-09 Stereo camera adjustment system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019023195A JP7126963B2 (ja) 2019-02-13 2019-02-13 ステレオカメラの調整システム

Publications (2)

Publication Number Publication Date
JP2020134148A JP2020134148A (ja) 2020-08-31
JP7126963B2 true JP7126963B2 (ja) 2022-08-29

Family

ID=71946126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019023195A Active JP7126963B2 (ja) 2019-02-13 2019-02-13 ステレオカメラの調整システム

Country Status (2)

Country Link
US (1) US11574419B2 (ja)
JP (1) JP7126963B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007261463A (ja) 2006-03-29 2007-10-11 Clarion Co Ltd 車載カメラのキャリブレーションシステム
JP2017032280A (ja) 2015-07-28 2017-02-09 株式会社リコー 角度算出システム、角度算出装置、プログラム、および角度算出方法
US20200174107A1 (en) 2018-11-30 2020-06-04 Lyft, Inc. Lidar and camera rotational position calibration using multiple point cloud comparisons
US20210197841A1 (en) 2017-02-27 2021-07-01 Robert Bosch Gmbh Device and method for calibrating vehicle assistance systems

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0642164Y2 (ja) * 1989-03-17 1994-11-02 トヨタ自動車株式会社 トー調整装置
DE10246066B4 (de) * 2002-10-02 2007-11-22 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kalibrierung eines Bildsensorsystems in einem Kraftfahrzeug
JP4109077B2 (ja) 2002-10-11 2008-06-25 敬二 実吉 ステレオカメラの調整装置およびステレオカメラの調整方法
JP6447055B2 (ja) * 2014-01-28 2019-01-09 株式会社リコー 校正方法、校正装置、計測用具及びプログラム
JP6204844B2 (ja) 2014-01-31 2017-09-27 株式会社Subaru 車両のステレオカメラシステム
JP5906272B2 (ja) 2014-03-28 2016-04-20 富士重工業株式会社 車両用ステレオ画像処理装置
US9933515B2 (en) * 2014-12-09 2018-04-03 Toyota Motor Engineering & Manufacturing North America, Inc. Sensor calibration for autonomous vehicles
US20190172225A1 (en) * 2017-12-04 2019-06-06 Electronics And Telecommunications Research Institute Vehicle sensor calibration apparatus and method using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007261463A (ja) 2006-03-29 2007-10-11 Clarion Co Ltd 車載カメラのキャリブレーションシステム
JP2017032280A (ja) 2015-07-28 2017-02-09 株式会社リコー 角度算出システム、角度算出装置、プログラム、および角度算出方法
US20210197841A1 (en) 2017-02-27 2021-07-01 Robert Bosch Gmbh Device and method for calibrating vehicle assistance systems
US20200174107A1 (en) 2018-11-30 2020-06-04 Lyft, Inc. Lidar and camera rotational position calibration using multiple point cloud comparisons

Also Published As

Publication number Publication date
US20200258258A1 (en) 2020-08-13
US11574419B2 (en) 2023-02-07
JP2020134148A (ja) 2020-08-31

Similar Documents

Publication Publication Date Title
US9682842B2 (en) Automated roll transport facility
KR20100071914A (ko) 주차 지원장치
JP4196841B2 (ja) 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP6664830B2 (ja) 製造システム
JP6577661B2 (ja) 路面変位検出装置およびサスペンション制御方法
US20160093053A1 (en) Detection method and detection apparatus for detecting three-dimensional position of object
US20180123307A1 (en) Electronic equipment assembly apparatus and electronic equipment assembly method
JP2012061553A (ja) ワーク姿勢検出装置、ワーク処理実行装置及びワーク姿勢検出方法
JP2001252883A (ja) 移動ロボットシステム
JP3412465B2 (ja) 移動ロボット装置
JP6450530B2 (ja) 車載カメラの取付角度調整処理、取付角度検出装置
JP7126963B2 (ja) ステレオカメラの調整システム
JP2000242330A (ja) 自動操舵移動体およびその移動体の操舵補正装置、並びに移動体の操舵補正方法
US10849261B2 (en) Surface mounter and method of correcting recognition error
JP6565367B2 (ja) 位置補正システム
JP6930517B2 (ja) 位置合わせ装置
JP4957920B2 (ja) 移動体の教示方法及び移動体の制御装置並びに移動体システム
JP2001300875A (ja) ロボットシステム
KR100557682B1 (ko) 주행 바닥면 영상정보를 이용한 이동로봇의 주행제어방법
JP2008039745A (ja) キャリブレーション方法およびキャリブレーション装置
JP2006331255A (ja) 産業用ロボットの制御方法
KR20160125210A (ko) 컨베이어 연동의 로봇 동기 제어방법
JP4983783B2 (ja) 移動体及び移動体システム
JPH05337785A (ja) 研削ロボットの研削経路修正装置
JP2782959B2 (ja) 視覚機能付自動取付装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210928

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220720

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220817

R150 Certificate of patent or registration of utility model

Ref document number: 7126963

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150