JP6413974B2 - キャリブレーション装置、キャリブレーション方法、及びプログラム - Google Patents

キャリブレーション装置、キャリブレーション方法、及びプログラム Download PDF

Info

Publication number
JP6413974B2
JP6413974B2 JP2015155037A JP2015155037A JP6413974B2 JP 6413974 B2 JP6413974 B2 JP 6413974B2 JP 2015155037 A JP2015155037 A JP 2015155037A JP 2015155037 A JP2015155037 A JP 2015155037A JP 6413974 B2 JP6413974 B2 JP 6413974B2
Authority
JP
Japan
Prior art keywords
vehicle
camera
image
target
specifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015155037A
Other languages
English (en)
Other versions
JP2017032483A (ja
Inventor
田中 仁
仁 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2015155037A priority Critical patent/JP6413974B2/ja
Priority to CN201680045014.2A priority patent/CN107852482B/zh
Priority to PCT/JP2016/070939 priority patent/WO2017022452A1/ja
Priority to DE112016003549.7T priority patent/DE112016003549T5/de
Priority to US15/749,908 priority patent/US10546380B2/en
Publication of JP2017032483A publication Critical patent/JP2017032483A/ja
Application granted granted Critical
Publication of JP6413974B2 publication Critical patent/JP6413974B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P1/00Details of instruments
    • G01P1/07Indicating devices, e.g. for remote indication
    • G01P1/08Arrangements of scales, pointers, lamps or acoustic indicators, e.g. in automobile speedometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402Image calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras

Description

本発明は、車両に搭載されたカメラの姿勢パラメータを導出する技術に関する。
従来、自動車に搭載されたカメラの姿勢パラメータを導出するキャリブレーションを実行するキャリブレーション装置が知られている(特許文献1参照)。
特許文献1に記載されたキャリブレーション装置では、画像に写り込んだ既定校正ターゲットを鳥瞰変換した結果が、実際の既定ターゲットの形状及び大きさに最も近似する、ロール,ピッチ,及び高さを探索して特定する。ここで言う既定校正ターゲットとは、形状及び大きさが既知であり、規定された地点に配置された撮影対象物である。
さらに、キャリブレーション装置では、自車両の車速を検知する車速センサ、及び水平面に直交する軸周りの自車両の回転角を検知する回転角センサから、車速及び回転角を取得する。そして、取得した車速及び回転角に基づいて、異なる地点で撮影した画像に写り込んだ固定物体(以下、「疑似校正ターゲット」と称す)の位置の相違と、回転の相違とが最小となる、x座標,y座標,ヨーを探索して特定する。
特開2014−48803号公報
特許文献1に記載されたキャリブレーション装置では、姿勢パラメータのうち、x座標,y座標,ヨーを特定するために、自車両の車速と自車両の回転角とを自車両に搭載された車速センサ及び回転角センサから取得しなければならない。
ところで、キャリブレーションは、自動車の製造段階やディーラーでの整備段階で実施されることが多い。特に、自動車の製造段階やディーラーでの整備段階では、車両に搭載する機器の設置順序の自由度を高めることが求められており、キャリブレーションを実施する時点で、車速センサや回転角センサが組み付けられていない可能性がある。
この場合、特許文献1に記載されたキャリブレーション装置では、キャリブレーションを実施できないという課題が生じる。
つまり、カメラの姿勢パラメータを導出する技術において、実施の自由度をより高くすることが求められている。
そこで、本発明は、カメラの姿勢パラメータを導出する技術において、実施の自由度をより高くすることを目的とする。
上記目的を達成するためになされた本発明は、車両に搭載された複数のカメラ(10)それぞれの姿勢パラメータを特定するキャリブレーション装置(20)に関する。
ここで言う複数のカメラのそれぞれは、車両の周辺に規定された互いに異なる領域であり、かつ、互いの領域の一部が重複する重複領域を有した規定領域を撮影するように、車両に搭載されたカメラである。この複数のカメラには、車両の前方を撮影する第1カメラ(10A)と、車両の右側方を撮影する第2カメラ(10B)と、車両の方を撮影する第3カメラ(10C)と、車両の左側方を撮影する第4カメラ(10D)とを含む。
そして、キャリブレーション装置は、画像取得部(20,S140〜S370)と、第1特定部(20,S380)と、第2特定部(20,S390)とを備えている。
画像取得部は、カメラそれぞれで撮影した各画像を取得する。
第1特定部は、画像取得部で取得した各画像の重複領域に写り込んだ撮影ターゲットを射影変換した結果が、撮影ターゲットの形状及び大きさに一致するように、カメラそれぞれの姿勢パラメータのうち、ロール,ピッチ,及び高さを特定する。撮影ターゲットとは、形状及び大きさが既知な部材である。ロールとは、カメラのレンズ中心軸周りの回転角を表す。ピッチとは、カメラの水平軸周りの回転角を表す。高さとは、車両の車高方向に沿った座標である。
第2特定部は、仮想リンク構造における1つのリンク角が最小となるように、カメラそれぞれの姿勢パラメータのうち、x座標、y座標、及びヨーを特定する。ここで言う仮想リンク構造とは、画像取得部で取得した各画像に写り込んだ撮影ターゲットの代表点を仮想的に接続した線分をリンクとして形成される仮想リンク構造であって、互いに異なる画像の重複領域に写り込み、同一の地点に位置する撮影ターゲットにおける代表点を一致させたものである。また、x座標とは、車両の全長方向に沿った座標である。y座標とは、車両の車幅方向に沿った座標である。ヨーとは、車両の水平面と直交する軸周りの回転角を表す。
画像取得部は、第1取得部(20,S160,S170)と、第2取得部(20,S280,S290)とを備える。
第1取得部は、車両の前方に位置する撮影ターゲットを、第1カメラ、第2カメラ、及び第カメラで撮影した画像を取得する。第2取得部は、車両の後方に位置する撮影ターゲットを、第4カメラ、第2カメラ、及び第3カメラで撮影した画像であって、第1取得部で取得した画像とは異なる画像を取得する。
そして、第1特定部及び第2特定部は、第1取得部で取得した各画像、及び第2取得部で取得した各画像を、画像取得部で取得した各画像とする。
このようなキャリブレーション装置においては、姿勢パラメータのうちのx座標、y座標、及びヨーを特定するために用いる情報は、カメラで撮影した画像だけであり、車両の車速や車両の回転角は不要である。
つまり、キャリブレーション装置によれば、車両の車速を検出するセンサや、車両の回転角を検出するセンサが組み付けられていない場合であっても、キャリブレーションを実行できる。
この結果、カメラの姿勢パラメータを導出する技術において、キャリブレーションを実施する自由度をより高くすることができる。
なお、キャリブレーション装置においては、姿勢パラメータの特定に用いる画像のうち、車両の前方に位置する撮影ターゲットを第1カメラ、第2カメラ、及び第カメラで撮影した画像は、車両を移動させること無く停止した状態で車両の前方に配置された撮影ターゲットを撮影したものであってもよい。そして、姿勢パラメータの特定に用いる画像のうち、車両の後方に位置する撮影ターゲットを第4カメラ、第2カメラ、及び第3カメラで撮影した画像は、車両の前方に配置された撮影ターゲットと同一の撮影ターゲットを車両の後方へと移動させた上で、車両自体を移動させること無く停止した状態で撮影したものであってもよい。
上述したような方法で、姿勢パラメータの特定に用いる画像を取得すれば、姿勢パラメータの特定に必要となる面積を必要最小限とすることができる。すなわち、自動車の製造段階やディーラーでの整備段階での姿勢パラメータの特定に必要となる面積を容易に確保できる。
ところで、上記目的を達成するためになされた発明の一態様は、カメラの姿勢パラメータを特定するキャリブレーション方法であってもよいし、車両に搭載されるコンピュータが実行するプログラムであってもよい。
前者のようなキャリブレーション方法によれば、キャリブレーション装置と同様の効果を得ることができる。
後者のようなプログラムによれば、記録媒体から必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。そして、コンピュータに各手順を実行させることで、そのコンピュータをキャリブレーション装置として機能させることができる。ここで言う記録媒体には、例えば、DVD−ROM、CD−ROM、ハードディスク等のコンピュータ読み取り可能な電子媒体を含む。
なお、「特許請求の範囲」及び「課題を解決するための手段」の欄に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
キャリブレーションシステムの概略構成を説明するブロック図である。 カメラの配置及び撮影範囲を説明する説明図である。 (A)は撮影ターゲットの一例を示す説明図であり、(B)は撮影ターゲットの他の例を示す説明図である。 キャリブレーション処理の処理手順を示すフローチャートである。 (A)は撮影ターゲット間に到達する前に撮影する画像を説明する説明図であり、(B)は撮影ターゲット間を通過した後に撮影する画像を説明する説明図である。 (A)は探索領域の設定を説明する説明図であり、(B)は探索領域に写り込んだ撮影ターゲットを探索する手法の概要を説明する説明図である。 キャリブレーション処理の処理手順の続きを示すフローチャートである。 リンク構造の特定方法を説明する説明図である。
以下に本発明の実施形態を図面と共に説明する。
<キャリブレーションシステム>
図1に示すキャリブレーションシステム1は、車両5(図2参照)に搭載された複数のカメラ10それぞれの姿勢パラメータを特定するシステムである。ここで言う車両5は、四輪自動車である。
このキャリブレーションシステム1は、複数のカメラ10と、入力装置14と、キャリブレーション装置20と、表示装置40とを備える。
このうち、カメラ10それぞれは、広角レンズを介して、車両の周囲に規定された規定領域を撮影する周知のカメラである。なお、広角レンズとは、画角が広く(例えば60度以上)、焦点距離の短いレンズである。この広角レンズの一例として、魚眼レンズ(例えば画角が180度以上のレンズ)が考えられる。
ここで言う規定領域は、図2に示すように、車両5の周辺に規定された互いに異なる領域であり、かつ、互いの領域の一部が重複する重複領域を有した領域である。
本実施形態におけるカメラ10には、第1カメラ10Aと、第2カメラ10Bと、第3カメラ10Cと、第4カメラ10Dとを含む。
第1カメラ10Aは、車両5の前方に規定された規定領域(以下、「前方規定領域」と称す)を撮影するように車両5の前端部に設置される。第2カメラ10Bは、車両5の右側方に規定された規定領域(以下、「右規定領域」と称す)を撮影するように車両5の右側面に設置される。第3カメラ10Cは、車両5の後方に規定された規定領域(以下、「後方規定領域」と称す)を撮影するように車両5の後端部に設置される。第4カメラ10Dは、車両5の左側方に規定された規定領域(以下、「左規定領域」と称す)を撮影するように車両5の左側面に設置される。
入力装置14は、情報の入力を受け付ける周知の装置である。この入力装置14には、キーボードやポインティングデバイス、スイッチなどの各種入力機器を含む。ここで言うポインティングデバイスには、タッチパッドやタッチパネルなどの周知の機構を含む。
さらに、本実施形態の入力装置14は、ダイアグツールであってもよい。ここで言うダイアグツールとは、キャリブレーション装置20との間で情報の入出力を行うと共に、キャリブレーション装置20から取得した情報を解析する道具(ツール)である。
表示装置40は、画像を表示する周知の装置である。表示装置40の一例として、液晶ディスプレイが考えられる。
<キャリブレーション装置>
キャリブレーション装置20は、カメラ10それぞれで撮影した画像に基づく処理を実行する装置である。このキャリブレーション装置20は、パラメータ記憶部22と、制御部24とを備えている。
このうち、パラメータ記憶部22は、書換可能な不揮発性の記憶装置である。このパラメータ記憶部22の一例として、ハードディスクドライブやフラッシュメモリなどが考えられる。
このパラメータ記憶部22には、カメラ10それぞれが設置された車両空間上での位置、及びカメラ10それぞれが設置された姿勢を表す姿勢パラメータが記憶される。
この姿勢パラメータには、x座標、y座標、高さz、ピッチΘ,ロールΦ,及びヨーΨを含む。
x座標は、カメラ10それぞれが設置された車両空間上での座標であり、車両5の全長方向に沿った座標である。y座標は、カメラ10それぞれが設置された車両空間上での座標であり、車両5の車幅方向に沿った座標である。さらに、高さzは、カメラ10それぞれが設置された車両空間上での座標であり、車両5の車高方向に沿った座標である。
また、ピッチΘは、カメラ10それぞれの水平軸周りの回転角を表す。なお、ここで言う水平軸とは、車両5における水平面と平行な軸である。ロールΦは、カメラ10それぞれのレンズ中心軸周りの回転角を表す。ヨーΨは、車両5における水平面と直交する軸周りの回転角を表す。
制御部24は、ROM26,RAM28,CPU30を有した周知のマイクロコンピュータを中心に構成された周知の制御装置である。ROM26は、電源を切断しても記憶内容を保持する必要のあるデータやプログラムを記憶する。RAM28は、データを一時的に格納する。CPU30は、ROM26またはRAM28に記憶されたプログラムに従って処理を実行する。
キャリブレーション装置20には、車両5の車輪速を検出する車輪速センサが接続されている。そして、制御部24は、車輪速センサからの車輪速に基づく周知の手法により、車両5の走行速度を算出する。
制御部24のROM26には、撮影ターゲット50(図3参照)を複数のカメラ10で撮影した画像に基づいて、各カメラ10の姿勢パラメータを特定するキャリブレーション処理を、制御部24が実行するための処理プログラムが格納されている。
さらに、制御部24のROM26には、撮影ターゲット50の形状及び大きさを表すターゲット情報が格納されている。すなわち、撮影ターゲット50は、少なくとも、形状及び大きさが既知である。
本実施形態における撮影ターゲット50は、少なくとも3以上の頂点を有した多角形に形成されている。撮影ターゲット50の形状は、図3(A)に示すように三角形であってもよいし、図3(B)に示すように四角形であってもよいし、頂点の個数が「5」以上の多角形であってもよい。
なお、撮影ターゲット50は、カメラ10で撮影した画像において、頂点の座標を特定可能な部材であれば、どのようなものであってもよい。撮影ターゲット50の一例として、図3(A),図3(B)に示すように、大きさ及び色の異なる多角形に形成された2つの板状の部材を、同芯状に固定したものが考えられる。
また、本実施形態におけるターゲット情報には、例えば、撮影ターゲット50が何角形であるかを示す情報(即ち、撮影ターゲット50の頂点の個数と頂点の相対的な位置関係)、撮影ターゲット50の各辺の長さ、撮影ターゲット50の各頂点における内角(または外角)の大きさが含まれる。
<キャリブレーション処理>
次に、本実施形態におけるキャリブレーション処理の起動条件について説明する。
キャリブレーション処理を起動する前段階の準備として、2つの撮影ターゲット50は、相対的な位置関係が固定された状態となるように配置される。ここで言う相対的な位置関係は、例えば、距離を含むものである。2つの撮影ターゲット50は、具体的には、車両5の車幅よりも間隔を空けて配置される。
そして、キャリブレーション処理は、起動指令の入力を受け付けると起動される。この起動指令は、キャリブレーション処理を起動するための指令であり、入力装置14としてのダイアグツールを介して入力されてもよいし、その他の方法で入力されてもよい。
キャリブレーション処理が起動されると、キャリブレーションシステム1が搭載された車両5を、2つの撮影ターゲット50の手前から、その2つの撮影ターゲット50の間を通過するように走行させる。そして、キャリブレーション処理では、車両5を走行させている期間にカメラ10で撮影した画像に基づいて処理を実行する。
具体的には、キャリブレーション処理が起動されると、図4に示すように、キャリブレーション装置20の制御部24は、車両5の走行速度を取得する(S110)。本実施形態におけるS110では、制御部24は、車輪速センサからの車輪速に基づく周知の手法により車両5の走行速度を算出して取得すればよい。
続いて、制御部24は、S110で取得した走行速度が、予め規定された速度閾値以下であるか否かを判定する(S120)。速度閾値とは、徐行を含む低速で車両5が走行していることを表す走行速度として規定されていてもよい。
このS120での判定の結果、走行速度が速度閾値よりも大きければ(S120:NO)、制御部24は、第1エラー信号を表示装置40に出力する(S130)。第1エラー信号とは、走行速度が速度閾値よりも大きく、キャリブレーションの精度が低くなる可能性が高い旨を示す信号である。その第1エラー信号を取得した表示装置40は、走行速度が速度閾値よりも大きい旨を表示する。なお、S130において表示装置40に表示する内容は、走行速度が速度閾値よりも大きい旨に限るものではなく、例えば、キャリブレーションの精度が低くなる可能性が高い旨であってもよい。
なお、キャリブレーションとは、カメラ10それぞれの姿勢パラメータを特定する処理である。本実施形態におけるキャリブレーションは、キャリブレーション処理のS380,S390にて実行される。
制御部24は、その後、キャリブレーション処理をS110へと戻す。
一方、S120での判定の結果、走行速度が速度閾値以下であれば(S120:YES)、制御部24は、フロント撮影画像における探索範囲である前端探索範囲を設定する(S140)。
フロント撮影画像とは、図5(A)に示すような前方規定領域を撮影対象として、第1カメラ10Aで撮影する画像である。また、前端探索範囲とは、2つの撮影ターゲット50の間に車両5の前端が到達する前に第1カメラ10Aで撮影したフロント撮影画像において、撮影ターゲット50のそれぞれが写り込んでいるか否かの判定を実行する対象とする領域である。本実施形態における前端探索範囲は、フロント撮影画像における左右の端部のそれぞれに設けられる領域である。
具体的に、S140における制御部24は、フロント撮影画像と、第2カメラ10B及び第4カメラ10Dで撮影された画像とが重複する領域のうちの設定された領域を、前端探索範囲として設定する。すなわち、S140で設定される前端探索範囲は、撮影ターゲット50が写り込む可能性が高い領域である。
キャリブレーション処理では、続いて、制御部24は、右撮影画像及び左撮影画像における前方探索範囲を設定する(S150)。右撮影画像とは、図5(A)に示すような右規定領域を撮影対象として、第2カメラ10Bで撮影した画像である。また、左撮影画像とは、図5(A)に示すような左規定領域を撮影対象として、第4カメラ10Dで撮影した画像である。
そして、前方探索範囲とは、2つの撮影ターゲット50の間に車両5の前端が到達する前に第2カメラ10Bで撮影された右撮影画像、及び第4カメラ10Dで撮影された左撮影画像それぞれに、撮影ターゲット50が写り込んでいるか否かの判定を実行する対象とする領域である。この前方探索範囲は、右撮影画像における車両前方側の端部、及び左撮影画像における車両前方側の端部に設けられる領域である。
具体的に、S150における制御部24は、右撮影画像及び左撮影画像のそれぞれと、フロント撮影画像との重複領域うちの設定された領域を、前方探索範囲として設定する。
さらに、キャリブレーション処理では、制御部24は、画像を撮影させる撮影指令を第1カメラ10Aに出力する(S160)。その撮影指令を取得した第1カメラ10Aは、フロント撮影画像を撮影する。そして、第1カメラ10Aは、キャリブレーション装置20の制御部24に、撮影したフロント撮影画像を出力する。
さらに、制御部24は、画像を撮影させる撮影指令を、第2カメラ10B及び第4カメラ10Dに出力する(S170)。
その撮影指令を取得した第2カメラ10Bは、右撮影画像を撮影する。そして、第2カメラ10Bは、キャリブレーション装置20の制御部24に、撮影した右撮影画像を出力する。また、撮影指令を取得した第4カメラ10Dは、左撮影画像を撮影する。そして、第4カメラ10Dは、キャリブレーション装置20の制御部24に、撮影した左撮影画像を出力する。
続いて、キャリブレーション処理では、制御部24は、S160で撮影したフロント撮影画像における前端探索範囲のそれぞれから、撮影ターゲット50の有無を検出する(S180)。本実施形態のS180では、制御部24は、図6(A)に示すような、フロント撮影画像における前端探索範囲に、撮影ターゲット50が写り込んでいるか否かを確認する。撮影ターゲット50が写り込んでいるか否かの確認は、例えば、図6(B)に示すように、探索範囲を予め規定された2方向以上の方向に沿って、撮影ターゲット50の頂点の有無を検出することで実施すればよい。そして、各頂点の位置関係が撮影ターゲット50の形状と矛盾していなければ、撮影ターゲット50が写り込んでいるものと判定し、各頂点の位置関係が撮影ターゲット50の形状と矛盾していれば、撮影ターゲット50が写り込んでいないものと判定すればよい。
なお、本実施形態において、画像に写り込んだ撮影ターゲット50の頂点を検出する方法としては、種々の周知の手法が考えられる。このため、ここでの詳しい説明は省略するが、例えば、周知のエッジ検出処理を予め規定された2方向から実施し、そのエッジ検出処理によって2つの方向の双方にてエッジとして検出された画素を、撮影ターゲット50の頂点の座標としてもよい。
また、各頂点の位置関係が撮影ターゲット50の形状と矛盾しているか否かの判定は、各頂点の位置が、撮影ターゲット50の形状として記憶されている形状に一致するか否かを判定することで実施すればよい。すなわち、検出された各頂点の位置が一直線上である場合や、検出された頂点の個数が撮影ターゲット50の頂点の個数よりも明らかに多い場合には、各頂点の位置関係が撮影ターゲット50の形状と矛盾しているものと判定すればよい。
そして、キャリブレーション処理では、S180での結果、フロント撮影画像における前端探索範囲のそれぞれに撮影ターゲット50が写り込んでいなければ(S190:NO)、制御部24は、詳しくは後述するS240へとキャリブレーション処理を移行させる。フロント撮影画像における前端探索範囲のそれぞれに撮影ターゲット50が写り込んでいない状況として、設置された撮影ターゲット50を撮影可能な位置に車両5が到達していない状況が考えられる。
一方、S180での結果、フロント撮影画像における前端探索範囲のそれぞれから撮影ターゲット50の検出に成功していれば(S190:YES)、制御部24は、キャリブレーション処理をS200へと移行させる。
そのS200では、制御部24は、S170で撮影した左撮影画像における前方探索範囲から、撮影ターゲット50の有無を検出する。本実施形態のS200では、制御部24は、左撮影画像における前方探索範囲に、撮影ターゲット50が写り込んでいるか否かを探査する。撮影ターゲット50が写り込んでいるか否かを探査する手法は、S180における手法と同様であるため、ここでの詳しい説明は省略する。
そして、S200での結果、左撮影画像における前方探索範囲に撮影ターゲット50が写り込んでいなければ(S210:NO)、制御部24は、キャリブレーション処理をS240へと移行させる。一方、S200での結果において、左撮影画像における前方探索範囲から撮影ターゲット50の検出に成功していれば(S210:YES)、制御部24は、キャリブレーション処理をS220へと移行させる。
そのS220では、制御部24は、S170で撮影した右撮影画像における前方探索範囲のそれぞれから、撮影ターゲット50の有無を検出する。本実施形態のS220では、制御部24は、右撮影画像における前方探索範囲に、撮影ターゲット50が写り込んでいるか否かを探査する。撮影ターゲット50が写り込んでいるか否かを探査する手法は、S180における手法と同様であるため、ここでの詳しい説明は省略する。
そして、S220での結果、右撮影画像における前方探索範囲から撮影ターゲット50の検出に成功していれば(S230:YES)、制御部24は、詳しくは後述するS260へとキャリブレーション処理を移行させる。一方、S220での結果、右撮影画像における前方探索範囲に撮影ターゲット50が写り込んでいなければ(S230:NO)、制御部24は、キャリブレーション処理をS240へと移行させる。
そのS240では、制御部24は、S160へと最初に移行してから、予め規定された第1所定時間が経過したか否かを判定する。第1所定時間は、2つの撮影ターゲット50の手前に規定された地点から速度閾値以下の走行速度で走行する車両5の前端が、2つの撮影ターゲット50の間を通過するまでに要する時間長として規定されている。
このS240での判定の結果、第1所定時間が経過していれば(S240:YES)、制御部24は、本キャリブレーション処理を終了する。すなわち、フロント撮影画像における前端探索範囲や右撮影画像及び左撮影画像の前方探索範囲から、撮影ターゲット50を検出できる可能性がなくなった場合には、キャリブレーション処理を終了し再度実行させる。
一方、S240での判定の結果、第1所定時間が経過していなければ(S240:NO)、制御部24は、第2エラー信号を表示装置40に出力する(S250)。第2エラー信号とは、フロント撮影画像、左撮影画像、及び右撮影画像の少なくともいずれか1つに、撮影ターゲット50が写り込んでいない旨を表す信号である。その第2エラー信号を取得した表示装置40は、フロント撮影画像、左撮影画像、及び右撮影画像の少なくともいずれか1つに、撮影ターゲット50が写り込んでいない旨を表示する。
キャリブレーション装置20の制御部24は、その後、キャリブレーション処理をS160へと戻す。すると、制御部24は、撮影指令を第1カメラ10Aに出力し(S160)、以降のステップを繰り返す。
図7に示すように、S230での判定の結果、右撮影画像における前方探索範囲から撮影ターゲット50の検出に成功している場合に移行するS260では、制御部24は、リア撮影画像における探索範囲である後端探索範囲を設定する。
リア撮影画像とは、図5(B)に示すような後方規定領域を撮影対象として、第3カメラ10Cで撮影する画像である。また、後端探索範囲とは、2つの撮影ターゲット50の間を車両5の後端が通過した後に第3カメラ10Cで撮影したリア撮影画像において、撮影ターゲット50のそれぞれが写り込んでいるか否かの判定を実行する対象とする領域である。本実施形態における後端探索範囲は、リア撮影画像における左右の端部のそれぞれに設けられる。
具体的に、S260における制御部24は、リア撮影画像と、右撮影画像及び左撮影画像とが重複する領域のうちの設定された領域を後端探索範囲として設定する。すなわち、S260で設定される後端探索範囲は、撮影ターゲット50が写り込む可能性が高い領域である。
キャリブレーション処理では、続いて、制御部24は、右撮影画像及び左撮影画像における探索範囲である後方探索範囲を設定する(S270)。
後方探索範囲とは、2つの撮影ターゲット50の間を車両5の後端が通過した後に第2カメラ10Bで撮影された右撮影画像、及び第4カメラ10Dで撮影された左撮影画像それぞれに、撮影ターゲット50が写り込んでいるか否かの判定を実行する対象とする領域である。この後方探索範囲は、右撮影画像における車両後方側の端部、及び左撮影画像における車両後方側の端部に設けられる領域である。
具体的に、S150における制御部24は、右撮影画像及び左撮影画像のそれぞれと、リア撮影画像との重複領域うちの設定された領域を、後方探索範囲として設定する。
続いて、制御部24は、第3カメラ10Cに撮影指令を出力する(S280)。その撮影指令を取得した第3カメラ10Cは、リア撮影画像を撮影する。そして、第3カメラ10Cは、キャリブレーション装置20の制御部24に、撮影したリア撮影画像を出力する。
さらに、制御部24は、第2カメラ10B及び第4カメラ10Dに撮影指令を出力する(S290)。
その撮影指令を取得した第2カメラ10Bは、右撮影画像を撮影する。そして、第2カメラ10Bは、キャリブレーション装置20の制御部24に、撮影した右撮影画像を出力する。また、撮影指令を取得した第4カメラ10Dは、左撮影画像を撮影する。そして、第4カメラ10Dは、キャリブレーション装置20の制御部24に、撮影した左撮影画像を出力する。
続いて、キャリブレーション処理では、制御部24は、S280で撮影したリア撮影画像における後端探索範囲のそれぞれから、撮影ターゲット50の有無を検出する(S300)。本実施形態のS300では、制御部24は、リア撮影画像における後端探索範囲に、撮影ターゲット50が写り込んでいるか否かを探査する。撮影ターゲット50が写り込んでいるか否かを探査する手法は、S180における手法と同様であるため、ここでの詳しい説明は省略する。
そして、S300での結果、リア撮影画像における後端探索範囲のそれぞれから撮影ターゲット50を検出できなければ(S310:NO)、制御部24は、詳しくは後述するS360へとキャリブレーション処理を移行させる。リア撮影画像における後端探索範囲のそれぞれから撮影ターゲット50を検出できない状況として、設置された撮影ターゲット50の間を車両5の後端が通過していない状況が考えられる。
一方、S300での結果、リア撮影画像における後端探索範囲のそれぞれから撮影ターゲット50の検出に成功していれば(S310:YES)、制御部24は、キャリブレーション処理をS320へと移行させる。
そのS320では、制御部24は、S290で撮影した左撮影画像における後方探索範囲から、撮影ターゲット50の有無を検出する。本実施形態のS320では、制御部24は、左撮影画像における後方探索範囲に、撮影ターゲット50が写り込んでいるか否かを探査する。撮影ターゲット50が写り込んでいるか否かを探査する手法は、S180における手法と同様であるため、ここでの詳しい説明は省略する。
そして、S320での結果、左撮影画像における後方探索範囲から撮影ターゲット50を検出できなければ(S330:NO)、制御部24は、キャリブレーション処理をS360へと移行させる。一方、S320での結果、左撮影画像における後方探索範囲から撮影ターゲット50の検出に成功していれば(S330:YES)、制御部24は、キャリブレーション処理をS340へと移行させる。
そのS340では、制御部24は、S290で撮影した右撮影画像における後方探索範囲から、撮影ターゲット50の有無を検出する。本実施形態のS340では、制御部24は、右撮影画像における後方探索範囲に、撮影ターゲット50が写り込んでいるか否かを探査する。撮影ターゲット50が写り込んでいるか否かを探査する手法は、S180における手法と同様であるため、ここでの詳しい説明は省略する。
そして、S340での結果、右撮影画像における後方探索範囲から撮影ターゲット50の検出に成功していれば(S350:YES)、制御部24は、詳しくは後述するS380へとキャリブレーション処理を移行させる。一方、S340での結果、右撮影画像における後方探索範囲から撮影ターゲット50を検出できなければ(S350:NO)、制御部24は、キャリブレーション処理をS360へと移行させる。
そのS360では、制御部24は、S280へと最初に移行してから、予め規定された第2所定時間が経過したか否かを判定する。第2所定時間は、2つの撮影ターゲット50の間に車両5の前端が到達してから、速度閾値以下の車速で走行する車両5の後端が、2つの撮影ターゲット50の間を通過するまでに要する時間長として規定されていてもよい。
このS360での判定の結果、第2所定時間が経過していれば(S360:YES)、制御部24は、本キャリブレーション処理を終了する。すなわち、リア撮影画像における後端探索範囲や右撮影画像及び左撮影画像における後方探索範囲から撮影ターゲット50を検出できる可能性がなくなった場合には、キャリブレーション処理を終了し再度実行させる。
一方、S360での判定の結果、第2所定時間が経過していなければ(S360:NO)、制御部24は、第3エラー信号を表示装置40に出力する。第3エラー信号とは、リア撮影画像、左撮影画像、及び右撮影画像の少なくともいずれか1つに、撮影ターゲット50が写り込んでいない旨を表す信号である。その第3エラー信号を取得した表示装置40は、フロント撮影画像、左撮影画像、及び右撮影画像の少なくともいずれか1つに、撮影ターゲット50が写り込んでいない旨を表示する。
キャリブレーション装置20の制御部24は、その後、キャリブレーション処理をS280へと戻す。すると、制御部24は、第3カメラ10Cに撮影指令を出力し(S280)、以降のステップを繰り返す。
ところで、各撮影画像の探索範囲に写り込んだ撮影ターゲット50全ての検出に成功した場合に移行するS380では、制御部24は、カメラ10それぞれの姿勢パラメータのうち、ピッチΘ,ロールΦ,及び高さzを特定し、パラメータ記憶部22に記憶する。
ピッチΘ,ロールΦ,及び高さzを特定する方法は、特許第5299231号に記載のように周知であるため、ここでの詳しい説明は省略するが、例えば、次の方法で特定すればよい。
具体的にS380では、制御部24は、各撮影画像を射影変換する。本実施形態における射影変換は、鳥瞰変換である。そして、制御部24は、その鳥瞰変換した画像における撮影ターゲット50の形状が、実際の撮影ターゲット50の形状と一致するように、各カメラ10のピッチΘ,及びロールΦを探索して特定する。さらに、制御部24は、鳥瞰変換した画像に写り込んだ撮影ターゲットであり、実際の撮影ターゲット50の形状と一致した形状の撮影ターゲットの大きさが、実際の撮影ターゲット50の大きさと一致するように、各カメラ10の高さzを特定する。
続いて、キャリブレーション処理のS390では、制御部24は、カメラ10それぞれの姿勢パラメータのうち、x座標,y座標,及びヨーΨを特定し、パラメータ記憶部22に記憶する。
S390では、制御部24は、まず、各画像に写り込んだ撮影ターゲット50の代表点の座標を特定する手順1を実行する。代表点とは、各画像に写り込んだ撮影ターゲット50における代表的な箇所である。なお、本実施形態においては、重心を代表点として説明する。
そして、S390では、制御部24は、各撮影ターゲット50の代表点の座標が一致するような仮想リンク構造を算出する手順2を実行する。仮想リンク構造とは、各画像に写り込んだ撮影ターゲットの代表点を仮想的に接続した線分をリンクとして形成した構造である。
さらに、S390では、制御部24は、評価関数の評価値が最小となるように、仮想リンク構造におけるリンク角αを探索して特定する手順3を実行する。そして、手順3で特定したリンク角αを用いて、カメラ10それぞれの姿勢パラメータのうち、x座標,y座標,及びヨーΨを特定する手順4を実行する。
このうち、手順1において、画像に写り込んだ撮影ターゲット50の代表点の座標を求める手法の一例として、特許第5299231号に記載の手法を用いることが考えられる。
なお、以下では、図8に示すように、画像に写り込んだ撮影ターゲット50の代表点のうち、2つの撮影ターゲット50の間に車両5の前端が到達する前に、第1カメラ10Aと第4カメラ10Dとの双方で撮影された画像に写り込んだ撮影ターゲット50の代表点を、Mとする。また、画像に写り込んだ撮影ターゲット50の代表点のうち、2つの撮影ターゲット50の間に車両5の前端が到達する前に、第1カメラ10Aと第2カメラ10Bとの双方で撮影された画像に写り込んだ撮影ターゲット50の代表点を、Mとする。
また、画像に写り込んだ撮影ターゲット50の代表点のうち、2つの撮影ターゲット50の間を車両5の後端が通過した後に、第3カメラ10Cと第2カメラ10Bとの双方で撮影された画像に写り込んだ撮影ターゲット50の代表点を、Mとする。また、画像に写り込んだ撮影ターゲット50の代表点のうち、2つの撮影ターゲット50の間を車両5の後端が通過した後に、第3カメラ10Cと第4カメラ10Dとの双方で撮影された画像に写り込んだ撮影ターゲット50の代表点を、Mとする。
そして、本実施形態のキャリブレーション処理においては、Mを、以下の(1)式から(6)式によって求める。なお、Mの導出は、MからMまでを求める過程において、時間軸に沿って最後に実行する。
ここで、(1)式におけるベクトルM,ベクトルMは、それぞれ、カメラ10のうち、特定のカメラの原点から、M,Mへと向かうベクトルである。また、ベクトルMは、Mを基点としてMへと向かうベクトルである。
本実施形態において、2つの撮影ターゲット50は相対的な位置関係が固定された上で配置されているため、MとMとの相対的な位置関係は、MとMとの相対的な位置関係と同一である。このため、上記(1)式を、下記(2)式へと変換できる。
ただし、符号δは、ベクトルMとベクトルMとがなす角度である。なお、ベクトルMは、Mを基点としてMへと向かうベクトルである。
ここで、ベクトルMをx成分とy成分とに分けると、下記(3)式,及び下記(4)式によって表せる。
2つの撮影ターゲット50の間に車両5の前端が到達する前に撮影された画像に写り込んだ撮影ターゲット50における2つの頂点Pをベクトルで表すと、ベクトルPとなる。また、その撮影ターゲット50と同じ地点に配置され、2つの撮影ターゲット50の間を車両5の後端が通過した後に撮影された画像に写り込んだ撮影ターゲット50における2つの頂点Qをベクトルで表すと、ベクトルQとなる。
そして、符号δは、ベクトルPとベクトルQとのなす角と同一である。
よって、COS(δ)は、下記(5)式によって表され、SIN(δ)は、下記(6)式によって表される。ただし、(5)式における符号Lは、1つの撮影ターゲット50における2つの頂点間の長さである。
そして、(5)式で表されるCOS(δ)、及び(6)式で表されるSIN(δ)を、(2)式に代入すれば、Mを導出できる。
なお、本実施形態においては、手順2,手順3,及び手順4は、周知の手法を用いて実現すればよい。その手順2,手順3,及び手順4の一例として、特許第5299231号に記載の手法を用いることが考えられる。
その後、制御部24は、キャリブレーション処理を終了する。
[実施形態の効果]
以上説明したように、キャリブレーション処理では、姿勢パラメータを特定するために用いる画像として、2つの撮影ターゲット50の間を車両が通過する前に、第1カメラ10A、第2カメラ10B、及び第4カメラ10Dで撮影した画像のそれぞれを取得できる。さらに、キャリブレーション処理においては、姿勢パラメータを特定するために用いる画像として、2つの撮影ターゲット50の間を車両5が通過した後に、第4カメラ10D、第2カメラ10B、及び第3カメラ10Cで撮影した画像のそれぞれを取得できる。
すなわち、キャリブレーション処理によれば、車両5を走行させるという簡易な動作によって、キャリブレーションの実行に必要な画像を取得できる。
さらに、キャリブレーション処理においては、キャリブレーションを実行するために用いる情報は、カメラ10で撮影した画像だけであり、車両5の回転角などのその他の情報は不要である。
つまり、キャリブレーション処理によれば、車両5の回転角を検出するセンサが組み付けられていない場合であっても、キャリブレーションを実行できる。
この結果、カメラ10の姿勢パラメータを導出する技術において、実施の自由度をより高くすることができる。
ところで、キャリブレーション処理においては、各画像から撮影ターゲット50を検出できなければ、撮影ターゲット50を検出できない旨を報知している。
したがって、キャリブレーション処理によれば、キャリブレーションの実行に必要な画像を取得できなかったことを報知できる。これにより、キャリブレーション装置20の利用者は、キャリブレーションの実行に必要な画像を取得できなかった旨を認識できる。
さらに、キャリブレーション処理においては、撮影ターゲット50が写り込んでいるか否かを探索する探索範囲を各画像に設定し、その設定された探索範囲だけを探索している。
これにより、キャリブレーション処理によれば、撮影ターゲット50が各画像に写り込んでいるか否かを判定する処理の処理量を低減できる。
また、キャリブレーション処理では、走行速度が速度閾値以下である場合にだけ、カメラ10それぞれで撮影した各画像に撮影ターゲット50が写り込んでいるか否かを判定している。
よって、キャリブレーション処理によれば、低速で走行している場合に撮影した画像を取得してキャリブレーションを実行できる。このため、キャリブレーション処理によれば、キャリブレーションの精度を向上させることができる。
また、キャリブレーション処理によれば、走行速度が速度閾値よりも大きい場合には、走行速度が速度閾値よりも大きい旨を報知している。このため、キャリブレーション装置20の利用者は、走行速度が速度閾値よりも大きく、キャリブレーションを実行できないことを認識できる。
ところで、キャリブレーション処理のS390においては、三角関数の演算を実行することなく、Mの導出を実現している。
このため、キャリブレーション処理によれば、Mの導出に必要となる処理量を軽減できる。
[その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
例えば、上記実施形態においては、キャリブレーションを行うために必要な画像を、車両5の車幅よりも間隔を空けて配置された2つの撮影ターゲット50の間を、車両5が走行する間に撮影した画像としていたが、キャリブレーションを行うために必要な画像は、これに限るものではない。
すなわち、キャリブレーション装置20において、姿勢パラメータの特定に用いる画像のうち、車両5の前方に位置する撮影ターゲット50を第1カメラ10A、第2カメラ10B、及び第4カメラ10Dで撮影した画像は、車両5を移動させること無く停止した状態で車両5の前方に配置された撮影ターゲット50を撮影したものであってもよい。そして、姿勢パラメータの特定に用いる画像のうち、車両5の後方に位置する撮影ターゲット50を第4カメラ10D、第2カメラ10B、及び第3カメラ10Cで撮影した画像は、車両5の前方に配置された撮影ターゲット50と同一の撮影ターゲット50を車両5の後方へと移動させた上で、車両5自体を移動させること無く停止した状態で撮影したものであってもよい。撮影ターゲット50を車両5の後方へと移動させる場合には、2つの撮影ターゲット50の相対的な位置関係は、車両5の前方に配置した場合の相対的な位置関係と同一であることが好ましい。
上述したような方法で、姿勢パラメータの特定に用いる画像を取得すれば、姿勢パラメータの特定に必要となる空間を必要最小限とすることができる。すなわち、車両5の前方に位置する撮影ターゲット50を第1カメラ10A、第2カメラ10B、及び第4カメラ10Dで撮影し、車両5を撮影ターゲット50が配置された位置まで前進させる。そして、車両5の後方に撮影ターゲット50を配置し、第4カメラ10D、第2カメラ10B、及び第3カメラ10Cで画像を撮影する。これにより、自動車の製造段階やディーラーでの整備段階で姿勢パラメータを特定する際に、必要となる水平面での面積を容易に確保できる。
また、上記実施形態のキャリブレーション処理では、S110からS130までのステップを実行していたが、キャリブレーション処理において、S110からS130までのステップは省略されていてもよい。
なお、上記実施形態の構成の一部を省略した態様も本発明の実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。
1…キャリブレーションシステム 5…車両 10,10A,10B,10C,10D…カメラ(第1カメラ,第2カメラ,第3カメラ,第4カメラ) 14…入力装置 20…キャリブレーション装置 22…パラメータ記憶部 24…制御部 26…ROM 28…RAM 30…CPU 40…表示装置 50…撮影ターゲット

Claims (9)

  1. 車両に搭載された複数のカメラ(10)それぞれの姿勢パラメータを特定するキャリブレーション装置(20)であって、
    前記複数のカメラのそれぞれは、車両の周辺に規定された互いに異なる領域であり、かつ、互いの領域の一部が重複する重複領域を有した規定領域を撮影するように、前記車両に搭載され、
    前記カメラには、前記車両の前方を撮影する第1カメラ(10A)と、前記車両の右側方を撮影する第2カメラ(10B)と、前記車両の方を撮影する第3カメラ(10C)と、前記車両の左側方を撮影する第4カメラ(10D)とを含み、
    前記カメラそれぞれで撮影した各画像を取得する画像取得部(20,S140〜S370)と、
    形状及び大きさが既知である部材を撮影ターゲット(50)とし、前記画像取得部で取得した各画像の重複領域に写り込んだ撮影ターゲットを射影変換した結果が、前記撮影ターゲットの形状及び大きさに一致するように、前記カメラそれぞれの姿勢パラメータのうち、前記カメラのレンズ中心軸周りの回転角を表すロール,前記カメラの水平軸周りの回転角を表すピッチ,及び前記車両の車高方向に沿った座標である高さを特定する第1特定部(20,S380)と、
    前記画像取得部で取得した各画像に写り込んだ前記撮影ターゲットの代表点を仮想的に接続した線分をリンクとして形成される仮想リンク構造であって、互いに異なる画像の重複領域に写り込み、同一の地点に位置する撮影ターゲットにおける代表点を一致させた前記仮想リンク構造における1つのリンク角が最小となるように、前記カメラそれぞれの姿勢パラメータのうち、前記車両の全長方向に沿った座標であるx座標、前記車両の車幅方向に沿った座標であるy座標、及び前記車両の水平面と直交する軸周りの回転角を表すヨーを特定する第2特定部(20,S390)と
    を備え、
    前記画像取得部は、
    前記車両の前方に位置する撮影ターゲットを、前記第1カメラ、前記第2カメラ、及び前記第カメラで撮影した画像を取得する第1取得部(20,S160,S170)と、
    前記車両の後方に位置する撮影ターゲットを、前記第4カメラ、前記第2カメラ、及び前記第3カメラで撮影した画像であって、前記第1取得部で取得した画像とは異なる画像を取得する第2取得部(20,S280,S290)と
    を備え、
    前記第1特定部及び前記第2特定部は、前記第1取得部で取得した各画像、及び前記第2取得部で取得した各画像を、前記画像取得部で取得した各画像とする、キャリブレーション装置。
  2. 前記撮影ターゲットは2つ設けられ、2つの前記撮影ターゲットは、前記車両の車幅よりも間隔を空けて配置され、
    前記第1取得部は、前記2つの撮影ターゲットの間を前記車両が通過する前に、前記第1カメラ、前記第2カメラ、及び前記第カメラで撮影した画像を取得し、
    前記第2取得部は、前記2つの撮影ターゲットの間を前記車両が通過した後に、前記第4カメラ、前記第2カメラ、及び前記第3カメラで撮影した画像を取得する、
    請求項1に記載のキャリブレーション装置。
  3. 前記画像取得部は、
    前記カメラそれぞれで撮影した各画像に前記撮影ターゲットが写り込んでいるか否かを判定する第1判定部(20,S180〜S230,S300〜S350)と、
    前記第1判定部での判定の結果、前記撮影ターゲットが写り込んでいなければ、前記撮影ターゲットが写り込んでいない旨を報知する第1報知部(20,S250,S370)と
    を備える、請求項1または請求項2に記載のキャリブレーション装置。
  4. 前記カメラそれぞれで撮影された画像において、前記撮影ターゲットが写り込んでいるか否かを判定する領域である探索範囲を設定する範囲設定部(20,S140,S150,S260,S270)を備え、
    前記第1判定部は、前記範囲設定部で設定された探索範囲に前記撮影ターゲットが写り込んでいるか否かを判定する、請求項3に記載のキャリブレーション装置。
  5. 前記車両の走行速度を取得する速度取得部(20,S110)と、
    前記速度取得部で取得した走行速度が、予め規定された速度閾値以下であるか否かを判定する第2判定部(20,S120)と
    を備え、
    前記第1判定部は、
    第2判定部での判定の結果、前記走行速度が前記速度閾値以下であれば、前記カメラそれぞれで撮影した各画像に前記撮影ターゲットが写り込んでいるか否かを判定する、請求項3または請求項4に記載のキャリブレーション装置。
  6. 前記第2判定部での判定の結果、前記走行速度が前記速度閾値よりも大きければ、前記走行速度が前記速度閾値よりも大きい旨を報知する第2報知部(20,S130)を備える、請求項5に記載のキャリブレーション装置。
  7. 前記撮影ターゲットは2つ設けられ、
    前記第1取得部で取得する画像の撮影対象である前記2つの撮影ターゲットと、前記第2取得部で取得する画像の撮影対象である前記2つの撮影ターゲットとは、互いに同一な位置関係に配置されており、
    前記第2特定部は、
    前記画像取得部で取得した各画像の重複領域に写り込んだ前記撮影ターゲットそれぞれの代表点の位置を順次特定し、
    その特定した代表点の位置を同一の撮影ターゲットについて一致させた前記仮想リンク構造を形成し、
    時間軸に沿って最後の撮影ターゲットの代表点の位置を特定する場合、その最後の撮影ターゲットに対応する撮影ターゲットの代表点の位置に基づいて特定する、請求項1から請求項6までのいずれか一項に記載のキャリブレーション装置。
  8. 車両に搭載された複数のカメラ(10)それぞれの姿勢パラメータを特定するキャリブレーション装置(20)が実行するキャリブレーション方法であって、
    前記複数のカメラのそれぞれは、車両の周辺に規定された互いに異なる領域であり、かつ、互いの領域の一部が重複する重複領域を有した規定領域を撮影するように、前記車両に搭載され、
    前記カメラには、前記車両の前方を撮影する第1カメラ(10A)と、前記車両の右側方を撮影する第2カメラ(10B)と、前記車両の方を撮影する第3カメラ(10C)と、前記車両の左側方を撮影する第4カメラ(10D)とを含み、
    前記カメラそれぞれで撮影した各画像を取得する画像取得手順(S140〜S350)と、
    形状及び大きさが既知である部材を撮影ターゲット(50)とし、前記画像取得手順で取得した各画像の重複領域に写り込んだ撮影ターゲットを射影変換した結果が、前記撮影ターゲットの形状及び大きさに一致するように、前記カメラそれぞれの姿勢パラメータのうち、前記カメラのレンズ中心軸周りの回転角を表すロール,前記カメラの水平軸周りの回転角を表すピッチ,及び前記車両の車高方向に沿った座標である高さを特定する第1特定手順(S380)と、
    前記画像取得手順で取得した各画像に写り込んだ前記撮影ターゲットの代表点を仮想的に接続した線分をリンクとして形成される仮想リンク構造であって、互いに異なる画像の重複領域に写り込み、同一の地点に位置する撮影ターゲットにおける代表点を一致させた前記仮想リンク構造における1つのリンク角が最小となるように、前記カメラそれぞれの姿勢パラメータのうち、前記車両の全長方向に沿った座標であるx座標、前記車両の車幅方向に沿った座標であるy座標、及び前記車両の水平面と直交する軸周りの回転角を表すヨーを特定する第2特定手順(S390)と
    を備え、
    前記画像取得手順は、
    前記車両の前方に位置する撮影ターゲットを、前記第1カメラ、前記第2カメラ、及び前記第カメラで撮影した画像を取得する第1取得手順(S160,S170)と、
    前記車両の後方に位置する撮影ターゲットを、前記第4カメラ、前記第2カメラ、及び前記第3カメラで撮影した画像であって、前記第1取得手順で取得した画像とは異なる画像を取得する第2取得手順(S280,S290)と
    を備え、
    前記第1特定手順及び前記第2特定手順は、前記第1取得手順で取得した各画像、及び前記第2取得手順で取得した各画像を、前記画像取得手順で取得した各画像とする、キャリブレーション方法。
  9. 車両に搭載された複数のカメラ(10)それぞれの姿勢パラメータを特定するキャリブレーション装置(20)のコンピュータに実行させるプログラムであって、
    前記複数のカメラのそれぞれは、車両の周辺に規定された互いに異なる領域であり、かつ、互いの領域の一部が重複する重複領域を有した規定領域を撮影するように、前記車両に搭載され、
    前記カメラには、前記車両の前方を撮影する第1カメラ(10A)と、前記車両の右側方を撮影する第2カメラ(10B)と、前記車両の方を撮影する第3カメラ(10C)と、前記車両の左側方を撮影する第4カメラ(10D)とを含み、
    前記カメラそれぞれで撮影した各画像を取得する画像取得手順(S140〜S350)と、
    形状及び大きさが既知である部材を撮影ターゲット(50)とし、前記画像取得手順で取得した各画像の重複領域に写り込んだ撮影ターゲットを射影変換した結果が、前記撮影ターゲットの形状及び大きさに一致するように、前記カメラそれぞれの姿勢パラメータのうち、前記カメラのレンズ中心軸周りの回転角を表すロール,前記カメラの水平軸周りの回転角を表すピッチ,及び前記車両の車高方向に沿った座標である高さを特定する第1特定手順(S380)と、
    前記画像取得手順で取得した各画像に写り込んだ前記撮影ターゲットの代表点を仮想的に接続した線分をリンクとして形成される仮想リンク構造であって、互いに異なる画像の重複領域に写り込み、同一の地点に位置する撮影ターゲットにおける代表点を一致させた前記仮想リンク構造における1つのリンク角が最小となるように、前記カメラそれぞれの姿勢パラメータのうち、前記車両の全長方向に沿った座標であるx座標、前記車両の車幅方向に沿った座標であるy座標、及び前記車両の水平面と直交する軸周りの回転角を表すヨーを特定する第2特定手順(S390)とを
    前記コンピュータに実行させ、
    前記画像取得手順では、
    前記車両の前方に位置する撮影ターゲットを、前記第1カメラ、前記第2カメラ、及び前記第カメラで撮影した画像を取得する第1取得手順(S160,S170)と、
    前記車両の後方に位置する撮影ターゲットを、前記第4カメラ、前記第2カメラ、及び前記第3カメラで撮影した画像であって、前記第1取得手順で取得した画像とは異なる画像を取得する第2取得手順(S280,S290)とを
    前記コンピュータに実行させ、
    前記第1特定手順及び前記第2特定手順では、前記第1取得手順で取得した各画像、及び前記第2取得手順で取得した各画像を、前記画像取得手順で取得した各画像とする、プログラム。
JP2015155037A 2015-08-05 2015-08-05 キャリブレーション装置、キャリブレーション方法、及びプログラム Active JP6413974B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015155037A JP6413974B2 (ja) 2015-08-05 2015-08-05 キャリブレーション装置、キャリブレーション方法、及びプログラム
CN201680045014.2A CN107852482B (zh) 2015-08-05 2016-07-15 校准装置、校准方法以及计算机能够读取的记录介质
PCT/JP2016/070939 WO2017022452A1 (ja) 2015-08-05 2016-07-15 キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム
DE112016003549.7T DE112016003549T5 (de) 2015-08-05 2016-07-15 Kalibrierungsvorrichtung, kalibrierungsverfahren und kalibrierungsprogramm
US15/749,908 US10546380B2 (en) 2015-08-05 2016-07-15 Calibration device, calibration method, and non-transitory computer-readable storage medium for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015155037A JP6413974B2 (ja) 2015-08-05 2015-08-05 キャリブレーション装置、キャリブレーション方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2017032483A JP2017032483A (ja) 2017-02-09
JP6413974B2 true JP6413974B2 (ja) 2018-10-31

Family

ID=57942931

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015155037A Active JP6413974B2 (ja) 2015-08-05 2015-08-05 キャリブレーション装置、キャリブレーション方法、及びプログラム

Country Status (5)

Country Link
US (1) US10546380B2 (ja)
JP (1) JP6413974B2 (ja)
CN (1) CN107852482B (ja)
DE (1) DE112016003549T5 (ja)
WO (1) WO2017022452A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6536529B2 (ja) * 2016-10-17 2019-07-03 株式会社デンソー 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法
US10911745B2 (en) * 2016-12-28 2021-02-02 Texas Instruments Incorporated Calibration of a surround view camera system
DE102018208512A1 (de) * 2018-05-29 2019-12-05 Siemens Aktiengesellschaft Kalibrierungsverfahren und Kalibrierungssystem für eine Bahnfahrzeugkamera und Bahnfahrzeug mit Bahnfahrzeugkamera
JP7098493B2 (ja) * 2018-09-25 2022-07-11 本田技研工業株式会社 センサ軸調整方法
KR102613098B1 (ko) * 2019-01-23 2023-12-12 한화비전 주식회사 이미지 센서 모듈
JP7251310B2 (ja) * 2019-05-22 2023-04-04 株式会社Jvcケンウッド カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム
JP7243478B2 (ja) * 2019-06-24 2023-03-22 トヨタ自動車株式会社 車両用情報記録装置
CN110296691B (zh) * 2019-06-28 2020-09-22 上海大学 融合imu标定的双目立体视觉测量方法与系统
KR102297683B1 (ko) * 2019-07-01 2021-09-07 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
CN110443854A (zh) * 2019-08-05 2019-11-12 兰州交通大学 基于固定靶标的无公共视场相机间相对位姿标定方法
KR102277828B1 (ko) * 2019-08-13 2021-07-16 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
CN112446904B (zh) * 2019-08-30 2024-04-09 西安诺瓦星云科技股份有限公司 图像对齐方法、装置和系统
CN113379834A (zh) * 2021-06-29 2021-09-10 深圳中科飞测科技股份有限公司 检测设备的校准方法、装置、设备及计算机可读存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3968375B2 (ja) * 2005-02-15 2007-08-29 松下電器産業株式会社 周辺監視装置および周辺監視方法
US7576639B2 (en) * 2006-03-14 2009-08-18 Mobileye Technologies, Ltd. Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
US8004394B2 (en) * 2006-11-07 2011-08-23 Rosco Inc. Camera system for large vehicles
JP2009294109A (ja) * 2008-06-05 2009-12-17 Fujitsu Ltd キャリブレーション装置
JP5299231B2 (ja) * 2009-11-17 2013-09-25 富士通株式会社 キャリブレーション装置
DE102009055776A1 (de) * 2009-11-25 2011-05-26 Conti Temic Microelectronic Gmbh Verfahren zur Schätzung des Rollwinkels in einem fahrenden Fahrzeug
JP5491235B2 (ja) * 2010-03-02 2014-05-14 東芝アルパイン・オートモティブテクノロジー株式会社 カメラキャリブレーション装置
JP2011217233A (ja) * 2010-04-01 2011-10-27 Alpine Electronics Inc 車載カメラ校正システム及びコンピュータプログラム
TW201226237A (en) * 2010-12-16 2012-07-01 Weltrend Semiconductor Inc Calibration circuit for automatically calibrating a view image around a car and method thereof
US9440585B2 (en) * 2011-09-13 2016-09-13 Toyoya Jidosha Kabushiki Kaisha Optical axis ascertaining device for in-vehicle camera
JP5971939B2 (ja) * 2011-12-21 2016-08-17 アルパイン株式会社 画像表示装置、画像表示装置における撮像カメラのキャリブレーション方法およびキャリブレーションプログラム
JP5915268B2 (ja) * 2012-03-05 2016-05-11 富士通株式会社 パラメータ算出方法、情報処理装置及びプログラム
JP5820787B2 (ja) * 2012-08-30 2015-11-24 株式会社デンソー 画像処理装置、及びプログラム
JP6009894B2 (ja) * 2012-10-02 2016-10-19 株式会社デンソー キャリブレーション方法、及びキャリブレーション装置
US9723272B2 (en) * 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
US10179543B2 (en) * 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
CN103200392A (zh) * 2013-03-29 2013-07-10 天津大学 一种基于视角变换的车载视频稳像方法
JP6349637B2 (ja) * 2013-07-11 2018-07-04 株式会社デンソー 車両用画像合成装置
JP6277652B2 (ja) 2013-09-30 2018-02-14 株式会社デンソー 車両周辺画像表示装置及びカメラの調整方法
JP6232994B2 (ja) * 2013-12-16 2017-11-22 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
DE112014006597T5 (de) * 2014-04-17 2017-04-06 Mitsubishi Electric Corporation Fahrzeugmontierte Vorrichtung
US20160191795A1 (en) * 2014-12-30 2016-06-30 Alpine Electronics, Inc. Method and system for presenting panoramic surround view in vehicle

Also Published As

Publication number Publication date
WO2017022452A1 (ja) 2017-02-09
CN107852482A (zh) 2018-03-27
US10546380B2 (en) 2020-01-28
CN107852482B (zh) 2020-03-31
DE112016003549T5 (de) 2018-04-19
JP2017032483A (ja) 2017-02-09
US20180232893A1 (en) 2018-08-16

Similar Documents

Publication Publication Date Title
JP6413974B2 (ja) キャリブレーション装置、キャリブレーション方法、及びプログラム
JP5958366B2 (ja) 車載画像処理装置
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
JP5804185B2 (ja) 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法
JP6139465B2 (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
JP5754470B2 (ja) 路面形状推定装置
EP3150443A1 (en) Display device for vehicle and display method for vehicle
JP6283105B2 (ja) ステレオカメラ装置、ステレオカメラ装置を設置した車両及びプログラム
JP7424390B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP4853444B2 (ja) 移動物体検出装置
JP5858773B2 (ja) 3次元計測方法、3次元計測プログラム及びロボット装置
JP2016053748A (ja) 運転支援装置および運転支援方法
JP6407596B2 (ja) 画像処理装置、及び、運転支援システム
JP6536529B2 (ja) 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法
JP6032141B2 (ja) 走行路面標示検知装置および走行路面標示検知方法
CN110570680A (zh) 利用地图信息确定对象位置的方法和系统
JP4026641B2 (ja) 物体検出装置、および物体検出方法
JP2017112566A (ja) パラメータ特定装置
JP7380443B2 (ja) 部分画像生成装置及び部分画像生成用コンピュータプログラム
WO2008032376A1 (fr) Dispositif et procédé de mesure de distance, et programme informatique
JP7298426B2 (ja) 物体検出装置
JP7095559B2 (ja) 区画線検出装置及び区画線検出方法
JP6564682B2 (ja) 対象物検出装置、対象物検出方法、及び、対象物検出プログラム
JP6048384B2 (ja) 画像判定装置
JP7473779B2 (ja) タイヤ空気圧低下度判定装置、タイヤ空気圧低下度判定方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180917

R151 Written notification of patent or utility model registration

Ref document number: 6413974

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250