JP4636346B2 - 車載カメラの校正装置、方法、及びプログラム - Google Patents
車載カメラの校正装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP4636346B2 JP4636346B2 JP2009085537A JP2009085537A JP4636346B2 JP 4636346 B2 JP4636346 B2 JP 4636346B2 JP 2009085537 A JP2009085537 A JP 2009085537A JP 2009085537 A JP2009085537 A JP 2009085537A JP 4636346 B2 JP4636346 B2 JP 4636346B2
- Authority
- JP
- Japan
- Prior art keywords
- adjustment
- camera
- coordinate system
- unit
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
3次元直交座標系の基準座標系における規定位置に規定の姿勢で車両に取り付けられた車載カメラの3次元直交座標系のカメラ座標系と前記基準座標系との関係を前記車載カメラの実際の取り付け姿勢に応じて定義して、前記車載カメラを校正する車載カメラの校正装置であって、
前記車載カメラにより、前記基準座標系の異なる2箇所の所定位置に配置された校正指標を視界内に含んで撮影された撮影画像を取得する画像取得部と、
前記カメラ座標系の射影面である前記撮影画像において前記校正指標の中のそれぞれの校正点を検出し、前記射影面に設定される2次元直交座標系においてそれぞれの前記校正点の座標を実座標として特定する校正点特定部と、
前記車載カメラが前記規定位置に前記規定の姿勢で取り付けられた際の前記カメラ座標系と前記基準座標系との関係を定義するカメラパラメータに基づいて前記射影面においてそれぞれの前記校正点が特定される座標である初期座標を、当該カメラパラメータを前記車載カメラの実際の取り付け姿勢に応じて補正するカメラ調整値の確定前の値を用いて変換座標に変換する座標変換部と、
前記変換座標及び前記実座標に基づいて、前記カメラ座標系の3つの軸の内の1つ又は2つの軸を中心とする回転角に対応する前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の1つ又は2つの調整値を演算して、前記カメラ調整値を更新する第1調整部と、
前記第1調整部により更新された前記カメラ調整値を用いて前記座標変換部により座標変換された変換座標及び前記実座標に基づいて、前記カメラ座標系の3つの軸の内、前記第1調整部で調整された軸を除く残りの2つ又は1つの軸を中心とする回転角に対応する前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の内、前記第1調整部で演算された調整値を除く残りの2つ又は1つの調整値を演算して、前記カメラ調整値を更新する第2調整部と、
前記第1調整部及び前記第2調整部における調整時の前記変換座標と前記実座標との変位量がそれぞれ所定の基準変位量未満である場合に、前記カメラ調整値の調整が完了したと判定する調整完了判定部と、
前記調整完了判定部による調整完了の判定結果に基づいて、前記第1調整部及び前記第2調整部において演算された調整値により更新された前記カメラ調整値を確定させるカメラ調整値設定部と、
を備える点にある。
前記第1調整部で演算された調整値が、前記第1調整部による調整後の前記第2調整部による調整により再調整誤差を生じ、前記第2調整部で演算された調整値が、前記第2調整部による調整後の前記第1調整部による調整により再調整誤差を生じるものであり、
前記第1調整部で演算された調整値に生じる再調整誤差が、前記第2調整部で演算された調整値に生じる再調整誤差よりも小さくなるように、前記第1調整部において調整される1つ又は2つの軸が設定されると好適である。
前記第1調整部が、
前記射影面において、2つの前記実座標を結ぶ直線である実直線と2つの前記変換座標を結ぶ直線である変換直線との成す角度を、前記射影面に直交する前記カメラ座標系の1つの軸を中心とするロール回転におけるロール角の差分値として演算すると共に、
当該ロール角の差分値に基づいて前記ロール回転における前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の1つであるロール調整値を演算して前記カメラ調整値を更新し、
前記第2調整部が、
前記カメラ座標系において、前記カメラ座標系の原点と前記射影面上の2つの前記実座標の中点とを結ぶ直線である第2実直線と、当該原点と前記射影面上の2つの前記変換座標の中点とを結ぶ直線である第2変換直線との成す角度を、前記射影面に平行な前記カメラ座標系の一方の軸を中心とするパン回転におけるパン角の差分値、及び他方の軸を中心とするチルト回転におけるチルト角の差分値の少なくとも一方の差分値として演算すると共に、
当該パン角の差分値に基づいて求められ、前記パン回転における前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の1つであるパン調整値、及び当該チルト角の差分値に基づいて求められ、前記チルト回転における前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の1つであるチルト調整値、の少なくとも一方の調整値を演算して前記カメラ調整値を更新し、
前記調整完了判定部が、前記第1調整部及び前記第2調整部において演算された差分値が、それぞれ所定の完了しきい値未満である場合に、前記カメラ調整値の調整が完了したと判定すると好適である。
前記第2実直線と前記第2変換直線との成す角度の有する成分の内、前記射影面に設定される2次元直交座標系の一方の軸方向の角度成分を前記パン角の差分値として演算すると共に、当該パン角の差分値に基づいて前記パン調整値を演算するパン調整部と、
前記第2実直線と前記第2変換直線との成す角度の有する成分の内、当該2次元直交座標系の他方の軸方向の角度成分を前記チルト角の差分値として演算すると共に、当該チルト角の差分値に基づいて前記チルト調整値を演算するチルト調整部と、を備えて構成されると好適である。
3次元直交座標系の基準座標系における規定位置に規定の姿勢で車両に取り付けられた車載カメラの3次元直交座標系のカメラ座標系と前記基準座標系との関係を前記車載カメラの実際の取り付け姿勢に応じて定義して、前記車載カメラを校正する車載カメラの校正方法であって、
前記車載カメラにより、前記基準座標系の異なる2箇所の所定位置に配置された校正指標を視界内に含んで撮影された撮影画像を取得する画像取得工程と、
前記カメラ座標系の射影面である前記撮影画像において前記校正指標の中のそれぞれの校正点を検出し、前記射影面に設定される2次元直交座標系においてそれぞれの前記校正点の座標を実座標として特定する校正点特定工程と、
前記車載カメラが前記規定位置に前記規定の姿勢で取り付けられた際の前記カメラ座標系と前記基準座標系との関係を定義するカメラパラメータに基づいて前記射影面においてそれぞれの前記校正点が特定される座標である初期座標を、当該カメラパラメータを前記車載カメラの実際の取り付け姿勢に応じて補正するカメラ調整値の確定前の値を用いて第1変換座標に変換する第1座標変換工程と、
前記第1変換座標及び前記実座標に基づいて、前記カメラ座標系の3つの軸の内の1つ又は2つの軸を中心とする回転角に対応する前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の1つ又は2つの調整値を演算して、前記カメラ調整値を更新する第1調整工程と、
前記第1調整工程において更新された確定前の前記カメラ調整値を用いて前記初期座標を第2変換座標に変換する第2座標変換工程と、
前記第2変換座標及び前記実座標に基づいて、前記カメラ座標系の3つの軸の内、前記第1調整工程において調整された軸を除く残りの2つ又は1つの軸を中心とする回転角に対応する前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の内、前記第1調整工程において演算された調整値を除く残りの2つ又は1つの調整値を演算して、前記カメラ調整値を更新する第2調整工程と、
前記第1調整工程及び前記第2調整工程において、前記第1変換座標と前記実座標との変位量、及び、前記第2変換座標と前記実座標との変位量がそれぞれ所定の基準変位量未満であったことを前記カメラ調整値の調整の完了条件として判定を行い、当該完了条件を満たさない場合は、前記第1座標変換工程、前記第1調整工程、前記第2座標変換工程、前記第2調整工程を繰り返し行わせ、当該完了条件を満たす場合は、これらの工程の繰り返しを完了させて次工程に移行させる調整完了判定工程と、
前記調整完了判定工程において前記完了条件を満たした場合に移行され、前記第1調整工程及び前記第2調整工程において演算された調整値により更新された前記カメラ調整値を確定させるカメラ調整値設定工程と、
を備える点にある。
3次元直交座標系の基準座標系における規定位置に規定の姿勢で車両に取り付けられた車載カメラの3次元直交座標系のカメラ座標系と前記基準座標系との関係を前記車載カメラの実際の取り付け姿勢に応じて定義して、前記車載カメラを校正するための機能をコンピュータに実行させる車載カメラの校正プログラムであって、
前記車載カメラにより、前記基準座標系の異なる2箇所の所定位置に配置された校正指標を視界内に含んで撮影された撮影画像を取得する画像取得機能と、
前記カメラ座標系の射影面である前記撮影画像において前記校正指標の中のそれぞれの校正点を検出し、前記射影面に設定される2次元直交座標系においてそれぞれの前記校正点の座標を実座標として特定する校正点特定機能と、
前記車載カメラが前記規定位置に前記規定の姿勢で取り付けられた際の前記カメラ座標系と前記基準座標系との関係を定義するカメラパラメータに基づいて前記射影面においてそれぞれの前記校正点が特定される座標である初期座標を、当該カメラパラメータを前記車載カメラの実際の取り付け姿勢に応じて補正するカメラ調整値の確定前の値を用いて第1変換座標に変換する第1座標変換機能と、
前記第1変換座標及び前記実座標に基づいて、前記カメラ座標系の3つの軸の内の1つ又は2つの軸を中心とする回転角に対応する前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の1つ又は2つの調整値を演算して、前記カメラ調整値を更新する第1調整機能と、
前記第1調整機能の実行により更新された確定前の前記カメラ調整値を用いて前記初期座標を第2変換座標に変換する第2座標変換機能と、
前記第2変換座標及び前記実座標に基づいて、前記カメラ座標系の3つの軸の内、前記第1調整機能の実行により調整された軸を除く残りの2つ又は1つの軸を中心とする回転角に対応する前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の内、前記第1調整機能の実行により演算された調整値を除く残りの2つ又は1つの調整値を演算して、前記カメラ調整値を更新する第2調整機能と、
前記第1調整機能及び前記第2調整機能が実行された際に、前記第1変換座標と前記実座標との変位量、及び、前記第2変換座標と前記実座標との変位量がそれぞれ所定の基準変位量未満であったことを前記カメラ調整値の調整の完了条件として判定を行い、当該完了条件を満たさない場合は、前記第1座標変換機能、前記第1調整機能、前記第2座標変換機能、前記第2調整機能を繰り返し実行させ、当該完了条件を満たす場合は、これらの機能の繰り返し実行を完了させて次の機能を実行させる調整完了判定機能と、
前記調整完了判定機能の実行により前記完了条件を満たしたと判定された場合に実行され、前記第1調整機能及び前記第2調整機能の実行により演算された調整値により更新された前記カメラ調整値を確定させるカメラ調整値設定機能と、
を有する点にある。
前記第1調整機能が、
前記射影面において、2つの前記実座標を結ぶ直線である実直線と2つの前記変換座標を結ぶ直線である変換直線との成す角度を、前記射影面に直交する前記カメラ座標系の1つの軸を中心とするロール回転におけるロール角の差分値として演算する第1差分値演算機能と、
当該ロール角の差分値に基づいて前記ロール回転における前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の1つであるロール調整値を演算して前記カメラ調整値を更新する第1調整値演算機能と、を有し、
前記第2調整機能が、
前記カメラ座標系において、前記カメラ座標系の原点と前記射影面上の2つの前記実座標の中点とを結ぶ直線である第2実直線と、当該原点と前記射影面上の2つの前記第2変換座標の中点とを結ぶ直線である第2変換直線との成す角度を、前記射影面に平行な前記カメラ座標系の一方の軸を中心とするパン回転におけるパン角の差分値、及び他方の軸を中心とするチルト回転におけるチルト角の差分値の少なくとも一方の差分値として演算する第2差分値演算機能と、
当該パン角の差分値に基づいて求められ、前記パン回転における前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の1つであるパン調整値、及び当該チルト角の差分値に基づいて求められ、前記チルト回転における前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の1つであるチルト調整値、の少なくとも一方の調整値を演算して前記カメラ調整値を更新する第2調整値演算機能と、を有し、
前記調整完了判定機能が、前記第1差分値演算機能及び前記第2差分値演算機能の実行により演算された差分値が、それぞれ所定の完了しきい値未満であることを前記カメラ調整値の調整の完了条件として判定を行い、当該完了条件を満たさない場合は、前記第1座標変換機能、前記第1差分値演算機能、前記第1調整値演算機能、前記第2座標変換機能、前記第2差分値演算機能、前記第2調整値演算機能を繰り返し実行させ、当該完了条件を満たす場合は、これらの機能の繰り返し実行を完了させて次の機能を実行させる機能であるプログラムとすることができる。
カメラ校正プログラムが起動され、校正装置10によるカメラ校正が開始されると、CPU5により画像取得機能が実行される。つまり、画像取得部11により、カメラ1により撮影された動画像がキャプチャされる。キャプチャされた画像(撮影画像)は、画像処理モジュール2を介して、図8に示すようにモニタ装置4に表示される。
撮影画像が取得されると、CPU5は校正点特定機能を実行する。つまり、校正点特定部12は、キャプチャされた画像から、校正点Qを検出し、画像座標系における校正点Qの座標を実座標として設定する。校正点Qの検出に先立って、関心領域設定機能が実行され、画像処理の対象となる領域が関心領域(ROI : region of interest)として射影面Πに設定される。つまり、撮影画像において校正点Qを検出するための画像処理が実施される画像処理対象領域が、関心領域ROIとして設定される。
次に、校正指標分布範囲設定機能が実行される。つまり、校正点分布範囲に基づいて、画像座標系においてマーカ80が分布する範囲が校正指標分布範囲として、校正指標分布範囲設定部122により設定される。本実施形態においては、この校正指標分布範囲が、関心領域ROIに相当する。具体的には、図9に示すように、カメラ1の光軸が設計値通りの方向を向いている場合に対して、カメラ座標系の3軸それぞれに±3度〜5度のずれが発生しても、マーカ80が必ず含まれるように、関心領域ROIが設定される。校正指標分布範囲は、実質的に校正点Qを検出するための画像処理を実施する画像処理対象領域に対応する。従って、校正指標分布範囲設定部122は、画像処理対象領域設定部としても機能する。
関心領域ROIが設定されると、校正点検出機能が実行される。つまり、校正点検出部123は、関心領域ROIの範囲内を画像処理対象として、校正点Qを検出する。校正点Qを特定するために、校正点検出部123は、マーカ80の中心点である校正点Qの撮影画像上における座標を検出する。つまり、画像座標系における座標を検出する。この座標は、現実に車両90に設置されたカメラ1により撮影された画像に基づいて検出されるので、本発明における校正点Qの「実座標」に相当する。本実施形態のように、マーカ80として市松模様が使用される場合、公知のコーナ検出器を用いて校正点Qを検出することが可能である。
上述したように、カメラ1は広角レンズを有して構成されており、撮影画像は歪みを有している。校正点Qを検出するためには、後述するように直線認識が必要となる。そこで、歪み補正機能が実行され、エッジ検出後の画像データに対して歪み補正処理が施される。尚、当然ながら、エッジ検出を行う前、つまり、関心領域ROIの範囲内の元画像に対して歪み補正を実施してもよいし、撮影画像全体に対して歪み補正を実施してもよい。しかし、撮影画像や撮影画像中の関心領域ROIの範囲内の画像は、カラーグレイ画像データであるので、データ量が多く演算負荷も大きくなる。本実施形態では、エッジ検出後のデータは、図10に示すようにエッジ点群Eにより構成されたモノクロ2値データとなっているので、データ量が圧倒的に少なく演算負荷が軽くなる。図10(a)は、歪み補正処理を施された後のマーカ80aのエッジ点群E、図10(b)は、歪み補正処理を施された後のマーカ80bのエッジ点群Eを示している。
続いて、直線検出機能が実行され、これらエッジ点群Eに対して、直線検出処理(直線当てはめ処理)が実施される。直線検出処理には、最小自乗法やハフ変換などを利用することも可能であるが、これらは演算負荷が大きい処理である。本実施形態では、これらの手法よりも遙かに演算量の少ないRANSAC(RANdom SAmple Consensus)手法を用いて直線の当てはめを行うことによって直線検出を行う。RANSAC手法では、直線や曲線の当てはめに必要な最小点数の点がエッジ点群Eから選択され、フィッティングモデルが設定される。直線の場合の最小点数は2点であり、ランダムに選択された2点を結ぶ直線が直線モデルとして設定される。そして、エッジ点群Eの他の点がこの直線モデルに対してどの程度当てはまるかについて評価される。順次、2点を選んで所定回数、評価を繰り返し、最も適合度の高い直線モデルが直線として決定される。図11は、図10に示すエッジ点群Eに対して直線Gを当てはめた例を示している。
直線Gが当てはめられると、次に、交点演算機能が実行され、当てはめられた直線Gの交点の座標が算出される。直線Gは一次関数であるから簡単な計算により、図12に示すように、画像座標系における交点座標(校正点Q)を特定することができる。尚、この座標は、車両90に取り付けられたカメラ1のカメラ座標系の射影面における座標(実座標)であるから、カメラ1が完全に誤差無く取り付けられていない限り、理想的なカメラ座標系の射影面における座標とは異なる。
カメラ1が規定位置に規定の姿勢で完全に誤差なく取り付けられたと仮定した場合、つまり、理想的なカメラ座標系の射影面において、それぞれの校正点(後述するP1int、P2int)が特定される理論上の座標を「初期座標」とする。つまり、カメラ座標系とワールド座標系とが理想的な関係を満たす際に、ワールド座標系に対してカメラ座標系を規定するカメラパラメータ(特に回転パラメータ)の初期値により射影面において校正点が特定される座標が「初期座標」である。尚、一度校正されたカメラ1の再校正の場合には、前回の校正結果により確定されたカメラパラメータが初期値となることがある。従って、ここでいう「初期値」は、現時点における校正(調整)開始時のパラメータである。
CPU5は、以下に説明する調整機能を実行することにより、カメラ調整値を調整する。始めに、初期化機能が実行される。カメラ調整値は、図4に示した3つの回転方向に対応して、Δroll、Δpan、Δtiltとして設定される。カメラ調整値の演算を行うに際して、CPU5は、各種の演算変数を初期化する。図6のブロック図には不図示であるが、CPU5とプログラムとによって、初期化演算部が構成されていてもよい。カメラ調整値は、修正されながら調整されていくので、演算変数の1つでもあり、演算を開始するに際して、下記式(1)に示すように、例えば各値がゼロの初期値に初期化される(図13#1)。
初期化工程に続いて、調整工程が実施される。校正プログラムが有する調整機能には、回転調整機能と位置調整機能とがある。つまり、図13のフローチャートに示すように、回転調整工程(第1調整工程)#10と、位置調整工程(第2調整工程)#20とがある。本実施形態では、まず、回転調整機能(第1調整機能)が実行される。回転調整機能の始めには、CPU5によりカメラ姿勢設定機能が実行され、カメラ姿勢が設定される(図13#2)。カメラ姿勢設定機能は、下記に示す第1座標変換機能に含めてもよい。ここでは、回転調整部14がカメラ姿勢を設定し、カメラ姿勢設定工程(#2)が回転調整工程(#10)に含まれる場合を例示している。しかし、CPU5とプログラムとによってカメラ姿勢を設定するカメラ姿勢設定部が構成されてもよい。下記式(4)は、カメラ姿勢の設計値(roll、pan、tilt)を示す。
次に、CPU5は、上記式(5)〜(7)((8)〜(10))に基づき工程#2において設定されたカメラ姿勢値に基づいて、校正点Pを演算する(図13#3)。つまり、CPU5は、カメラ1が規定位置に規定の姿勢で取り付けられた際に、射影面Πにおいてそれぞれの校正点Qが特定される座標である初期座標を確定前のカメラ調整値を用いて変換座標(第1変換座標)に変換する第1座標変換機能を実行する。「初期座標」から「変換座標」への変換は座標変換部13によって実行される。ここでは、カメラ調整値が初期値(=ゼロ)であるので、「変換座標=初期座標」となる。
図14に示すように、射影面Π上には、実座標である校正点Q1とQ2を結んで得られる直線である実直線Ltgtと、変換座標である校正点P1とP2とを結んで得られる直線である変換直線Lcnvとが得られる。図14においては、カメラ調整値が初期値であるので、変換直線Lcnvが、初期直線Lintと一致する。CPU5は、回転差分値演算機能(第1差分値演算機能、ロール差分値演算機能)を実行する。つまり、回転調整部14の差分値演算部14aは、実直線Ltgtと変換直線Lcnvとの成す角度δrollを、射影面Πに直交するZC軸を中心とするロール回転におけるロール角の差分値roll_outとして演算するロール差分値演算工程(第1差分値演算工程)を実施する(図13#4)。
ロール角の差分値roll_outが求まると、差分値roll_outに基づいてロール回転における規定の姿勢(ロールの角度偏差θr)からの変位量であり、カメラ調整値を構成する調整値の1つである回転調整値(ロール調整値)Δrollを演算してカメラ調整値を更新する回転調整値演算機能(第1調整値演算機能、ロール調整演算機能)が実行される。つまり、回転調整部14を構成する調整値演算部14bが、ロール調整値Δrollを演算するロール調整値演算工程を実施する。ロール調整値Δrollは、下記式(12)に示すように、初期化工程#1において設定され、回転調整を実施する前のロール調整値Δrollに差分値roll_outを加算して、ロール調整値Δrollを更新することによって求められる(図13#5)。
CPU5は、回転調整機能の実行に引き続き、位置調整機能(第2調整機能)を実行する。射影面Πと同一平面上における回転(ロール回転)を調整する回転調整工程に続いて、射影面Πと同一平面上での位置ずれを調整する位置調整工程が位置調整部15によって行われる。位置調整に先立って、回転調整の結果を反映した座標変換(校正点演算)を行うためにカメラ姿勢値(roll_in、pan_in、tilt_in)が再び設定される(図13#6)。つまり、回転調整機能の実行開始時と同様に、位置調整機能の実行開始時には、CPU5によりカメラ姿勢設定機能が実行され、カメラ姿勢が設定される。このカメラ姿勢設定機能は、下記に示す第2座標変換機能に含めてもよい。上述した式(8)〜(10)の内、位置ずれに関するカメラ調整値(pan_in、tilt_in)は、変更がないので再設定されず、回転調整値roll_outに関する式(8)のみが、式(14)のように再設定される。
次に、CPU5は、上記式(14)、(9)、(10)に基づき工程#6において再設定されたカメラ姿勢値(roll_in、pan_in、tilt_in)に基づいて、校正点P1及びP2を再計算する(図13#7)。つまり、CPU5は、回転調整値演算機能の実行により更新された確定前のカメラ調整値を用いて初期座標を変換座標(第2変換座標)に変換する第2座標変換機能を実行する。この変換は、座標変換部13によって実行される。図16には、校正点特定部12によって特定された校正点Q(Q1、Q2)と、第2座標変換工程において求められた校正点P(P1、P2)とが射影面Π(画像座標系)における点として示されている。また、図16には、校正点P1、P2を結んで得られた変換直線Lcnv及び実直線Ltgtも示されている。
射影面Πと同一平面上における位置ずれは、図5に示すように射影面Πの画像座標系が2次元であるので、2つの軸を用いて定義することができる。つまり、図16に示すように、射影面Πにおけるy方向とx方向とのずれ量によって定義することができる。図16において、点PCは変換直線の線分の中点、つまり変換座標(第2変換座標)の中点を示す。また、点QCは実直線の線分の中点、つまり実座標の中点を示す。例えば、傾きを維持したままで変換直線Lcnvをx軸のずれ量分だけ矢印A方向へ移動させ、y軸のずれ量分だけ矢印B方向へ移動させると、変換直線Lcnvは矢印C方向へ移動したことになり、実直線Ltgtと変換直線Lcnvとは一致する。
上述したように、本実施形態では、CPU5は、先に水平位置調整機能(パン調整機能)を実行する。CPU5は、位置差分値演算機能(第2差分値演算機能)の1つである水平位置差分値演算機能(パン差分値演算機能)を実行する。 即ち、第2差分値演算工程の1つである水平位置差分値演算工程(パン差分値演算工程)が実施される(図13#8a)。
差分値pan_outが求まると、CPU5は、位置調整値演算機能(第2調整値演算機能)の1つである水平位置調整値演算機能(パン調整値演算機能)を実行する。つまり、位置調整値演算工程(第2調整値演算工程)の1つである水平位置調整値演算工程(パン調整値演算工程)が行われる(図13#9a)。
水平位置調整に続いて、CPU5は、位置調整機能(第2調整機能)の1つである垂直位置調整機能(チルト調整機能)を実行する。CPU5は、位置差分値演算機能(第2差分値演算機能)の1つである垂直位置差分値演算機能(チルト差分値演算機能)を実行する。即ち、第2差分値演算工程の1つである垂直位置差分値演算工程(チルト差分値演算工程)が実施される(図13#8b)。
差分値tilt_outが求まると、CPU5は、位置調整値演算機能(第2調整値演算機能)の1つである垂直位置調整値演算機能(チルト調整値演算機能)を実行する。つまり、図13#9bに示すように、位置調整値演算工程(第2調整値演算工程)の1つである垂直位置調整値演算工程(チルト調整値演算工程)が行われる。
このように、カメラ調整値(Δroll、Δpan、Δtilt)の各変数が一通り演算されると、調整完了判定部18は、カメラ1の調整が完了したか否かを判定する。上述したように、調整工程は、カメラ調整値を修正しながら繰り返し行われるので、調整完了判定部18は、繰り返し演算を完了させるか否かを判定する。具体的には、調整完了判定部18は、回転調整部14及び位置調整部15において演算された差分値(roll_out、pan_out、tilt_out)が、それぞれ所定の完了しきい値未満である場合に、カメラ調整値の調整が完了したと判定する。
工程#30において「偽」の判定となると、再び工程#2が実行される。前回は、カメラ調整値(Δroll、Δpan、Δtilt)が式(1)に示すように、全てゼロであったので、校正点演算時のカメラ姿勢値(roll_in、pan_in、tilt_in)は、式(2)に示すように、カメラ姿勢の設計値(roll、pan、tilt)と等価であった。しかし、工程#2の2回目以降の実行時には、下記式(24)〜(26)に示すように、前回までの一連の工程(工程#10及び工程#20)によって演算されたカメラ調整値(Δroll、Δpan、Δtilt)が用いられる。
全てのカメラ調整値(Δroll、Δpan、Δtilt)が一通り再演算されると、調整完了判定部18は、カメラ調整値の調整が完了したか否かを判定する。複数回、工程#2〜#9が繰り返されることによって、次第に実座標Qと変換座標Pとが近づいていく。従って、回転調整工程(#10)及び位置調整工程(#20)において算出される差分値roll_out、pan_out、tilt_outも、回数を重ねるごとに次第に小さくなり、収束していく。ここでは、2回の繰り返しによって、実座標Qと変換座標Pとが、ほぼ一致する程度まで近づいたとする。その結果、上記論理式(23)は「真」となり、次の工程へ移行する。尚、図13のフローチャートには図示していないが、工程#30が「偽」であっても、所定回数にわたって繰り返し演算が実行された場合には、プログラムの無限ループを抑制するために、調整完了判定部18は調整完了と判定し、次の工程へ移行させる。
調整完了判定部18により、繰り返し演算の完了が判定された時点におけるカメラ調整値(Δroll、Δpan、Δtilt)は、初期値から修正を加えられてきたものであり、随時、回転調整工程や位置調整工程において使用されてきた。しかし、これらのカメラ調整値(Δroll、Δpan、Δtilt)は、確定された値ではなく、確定前の仮カメラ調整値(未確定カメラ調整値)である。つまり、CPU5内の所定のレジスタやRAM(random access memory)などのワークエリアに一時記憶されている値である。
確認座標が演算されると、CPU5は、確認座標の位置を撮影画像上において明示する確認マーカをグラフィック画像として撮影画像に重畳させて表示部に表示させる調整完了確認機能を実行する。つまり、HMI制御部20の表示制御部201は、図19に示すように、画像処理モジュール2を介してモニタ装置4の表示部4aに、グラフィック画像としてマーカ枠H(確認マーカ)やタッチボタンを撮影画像に重畳表示させる。マーカ枠Hは、調整が正しく完了していた場合に、その枠内にマーカ80が表示される位置に設定されている。確認座標は、マーカ枠Hの中央の座標となる。マーカ枠Hの各辺は、マーカ80がマーカ枠Hの中央にある場合に、画像座標系においてマーカ80の各辺と2〜5画素の余裕を持つように設定されると好適である。マーカ枠Hは、カメラ調整値(Δroll、Δpan、Δtilt)に与えられた調整の許容差に相当する分の余裕を持った大きさに設定されることができる。マーカ枠Hは、例えば緑色で表示されるROI枠Fとの混同を避けるために、ROI枠Fとは異なる色、例えば黄色で表示されると好適である。
上記、調整完了確認工程におけるタッチパネル4bへの操作は、仮カメラ調整値をカメラ調整値として確定させる確定指示入力である。確定指示入力を受け取ったCPU5は、回転調整値演算機能及び位置調整値演算機能の実行により演算された仮カメラ調整値(Δroll、Δpan、Δtilt)をカメラ調整値として確定させるカメラ調整値設定機能を実行する。つまり、指示入力受付部202を介して、この確定指示入力を受け取ったカメラ調整値設定部19は、ロール調整値Δrollとパン調整値Δpanとチルト調整値Δtiltとをカメラ調整値として確定させる。
調整完了確認工程において、図20に示すように、マーカ枠Hの中にマーカ80が入っていない場合には、作業者は、カメラ1の校正が完了していないと判断する。上述したように、所定回数に亘って調整を繰り返しても、上記論理式(23)が「真」とならない場合にも、カメラ調整値設定工程(図13#40)へ移行して調整が完了することがある。この場合、図20のように、マーカ枠Hの中にマーカ80が入らない可能性がある。このとき、表示制御部201は、マーカ枠Hや十字型マーカJを上記とは異なる表示形態で表示させる。例えば、マーカ枠Hや十字型マーカJを点滅させたり、上述した黄色とは異なる表示色である赤色で表示させたりする。
マーカ枠Hにマーカ80が収まると、作業者は、タッチパネル4bの完了ボタンを操作する。タッチパネル4bへの操作は、HMI制御部20の指示入力受付部202を介して調整部30や手動調整部60、カメラ調整値設定部19へ伝達される。そして、手動調整後の仮カメラ調整値(未確定カメラ調整値)がパラメータメモリ7に書き込まれ、カメラ調整値として確定される。校正装置10の全ての処理が完了し、モニタ装置4の表示部4aには、図7と同様に、例えば、ナビゲーションシステムの地図画面が表示される。
尚、表示制御部201は、上述した調整完了確認工程において、確認座標と実座標との差が所定の確定しきい値未満であっても、確認マーカ(マーカ枠Hや十字型マーカJ)や領域枠(ROI枠F)の表示形態を変化させることがある。具体的には、表示制御部201は、カメラ1が規定位置に規定の姿勢で取り付けられた際の回転パラメータと、調整部30による繰り返し演算の完了時の仮カメラ調整値を用いて調整された回転パラメータとが同一の値であるとき、確定しきい値による判定結果に拘わらず、確認マーカや領域枠を異なる表示形態で表示させる。又は、カメラ調整値(Δroll、Δpan、Δtilt)が全て初期値であるゼロであった場合に、確認マーカや領域枠を異なる表示形態で表示させる。
(1)上述した本実施形態では、作業者がモニタ装置4のシステム設定ボタン4hを操作して、表示部4aに設定画面を表示させ、タッチパネル4bの所定のタッチボタンを操作することで、校正装置10を起動させた。また、校正装置10は、基本的に自動調整を行い、確認工程において手動調整が必要な場合に作業者が手動で調整を実施した。しかし、生産工場や修理工場ごとに設備が異なる場合もあり、全ての生産工場や修理工場において自動調整が可能であるとは限らない。そこで、校正装置10の起動時においては、図22に示すように、自動調整と手動調整とが選択可能に構成されていると好適である。
10:校正装置
11:画像取得部
12:校正点特定部
13:座標変換部
14:回転調整部、ロール調整部(第1調整部)
15:位置調整部(第2調整部)
16:水平位置調整部(パン調整部)
17:垂直位置調整部(チルト調整部)
18:調整完了判定部
19:カメラ調整値設定部
80:マーカ(校正指標)
90:車両
pan_out:パン回転の差分値
pan_th:パン調整しきい値(完了しきい値)
roll_out:ロール回転の差分値
roll_th:ロール調整しきい値(完了しきい値)
tilt_out:チルト回転の差分値
tilt_th:チルト調整しきい値(完了しきい値)
Ltgt:実直線
Lcnv:変換直線
Ltgt2:第2実直線
Lcnv2:第2変換直線
OC:カメラ座標の原点
PC:変換直線の中点
Q、Q1、Q2、P、P1、P2、P1int、P2int:校正点
QC:実直線の中点
Π:射影面
Δroll:ロール調整値、回転調整値、カメラ調整値
Δpan:パン調整値、水平位置調整値、位置調整値、カメラ調整値
Δtilt:チルト調整値、垂直位置調整値、位置調整値、カメラ調整値
(xcnv,ycnv):変換直線の中点の座標
(xtgt,ytgt):実直線の中点の座標
(xans,yans):補正直線の中点の座標
Claims (7)
- 3次元直交座標系の基準座標系における規定位置に規定の姿勢で車両に取り付けられた車載カメラの3次元直交座標系のカメラ座標系と前記基準座標系との関係を前記車載カメラの実際の取り付け姿勢に応じて定義して、前記車載カメラを校正する車載カメラの校正装置であって、
前記車載カメラにより、前記基準座標系の異なる2箇所の所定位置に配置された校正指標を視界内に含んで撮影された撮影画像を取得する画像取得部と、
前記カメラ座標系の射影面である前記撮影画像において前記校正指標の中のそれぞれの校正点を検出し、前記射影面に設定される2次元直交座標系においてそれぞれの前記校正点の座標を実座標として特定する校正点特定部と、
前記車載カメラが前記規定位置に前記規定の姿勢で取り付けられた際の前記カメラ座標系と前記基準座標系との関係を定義するカメラパラメータに基づいて前記射影面においてそれぞれの前記校正点が特定される座標である初期座標を、当該カメラパラメータを前記車載カメラの実際の取り付け姿勢に応じて補正するカメラ調整値の確定前の値を用いて変換座標に変換する座標変換部と、
前記変換座標及び前記実座標に基づいて、前記カメラ座標系の3つの軸の内の1つ又は2つの軸を中心とする回転角に対応する前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の1つ又は2つの調整値を演算して、前記カメラ調整値を更新する第1調整部と、
前記第1調整部により更新された前記カメラ調整値を用いて前記座標変換部により座標変換された変換座標及び前記実座標に基づいて、前記カメラ座標系の3つの軸の内、前記第1調整部で調整された軸を除く残りの2つ又は1つの軸を中心とする回転角に対応する前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の内、前記第1調整部で演算された調整値を除く残りの2つ又は1つの調整値を演算して、前記カメラ調整値を更新する第2調整部と、
前記第1調整部及び前記第2調整部における調整時の前記変換座標と前記実座標との変位量がそれぞれ所定の基準変位量未満である場合に、前記カメラ調整値の調整が完了したと判定する調整完了判定部と、
前記調整完了判定部による調整完了の判定結果に基づいて、前記第1調整部及び前記第2調整部において演算された調整値により更新された前記カメラ調整値を確定させるカメラ調整値設定部と、
を備える車載カメラの校正装置。 - 前記第1調整部で演算された調整値は、前記第1調整部による調整後の前記第2調整部による調整により再調整誤差を生じ、前記第2調整部で演算された調整値は、前記第2調整部による調整後の前記第1調整部による調整により再調整誤差を生じるものであり、
前記第1調整部で演算された調整値に生じる再調整誤差が、前記第2調整部で演算された調整値に生じる再調整誤差よりも小さくなるように、前記第1調整部において調整される1つ又は2つの軸が設定される請求項1に記載の車載カメラの校正装置。 - 前記第1調整部は、
前記射影面において、2つの前記実座標を結ぶ直線である実直線と2つの前記変換座標を結ぶ直線である変換直線との成す角度を、前記射影面に直交する前記カメラ座標系の1つの軸を中心とするロール回転におけるロール角の差分値として演算すると共に、
当該ロール角の差分値に基づいて前記ロール回転における前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の1つであるロール調整値を演算して前記カメラ調整値を更新し、
前記第2調整部は、
前記カメラ座標系において、前記カメラ座標系の原点と前記射影面上の2つの前記実座標の中点とを結ぶ直線である第2実直線と、当該原点と前記射影面上の2つの前記変換座標の中点とを結ぶ直線である第2変換直線との成す角度を、前記射影面に平行な前記カメラ座標系の一方の軸を中心とするパン回転におけるパン角の差分値、及び他方の軸を中心とするチルト回転におけるチルト角の差分値の少なくとも一方の差分値として演算すると共に、
当該パン角の差分値に基づいて求められ、前記パン回転における前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の1つであるパン調整値、及び当該チルト角の差分値に基づいて求められ、前記チルト回転における前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の1つであるチルト調整値、の少なくとも一方の調整値を演算して前記カメラ調整値を更新し、
前記調整完了判定部は、前記第1調整部及び前記第2調整部において演算された差分値が、それぞれ所定の完了しきい値未満である場合に、前記カメラ調整値の調整が完了したと判定する請求項1又は2に記載の車載カメラの校正装置。 - 前記第2調整部は、
前記第2実直線と前記第2変換直線との成す角度の有する成分の内、前記射影面に設定される2次元直交座標系の一方の軸方向の角度成分を前記パン角の差分値として演算すると共に、当該パン角の差分値に基づいて前記パン調整値を演算するパン調整部と、
前記第2実直線と前記第2変換直線との成す角度の有する成分の内、当該2次元直交座標系の他方の軸方向の角度成分を前記チルト角の差分値として演算すると共に、当該チルト角の差分値に基づいて前記チルト調整値を演算するチルト調整部と、
を備えて構成される請求項3に記載の車載カメラの校正装置。 - 前記パン調整部及び前記チルト調整部は、前記第1調整部により前記ロール調整値が更新された後の、同じ前記カメラ調整値を用いて前記座標変換部により座標変換された前記変換座標に基づいて演算する請求項4に記載の車載カメラの校正装置。
- 3次元直交座標系の基準座標系における規定位置に規定の姿勢で車両に取り付けられた車載カメラの3次元直交座標系のカメラ座標系と前記基準座標系との関係を前記車載カメラの実際の取り付け姿勢に応じて定義して、前記車載カメラを校正する車載カメラの校正方法であって、
前記車載カメラにより、前記基準座標系の異なる2箇所の所定位置に配置された校正指標を視界内に含んで撮影された撮影画像を取得する画像取得工程と、
前記カメラ座標系の射影面である前記撮影画像において前記校正指標の中のそれぞれの校正点を検出し、前記射影面に設定される2次元直交座標系においてそれぞれの前記校正点の座標を実座標として特定する校正点特定工程と、
前記車載カメラが前記規定位置に前記規定の姿勢で取り付けられた際の前記カメラ座標系と前記基準座標系との関係を定義するカメラパラメータに基づいて前記射影面においてそれぞれの前記校正点が特定される座標である初期座標を、当該カメラパラメータを前記車載カメラの実際の取り付け姿勢に応じて補正するカメラ調整値の確定前の値を用いて第1変換座標に変換する第1座標変換工程と、
前記第1変換座標及び前記実座標に基づいて、前記カメラ座標系の3つの軸の内の1つ又は2つの軸を中心とする回転角に対応する前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の1つ又は2つの調整値を演算して、前記カメラ調整値を更新する第1調整工程と、
前記第1調整工程において更新された確定前の前記カメラ調整値を用いて前記初期座標を第2変換座標に変換する第2座標変換工程と、
前記第2変換座標及び前記実座標に基づいて、前記カメラ座標系の3つの軸の内、前記第1調整工程において調整された軸を除く残りの2つ又は1つの軸を中心とする回転角に対応する前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の内、前記第1調整工程において演算された調整値を除く残りの2つ又は1つの調整値を演算して、前記カメラ調整値を更新する第2調整工程と、
前記第1調整工程及び前記第2調整工程において、前記第1変換座標と前記実座標との変位量、及び、前記第2変換座標と前記実座標との変位量がそれぞれ所定の基準変位量未満であったことを前記カメラ調整値の調整の完了条件として判定を行い、当該完了条件を満たさない場合は、前記第1座標変換工程、前記第1調整工程、前記第2座標変換工程、前記第2調整工程を繰り返し行わせ、当該完了条件を満たす場合は、これらの工程の繰り返しを完了させて次工程に移行させる調整完了判定工程と、
前記調整完了判定工程において前記完了条件を満たした場合に移行され、前記第1調整工程及び前記第2調整工程において演算された調整値により更新された前記カメラ調整値を確定させるカメラ調整値設定工程と、
を備える車載カメラの校正方法。 - 3次元直交座標系の基準座標系における規定位置に規定の姿勢で車両に取り付けられた車載カメラの3次元直交座標系のカメラ座標系と前記基準座標系との関係を前記車載カメラの実際の取り付け姿勢に応じて定義して、前記車載カメラを校正するための機能をコンピュータに実行させる車載カメラの校正プログラムであって、
前記車載カメラにより、前記基準座標系の異なる2箇所の所定位置に配置された校正指標を視界内に含んで撮影された撮影画像を取得する画像取得機能と、
前記カメラ座標系の射影面である前記撮影画像において前記校正指標の中のそれぞれの校正点を検出し、前記射影面に設定される2次元直交座標系においてそれぞれの前記校正点の座標を実座標として特定する校正点特定機能と、
前記車載カメラが前記規定位置に前記規定の姿勢で取り付けられた際の前記カメラ座標系と前記基準座標系との関係を定義するカメラパラメータに基づいて前記射影面においてそれぞれの前記校正点が特定される座標である初期座標を、当該カメラパラメータを前記車載カメラの実際の取り付け姿勢に応じて補正するカメラ調整値の確定前の値を用いて第1変換座標に変換する第1座標変換機能と、
前記第1変換座標及び前記実座標に基づいて、前記カメラ座標系の3つの軸の内の1つ又は2つの軸を中心とする回転角に対応する前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の1つ又は2つの調整値を演算して、前記カメラ調整値を更新する第1調整機能と、
前記第1調整機能の実行により更新された確定前の前記カメラ調整値を用いて前記初期座標を第2変換座標に変換する第2座標変換機能と、
前記第2変換座標及び前記実座標に基づいて、前記カメラ座標系の3つの軸の内、前記第1調整機能の実行により調整された軸を除く残りの2つ又は1つの軸を中心とする回転角に対応する前記規定の姿勢からの変位量であり、前記カメラ調整値を構成する調整値の内、前記第1調整機能の実行により演算された調整値を除く残りの2つ又は1つの調整値を演算して、前記カメラ調整値を更新する第2調整機能と、
前記第1調整機能及び前記第2調整機能が実行された際に、前記第1変換座標と前記実座標との変位量、及び、前記第2変換座標と前記実座標との変位量がそれぞれ所定の基準変位量未満であったことを前記カメラ調整値の調整の完了条件として判定を行い、当該完了条件を満たさない場合は、前記第1座標変換機能、前記第1調整機能、前記第2座標変換機能、前記第2調整機能を繰り返し実行させ、当該完了条件を満たす場合は、これらの機能の繰り返し実行を完了させて次の機能を実行させる調整完了判定機能と、
前記調整完了判定機能の実行により前記完了条件を満たしたと判定された場合に実行され、前記第1調整機能及び前記第2調整機能の実行により演算された調整値により更新された前記カメラ調整値を確定させるカメラ調整値設定機能と、
を有する車載カメラの校正プログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009085537A JP4636346B2 (ja) | 2009-03-31 | 2009-03-31 | 車載カメラの校正装置、方法、及びプログラム |
KR1020117021895A KR101265012B1 (ko) | 2009-03-31 | 2010-03-19 | 차량 탑재 카메라의 교정 장치, 방법 및 프로그램 |
US13/256,822 US8908037B2 (en) | 2009-03-31 | 2010-03-19 | Calibration device, method, and program for on-board camera |
CN201080012666.9A CN102356633B (zh) | 2009-03-31 | 2010-03-19 | 车载照相机的校正装置、方法 |
EP10758447.6A EP2416570B1 (en) | 2009-03-31 | 2010-03-19 | Calibration device, method, and program for onboard camera |
PCT/JP2010/054765 WO2010113673A1 (ja) | 2009-03-31 | 2010-03-19 | 車載カメラの校正装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009085537A JP4636346B2 (ja) | 2009-03-31 | 2009-03-31 | 車載カメラの校正装置、方法、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010262348A Division JP5240527B2 (ja) | 2010-11-25 | 2010-11-25 | 車載カメラの校正装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010239412A JP2010239412A (ja) | 2010-10-21 |
JP4636346B2 true JP4636346B2 (ja) | 2011-02-23 |
Family
ID=42827969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009085537A Active JP4636346B2 (ja) | 2009-03-31 | 2009-03-31 | 車載カメラの校正装置、方法、及びプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US8908037B2 (ja) |
EP (1) | EP2416570B1 (ja) |
JP (1) | JP4636346B2 (ja) |
KR (1) | KR101265012B1 (ja) |
CN (1) | CN102356633B (ja) |
WO (1) | WO2010113673A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011087308A (ja) * | 2010-11-25 | 2011-04-28 | Aisin Seiki Co Ltd | 車載カメラの校正装置、方法、及びプログラム |
Families Citing this family (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5091902B2 (ja) * | 2009-03-31 | 2012-12-05 | アイシン精機株式会社 | 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、システムと、当該システムのためのプログラム |
US8988467B2 (en) * | 2011-10-13 | 2015-03-24 | Microsoft Technology Licensing, Llc | Touchscreen selection visual feedback |
KR20130051709A (ko) * | 2011-11-10 | 2013-05-21 | 삼성전기주식회사 | 스테레오 카메라 모듈 |
JP5883275B2 (ja) * | 2011-11-18 | 2016-03-09 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 車載カメラのキャリブレーション装置 |
CN103185543B (zh) * | 2011-12-31 | 2015-11-25 | 上海汽车集团股份有限公司 | 车载摄像头标定方法及系统 |
JP6012982B2 (ja) * | 2012-02-24 | 2016-10-25 | 京セラ株式会社 | 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法 |
JP5924053B2 (ja) * | 2012-03-19 | 2016-05-25 | 株式会社日本自動車部品総合研究所 | 駐車支援装置 |
CN103674057B (zh) * | 2012-09-11 | 2016-08-03 | 北京航天计量测试技术研究所 | 带有反射球的标准球杆及其对相机外部参数的标定方法 |
CN103661138B (zh) * | 2012-09-13 | 2016-01-20 | 昆达电脑科技(昆山)有限公司 | 于用户界面上调整车辆摄像头位置的装置及其方法 |
JP5923422B2 (ja) * | 2012-09-24 | 2016-05-24 | クラリオン株式会社 | カメラのキャリブレーション方法及び装置 |
CN103847639B (zh) * | 2012-12-03 | 2015-11-18 | 上海汽车集团股份有限公司 | 车载摄像头动态车辅线标定方法 |
CN104184932B (zh) * | 2013-05-20 | 2018-03-23 | 浙江大华技术股份有限公司 | 球机控制方法及装置 |
KR101973408B1 (ko) * | 2013-05-21 | 2019-04-29 | 삼성전기주식회사 | 영상 교정 장치 및 영상 교정 방법 |
JP6410411B2 (ja) * | 2013-06-20 | 2018-10-24 | キヤノン株式会社 | パターンマッチング装置及びパターンマッチング方法 |
CN104276102B (zh) * | 2013-07-10 | 2016-05-11 | 德尔福电子(苏州)有限公司 | 一种基于车辆位置检测的环视系统标定装置 |
CN104349036B (zh) * | 2013-07-29 | 2019-03-29 | 联想(北京)有限公司 | 一种信息处理的方法及电子设备 |
US9201424B1 (en) * | 2013-08-27 | 2015-12-01 | Google Inc. | Camera calibration using structure from motion techniques |
KR102114386B1 (ko) * | 2013-11-21 | 2020-05-22 | 현대모비스 주식회사 | 차량용 미러리스 시스템 |
KR102175961B1 (ko) * | 2013-11-29 | 2020-11-09 | 현대모비스 주식회사 | 차량 후방 주차 가이드 장치 |
FR3014553A1 (fr) * | 2013-12-11 | 2015-06-12 | Parrot | Procede de calibration angulaire de la position d'une camera video embarquee dans un vehicule automobile |
CN103863205A (zh) * | 2014-04-03 | 2014-06-18 | 深圳市德赛微电子技术有限公司 | 一种辅助车载全景系统摄像头安装的方法及其辅助系统 |
JP2015204548A (ja) * | 2014-04-15 | 2015-11-16 | 株式会社リコー | 画像投影システム |
TWI511086B (zh) * | 2014-04-18 | 2015-12-01 | Altek Semiconductor Corp | 鏡頭失真校正方法 |
US9981605B2 (en) * | 2014-05-16 | 2018-05-29 | GM Global Technology Operations LLC | Surround-view camera system (VPM) and vehicle dynamic |
JP6467838B2 (ja) * | 2014-09-26 | 2019-02-13 | アイシン精機株式会社 | 周辺監視装置、及び周辺監視システム |
CN104243833B (zh) * | 2014-09-30 | 2017-12-08 | 精宸智云(武汉)科技有限公司 | 一种相机姿态的调整方法及装置 |
JP6568374B2 (ja) * | 2015-03-27 | 2019-08-28 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
DE102015208228A1 (de) * | 2015-05-05 | 2016-11-10 | Bayerische Motoren Werke Aktiengesellschaft | Diagnoseverfahren für einen Sichtsensor eines Fahrzeugs und Fahrzeug mit einem Sichtsensor |
CN104820523B (zh) * | 2015-05-19 | 2017-11-28 | 京东方科技集团股份有限公司 | 一种实现触控的方法及装置 |
EP3304491B1 (en) * | 2015-05-26 | 2020-07-08 | Crown Equipment Corporation | Systems and methods for image capture device calibration for a materials handling vehicle |
CN104867160B (zh) * | 2015-06-17 | 2017-11-07 | 合肥工业大学 | 一种用于摄像机内外参数标定的方向性标定靶标 |
EP3125196B1 (en) * | 2015-07-29 | 2018-02-21 | Continental Automotive GmbH | Drive-by calibration from static targets |
CN107427187B (zh) * | 2015-09-25 | 2019-08-02 | 奥林巴斯株式会社 | 图像校准用检查器具和内窥镜系统 |
KR102399655B1 (ko) * | 2015-11-03 | 2022-05-19 | 엘지이노텍 주식회사 | 차량용 카메라의 시야각 조절 및 거리 표시 방법 |
JP6510999B2 (ja) * | 2016-03-24 | 2019-05-08 | 本田技研工業株式会社 | センサブラケット |
KR102597435B1 (ko) * | 2016-04-20 | 2023-11-03 | 엘지이노텍 주식회사 | 영상 취득 장치 및 그 방법 |
CN106101695B (zh) * | 2016-06-15 | 2017-12-15 | 上海木爷机器人技术有限公司 | 摄像头识别精度检测系统 |
JP6864333B2 (ja) * | 2016-07-14 | 2021-04-28 | 国立大学法人 宮崎大学 | 顔向き検出システム及び顔向き検出装置 |
CN108074267B (zh) * | 2016-11-18 | 2023-08-11 | 松下知识产权经营株式会社 | 交点检测装置及方法、摄像头校正系统及方法及记录介质 |
CN107249128B (zh) * | 2017-06-23 | 2020-04-03 | 深圳超多维科技有限公司 | 一种摄像头的校正方法及装置 |
WO2019035352A1 (ja) * | 2017-08-18 | 2019-02-21 | ソニーセミコンダクタソリューションズ株式会社 | カメラ装置、カメラ搭載車両、および方法、並びにプログラム |
CN109920003B (zh) * | 2017-12-12 | 2023-09-15 | 广东虚拟现实科技有限公司 | 相机标定检测方法、装置以及设备 |
JP7037413B2 (ja) * | 2018-03-28 | 2022-03-16 | 京セラ株式会社 | 撮像装置、移動体、および撮像方法 |
DE102018222796A1 (de) * | 2018-12-21 | 2020-06-25 | Conti Temic Microelectronic Gmbh | Aufbau und Vermessung des Aufbaus zur Kalibrierung einer Kamera |
CN111385525B (zh) * | 2018-12-28 | 2021-08-17 | 杭州海康机器人技术有限公司 | 视频监控方法、装置、终端及系统 |
CN109703465B (zh) * | 2018-12-28 | 2021-03-12 | 百度在线网络技术(北京)有限公司 | 车载图像传感器的控制方法和装置 |
US10748032B1 (en) * | 2019-01-31 | 2020-08-18 | StradVision, Inc. | Method for providing robust object distance estimation based on camera by performing pitch calibration of camera more precisely with fusion of information acquired through camera and information acquired through V2V communication and device using the same |
CN109849972A (zh) * | 2019-02-12 | 2019-06-07 | 西安思科赛德电子科技有限公司 | 智能探测视频采集系统的在线姿态调整系统及其调整方法 |
TWI705011B (zh) * | 2019-03-12 | 2020-09-21 | 緯創資通股份有限公司 | 車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統 |
JP6673618B1 (ja) * | 2019-03-20 | 2020-03-25 | 東芝エレベータ株式会社 | エレベータシステム |
US11629835B2 (en) * | 2019-07-31 | 2023-04-18 | Toyota Jidosha Kabushiki Kaisha | Auto-calibration of vehicle sensors |
CN110766761B (zh) * | 2019-10-21 | 2023-09-26 | 北京百度网讯科技有限公司 | 用于相机标定的方法、装置、设备和存储介质 |
CN111627068A (zh) * | 2019-12-31 | 2020-09-04 | 成都国翼电子技术有限公司 | 用于自动校正无人机前视摄像机图像中心的装置及方法 |
CN111703584B (zh) * | 2020-08-17 | 2020-12-08 | 北京远度互联科技有限公司 | 一种回中方法、光电吊舱、无人机及存储介质 |
CN112884842B (zh) * | 2020-12-25 | 2024-03-22 | 杭州迦智科技有限公司 | 双舵轮零位和采集装置外参同步标定方法及可移动平台 |
CN113038031B (zh) * | 2021-03-02 | 2023-05-30 | 天津天地伟业智能安全防范科技有限公司 | 一种枪球联动的标定方法、装置、电子设备及存储介质 |
JP2022150929A (ja) * | 2021-03-26 | 2022-10-07 | 本田技研工業株式会社 | 軸ずれ推定装置 |
CN113223076B (zh) * | 2021-04-07 | 2024-02-27 | 东软睿驰汽车技术(沈阳)有限公司 | 车辆与车载摄像头的坐标系标定方法、设备及存储介质 |
CN116129087A (zh) | 2021-11-30 | 2023-05-16 | 北京百度网讯科技有限公司 | 定位方法、视觉地图的生成方法及其装置 |
CN114347917B (zh) * | 2021-12-28 | 2023-11-10 | 华人运通(江苏)技术有限公司 | 一种车辆、车载摄像系统的校准方法和装置 |
CN114170326B (zh) * | 2022-02-09 | 2022-05-20 | 北京芯海视界三维科技有限公司 | 获取相机坐标系原点的方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001245326A (ja) * | 1999-12-24 | 2001-09-07 | Aisin Seiki Co Ltd | 車載カメラの校正装置および校正方法、並びに校正指標 |
JP2006148745A (ja) * | 2004-11-24 | 2006-06-08 | Aisin Seiki Co Ltd | カメラの校正方法及びカメラの校正装置 |
JP2006306162A (ja) * | 2005-04-26 | 2006-11-09 | Toyota Auto Body Co Ltd | 車載光学装置の方向調整方法 |
JP2008131177A (ja) * | 2006-11-17 | 2008-06-05 | Aisin Seiki Co Ltd | 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法 |
JP2008131250A (ja) * | 2006-11-20 | 2008-06-05 | Aisin Seiki Co Ltd | 車載カメラの校正装置及び当該装置を用いた車両の生産方法 |
JP2008187564A (ja) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | カメラ校正装置及び方法並びに車両 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6813371B2 (en) | 1999-12-24 | 2004-11-02 | Aisin Seiki Kabushiki Kaisha | On-vehicle camera calibration device |
JP2003141527A (ja) * | 2001-11-07 | 2003-05-16 | Japan Science & Technology Corp | 多視点画像処理システムのキャリブレーション装置及びキャリブレーション方法 |
JP4015051B2 (ja) | 2002-04-22 | 2007-11-28 | 松下電器産業株式会社 | カメラ補正装置 |
JP4122463B2 (ja) * | 2002-07-26 | 2008-07-23 | 将吾 畦元 | 医療用可視画像の生成方法 |
JP4238663B2 (ja) | 2003-08-29 | 2009-03-18 | トヨタ自動車株式会社 | 車載カメラのキャリブレーション方法及びキャリブレーション装置 |
CN101226638B (zh) | 2007-01-18 | 2010-05-19 | 中国科学院自动化研究所 | 一种对多相机系统的标定方法及装置 |
JP5124147B2 (ja) * | 2007-02-01 | 2013-01-23 | 三洋電機株式会社 | カメラ校正装置及び方法並びに車両 |
US7798220B2 (en) * | 2007-04-20 | 2010-09-21 | Shell Oil Company | In situ heat treatment of a tar sands formation after drive process treatment |
-
2009
- 2009-03-31 JP JP2009085537A patent/JP4636346B2/ja active Active
-
2010
- 2010-03-19 CN CN201080012666.9A patent/CN102356633B/zh active Active
- 2010-03-19 KR KR1020117021895A patent/KR101265012B1/ko active IP Right Grant
- 2010-03-19 EP EP10758447.6A patent/EP2416570B1/en active Active
- 2010-03-19 WO PCT/JP2010/054765 patent/WO2010113673A1/ja active Application Filing
- 2010-03-19 US US13/256,822 patent/US8908037B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001245326A (ja) * | 1999-12-24 | 2001-09-07 | Aisin Seiki Co Ltd | 車載カメラの校正装置および校正方法、並びに校正指標 |
JP2006148745A (ja) * | 2004-11-24 | 2006-06-08 | Aisin Seiki Co Ltd | カメラの校正方法及びカメラの校正装置 |
JP2006306162A (ja) * | 2005-04-26 | 2006-11-09 | Toyota Auto Body Co Ltd | 車載光学装置の方向調整方法 |
JP2008131177A (ja) * | 2006-11-17 | 2008-06-05 | Aisin Seiki Co Ltd | 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法 |
JP2008131250A (ja) * | 2006-11-20 | 2008-06-05 | Aisin Seiki Co Ltd | 車載カメラの校正装置及び当該装置を用いた車両の生産方法 |
JP2008187564A (ja) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | カメラ校正装置及び方法並びに車両 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011087308A (ja) * | 2010-11-25 | 2011-04-28 | Aisin Seiki Co Ltd | 車載カメラの校正装置、方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20120007985A1 (en) | 2012-01-12 |
WO2010113673A1 (ja) | 2010-10-07 |
US8908037B2 (en) | 2014-12-09 |
KR101265012B1 (ko) | 2013-05-24 |
EP2416570B1 (en) | 2016-07-27 |
EP2416570A4 (en) | 2013-06-05 |
CN102356633A (zh) | 2012-02-15 |
JP2010239412A (ja) | 2010-10-21 |
CN102356633B (zh) | 2014-04-23 |
KR20110116243A (ko) | 2011-10-25 |
EP2416570A1 (en) | 2012-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4636346B2 (ja) | 車載カメラの校正装置、方法、及びプログラム | |
JP5240527B2 (ja) | 車載カメラの校正装置、方法、及びプログラム | |
JP4751939B2 (ja) | 車載カメラの校正装置 | |
JP4690476B2 (ja) | 車載カメラの校正装置 | |
JP5081313B2 (ja) | 車載カメラの校正装置 | |
JP4803450B2 (ja) | 車載カメラの校正装置及び当該装置を用いた車両の生産方法 | |
EP1850595B1 (en) | Periphery supervising device, and periphery supervising method | |
JP2008131177A (ja) | 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法 | |
JP7444605B2 (ja) | 牽引ヒッチの位置を計算する方法 | |
JP2009288152A (ja) | 車載カメラのキャリブレーション方法 | |
CN107465890B (zh) | 车辆的图像处理装置 | |
WO2011090163A1 (ja) | パラメータ決定装置、パラメータ決定システム、パラメータ決定方法、及び記録媒体 | |
JP6565769B2 (ja) | 車載カメラの取付角度検出装置、取付角度較正装置、取付角度検出方法、取付角度較正方法、およびコンピュータープログラム | |
JP2004198212A (ja) | 移動体周辺監視装置 | |
JP2004297808A (ja) | 移動体周辺監視装置 | |
JP2006268076A (ja) | 運転支援システム | |
JP6614754B2 (ja) | 車両上に配置された全方向カメラからの全方向画像をレクティリニア画像に変換する方法 | |
US20160090044A1 (en) | Periphery monitoring apparatus and periphery monitoring system | |
JP6151535B2 (ja) | パラメータ取得装置、パラメータ取得方法及びプログラム | |
JP2004120661A (ja) | 移動体周辺監視装置 | |
JP2018528514A (ja) | 後方交差交通のクイックルック | |
KR20170057684A (ko) | 전방 카메라를 이용한 주차 지원 방법 | |
KR101989370B1 (ko) | 차선인식 기반의 svm 다이나믹 오토 캘리브레이션 방법 | |
JP2007096964A (ja) | カメラ補正装置及びカメラ補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100824 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20100827 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20100914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101028 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101110 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131203 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4636346 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131203 Year of fee payment: 3 |