JP3986360B2 - カメラ校正装置 - Google Patents
カメラ校正装置 Download PDFInfo
- Publication number
- JP3986360B2 JP3986360B2 JP2002138552A JP2002138552A JP3986360B2 JP 3986360 B2 JP3986360 B2 JP 3986360B2 JP 2002138552 A JP2002138552 A JP 2002138552A JP 2002138552 A JP2002138552 A JP 2002138552A JP 3986360 B2 JP3986360 B2 JP 3986360B2
- Authority
- JP
- Japan
- Prior art keywords
- angle
- camera
- calculated
- calculating means
- vanishing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Navigation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両などの移動体に搭載するカメラ校正装置に関する。
【０００２】
【従来の技術】
近年、車両にカメラとカーナビゲーション装置が搭載されるようになっている。カーナビゲーション装置と車載カメラを組み合わせて、本線から分岐路に経路案内する利用例を示す。図５は車両前方を撮像するカメラの撮影画像および経路案内を示した説明図である。図５において、本線１００１を車両が走行する。分岐路１００２が案内すべき経路である。カーナビゲーション装置はドライバーに分岐すべき道路をわかりやすく、経路案内するために、車両が進路変更する距離の目安を示す２本の距離案内線１００３と、距離案内線１００３までの距離を示す距離表示１００４と、車両が進行すべき方向を示す案内矢印１００５を実画像に重畳して描画する。
【０００３】
図５に説明する経路案内を実現するためには、カメラの路面に対する位置と角度を求め、カメラの画像と実際の道路との対応関係を求めるためのカメラ校正装置が必要となる。カメラ校正は、所定の形態の基準位置パターンを有する校正用ボードを所定の位置に配置し、これをカメラで撮像することにより行われる。ここで、基準位置パターンとは、カメラ校正用の基準位置を示すパターンであり、通常、視覚的に特徴点を抽出しやすいパターンが使用される。
【０００４】
図６は、従来例のカメラ校正装置の機能構成を示すブロック図であり、この図６に従ってカメラ校正装置の動作を説明する。
【０００５】
まず、校正用ボード１１０１をカメラ１１０２によって撮像する。図７は、校正用ボード１１０１の一例を示す説明図である。この校正用ボード１１０１は、対面する辺が平行な六角形であり、カメラ１１０２の撮像範囲内に路面に置かれる。六角形の頂点１２０１は、左周りにＰ０からＰ５とする。実際のｘｙｚ空間における三次元座標（以下「世界座標」という）の原点をＰ３にとり、ｙ軸をＰ３とＰ０を結ぶ直線とし、ｘ軸を図７に示すようにｙ軸と直角にとる。ｚ軸は路面に対して垂直に上を正方向にとる。カメラ１１０２の画像はｘｙ平面上の二次元座標（以下「スクリーン座標」という）で表現される。カメラ校正とはスクリーン座標と世界座標を対応づけることであり、求めるカメラ校正用のパラメータを「カメラ校正パラメータ」という。
【０００６】
次に、校正用ボード消失点算出部１１０３はカメラ１１０２の画像から消失点を算出する。図８はカメラ１１０２により撮像した校正用ボード１１０１の画像を示す説明図である。校正用ボード１１０１には六角形の頂点１２０１がある。校正用ボード消失線算出部１１０３は対向する六角形の辺を延長してできる消失点ＶＤ（１３０４）、Ｖ１（１３０５）、Ｖ２（１３０６）を求める。特に、世界座標のＹ軸に平行な直線を延長してできる消失点であるＶＤ（１３０４）を深消失点（Depth Vanishing Point ）と呼ぶ。
【０００７】
校正用ボード消失線算出部１１０４は、３つの消失点ＶＤ（１３０４）、Ｖ１（１３０５）、Ｖ２（１３０６）を結んで消失線１３０７を算出する。また、Ｌ０（１３０１）はＰ１とＰ２を通り、ＶＤ（１３０４）に至る直線、Ｌ１（１３０２）はＰ２とＰ３を通り、Ｖ１（１３０５）に至る直線、Ｌ２（１３０３）はＰ３とＰ４を通り、Ｖ２（１３０６）に至る直線である。
【０００８】
校正用ボード角度算出部１１０５は校正用ボード消失点算出部１１０３が算出する消失点と校正用ボード消失線算出部１１０４が算出する消失線１３０７からカメラ１１０２の設置角度を算出する。
【０００９】
校正用ボード角度算出部１１０５は設置角度であるスウィングψ、ティルトφ、パンθを以下の手順で求める。図９はカメラ１１０２の画像においてカメラ角度スウィングψを求める説明図である。カメラ角度スウィングψは消失線１３０７が画像のＵ軸となす角度として求めることができる。
【００１０】
カメラのティルトφはカメラの焦点距離をｆとすると、以下の数１から求めることができる。
【００１１】
【数１】
【００１２】
カメラのパンθは図８のＬ１（１３０２）とＬ２（１３０３）の世界座標におけるｘｙ平面の直線の傾きをそれぞれｍ１、ｍ２とすると、以下の数２により求めることができる。
【００１３】
【数２】
【００１４】
校正用ボード位置算出部１１０６はレンズ中心の世界座標（ｘｃ、ｙｃ、ｚｃ）を以下の手続きで算出する。図７における六角形の頂点１２０１のＰ１とＰ２の世界座標をそれぞれ（ｘ１、ｙ１、ｚ１）、（ｘ２、ｙ２、ｚ２）とする。Ｐ１、Ｐ２に対応するスクリーン座標を（ｕ１、ｗ１）、（ｕ２、ｗ２）とする。レンズ中心の高さｈは以下の数３を解くことで求まる。
【００１５】
【数３】
【００１６】
レンズ中心の世界座標はこのｈから、以下の数４で求めることができる。
【００１７】
【数４】
【００１８】
そして、校正用ボード角度算出部１１０５が算出するカメラ角度と校正用ボード位置算出部１１０６が算出するカメラ位置とから、カメラの画像と実際の道路との対応関係を示すカメラ校正パラメータを出力し、カメラ校正を終了する。
【００１９】
このカメラ校正にかかる処理の詳細は、文献（"Camera Calibration by Vanishing Lines for 3D Computer Vision", Ling-Ling Wang, IEEE TRANSACTIONS on Pattern Analysis and Machine Intelligence Vol. 13. No.4 April 1991, pp370-376）に記載されている。
【００２０】
【発明が解決しようとする課題】
しかしながら、上記従来例のカメラ校正装置では、校正用ボード１１０１を路面などに置いてカメラ校正する必要があり、カメラ校正作業を自動化することができないという問題があった。
【００２１】
本発明はかかる点に鑑みてなされたものであり、カメラ校正作業を自動化することができるカメラ校正装置を提供することを目的とする。
【００２２】
【課題を解決するための手段】
本発明のカメラ校正装置は、移動体に配設したカメラの撮像画像における道路の消失点と前記移動体の進行角度を検出する角度センサの検出角度とを対にして算出する消失点算出手段と、前記消失点算出手段が算出する消失点から消失線を算出する消失線算出手段と、前記消失点算出手段が算出する消失点および角度センサの検出角度と前記消失線算出手段が算出する消失線とから前記カメラの道路に対する設置角度を算出する角度算出手段と、前記角度算出手段が算出する設置角度から前記カメラの撮像画像を上方視点からの画像に変換し、この画像のオプティカルフローから画像上の２点間の距離を算出するオプティカルフロー距離算出手段と、前記角度算出手段が算出するカメラの設置角度と前記オプティカルフロー距離算出手段が算出する画像上の２点間距離とからカメラ設置位置を算出する位置算出手段とを有することを特徴とする。
【００２３】
この構成により、オプティカルフローにより撮像画像上の距離を算出することによって、校正用ボードを使用しないでカメラ校正を行うことができ、カメラ校正作業を自動化することが可能となる。
【００２６】
また、本発明のカメラ校正装置は、地図情報を利用して測定すべき道路を特定し、移動体に配設したカメラの撮像画像における道路の消失点と前記移動体の進行角度を検出する角度センサの検出角度とを対にして算出する地図利用型消失点算出手段と、前記地図利用型消失点算出手段が算出する消失点から消失線を算出する消失線算出手段と、前記地図利用型消失点算出手段が算出する消失点および角度センサの検出角度と前記消失線算出手段が算出する消失線とから前記カメラの道路に対する設置角度を算出する角度算出手段と、前記角度算出手段が算出する設置角度から前記カメラの撮像画像を上方視点からの画像に変換し、この画像のオプティカルフローから画像上の２点間の距離を算出するオプティカルフロー距離算出手段と、前記角度算出手段が算出するカメラの設置角度と前記オプティカルフロー距離算出手段が算出する画像上の２点間距離とからカメラ設置位置を算出する位置算出手段とを有することを特徴とする。
【００２７】
この構成により、地図情報を利用して測定すべき道路を特定できるので、撮像画像における正確な消失点を算出でき、校正用ボードを使用しないでカメラ校正作業を自動化することが可能となる。
【００２８】
また、本発明のカメラ校正装置は、移動体に配設したカメラの撮像画像における道路の消失点と前記移動体の進行角度を検出する角度センサの検出角度とを対にして算出する消失点算出手段と、前記消失点算出手段が算出する消失点から消失線を算出する消失線算出手段と、前記消失点算出手段が算出する消失点および角度センサの検出角度と前記消失線算出手段が算出する消失線とから前記カメラの道路に対する設置角度を算出する角度算出手段と、前記カメラが撮像した大きさが既知である交通標識の画像から画像上の２点間の距離を算出する交通標識距離算出手段と、前記角度算出手段が算出するカメラの設置角度と前記交通標識距離算出手段が算出する画像上の２点間距離とからカメラ設置位置を算出する位置算出手段とを有することを特徴とする。
【００２９】
この構成により、大きさが既知である路面上の交通標識を撮像し、この画像から画像上の２点間距離を算出することができるので、校正用ボードを使用しないでカメラ校正作業を自動化することが可能となる。
【００３０】
また、本発明のカメラ校正装置は、上記いずれかの構成において、前記角度算出手段と前記位置算出手段とにより求めたカメラの設置角度と設置位置とを基に、一定間隔で求めた前記カメラの設置角度と設置位置とが所定範囲内にあるか否かを判定する精度判定手段を有することを特徴とする。
【００３１】
この構成により、精度判定手段によってカメラの設置角度と設置位置とが所定範囲内にあるかで校正が正確に行われているか判断可能であり、校正用ボードを使用しないでカメラ校正作業を自動化することが可能となる。
【００３２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
図１は、本発明の一実施の形態に係るカメラ校正装置の機能構成を示すブロック図である。この図１に従って本実施の形態に係るカメラ校正装置の構成および動作を説明する。
【００３３】
本実施の形態のカメラ校正装置は、車両などの移動体に設置され、車載カメラとカーナビゲーション装置とを組み合わせて経路案内を撮像画像中に表示する場合などに用いられるものである。
【００３４】
このカメラ校正装置は、車両前方または後方の道路画像１０１を撮像するカメラ１０２の校正を行うものであって、校正用のカメラ校正パラメータを算出するために、消失点算出部（消失点算出手段に相当する）１０３、消失線算出部（消失線算出手段に相当する）１０４、角度算出部（角度算出手段に相当する）１０５、オプティカルフロー距離算出部（オプティカルフロー距離算出手段に相当する）１０６、位置算出部（位置算出手段に相当する）１０７を備えている。これらの各部の機能は以下で詳述する。本実施の形態では、これらの各部は、カメラ校正装置内のＣＰＵ（図示せず）がＲＯＭ（図示せず）に格納されたプログラムを実行することによって実現される。なお、ＣＰＵ、ＲＯＭを用いる代わりに、ハードウェアで構成された専用回路で実現してもよいことは勿論である。
【００３５】
カメラ１０２は車両に設置され、走行道路の前方あるいは後方を撮像して道路画像１０１を得る。消失点算出部１０３は、カメラ１０２が撮像した道路画像１０１から以下の手順により消失点を算出する。
【００３６】
図２は消失点算出部１０３の機能説明図である。図２において、（ａ）は車両が道路に対して直進する場合、（ｂ）は車両が道路に対して右方向に進行する場合、（ｃ）は車両が道路に対して左方向に進行する場合をそれぞれ示したものである。（ａ）、（ｂ）、（ｃ）において左側は道路の平面図であり、右側はカメラ１０２の撮像画像を示している。ここで、車両２０１は白線２０２を含む道路上を進行方向２０３の方向に走行する。
【００３７】
消失点算出部１０３は、カメラ１０２の撮像画像から、白線２０２の延長線上の交点である消失点をそれぞれ、ＶＤ（２０４）、Ｖ１（２０５）、Ｖ２（２０６）として算出する。
【００３８】
ここで、車両に搭載される角度センサが角度の相対的変位量を測定するジャイロであるとき、角度センサの出力が所定期間変化しないときを車両が直線道路を直進していると推定し、そのときの消失点２０４を深消失点ＶＤ（２０４）とする。直進の判別を行うための所定期間は、変化しない期間の継続時間により一定曲率のカーブ道路と直線道路とを判別できる期間とする。
【００３９】
また、車両に搭載される角度センサが角度の絶対的変位量を測定する車両のハンドルの回転角度を計測する舵角センサである場合は、所定期間、舵角が０であるとき、車両が直線道路を直進していると推定し、そのときの消失点２０４を深消失点ＶＤ（２０４）とする。直線深消失点ＶＤ（２０４）の進行方向を基準として、角度センサの変化量と消失点Ｖ１（２０５）とＶ２（２０６）を対にして記録する。
【００４０】
消失線算出部１０４は、前記消失点算出部１０３で求めた、深消失点ＶＤ（２０４）と消失点Ｖ１（２０５）と消失点Ｖ２（２０６）を結ぶ直線として消失線２０７を求める。あるいは、消失線算出部１０４は所定期間ごとに消失点を記録し続け、２点以上、好ましくは４点以上の多点から消失線２０７を求めることもできる。
【００４１】
角度算出部１０５は、前記消失点算出部１０３で求めた、深消失点ＶＤ（２０４）、消失点Ｖ１（２０５）、消失点Ｖ２（２０６）と、前記消失線算出部１０４で求めた消失線２０７から、カメラ角度スウィングψとティルトφを前述した従来例と同じ方法により数１などを用いて算出する。
【００４２】
また、カメラのパンθは、世界座標におけるｘｙ平面の直線の傾きをそれぞれｍ１、ｍ２とし、ｍ１およびｍ２を消失点算出部１０３において消失点Ｖ１（２０５）とＶ２（２０６）と対に記憶してある角度センサの変化量から求め、数２により算出する。
【００４３】
オプティカルフロー距離算出部１０６は、まず、角度算出部１０５が算出する設置角度と暫定的なカメラ設置位置から、カメラ１０２の画像を上方視点からの画像に変換する。世界座標（ｘ、ｙ、ｚ）とカメラ座標（ｕ、ｖ、ｗ）の変換式は、以下の数５に示すようになる。
【００４４】
【数５】
【００４５】
数５において、θ、φ、ψを角度算出部１０５が求めた値とし、レンズ中心位置を暫定的にＸｃ＝０、Ｙｃ＝０、Ｚｃ＝カメラの暫定的高さ（例えば１．２ｍ）として代入し、世界座標とカメラ座標の関係を決定する。次に、上方視点画像に変換する世界座標の高さ０（ｚ＝０）である領域（ｘ、ｙの適当な領域）内にある点の、世界座標に対応する道路画像１０１のスクリーン座標を求める。そして、数５により、世界座標からカメラ座標に変換する。カメラ座標からスクリーン座標への変換方法の詳細は省くが一般的な方法を使用する。このようにして道路画像１０１の上方視点画像を生成する。
【００４６】
次いで、オプティカルフロー距離算出部１０６は一定間隔ごとに画像を分割した各ブロックにおいてオプティカルフローによる実距離を算出する。図３はオプティカルフロー距離算出部１０６の機能説明図である。図３の（ａ）はオプティカルフロー検出領域を示す図であり、左側はカメラ１０２の撮像画像であり、右側は撮像画像を設置角度情報を利用して上方視点画像に変換した画像である。オプティカルフローとは、画像上の各点の速度場のことであり、このオプティカルフローを検出するオプティカルフロー検出領域３０１は、白線などによって判断できる路面部分だけでよい。上方視点画像の性質として、等しい画素距離にある画素は実世界の距離も等しくなる。
【００４７】
ここで、図３の（ａ）に示す点Ａを原点とし、白線に沿ってｙ軸をとり、ｙ軸と垂直にｘ軸をとる。図３の（ｂ）はオプティカルフロー検出領域３０１の拡大図である。図示のように、オプティカルフロー検出領域３０１は小さいブロック３０２に分割される。このオプティカルフロー検出領域３０１において、一定間隔（例えば０．１秒間隔）の画像ごとに各ブロックは進行方向を考慮してオプティカルフローによりマッチングする領域を探索する。そして、各ブロックについて単位画素当たりの実距離Ｄを以下に示す数６により求める。
【００４８】
【数６】
ここで、ｖは車両の速度、ｔはマッチングする画像間の時間、ｐはマッチングした画素距離である。ｖは車両に搭載した車速センサから出力される車速パルスから求めることができる。
【００４９】
そして、一定間隔の画像およびブロックごとに実距離Ｄを算出し、その実距離の平均値ＤＭを求める。点ＡＢ間の画素間距離をＰＡＢとすると、以下に示す数７により点Ｂの世界座標のＹ座標ＹＢを得ることができる。
【００５０】
【数７】
【００５１】
位置算出部１０７は、角度算出部１０５が算出するカメラ設置角度とオプティカルフロー距離算出部１０６が算出する点Ｂの世界座標とから、カメラ設置位置を従来例と同様に数３及び数４の関係式を利用して算出する。そして、このカメラの位置および角度をカメラの画像と実際の道路との対応関係を示すカメラ校正パラメータとして出力する。
【００５２】
以上の処理により、本実施の形態においてはオプティカルフローにより撮像画像上の実距離を算出することによって、校正用ボードを使用しないでカメラ校正を行うことができる。これにより、カメラ校正作業を自動化することができる。
【００５３】
なお、本発明は、上述した実施の形態の構成および動作に限定されるものではなく、一部を変更した種々の実施の形態が考えられる。
【００５４】
例えば、消失点算出部１０３の代替として、オプティカルフロー消失点算出部を設けてもよい。オプティカルフロー消失点算出部は、カメラ１０２の撮像画像のオプティカルフローから道路の消失点を以下の手順で算出する。
【００５５】
図４はオプティカルフロー消失点算出部の機能説明図であり、カメラ１０２の撮像画像を示している。
【００５６】
この場合、撮像画像中の道路４０１の部分を一定間隔の画像ごとに複数のブロック４０２に分割し、この道路上の画像ブロックにおいて、半円の放射状方向にマッチング方向４０３を設定する。そして、すべてのブロック４０２に対して、マッチング方向４０３にオプティカルフローによりマッチングするブロックを一定時間経過後の画像から探索する。このマッチング結果から現在位置と一定時間経過後の位置を結んで各ブロック４０２ごとに直線の方程式をたてることができる。ｉ番目の画像ブロックの直線の式は以下の数８のようになる。
【００５７】
【数８】
この数８の交点が消失点となるので、以下に示す数９を最小にするｘ、ｙが消失点の座標となる。
【００５８】
【数９】
【００５９】
これにより、白線のない道路でも道路上の特徴物体（例えば、道路上に描画された「横断歩道」のパターン、「止まれ」の文字など）のオプティカルフローにより、校正用ボードを使用しないでカメラ校正作業を自動化することができる。
【００６０】
また、消失点算出部１０３の代替として、地図利用型消失点算出部を設けてもよい。地図利用型消失点算出部は、地図情報を利用して測定すべき道路を特定し、角度センサが測定する角度と道路の消失点を対にして算出する。この場合、地図利用型消失点算出部は、電子化された地図情報から平坦な直線道路を車両が走行していることを認識し、角度センサが一定であるとき、車両が直進していることを認識し、消失点ＶＤ（２０４）を求める。そして、ＶＤ（２０４）を基準として、角度センサの変位量と消失点Ｖ１（２０５）とＶ２（２０６）を対にして算出する。
【００６１】
これにより、地図情報を利用して測定すべき道路を特定できるので、正確な消失点を算出でき、校正用ボードを使用しないでカメラ校正作業を自動化することができる。
【００６２】
また、オプティカルフロー距離算出部１０６の代替として、交通標識距離算出部を設けてもよい。交通標識距離算出部は、校正対象のカメラ１０２が大きさが既知である交通標識を撮像した道路画像１０１を基に、画像の２点間の距離を算出する。大きさが既知である交通標識としては、路面に描画された横断歩道の白帯の幅、「止まれ」表示の字の大きさなどがある。
【００６３】
これにより、大きさが既知の路面上の交通標識から画像の２点間距離を算出することができ、校正用ボードを使用しないでカメラ校正作業を自動化することができる。
【００６４】
また、本実施の形態のカメラ校正装置に精度判定部を設けることもできる。精度判定部は、角度算出部１０５と位置算出部１０７とにより、カメラの角度と位置を一定間隔で求めるようにし、この一定間隔で求めたカメラの角度と位置が所定範囲内にあるかどうかを判定する。ここで、所定範囲内にあるとき、カメラ校正パラメータが正しいと推定する。その結果、例えば、カメラ校正パラメータの算出を停止する。また、この判定結果を基に、ユーザにカメラ校正パラメータが算出できたことを知らせることも可能である。一方、カメラの角度と位置が所定範囲内にない場合は、所定範囲内に収まるまで、カメラ校正パラメータを算出し直すようにする。
【００６５】
これにより、校正が正確に行われているか判断可能であり、校正用ボードを使用しないでカメラ校正作業を自動化することができる。
【００６６】
上述したように、本実施の形態のカメラ校正装置によれば、オプティカルフロー距離算出部１０６においてオプティカルフローにより撮像画像上の実距離を算出することによって、校正用ボードを使用しないでカメラ校正を行うことができ、カメラ校正作業を自動化することが可能となる。
【００６７】
【発明の効果】
以上説明したように本発明によれば、校正用ボードなどの校正用基準パターンを使用することなくカメラ校正が可能であり、カメラ校正作業を自動化することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係るカメラ校正装置の機能構成を示すブロック図
【図２】本発明の一実施の形態に係る消失点算出部の機能説明図であり、
（ａ）は車両が道路に対して直進する場合を示した図、
（ｂ）は車両が道路に対して右方向に進行する場合を示した図、
（ｃ）は車両が道路に対して左方向に進行する場合を示した図
【図３】本発明の一実施の形態に係るオプティカルフロー距離算出部の機能説明図であり、
（ａ）はオプティカルフロー検出領域を示す図、
（ｂ）はオプティカルフロー検出領域の拡大図
【図４】本発明の一実施の形態に係るオプティカルフロー消失点算出部の機能説明図
【図５】従来例における車両前方を撮像するカメラの撮影画像および経路案内を示した説明図
【図６】従来例のカメラ校正装置の機能構成を示すブロック図
【図７】従来例のカメラ校正装置で用いられる校正用ボードの一例を示す説明図
【図８】従来例のカメラ校正装置で用いられるカメラにより撮像した校正用ボードの画像を示す説明図
【図９】従来例のカメラ校正装置で用いられるカメラの画像においてカメラ角度スウィングψを求める説明図
【符号の説明】
１０１ 道路画像
１０２ カメラ
１０３ 消失点算出部
１０４ 消失線算出部
１０５ 角度算出部
１０６ オプティカルフロー距離算出部
１０７ 位置算出部
【発明の属する技術分野】
本発明は、車両などの移動体に搭載するカメラ校正装置に関する。
【０００２】
【従来の技術】
近年、車両にカメラとカーナビゲーション装置が搭載されるようになっている。カーナビゲーション装置と車載カメラを組み合わせて、本線から分岐路に経路案内する利用例を示す。図５は車両前方を撮像するカメラの撮影画像および経路案内を示した説明図である。図５において、本線１００１を車両が走行する。分岐路１００２が案内すべき経路である。カーナビゲーション装置はドライバーに分岐すべき道路をわかりやすく、経路案内するために、車両が進路変更する距離の目安を示す２本の距離案内線１００３と、距離案内線１００３までの距離を示す距離表示１００４と、車両が進行すべき方向を示す案内矢印１００５を実画像に重畳して描画する。
【０００３】
図５に説明する経路案内を実現するためには、カメラの路面に対する位置と角度を求め、カメラの画像と実際の道路との対応関係を求めるためのカメラ校正装置が必要となる。カメラ校正は、所定の形態の基準位置パターンを有する校正用ボードを所定の位置に配置し、これをカメラで撮像することにより行われる。ここで、基準位置パターンとは、カメラ校正用の基準位置を示すパターンであり、通常、視覚的に特徴点を抽出しやすいパターンが使用される。
【０００４】
図６は、従来例のカメラ校正装置の機能構成を示すブロック図であり、この図６に従ってカメラ校正装置の動作を説明する。
【０００５】
まず、校正用ボード１１０１をカメラ１１０２によって撮像する。図７は、校正用ボード１１０１の一例を示す説明図である。この校正用ボード１１０１は、対面する辺が平行な六角形であり、カメラ１１０２の撮像範囲内に路面に置かれる。六角形の頂点１２０１は、左周りにＰ０からＰ５とする。実際のｘｙｚ空間における三次元座標（以下「世界座標」という）の原点をＰ３にとり、ｙ軸をＰ３とＰ０を結ぶ直線とし、ｘ軸を図７に示すようにｙ軸と直角にとる。ｚ軸は路面に対して垂直に上を正方向にとる。カメラ１１０２の画像はｘｙ平面上の二次元座標（以下「スクリーン座標」という）で表現される。カメラ校正とはスクリーン座標と世界座標を対応づけることであり、求めるカメラ校正用のパラメータを「カメラ校正パラメータ」という。
【０００６】
次に、校正用ボード消失点算出部１１０３はカメラ１１０２の画像から消失点を算出する。図８はカメラ１１０２により撮像した校正用ボード１１０１の画像を示す説明図である。校正用ボード１１０１には六角形の頂点１２０１がある。校正用ボード消失線算出部１１０３は対向する六角形の辺を延長してできる消失点ＶＤ（１３０４）、Ｖ１（１３０５）、Ｖ２（１３０６）を求める。特に、世界座標のＹ軸に平行な直線を延長してできる消失点であるＶＤ（１３０４）を深消失点（Depth Vanishing Point ）と呼ぶ。
【０００７】
校正用ボード消失線算出部１１０４は、３つの消失点ＶＤ（１３０４）、Ｖ１（１３０５）、Ｖ２（１３０６）を結んで消失線１３０７を算出する。また、Ｌ０（１３０１）はＰ１とＰ２を通り、ＶＤ（１３０４）に至る直線、Ｌ１（１３０２）はＰ２とＰ３を通り、Ｖ１（１３０５）に至る直線、Ｌ２（１３０３）はＰ３とＰ４を通り、Ｖ２（１３０６）に至る直線である。
【０００８】
校正用ボード角度算出部１１０５は校正用ボード消失点算出部１１０３が算出する消失点と校正用ボード消失線算出部１１０４が算出する消失線１３０７からカメラ１１０２の設置角度を算出する。
【０００９】
校正用ボード角度算出部１１０５は設置角度であるスウィングψ、ティルトφ、パンθを以下の手順で求める。図９はカメラ１１０２の画像においてカメラ角度スウィングψを求める説明図である。カメラ角度スウィングψは消失線１３０７が画像のＵ軸となす角度として求めることができる。
【００１０】
カメラのティルトφはカメラの焦点距離をｆとすると、以下の数１から求めることができる。
【００１１】
【数１】
カメラのパンθは図８のＬ１（１３０２）とＬ２（１３０３）の世界座標におけるｘｙ平面の直線の傾きをそれぞれｍ１、ｍ２とすると、以下の数２により求めることができる。
【００１３】
【数２】
校正用ボード位置算出部１１０６はレンズ中心の世界座標（ｘｃ、ｙｃ、ｚｃ）を以下の手続きで算出する。図７における六角形の頂点１２０１のＰ１とＰ２の世界座標をそれぞれ（ｘ１、ｙ１、ｚ１）、（ｘ２、ｙ２、ｚ２）とする。Ｐ１、Ｐ２に対応するスクリーン座標を（ｕ１、ｗ１）、（ｕ２、ｗ２）とする。レンズ中心の高さｈは以下の数３を解くことで求まる。
【００１５】
【数３】
レンズ中心の世界座標はこのｈから、以下の数４で求めることができる。
【００１７】
【数４】
そして、校正用ボード角度算出部１１０５が算出するカメラ角度と校正用ボード位置算出部１１０６が算出するカメラ位置とから、カメラの画像と実際の道路との対応関係を示すカメラ校正パラメータを出力し、カメラ校正を終了する。
【００１９】
このカメラ校正にかかる処理の詳細は、文献（"Camera Calibration by Vanishing Lines for 3D Computer Vision", Ling-Ling Wang, IEEE TRANSACTIONS on Pattern Analysis and Machine Intelligence Vol. 13. No.4 April 1991, pp370-376）に記載されている。
【００２０】
【発明が解決しようとする課題】
しかしながら、上記従来例のカメラ校正装置では、校正用ボード１１０１を路面などに置いてカメラ校正する必要があり、カメラ校正作業を自動化することができないという問題があった。
【００２１】
本発明はかかる点に鑑みてなされたものであり、カメラ校正作業を自動化することができるカメラ校正装置を提供することを目的とする。
【００２２】
【課題を解決するための手段】
本発明のカメラ校正装置は、移動体に配設したカメラの撮像画像における道路の消失点と前記移動体の進行角度を検出する角度センサの検出角度とを対にして算出する消失点算出手段と、前記消失点算出手段が算出する消失点から消失線を算出する消失線算出手段と、前記消失点算出手段が算出する消失点および角度センサの検出角度と前記消失線算出手段が算出する消失線とから前記カメラの道路に対する設置角度を算出する角度算出手段と、前記角度算出手段が算出する設置角度から前記カメラの撮像画像を上方視点からの画像に変換し、この画像のオプティカルフローから画像上の２点間の距離を算出するオプティカルフロー距離算出手段と、前記角度算出手段が算出するカメラの設置角度と前記オプティカルフロー距離算出手段が算出する画像上の２点間距離とからカメラ設置位置を算出する位置算出手段とを有することを特徴とする。
【００２３】
この構成により、オプティカルフローにより撮像画像上の距離を算出することによって、校正用ボードを使用しないでカメラ校正を行うことができ、カメラ校正作業を自動化することが可能となる。
【００２６】
また、本発明のカメラ校正装置は、地図情報を利用して測定すべき道路を特定し、移動体に配設したカメラの撮像画像における道路の消失点と前記移動体の進行角度を検出する角度センサの検出角度とを対にして算出する地図利用型消失点算出手段と、前記地図利用型消失点算出手段が算出する消失点から消失線を算出する消失線算出手段と、前記地図利用型消失点算出手段が算出する消失点および角度センサの検出角度と前記消失線算出手段が算出する消失線とから前記カメラの道路に対する設置角度を算出する角度算出手段と、前記角度算出手段が算出する設置角度から前記カメラの撮像画像を上方視点からの画像に変換し、この画像のオプティカルフローから画像上の２点間の距離を算出するオプティカルフロー距離算出手段と、前記角度算出手段が算出するカメラの設置角度と前記オプティカルフロー距離算出手段が算出する画像上の２点間距離とからカメラ設置位置を算出する位置算出手段とを有することを特徴とする。
【００２７】
この構成により、地図情報を利用して測定すべき道路を特定できるので、撮像画像における正確な消失点を算出でき、校正用ボードを使用しないでカメラ校正作業を自動化することが可能となる。
【００２８】
また、本発明のカメラ校正装置は、移動体に配設したカメラの撮像画像における道路の消失点と前記移動体の進行角度を検出する角度センサの検出角度とを対にして算出する消失点算出手段と、前記消失点算出手段が算出する消失点から消失線を算出する消失線算出手段と、前記消失点算出手段が算出する消失点および角度センサの検出角度と前記消失線算出手段が算出する消失線とから前記カメラの道路に対する設置角度を算出する角度算出手段と、前記カメラが撮像した大きさが既知である交通標識の画像から画像上の２点間の距離を算出する交通標識距離算出手段と、前記角度算出手段が算出するカメラの設置角度と前記交通標識距離算出手段が算出する画像上の２点間距離とからカメラ設置位置を算出する位置算出手段とを有することを特徴とする。
【００２９】
この構成により、大きさが既知である路面上の交通標識を撮像し、この画像から画像上の２点間距離を算出することができるので、校正用ボードを使用しないでカメラ校正作業を自動化することが可能となる。
【００３０】
また、本発明のカメラ校正装置は、上記いずれかの構成において、前記角度算出手段と前記位置算出手段とにより求めたカメラの設置角度と設置位置とを基に、一定間隔で求めた前記カメラの設置角度と設置位置とが所定範囲内にあるか否かを判定する精度判定手段を有することを特徴とする。
【００３１】
この構成により、精度判定手段によってカメラの設置角度と設置位置とが所定範囲内にあるかで校正が正確に行われているか判断可能であり、校正用ボードを使用しないでカメラ校正作業を自動化することが可能となる。
【００３２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
図１は、本発明の一実施の形態に係るカメラ校正装置の機能構成を示すブロック図である。この図１に従って本実施の形態に係るカメラ校正装置の構成および動作を説明する。
【００３３】
本実施の形態のカメラ校正装置は、車両などの移動体に設置され、車載カメラとカーナビゲーション装置とを組み合わせて経路案内を撮像画像中に表示する場合などに用いられるものである。
【００３４】
このカメラ校正装置は、車両前方または後方の道路画像１０１を撮像するカメラ１０２の校正を行うものであって、校正用のカメラ校正パラメータを算出するために、消失点算出部（消失点算出手段に相当する）１０３、消失線算出部（消失線算出手段に相当する）１０４、角度算出部（角度算出手段に相当する）１０５、オプティカルフロー距離算出部（オプティカルフロー距離算出手段に相当する）１０６、位置算出部（位置算出手段に相当する）１０７を備えている。これらの各部の機能は以下で詳述する。本実施の形態では、これらの各部は、カメラ校正装置内のＣＰＵ（図示せず）がＲＯＭ（図示せず）に格納されたプログラムを実行することによって実現される。なお、ＣＰＵ、ＲＯＭを用いる代わりに、ハードウェアで構成された専用回路で実現してもよいことは勿論である。
【００３５】
カメラ１０２は車両に設置され、走行道路の前方あるいは後方を撮像して道路画像１０１を得る。消失点算出部１０３は、カメラ１０２が撮像した道路画像１０１から以下の手順により消失点を算出する。
【００３６】
図２は消失点算出部１０３の機能説明図である。図２において、（ａ）は車両が道路に対して直進する場合、（ｂ）は車両が道路に対して右方向に進行する場合、（ｃ）は車両が道路に対して左方向に進行する場合をそれぞれ示したものである。（ａ）、（ｂ）、（ｃ）において左側は道路の平面図であり、右側はカメラ１０２の撮像画像を示している。ここで、車両２０１は白線２０２を含む道路上を進行方向２０３の方向に走行する。
【００３７】
消失点算出部１０３は、カメラ１０２の撮像画像から、白線２０２の延長線上の交点である消失点をそれぞれ、ＶＤ（２０４）、Ｖ１（２０５）、Ｖ２（２０６）として算出する。
【００３８】
ここで、車両に搭載される角度センサが角度の相対的変位量を測定するジャイロであるとき、角度センサの出力が所定期間変化しないときを車両が直線道路を直進していると推定し、そのときの消失点２０４を深消失点ＶＤ（２０４）とする。直進の判別を行うための所定期間は、変化しない期間の継続時間により一定曲率のカーブ道路と直線道路とを判別できる期間とする。
【００３９】
また、車両に搭載される角度センサが角度の絶対的変位量を測定する車両のハンドルの回転角度を計測する舵角センサである場合は、所定期間、舵角が０であるとき、車両が直線道路を直進していると推定し、そのときの消失点２０４を深消失点ＶＤ（２０４）とする。直線深消失点ＶＤ（２０４）の進行方向を基準として、角度センサの変化量と消失点Ｖ１（２０５）とＶ２（２０６）を対にして記録する。
【００４０】
消失線算出部１０４は、前記消失点算出部１０３で求めた、深消失点ＶＤ（２０４）と消失点Ｖ１（２０５）と消失点Ｖ２（２０６）を結ぶ直線として消失線２０７を求める。あるいは、消失線算出部１０４は所定期間ごとに消失点を記録し続け、２点以上、好ましくは４点以上の多点から消失線２０７を求めることもできる。
【００４１】
角度算出部１０５は、前記消失点算出部１０３で求めた、深消失点ＶＤ（２０４）、消失点Ｖ１（２０５）、消失点Ｖ２（２０６）と、前記消失線算出部１０４で求めた消失線２０７から、カメラ角度スウィングψとティルトφを前述した従来例と同じ方法により数１などを用いて算出する。
【００４２】
また、カメラのパンθは、世界座標におけるｘｙ平面の直線の傾きをそれぞれｍ１、ｍ２とし、ｍ１およびｍ２を消失点算出部１０３において消失点Ｖ１（２０５）とＶ２（２０６）と対に記憶してある角度センサの変化量から求め、数２により算出する。
【００４３】
オプティカルフロー距離算出部１０６は、まず、角度算出部１０５が算出する設置角度と暫定的なカメラ設置位置から、カメラ１０２の画像を上方視点からの画像に変換する。世界座標（ｘ、ｙ、ｚ）とカメラ座標（ｕ、ｖ、ｗ）の変換式は、以下の数５に示すようになる。
【００４４】
【数５】
数５において、θ、φ、ψを角度算出部１０５が求めた値とし、レンズ中心位置を暫定的にＸｃ＝０、Ｙｃ＝０、Ｚｃ＝カメラの暫定的高さ（例えば１．２ｍ）として代入し、世界座標とカメラ座標の関係を決定する。次に、上方視点画像に変換する世界座標の高さ０（ｚ＝０）である領域（ｘ、ｙの適当な領域）内にある点の、世界座標に対応する道路画像１０１のスクリーン座標を求める。そして、数５により、世界座標からカメラ座標に変換する。カメラ座標からスクリーン座標への変換方法の詳細は省くが一般的な方法を使用する。このようにして道路画像１０１の上方視点画像を生成する。
【００４６】
次いで、オプティカルフロー距離算出部１０６は一定間隔ごとに画像を分割した各ブロックにおいてオプティカルフローによる実距離を算出する。図３はオプティカルフロー距離算出部１０６の機能説明図である。図３の（ａ）はオプティカルフロー検出領域を示す図であり、左側はカメラ１０２の撮像画像であり、右側は撮像画像を設置角度情報を利用して上方視点画像に変換した画像である。オプティカルフローとは、画像上の各点の速度場のことであり、このオプティカルフローを検出するオプティカルフロー検出領域３０１は、白線などによって判断できる路面部分だけでよい。上方視点画像の性質として、等しい画素距離にある画素は実世界の距離も等しくなる。
【００４７】
ここで、図３の（ａ）に示す点Ａを原点とし、白線に沿ってｙ軸をとり、ｙ軸と垂直にｘ軸をとる。図３の（ｂ）はオプティカルフロー検出領域３０１の拡大図である。図示のように、オプティカルフロー検出領域３０１は小さいブロック３０２に分割される。このオプティカルフロー検出領域３０１において、一定間隔（例えば０．１秒間隔）の画像ごとに各ブロックは進行方向を考慮してオプティカルフローによりマッチングする領域を探索する。そして、各ブロックについて単位画素当たりの実距離Ｄを以下に示す数６により求める。
【００４８】
【数６】
【００４９】
そして、一定間隔の画像およびブロックごとに実距離Ｄを算出し、その実距離の平均値ＤＭを求める。点ＡＢ間の画素間距離をＰＡＢとすると、以下に示す数７により点Ｂの世界座標のＹ座標ＹＢを得ることができる。
【００５０】
【数７】
位置算出部１０７は、角度算出部１０５が算出するカメラ設置角度とオプティカルフロー距離算出部１０６が算出する点Ｂの世界座標とから、カメラ設置位置を従来例と同様に数３及び数４の関係式を利用して算出する。そして、このカメラの位置および角度をカメラの画像と実際の道路との対応関係を示すカメラ校正パラメータとして出力する。
【００５２】
以上の処理により、本実施の形態においてはオプティカルフローにより撮像画像上の実距離を算出することによって、校正用ボードを使用しないでカメラ校正を行うことができる。これにより、カメラ校正作業を自動化することができる。
【００５３】
なお、本発明は、上述した実施の形態の構成および動作に限定されるものではなく、一部を変更した種々の実施の形態が考えられる。
【００５４】
例えば、消失点算出部１０３の代替として、オプティカルフロー消失点算出部を設けてもよい。オプティカルフロー消失点算出部は、カメラ１０２の撮像画像のオプティカルフローから道路の消失点を以下の手順で算出する。
【００５５】
図４はオプティカルフロー消失点算出部の機能説明図であり、カメラ１０２の撮像画像を示している。
【００５６】
この場合、撮像画像中の道路４０１の部分を一定間隔の画像ごとに複数のブロック４０２に分割し、この道路上の画像ブロックにおいて、半円の放射状方向にマッチング方向４０３を設定する。そして、すべてのブロック４０２に対して、マッチング方向４０３にオプティカルフローによりマッチングするブロックを一定時間経過後の画像から探索する。このマッチング結果から現在位置と一定時間経過後の位置を結んで各ブロック４０２ごとに直線の方程式をたてることができる。ｉ番目の画像ブロックの直線の式は以下の数８のようになる。
【００５７】
【数８】
【００５８】
【数９】
これにより、白線のない道路でも道路上の特徴物体（例えば、道路上に描画された「横断歩道」のパターン、「止まれ」の文字など）のオプティカルフローにより、校正用ボードを使用しないでカメラ校正作業を自動化することができる。
【００６０】
また、消失点算出部１０３の代替として、地図利用型消失点算出部を設けてもよい。地図利用型消失点算出部は、地図情報を利用して測定すべき道路を特定し、角度センサが測定する角度と道路の消失点を対にして算出する。この場合、地図利用型消失点算出部は、電子化された地図情報から平坦な直線道路を車両が走行していることを認識し、角度センサが一定であるとき、車両が直進していることを認識し、消失点ＶＤ（２０４）を求める。そして、ＶＤ（２０４）を基準として、角度センサの変位量と消失点Ｖ１（２０５）とＶ２（２０６）を対にして算出する。
【００６１】
これにより、地図情報を利用して測定すべき道路を特定できるので、正確な消失点を算出でき、校正用ボードを使用しないでカメラ校正作業を自動化することができる。
【００６２】
また、オプティカルフロー距離算出部１０６の代替として、交通標識距離算出部を設けてもよい。交通標識距離算出部は、校正対象のカメラ１０２が大きさが既知である交通標識を撮像した道路画像１０１を基に、画像の２点間の距離を算出する。大きさが既知である交通標識としては、路面に描画された横断歩道の白帯の幅、「止まれ」表示の字の大きさなどがある。
【００６３】
これにより、大きさが既知の路面上の交通標識から画像の２点間距離を算出することができ、校正用ボードを使用しないでカメラ校正作業を自動化することができる。
【００６４】
また、本実施の形態のカメラ校正装置に精度判定部を設けることもできる。精度判定部は、角度算出部１０５と位置算出部１０７とにより、カメラの角度と位置を一定間隔で求めるようにし、この一定間隔で求めたカメラの角度と位置が所定範囲内にあるかどうかを判定する。ここで、所定範囲内にあるとき、カメラ校正パラメータが正しいと推定する。その結果、例えば、カメラ校正パラメータの算出を停止する。また、この判定結果を基に、ユーザにカメラ校正パラメータが算出できたことを知らせることも可能である。一方、カメラの角度と位置が所定範囲内にない場合は、所定範囲内に収まるまで、カメラ校正パラメータを算出し直すようにする。
【００６５】
これにより、校正が正確に行われているか判断可能であり、校正用ボードを使用しないでカメラ校正作業を自動化することができる。
【００６６】
上述したように、本実施の形態のカメラ校正装置によれば、オプティカルフロー距離算出部１０６においてオプティカルフローにより撮像画像上の実距離を算出することによって、校正用ボードを使用しないでカメラ校正を行うことができ、カメラ校正作業を自動化することが可能となる。
【００６７】
【発明の効果】
以上説明したように本発明によれば、校正用ボードなどの校正用基準パターンを使用することなくカメラ校正が可能であり、カメラ校正作業を自動化することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係るカメラ校正装置の機能構成を示すブロック図
【図２】本発明の一実施の形態に係る消失点算出部の機能説明図であり、
（ａ）は車両が道路に対して直進する場合を示した図、
（ｂ）は車両が道路に対して右方向に進行する場合を示した図、
（ｃ）は車両が道路に対して左方向に進行する場合を示した図
【図３】本発明の一実施の形態に係るオプティカルフロー距離算出部の機能説明図であり、
（ａ）はオプティカルフロー検出領域を示す図、
（ｂ）はオプティカルフロー検出領域の拡大図
【図４】本発明の一実施の形態に係るオプティカルフロー消失点算出部の機能説明図
【図５】従来例における車両前方を撮像するカメラの撮影画像および経路案内を示した説明図
【図６】従来例のカメラ校正装置の機能構成を示すブロック図
【図７】従来例のカメラ校正装置で用いられる校正用ボードの一例を示す説明図
【図８】従来例のカメラ校正装置で用いられるカメラにより撮像した校正用ボードの画像を示す説明図
【図９】従来例のカメラ校正装置で用いられるカメラの画像においてカメラ角度スウィングψを求める説明図
【符号の説明】
１０１ 道路画像
１０２ カメラ
１０３ 消失点算出部
１０４ 消失線算出部
１０５ 角度算出部
１０６ オプティカルフロー距離算出部
１０７ 位置算出部
Claims (4)
- 移動体に配設したカメラの撮像画像における道路の消失点と前記移動体の進行角度を検出する角度センサの検出角度とを対にして算出する消失点算出手段と、
前記消失点算出手段が算出する消失点から消失線を算出する消失線算出手段と、
前記消失点算出手段が算出する消失点および角度センサの検出角度と前記消失線算出手段が算出する消失線とから前記カメラの道路に対する設置角度を算出する角度算出手段と、
前記角度算出手段が算出する設置角度から前記カメラの撮像画像を上方視点からの画像に変換し、この画像のオプティカルフローから画像上の２点間の距離を算出するオプティカルフロー距離算出手段と、
前記角度算出手段が算出するカメラの設置角度と前記オプティカルフロー距離算出手段が算出する画像上の２点間距離とからカメラ設置位置を算出する位置算出手段と
を有することを特徴とするカメラ校正装置。 - 地図情報を利用して測定すべき道路を特定し、移動体に配設したカメラの撮像画像における道路の消失点と前記移動体の進行角度を検出する角度センサの検出角度とを対にして算出する地図利用型消失点算出手段と、
前記地図利用型消失点算出手段が算出する消失点から消失線を算出する消失線算出手段と、
前記地図利用型消失点算出手段が算出する消失点および角度センサの検出角度と前記消失線算出手段が算出する消失線とから前記カメラの道路に対する設置角度を算出する角度算出手段と、
前記角度算出手段が算出する設置角度から前記カメラの撮像画像を上方視点からの画像に変換し、この画像のオプティカルフローから画像上の２点間の距離を算出するオプティカルフロー距離算出手段と、
前記角度算出手段が算出するカメラの設置角度と前記オプティカルフロー距離算出手段が算出する画像上の２点間距離とからカメラ設置位置を算出する位置算出手段と
を有することを特徴とするカメラ校正装置。 - 移動体に配設したカメラの撮像画像における道路の消失点と前記移動体の進行角度を検出する角度センサの検出角度とを対にして算出する消失点算出手段と、
前記消失点算出手段が算出する消失点から消失線を算出する消失線算出手段と、
前記消失点算出手段が算出する消失点および角度センサの検出角度と前記消失線算出手段が算出する消失線とから前記カメラの道路に対する設置角度を算出する角度算出手段と、
前記カメラが撮像した大きさが既知である交通標識の画像から画像上の２点間の距離を算出する交通標識距離算出手段と、
前記角度算出手段が算出するカメラの設置角度と前記交通標識距離算出手段が算出する画像上の２点間距離とからカメラ設置位置を算出する位置算出手段と
を有することを特徴とするカメラ校正装置。 - 前記角度算出手段と前記位置算出手段とにより求めたカメラの設置角度と設置位置とを基に、一定間隔で求めた前記カメラの設置角度と設置位置とが所定範囲内にあるか否かを判定する精度判定手段を有することを特徴とする請求項１ないし３のいずれかに記載のカメラ校正装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002138552A JP3986360B2 (ja) | 2002-05-14 | 2002-05-14 | カメラ校正装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002138552A JP3986360B2 (ja) | 2002-05-14 | 2002-05-14 | カメラ校正装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003329411A JP2003329411A (ja) | 2003-11-19 |
| JP3986360B2 true JP3986360B2 (ja) | 2007-10-03 |
Family
ID=29699962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002138552A Expired - Lifetime JP3986360B2 (ja) | 2002-05-14 | 2002-05-14 | カメラ校正装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3986360B2 (ja) |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2874300B1 (fr) * | 2004-08-11 | 2006-11-24 | Renault Sas | Procede de calibration automatique d'un systeme de stereovision |
| US7720580B2 (en) | 2004-12-23 | 2010-05-18 | Donnelly Corporation | Object detection system for vehicle |
| DE102005001429A1 (de) | 2005-01-12 | 2006-07-20 | Robert Bosch Gmbh | Verfahren für die Bildlagekorrektur eines Monitorbilds |
| AT502356B1 (de) * | 2005-09-02 | 2007-07-15 | Arc Seibersdorf Res Gmbh | Verfahren zur automatischen ermittlung der kalibrierung und projektion einer überwachungs-kamera |
| FR2896219B1 (fr) * | 2006-01-19 | 2008-02-22 | Valeo Vision Sa | Procede de reglage de l'orientation d'une camera installee dans un vehicule et systeme de mise en oeuvre de ce procede |
| JP5034253B2 (ja) * | 2006-02-08 | 2012-09-26 | パナソニック株式会社 | オブジェクト高さ算出装置およびそれを用いたオブジェクト検索装置ならびにオブジェクト高さ算出方法 |
| JP4820221B2 (ja) * | 2006-06-29 | 2011-11-24 | 日立オートモティブシステムズ株式会社 | 車載カメラのキャリブレーション装置およびプログラム |
| JP4910131B2 (ja) * | 2006-07-06 | 2012-04-04 | 国立大学法人富山大学 | 表面情報取得装置及び表面情報取得方法 |
| JP2009143722A (ja) * | 2007-12-18 | 2009-07-02 | Mitsubishi Electric Corp | 人物追跡装置、人物追跡方法及び人物追跡プログラム |
| DE102008026876A1 (de) * | 2008-06-05 | 2009-12-10 | Hella Kgaa Hueck & Co. | Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems |
| JP5425500B2 (ja) * | 2009-03-19 | 2014-02-26 | 本田技研工業株式会社 | キャリブレーション装置およびキャリブレーション方法 |
| JP5375958B2 (ja) * | 2009-06-18 | 2013-12-25 | 富士通株式会社 | 画像処理装置および画像処理方法 |
| FR2952264B1 (fr) | 2009-10-30 | 2012-03-23 | Valeo Vision | Systeme de calibration d'une camera apte a equiper un vehicule. |
| JP5455124B2 (ja) * | 2010-04-01 | 2014-03-26 | 国立大学法人鳥取大学 | カメラ姿勢パラメータ推定装置 |
| JP5606770B2 (ja) * | 2010-04-09 | 2014-10-15 | パナソニック株式会社 | カメラ校正装置 |
| JP5971939B2 (ja) * | 2011-12-21 | 2016-08-17 | アルパイン株式会社 | 画像表示装置、画像表示装置における撮像カメラのキャリブレーション方法およびキャリブレーションプログラム |
| KR102001659B1 (ko) * | 2012-11-19 | 2019-07-19 | 한국전자통신연구원 | 차량용 카메라 캘리브레이션 장치 및 방법 |
| JP2016148512A (ja) * | 2013-06-11 | 2016-08-18 | ヤマハ発動機株式会社 | 単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置 |
| JPWO2015079533A1 (ja) * | 2013-11-28 | 2017-03-16 | パイオニア株式会社 | 検出装置、検出方法、検出プログラム及び記録媒体 |
| DE102014209137B4 (de) | 2014-05-14 | 2023-02-02 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs |
| CN104050669A (zh) * | 2014-06-18 | 2014-09-17 | 北京博思廷科技有限公司 | 一种基于灭点和单目相机成像原理的在线标定方法 |
| KR101556751B1 (ko) | 2014-06-24 | 2015-10-02 | 고려대학교 산학협력단 | 옵티컬 플로우와 가우시안 혼합 모델을 이용한 동물의 승가 행위 탐지 시스템 및 그 탐지 방법 |
| DE102015204281A1 (de) * | 2015-03-10 | 2016-09-15 | Robert Bosch Gmbh | Verfahren zur Kalibrierung einer Kamera für eine Blickrichtungserkennung in einem Fahrzeug, Vorrichtung für ein Kraftfahrzeug mit einer Kamera und mindestens einem weiteren Element und Computerprogrammprodukt |
| CN104835183B (zh) * | 2015-04-15 | 2017-11-03 | 东南大学 | 基于ncc的道路消失线检测方法 |
| JP6846640B2 (ja) * | 2017-09-15 | 2021-03-24 | パナソニックＩｐマネジメント株式会社 | 車載カメラ校正装置 |
| EP3531376B1 (en) * | 2018-02-21 | 2020-09-30 | Ficosa Adas, S.L.U. | Calibrating a camera of a vehicle |
| CN109300159B (zh) | 2018-09-07 | 2021-07-20 | 百度在线网络技术（北京）有限公司 | 位置检测方法、装置、设备、存储介质及车辆 |
| JP7270499B2 (ja) * | 2018-10-10 | 2023-05-10 | 株式会社デンソーテン | 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム |
| JP7006847B2 (ja) * | 2019-07-04 | 2022-01-24 | 三菱電機株式会社 | 移動体測位装置および移動体測位システム |
| JP7237773B2 (ja) * | 2019-08-23 | 2023-03-13 | 株式会社デンソーテン | 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 |
| CN111190175A (zh) * | 2020-01-22 | 2020-05-22 | 中科蓝卓(北京)信息科技有限公司 | 一种机场道面异物的探测方法及探测系统 |
-
2002
- 2002-05-14 JP JP2002138552A patent/JP3986360B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003329411A (ja) | 2003-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3986360B2 (ja) | カメラ校正装置 | |
| US8725412B2 (en) | Positioning device | |
| US10900793B2 (en) | Vehicle path guiding apparatus and method | |
| JP5588812B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
| JP5157067B2 (ja) | 自動走行用マップ作成装置、及び自動走行装置。 | |
| KR100921427B1 (ko) | 영상 기반 내비게이션을 위한 가상차선을 생성하는 방법 및그 장치 | |
| JP5804185B2 (ja) | 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法 | |
| US20090041337A1 (en) | Image processing apparatus and method | |
| JP2012127896A (ja) | 移動体位置測定装置 | |
| JP2012185011A (ja) | 移動体位置測定装置 | |
| CN110462682B (zh) | 物体检测装置以及车辆 | |
| JP4596566B2 (ja) | 自車情報認識装置及び自車情報認識方法 | |
| JP2012007922A (ja) | 道路構造測定方法および道路面測定装置 | |
| JP2012159469A (ja) | 車両用画像認識装置 | |
| JP3099691B2 (ja) | 走行路における対象物位置計測方法 | |
| JP4116116B2 (ja) | 移動体の測距原点認識装置 | |
| JP2012159470A (ja) | 車両用画像認識装置 | |
| JP2013186718A (ja) | 移動物体位置姿勢推定装置及び方法 | |
| KR20160125803A (ko) | 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법 | |
| JP3114544B2 (ja) | 走行路計測法 | |
| JP3586938B2 (ja) | 車載用距離測定装置 | |
| JP6232883B2 (ja) | 自車位置認識装置 | |
| JP4629638B2 (ja) | 車両の周辺監視装置 | |
| JP4462533B2 (ja) | 路面走行レーン検出装置 | |
| JP2002183719A (ja) | 車両用周囲検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050324 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060324 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070426 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070613 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070710 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3986360 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100720 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110720 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110720 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130720 Year of fee payment: 6 |
|
| EXPY | Cancellation because of completion of term |