JP3666348B2

JP3666348B2 - 距離認識装置

Info

Publication number: JP3666348B2
Application number: JP2000087507A
Authority: JP
Inventors: 豊森; 昌亮若尾
Original assignee: Toyoda Koki KK
Current assignee: Toyoda Koki KK
Priority date: 2000-03-27
Filing date: 2000-03-27
Publication date: 2005-06-29
Anticipated expiration: 2020-03-27
Also published as: JP2001272210A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置を用いた距離認識装置に関するもので、例えば、車両の安全走行を支援するため車に搭載して前を走行する車両までの距離を認識するのに用いられるものである。具体的には、ＣＣＤカメラ等の画像センサを撮像装置として用いて前を走行する車両までの距離を認識する装置に関するものである。
【０００２】
【従来の技術】
従来の距離認識装置としては、例えば、車両の安全走行を支援するために、車両に撮像装置としてＣＣＤカメラ（以下、単に「カメラ」という）を搭載し、前を走行する車両までの距離を認識するものとして、特開平７−１２３３１６号に開示されたものがある。
この距離認識装置において、前を走行する車両までの距離を検出するに際し、２台のカメラを車両に搭載して、前を走行する車両を異なった位置から１組の画像を撮像し、この撮像した撮像データに基づき、対応する位置のずれ量を検出し三角測量の原理（ステレオ法）により距離を求めるようにしている。
この場合、左右に配置した２台のカメラの撮像面が水平線に対して互いに一致していないと、距離の検出の際に誤認識をする恐れがあるため、一方のカメラの画像から他方のカメラの画像内の水平線に対するずれ量を検出し、このずれ量を打ち消すように、一方のカメラを圧電素子により微小距離移動させることにより、距離認識装置のカメラの校正を行なうようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、このような圧電素子を用いて２つのカメラの撮像面を水平線に一致させる校正方式では、圧電素子を用いるため、校正により補正できるずれ量がある程度限定されてしまう。また、水平線に対するずれ量を補正すことは可能であるとしても２台のカメラが水平線以外の方向にずれているような場合には、完全にずれ量を補正することはできず、距離の検出に際し誤認識をする恐れがあった。
【０００４】
本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、上下もしくは左右に配置した２つのカメラのずれを正確に補正（以下、「ステレオ視の補正」という）し、誤認識の無い距離認識装置を提供することにある。
【０００５】
【課題を解決するための手段、作用及び発明の効果】
上記の課題を解決するため、請求項１に記載の発明では、複数のカメラからなる撮像装置と、この各カメラにより撮像された物体の画像データに基づき、前記物体までの距離を検出するようにした距離認識装置において、予め形成されたパターンからなる固定パターンと、この固定パターンの画像データを距離に応じて記憶するテンプレート画像データ記憶手段と、前記各カメラにより前記固定パターンを撮像したときの画像データと前記テンプレート画像データ記憶手段に記憶されたテンプレート画像データとをテンプレートマッチングして前記固定パターンと前記各カメラとの間の距離を求める距離演算手段と、この距離演算手段により求めた距離に基づき視差量を求める視差量演算手段と、前記固定パターンを撮像したときの画像データ中の固定パターンの位置から固定パターンのずれ量を求めるずれ量演算手段と、前記視差量演算手段と前記ずれ量演算手段とに基づき、撮像される画像データのずれを補正する画像データ補正手段とを備えることを技術的特徴とする。
請求項２に記載の発明では、前記固定パターンは、大小の穴からなるパターンで構成されていることを技術的特徴とする。
請求項３に記載の発明では、前記距離演算手段によるテンプレートマッチングは、前記テンプレート画像データ記憶手段に記憶された画像データの中から相関の高い固定パターンを判定して距離を求めるようにしたことを技術的特徴とする。
請求項４に記載の発明では、前記視差量演算手段は、前記距離演算手段により求めた各距離の平均に基づき視差量を求めることを技術的特徴とする。
【０００６】
請求項１の発明では、テンプレート画像データ記憶手段が固定パターンを撮像した場合のテンプレート画像データを距離に応じて記憶しており、距離演算手段によりテンプレート画像データ記憶手段に記憶されたテンプレート画像データと各カメラにより撮像された画像データとを順次比較してテンプレートマッチングすることにより、各カメラ毎に一致するテンプレート画像データを判定する。この判定されたテンプレート画像データは距離に応じて記憶されているので、判定されたテンプレート画像データから固定パターンまでの距離を求めることができる。視差量演算手段により、この距離演算手段で求めた距離に基づいて視差量を求め、ずれ量演算手段により、各カメラにより撮像された画像データ中の固定パターンの位置からずれ量を求めることができる。画像データ補正手段により、視差量演算手段とずれ量演算手段により求めた視差量とずれ量に基づき、カメラを校正するためのずれ量を求め、この求めたずれ量に基づいて、カメラで撮像される画像データのずれを補正することができる。
【０００７】
以上の補正により、ステレオ視の補正を正確に校正を行うことが出来る。
請求項２の発明では、固定パターンを大小の穴からなるパターンで構成することにより、固定パターンを各カメラで撮像するときの距離が近い場合から遠い場合までテンプレートマッチングが行い易くなり、各カメラに基づく視差量を正確に求めることができる。
【０００８】
請求項３に記載の発明では、距離演算手段により、各カメラにより撮像された固定パターンと、テンプレート画像データ記憶手段に記憶された画像データとをテンプレートマッチングする際、相関度の高いテンプレート画像データを判定し距離を求めるようにしたので、テンプレートマッチングによる距離の判定時間を短くできる。
【０００９】
請求項４に記載の発明では、第１視差量演算手段により、距離演算手段により求めた距離を平均することにより、視差量を求めるようにしているので、一方の距離の誤差が大きい場合でも平均化されることからカメラの取付位置精度に起因する誤差が少ない視差量を求めることができる。
【００１０】
【発明の実施の形態】
以下、本発明の実施形態に係る距離認識装置について図面を参照して説明する。
第１の実施形態は本発明を前を走行する車両までの車間距離の検出を行なう車間距離認識装置に適用したものである。
【００１１】
この車間距離認識装置は、図２の符号２００で示すように、車両１００の幅方向に所定の間隔を持って固定された２台のＣＣＤカメラ（以下、単に「カメラ」という）１０ａ，１０ｂを備えており、車両１００のサンバイザー１０２に図略のクリップなどで取付けられる。この取り付け箇所については、サンバイザーの他、ルームミラー部、車両のフロングリルなどが考えられる。
【００１２】
前記車間距離認識装置２００は、図１のブロック図に示すように、左右のカメラ１０ａ，１０ｂで撮像したアナログ画像をデジタル画像に変換するＡ／Ｄコンバータ２０ａ，２０ｂ、このＡ／Ｄコンバータ２０ａ，２０ｂにより変換されたデジタル画像を画素単位で順に画像ＲＡＭ４０に転送する画像データ転送回路ＤＭＡ３０、画像ＲＡＭ４０に記憶された画像データに基づき車間距離の演算などを行なうＣＰＵ５０、その他、ＲＯＭ６０、ＲＡＭ７０、入出力ポート８０、カメラ１０ａ，１０ｂの校正を行う場合に選択される校正モード選択スイッチ９０、カメラ１０ａ，１０ｂの校正中であることを表示する例えばＬＥＤからなる校正状況表示装置９５から構成されている。なお、前記ＣＰＵ５０には、入出力ポート８０を介して校正モード選択スイッチ９０と校正状況表示装置９５が接続されている。
【００１３】
図３のＫＰは固定パターンを示し、この固定パターンＫＰは大小の複数の穴Ｈで構成されている。この固定パターンＫＰを大小の複数の穴Ｈで構成しているのは、後述するテンプレートマッチングの際、固定パターンＫＰを遠くから撮像した画像データであっても近くから撮像した画像データであっても相関度が高く判定できるからである。また、小さい穴だけで構成した場合には、固定パターンＫＰが傾いた場合には穴の検出ができなくなり、相関度が低下する恐れがあるからである。この固定パターンＫＰを車間距離認識装置２００により撮像し、後述する校正処理を行うことによりステレオ視の補正を行う。
【００１４】
前記ＲＯＭ６０には、前述した図３に示す固定パターンＫＰの画像データであるテンプレート画像データ（以下、「テンプレート」という）が図４のＰ０ｎ〜Ｐ０ｎ（ｎ＝１，２，３…Ｎ）で示すようにカメラと固定パターンの間の距離に対応させて記憶されている。この他にテンプレートとして、図５（ａ），（ｂ）、図６（ａ），（ｂ）に示すＰ１ｎ〜Ｐ４ｎ（ｎ＝１，２，３…Ｎ）も同様にカメラと固定パターンの間の距離に対応させて記憶されている。なお、図５（ａ）は固定パターンＫＰを角度θａ旋回させたテンプレートを距離に対応させて記憶したものであり、以下、図５（ｂ）は角度θｂ、図６（ａ）は角度θｃ、図６（ｂ）は角度θｄ、固定パターンＫＰをそれぞれ旋回させ距離に対応させて記憶したテンプレートである。これら記憶するテンプレートの数は、測定する距離の範囲内の距離分解能で決定される、すなわち、撮像される画像データから距離の変化が認識できる画像の数に基づき決定される。
【００１５】
以上の構成において、図７に示すように、車両１００に設けられた車間距離認識装置２００の前方に固定パターンＫＰを配置し、前記校正モード選択スイッチ９０が選択されると、カメラの校正中であることを示す校正状況表示装置９５としてのＬＥＤが点燈され、図８に示すカメラの校正処理が車間距離認識装置２００のＣＰＵ５０により実行される。
【００１６】
ステップＳ１００では、車間距離認識装置２００に設けられた２つのカメラ１０ａ，１０ｂにより固定パターンＫＰを撮像する。このカメラ１０ａ，１０ｂにより固定パターンＫＰを撮像した画像データは、Ａ／Ｄコンバータ２０ａ，２０ｂを介してデジタル画像に変換され、画像データ転送回路ＤＭＡ３０により画素単位で順番に画像ＲＡＭ４０に転送される。これにより２つのカメラ１０ａ，１０ｂにより撮像した２つの固定パターンＫＰのデジタル画像が入力される。
【００１７】
ステップＳ１０２では、画像ＲＡＭ４０に取り込まれた２つの固定パターンＫＰのデジタル画像と、ＲＯＭ６０に記憶された図４、図５（ａ），（ｂ）、図６（ａ），（ｂ）に示す複数のテンプレートＰ０ｎ〜Ｐ４ｎとを比較するテンプレートマッチングを行い、それぞれ相関度の高いテンプレートＰ０ｎ〜Ｐ４ｎを判定する。このようにして判定された２つのテンプレートＰ０ｎ〜Ｐ４ｎに対応する距離Ｄをそれぞれ求め、この２つの距離Ｄの平均値を求めることにより視差量ＴＤＸを求める。この視差量ＴＤＸを求めるまでの方法について図１０を用いて説明する。
【００１８】
まず、カメラ１０ａにより撮影されたデジタル画像ＤＧａの処理について説明する。
カメラ１０ａにより撮像され画像ＲＡＭ４０に入力されたデジタル画像ＤＧａと、ＲＯＭ６０に記憶された距離に応じて記憶された図４に示すテンプレートＰ０１〜Ｐ０ｎとを順次比較することによりテンプレートマッチングを行い、相互の相関度が高いテンプレートＰ０ｎを判定する。このテンプレートマッチングで相関度の高いテンプレートＰ０ｎが判定されない場合には、図５（ａ），（ｂ）、図６（ａ），（ｂ）に示すテンプレートＰ１ｎ〜Ｐ４ｎを用いてテンプレートマッチングを行う。このようにして判定したテンプレートＰ０ｎ〜Ｐ４ｎには予め距離Ｄが対応付けされているので、このテンプレートＰ０ｎ〜Ｐ４ｎに対応する距離Ｄを求める。例えば、判定されたテンプレートが「Ｐ０３」であれば、距離Ｄは「３」というように対応付けされている。なお、この距離Ｄは、２つのカメラ間の距離および焦点距離などの各カメラのパラメータから公知の三角測量の式を用いて算出される値である。
【００１９】
同様にしてカメラ１０ｂにより撮影されたデジタル画像ＤＧｂについてもカメラ１０ａのデジタル画像ＤＧａと同様に処理を行い距離Ｄを求める。カメラ１０ａとカメラ１０ｂにより撮像されたデジタル画像ＤＧａ，ＤＧｂから求めた２つの距離Ｄを平均することにより視差量ＴＤＸを求める。すなわち２つの距離Ｄの平均値が視差量ＴＤＸとなる。
【００２０】
次に、上記視差量を求める際に使用した画像ＲＡＭ４０に入力されているデジタル画像ＤＧａ，ＤＧｂを用い、このデジタル画像ＤＧａ，ＤＧｂの中心を原点とする座標を設定し、この座標に基づく撮像された固定プレートＫＰの中心座標の水平方向（図中Ｘ方向）と垂直方向（図中Ｙ方向）のずれ量を求める。
【００２１】
このずれ量の求め方は図１１（ａ），（ｂ）に示すように、デジタル画像ＤＧａについて説明すると、デジタル画像ＤＧａの水平方向のずれ量はｄＸＬ、垂直方向のずれ量はｄＹＬとなる。同様にして、デジタル画像ＤＧｂについてもずれ量ｄＸＲ，ｄＹＲを求める。このようにして求めた各ずれ量ｄＸＬ，ｄＹＬ，ｄＸＲ，ｄＹＲから水平方向のずれ量ＤＸ，垂直方向のずれ量ＤＹを次の式（１），（２）に基いて求める。
ＤＸ＝｜ｄＸＬ−ｄＸＲ｜ …（１）
ＤＹ＝｜ｄＹＬ−ｄＹＲ｜ …（２）
【００２２】
次に、ステップＳ１０４では、ステップＳ１０２で求めた視差量ＴＤＸと水平方向のずれ量ＤＸとを比較する。この比較では、水平方向の視差量ＴＤＸと２つのカメラ１０ａ，１０ｂにより撮影したデジタル画像ＤＧａ，ＤＧｂのずれ量ＤＸとを比較して異なる場合にはカメラの校正が必要と判定される。次に、ずれ量ＤＹがゼロかどうか判定する。この判定では、経年変化などの影響により、カメラ撮像面に写し出される画像の垂直方向にずれがあるかどうか判断し、ゼロでない場合には校正が必要と判定される。これらの判定によりＹＥＳと判定された場合には、２つのカメラ１０ａ，１０ｂとの位置関係にずれが生じていないと判定されステップＳ１０８に移行し、カメラの校正が完了したことを表わすため校正状況表示装置９５としてのＬＥＤが消灯される。
【００２３】
前記ステップＳ１０４によりＮＯと判定された場合には、次のステップＳ１０６に移行し、ステレオ視の補正処理が行われる。このステレオ視の補正は、車間距離認識装置２００のＣＰＵ５０がデジタル画像を認識する際、マトリックス状に並んだ画素の画素単位にアドレスを付し、このアドレスを指定することにより、画素単位で読み込みを行うようにしているが、一方のカメラの画像ＲＡＭ４０の画素を読み込むときの開始アドレスをＨＯＳＥＩ＿Ｘ，ＨＯＳＥＩ＿Ｙ分ずらすことによりステレオ視の補正を行うようになっている。なお、この一方のカメラの画像ＲＡＭ７０の画素を読み込むときの開始アドレスのみを補正するのは、一方のカメラの画像を基準にしているからである。
【００２４】
このステレオ視の補正処理の詳細は図９に示すようになっており、ステップＳ２００では、画像ＲＡＭ４０の画素を読み込むときの開始アドレスをずらすための補正値ＨＯＳＥＩ＿Ｘ，ＨＯＳＥＩ＿Ｙの演算が行われる。この補正値ＨＯＳＥＩ＿Ｘ，ＨＯＳＥＩ＿Ｙは次の式（３），（４）に基いて求める。
ＨＯＳＥＩ＿Ｘ＝ＤＸ−ＴＤＸ …（３）
ＨＯＳＥＩ＿Ｙ＝ＤＹ …（４）
【００２５】
ステップＳ２０２では、一方のカメラのデジタル画像を画像ＲＡＭ４０から画素単位で画素を読み込むときの補正前の開始アドレスのＸ方向の位置をＡｄｒｓ＿Ｘ、Ｙ方向の位置をＡｄｒｓ＿Ｙ、補正後の開始アドレスのＸ方向の位置をＡｄｒｓ＿Ｘ’とし、Ｙ方向の位置をＡｄｒｓ＿Ｙ’とすると、補正後の開始アドレスＡｄｒｓ（Ｘ’，Ｙ’）の位置は次の式（５），（６）に基いて求められる。この場合は左側のカメラ１０ａのデジタル画像ＤＧａの画素を読み込むときの開始アドレスＡｄｒｓ（Ｘ，Ｙ）の位置を補正することとする。
Ａｄｒｓ＿Ｘ’＝Ａｄｒｓ＿Ｘ＋ＨＯＳＥＩ＿Ｘ …（５）
Ａｄｒｓ＿Ｙ’＝Ａｄｒｓ＿Ｙ＋ＨＯＳＥＩ＿Ｙ …（６）
【００２６】
以上の補正処理が終了すると、ＣＰＵ５０が画像ＲＡＭ４０から画素を読み込む際の読み込み開始アドレスＡｄｒｓ（Ｘ’，Ｙ’）がずれ量ＤＸ，ＤＹ分ずらした状態で画素の読み込みを行うように設定され、次のステップＳ１０８に移行し、ステレオ視の補正が完了したことを表わすため校正状況表示装置９５としてのＬＥＤが消灯される。
【００２７】
以上の処理が完了するとステレオ視の補正処理が完了する。
なお、ステレオ視の補正処理が完了すると、画像ＲＡＭ４０の画素を読み込むときの開始アドレスをずらして読み込む処理は次に校正モード選択スイッチ９０が選択されるまでは継続して行われるようになっている。
【００２８】
このように、第１の実施形態によれば、固定パターンＫＰをＣＰＵ５０がカメラ１０ａ，１０ｂで撮像されたデジタル画像ＤＧａまたはデジタル画像ＤＧｂの画素を読み込むための読み込み開始アドレスをずれ量ＤＸ，ＤＹ分ずらすようにしているので、圧電素子により物理的に補正を行うものに比べて補正の自由度を大きくすることができる。
【００２９】
なお、この実施形態においては、一方のカメラにより撮像したデジタル画像の読み込み開始アドレスを補正するようにしているが、両方のデジタル画像の読み込み開始アドレスを補正するようにしても良い。また、この実施の形態では２台のカメラを水平方向に間隔を置いて配置したが、垂直方向に間隔を置いて配置したものにも適用できる。
【００３０】
なお、図３に示す固定パターンＫＰが、本発明の固定パターンに対応し、図１に示すＲＯＭ６０が、図４、図５（ａ），（ｂ）、図６（ａ），（ｂ）のテンプレートＰ０ｎ〜Ｐ４ｎで示す固定パターン画像データを記憶した固定パターン画像データ記憶手段に対応し、図８に示すステップＳ１０２が距離演算手段と視差量演算手段として機能し、図８に示すステップＳ１０６，図９に示すＳ２００がずれ量演算手段として機能し、図９に示すステップＳ２０２が画像データ補正手段として機能する。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における車間距離認識装置２００の制御ブロック図。
【図２】車間距離認識装置２００の取付箇所を示す図。
【図３】固定パターンを示す図。
【図４】テンプレートを示す図。
【図５】（ａ）水平軸回りに角度θａ傾斜したテンプレート、（ｂ）垂直軸回りに角度θｂ傾斜したテンプレートを示す図。
【図６】（ａ）左方向に角度θｃ傾斜したテンプレート、（ｂ）右方向に角度θｄ傾斜したテンプレートを示す図。
【図７】固定パターンを撮影するときの説明図。
【図８】車間距離認識装置２００のＣＰＵ５０のカメラの校正処理を示すフローチャート。
【図９】ステレオ視の補正処理の詳細を示すフローチャート。
【図１０】撮影したデジタル画像とＲＡＭ６０に記憶されたテンプレートとを比較し、テンプレートマッチングする動作を説明するための図。
【図１１】テンプレートとデジタル画像とのずれ量の求め方を説明するための図。
【符号の説明】
１０ａ，１０ｂ…カメラ（ＣＣＤカメラ）
２０ａ，２０ｂ…Ａ／Ｄコンバータ
３０…ＤＭＡ
４０…画像ＲＡＭ
５０…ＣＰＵ
６０…ＲＯＭ
７０…ＲＡＭ

Claims

複数のカメラからなる撮像装置と、この各カメラにより撮像された物体の画像データに基づき、前記物体までの距離を検出するようにした距離認識装置において、予め形成されたパターンからなる固定パターンと、この固定パターンの画像データを距離に応じて記憶するテンプレート画像データ記憶手段と、前記各カメラにより前記固定パターンを撮像したときの画像データと前記テンプレート画像データ記憶手段に記憶されたテンプレート画像データとをテンプレートマッチングして前記固定パターンと前記各カメラとの間の距離を求める距離演算手段と、この距離演算手段により求めた距離に基づき視差量を求める視差量演算手段と、前記固定パターンを撮像したときの画像データ中の固定パターンの位置から固定パターンのずれ量を求めるずれ量演算手段と、前記視差量演算手段と前記ずれ量演算手段とに基づき、撮像される画像データのずれを補正する画像データ補正手段とを備えることを特徴とする距離認識装置。
前記固定パターンは、大小の穴からなるパターンで構成されていることを特徴とする請求項１に記載の距離認識装置。
前記距離演算手段によるテンプレートマッチングは、前記テンプレート画像データ記憶手段に記憶された画像データの中から相関の高い固定パターンを判定して距離を求めるようにしたことを特徴とする請求項１または２に記載の距離認識装置。
前記視差量演算手段は、前記距離演算手段により求めた各距離の平均に基づき視差量を求めることを特徴とする請求項１、２または３に記載の距離認識装置。