JP3833042B2

JP3833042B2 - 距離認識装置

Info

Publication number: JP3833042B2
Application number: JP2000092368A
Authority: JP
Inventors: 豊森; 昌亮若尾
Original assignee: JTEKT Corp
Current assignee: JTEKT Corp
Priority date: 2000-03-29
Filing date: 2000-03-29
Publication date: 2006-10-11
Anticipated expiration: 2020-03-29
Also published as: JP2001283199A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置を用いた距離認識装置に関するもので、例えば、車両の安全走行を支援するため車に搭載して前を走行する車両までの距離を認識するのに用いられるものである。具体的には、ＣＣＤカメラ等の画像センサを撮像装置として用いて前を走行する車両までの距離を認識する装置に関するものである。
【０００２】
【従来の技術】
従来の距離認識装置としては、例えば、車両の安全走行を支援するために、車両に撮像装置としてＣＣＤカメラ（以下、単に「カメラ」という）を搭載し、前を走行する車両までの距離を認識するものとして、特開平７−１２３３１６号に開示されたものがある。
この距離認識装置において、前を走行する車両までの距離を検出するに際し、２台のカメラを車両に搭載して、前を走行する車両を異なった位置から１組の画像を撮像し、この撮像した撮像データに基づき、対応する位置のずれ量を検出し三角測量の原理（ステレオ法）により距離を求めるようにしている。
この場合、左右に配置した２台のカメラの撮像面が水平線に対して互いに一致していないと、距離の検出の際に誤認識をする恐れがあるため、一方のカメラの画像から他方のカメラの画像内の水平線に対するずれ量を検出し、このずれ量を打ち消すように、一方のカメラを圧電素子により微小距離移動させることにより、距離認識装置のカメラの校正を行なうようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、このような圧電素子を用いて２つのカメラの撮像面を水平線に一致させる校正方式では、圧電素子を用いるため、校正により補正できるずれ量がある程度限定されてしまう。また、水平線に対するずれ量を補正すことは可能であるとしても２台のカメラが水平線以外の方向にずれているような場合には、完全にずれ量を補正することはできず、距離の検出に際し誤認識をする恐れがあった。
【０００４】
本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、上下もしくは左右に配置した２つのカメラのずれを正確に補正（以下、「ステレオ視の補正」という）し、誤認識の無い距離認識装置を提供することにある。
【０００５】
【課題を解決するための手段、作用及び発明の効果】
上記の課題を解決するため、請求項１に記載の発明では、複数のカメラからなる撮像装置と、この各カメラにより撮像された物体の画像データに基づき、前記物体までの距離を検出するようにした距離認識装置において、球体からなる固定パターンと、この入力された径に基づき前記カメラとの間の距離に応じた複数の固定パターンの画像データを演算する固定パターン画像データ演算手段と、この演算された複数の固定パターンの画像データのそれぞれを、前記距離と対応付けして記憶するテンプレート画像データ記憶手段と、前記各カメラにより前記固定パターンを撮像したときの画像データと前記テンプレート画像データ記憶手段に記憶されたテンプレート画像データとをテンプレートマッチングして前記固定パターンと前記各カメラとの間の距離を求める距離演算手段と、この距離演算手段により求めた距離に基づき視差量を求める視差量演算手段と、前記固定パターンを撮像したときの画像データ中の固定パターンの位置から固定パターンのずれ量を求めるずれ量演算手段と、前記視差量演算手段と前記ずれ量演算手段とに基づき、撮像される画像データのずれを補正する画像データ補正手段とを備えることを技術的特徴とする。請求項２に記載の発明では、前記距離演算手段によるテンプレートマッチングは、前記テンプレート画像データ記憶手段に記憶された画像データの中から相関の高い固定パターンを判定して距離を求めるようにしたことを技術的特徴とする。請求項３に記載の発明では、前記視差量演算手段は、前記距離演算手段により求めた各距離の平均に基づき視差量を求めることを技術的特徴とする。
【０００６】
請求項１の発明では、球径入力手段により固定パターンである球体の径を入力すると、固定パターン画像データ演算手段によりカメラとの間の距離に応じた複数の球体の画像データを演算し、この演算された複数の画像データのそれぞれを、前記距離と対応付けしてテンプレート画像データ記憶手段に記憶する。次に、各カメラにより固定パターンを撮像したときの球体の画像データとテンプレート画像データ記憶手段に記憶されたテンプレート画像データとを順次比較してテンプレートマッチングすることにより、各カメラ毎に一致するテンプレート画像データを判定する。この判定されたテンプレート画像データは距離が対応付けされて記憶されているので、判定されたテンプレート画像データから固定パターンまでの距離を求めることができる。視差量演算手段により、この距離演算手段で求めた距離に基づいて視差量を求め、ずれ量演算手段により、各カメラにより撮像された画像データ中の固定パターンの位置からずれ量を求めることができる。画像データ補正手段により、視差量演算手段とずれ量演算手段により求めた視差量とずれ量に基づき、カメラを校正するためのずれ量を求め、この求めたずれ量に基づいて、カメラで撮像される画像データのずれを補正することができる。ここで、固定パターンを球体とすることで、各カメラにより固定パターンを撮像する際、球体が傾いたとしても画像データとしては必ず円となるため、傾いた場合を考慮する必要がないため、テンプレート画像データ記憶手段に記憶する画像データを少なくできる。
【０００７】
以上の補正により、ステレオ視の補正を正確に校正を行うことが出来る。
請求項２の発明では、距離演算手段により、各カメラにより撮像された固定パターンと、テンプレート画像データ記憶手段に記憶された画像データとをテンプレートマッチングする際、相関度の高いテンプレート画像データを判定し距離を求めるようにしたので、テンプレートマッチングによる距離の判定時間を短くできる。
【０００８】
請求項３に記載の発明では、第１視差量演算手段により、距離演算手段により求めた距離を平均することにより、視差量を求めるようにしているので、一方の距離の誤差が大きい場合でも平均化されることからカメラの取付位置精度に起因する誤差が少ない視差量を求めることができる。
【０００９】
【発明の実施の形態】
以下、本発明の実施形態に係る距離認識装置について図面を参照して説明する。
第１の実施形態は本発明を前を走行する車両までの車間距離の検出を行なう車間距離認識装置に適用したものである。
【００１０】
この車間距離認識装置は、図２の符号２００で示すように、車両１００の幅方向に所定の間隔を持って固定された２台のＣＣＤカメラ（以下、単に「カメラ」という）１０ａ，１０ｂを備えており、車両１００のサンバイザー１０２に図略のクリップなどで取付けられる。この取り付け箇所については、サンバイザーの他、ルームミラー部、車両のフロングリルなどが考えられる。
【００１１】
前記車間距離認識装置２００は、図１のブロック図に示すように、左右のカメラ１０ａ，１０ｂで撮像したアナログ画像をデジタル画像に変換するＡ／Ｄコンバータ２０ａ，２０ｂ、このＡ／Ｄコンバータ２０ａ，２０ｂにより変換されたデジタル画像を画素単位で順に画像ＲＡＭ４０に転送する画像データ転送回路ＤＭＡ３０、画像ＲＡＭ４０に記憶された画像データに基づき車間距離の演算などを行なうＣＰＵ５０、その他、ＲＯＭ６０、ＲＡＭ７０、入出力ポート８０、カメラ１０ａ，１０ｂの校正を行う場合に選択される校正モード選択スイッチ９０、後述する固定パターンの径としての直径を入力する直径入力ボタン９１、この直径の入力が完了した際に押す完了ボタン９２、カメラ１０ａ，１０ｂの校正中であることを表示する例えばＬＥＤからなる校正状況表示装置９５から構成されている。なお、前記ＣＰＵ５０には、入出力ポート８０を介して校正モード選択スイッチ９０、直径入力ボタン９１、完了ボタン９２、校正状況表示装置９５とが接続されている。
【００１２】
図３のＫＰは固定パターンを示し、この固定パターンＫＰは球体で構成されている。この固定パターンＫＰを球体で構成しているのは、球体をカメラ１０ａ，１０ｂにより撮像した際、球体が傾いた場合においても画像データ上では必ず円となるため、傾きを考慮した画像データを用いる必要がないからである。この固定パターンＫＰを車間距離認識装置２００により撮像し、後述する校正処理を行うことによりステレオ視の補正を行う。
【００１３】
以上の構成において、車間距離認識装置２００のＣＰＵ５０により行われるカメラの校正処理について、図６〜８に示すフローチャートに基づき説明する。なお、このフローチャートの処理は所定の時間間隔で実行されるようになっている。
まず、カメラの校正処理を行う前に、図５に示すように、車両１００に設けられた車間距離認識装置２００の前方に固定パターンＫＰを配置する。
【００１４】
次に、校正モード選択スイッチ９０が選択されると、ステップＳ１００の判定がＹｅｓとなり、カメラの校正中であることを示す校正状況表示装置９５としてのＬＥＤが点燈されると共に、次のステップ１０２に移行する。なお、このステップＳ１００の判定がＮｏの場合には再びステップＳ１００の判定を行う。
【００１５】
ステップＳ１０２では、図５に示すように車両１００前方に設けられた固定パターンＫＰの径である球体直径を入力する。なお、ここで、入力する径は直径でなくとも半径であっても良い。
【００１６】
ステップＳ１０３では、直径の入力が完了したことを示す完了ボタン９２が押されたかどうかを判定する。この判定がＹｅｓの場合には次のステップＳ１０４に移行し、Ｎｏの場合にはステップＳ１０２に移行し、完了ボタン９２が押されるのを待つ。
【００１７】
ステップＳ１０４では、前記ステップＳ１０２で入力された球体直径に基づき、
カメラと固定パターンＫＰとの間の距離に対応させた画像データであるテンプレート画像データ（以下、「テンプレート」という）を作成する。
【００１８】
このテンプレートは、測定する距離の範囲内の距離分解能、すなわち、撮像される画像データから距離の変化が認識できる画像の数に応じて作成され、ＲＡＭ７０に記憶される。このようにして作成されたテンプレートが図４のＰ０１〜Ｐ０ｎ（ｎ＝１，２，３…Ｎ）である。この図４に示すようにカメラと固定パターンの間の距離に対応させてテンプレートが記憶される。
【００１９】
次に、ステップＳ１０６により、車間距離認識装置２００に設けられた２つのカメラ１０ａ，１０ｂにより固定パターンＫＰを撮像する。このカメラ１０ａ，１０ｂにより固定パターンＫＰを撮像した画像データは、Ａ／Ｄコンバータ２０ａ，２０ｂを介してデジタル画像に変換され、画像データ転送回路ＤＭＡ３０により画素単位で順番に画像ＲＡＭ４０に転送される。これにより２つのカメラ１０ａ，１０ｂにより撮像した２つの固定パターンＫＰのデジタル画像が入力される。
【００２０】
ステップＳ１０８では、画像ＲＡＭ４０に取り込まれた２つの固定パターンＫＰのデジタル画像と、前記ステップＳ１０４によりＲＡＭ７０に記憶された図４に示す複数のテンプレートＰ０ｎ〜Ｐ４ｎとを比較するテンプレートマッチングを行い、それぞれ相関度の高いテンプレートＰ０ｎ〜Ｐ４ｎを判定する。このようにして判定された２つのテンプレートＰ０ｎ〜Ｐ４ｎに対応する距離Ｄをそれぞれ求め、この２つの距離Ｄの平均値を求めることにより視差量ＴＤＸを求める。この視差量ＴＤＸを求めるまでの方法について図９を用いて説明する。
【００２１】
まず、カメラ１０ａにより撮影されたデジタル画像ＤＧａの処理について説明する。
カメラ１０ａにより撮像され画像ＲＡＭ４０に入力されたデジタル画像ＤＧａと、ＲＡＭ７０に記憶された距離に応じて記憶された図４に示すテンプレートＰ０１〜Ｐ０ｎとを順次比較することによりテンプレートマッチングを行い、相互の相関度が高いテンプレートＰ０ｎを判定する。このようにして判定したテンプレートＰ０ｎには予め距離Ｄが対応付けされているので、このテンプレートＰ０ｎに対応する距離Ｄを求める。例えば、判定されたテンプレートが「Ｐ０３」であれば、距離Ｄは「３」というように対応付けされている。なお、この距離Ｄは、２つのカメラ間の距離および焦点距離などの各カメラのパラメータから公知の三角測量の式を用いて算出される値である。
【００２２】
同様にしてカメラ１０ｂにより撮影されたデジタル画像ＤＧｂについてもカメラ１０ａのデジタル画像ＤＧａと同様に処理を行い距離Ｄを求める。カメラ１０ａとカメラ１０ｂにより撮像されたデジタル画像ＤＧａ，ＤＧｂから求めた２つの距離Ｄを平均することにより視差量ＴＤＸを求める。すなわち２つの距離Ｄの平均値が視差量ＴＤＸとなる。
【００２３】
次に、上記視差量を求める際に使用した画像ＲＡＭ４０に入力されているデジタル画像ＤＧａ，ＤＧｂを用い、このデジタル画像ＤＧａ，ＤＧｂの中心を原点とする座標を設定し、この座標に基づく撮像された固定プレートＫＰの中心座標の水平方向（図中Ｘ方向）と垂直方向（図中Ｙ方向）のずれ量を求める。
【００２４】
このずれ量の求め方は図１０（ａ），（ｂ）に示すように、デジタル画像ＤＧａについて説明すると、デジタル画像ＤＧａの水平方向のずれ量はｄＸＬ、垂直方向のずれ量はｄＹＬとなる。同様にして、デジタル画像ＤＧｂについてもずれ量ｄＸＲ，ｄＹＲを求める。このようにして求めた各ずれ量ｄＸＬ，ｄＹＬ，ｄＸＲ，ｄＹＲから水平方向のずれ量ＤＸ，垂直方向のずれ量ＤＹを次の式（１），（２）に基いて求める。
ＤＸ＝｜ｄＸＬ−ｄＸＲ｜ …（１）
ＤＹ＝｜ｄＹＬ−ｄＹＲ｜ …（２）
【００２５】
次に、ステップＳ１１０では、ステップＳ１０８で求めた視差量ＴＤＸと水平方向のずれ量ＤＸとを比較する。この比較では、水平方向の視差量ＴＤＸと２つのカメラ１０ａ，１０ｂにより撮影したデジタル画像ＤＧａ，ＤＧｂのずれ量ＤＸとを比較して異なる場合にはカメラの校正が必要と判定される。次に、ずれ量ＤＹがゼロかどうか判定する。この判定では、経年変化などの影響により、カメラ撮像面に写し出される画像の垂直方向のずれがあるかどうか判断し、ゼロでない場合には校正が必要と判断される。これら判定によりＹＥＳと判定された場合には、２つのカメラ１０ａ，１０ｂとの位置関係にずれが生じていないと判定されステップＳ１１４に移行し、カメラの校正が完了したことを表わすため校正状況表示装置９５としてのＬＥＤが消灯される。
【００２６】
前記ステップＳ１１０によりＮＯと判定された場合には、次のステップＳ１１２に移行し、ステレオ視の補正処理が行われる。このステレオ視の補正は、車間距離認識装置２００のＣＰＵ５０がデジタル画像を認識する際、マトリックス状に並んだ画素の画素単位にアドレスを付し、このアドレスを指定することにより、画素単位で読み込みを行うようにしているが、一方のカメラの画像ＲＡＭ４０の画素を読み込むときの開始アドレスをＨＯＳＥＩ＿Ｘ，ＨＯＳＥＩ＿Ｙ分ずらすことによりステレオ視の補正を行うようになっている。なお、この一方のカメラの画像ＲＡＭ７０の画素を読み込むときの開始アドレスのみを補正するのは、一方のカメラの画像を基準にしているからである。
【００２７】
このステレオ視の補正処理の詳細は図８に示すようになっており、ステップＳ２００では、画像ＲＡＭ４０の画素を読み込むときの開始アドレスをずらすための補正値ＨＯＳＥＩ＿Ｘ，ＨＯＳＥＩ＿Ｙの演算が行われる。この補正値ＨＯＳＥＩ＿Ｘ，ＨＯＳＥＩ＿Ｙは次の式（３），（４）に基いて求める。
ＨＯＳＥＩ＿Ｘ＝ＤＸ−ＴＤＸ …（３）
ＨＯＳＥＩ＿Ｙ＝ＤＹ …（４）
【００２８】
ステップＳ２０２では、一方のカメラのデジタル画像を画像ＲＡＭ４０から画素単位で画素を読み込むときの補正前の開始アドレスのＸ方向の位置をＡｄｒｓ＿Ｘ、Ｙ方向の位置をＡｄｒｓ＿Ｙ、補正後の開始アドレスのＸ方向の位置をＡｄｒｓ＿Ｘ’とし、Ｙ方向の位置をＡｄｒｓ＿Ｙ’とすると、補正後の開始アドレスＡｄｒｓ（Ｘ’，Ｙ’）の位置は次の式（５），（６）に基いて求められる。この場合は左側のカメラ１０ａのデジタル画像ＤＧａの画素を読み込むときの開始アドレスＡｄｒｓ（Ｘ，Ｙ）の位置を補正することとする。
Ａｄｒｓ＿Ｘ’＝Ａｄｒｓ＿Ｘ＋ＨＯＳＥＩ＿Ｘ …（５）
Ａｄｒｓ＿Ｙ’＝Ａｄｒｓ＿Ｙ＋ＨＯＳＥＩ＿Ｙ …（６）
【００２９】
以上の補正処理が終了すると、ＣＰＵ５０が画像ＲＡＭ４０から画素を読み込む際の読み込み開始アドレスＡｄｒｓ（Ｘ’，Ｙ’）がずれ量ＤＸ，ＤＹ分ずらした状態で画素の読み込みを行うように設定され、次のステップＳ１１４に移行し、ステレオ視の補正が完了したことを表わすため校正状況表示装置９５としてのＬＥＤが消灯される。
【００３０】
以上の処理が完了するとステレオ視の補正処理が完了する。
なお、ステレオ視の補正処理が完了すると、画像ＲＡＭ４０の画素を読み込むときの開始アドレスをずらして読み込む処理は次に校正モード選択スイッチ９０が選択されるまでは継続して行われるようになっている。
【００３１】
このように、第１の実施形態によれば、球体からなる固定パターンＫＰ使用し、テンプレートマッチングを行うようにしているので、固定パターンＫＰの傾きを考慮して多くのテンプレートを作成する必要がない。この球体は背景に対して輝度差が出る（輪郭がはっきり出る）ものであれば、例えば、風船のようなものでも良い。
【００３２】
また、ＣＰＵ５０がカメラ１０ａ，１０ｂで撮像されたデジタル画像ＤＧａまたはデジタル画像ＤＧｂの画素を読み込むための読み込み開始アドレスをずれ量ＤＸ，ＤＹ分ずらすようにしているので、圧電素子により物理的に補正を行うものに比べて補正の自由度を大きくすることができる。
【００３３】
なお、この実施形態においては、一方のカメラにより撮像したデジタル画像の読み込み開始アドレスを補正するようにしているが、両方のデジタル画像の読み込み開始アドレスを補正するようにしても良い。また、この実施の形態では２台のカメラを水平方向に間隔を置いて配置したが、垂直方向に間隔を置いて配置したものにも適用できる。
【００３４】
なお、図３に示す固定パターンＫＰが本発明の固定パターンに対応し、図１に示す直径入力ボタン９１が球径入力手段に対応し、図６に示すステップＳ１０４が固定パターン画像データ演算手段に対応し、図１に示すＲＡＭ７０が図４のテンプレートＰ０ｎ〜Ｐ４ｎで示す固定パターン画像データを記憶した固定パターン画像データ記憶手段に対応し、図３に示すステップＳ１０８が距離演算手段と視差量演算手段として機能し、図７，図８に示すステップＳ１１２，Ｓ２００がずれ量演算手段として機能し、図８に示すステップＳ２０２が画像データ補正手段として機能する。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における車間距離認識装置２００の制御ブロック図。
【図２】車間距離認識装置２００の取付箇所を示す図。
【図３】固定パターンを示す図。
【図４】テンプレートを示す図。
【図５】固定パターンを撮影するときの説明図。
【図６】車間距離認識装置２００のＣＰＵ５０のカメラの校正処理を示すフローチャート。
【図７】車間距離認識装置２００のＣＰＵ５０のカメラの校正処理を示すフローチャート。
【図８】ステレオ視の補正処理の詳細を示すフローチャート。
【図９】撮影したデジタル画像とＲＡＭ６０に記憶されたテンプレートとを比較し、テンプレートマッチングする動作を説明するための図。
【図１０】テンプレートとデジタル画像とのずれ量の求め方を説明するための図。
【符号の説明】
１０ａ，１０ｂ…カメラ（ＣＣＤカメラ）
２０ａ，２０ｂ…Ａ／Ｄコンバータ
３０…ＤＭＡ
４０…画像ＲＡＭ
５０…ＣＰＵ
６０…ＲＯＭ
７０…ＲＡＭ

Claims

複数のカメラからなる撮像装置と、この各カメラにより撮像された物体の画像データに基づき、前記物体までの距離を検出するようにした距離認識装置において、球体からなる固定パターンと、この球体の径を入力する球径入力手段と、この入力された径に基づき前記カメラとの間の距離に応じた複数の固定パターンの画像データを演算する固定パターン画像データ演算手段と、この演算された複数の固定パターンの画像データのそれぞれを、前記距離と対応付けして記憶するテンプレート画像データ記憶手段と、前記各カメラにより前記固定パターンを撮像したときの画像データと前記テンプレート画像データ記憶手段に記憶されたテンプレート画像データとをテンプレートマッチングして前記固定パターンと前記各カメラとの間の距離を求める距離演算手段と、この距離演算手段により求めた距離に基づき視差量を求める視差量演算手段と、前記固定パターンを撮像したときの画像データ中の固定パターンの位置から固定パターンのずれ量を求めるずれ量演算手段と、前記視差量演算手段と前記ずれ量演算手段とに基づき、撮像される画像データのずれを補正する画像データ補正手段とを備えることを特徴とする距離認識装置。
前記距離演算手段によるテンプレートマッチングは、前記テンプレート画像データ記憶手段に記憶された画像データの中から相関の高い固定パターンを判定して距離を求めるようにしたことを特徴とする請求項１に記載の距離認識装置。
前記視差量演算手段は、前記距離演算手段により求めた各距離の平均に基づき視差量を求めることを特徴とする請求項１または２に記載の距離認識装置。