JP3820342B2 - 車載撮像装置 - Google Patents
車載撮像装置 Download PDFInfo
- Publication number
- JP3820342B2 JP3820342B2 JP2000263733A JP2000263733A JP3820342B2 JP 3820342 B2 JP3820342 B2 JP 3820342B2 JP 2000263733 A JP2000263733 A JP 2000263733A JP 2000263733 A JP2000263733 A JP 2000263733A JP 3820342 B2 JP3820342 B2 JP 3820342B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- angle
- mark position
- deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、車両の走行環境を認識するための撮像装置に係り、特に自動車の安全走行支援用に好適な車載撮像装置に関する。
【0002】
【従来の技術】
近年、自動車など車両の走行環境を画像データにより認識し、車両の安全走行を支援する装置が注目を集めている。
そして、このような装置の一例に、特開平3−203000号公報に開示されている環境認識装置がある。
【0003】
ところで、このような走行環境認識装置では、例えばCCD(電荷結合素子)などの撮像デバイスを用いたビデオカメラから画像データを取込むようになっているが、この場合、画像データの取込みに使用するビデオカメラ(撮像手段)の取付位置、取付角度、画角(撮像範囲)などが変化してしまうと、画像データも変化してしまう。
【0004】
そこで、このような装置では、カメラ(ビデオカメラ)の位置調整と画角調整が重要な要素になり、これらが常に正しい取付状態に調整され、その状態が保持されている必要があるが、このとき、従来技術では、雲台などカメラの取付機構を手作業により調整する方法が主として採用されていた。
【0005】
従って、従来技術の場合、カメラの取付調整に煩雑な作業が必要で、多くの作業時間か費やされてしまう上、取付調整を終了して一旦固定した後でも、振動などによりカメラの調整が外れてしまう虞れがあるので、必ずしも精度が保持されているという保証がなかった。
【0006】
そこで、この作業時間を短縮するため、例えば特開平11−259632号公報では、ステレオカメラを用い、その調整のために、各カメラの画像から一般的な風景の中で3箇所に特徴点を決め、この特徴点を検出してカメラの光軸を調整する方法について開示しており、特開平8−16999号公報では、単眼のカメラを対象として、その取付位置のずれの確認と、取付位置の調整のため、1箇所のマークを使用する方法について開示している。
【0007】
【発明が解決しようとする課題】
上記従来技術は、カメラの調整に必要な要件の全てについて配慮がされているとは言えず、性能の向上を図り、高性能を保持する点に問題があった。
【0008】
例えば、一般的な風景の中の2箇所の特徴点を抽出するようにした従来技術では、特徴点抽出などの処理工数が多く、多大な処理時間を要する上、微少な光軸のずれにしか対応できず、光軸が大きくずれた場合には、左右のカメラの対応点が検索できなくなり、更に、ステレオカメラに特化されているので、単眼のカメラを用いた装置には簡単に転用できないなどの問題があった。
【0009】
また、1箇所の特徴点を抽出するようにした従来技術では、微少な光軸のずれにしか対応できないことの他に、回転のずれを検出できないという問題点があった。
本発明は、上記の問題点に鑑みてなされたもので、その目的は、撮像光軸や画角などが設計値に対してずれた場合にも自動的に対応できるようにした車載撮像装置を提供することにある。
【0010】
【課題を解決するための手段】
上記目的は、レンズと取得可能画像領域が使用画像領域よりも広い撮像素子とを備え、車両の車体の一部に設けられた少なくとも2個の被写体を撮像する画像入力手段と、前記画像入力手段により撮像された画像における前記被写体の位置である現マーク位置と、前記画像入力手段の車両への取り付け時又は再設定時の前記被写体の撮像された画像上における位置である初期マーク位置と、の偏差に基づいて、前記画像入力手段の画角のずれ、若しくは画角と光軸のずれ、画角のずれ及び画像の回転、の少なくとも一つの初期状態からの変化を検出する手段とを備えたことにより達成される。
【0011】
同じく上記目的は、レンズと取得可能画像領域が使用画像領域よりも広い撮像素子とを備え、車両の車体の一部に設けられた少なくとも2個の被写体を撮像する画像入力手段と、 前記画像入力手段により撮像された画像における前記被写体の位置である現マーク位置と、前記画像入力手段の車両への取り付け時又は再設定時の前記被写体の撮像された画像上における位置である初期マーク位置と、の偏差に基づいて、前記画像入力手段の画角のずれ、若しくは画角と光軸のずれ、画角のずれ及び画像の回転、の少なくとも一つの初期状態からの変化を検出する手段と、前記現マーク位置を前記初期マーク位置に一致させるように前記撮像素子の使用画像領域を変更する画像データ補正手段とを備えたことにより達成される。
【0012】
このとき、基準モデルにより定めた初期マーク位置を記憶する記憶手段を備えるようにしてもよく、前記初期マーク位置と前記現マーク位置との偏差が並進ずれのみであるときは、前記画像データ補正手段は、前記現マーク位置を前記初期マーク位置に一致させるように前記撮像素子の使用画像領域を変更するようにしてもよい。
【0013】
更に、このとき、前記初期マーク位置と前記現マーク位置との偏差が画像の回転を含むときは、前記画像データ補正手段は、撮像したデータの回転補正量を算出するようにしてもよく、前記現マーク位置が、前記撮像素子の取得可能画像領域の外にあるときは、補正不可能であることを示す信号を出力する手段を有するようにしてもよい。
【0014】
なお、ここでは車両の走行環境認識装置を一例にして説明しているが、本発明は、カメラなどの撮像手段を用いた一般の環境認識装置にも適用可能なことはいうまでもない。
【0015】
【発明の実施の形態】
以下、本発明による車載撮像装置について、図示の実施の形態により詳細に説明する。
はじめに、本発明によるカメラの光軸と画角及び画像の回転の何れかを検出し調整するための基本的な考え方について説明する。
まず、本発明では、カメラの光電変換面の全てを使用して画像データを取込むのではなくて、図1に示すように、撮像用のレンズ10と撮像デバイス11とを備えたカメラにおいて、必要とする画像データが矢印Aで示す領域(以下、これを使用画像領域A1という)であったとしたとき、図に破線で示してあるように、このカメラでは、領域A1よりも広い撮像領域(以下、これを取得可能画像領域A0という)が得られるように、予めレンズ10の焦点距離と撮像デバイス11の光電変換面の大きさを選らんでおいた上で、光電変換面で画像データを取込む領域を動かすようにしてある。
【0016】
ここで、取得可能画像領域A0とは、このとき使用されているカメラから画像データの取得が可能な光電変換面の全ての領域のことで、これは、このカメラが備えているレンズの写角と光電変換面の広さで決まり、使用画像領域A1とは、この取得可能画像領域A0の中で、実際に画像データの取込みに使用する領域のことであり、従って、これらについては、「A0>A1」の関係が成立するように、レンズ10には広角のレンズが用いられ、撮像デバイス11を構成するCCDセンサにも大きな光電変換面のものが用いられている。
【0017】
このとき、本発明の実施形態では、CCDなどの一般的な撮像デバイスの光電変換面が画素と呼ばれる複数の光電変換素子で構成されていることを利用し、これらの画素の中で画像データを取込む画素を部分的に選択してやれば、撮像デバイス11の光電変換面を実際に動かすことなく、画像データを取込む領域、つまり使用画像領域A1が任意に変えられることになり、その選択すべき画素の選び方に応じてカメラの光軸と画角が変更でき、且つ、画像の回転が得られることになる。
【0018】
図2は、本発明の第1の実施形態で、本発明による車載撮像装置を走行環境認識装置として用い、自動車のACC(オートクルージングコントロール)制御に適用した場合の実施形態で、この図において、Mが自動車で、カメラ1は、この自動車Mの室内の天井部に、前方に向けて取付けてある。
【0019】
AEはカメラ1による撮像視野(エリア)を表わし、これによる撮像領域が上記した使用画像領域A1であるが、このとき、自動車MのボンネットMBには、この撮像視野AEに入るようにして、左右2箇所にマーク3が設けられている。
【0020】
自動車M内には、ACCコントロールユニット4とディスプレイ装置5、ブレーキ駆動装置6、ステアリング駆動装置7、それにスロットル駆動装置8が設けてある。
【0021】
そして、カメラ1はカメラ信号線40によりACC制御装置4に接続され、更にACC制御装置4は、ディスプレイ信号線50によりディスプレイ装置5に、ブレーキ駆動信号線60によりブレーキ駆動装置6に、ステアリング駆動信号線70によりステアリング駆動装置7に、そしてスロットル駆動信号線80によりスロットル駆動装置8に、それぞれ接続されている。
【0022】
図3はカメラ1の詳細で、図示のように、画像入力部1Aと、画像演算部1Bに大別されている。
そして、まず、画像入力部1Aは、レンズ10と撮像デバイス11、それにCCD出力信号変換処理部12とを備え、自動車Mの走行方向の主として前方を撮像し、撮像した画像をディジタル出力する働きをする。
【0023】
ここで、撮像デバイス11には、100万画素のCCDセンサが用いられているが、CMOSセンサを用いてもよい。
このとき、図1で説明したように、使用撮像領域A1よりも広い取得可能画像領域A0に対応した撮像視野AEが得られるように、レンズ10の焦点距離と撮像デバイス11の大きさが選ばれている。
【0024】
次に、画像演算部1Bは、画素単位で画像データを取込んで記憶する画像メモリ13と画像データを変換する画像データ補正部14、外部環境に対する自車両の相対位置を認識して演算する画像処理部15、画像入力部1Aの初期設定位置からの位置ずれを検出し判定するカメラ位置変化判定部16、警報発令とブレーキ、ステアリング、スロットルの駆動を判断する危険回避判断部17、それに判断結果を出力し車速などのデータを入力するデータ入出力部18で構成されている。
【0025】
そして、まず、画像処理部15は、先行車認識部151と車間距離演算部152、自車レーン演算部153、それに自車レーンとの位置関係演算部154で構成されており、次に、カメラ位置変化判定部16は、初期マーク位置記憶部161とマーク抽出部162、マーク位置検出部163、それに比較部164で構成されている。 また、危険回避判断部17は、危険度判定部171と警報発令判断部172、アクチュエータ駆動判断部173で構成されている。
【0026】
次に、この実施形態の動作について説明する。
まず、自動車のACC制御における走行環境認識装置としての動作について説明すると、例えば100万画素のCCDを用いて取得可能画像領域A0が得られるようにしてある撮像デバイス11を用いて撮像した自車両前方の画像データは、CCD出力信号変換処理部12によりディジタルデータに変換され、画像メモリ13に格納される。
【0027】
そして、この画像メモリ13に記憶したデータを画像処理部15に入力し、このデータに基づいて、まず先行車認識部151で先行車の認識を行ない、次いで車間距離演算部152では車間距離が演算される。また、これと並行して、自車レーン認識部153と自車とレーンの位置関係演算部154では、自車レーンの認識と自車とレーンの位置関係が演算される。
そして、画像処理部15によるこれらの演算結果は危険回避判断部17に入力される。
【0028】
危険回避判断部17では、上記した演算結果に加え、ACCコントロールユニット4からデータ入出力部18を介して、自動車Mの車速やステアリング角度などのデータを入力し、危険度判定部171により、これら演算結果とデータに基づいて、先行車への接近状態、自車とレーンの位置状態を判断する。
【0029】
そして、自車が先行車に異常接近したり、自車レーンを逸脱しそうになったときには、警報発令判断部172により危険状態であると判断し、データ入出力部18を介してディスプレイ装置5に所定の表示データを送り、運転者に危険状態であることを知らせる内容の表示を行なわせる。
【0030】
一方、先行車との車間距離が変わったときは、アクチュエータ駆動判断部173により、先行車との車間距離を維持するようなスロットル制御又はブレーキ制御量を計算し、制御データをデータ入出力部18からACCコントロールユニット4に送信する。
【0031】
更に、自車が自車レーンの中央付近を外れて走行しているときは、アクチュエータ駆動判断部173で自車レーン中央付近を走行するのに必要なステアリング制御量を計算し、同じく制御データをデータ入出力部18を介してACCコントロールユニット4に送信する。
【0032】
以上は、この実施形態によるACCとしての一般的な動作であるが、次に、この実施形態の特徴であるカメラ位置変化判定部16の動作について、図4と図5を用いて説明する。
図4において、このフローチャートによる処理が開始されたら、まず、ステップS1でカメラ1の位置について初期設定を行う。
【0033】
この初期設定では、カメラ1の取付状態を調整して、撮像視野AEが正しく得られているように固定する作業などが行なわれる。
図5(a)は、このときの初期設定の結果で、図示のように、取得可能画像領域A0の真中に使用画像領域A1が来るように、カメラ1の撮像視野AEを設定するのである。
【0034】
次に、ステップS2では、マーク3の位置を初期マーク位置記憶部161に記憶し、初期マーク位置Xとする。
この初期マーク位置Xの記憶は、カメラ1を撮像動作状態にし、画像データを取込んで処理し、図5(a)に示す使用画像領域A1内でのマーク3を検出し、これを初期マーク3Aとして、その位置Xを初期マーク位置記憶部161に格納してやればよい。
【0035】
ここで、この初期マーク位置Xは、以後、再設定されるまで、そのまま繰返し使用される。従って、初期マーク位置記憶部161は、この装置全体に対する電源供給が停止したときでも記憶が保持できるように、書換可能なROM、又はバックアップ電源を持ったRAMが使用されている。
【0036】
ここで、このステップS2までは、カメラ1を自動車Mに設置したとき実行される作業処理であるが、これ以降の処理は、上記した通常の走行環境認識装置としての動作と並行して、例えば所定のマイコンにより、所定のプログラムにより実行されるものであり、従って、ステップS3以降の処理は、自動車Mのアクセサリ電源が投入されたとき開始され、以後、電源が落とされるまで、画像メモリ13に1フレーム分の画像データが書き込まれる毎に実行される。
【0037】
まず、ステップS3では、マーク抽出部162とマーク位置検出部163により、画像メモリ13に取込まれた画像データからマーク3の位置を検出し、これを現マーク3Bとし、その位置を現マーク位置Yとする処理を実行する。
次に、ステップS4では、比較部164により、現マーク位置Yを、初期マーク位置記憶部161に格納されているデータ、すなわち初期マーク位置Xと比較する。
【0038】
そして、まず、検出したマーク3の位置が初期マーク位置と等しい場合、つまり「X=Y」のときはステップS5により、カメラ1の位置変化はないものと判断してステップS6に進み、以後、ステップS6からステップS8までの処理を実行した後、ステップS3に戻り、次のフレームの処理に移る。
ここで、これらのステップS6からステップS8までの処理が、上記した通常の走行環境認識装置としての動作のための処理である。
【0039】
一方、ステップS5での結果がNo(否定)になったとき、つまり「X≒Y」のときは、図5(b)、(c)に示すように、初期マーク3Aと現マーク3Bがずれていることになる。
そこで、このときは、ステップS9以降の処理に進み、まず、このステップS9では、初期マーク3Aと現マーク3Bのずれ量が補正可能な範囲内にあるか否かを判断する。このときの判断、つまり、ずれ量が補正可能な範囲内にあるか否かの判断は、この実施形態では、現マーク3Bの位置Yが取得可能画像領域A0内にあるか否かにより判定するようになっている。
【0040】
そして、このステップS9での判定結果がYes(肯定)になったときは、まずステップS10で、ずれの補正に必要な補正量を算出する処理を実行する。
このとき、ずれの状態が図5(b)に示すように、平行なずれの場合は、並進補正量の算出処理になり、図5(c)に示すように、回転ずれの場合は、回転補正量の算出処理となる。
【0041】
次にステップS11では、画像データ補正部14により、この算出された補正量に基づいて画像データを補正する。
そして、ステップS11の処理を終えたらステップS6からステップS8の処理に合流し、このときは、補正された画像データにより、通常の走行環境認識装置としての処理を実行するのである。
一方、ステップS9の判定結果がNoになったとき、すなわち、ずれ量が大きすぎて、必要とする補正量が取得可能画像領域A0を越えてしまったときは、ステップS12に進む。
【0042】
この結果、まずステップS12で補正が不可能であるとし、続くステップS13で、データ入出力処理部18から補正不可能であることを表わす信号を出力させる。
そこで、このときは、ACCコントロールユニット4からディスプレイ装置5に所定の表示信号が供給され、この結果、ずれ補正が得られなくなっていることが運転者に報知されることになる。
【0043】
従って、この第1の実施形態によれば、逐次、取込まれてくる画像データの中から、自動車MのボンネットMBに設けてあるマーク3の位置を検出し、これを初期位置と比較してカメラ1の位置変化を検出しているので、走行環境の変化の影響を受けることなく、常に確実にカメラ1の位置変化を検出することができ、画像データを的確に補正することができる。
【0044】
つまり、こ実施形態の場合、一般的な風景の中からマークとなりうる特徴点を検索するのではなく、車両に設けてあるマークを検索しているため、走行環境によらず安定してカメラの軸調整ができるのである。
【0045】
また、この第1の実施形態によれば、カメラ1を動かすことなく、逐次、自動的にカメラ1の光軸修正と画像の回転補正が与えられてゆくことになり、この結果、カメラの製造時や取付時、更には光軸や画角などが設計値から経時的にずれた場合にも自動的に対応でき、常に走行環境を正確に把握することができる。
【0046】
そして、この結果、カメラ1を回転させるための機構部を必要としないため、重量、コスト、サイズが低減できる。
更に、2個のマークを使用しているので、並進ずれ(縦横に平行なずれ)だけではなく、回転方向のずれにも対応できる。
しかも、使用範囲よりも大きな撮像デバイスと広角なレンズを使用することにより、大きなずれ量にも対応することできる。
【0047】
ところで、この第1の実施形態では、自動車のボンネットの左右2箇所に設けてあるマークを利用しているが、これ代えて、ボンネットに取り付けられたマスコットや、フロントガラスに貼られたシールなど、自車両に取付けられていて、2箇所のマークとして使用できるものであれば、同様の効果を得られることは言うまでもない。
【0048】
ところで、上記第1の実施形態では、図4のステップS5での処理において、実際に撮像した画像データからマーク抽出部162によりマーク3の位置を算出し、これを、図3に破線で示してあるように、初期マーク位置Xとして初期マーク位置記憶部161に記憶する方法を採用していた。
【0049】
しかし、この方法に代え、基準モデルとなるカメラを使用するなどして予め初期マーク位置Xを算出し、このデータをROMに書込んでおき、このROMを初期マーク位置記憶部161として用い、これを本発明の第2の実施形態としてもよい。
【0050】
そして、この第2の実施形態の場合、図4におけるステップS2の処理が不要になる外は、上記した第1の実施形態の場合と同じ構成と処理でよく、この第2の実施形態による効果は以下の通りである。
【0051】
第1の実施形態の場合、カメラ1を車両に取付けた後、経時的にずれた場合にしか対応できないが、この第2の実施形態では、ROMのデータと車両上のマーク位置を比較することにより、製造時や取付け時に発生した光軸のずれも併せて調整することができる。
【0052】
次に、本発明の第3の実施形態について説明する。
まず、この第3の実施形態の場合、全体の構成は、図1〜図3で説明した第1の実施形態と同じであり、異なっている点は、その処理が、図6に示すようになっている点にある。
但し、この図6でも、ステップS14とステップS15が付加されている以外は、図4に示した第1の実施形態の場合と同じ処理になっている。
【0053】
従って、この第3の実施形態でも、マーク3による画像の位置が初期位置からずれた場合、このずれ量に応じて画像データが補正される点は、第1の実施形態と同じである。
しかし、第1の実施形態では、一旦、カメラ1の光軸がずれると、処理が実行される毎にステップS11による画像補正処理が加わるので、処理時間が多くかかってしまう。
【0054】
一方、この図6による第3の実施形態では、ステップS5でマーク位置が初期位置とずれ、ステップS9で補正可能になり、ステップS10で画像データ補正量を算出した際、その結果が、図7(a)に示すように、並進ずれだけの場合か否かをステップS14で判定し、結果がYesの場合は、画像データの補正に代えて、ステップS15により、図7(b)に示すように、使用画像領域A1と初期マーク3Aの位置Xを変更するのである。
【0055】
このときの使用画像領域A1と初期マーク3Aの位置Xの変更は、既に説明してあるように、撮像デバイス11の光電変換面における画素の中で、実際に画像データを取込む画素を部分的に選択することにより実行すればよい。
この結果、次の画像データが取込まれたときは、現マーク3Bの位置Yは初期マーク位置Xに一致し、ステップS5での結果はYesになるので、画像データの補正は行われず、取り込んだ画像のままでステップS6からステップS8までの処理が実行されることになる。
【0056】
一方、ずれが並進ずれに限らなかったときは、ステップS14での判定結果がNoになるので、図4の第1の実施形態の場合と同じく、ステップS11による画像データの補正処理が実行されることになる。
従って、この第3の実施形態の場合、第1の実施形態と同じ効果に加えて、並進成分のみのずれのときは、画像データの補正は行なわず、使用領域を変更するたけなので、計算量を少なくすることができる。
【0057】
次に、本発明の第4の実施形態について説明する。
例えば製造や取付に際して、カメラ1の画角が変わってしまうことがあるが、この第4の実施形態は、このようなカメラの画角変化に対応し、これによる影響が抑えられるようにしたものである。
【0058】
まず、この第4の実施形態の場合も、全体の構成は、図1〜図3で説明した第1の実施形態と同じであり、異なっている点は、図4の処理における初期設定処理、つまりステップS1からステップS3までの処理に、図8に示すように、ステップS20とステップS21の処理が付加されている点にある。
従って、この第4の実施形態でも、マーク3による画像の位置が初期位置からずれた場合、このずれ量に応じて画像データが補正される点は、第1の実施形態と同じである。
【0059】
次に、この第4の実施形態の動作について説明すると、この場合、図8に示すステップS20とステップS21が付加された結果、初期設定処理の中で、まずステップS20により画角検出処理が実行される。
上記したように、カメラ1の画角が変わって、例えば画角が広がってしまったとすると、図9(a)に示すように、左右にある現マーク3Bの間隔が狭まって、初期マーク3Aの内側にずれてしまう。
【0060】
従って、この内側へのずれにより画角が広がってしまったことが検出でき、ずれの大きさにより、拡がりの度合いが算出できる。
そこで、次のステップS21で画像データの取り込み範囲を調整し、このときは、図9(b)に示すように、使用画像領域A1を狭くするのである。
【0061】
一方、カメラ1の画角が狭まってしまったとすると、今度は図9(a)とは反対に、左右にある現マーク3Bの間隔が広がって、初期マーク3Aの外側にずれてしまう。
そこで、このときは、外側へのずれにより画角が狭まってしまったことが検出でき、同じくずれの大きさにより、狭まりの度合いが算出できるので、ステップS21では、図9(b)とは反対に、使用画像領域A1を広くするのである。
【0062】
このときのステップS21による調整処理、つまり使用画像領域A1を拡げる処理と狭める処理については、これも既に説明してあるように、撮像デバイス11の光電変換面における画素の中で、実際に画像データを取込む画素を部分的に選択することにより実行すればよい。
【0063】
そして、この後、ステップS3に進むので、以後は図4の場合と同じ動作になる。
従って、この第4の実施形態によれば、上記した第1の実施形態による効果に加えて、カメラ1の画角の変化にも自動的に対応することができる。
【0064】
次に、本発明の第5の実施形態について説明する。
ここで、この第5の実施形態は、カメラ1の画角を切換え、広い視野と狭い視野の2種の画像データを取込み、車両の走行環境を認識するようにした装置に、本発明を適用したものである。
【0065】
従って、この第5の実施形態の場合、図3のブロック構成において、画像処理部15が、図10に示す画像処理部15Aに置き換えてある点を除けば、全体の構成は、図1〜図3で説明した第1の実施形態と同じであり、そして、この画像処理部15Aが、画像処理部15と異なっている点は、隣接レーン認識部155と隣接車動作演算部156が付加されている点だけである。
【0066】
従って、この第5の実施形態でも、マーク3による画像の位置が初期位置からずれた場合、このずれ量に応じて画像データが補正される点は、第1の実施形態と同じであるが、この後、図4のステップS6において、画像処理部15による処理の実行と共に、隣接レーン認識部155と隣接車動作演算部156による処理が、図11に示すようにして実行されることになる。
【0067】
そこで、以下、この図11による処理について、図12を併用しながら説明する。
まず、ステップS61では、隣接レーン認識部155により広角画像取得処理を実行し、隣接車が認識されるか否かを調べる。
このため、まず、図12(a)に示すように、取得可能画像領域A0の中に、かなり広い使用画像領域A1(W)を選択する。
【0068】
そして、画像データ補正部14から与えられる1フレーム分の画像データの中から、この広角使用画像領域A1(W)内にある画像データを取込む。
そうすると、図12(a)から明らかなように、広角の画像になった結果、隣接車線も視野に入り、そこからの情報も取得できるようになるので、ここで隣接車線の車両、すなわち隣接車を認識するのである。
【0069】
次に、ステップS62では、隣接車動作演算部156により画像処理を実行させ、隣接車有りの場合、認識した隣接車の動きを画像処理により解析し、この隣接車が自車両レーンに割込んでくるか否かを判断する。
次に、ステップS63では、先行車認識部151により、今度は狭角画像取得処理を実行し、先行車が認識されるか否かを調べる。
すなわち、今度は、まず、図12(b)に示すように、取得可能画像領域A0の中に、比較的狭い使用画像領域A1(T)を選択する。
【0070】
そして、画像データ補正部14から与えられる1フレーム分の画像データの中から、この狭角使用画像領域A1(T)内にある画像データを取込む。
そうすると、図12(b)から明らかなように、今度は、狭角の画像になった結果、遠方が拡大され、遠方の画像からでも詳細な情報が容易に取得できるようになるので、ここで自車に先行する車両、すなわち先行車を認識するのである。
【0071】
次に、ステップS64では、車間距離演算部152による画像処理を実行し、先行車ありの場合、この先行車までの距離、つまり車間距離を演算する。
なお、ここでの車間距離の演算には、例えば画像内での先行車の大きさを、予め想定されている実際の車両の大きさと比較する方法を用いてやればよい。
こうして、ステップS61からステップS64までの処理を終えたら、ステップS7に進み、処理を終了する。
【0072】
そして、この後は、ステップS7で、危険回避判断部17により隣接車及び先行車と自車の状況が調べられ、その結果に応じて警報を発令するか、アクチュエータを動作させるかが判断され、次いでステップS8で、判断結果がデータ入出力処理部18から出力されることになる。
【0073】
従って、この第5の実施形態によれば、カメラ1のレンズに交換機構を用いたり、ズームレンズを用いたりすることなく、広い視野と狭い視野の2種の画像データの使い分けができることになり、この結果、カメラ1の重量とコストの低減が充分に図れることになる。
【0074】
なお、この第5の実施形態では、例えば100万画素の撮像デバイス11を使用しているため、狭角画像の場合でも、標準画素撮像デバイス(例えば25万画素)を使用しているカメラに比べ、情報量の欠落がほとんど無くてすむ。
ところで、上記の説明では、広角画像と狭角画像の2種類の画像を使用した場合の実施形態について述べたが、本発明は、2種類の画像だけではなく、複数の画像にも対応できることは言うまでもない。
【0075】
ところで、以上の第5の実施形態において、広角画像の場合と狭角画像の場合で、撮像デバイス11の光電変換面から画像データを取込むための画素の個数が同じになるようにしてもよく、この場合を第6の実施形態とし、以下、この第6の実施形態について説明する。
【0076】
まず、ここで、いま撮像デバイス11の光電変換面にある画素が、全体では、つまり取得可能画像領域A0では、図13(a)に模式的に示すようになっていたとする。
そして、この場合、広角使用画像領域A1(W)のときは、画像データを取込むとき、図13(b)に示すように、1画素おきに間引いて取込むようにし、狭角使用画像領域A1(T)のときは、同図(c)に示すように、この領域A1(T)内にある全ての画素から画像データを取込むようにするのである。
【0077】
ここで、この第6の実施形態の狙いは、広角画像の場合と狭角画像の場合とで処理すべき画素数がなるべく同じになるようにする点にあり、その理由は、何れの場合でも情報量が同等で、処理時間も同等になるようにするためである。
【0078】
本発明の実施形態では、例えば100万画素など、画素数の多い撮像デバイスを使用するのが望ましいが、このため、上記のように、1画素おきに間引いても狭角画像と同等の情報量を取得することができ、画素を間引くことにより広角画像にかかる処理時間を狭角画像と同等のレベルにすることができる。
【0079】
ここで、上記の場合、広角使用画像領域A1(W)のときは1画素おきに間引いた画像を用いたが、本発明では、使用画像サイズに応じて間引き数を変更してもよく、狭角画像と広角画像の中間の画像でも同等の効果を得ることができることは言うまでもない。
【0080】
【発明の効果】
本発明によれば、車載撮像装置で使用するカメラに広角のレンズと画素数の多い撮像デバイスを使用するだけで、製造、取付時に発生した光軸や画角のずれ、画像の回転の補正は勿論、取付後、経時的に発生した光軸や画角のずれ、画像の回転の補正についても、自動的に修正することができる。
【0081】
また、本発明によれば、使用画面領域を変えることもできるので、情報量を変えずに狭角画像から広角画像まで取得でき、多種多様な画像処理を容易に行うことができる。
【図面の簡単な説明】
【図1】本発明の原理を説明するための概略図である。
【図2】本発明による車載撮像装置を自動車のオートクルージング装置に適用した場合の一実施形態を示す全体構成図である。
【図3】本発明による車載撮像装置を自動車のオートクルージング装置に適用した場合の一実施形態を示すブロック図である。
【図4】本発明の第1の実施形態の動作を説明するためのフローチャートである。
【図5】本発明の第1の実施形態の動作を説明するための画像ウィンドウ図である。
【図6】本発明の第3の実施形態の動作を説明するためのフローチャートである。
【図7】本発明の第3の実施形態の動作を説明するため画像ウィンドウ図である。
【図8】本発明の第4の実施形態の動作を説明するためのフローチャートである。
【図9】本発明の第4の実施形態の動作を説明するための画像ウィンドウ図である。
【図10】本発明の第5の実施形態における構成の一部を示すブロック図である。
【図11】本発明の第5の実施形態の動作を説明するためのフローチャートである。
【図12】本発明の第5の実施形態の動作を説明するための画像ウィンドウ図である。
【図13】本発明の第6の実施形態の動作を説明するための撮像デバイスの画素を表わす模式図である。
【符号の説明】
1 カメラ
3 マーク
3A 現マーク(現マークの画像)
3B 初期マーク(初期マークの画像)
10 レンズ
11 撮像デバイス
A0 取得可能画像領域
A1 使用画面領域
Claims (6)
- レンズと取得可能画像領域が使用画像領域よりも広い撮像素子とを備え、車両の車体の一部に設けられた少なくとも2個の被写体を撮像する画像入力手段と、
前記画像入力手段により撮像された画像における前記被写体の位置である現マーク位置と、前記画像入力手段の車両への取り付け時又は再設定時の前記被写体の撮像された画像上における位置である初期マーク位置と、の偏差に基づいて、前記画像入力手段の画角のずれ、若しくは画角と光軸のずれ、画角のずれ及び画像の回転、の少なくとも一つの初期状態からの変化を検出する手段とを備えた車載撮像装置。 - レンズと取得可能画像領域が使用画像領域よりも広い撮像素子とを備え、車両の車体の一部に設けられた少なくとも2個の被写体を撮像する画像入力手段と、
前記画像入力手段により撮像された画像における前記被写体の位置である現マーク位置と、前記画像入力手段の車両への取り付け時又は再設定時の前記被写体の撮像された画像上における位置である初期マーク位置と、の偏差に基づいて、前記画像入力手段の画角のずれ、若しくは画角と光軸のずれ、画角のずれ及び画像の回転、の少なくとも一つの初期状態からの変化を検出する手段と、
前記現マーク位置を前記初期マーク位置に一致させるように前記撮像素子の使用画像領域を変更する画像データ補正手段とを備えた車載撮像装置。 - 請求項1又は2において、
基準モデルにより定めた初期マーク位置を記憶する記憶手段を備えることを特徴とする車載撮像装置。 - 請求項2において、
前記初期マーク位置と前記現マーク位置との偏差が並進ずれのみであるときは、前記画像データ補正手段は、前記現マーク位置を前記初期マーク位置に一致させるように前記撮像素子の使用画像領域を変更することを特徴とする車載撮像装置。 - 請求項2において、
前記初期マーク位置と前記現マーク位置との偏差が画像の回転を含むときは、前記画像データ補正手段は、撮像したデータの回転補正量を算出することを特徴とする車載撮像装置。 - 請求項2乃至5の何れか一項において、
前記現マーク位置が、前記撮像素子の取得可能画像領域の外にあるときは、補正不可能であることを示す信号を出力する手段を有することを特徴とする車載撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000263733A JP3820342B2 (ja) | 2000-08-31 | 2000-08-31 | 車載撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000263733A JP3820342B2 (ja) | 2000-08-31 | 2000-08-31 | 車載撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002074339A JP2002074339A (ja) | 2002-03-15 |
JP3820342B2 true JP3820342B2 (ja) | 2006-09-13 |
Family
ID=18751238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000263733A Expired - Lifetime JP3820342B2 (ja) | 2000-08-31 | 2000-08-31 | 車載撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3820342B2 (ja) |
Families Citing this family (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
JP2002094977A (ja) * | 2000-09-14 | 2002-03-29 | Fujitsu Ten Ltd | 画像処理装置 |
US7697027B2 (en) | 2001-07-31 | 2010-04-13 | Donnelly Corporation | Vehicular video system |
US6882287B2 (en) | 2001-07-31 | 2005-04-19 | Donnelly Corporation | Automotive lane change aid |
WO2003093857A2 (en) | 2002-05-03 | 2003-11-13 | Donnelly Corporation | Object detection system for vehicle |
US7106421B2 (en) * | 2003-04-04 | 2006-09-12 | Omron Corporation | Method of adjusting axial direction of monitoring apparatus |
EP1584946A3 (en) * | 2004-04-02 | 2006-03-22 | Omron Corporation | Method of adjusting monitor axis of optical sensors |
US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
US7881496B2 (en) | 2004-09-30 | 2011-02-01 | Donnelly Corporation | Vision system for vehicle |
US7720580B2 (en) | 2004-12-23 | 2010-05-18 | Donnelly Corporation | Object detection system for vehicle |
JP4622637B2 (ja) * | 2005-04-04 | 2011-02-02 | トヨタ自動車株式会社 | 車載カメラ姿勢補正装置および車載カメラ姿勢補正方法 |
JP2007256030A (ja) * | 2006-03-23 | 2007-10-04 | Clarion Co Ltd | 車載カメラのキャリブレーション装置およびキャリブレーション方法 |
US7972045B2 (en) | 2006-08-11 | 2011-07-05 | Donnelly Corporation | Automatic headlamp control system |
US7914187B2 (en) | 2007-07-12 | 2011-03-29 | Magna Electronics Inc. | Automatic lighting system with adaptive alignment function |
US8017898B2 (en) | 2007-08-17 | 2011-09-13 | Magna Electronics Inc. | Vehicular imaging system in an automatic headlamp control system |
JP5208790B2 (ja) * | 2009-02-04 | 2013-06-12 | アイシン精機株式会社 | 画像処理装置、画像処理方法ならびにプログラム |
US9041806B2 (en) | 2009-09-01 | 2015-05-26 | Magna Electronics Inc. | Imaging and display system for vehicle |
KR101629012B1 (ko) * | 2009-12-07 | 2016-06-10 | 엘지이노텍 주식회사 | 블랙박스용 카메라의 설치 위치 조정 장치 및 설치 위치 조정 방법 |
US9150155B2 (en) | 2010-01-13 | 2015-10-06 | Magna Electronics Inc. | Vehicular camera and method for periodic calibration of vehicular camera |
JP5567441B2 (ja) * | 2010-09-30 | 2014-08-06 | 本田技研工業株式会社 | 車載カメラの光軸検査方法及び光軸検査装置 |
JP4820462B1 (ja) | 2010-10-22 | 2011-11-24 | パイオニア株式会社 | 端末装置、端末装置によって実行される画像処理方法及び画像処理プログラム |
JP2012093872A (ja) * | 2010-10-26 | 2012-05-17 | Fujitsu Ten Ltd | 画像認識装置、及び、画像認識方法 |
WO2012075250A1 (en) | 2010-12-01 | 2012-06-07 | Magna Electronics Inc. | System and method of establishing a multi-camera image using pixel remapping |
US9264672B2 (en) | 2010-12-22 | 2016-02-16 | Magna Mirrors Of America, Inc. | Vision display system for vehicle |
JP5875232B2 (ja) * | 2011-02-16 | 2016-03-02 | 富士通テン株式会社 | 物体検出装置、および、物体検出方法 |
US9357208B2 (en) | 2011-04-25 | 2016-05-31 | Magna Electronics Inc. | Method and system for dynamically calibrating vehicular cameras |
US9834153B2 (en) | 2011-04-25 | 2017-12-05 | Magna Electronics Inc. | Method and system for dynamically calibrating vehicular cameras |
US10793067B2 (en) | 2011-07-26 | 2020-10-06 | Magna Electronics Inc. | Imaging system for vehicle |
WO2013019707A1 (en) | 2011-08-01 | 2013-02-07 | Magna Electronics Inc. | Vehicle camera alignment system |
WO2013043661A1 (en) | 2011-09-21 | 2013-03-28 | Magna Electronics, Inc. | Vehicle vision system using image data transmission and power supply via a coaxial cable |
WO2013074604A2 (en) | 2011-11-15 | 2013-05-23 | Magna Electronics, Inc. | Calibration system and method for vehicular surround vision system |
US10071687B2 (en) | 2011-11-28 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
WO2013086249A2 (en) | 2011-12-09 | 2013-06-13 | Magna Electronics, Inc. | Vehicle vision system with customized display |
US10457209B2 (en) | 2012-02-22 | 2019-10-29 | Magna Electronics Inc. | Vehicle vision system with multi-paned view |
WO2014054124A1 (ja) * | 2012-10-02 | 2014-04-10 | トヨタ自動車株式会社 | 路面標示検出装置及び路面標示検出方法 |
US9723272B2 (en) | 2012-10-05 | 2017-08-01 | Magna Electronics Inc. | Multi-camera image stitching calibration system |
JP5924227B2 (ja) * | 2012-10-16 | 2016-05-25 | 株式会社デンソー | 車載カメラの取り付け誤差検出装置 |
US9743002B2 (en) | 2012-11-19 | 2017-08-22 | Magna Electronics Inc. | Vehicle vision system with enhanced display functions |
US10179543B2 (en) | 2013-02-27 | 2019-01-15 | Magna Electronics Inc. | Multi-camera dynamic top view vision system |
US9688200B2 (en) | 2013-03-04 | 2017-06-27 | Magna Electronics Inc. | Calibration system and method for multi-camera vision system |
US9508014B2 (en) | 2013-05-06 | 2016-11-29 | Magna Electronics Inc. | Vehicular multi-camera vision system |
US9205776B2 (en) | 2013-05-21 | 2015-12-08 | Magna Electronics Inc. | Vehicle vision system using kinematic model of vehicle motion |
US9563951B2 (en) | 2013-05-21 | 2017-02-07 | Magna Electronics Inc. | Vehicle vision system with targetless camera calibration |
JP6260424B2 (ja) | 2014-04-16 | 2018-01-17 | 株式会社デンソー | 車載カメラの取り付け誤差検出装置 |
US9916660B2 (en) | 2015-01-16 | 2018-03-13 | Magna Electronics Inc. | Vehicle vision system with calibration algorithm |
US10946799B2 (en) | 2015-04-21 | 2021-03-16 | Magna Electronics Inc. | Vehicle vision system with overlay calibration |
US11277558B2 (en) | 2016-02-01 | 2022-03-15 | Magna Electronics Inc. | Vehicle vision system with master-slave camera configuration |
US10300859B2 (en) | 2016-06-10 | 2019-05-28 | Magna Electronics Inc. | Multi-sensor interior mirror device with image adjustment |
JP6868852B2 (ja) * | 2017-03-10 | 2021-05-12 | パナソニックIpマネジメント株式会社 | カメラ状態監視装置 |
JP2019208253A (ja) * | 2019-07-22 | 2019-12-05 | パイオニア株式会社 | 撮影装置、制御方法、プログラム及び記憶媒体 |
CN112572461B (zh) * | 2019-09-30 | 2022-10-21 | 阿波罗智能技术(北京)有限公司 | 控制车辆的方法、装置、设备和存储介质 |
-
2000
- 2000-08-31 JP JP2000263733A patent/JP3820342B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2002074339A (ja) | 2002-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3820342B2 (ja) | 車載撮像装置 | |
JP5421072B2 (ja) | 接近物体検知システム | |
JP4861034B2 (ja) | 車載カメラのキャリブレーションシステム | |
US10235772B2 (en) | Installation error display control apparatus and installation error detection apparatus of onboard camera | |
KR100917330B1 (ko) | 차량의 탑뷰 모니터 시스템 및 방법 | |
JP2009126270A (ja) | 画像処理装置及び方法、運転支援システム、車両 | |
JP5680436B2 (ja) | 車載カメラレンズ用異物付着判定装置 | |
JP6032034B2 (ja) | 物体検知装置 | |
US20200039435A1 (en) | Onboard camera system for eliminating a-pillar blind areas of a mobile vehicle and image processing method thereof | |
JP5175230B2 (ja) | カメラの自動キャリブレーション装置及び自動キャリブレーション方法 | |
JP7270499B2 (ja) | 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム | |
WO2014045344A1 (ja) | 車載カメラのfoe設定装置及びfoe設定方法 | |
WO2015122124A1 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
JP2020068499A (ja) | 車両周囲画像表示システム及び車両周囲画像表示方法 | |
WO2015190066A1 (ja) | 車載カメラの取付角度調整方法および取付角度検出装置 | |
JP2019061303A (ja) | 車両の周辺監視装置と周辺監視方法 | |
JP4702802B2 (ja) | 車両方位補正システム | |
JP2018136739A (ja) | キャリブレーション装置 | |
JP4932293B2 (ja) | 障害物認識装置 | |
JP2006178652A (ja) | 車両周辺認識システム及び画像処理装置 | |
JP2008160635A (ja) | カメラ状態検出方法 | |
CN113396578B (zh) | 摄像装置、固态摄像元件、相机模块、驱动控制单元和摄像方法 | |
JP3882304B2 (ja) | 自動走行用自車位置検出装置 | |
JP2007221199A (ja) | 車載カメラ表示装置及び画像処理装置 | |
KR20150009763A (ko) | 카메라 시스템 및 카메라 시스템의 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050815 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051024 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060407 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060619 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3820342 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090623 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130623 Year of fee payment: 7 |
|
EXPY | Cancellation because of completion of term |