JPH11242735A - 走行環境認識装置 - Google Patents

走行環境認識装置

Info

Publication number
JPH11242735A
JPH11242735A JP4477298A JP4477298A JPH11242735A JP H11242735 A JPH11242735 A JP H11242735A JP 4477298 A JP4477298 A JP 4477298A JP 4477298 A JP4477298 A JP 4477298A JP H11242735 A JPH11242735 A JP H11242735A
Authority
JP
Japan
Prior art keywords
image
lane
vehicle
image processing
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP4477298A
Other languages
English (en)
Inventor
Hiroshi Takenaga
寛 武長
Kozo Nakamura
浩三 中村
Toshimichi Minowa
利通 箕輪
Yoshinori Endo
芳則 遠藤
Hiroto Morisane
裕人 森實
Tokuji Yoshikawa
徳治 吉川
Mitsuru Nakamura
満 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP4477298A priority Critical patent/JPH11242735A/ja
Publication of JPH11242735A publication Critical patent/JPH11242735A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

(57)【要約】 【課題】標準的に用いられるTVカメラを利用して、画
像情報の奥行き分解能をあげながら、画像情報の入力を
高速化できるようにした走行環境認識装置を提供する。 【解決手段】レンズ22の光軸の回りに従来の設置位置
から所定角度だけ回転した位置に配置された撮像素子2
1を備える撮像装置2と、該撮像装置2で撮影した自車
両の走行環境に関係する画像情報あるいはその画像情報
を所定角度回転した画像情報内で走行レーン等を認識す
る画像処理装置1とを備え、該画像処理装置1は、認識
結果を信号線23を介して外部に出力したり、回転され
た画像情報を逆回転して元に戻した状態で表示装置3へ
出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、自動車などの車両
に搭載され、自車両が走行する道路の環境を認識する装
置に係わり、特に画像処理により走行環境を認識する装
置に関する。
【0002】
【従来の技術】自動車の性能が向上するにつれ、走行レ
ーンや他の車両など、自車両が走行する周囲の環境を認
識して、事故が発生しそうな状況を検出し、ドライバー
に警報を出して危険回避操作を促したり、あるいは積極
的に車を自動制御して事故を未然に防止する予防安全の
付与が重要になってきている。
【0003】更に、このとき、ドライバーに警告を出す
だけでなく、積極的に車の制御をし、例えば車間距離を
一定に制御して走行する自動クルーズや、更には自動運
転等のシステムに対する関心が大きく高まってきている
が、このような予防安全、自動クルーズ走行、更には自
動運転を達成するためには、自車両の走行環境を高速に
認識する必要がある。
【0004】そこで、TVカメラ等の撮像装置を用い、
車両の前方を中心とする画像情報を処理することによ
り、走行レーンや他車両等を抽出し、車両の走行環境を
認識する技術が、従来から用いられていた。
【0005】この種のTVカメラには、たとえば図2に
示すように、レンズ21と撮像素子としてのCCD(電
荷結合素子)23とが設けられ、レンズ21を通して道
路をCCD23で撮像することにより道路画像を得てい
る。
【0006】このように構成されたTVカメラにより、
例えば図3に示すような、前方にカーブがある道路を撮
像する場合を考える。まず、一定幅の道路からの反射光
がレンズ1に入力され、レンズ21を通してCCD23
の撮像面に投影される。この投影像は図4に示すよう
に、自車両に近い道路面ほど道路幅方向(x方向)が広
くなり、自車両から遠い道路面ほど道路幅方向が狭くな
る。
【0007】撮像面に投影された投影像は、撮像素子を
構成する正方形格子状に配列された画素で撮像されるた
め、投影像は自車両の近くほど多くの画素で撮像される
が、逆に自車両から遠くになるほど少ない画素で撮像さ
れることになる。この画素数は画像の分解能を表すた
め、撮像された道路画像は、自車両の近くで分解能が高
くなり、自車両から遠いほど分解能は低下するという問
題がある。
【0008】これを解決するため、特開平6ー0887
27号公報では、図5に示すように撮像素子を、自車両
の近傍の道路を撮像するための画素を粗に配列し、自車
両から道路が遠ざかるに従って道路を撮像するための画
素を密に配列するようにしている。これによれば、自車
両からの遠近によらず道路幅を均一の分解能で撮像する
ことができるが、特殊な撮像素子を作る必要がある。
【0009】また、道路画像を高速に画像処理装置に入
力する必要もある。従来のTVカメラは図6に示すよう
に、撮像した画像を入力する場合、撮像素子を構成する
画素を左から右に走査しながら画像を読み出し、更にこ
れを上から下に走査して画像を読み出す。従って、図6
に示す道路画像を撮像素子から読み出す場合を考える
と、道路は画面の下側にあるため上側の走査は無駄にな
る。
【0010】そのため、特開平9ー69162号公報に
開示された従来技術では、図7に示すように、天地逆向
きに撮像素子を設置することにより、撮像素子の走査方
向と道路の検出処理の走査方向を一致させて撮像素子の
走査と同時に検出処理を行わせている。この従来技術に
よれば、道路画像の撮像と同時に道路の検出処理を実行
できるため処理時間の高速化が期待できる。
【0011】しかし、前述したように通常のTVカメラ
で撮像された道路画像は、自車両の近くで分解能が高く
なり、自車両から遠いほど分解能は低下するという問題
がある。
【0012】これを避けるには、インターレースと呼ば
れる撮像方法を用いることができる。これは、TVの標
準方式として確立している技術で、図6に示すように2
回の画像走査で1つの画像を作成するもので、1回目の
走査では撮像面に投影された画像の偶数ライン上の画素
から読み出し、2回目の走査では奇数ライン上の画素か
ら読み出す。そして、偶数ラインの画像と奇数ラインの
画像を合成して1枚の画像を作成する。このようにする
ことで、偶数ラインあるいは奇数ラインの画像に比べて
縦方向の分解能をあげることができ、従って、道路の奥
行き方向の分解能を向上することができる。
【0013】しかし、偶数ラインあるいは奇数ラインの
みの画像に比べて、画像を2回読み出す必要があるた
め、画像撮像時間が長くかかるという問題がある。
【0014】また、画像の入力と同時に道路の検出処理
をすることができないという問題もある。
【0015】
【発明が解決しようとする課題】以上説明したように上
記従来技術では、自車両の走行に関係する画像情報から
走行レーンや他車両などを抽出するのに必要な画像の分
解能の向上と画像の入力時間の短縮化を両立させる点に
ついて配慮がされていない。特に、道路の奥行き方向の
分解能を向上させる点については考慮されていなかっ
た。
【0016】すなわち、画像情報による走行環境の認識
には、撮像装置で撮像した画像情報の中から認識すべき
対象を探索して切り出す必要があるが、従来技術では、
特殊な構造をした撮像素子からなる撮像装置が必要であ
る。また、他の従来技術では、画像情報の奥行き分解能
をあげることと画像情報の入力の高速化とを両立するこ
とはできない。
【0017】本発明の目的は、標準的に用いられるTV
カメラを利用して、画像情報の奥行き分解能をあげなが
ら、画像情報の入力を高速化できるようにした走行環境
認識装置、および、該走行環境認識装置を備えるクルー
ズコントロール装置を提供することにある。
【0018】
【課題を解決するための手段】上記目的を達成するため
に本発明は、自車両の走行方向に撮像視野を設定した撮
像装置と、前記撮像装置で撮像した画像情報により走行
環境の認識を行う画像処理装置と、前記撮像装置で撮像
した画像情報または前記画像処理装置の認識結果を表示
する表示装置とを備えた走行環境認識装置、および該走
行環境認識装置を備えるクルーズコントロール装置にお
いて、前記撮像装置は、長方形状の受光面を備える撮像
素子を備え、該受光面の長手方向が当該自車両の走行方
向に直交しかつ水平方向に対してゼロを含まない予め定
めた角度となるように配置する。例えば、従来の撮像素
子の受光面を反時計回りに90度回転した場合の位置と
なるように配置した撮像装置により画像を取得する。
【0019】
【発明の実施の形態】以下、本発明による走行環境認識
装置について、図示の一実施形態により詳細に説明す
る。
【0020】本実施形態による走行環境認識装置は、図
1に示すように、画像処理装置1と、撮像装置2と、表
示装置3とから構成される。ここで、21、22は撮像
装置2の撮像素子、レンズであり、23は画像処理装置
1での処理結果などを出力するための通信線である。こ
れらの各装置は、例えば図8に示すように、車両100
に設置されて用いられる。以下、この車両100を自車
両100と記す。図8において、自車両100は例えば
自動車である。図8(a)は自車両100の側面から見
た状態で、図8(b)は自車両100を上面から見た状
態である。
【0021】画像処理装置1は、画像処理プロセッサを
備えると共に、本発明を適用した画像処理プログラムを
搭載していて、撮像装置2から画像信号の供給をうけ、
後述する各種の画像信号処理を実行する。
【0022】撮像装置2は、自車両100が進行する場
合の走行方向の所定範囲を視野とする画像信号を画像処
理装置1に供給する働きをする。
【0023】表示装置3は、カラー液晶表示素子などの
画像モニタで構成され、画像処理装置1から供給される
画像情報をカラー画像として表示させたり、各種画像処
理結果を表示して、ドライバーに告知する働きをする。
【0024】次に、これら図1、図8に示した本実施形
態による走行環境認識装置を用い、走行する車両の周囲
環境を認識する方法について、以下に説明する。
【0025】まず、本実施形態では、例えば図3に示す
ように、前方に右カーブがある高速道路上を走行してい
る場合を例に挙げて説明する。ここでは、走行レーンは
路面に描かれている白線で規定されているものとする
が、他の色や形状の線によって規定されている場合も本
実施形態と同様に本発明を適用することができる。
【0026】図3の状況において、標準的に用いられて
いるTVカメラを自車両100に登載して撮影すると、
図9に示すような画像が得られる。つまり、撮像素子2
1を構成する画素21-1〜21-nを左から右へ走査
し、かつ上から下へ走査することにより画像を得てい
る。
【0027】ところで、走査線22-1〜22-nの間隔
は一定であるため、自車両から遠方方向の画像の分解能
は、自車両に近いところに比べて低下することになる。
特に、自車両の走行する道路の前方にカーブがあるかど
うか、カーブがある場合はその曲率半径はどのくらいか
を認識することは、自車両の走行にとって重要な情報で
あるが、カーブの曲率半径を求めるような場合は、道路
の奥行き方向の分解能をあげる必要がある。
【0028】つまり、道路前方のカーブの曲率を計算す
る場合、図9に示す走行レーン上のa点、b点のx、y座標
を使って計算することになるが、計算誤差を少なくする
ためにはa点、b点の他に更に座標点が必要となる。つま
り、これが道路の奥行き方向の分解能をあげる必要性の
ある例である。
【0029】しかして、これが、本実施形態によれば、
撮像素子をレンズの光軸の回りに90度回転することに
より簡単に解決できる。標準のTVカメラに用いられて
いる撮像素子21は、図9に示すように、画面の水平方
向(以下ではx方向と呼ぶ)と垂直方向(以下ではy方向
と呼ぶ)の長さの比率が4:3に規定されており、この
比率に応じてx方向、y方向の画素の数も規定されること
になる。つまり、y方向よりx方向の方が画像の分解能が
高いことになる。
【0030】本発明はこれを利用したもので、図10に
示すように、例えば従来の撮像素子をレンズの光軸の回
りに反時計方向に90度回転した場合に得られる位置に
配置する。
【0031】このような構成によれば、図11に示すよ
うに、x方向に並んだ画素で道路の奥行き方向を、y方向
に並んだ画素で道路の幅方向を撮像することができるた
め、カーブの曲率半径を計算する場合に用いる座標点数
をa点、b点、c点、d点等と増やすことができ、計算誤差
を低減できる。さらに、画面下端から上方向へ向けて走
査を行うため、走査の前半から道路を検出することがで
きるという効果もある。
【0032】なお、本実施形態では、元々は水平方向と
垂直方向との比率が4:3の受光面を備える撮像素子の
受光面を90度回転して利用する場合を例に挙げて説明
しているが、本発明はこれに限定されるものではない。
例えば、撮像素子の受光面の形状は、水平/垂直比率が
4:3以外でも水平方向が長い横長であれば他の比率を
持つものでもよい。また、回転する角度も必ずしも90
度である必要はなく、回転させた後に結果として垂直方
向の分解能が向上するのであれば、他の回転角度を用い
てもよい。
【0033】次に、上記図11のように撮像された道路
画像より走行環境を認識する画像処理装置1の詳細構成
の一例を図12に示す。
【0034】本実施形態において画像処理装置1は、画
像処理プロセッサ11と、画像メモリ12、画像回転手
段13と、アナログ-デジタル変換器(以下A/D変換器と
呼ぶ)14と、デジタル-アナログ変換器(以下D/A変換
器と呼ぶ)15とを備えて構成される。
【0035】撮像装置2から供給される画像信号は、A/
D変換器14でデジタル画像信号に変換され、画像処理
プロセッサ11と画像メモリ12に供給される。
【0036】画像処理プロセッサ11は、A/D変換器1
4あるいは画像メモリ12から供給されるデジタル画像
信号を、画像処理プロセッサ11内に記録された画像処
理プログラムに従って画像処理を実施し、走行レーン、
前方車両、静止物、信号機、横断歩道等の走行環境を認
識する。画像処理プロセッサ11で処理された画像情報
は、画像メモリ12あるいはD/A変換器15に供給され
る。
【0037】画像回転手段13は、画像処理プロセッサ
11により動作が制御されるもので、A/D変換器14か
らあるいは画像処理プロセッサ11から供給される画像
信号を画像メモリ12に記録する際のメモリアドレスを
発生する。
【0038】画像処理装置1を用いて、走行レーンを認
識するには、例えば下記のように行えばよい。本実施形
態では、走行レーンの認識に、路面に描かれている白線
を利用する。この処理の様子を図13に、フローチャー
トを図14に示す。
【0039】まず、本発明を適用した撮像装置2から画
像情報を入力し(ステップ200)、その画像情報に対
してy方向の明るさの変化を強調するため微分処理を行
う(ステップ201)。そして、図13に示すように、
領域111を決定し(ステップ202)、領域111内
で白線の初期モデルを作成し(ステップ203〜20
5)、次いで、実際の白線の画像に適合するように、前
記作成した初期モデルを変形させる(ステップ206〜
209)のである。
【0040】ステップ202の領域111は、例えば次
のようにして決定する。
【0041】領域111のy軸方向の長さは、画面左端
での走行レーン幅の半分程度となるy軸位置までとす
る。また、領域111のx軸方向の長さを画面左端から
自車両前方の所定距離までとする。例えば、自車両の前
方に車両がいるような場合、この車両が画像処理あるい
は他の手段で認識できる場合には、領域111のx軸方
向の長さを前方車両までとすればよい。
【0042】なお、前方車両や静止物体は、周知の技
術、例えばミリ波レーダにより得られた相対速度や距離
等の情報を用いて認識することができる。
【0043】次に、白線の初期モデルを作成する(ステ
ップ203〜205)。最初に、図13の画像全体に対
して画像のy方向の明るさの変化を強調するため垂直微
分処理を行う。領域111に、y軸に平行な複数の線分
121-1〜121-nを設定し、これらの線分に沿って
順次画素の輝度レベルを調べ、最初に到達した所定輝度
レベル以上の輝度を持つ画素位置を第1の白線のエッジ
とし、次に到達した所定輝度レベル以上の輝度を持つ画
素位置を第2の白線のエッジとする(ステップ20
3)。
【0044】次いで、これら第1と第2の白線のエッジ
位置に基づいて、直線近似により白線の初期モデルを2
本作成し(ステップ204)、これら2本の直線の延長
線が交差する点を、道路の消失点の初期位置とする(ス
テップ205)。
【0045】しかしながら、このように作成した初期モ
デルは、領域111内に限定されており、かつ線分12
1-1〜121-nのように代表線で検出した白線エッジ
を用いているだけであるため、領域111内の白線を高
精度に求めている訳ではない。さらに、領域111の外
の白線がどのように変化しているかはわからない。
【0046】そこで本実施形態では、実際の画像の白線
上に合うように、初期モデルを変形させる白線適合処理
を実行する(ステップ206〜209)。
【0047】具体的には、図13に示すように、領域1
11と初期モデルの直線が交差する点Aを含むように、
所定サイズの白線追跡領域131-1を設定する(ステ
ップ206)。
【0048】そして、この白線追跡領域131-1内の
白線の傾きに適合するように白線の初期モデルを変化さ
せる。このときの傾きの適合方法としては、例えば白線
追跡領域131-1内に白線の初期モデルを作成したと
きと同様な複数の線分を設定し、それらの線分に沿って
白線のエッジ位置を求め、このエッジ位置から傾きを求
めればよい(ステップ208)。
【0049】次に、この白線追跡領域131-1内で求
めた傾きを用いて、白線の初期モデルを再作成する。こ
の傾きで点Aから直線を引いて、消失点の初期位置のx座
標と交差する点を、再作成した白線モデルの消失点1と
する。そして、この再度作成したモデルに沿って白線追
跡モデル113を消失点の方向に向かって移動させる
(ステップ209)。そこを新たな白線追跡領域131
-2とする。
【0050】この操作を、以下、白線追跡モデル131
-i内に消失点の初期位置のx座標が含まれるようになる
まで繰返す(ステップ207)。図13の例では、白線
追跡領域131-4で消失点の初期位置のx座標が含まれ
るため、ここで、白線追跡の処理が終了することにな
る。
【0051】本実施形態では、さらに、このようにして
認識した白線の形状を表すモデルを図1の通信線23を
介して、後述するようなクルーズコントロール装置へ出
力する。このような構成によれば、走行環境に関する情
報を供給することができ、より信頼性の高いクルーズコ
ントロールが可能となる。
【0052】本実施形態の走行環境認識装置において、
撮像装置2で撮像した画像をそのまま表示装置3に表示
すると、図13に示すように、ドライバーが運転席から
前方を見る風景とは異なって見えることになる。従っ
て、これはドライバーに違和感を与えることになり、安
全運転の支障になる可能性がある。
【0053】そこで、画像処理装置1には、撮像装置2
で撮像した画像あるいは画像処理プロセッサ11で処理
した画像を所定角度回転して画像メモリ12に記録した
り、画像メモリ12に記録した画像を所定角度回転して
読み出すことができるようにする画像回転手段13を設
けている。
【0054】画像回転手段13は、画像メモリ12のメ
モリアドレスを発生するもので、このメモリアドレスに
よって画像が記録される場所や画像の読み出し場所を変
えることができるため、画像を回転することができるの
である。画像の回転角度は、画像処理プロセッサ11に
よって制御される。
【0055】例えば、撮像装置2からは図13に示す道
路画像が供給されるが、これを反時計方向に90度回転
して、画像メモリ12に記録し、次に、記録した画像を
回転せずに読み出して、画像処理プロセッサ11を介し
てD/A変換器15に供給する。そして、D/A変換器15で
アナログ画像信号に変換して、表示装置3に供給する。
【0056】このようにすれば、表示装置3では、図4
に示すように、ドライバーが見ている道路画像と同一と
なり、違和感なく運転することができる。
【0057】また、図14に示した走行レーンの認識等
の画像処理を行う前に画像回転手段13によって画像を
回転する構成としてもよい。
【0058】以上説明したように本実施形態によれば、
道路画像の奥行き方向の分解能をあげながら、高速に画
像を入力することができ、認識処理の応答性を向上する
ことができる。また、他の効果として、自車両の近くの
道路画像から入力されるので、走行レーンの認識処理を
高速化できる。
【0059】上述した実施形態の走行環境認識装置を用
いて、例えば自車両の前方車両との車間距離を一定に走
行する車間距離一定クルーズコントロールシステムと組
合せることで、車間距離制御の高度化を図ることができ
る。以下に、本発明によるクルーズコントロールシステ
ムの一実施形態について説明する。
【0060】文献(Herman Winner, Stefan Witte, Wer
ner Uhler, Brend Lichetenberg: Adaptive Cruise Con
trol System Aspects and Development Trends, SAE961
010,1996)によれぱ、車間距離一定クルーズコントロー
ルシステムは、例えば図15に示すように構成される。
図15で、300はレーダ、301は車間距離一定クル
ーズコントロール制御装置、302はエンジン制御装
置、303はドライバーが操作を行うためのインターフ
エース装置、304は変速制御装置、305はブレーキ
制御装置、23は上記実施形態で説明した画像処理装置
1と各装置とを結ぶ通信ネットワークである。
【0061】本実施形態のシステムにおいて、車間距離
制御処理は次のように行われる。すなわち、レーダ30
0で前方車両までの距離、相対速度を計測すると、車間
距離一定クルーズコントロール制御装置301は、前記
計測された相対速度より前方車両が減速していると判定
した場合、通信ネットワーク23を介してエンジン制御
装置302にエンジン回転数を減速方向に制御するよう
に指令すると共に変速機制御装置304に変速比の指令
を出す。
【0062】また、前方車両の減速が大きくてエンジン
制御や変速制御のみだけでは自車両の減速が小さいと判
断した場合は、通信ネットワーク23を介してブレーキ
制御装置305にプレーキ指令をだす。
【0063】一方、車間距離一定クルーズコントロール
制御装置301が前方車両は加速をしていると判定した
場合は、ドライバーがインターフエース装置303を介
して設定した車間距離とレーダ300で計測した車間距
離が一致するまで通信ネットワーク23を介してエンジ
ン制御装置3O2及び変速制御装置304に加速指令を
だす。
【0064】以上のような構成によれば、前方車両に関
する情報のみに着目しているため、前方道路がカーブし
ている場合に前方車両を見失うと高速でカーブに進入し
てしまい危険な状態が発生することがある。
【0065】これに対して本発明によれば、前方の道路
形状(カーブの有無、カーブ半径等)を高速かつ高精度
に認識することができ、その認識結果を示す情報を通信
線23より出力できる。
【0066】そこで、例えば上記実施形態で説明した車
載画像処理装置1を通信ネットワーク23に接続し、認
識した白線の形状(モデル)を車間距離一定クルーズコ
ントロール制御装置301に通信ネットワーク23を介
して伝送する。
【0067】本実施形態による車間距離一定クルーズコ
ントロール制御装置301は、伝送されてきた白線の形
状から進行方向に存在するカーブの有無、カーブ曲率半
径に関する情報を受け入れ、該カーブに関する情報に基
づいて、該カーブを安全に走行できる速度の上限を所定
のアルゴリズムによって計算する機能を備えるように構
成する。さらに、車間距離一定クルーズコントロール制
御装置301は、前記計算された速度の上限以上に加速
指令を出すことを制限したり、ブレーキ制御装置305
に減速指令を出してあらかじめ減速しておくように、各
装置の動作を制御する。
【0068】このように、本発明による走行環境認識装
置と車間距離一定クルーズコントロールシステムとを組
合せることで、車間距離制御の高度化を図ることがで
き、より安全運転支援が実現できる。
【0069】なお、本実施形態では車間距離一定クルー
ズコントロールシステムに道路形状を認識する走行環境
認識装置を用いた例を挙げたが、本発明において走行環
境認識装置が認識するものはこれに限定されるものでは
なく、他の走行環境について認識する場合でも、本実施
形態と同様な効果を奏することができる。
【0070】
【発明の効果】本発明によれば、標準的に用いられるT
Vカメラを利用して、画像情報の奥行き分解能をあげな
がら、画像情報の入力を高速化できるようにした走行環
境認識装置、および該装置を備えるクルーズコントロー
ル装置を提供することができる。
【0071】さらに、本発明によれば、応答性良く自車
両の走行に関する周囲状況を認識することができ、この
結果、安全性の向上と自動車の自動運転化をさらに進め
ることができる。
【図面の簡単な説明】
【図1】本発明による走行環境認識装置の一実施形態の
構成例を示すブロック図。
【図2】従来のTVカメラによる画像撮像装置のブロッ
ク図。
【図3】本発明による走行環境認識装置が撮像する車両
の高速道路走路における位置の一例を示す説明図。
【図4】従来のTVカメラで撮像した道路画像の例を示
す説明図。
【図5】撮像素子を改良した従来例を示す説明図。
【図6】従来のTVカメラによる画像入力の例を示す説
明図。
【図7】天地を逆転した撮像装置による画像入力の例を
示す説明図。
【図8】図8(a):図1の走行環境認識装置の設置構
成を示す側面図。 図8(b):図1の走行環境認識装置の設置構成を示す
上面図。
【図9】従来から用いられている撮像装置で撮像した道
路画像の一例を示す説明図。
【図10】本発明による撮像装置内の撮像素子の設置例
を示す説明図。
【図11】本発明による撮像装置で撮像した道路画像の
一例を示す説明図。
【図12】本発明の画像処理装置の構成例を示すブロッ
ク図。
【図13】本発明の一実施形態による白線認識推定及び
白線追跡処理手順の一例を示す説明図。
【図14】本発明による白線認識処理手順の一例を示す
フローチャート。
【図15】本発明による車間距離一定クルーズコントロ
ール装置の構成例を示すブロック図。
【符号の説明】
1…画像処理装置、2…撮像装置、3…表示装置、10
0…自車両、21…撮像素子、22…レンズ、11…画
像処理プロセッサ、12…画像メモリ、13…画像回転
手段、14…A/D変換器、15…D/A変換器、21-1〜
21-n…画素、22-1〜22-n…走査線、111…
白線認識領域、131…白線追跡領域、121-1〜1
21-n…白線を検知するための代表線。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 遠藤 芳則 茨城県日立市大みか町七丁目1番1号 株 式会社日立製作所日立研究所内 (72)発明者 森實 裕人 茨城県日立市大みか町七丁目1番1号 株 式会社日立製作所日立研究所内 (72)発明者 吉川 徳治 茨城県日立市大みか町七丁目1番1号 株 式会社日立製作所日立研究所内 (72)発明者 中村 満 茨城県ひたちなか市大字高場2520番地 株 式会社日立製作所自動車機器事業部内

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】自車両の走行方向に撮像視野を設定した撮
    像装置と、前記撮像装置で撮像した画像情報により走行
    環境の認識を行う画像処理装置と、前記撮像装置で撮像
    した画像情報または前記画像処理装置の認識結果を表示
    する表示装置とを備えた走行環境認識装置において、 前記撮像装置は、長方形状の受光面を備える撮像素子を
    備え、該受光面の長手方向が当該自車両の走行方向に直
    交しかつ水平方向に対してゼロを含まない予め定めた角
    度となるように配置されていることを特徴とする走行環
    境認識装置。
  2. 【請求項2】前記撮像装置の受光面の長手方向と水平方
    向とがなす予め定めた角度が、実質的に90度であるこ
    とを特徴とする請求項1に記載の走行環境認識装置。
  3. 【請求項3】前記画像処理装置は、前記撮像装置で撮像
    した画像情報を回転する画像回転手段を備え、該画像回
    転手段で回転した画像情報について走行環境の認識処理
    を実施することを特徴とする請求項1あるいは2に記載
    の走行環境認識装置。
  4. 【請求項4】前記画像処理装置は、前記認識すべき走行
    環境として少なくとも走行レーンを定義している車線を
    認識する車線認識手段をさらに備え、 前記車線認識手段は、前記画像情報による画像に含まれ
    ている道路面を横切る方向に線分を設定し、該線分に沿
    って画素の輝度変化を調べることにより、道路面上に描
    かれている車線のエッジを検出し、該検出したエッジの
    位置座標から車線の形状モデルを作成することを特徴と
    する請求請1〜3のいずれかに記載の走行環境認識装
    置。
  5. 【請求項5】前記画像処理装置は、前記撮像装置で撮像
    した画像情報を前記表示装置に表示する場合、運転者が
    認識している走行環境の天地方向と一致するように前記
    画像回転手段で前記撮像した画像情報を回転したのち、
    該回転した画像情報を前記表示装置へ供給することを特
    徴とする請求項3あるいは4に記載の走行環境認識装
    置。
  6. 【請求項6】前記画像処理装置は、前記車線認識手段に
    より認識された車線の傾きを適合させる車線適合手段を
    さらに備え、 前記車線適合手段は、前記作成した車線のモデル形状の
    一部分を含むように車線追跡領域を設定する第1の工程
    と、該設定した車線追跡領域内の車線のエッジの傾きに
    適合するように前記モデル形状を修正する第2の工程と
    を備え、前記第1および第2の工程を繰り返すことで、
    前記車線追跡領域を前記補正された車線のモデル形状に
    沿って自車両近傍から遠方へ向かって移動させることを
    特徴とする請求項4に記載の走行環境認識装置。
  7. 【請求項7】自車両前方の車両が占有する車両領域を検
    出する前方車両検出手段をさらに備え、 前記画像処理装置の車線認識手段は、前記車線のモデル
    形状を作成する際の前記線分を設定すべき範囲を限定す
    るための線分設定領域を設定するものであり、 前記線分設定領域は前記車両領域より自車両側の領域内
    に設定されることを特徴とする請求項4に記載の走行環
    境認識装置。
  8. 【請求項8】走行環境を認識する走行環境認識装置と、
    自車両の前方車両までの車間距離を所定の距離に保って
    走行制御する走行制御装置とを備える車間距離一定クル
    ーズコントロール装置において、 前記走行環境認識装置は、請求項4記載の走行環境認識
    装置であって、前記認識した走行レーンの車線のモデル
    形状に係わる情報を前記走行制御装置へ出力するもので
    あり、 前記走行制御装置は、前記車線のモデル形状に係わる情
    報を利用して車間距離を制御することを特徴とする車間
    距離一定クルーズコントロール装置。
JP4477298A 1998-02-26 1998-02-26 走行環境認識装置 Pending JPH11242735A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4477298A JPH11242735A (ja) 1998-02-26 1998-02-26 走行環境認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4477298A JPH11242735A (ja) 1998-02-26 1998-02-26 走行環境認識装置

Publications (1)

Publication Number Publication Date
JPH11242735A true JPH11242735A (ja) 1999-09-07

Family

ID=12700714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4477298A Pending JPH11242735A (ja) 1998-02-26 1998-02-26 走行環境認識装置

Country Status (1)

Country Link
JP (1) JPH11242735A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10473456B2 (en) 2017-01-25 2019-11-12 Panasonic Intellectual Property Management Co., Ltd. Driving control system and driving control method
WO2020039852A1 (ja) * 2018-08-23 2020-02-27 ヤマハ発動機株式会社 リーンビークル用障害物検知装置
US11388349B2 (en) 2015-07-10 2022-07-12 Panasonic Intellectual Property Management Co., Ltd. Imaging device that generates multiple-exposure image data

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11388349B2 (en) 2015-07-10 2022-07-12 Panasonic Intellectual Property Management Co., Ltd. Imaging device that generates multiple-exposure image data
US11722784B2 (en) 2015-07-10 2023-08-08 Panasonic Intellectual Property Management Co., Ltd. Imaging device that generates multiple-exposure image data
US10473456B2 (en) 2017-01-25 2019-11-12 Panasonic Intellectual Property Management Co., Ltd. Driving control system and driving control method
US11333489B2 (en) 2017-01-25 2022-05-17 Panasonic Intellectual Property Management Co., Ltd. Driving control system and driving control method
WO2020039852A1 (ja) * 2018-08-23 2020-02-27 ヤマハ発動機株式会社 リーンビークル用障害物検知装置

Similar Documents

Publication Publication Date Title
US11951834B2 (en) Information provision device, information provision method, and recording medium storing information provision program for a vehicle display
JP6257989B2 (ja) 運転支援装置
EP3093194B1 (en) Information provision device
JP3125550B2 (ja) 移動車の前方認識装置ならびに車輌用走行制御装置
JP5172314B2 (ja) ステレオカメラ装置
JP3123303B2 (ja) 車両用画像処理装置
US20050125121A1 (en) Vehicle driving assisting apparatus
US8477191B2 (en) On-vehicle image pickup apparatus
CN110786004B (zh) 显示控制装置、显示控制方法及存储介质
JP6443716B2 (ja) 画像表示装置、画像表示方法及び画像表示制御プログラム
JP2012527681A (ja) 車両周辺映像を用いた車線離脱感知方法および装置
JP6743882B2 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法及びプログラム
JP6748947B2 (ja) 画像表示装置、移動体、画像表示方法及びプログラム
JP2019147546A (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
EP3776063A1 (en) Control device, display device, display system, moving body, control method, and recording medium
JP2005038225A (ja) 車線追従装置
JP3988551B2 (ja) 車両周囲監視装置
JP2017129543A (ja) ステレオカメラ装置及び車両
CN112082569A (zh) 信息显示装置、控制方法及存储介质
JPH11242735A (ja) 走行環境認識装置
JPH1153551A (ja) ライン検出装置
JP7037764B2 (ja) 移動ルート案内装置、移動体、移動ルート案内方法及びプログラム
JPH1038561A (ja) 前方車間距離計測装置
WO2019189264A1 (en) Control device, display device, display system, moving body, control method, and recording medium
JPH07105481A (ja) 車両用画像認識装置