JP4084857B2

JP4084857B2 - 自動車の前方監視システムにおけるイメージセンサの縦横比設定方法

Info

Publication number: JP4084857B2
Application number: JP22964296A
Authority: JP
Inventors: 千秋青山
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1996-08-30
Filing date: 1996-08-30
Publication date: 2008-04-30
Anticipated expiration: 2016-08-30
Also published as: US6037975A; JPH1075398A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両の前方を監視するためのイメージセンサに関し、さらには、自動車の自動運転システムにおいて有効に用いることができる車両前方監視用イメージセンサに関するとともに、このイメージセンサにおける適切な縦横比を求める車両前方監視用イメージセンサの受光部の縦横比設定方法に関するものである。
【０００２】
【従来の技術】
自動車の自動運転システムにおいては、車両前方の障害物を検出して車両の制動制御を行ったり、道路上の白線を検出して操舵制御を行ったりするとともに、前走車両の検出を行ってこの前走車両に追従していくような作動制御を行ったりする。これらの制御を行うための障害物等の検出は、車両の前方をイメージセンサによって撮影し、撮影した画像データを処理装置で処理することによってなされる。イメージセンサとしては、ＮＴＳＣ方式のカメラ（いわゆる普通のカラービデオカメラ）が多く用いられているが、このようなカメラにおいては、撮影画面の縦横比（アスペクトレシオ）が３：４に設定されている。
【０００３】
【発明が解決しようとする課題】
ここで、道路のカーブ等を考慮すると、自動車の前方監視用としては必要横画角（横方向視野角）が２０°〜１００°程度必要となる。このため、ＮＴＳＣ方式のカメラによってこの画角をカバーしようとすると、空の映像等、自動運転システムにおける制御に不必要な上下方向の映像が多く撮影されてしまい、撮影された画像データの処理を行う場合に不必要な処理エリアが増えるという問題があった。
【０００４】
ビデオカメラとしては、ハイビジョン用のカメラもあり、このようなカメラにおいては、撮影画面のアスペクトレシオは９：１６に設定されている。従って、自動運転システム用のイメージセンサとしてハイビジョン用のカメラを用いれば上下方向の不必要な部分の撮影範囲を減少させることができるが、道路の曲がり等によっては、それでも多くの不必要な部分が撮影されてしまう。また、ハイビジョン用のカメラは、ＮＴＳＣ方式のカメラに比べて解像度の高い撮像素子（受光部）を有しているため、撮影した映像の詳細なデータを得ることができるが、高価であるという問題もあった。
【０００５】
なお、特開平５−２１９４４号公報や特開平６−２０５２９８号公報には、必要に応じてアスペクトレシオを変更することができる撮像装置（イメージセンサ）が開示されている。しかしながら、これらの撮像装置においては、いずれも３：４のアスペクトレシオと、９：１６のアスペクトレシオとの切り替えを行うことを前提としているため、水平方向の寸法が長い（広アスペクトレシオの）画像を得ることはできない。ここで、上記の各公報に開示されている技術と同様の技術を用いて既存の撮影装置の上下の部分をカットして広アスペクトレシオのイメージセンサを得るようにするということも考えられるが、このようにすると不必要にイメージセンサが大型化するとともに高価になるという問題が生じる。
【０００６】
また、上記のような自動運転システム用のカメラにおいては、走行している道路に急カーブが存在する可能性がある場合には必要横画角（左右方向の撮影範囲）を大きく取る必要がある等、自動走行制御を行うために適切な撮影範囲は変化する。このため、安全且つ確実な自動走行制御を行うためには、道路状況等に応じた受光部の縦横比を設定する必要があった。
【０００７】
本発明は、このような問題に鑑みてなされたものであり、上下の不必要な部分を撮影することなく、自動車の前方監視に適した部分のみの撮影を行うことができる小型で縦横比の大きい横長の車両前方監視用イメージセンサを提供するとともに、このような車両前方監視用イメージセンサにおける受光部の最適な縦横比を得るための縦横比設定方法を提供することを目的としている。
【００１１】
【課題を解決するための手段】
上記目的を達成するため、本発明に係るイメージセンサの縦横比を設定する方法は、自動車と、前記自動車の車内に取り付けられて前記自動車が走行する道路の前方を撮影するイメージセンサを有したカメラと、前記イメージセンサにより撮像された画像のデータ処理を行う画像処理装置とを備えて構成される自動車の前方監視システムにおいて、前記イメージセンサの縦横比を設定する方法であって、前記道路の設計速度から車両の停止距離を算出するステップと、前記道路の設計速度に基づいて定められる前記道路の曲率最小半径、前記車両が走行する車線を含めた撮影車線数とその道路の設計速度に対応して定められた幅員から必要横画角を算出するステップと、前記停止距離と設計速度から定められた縦断勾配から必要縦画角を算出するステップと、前記必要横画角と前記必要縦画角に基づいて、前記イメージセンサの受光部の縦横比を１：１．８〜１：３．１の範囲内に設定するステップとから構成される。
【００１２】
【発明の実施の形態】
以下、図面を参照しながら本発明の好ましい実施の形態である車両前方監視用イメージセンサを、自動車の自動運転システムにおけるカメラとして用いた場合について説明する。自動運転システムによって自動車の自動運転制御を行う場合には、前記のように車両の前方を撮影する必要がある。このため、図４に示すように、自動運転を行う自動車（自車）１０の運転キャビンの天井部に車両前方の撮影が可能にカメラＣを固定する。なお、このカメラＣは、受光部としてＭＯＳ形の撮像デバイスを有して構成されている。
【００１３】
このカメラＣによって撮影された映像は、自車１０に設けられた画像処理装置（図示せず）によって処理され、この処理データに基づいて操舵装置や制動装置等の作動制御を行うことにより、自車１０の自動走行制御を行う。このような自動走行制御を安全に行うためには、撮影された画像データの処理を迅速に行う必要がある。このため、カメラＣにおいては受光部を横長に形成することにより、空の映像等の自動走行制御に不必要な部分は撮影しないようにし、自動走行制御を行うための撮影画像データの処理速度を上げるようにしている。
【００１４】
ここで、自動運転制御に必要な車両前方の撮影範囲（必要横画角θ_Hおよび必要縦画角θ_V）は、自車１０の走行速度や走行している道路のカーブや傾斜等の状態によって異なる。すなわち、自車１０の走行時において前方に障害物がある場合、カメラＣによって障害物を認識してから自車１０の制動を行ったときに障害物に接触することなく停止できるようにしなければならない。このため、自車１０が走行している道路が平坦な一車線の直線道路である場合には、障害物は自車１０の前方に位置することとなり、撮影する範囲は狭くてもよい。
【００１５】
しかしながら、カーブしている道路の先に障害物があるときは、横方向を広く撮影する必要があり、前方が上り坂である場合には、ある程度上方も撮影しなければならない。さらに、自車１０の走行速度が速い場合には、停止距離が長くなるためより遠方の障害物を検出することができるように、撮影範囲を広くしなければならない。
【００１６】
従って、自動運転システムにおいて必要な撮影範囲は、走行している道路の曲率最小半径Ｒ、縦断勾配Ｓおよび、走行している自車１０の停止距離Ｄによって定まる。ここで、曲率最小半径Ｒおよび縦断勾配Ｓは、道路構造令によって道路の設計速度に対応して定められている。
【００１７】
まず、停止距離Ｄ（ｍ）の算出方法について説明する。停止距離Ｄは、空走時間Δｔを１（ｓｅｃ）、減速加速度αを０.５（Ｇ）、減速前の走行速度Ｖ（ｋｍ／ｈ）を、道路の設計速度＋２０（ｋｍ／ｈ）として、以下の式１によって求められる。
【００１８】
【数１】

【００１９】
次に、必要横画角θ_H（°）の算出方法について説明する。必要横画角θ_Hは、図２に示すように道路がカーブしているときに、停止距離Ｄだけ前方に障害物が有った場合、その障害物が自車１０が走行する車線内に有るか否か判断できる角度に等しいとして、道路の曲率最小半径Ｒと自車１０が走行している道路の車線中心までの偏差Ｌ（ｍ）を使って以下の式２より求める。
【００２０】
【数２】

【００２１】
偏差Ｌは道路の車線数と、その道路の設計速度に対応して定められた幅員によって変化する。すなわち、図３（Ａ）に示すように道路が一車線である場合には、偏差Ｌは、自車１０が位置する道路の中心ＣＬから、その道路の内側までの距離、すなわち、幅員をＷとした場合にはＷ／２となる。また、（Ｂ）に示すように自車１０が二車線の道路におけるカーブの外側の車線を走行しているときは、Ｗ／２に内側の車線の幅員Ｗを加えたＷ＋Ｗ／２が偏差Ｌとなる。さらに、（Ｃ）に示すように、三車線の道路の一番外側を走行している場合には、偏差Ｌは、２Ｗ＋Ｗ／２となる。
【００２２】
なお、設計速度が８０ｋｍ／ｈ以上の道路においてはＷ＝３.５ｍ、設計速度が６０ｋｍ／ｈの道路においてはＷ＝３.２５ｍ、設計速度が５０および４０ｋｍ／ｈの道路においてはＷ＝３ｍ、設計速度が２０ｋｍ／ｈの道路においてはＷ＝２.７５ｍとして、上記の必要横画角θ_Hを求める。
【００２３】
次に、図４を参照して必要縦画角θ_Vを求める方法について説明する。まず、カメラＣの中心から上方の縦画角である上方縦画角θ_V ¹の求め方について（Ａ）を参照して説明する。上方縦画角θ_V ¹は、道路構造令で定められた縦断勾配Ｓ（％）の坂Ｋが自車１０の直前から始まっているものとして、停止距離Ｄ（ｍ）だけ前方の位置において、地面ＧからカメラＣまでの高さである１.２ｍ上方の点を見ることができる角度であり、以下の式３によって求められる。
【００２４】
【数３】

【００２５】
また、カメラＣの中心から下方の縦画角である下方縦画角θ_V ²は、カメラＣから５ｍ前方の地面Ｇの点をカメラＣから見ることができる角度であり、以下の式４により求められる。
【００２６】
【数４】

【００２７】
従って、上方縦画角θ_V ¹に下方縦画角θ_V ²を加えることにより、必要縦画角θ_V（°）を求めることができる。
【００２８】
このようにして求めた結果を図１にまとめて表す。図１において最左欄に示すように、道路の設計速度は１２０ｋｍ／ｈから２０ｋｍ／ｈまで８種類に分けられており、曲率最小半径Ｒおよび縦断勾配Ｓも各設計速度に対応して定められている。また、停止距離Ｄも各設計速度に対応して求められている。従って、これらの各数値を上記の式１から式４に当てはめることにより、各々の設計速度等に対応した必要横画角θ_Hおよび必要縦画角θ_Vを求めることができる。なお、必要横画角θ_Hについては、複数の車線がある道路において、何車線隣まで撮影するかによって（撮影車線数に応じて）それぞれ別個に算出される。
【００２９】
なお、図１において「自車線」とは、自車が走行している車線（一車線）の撮影が可能に構成されている場合をいう。また、「一車線隣」とは、自車線と少なくとも左隣の車線あるいは、自車線と少なくとも右隣の車線もしくは、自車線と左右両隣の車線（合わせて三車線分）の撮影が可能に構成されている場合をいう。同様に、「二車線隣」とは、自車線と少なくとも左隣の二車線あるいは、自車線と少なくとも右隣の二車線もしくは、自車線と左右それぞれ二車線（合わせて五車線分）の撮影が可能に構成されている場合をいい、「三車線隣」とは、自車線と少なくとも左隣の三車線あるいは、自車線と少なくとも右隣の三車線もしくは、自車線と左右それぞれ三車線（合わせて七車線分）の撮影が可能に構成されている場合をいう。
【００３０】
このようにして、必要横画角θ_Hおよび必要縦画角θ_Vを求めた後は、図１において最右欄に示すように、求めた各画角θ_H、θ_Vをカバーすることができる縦横比（必要縦画角と必要横画角との比）を撮影車線数に応じて決定する。なお、前記の条件を全て当てはめると、区分Ｖに示すように１：３.５〜最大１：４.６のアスペクトレシオが必要となる場合があるが、これは、設計速度が２０ｋｍ／ｈの生活道路において三車線隣までを撮影するというような条件であり、実効があるとはいえない。そこで、本発明に係るイメージセンサにおいては、実効があるアスペクトレシオとして、１：１.３〜１：３.１の範囲に設定することとした。
【００３１】
ここで、走行している道路の状況や、自車１０の走行速度は逐次変化するため、カメラＣにおけるアスペクトレシオは、走行する環境に応じてＩ〜ＩＶの区分で示すように四種類程度に限定することが好ましい。例えば、区分Ｉに示す１：１.３〜１：１.８のアスペクトレシオは、高速道路を走行するときの撮影範囲に適している。従って、高速道路の走行時に自動運転システムによる自動運転制御を行う場合には、設計速度が高くて撮影車線数が少ない場合に多少上方に不必要な撮影部分を生じることとなるが、受光部のアスペクトレシオを１：１.８に設定する。
【００３２】
また、区分ＩＩに示す１：１.９〜１：２.３のアスペクトレシオは、郊外の一般道路を走行するときの撮影範囲に適している。従って、郊外の一般道路の走行時に自動運転システムによる自動運転制御を行う場合には、受光部のアスペクトレシオを１：２.３に設定する。同様に、区分ＩＩＩに示す１：２.５〜１：２.６のアスペクトレシオは、一般的な街路を走行するときに適しているため、街路の走行時に自動運転システムによる自動運転制御を行う場合には、受光部のアスペクトレシオを１：２.６に設定する。さらに、区分ＩＶに示す１：２.８〜１：３.１のアスペクトレシオは、いわゆる生活道路を走行するときに適しているため、生活道路の走行時に自動運転システムによる自動運転制御を行う場合には、受光部のアスペクトレシオを１：３.１に設定する。
【００３３】
ここで、図５および図６を参照しながら、カメラＣにおける受光部について説明する。図５に示すカメラＣにおいては、表面に複数の受光素子２１ａによって形成された受光部２１を有する半導体チップ２０が配設され、レンズＬＥを介してこの受光部２１に光を受ける。受光部２１は、半導体チップ２０における表面の中央部に形成され、表面における受光部２１の外周には受光部２１（受光素子２１ａ）のための回路部２２が形成されている。
【００３４】
そして、上記の「受光部のアスペクトレシオ」とは、半導体チップ２０の外形のアスペクトレシオではなく、受光部２１のアスペクトレシオをいい、図６においては、受光部のアスペクトレシオが１：１.８の場合を表している。
【００３５】
以上のように、走行する道路の状況に合わせてアスペクトレシオの設定を行ったカメラＣによれば、上方に無駄な撮影部分を生じることがないため、撮影された画像の処理を迅速に行うことができ、より安全に自動運転システムによる自動運転制御を行うことができる。また、受光部の上下寸法を小さく形成することができるため、カメラＣを小型化することができ、運転キャビン内にカメラＣを設置した場合であっても運転者等の邪魔になることがない。
【００３６】
また、上記のように形成されたカメラＣによれば、左右方向を広範囲に撮影することができるため、カメラを左右方向に水平旋回させるための水平旋回機構が不要になり、広範囲を撮影可能なカメラＣを安価に得ることができる。
【００３７】
なお、上記のような自動運転システムにおいては、車両の目前から百数十メートル先までの対象物の撮影を行うことができなければならないため、カメラＣには解像度の高い撮像素子（受光部）を使わなければならない。このような撮像素子は高価であるため、面積が大きくなるとカメラ自体が大変高価なものとなってしまう。従って、上記のように撮影条件に適したアスペクトレシオで受光部を製作することにより、受光部を必要最小限の大きさに設定することができるため、解像度の高い撮像素子を有するカメラを安価に得ることができる。
【００３８】
なお、本発明に係る車両前方監視用イメージセンサは、自動運転システムにおいてのみ用いるものではなく、車両前方の障害物（先行車両）等の検出を行って、運転者に注意を喚起する衝突防止装置等に用いるようにしてももちろんよい。また、受光部の構成は上記のように受光素子としてＭＯＳ形の撮像デバイスを用いた構成に限られるものではなく、ＣＣＤ等の撮像デバイスを用いた他のアレイ型受光素子を有して構成したものや、撮像管を用いた構成のものであってもよい。
【００３９】
【実施例】
次に、図７を参照して本発明の好ましい実施例について説明する。図７には、右にカーブしている片側三車線の高速道路を走行している自車１０の前方の景色を表しており、実線Ｆで囲った部分は、カメラＣの受光部のアスペクトレシオが１：１.８である場合の撮影範囲を表している。１：１.８のアスペクトレシオは、前記のように高速道路における自動運転制御に適した撮影範囲を得ることができるアスペクトレシオであり、自動運転制御は状況変化の少ない高速道路において行うことが好ましい。そこで、本実施例においては、主に高速道路において自動運転システムにおいて前方を監視するための撮影を行うイメージセンサ用にアスペクトレシオを設定した。
【００４０】
図７に表している道路は、設計速度が１００ｋｍ／ｈ、曲率最小半径が３８０ｍの道路（いわゆる高規格道路）である。そして、上記のように構成されたカメラＣによれば、自車の走行している中央の車線の７１ｍ前方に、高さ１.２３ｍ、幅１.７ｍ、長さ４.５ｍの先行車両Ｔがある場合には、斜線部分で示すような大きさで写し出される。従って、このように構成されたカメラＣによれば、道路上方の空等、自動走行制御に不必要な部分の撮影は行わずに、車体の直前からカーブの先までを十分に撮影することができて、遠方の障害物も確実に認識することができる。
【００４１】
【発明の効果】
以上のように、本発明に係る車両前方監視用イメージセンサによれば、受光部の縦横比が１：１.８〜１：３.１の範囲にある横長に形成されているため、車両の前方監視においては不必要な上下の部分をカットして撮影することができ、撮影した画像データの処理を行う場合にその処理を迅速に行うことができる。また、受光部を小型化することができるため、イメージセンサを安価に製作することができるとともに、小型化することもできる。
【００４２】
なお、車両前方監視用イメージセンサとしては、受光部の縦横比を１：１.８に設定することが好ましい。このような縦横比の構成とすることにより、高速道路の走行時に、自動運転システムを用いて自動運転制御を行う場合に適したイメージセンサを得ることができる。
【００４３】
また、本発明に係る車両前方監視用イメージセンサの受光部の縦横比設定方法は、イメージセンサの受光部の縦横比を、道路の設計速度および車両が走行する車線を含めた撮影車線数を条件として１：１.８〜１：３.１の範囲に設定している。これにより、車両の前方監視に適した、すなわち、車両が走行する道路状況に応じた縦横比の受光部を有するイメージセンサを得ることができる。
【図面の簡単な説明】
【図１】道路の設計速度等に対応する縦横比の図表である。
【図２】必要横画角を求めるときの参考図である。
【図３】必要横画角を求めるときの参考図である。
【図４】上側の必要縦画角を求める時の参考図を（Ａ）に示し、下側の必要縦画角を求める時の参考図を（Ｂ）に示している。
【図５】本発明に係るイメージセンサの一例であるカメラＣの概念図である。
【図６】上記カメラに設けられた半導体チップの斜視図である。
【図７】車両前方の景色および１：１.８の縦横比の撮影範囲である。
【符号の説明】
１０自車
２０半導体チップ
２１受光部
Ｃカメラ（イメージセンサ）
Ｆ撮影範囲
Ｔ先行車両

Claims

自動車と、前記自動車の車内に取り付けられて前記自動車が走行する道路の前方を撮影するイメージセンサを有したカメラと、前記イメージセンサにより撮像された画像のデータ処理を行う画像処理装置とを備えて構成される自動車の前方監視システムにおいて、前記イメージセンサの縦横比を設定する方法であって、
前記道路の設計速度から車両の停止距離を算出するステップと、
前記道路の設計速度に基づいて定められる前記道路の曲率最小半径、前記車両が走行する車線を含めた撮影車線数とその道路の設計速度に対応して定められた幅員から必要横画角を算出するステップと、
前記停止距離と設計速度から定められた縦断勾配から必要縦画角を算出するステップと、
前記必要横画角と前記必要縦画角に基づいて、前記イメージセンサの受光部の縦横比を１：１．８〜１：３．１の範囲内に設定するステップとから構成されることを特徴とする自動車の前方監視システムにおけるイメージセンサの縦横比設定方法。