JP4660872B2

JP4660872B2 - 運転支援装置及び運転支援方法

Info

Publication number: JP4660872B2
Application number: JP2000032324A
Authority: JP
Inventors: 真一吉村; 正行天野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-02-09
Filing date: 2000-02-09
Publication date: 2011-03-30
Anticipated expiration: 2020-02-09
Also published as: JP2001224013A

Description

【０００１】
【発明の属する技術分野】
本発明は、自動車の運転者の運転作業をサポートする運転支援技術に係り、特に、運転席からは死角となって見えづらい場所の障害物を検出して自動車と障害物の衝突を回避することを支援する運転支援技術に関する。
【０００２】
更に詳しくは、本発明は、障害物に関する映像情報や障害物までの距離距離情報を運転者に伝達して障害物との衝突回避を支援する運転支援技術に係り、特に、運転者に対して障害物に関する映像フィードバックと障害物までの距離データの数値フィードバックを同時に行う運転支援技術に関する。
【０００３】
【従来の技術】
世界各国においてモータリゼーションが始まってから既に久しい。世界の自動車保有は、１９９７年末現在において、四輪車が約６億９，７００万台、二輪車が約１億４，７００万台となっている。四輪車保有の主要国別では、アメリカ合衆国が２億１，０２２万台でトップ、日本は２番目に多い７，０８１万台で、全世界の約１０％を占めている。以下、ヨーロッパではドイツ、イタリア、フランス、イギリスの順となり、アジア地域では、中国、韓国、インドなどが多くなってきている。
【０００４】
日本国内の自動車産業は、生産・販売をはじめ資材・利用など各分野において広範な関連産業を持つ総合産業の１つと言えよう。これら自動車関連産業に直接・間接に従事する就業人口は、日本自動車工業会の推計によると約７３４万人にのぼり、これは日本国内の全就業人口の１割強に相当する。
【０００５】
自動車の高い普及率と技術力の向上に伴い、自動車に対して高品質化が進められてきた。この結果、効率的な生産技術や、公害・安全・省エネ対策などの問題が、当業界において積極的に取り組まれている。また、最近では、自動車関連製品に対してさらに高付加価値化が要求されるようになり、自動車本体だけでなく、運転者をサポートするための各種の運転支援技術についても盛んに研究・開発されるようになってきている。
【０００６】
運転支援技術の一例は、いわゆる「カー・ナビゲーション」と呼ばれる案内システムである。ＧＰＳ（Global Positioning System）などを利用した各種のカー・ナビゲーション技術が既に商用化が実現され、市販される多くの自動車にカー・ナビゲーション装置が搭載されている。
【０００７】
また、運転支援技術の他の例として、運転席からは死角となって見えづらい場所の障害物を検出して衝突を回避する、障害物検出・衝突回避支援技術を挙げることができよう。
【０００８】
障害物検出又は衝突回避は、例えば自動車の前端や後端の死角に、ＣＣＤ（Charge Coupled Device：電荷結合素子）カメラなどの視覚センサを設置してカメラの撮像画像のような視覚的なフィードバックを運転者に供給するか、あるいは超音波センサなどの距離センサを装備して障害物までの距離を表示したり障害物との接近を警告することによって実現されよう。
【０００９】
視覚センサと距離センサは、本来、別々の装置として実装される。したがって、従来の車載用の支援装置は、運転者に対して障害物の撮像画像などの視覚的なフィードバックを与えるか、又は、障害物までの距離を通知したり障害物との接近を警告するなど距離データのフィードバックを行うか、いずれか一方のタイプに大別されてしまう。しかしながら、運転者にとっては、障害物の様子を目で追いながら、同時に其処までの距離が判った方が運転し易いことは言うまでもないであろう。
【００１０】
例えば、特開平１１−１１４４号公報には、２つのカメラ映像を各々１／２縮小して合成表示する画像の表示面積を最大に使い、車載カメラの広角レンズの場合に損われる遠近感をアフィン変換した透視画像として表示、記録することにより、安全確認を容易にできるようにした車載カメラ切り替え装置について開示されている。
【００１１】
同公報に記載の車載カメラ切り替え装置を用いた場合、例えば狭い路地から広い大通りに出るときにドライバが目視できないような状況下であっても、自動車の前方左右に埋め込まれたＣＣＤカメラによって得られる大通りの左右の映像情報により、遠近感に基づいて安全を確認することができる。しかしながら、駐車する際などには、かかる左右の映像情報だけでは、ドライバは、駐車スペースにおいて障害物までの距離を正確に把握して判断することはほとんど不可能である。
【００１２】
また、実用新案登録第３０３５２６２号公報には、自動車の後部扉若しくは後部バンパに搭載されたＣＣＤカメラを用いて、いわゆるドライバの死角となる後方の様子を車内のモニタ画面上に表示することができる自動車の後方視認装置について開示されている。
【００１３】
しかしながら、同公報に記載の後方視認装置の場合、自動車を後退させる際に、ドライバは、車内の表示画面上で障害物の存否を判断することはできても、確認された障害物までの距離は不明のままであり、本当に安全かどうかは、あるいは、あとどれだけ後退させることができるかを把握することはできない。
【００１４】
一般に、画面上に表示された撮像画像上の物体の大きさと物体までの遠近感は必ずしも一致せず、表示画面のみを手がかりにして距離感を視認することはできない。
【００１５】
また、特開平３−１１０４９０号公報には、パンパなどの車両の一方のコーナに設けられた超音波センサなどの送受波器によって障害物までの距離を測定することができる車両周辺監視装置について開示されている。
【００１６】
しかしながら、同公報に記載の車両周辺監視装置の場合、超音波が届く範囲についての視覚情報を提供する訳ではないので、ドライバにとっては障害物は死角にあるのと同じであり、何処にどのような障害物があるのかを把握することはできない。また、測定可能な距離分解能も比較的粗いので、細かい操縦の手助けとはならない。
【００１７】
他方、レーザ・レーダやミリ波レーダといった装置を用いて距離測定を行う運転支援装置についても、既に数多の事例がある。
【００１８】
例えば特開平６−２０６５０７号公報には、ミリ波レーダを用いて、外部環境によらず、正確な車間距離検出を行うことができる車間距離検出装置について開示されている。すなわち、同公報に記載の車間距離検出装置は、まず、近距離用カメラからのデータによって、道路の白線を認識する。そして、ＧＰＳ受信機からのデータに基づいて現在位置を認識すると共に、地図データ記憶部からのデータによって、道路状況を認識する。そして、このようなデータに基づいて、自車両の進行方向を推定し、先行車両の存在すべき位置を推定する。そして、このようにして得た先行車の存在位置に対し、ミリ波レーダの指向方向を向け、正確な車間距離検出を達成する。また、視界がよい場合には、遠距離用カメラを用いて先行の方向を検出することができる。
【００１９】
しかしながら、この種のレーダを用いるタイプの距離測定装置は、測定可能範囲は広範であるものの、距離分解能は極めて粗い。したがって、駐車する際に、障害物の様子を視覚的に表示するような目的には適当でない。
【００２０】
また、特開平５−２６５５４７号公報や特開平１１−６６４９４号公報などには、複数のＣＣＤカメラによるステレオ画像によって距離を測定する装置を用いた運転支援技術について開示されている。
【００２１】
このうち、特開平５−２６５５４７号公報には、撮像した画像から画像全体に渡って距離分布を求め、この距離分布の情報から、立体物や道路形状を、正確な位置や大きさとともに、信頼性高く検出することができる車両用車外監視装置について開示されている。すなわち、同公報によれば、ステレオ光学系によって車外の設置範囲内の対象を撮像し、ステレオ画像処理装置へ入力する。ステレオ画像処理装置では、ステレオ光学系で撮像した画像を処理して画像全体に渡る距離分布を計算する。道路・立体物検出装置は、この距離分布の情報に対応する被写体の各部分の三次元位置を計算し、これらの三次元位置の情報を用いて道路の形状と複数の立体物を確実にしかも信頼性高く検出することができるようになっている。
【００２２】
また、特開平１１−６６４９４号公報には、ドライバの意志が反映され、自然で使い易く実用性の高い車線逸脱防止警報とすることができる車両用運転支援装置について開示されている。すなわち、２台のＣＣＤカメラで得た画像から画像処理部、道路・物体検出部により道路、物体の画像データを得る。車線逸脱判定部で車線逸脱を判定した際、道路端判定部は、自車線が道路端の車線であって道路の外側に逸脱していく場合は警報を発生させる。さらに、逸脱方向車線障害物判定部は、逸脱方向の車線の障害物に衝突する可能性がある場合は警報を発生させ、自車線幅判定部は車線幅が狭く車線逸脱が不可避な場合は警報を抑制させ、前方障害物判定部は前方の障害物を避けるための車線逸脱の場合は警報を抑制させるようになっている。
【００２３】
しかしながら、この種のステレオ画像法を用いた運転支援装置は、測定した距離そのものを視覚的にユーザに提示する機能を備えていない。したがって、運転中のドライバは、障害物までの距離を感覚的に把握することができない。
【００２４】
また、特開平４−３２０００号公報には、車両ではなく車庫側に超音波センサなどの距離検出機能を備えた駐車支援装置について開示されている。同支援装置は、車庫入れの際には有効であるが、自動車を別の場所で駐車したり誘導する場合には何ら支援してくれない。ドライバは、旧来どおり、自己の経験と勘に頼って運転せざるを得ない。
【００２５】
【発明が解決しようとする課題】
本発明の目的は、自動車の運転者の運転作業をサポートすることができる、優れた運転支援技術を提供することにある。
【００２６】
本発明の更なる目的は、運転席からは死角となって見えづらい場所の障害物を検出して自動車との衝突を回避することを支援することができる、優れた運転支援技術を提供することにある。
【００２７】
本発明の更なる目的は、障害物に関する視覚情報と障害物までの距離情報を運転者に供給することによって障害物との衝突回避を支援することができる、優れた運転支援技術を提供することにある。
【００２８】
本発明の更なる目的は、障害物に関する映像フィードバックと障害物までの距離データの数値フィードバックを同時に行うことができる、優れた運転支援技術を提供することにある。
【００２９】
本発明は、上記課題を参酌してなされたものであり、車両の運転操作を支援するための運転支援装置又は運転支援方法であって、
前記車両上の所定の部位に搭載され所定の視野範囲を撮像する撮像手段又はステップと、
前記撮像手段又はステップによって撮像された障害物の各点までの距離を測定する距離測定手段又はステップと、
前記距離測定手段又はステップによって測定された距離情報に基づいて障害物に関する３次元座標を計算する座標演算手段又はステップと、
障害物に関する映像を３次元空間上で合成する映像合成手段又はステップと、
前記映像合成手段又はステップによって合成された映像を可視的に表示する表示手段又はステップとを具備し、
前記撮像手段は、照射角度が時間の関数で変化する投光手段と、所定の受光面を有するとともに該受光面上の各受光単位の位置を特定でき、さらに、該各受光単位の光強度の変化を演算する演算部を有する受光手段とで構成され、
前記距離測定手段またはステップでは、前記受光手段の前記演算部で演算されて得られる前記各受光単位の光強度の変化に基づいて、該各受光単位における前記投光手段から発せられて前記障害物で反射された光の受光時刻を検出し、該検出された前記各受光単位の受光時刻から該各受光単位で受光される光の前記投光手段からの照射角度を求め、三角測量の原理に従って、前記障害物の各点の距離を算出する、
ことを特徴とする運転支援装置又は運転支援方法である。
【００３０】
しかして、本発明に係る運転支援装置によれば、駐車する際に、車両から障害物までの距離情報を、障害物に関する映像情報とともに視覚的に表示することができる。すなわち、車両のドライバに対して、車両と障害物との相対的位置関係を明確に示すことができる。
【００３１】
さらに、表示する視覚情報をドライバが最も見え易い方向に変換することによって、車両と障害物との相対位置関係をより判り易い形態でドライバにフィードバックすることができる。また、ドライバは、表示したい方向をマニュアルで指示することができる。この結果、ドライバは安全に且つ安心して車両を操縦することができる。
【００３２】
前記表示手段は、例えばダッシュボードのように、前記車両の車内で、運転操作中の運転者から容易に見える場所に配設されているとよい。表示手段としては、比較的薄型且つ軽量に構成することができる液晶表示ディスプレイを用いることができる。例えば、カー・ナビゲーション用のディスプレイを表示手段として兼用してもよい。
【００３３】
また、運転支援装置は、さらに、合成画像の座標変換を運転者が指示するための指示手段を具備していてもよい。このような場合、前記映像合成手段は、撮像手段によって得られた元の映像を、前記指示手段を介した指示内容に従って、ドライバから最も見え易い方向から眺めた映像に座標変換して表示出力することができる。
【００３４】
また、前記映像合成手段は、障害物の各点までの距離に応じた明度変換を施した濃淡映像を合成するようにしてもよい。例えば、距離が短いほど明るくし、長いほど暗くなるような明度変換を施すことにより、画面上では明るい地点ほど自動車に近く、暗い地点ほど遠く離れているような映像を生成することができる。ドライバは、このような映像表示を見ると、明るい地点を自ずと注視して、衝突を警戒することができる。
【００３５】
あるいは、前記映像合成手段は、障害物の各点までの距離に応じた色変換を施したカラー映像を合成するようにしてもよい。例えば、距離が短いほど赤く、長いほど青くなるような色変換を施すことによって、自動車に近い地点ほど赤く、遠く離れるに従って青みがかってくるような映像表示をドライバにフィードバックすることができる。一般的な信号機がそうであるように、赤という色は注意を喚起するというメタファを備えている。したがって、ドライバは、このような映像表示を見ると、赤みがかった地点を自ずと注視して、衝突を警戒することができる。
【００３６】
また、運転支援装置は、さらに、前記撮像手段によって撮像された障害物までの距離を数値データとして運転者に提示するインジケータなどの手段を含んでいてもよい。ドライバは、このようなインジケータを介した数値的なフィードバックを得ることにより、映像に基づく障害物の様子だけでなく、障害物に衝突するまでの距離感を正確に把握することができる。
【００３７】
また、前記映像合成手段は、あらかじめ用意された前記車両の画像を合成映像中に埋め込むようにしてもよい。撮影画像に基づく映像情報と自動車本体の映像情報とを１つの画像上に合成することによって、ドライバに対して、あたかも自分が運転している様子を外界から眺めているような印象・感覚を与えることができ、障害物に関する情報をより判り易い形態でフィードバックすることができる。また、ドライバは、このような合成映像を基にして、自動車と障害物との相対位置関係を正確に把握することができ、安全な操縦を行うことができる。
【００３８】
また、前記映像合成手段は、実距離に相当する目盛を合成映像中に埋め込むようにしてもよい。ドライバは、障害物と映像と目盛とを比較することによって、障害物に衝突するまでの距離感を正確に把握することができる。また、撮像画像中に複数の障害物が存在したり、複雑な形状の障害物が映っているような場合には、どの障害物と、あるいは障害物の何処の部位とあとどの程度で衝突しそうかを正確に判断することができる。
【００３９】
また、運転支援装置は、さらに、前記距離測定手段によって測定された距離情報に基づいて運転の安全レベルを判断し、該判別結果をドライバに通知する手段を含んでもよい。例えば、安全、要注意、危険などの多段階レベルに分けて安全レベルを判断してもよい。また、通知の形態は、ＬＥＤランプによる表示、表示手段などのディスプレイ画面上での警告表示、警告音や音声メッセージなど、いずれであってもよい。ドライバは、該通知手段を介した警告に応答して、危険の状況を適切に判断して即座に対処することができる。
【００４０】
また、前記距離測定手段による距離情報が得られない場合には、前記映像合成手段は前記撮像手段による撮像画像をそのまま前記表示手段に出力するようにしてもよい。万が一、何らかの理由により障害物までの距離を計測することができないような場合であっても、障害物を色や明るさで表現した映像だけを表示して、ドライバに対する視覚的なフィードバックに途切れないようにすることが肝要であると思料するからである。
【００４１】
また、運転支援装置は、さらに、
前記距離測定手段によって測定された距離情報に基づいて運転の安全レベルを逐次判断する安全レベル判断手段と、
前記安全レベル判断手段が危険を察知したことに応答して、前記車両の運転を制動するブレーキ制御手段と、
を具備してもよい。
【００４２】
あるいは、運転支援装置は、さらに、
前記距離測定手段によって測定された距離情報に基づいて運転の安全レベルを逐次判断する安全レベル判断手段と、
前記安全レベル判断手段が危険を察知したことに応答して、前記車両の進行方向を転換するハンドル制御手段と、
を具備してもよい。
【００４３】
この結果、運転支援装置は、単なる運転支援にとどまらず、車両の自動若しくは半自動操縦というサービスをも提供することができることになる。
【００４４】
また、前記撮像手段は、所定の受光面を有するとともに該受光面上の受光位置を特定することができるタイプの受光手段で構成することができる。この種の受光手段は、例えば、受光面上にＭ×Ｎ個の微細な受光セルを２次元マトリックス状に配列することによって構成される。
【００４７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００４８】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施例を詳解する。
【００４９】
図１には、本発明の一実施形態に係る運転支援装置を搭載した車両１０の外観構成を模式的に示している。
【００５０】
同図に示す車両１０は、普通乗用車タイプであり、横面が略凸形状の本体と、該本体の底面の左右両側部において、一対の前輪及び後輪が取り付けられた構造体である。
【００５１】
参照番号２０は、対象物（すなわち障害物）の距離及び映像情報の双方を取り込むためのセンサ組み込み型モジュールである。該センサ組み込み型モジュール２０は、被検領域に向けて１基ずつ設置すればよい。センサ組み込み型モジュール２０の構成及びその動作特性については後に詳解する。
【００５２】
図１に示す例では、車両１０の後部バンパ若しくはトランク・リッド、及び、前部バンパ付近にセンサ組み込み型モジュール２０が各１基ずつ搭載されており、車両１０の後方及び後方側面、並びに、前方及び前方側面を観測することができる。但し、本発明を実現する上で、センサ組み込み型モジュール２０の取り付け場所は特に限定されない。例えば、車両１０の後方を観測するためのセンサ組み込み型モジュール２０を、後部バンパ又はトランク・リッドではなく、後部ウィンドウ・ガラス表面上に取り付けてもよい。
【００５３】
図２には、上述した車両１０の車内において、運転席前方すなわちダッシュボード上に配設されたコンソール４０の構成を模式的に示している。同図に示す例では、コンソール４０は右ハンドル型であり、その略中央には、映像表示部４１と、レベル表示部４２と、入力部４３が設置されている。
【００５４】
映像表示部４１は、映像情報と距離情報を合成した結果をリアルタイムで表示する装置である。例えば、カー・ナビゲーション・システム（周知）の小型液晶表示装置を、映像表示部４１として兼用することができる。あるいは、フロント・ガラスに画像を投影するタイプの表示装置（例えば、ヘッドアップ・ディスプレイ）を映像表示部４１に適用することも可能である。
【００５５】
レベル表示部４２は、各センサ組み込み型モジュール２０の出力に基づいて検出された障害物情報の解析・判断結果を、ドライバに対して視覚的にフィードバックするための装置である。例えば、ＬＥＤ（Light Emitting Device）によるインジケータを用いて、「安全」、「要注意」、「危険」などのように多段階のレベルに分けて表示する構成でよい。あるいは、カラー液晶を用いたり、映像表示部４１の画面の一部をレベル表示のために割り当ててもよい。また、視覚的なフィードバックには限定されず、例えばスピーカを用いて、警告音や音声メッセージによりドライバに安全レベル若しくは危険レベルをフィードバックするようにしてもよい。
【００５６】
入力部４３は、映像表示部４１における表示形態を指定・調整するための装置であり、例えばダイヤルやレバーのような機械的な操作装置で構成することができる。入力部４３を介したドライバの入力内容は、センサ組み込み型モジュール２０に伝達される。
【００５７】
なお、普通乗用車を始めとする一般的な車両の場合、コンソール４０は、上記以外の多くの入出力部を備えている。例えば、速度計や、燃料計、空調のオン／オフ及び室温・風量調整、オーディオ操作などである。但し、これらは本発明の要旨とは直接関連しないので、図２では描写を省略するとともに、本明細書中ではこれ以上説明しない。
【００５８】
図３には、アクティブ型の距離計測原理に基づくセンサ組み込み型モジュール２０ａのフロント・パネルの様子を模式的に示している。同図に示すように、該フロント・パネル上には、検出光学系としての受光部２１と投光部２２とが離間して配置されている。
【００５９】
受光部２１は、微細画素のような所定の受光単位がマトリックス状に配列され、各画素毎に受光強度を検出することができるタイプのセンサである。また、受光部２１の各画素は一定の視線方向の光しか受光できないので、投光部２２において所定の照射角でスリット光を出力することにより、障害物からの反射光を受光した画素位置を基にして、三角測量などの簡単な幾何光学的演算を用いて障害物までの距離を特定することができる。受光部２１及び投光部２２を用いたアクティブ型の距離計測原理の詳細については後に詳解する。
【００６０】
図４には、このアクティブ型のセンサ組み込み型モジュール２０ａの機能ブロック図を示している。図示の通り、センサ組み込み型モジュール２０ａは、受光部２１と、投光部２２と、モジュール制御部２３と、映像信号処理部２４と、距離情報処理部２５と、投光制御部２６と、レンズ２７と、映像合成部２８とで構成される。
【００６１】
受光部２１は、微細画素のような所定の受光単位がマトリックス状に配列され、各画素毎に受光強度を検出することができるタイプのセンサである。受光部２１は、モジュール制御部２３から供給される受光部制御信号２０１に同期して駆動し、投光部２２から発せられる光（スリット光）が障害物５０に当たって反射する光を、レンズ２７を介して受光することができる。そして、受光部２１は、反射光を受光したか否か及びその受光強度を、センサ距離信号２０７として距離情報処理部２５に出力するようになっている。
【００６２】
また、受光部２１は、障害物５０の映像を取得して、センサ映像信号２０６として映像信号処理部２４に出力するようになっている。
【００６３】
投光制御部２６は、モジュール制御部２３から供給される投光制御信号２０２に同期して、投光部駆動信号２０３を発生するようになっている。
【００６４】
また、投光部２２は、投光制御部２６から供給される投光部駆動信号２０３に応答して駆動し、必要に応じて照射光の出力オン／オフ又は光の走査を行うことができる。
【００６５】
例えば、一般的な光切断法による三角測量を行う場合、半導体レーザあるいは半導体ダイオードのような素子により発せられた光を所定の光学系を介して集光した後、別の光学系によってストライプ状の光すなわちスリット光に整形して、回転ミラーで反射させることによって上下若しくは左右方向に広範囲で走査させることができる。受光部２１及び投光部２２を用いたアクティブ型の距離計測原理の詳細については後に詳解する。
【００６６】
映像信号処理部２４は、モジュール制御部２３から供給される映像同期信号２０４に同期して、受光部２１から出力されるセンサ映像信号２０６のタイミングや振幅などを整形・調整して、映像信号２０８として映像合成部２８に送出するようになっている。
【００６７】
距離情報処理部２５は、モジュール制御部２３の距離同期信号２０５に同期して、受光部２１から出力されるセンサ距離信号２０７に基づいて、車両１０から障害物５０までの距離を各画素毎に算出して、距離データ２０９として映像合成部２８に送出するようになっている。
【００６８】
映像合成部２８は、映像信号処理部２４から映像信号２０８を入力するとともに、距離情報処理部２５からは距離データ２０９を入力するようになっている。そして、距離データに基づいて変換された障害物５０表面上の各点の３次元座標位置に対応する映像信号を重ね合わせることによって合成映像を作成し、これを合成映像信号２１０として映像表示部４１に出力する。かかる映像の生成は、３次元コンピュータ・グラフィックス（ＣＧ）技術などを用いて実現することができる。
【００６９】
例えば、周知の幾何学的演算を適用することにより、３次元座標を任意の座標変換を行うことができる。したがって、元の撮像画像を基に、車両１０を運転するドライバが操縦するのに見易い角度に変換した画像を合成して、合成映像信号２１０として映像表示部４１で画面表示することができる。
【００７０】
また、３次元座標を変換する形態すなわちドライバに対する見え方は、ドライバが入力部４３をマニュアル操作することによって自由に指定することができる。このため、入力部４３におけるユーザ指定値は、表示方向指定信号２１１として映像合成部２８に伝達される。
【００７１】
図３及び図４に示すようなアクティブ型のセンサ組み込み型モジュール２０ａの構成によれば、障害物５０までの距離データと、障害物５０の映像情報の双方を同時的且つ連続的に取得することができる。したがって、ＣＧ技術などを活用することにより、時間的に相違する時刻で取得されたデータを互いに結合させることによって、観測範囲が次第に広がっていく様子を映像表示部４１上の画面表示によって表現することも可能である。
【００７２】
ここで、一対の受光部２１及び投光部２２を用いたアクティブ型の距離計測原理について、図５〜図７を参照しながら説明しておく。
【００７３】
図５に示すアクティブ型距離計測システムにおいて、カメラは受光部２１に、半導体レーザ及び回転ミラーは投光部２２に、それぞれ相当する。また、図示の例では、被写体すなわち障害物５０は、該計測システムに対向する平面と、この平面の前方から突設された略半円柱で構成される。
【００７４】
半導体レーザ（若しくは発光ダイオード）から照射されたスリット状のレーザ光は、回転ミラーによって反射されて、被写体に向かう。レーザ光の照射と同期的に回転ミラーを回転させることによって、レーザ光を紙面左右方向に走査させることができる。そして、カメラは、スリット状のレーザ光が平面及び半円柱上を照射する様子を時々刻々撮像することができる。
【００７５】
図６は、図５に示した距離計測システムを上方から眺望した様子を示している。
【００７６】
カメラは、微細画素のような所定の受光単位が２次元マトリックス状に配列され、且つ、各画素毎に受光強度を検出することができるタイプの撮像素子で構成され、被写体からの反射光をレンズで集光して撮像するとともに、その受光位置を特定することができるものとする。
【００７７】
撮像素子上のある1つの画素Ｐは、レンズを介してΘＰで表される視線方向のみを常に観測している。
【００７８】
また、レーザ光を走査するための回転ミラーは、レンズの光軸から距離Ｂだけ離間した位置にその回転中心軸を有する。そして、時刻ゼロから回転を開始して、スリット状のレーザ光を紙面右から左に向かって被写体表面上を走査するようになっている。
【００７９】
画素Ｐは視線方向ΘＰのみを観測している。したがって、被写体が図６の位置Ｉにあるときには、回転ミラーが回転して、レーザの照射角度がΘＩになったときにのみ、被写体表面上からの反射光を受光することができる。同様に、被写体が同図の位置ＩＩにあるときには、回転ミラーが回転して、レーザの照射角度がΘＩＩになったときにのみ、被写体表面上からの反射光を受光することができる。
【００８０】
このような場合、三角測量などの幾何学的な計算により、距離計測システム（センサ・モジュール２０ａ）と被写体との距離ＬＩ及びＬＩＩは、以下の式で表すことができる。
【００８１】
【数１】

【００８２】
言い換えれば、画素Ｐが受光したときのレーザ光の各照射方向ΘＩ及びΘＩＩによって、被写体までの距離ＬＩ及びＬＩＩを一意に求めることができる。
【００８３】
ここで、照射角度ΘＩ及びΘＩＩはいずれも、回転ミラーが回転を開始してからの経過時間ｔの関数として表現することができる。したがって、被写体までの距離ＬＩ及びＬＩＩも、時間ｔの関数として表すことが可能である。
【００８４】
図７には、画素Ｐが受光する光強度の時間的な変化と該強度変化を撮像素子上で演算した結果を例示している。
【００８５】
同図に示す例では、時刻ＴＩにおいて演算結果の符号がマイナスからプラスに転じている。かかる符号の転換点に基づいて光強度がピークを迎えた時刻を検出することができる（但し、図７に示す例では、撮像素子は受光量すなわち光強度に応じて電流量が減じる出力特性を持つものとする）。ピークを迎えた時刻が判れば、上述したように、被写体までの距離を特定することができる。
【００８６】
図７に示す例では、演算間隔すなわち撮像素子のサンプリング周期はΔＴである。ΔＴを細かくすることにより距離計測の分解能を向上させることができる。
【００８７】
なお、アクティブ型の距離計測原理については、例えば「三次元画像計測」（井口、佐藤共著、昭晃堂）に記載されている。
【００８８】
図８には、センサ組み込み型モジュール２０ａを搭載した車両１０上における操作手順をフローチャートの形式で示している。以下、このフローチャートの各ステップについて説明する。
【００８９】
まず、車両１０が駐車する運転モードであることを検出すると（ステップＳ１）、センサ組み込み型モジュール２０ａ内のモジュール制御部２３は、受光部２１及び投光制御部２６に対してそれぞれ受光制御信号２０１及び投光制御信号２０２を出力して、距離計測操作を実行せしめる（ステップＳ２）。駐車モードか否かは、ドライバによる明示的なマニュアル指示に応答して、あるいは、車両１０のギアが後退に設定されたことに応答して検出することができる。
【００９０】
投光制御部２６では、投光制御信号２０２に同期して、例えば回転ミラーを駆動するためのノコギリ波と、半導体レーザを動作させるための信号を合わせて投光部駆動信号２０３として投光部２２に供給する。
【００９１】
投光部駆動信号２０３に基づいて発生された光は、障害物５０を照射する。その反射光は、レンズ２７によって集光され、受光部２１の撮像面上で結像される。
【００９２】
例えば、図４において、障害物が位置５０ａにある場合、受光部２１上のある画素が受光する反射光は、投光された光の照射角度がΘａのときのものである。また、障害物が位置５０ｂにある場合、受光部２１上の同一の画素は、投光された光の照射角度がΘｂのときに反射光を受光することができる。受光部２１上の各画素毎に、障害物５０までの距離に応じて、反射光を受光可能なときに投光部２２から発される光の照射角度が決定される。したがって、各画素が反射光を受光するときの投光部２２における照射角度を判別できれば、障害物５０までの距離を容易に算出することが可能である。
【００９３】
投光部２２における照射角度の検出は、回転ミラーの回転角度が時間の関数であることに基づいて逆算することができる。あるいは、回転ミラーの駆動部にエンコーダを取り付けて、その出力結果から求めることもできる。以下では、時間情報に基づいて投光部２２の照射角度を特定する処理手順について説明しておく。
【００９４】
画素が反射光を受光した瞬間は、その画素出力が最大すなわち最も明るくなるときなので、センサ距離信号２０７を単純に画素出力信号（明るさ）とすることができる。また、距離情報処理部２５では、画素毎の出力を時間的に比較しながら、画素出力が最大になる瞬間を捉えることができる。
【００９５】
あるいは、受光部２１に画素毎に受光量が最大であるか否かを検出することができる特殊なセンサを用いてもよい。例えば、本出願人に既に譲渡されている特願平１１−２１８３４９号明細書や特願平１２−５８３０号明細書には、複数の受光セルをＭ×Ｎ個の２次元マトリックス上に配列して構成される受光面を有する赤外線受信機について開示されている。この受信機^/*/によれば、受光強度に応じた検出信号を出力するとともに、該受光面上における変調パルス信号の受光位置を特定することができる。このような赤外線受信装置によって受光部２１を構成することにより、画素毎に受光量が最大であるか否かを逐次出力して、距離情報処理部２５に供給するセンサ距離信号２０７として用いることができる。
【００９６】
いずれにしても、距離情報処理部２５では、受光部２１のある画素において反射光を受光した瞬間の時刻が決定される。モジュール制御部２３から投光制御信号２０２が最初に発せられた時刻から開始する距離同期信号２０５に基づいて、回転ミラーの回転角など投光部２２における照射角度を導き出すことが可能である。
【００９７】
このようにして得られた投光部２２における照射角度Θａの情報から、受光部２１の各画素における障害物５０までの距離Ｌを、以下の式に従って算出することができる。
【００９８】
【数２】

【００９９】
但し、上式において、Ｂは画素から投光部２２の光軸までの距離とし、Θｐはその画素がレンズ２７を介して眺める視線方向の角度である。これらの変数は、あらかじめ計算しておくことができるので、例えば距離情報処理部２５内のローカル・メモリ（図示しない）に書き込んでおき、当該操作手順実行時に適宜読み出して使用すればよい。
【０１００】
再び図８に戻って、車両１０上の操作手順について説明する。
【０１０１】
ステップＳ２における距離計測が終了した直後から、映像の取得が実行される（ステップＳ３）。より具体的には、モジュール制御部２３は、受光部２１にのみ新たな受光制御信号２０１を出力し、受光部２１では障害物５０の映像を取得する。この映像は、センサ映像信号２０６として、映像信号処理部２４へ出力される。
【０１０２】
以上の処理により、センサ組み込み型モジュール２０ａは、障害物５０までの距離データと、障害物５０の映像情報の双方を取得することができる。本実施例では、これら取得データをそのままドライバにフィードバックするのではなく、さらに視覚的に見易い若しくは理解し易い画像に加工してから、映像表示部４１への出力を行う。
【０１０３】
このような画像加工処理のために、まず、画素毎に得られた距離データを基に、障害物５０表面における３次元座標を算出する（ステップＳ４）。
【０１０４】
画素毎に距離が判っていれば、あらかじめ行っておいたキャリブレーション処理によって、障害物に関する３次元座標（ｘ，ｙ，ｚ）を容易に求めることが可能である。すなわち、ある画素（ｉ，ｊ）において得られた距離データがｚであるとき、その画素が観測している空間上の他の座標値ｘ及びｙは、以下の各式を用いて計算することができる。
【０１０５】
【数３】

【０１０６】
但し、上式において使用される各パラメータＡ_ij，Ｂ_ij，Ｃ_ij，及びＤ_ijは、各画素毎にあらかじめキャリブレーション処理を行うことによって求めることができる。これらのパラメータＡ_ij，Ｂ_ij，Ｃ_ij，及びＤ_ijを、例えば映像合成部２８内のローカル・メモリ（図示しない）などにあらかじめ書き込んでおき、実行時に適宜読み出して使用すればよい。
【０１０７】
ステップＳ４において算出された３次元座標は、センサ組み込み型モジュール２０ａの受光部２１から障害物５０を見る方向によって定義される座標系であって、車両１０のドライバから見た視点や視線方向とは一致しない。そこで、次ステップＳ５では、３次元座標を、車両１０のドライバから見た視線方向、あるいは車両１０の進行方向又はその真横／真上方向から見た方向などによって決定される座標系（言い換えれば、ドライバにとって障害物を見易くなるような座標系）に変換処理する。
【０１０８】
座標変換処理は、例えば、回転成分Ｒと平行成分Ｔに分けて、以下の式に従って計算することができる。但し、最初に求まった座標を（ｘ，ｙ，ｚ）とし、変換後の座標を（Ｘ，Ｙ，Ｚ）とする
【０１０９】
【数４】

【０１１０】
このようにして、障害物５０を見易い角度に座標変換した後、取得した障害物５０の映像信号２０８を各座標位置にマッピングすることによって、形状のみならず映像も含めた３次元画像として映像表示部４１に画面出力することができる（ステップＳ６）。映像信号のマッピング処理は、例えば、コンピュータ・グラフィックス技術における「テクスチャ・マッピング」を適用することができる。また、このような映像情報を視覚的なフィードバックとして受け取ったドライバは、障害物を認識し易くなる。
【０１１１】
ドライバは、コンソール４０上に配設された映像表示部４１に出力される合成画像を見ながら、駐車操作を行い（ステップＳ７）、所望の位置まで車両１０を誘導できたか否かを確認しながら処理を続けることができる（ステップＳ８）。
【０１１２】
また、ドライバは、入力部４３をマニュアル操作することによって、映像表示部４１に出力される合成映像の見え方が、最も見え易い向きになるように自由に調整することができる。
【０１１３】
そして、所定の位置への移動が完了すればこの操作手順全体も終了する（ステップＳ９，Ｓ１０）。
【０１１４】
また、図９には、パッシブ型の距離計測原理に基づくセンサ組み込み型モジュール２０ｂのフロント・パネルの様子を模式的に示している。該フロント・パネル上には、複数の受光部３１（同図に示す例では２個）が離間して配設されている。
【０１１５】
図１０には、このパッシブ型のセンサ組み込み型モジュール２０ｂの機能ブロック図を示している。図示の通り、センサ組み込み型モジュール２０ｂは、２個の受光部３１ａ及び３１ｂと、モジュール制御部３２と、映像信号処理部３３と、距離情報処理部３４と、レンズ３７ａ及び３７ｂと、映像合成部２８とで構成される。
【０１１６】
各受光部３１は、微細画素のような所定の受光単位を２次元マトリックス状に配列し、且つ、各画素毎に受光強度を検出することができるタイプのセンサであり、アクティブ型の場合の受光部２１と同一構成でもよい。
【０１１７】
受光部３１は、モジュール制御部３２から供給される受光部制御信号３０１に同期して駆動し、障害物５０の像を、レンズ３７を介して受光して、各画素毎の明るさをセンサ映像信号３０４として距離情報処理部３４に出力するようになっている。
【０１１８】
また、一方の受光部３１ａが出力するセンサ映像信号３０４ａは、３次元座標に合成するための映像情報として用いるために、映像信号処理部３３にも供給されるようになっている。
【０１１９】
映像信号処理部３３は、モジュール制御部２３から供給される映像同期信号３０２に同期して、受光部２１から出力されるセンサ映像信号３０４ａのタイミングや振幅などを整形・調整して、映像信号２０８として映像合成部２８に送出するようになっている。
【０１２０】
距離情報処理部３４は、モジュール制御部３２の距離同期信号３０３に同期して、各受光部３１から出力されるセンサ映像信号３０４に基づいて、車両１０から障害物５０までの距離を画素毎に算出して、距離データ２０９として映像合成部２８に送出するようになっている。パッシブ型の場合、上述したアクティブ型とは相違し、いわゆるステレオ画像処理を適用することで距離を算出することができる。
【０１２１】
映像合成部２８は、映像信号処理部３３から映像信号２０８を入力するとともに、距離情報処理部３４からは距離データ２０９を入力するようになっている。そして、距離データに基づいて変換された障害物５０表面上の各点の３次元座標位置に、対応する映像信号を重ね合わせることによって合成映像を作成し、これを合成映像信号２１０として映像表示部４１に出力する。かかる映像の生成は、３次元コンピュータ・グラフィックス（ＣＧ）技術などを用いて実現することができる。
【０１２２】
例えば、周知の幾何学的演算を適用することにより、３次元座標を任意の座標変換を行うことができる。したがって、車両１０を運転するドライバが操縦するのに見易い角度に変換した画像を合成して、合成映像信号２１０として映像表示部４１で画面表示することができる。
【０１２３】
また、３次元座標を変換する形態すなわちドライバに対する見え方は、入力部４３を操作することによって自由に指定することができる。このため、入力部４３におけるユーザ指定値は、表示方向指定信号２１１として映像合成部２８に通知される。
【０１２４】
図９及び図１０に示すようなパッシブ型のセンサ組み込み型モジュール２０ｂの構成によっても、上述のアクティブ型の場合と同様に、障害物５０までの距離データと、障害物５０の映像情報の双方を同時且つ連続的に取得することができる。またＣＧ技術を活用することにより、時間的に相違する時刻で取得されたデータを互いに結合させて、観測範囲が次第に広がっていく様子を映像表示部４１上の画面表示によって表現することができる。
【０１２５】
ここで、複数の受光部３１を用いたパッシブ型の距離計測原理について、図１１及び図１２を参照しながら説明しておく。
【０１２６】
図１１に示すパッシブ型距離計測システムにおいて、左右それぞれのカメラＬ及びＲは受光部３１ａ及び３１ｂに相当する。また、図示の例では、被写体すなわち障害物５０は、該計測システムに対向する平面と、この平面の前方から突設された略半円柱で構成される。
【０１２７】
図１１に示すように、２台のカメラＬ及びＲによって被写体を撮影し、それらの撮像画像から対応点を検出して、ステレオ処理することができる。
【０１２８】
図１２は、図１１に示した距離計測システムを上方から眺望した様子を示している。
【０１２９】
一方のカメラＲの撮像素子における撮像中心は、他方のカメラＬの撮像素子における撮像中心から距離Ｂだけ離間して配設されているものとする。また、各々の撮像素子は、レンズから焦点距離ｆだけ光軸上の後方に離れた地点に配設されているものとする。
【０１３０】
カメラＬの撮像素子上の撮像中心から距離ｄ０だけ離れた画素Ｐは、常に特定の視線方向のみをレンズを通して観測している。
【０１３１】
被写体が位置Ｉにあるときは、カメラＬの撮像素子上の画素Ｐが観測している観測点Ｑ１は、他方のカメラＲの撮像素子上の画素Ｐ１で観測されることになる。このとき、画素Ｐ１は、撮像素子の撮像中心から距離ｄ１だけ離れた位置にあるとする。
【０１３２】
同様に、被写体が位置ＩＩにあるときは、カメラＬの撮像素子上の画素Ｐが観測している観測点Ｑ２は、他方のカメラＲの撮像素子上の画素Ｐ２で観測されることになる。このとき、画素Ｐ２は、撮像素子の撮像中心から距離ｄ２だけ離れた位置にあるとする。
【０１３３】
このような場合、幾何学的な計算により、距離計測システム（センサ・モジュール２０ｂ）と被写体との距離ＬＩ及びＬＩＩは、以下の式で表すことができる。
【０１３４】
【数５】

【０１３５】
上記の各式から判るように、被写体までの距離は、ｄ０＋ｄ１又はｄ０＋ｄ２によって一意に特定される。光学技術の分野では、ｄ０＋ｄ１又はｄ０＋ｄ２のような値のことを「視差」と呼ぶ。
【０１３６】
すなわち、パッシブ型の距離計測システムにおいては、被写体までの距離を求めるためには、被写体上の同一の観測位置が２以上の撮像素子上の各々においてどの位置において撮像されているかが分かればよい。それぞれの撮像画像間で局所的な画像比較や画像位置合わせを行うことによって、同一の観測位置を特定することが可能である。しかも、撮像素子の画素ピッチが細かいほど距離算出の分解能が高まる。
【０１３７】
なお、パッシブ型の距離計測原理については、例えば「三次元画像計測」（井口、佐藤共著、昭晃堂）に記載されている。
【０１３８】
また、パッシブ型のセンサ組み込み型モジュール２０ｂを搭載した車両１０上における操作手順は、距離計測を実行するステップＳ２における具体的な処理内容が相違する以外は、図８に示したフローチャートと略同一なので、ここでは説明を省略する。
【０１３９】
次いで、映像表示部４１においてドライバにフィードバックされる映像について、図１３〜図２１を参照しながら説明する。
【０１４０】
図１３には、駐車しようとしている自動車と、その背後にある障害物の様子を示している。同図に示すように、自動車の後方には、自転車や棚、バケツなどの障害物が存在するものとする。
【０１４１】
自転車や棚は背丈があるので、ドライバは後部ウィンドウを介してこれらの存在を目視で確認することができるが、バケツは死角にあるので目視では判断することができない。また、棚は、略直方体であり、ドライバは衝突するまでの距離を経験と勘に基づいて比較的容易に判断することができる。これに対し、自転車は複雑な形状ゆえ、どの部位があとどれくらいの距離で衝突するのかを一目で判断することは難しい。
【０１４２】
図１４は、映像信号処理部２４又は３３から得られる映像信号である。また、図１５は、距離情報処理部２５又は３４から得られる距離データを可視化したものである。距離データの可視化処理については後述する。
【０１４３】
映像合成部２８では、障害物５０の映像信号と、障害物５０までの距離データという２種類の情報を上記の方法で合成処理する。例えば、図１６に示すように、斜め上方から眺めたように見えるように座標変換を行ってから映像表示部４１に出力することができる。
【０１４４】
また、図１７は、同じ自動車後方の様子を真横から眺めたように見えるようにさらに座標変換した映像である。但し、自動車本体の映像は、該本体上に搭載したセンサ組み込み型モジュール２０で撮影することはできない。このため、例えば、自動車本体のＣＧ映像をあらかじめ用意しておき、映像合成部２８において合成画像上にこの仮想的なＣＧ映像をマッピングするなどの方法で対処すればよい。自動車に関するＣＧ画像自体は、設計データなどを基に容易に作成することができる。
【０１４５】
図１４に示す映像は、受光部２１又は３１による撮像画像そのものであり、遠近感に乏しい。例えば、同図において、自転車と棚のどちらが手前にあるのか（すなわちどちらと先に衝突しそうか）を一見しただけでは判断することが難しい。
【０１４６】
本実施例によれば、図１６に示すように、ドライバが見易い視線方向に座標変換した合成画像をフィードバックすることができる。したがって、ドライバは、映像表示部４１の出力画像を基に、複数の障害物の位置関係を一目で判断することができる。
【０１４７】
さらに、図１７に示すように、自動車後方の様子を真横から眺めたような合成画像をドライバにフィードバックすることができるので、ドライバはあとどれくらい自動車を後退させることができるのかを、極めて正確に把握することができる。
【０１４８】
また、撮影画像に基づく映像情報と自動車本体の映像情報とを１つの画像上に合成することによって、ドライバに対して、あたかも自分が運転している様子を外界から眺めているような印象・感覚を与えることができ、障害物に関する情報をより判り易い形態でフィードバックすることができる。また、ドライバは、このような合成映像を基にして、自動車と障害物との相対位置関係を正確に把握することができ、安全な操縦を行うことができる。
【０１４９】
また、合成画像上に、実距離に相当する目盛を貼り付けることにより（図２２を参照のこと）、ドライバは距離データを絶対値として理解することができる。
【０１５０】
他方、図１８〜図２１には、自動車の前方（例えば前部バンパー）に取り付けたセンサ組み込み型モジュール２０を用いて、自動車の左前方付近におけるドライバの死角領域を計測する様子を示している。
【０１５１】
図１８に示すように、自動車の前方には、壁と柱が立っている。壁は背丈があるので、ドライバは前部ウィンドウを介して目視でその存在を確認することができるが、背丈の低い柱はボンネットの陰に隠れて直接見ることができないであろう。
【０１５２】
図１９は、映像信号処理部２４又は３３から得られる映像信号である。また、図２０は、距離情報処理部２５又は３４から得られる距離データを可視化したものである。距離データの可視化処理については後述する。
【０１５３】
映像合成部２８では、障害物５０の映像信号と、障害物５０までの距離データという２種類の情報を上記の方法で合成処理する。例えば、図２１に示すように、上方から眺めたように見えるように座標変換を行ってから映像表示部４１に出力することができる。
【０１５４】
図１８に示すように、自動車のボンネットよりも低い位置に障害物がある場合、通常、ドライバからは死角となり衝突する可能性が極めて高くなる。これに対し、本実施例の場合には、図２１に示すように、運転中の自動車本体のＣＧ画像が貼り付けられた合成画像をドライバにフィードバックすることができる。したがって、ドライバは、映像表示部４１の出力画像を基に、自動車と障害物との相対位置関係を正確に把握することができ、安全な操縦を行うことができる。
【０１５５】
なお、図２１に示す例では、壁の一部の領域は、これよりも手前側に位置する柱に遮られ、受光部２１又は３１にとって死角となるので、合成画像上に表示することができない。しかしながら、柱の方が自動車側に近いことは一目瞭然であり、ドライバが自動車を操縦するにあたり混乱は生じないものと思料する。
【０１５６】
ここで、図１５や図２０に示したような距離データの可視化処理について説明する。
【０１５７】
受光部２１又は３１の各画素毎に求められた距離データは、センサ・モジュール２０から障害物までの距離を表している。したがって、各画素に対して距離に応じた明るさや色を付与することによって、図１５や図２０に示したような画像情報を生成することができる。
【０１５８】
例えば、距離が短いほど明るくし、長いほど暗くなるような明度変換を施すことにより、画面上では明るい地点ほど自動車に近く、暗い地点ほど遠く離れているような映像を生成することができる。ドライバは、このような映像表示を見ると、明るい地点を自ずと注視して、衝突を警戒することができる。
【０１５９】
あるいは、距離が短いほど赤く、長いほど青くなるような色変換を施すことによって、自動車に近い地点ほど赤く、遠く離れるに従って青みがかってくるような映像表示をドライバにフィードバックすることができる。一般的な信号機がそうであるように、赤という色は注意を喚起するというメタファを備えている。したがって、ドライバは、このような映像表示を見ると、赤みがかった地点を自ずと注視して、衝突を警戒することができる。
【０１６０】
また、障害物までの距離データを数値として、合成画像上に重ね合わせて表示することにより、ドライバはさらに距離感を把握しやすくなる。例えば、図１５や図２０において、自動車から最も近い地点までの距離を数値として表示する距離インジケータを同時表示することによって（図２３及び図２４を参照のこと）、ドライバは車両間隔を正確に知ることが可能となる。
【０１６１】
同様に、図１７や図２１についても、距離インジケータを埋め込んで障害物までの距離を数値表示することによって、ドライバはあとどれくらい後方又は前方に車両を寄せることができるかを瞬時に判断することができる。
【０１６２】
また、万が一、何らかの理由により障害物までの距離を計測することができないような場合には、障害物を色や明るさで表現した映像だけを表示して、ドライバに対する視覚的なフィードバックに途切れないようにすることが肝要である。
【０１６３】
図２５には、上述したようなセンサ組み込み型モジュール２０を車載用コンピュータと組み合わせて、運転支援ではなく車両の自動若しくは半自動操縦に応用した場合のシステム構成を模式的に示している。
【０１６４】
同図に示す例では、センサ組み込み型モジュール２０が、車載用コンピュータ６０に接続されており、車載用コンピュータ６０には障害物の映像情報や障害物までの距離データが供給されるようになっている。
【０１６５】
車載用コンピュータ６０は、操縦を含めた車両１０全体の動作を統括的に管理するため機能モジュールであり、例えばブレーキ制御装置６１やハンドル制御装置６２を制御下に置いている。
【０１６６】
例えば、車載用コンピュータ６０は、センサ組み込み型モジュール２０から供給されたデータを解析して、障害物に接近したことを検出すると、ブレーキ制御装置６１に指令を発して制動したり、あるいはハンドル制御装置６２に指令を発して障害物を回避できるように進行方向を変更する。
【０１６７】
また、車載用コンピュータ６０は、障害物への接近具合を逐次解析して、現在の車両の状況を「安全」、「要注意」、「危険」などのレベルに区分して、レベル表示装置４２に表示して、ドライバに注意を促すことができる。
【０１６８】
《注釈》
＊：ここでは、本実施例において受光部２１又は３１として適用可能な撮像素子の構成や動作特性について、図２６〜図２８を参照しながら解説する。
【０１６９】
撮像素子は、Ｍ×Ｎ個のマトリックス状に配列された多数の受光セルで構成され（後述）、外部から与えられるタイミング信号に同期して駆動するとともに、撮像したデータをセンサ出力信号として外部出力する（図２６を参照のこと）。ここで言うタイミング信号は、モジュール制御部２３又は３２が供給する受光制御信号２０１又は３０１に相当する。また、センサ出力信号は、映像信号処理部２４／３３に出力されるセンサ映像信号２０６／３０４や、距離情報処理部２５／３４に出力されるセンサ距離信号２０７／３０４に相当する。
【０１７０】
図２７には、撮像素子内の回路構成を詳細に示している。同図に示すように、１つの撮像素子は、受光エリア１３０と、演算エリア１３１と、タイミング信号スキャナ１２０と、センサ出力回路１２１と、ライン動作制御回路１２２とで構成される。
【０１７１】
受光エリア１３０は、Ｍ×Ｎ個の受光セル１００が２次元マトリックス状に配列して構成される。受光セル１００は、受光する最小単位であり、受光素子１０１と増幅部１０２の組み合わせで構成される（後述）。受光エリア１３０内では、転送パルス１１０及び画素読出しパルス１１４を伝送する制御信号が各行毎に敷設されており、同一行の各受光セルには、動作タイミングを規定する共通の転送パルス１１０及び画素読出しパルス１１４が供給される。
【０１７２】
また、演算エリア１３１内には、受光セルと同数の演算セル１０９が同一の２次元マトリックス状に配列して構成される。各演算セル１０９は、後述するように記憶部１０３と、比較部１０４と、出力部１０５とで構成される。各演算セル１０９は、マトリックス上の位置関係が対応する受光セル１００による受光信号を受け取って、演算処理するようになっている。演算エリア１３１内では、演算モード識別信号１１１、演算駆動パルス１１２、及び演算読出しパルス１１３を伝送する制御信号が各行毎に敷設されており、同一行の各演算セルには、動作タイミングを規定する共通の演算モード識別信号１１１、演算駆動パルス１１２、及び演算読出しパルス１１３が供給される。
【０１７３】
受光セルによる受光信号を対応する演算セルに転送するための画素共通信号線１０６が、受光エリア１３０及び演算エリア１３１の各列毎に敷設されている。すなわち、同一列の各受光セルは、単一の画素共通信号線１０６を共有しており、画素読出しパルス１１４によって付勢された行に該当する受光セル１００のみが画素共通信号線１０６上に受光信号を送出するようになっている。
【０１７４】
また、演算セル１０９による演算結果を出力するための演算部共通信号線が、演算エリア１３１内の各列毎に敷設されている。すなわち、同一列の各演算セル１０９は、単一の演算部共通信号線１０７を共有しており、演算読出しパルス１１３によって付勢された行に該当する演算セル１０９のみが演算部共通信号線１０７上に演算結果を送出するようになっている。
【０１７５】
各列毎の演算部共通信号線１０７は全て、センサ出力回路１２１に供給される。センサ出力回路１２１はセンサ出力信号を外部出力する機能モジュールである。図２７に示す例では、センサ出力回路１２１は、各列毎に専用のセンサ出力信号を備えているが、各列のセンサ出力をパラレル―シリアル変換して単一の出力信号線で外部出力しても構わない。
【０１７６】
タイミング信号スキャナ１２０は、外部から供給されるタイミング信号に基づいて、転送パルス１１０、画素読出しパルス１１４、演算モード識別信号１１１、演算駆動パルス１１２、及び、演算読出しパルス１１３を生成する。これらの信号パルスは、所定のシーケンスに従って、受光エリア１３０及び演算エリア１３１の各行毎に順次供給される。この帰結として、各々の受光セル１００及び演算セル１０９の動作を行単位で順次規定するようになっている。
【０１７７】
ライン動作制御回路１２２は、受光エリア１３０及び演算エリア１３１の各列毎にライン動作制御信号１２３を出力し、各列毎に受信セル及び演算セルを動作するか否かを規定することができる。
【０１７８】
上述したように、センサ出力回路１２１は、Ｍ×Ｎ個の２次元マトリックス状に配列されたセルによる検出信号を、列単位で出力するようになっている。また、タイミング信号スキャナ１２０は、各セルに対して演算読出しパルス１１３を行単位で順次供給する。したがって、センサ出力信号が読み出されたタイミングに基づいて、受光エリア１３０内のどの受光セル１００において受光されたか、すなわち撮像素子の受光面における受光位置を特定することができる。
【０１７９】
図２８には、撮像素子の単位セルの構成を詳細に示している。
【０１８０】
1つの受光セル１００は、受光素子１０１と、増幅部１０２とで構成される。受光素子１０１は、フォト・ダイオードに代表される、光電変換機能を持つ素子で構成され、入射光の強度に応じた電子を発生するようになっている。
【０１８１】
増幅部１０２は、受光素子１０１において発生した電子を、後続の処理に適した信号レベルまで増幅し、画素共通信号線１０６を介して演算セル１０９に向けて出力するようになっている。また、増幅部１０２は、動作を規定するための転送パルス１１０及び画素読出しパルス１１４の各々を入力している。
【０１８２】
転送パルス１１０は、受光素子１０１で発生した電子を増幅部１０２へ転送するためのタイミングを規定するパルスである。タイミング信号スキャナ１２０が、受光エリア１３０内の全ての受光セル１０９に対して同時に転送パルス１１０を与えることによって、全ての受光セルが全く同一のタイミングで受光強度を蓄積した後、各々の増幅部１０２に転送することができる。
【０１８３】
また、画素読出しパルス１１４は、増幅部１０２における増幅信号を画素共通信号線１０６上に送出するためのタイミングを規定するパルスである。画素読出しパルス１１４を供給するための制御信号は、受光エリア１３０内の各行毎に敷設されているので、タイミング信号スキャナ１２０が各行毎に画素読出しパルス１１４を順次出力することによって、一行毎の受信セル１００による検出出力が、演算エリア１３１内の対応行の各演算セル１０９に画素共通信号線１０６経由で一斉に供給される。
【０１８４】
他方の演算セル１０９は、記憶部１０３と、比較部１０４と、出力部１０５とで構成される。
【０１８５】
記憶部１０３は、画素共通信号線１０６経由で対応する受光セル１００から転送されてくる信号を一旦蓄積する。記憶部１０３は、複数の信号を同時に記憶することが可能であり、画素共通信号線１０６を介して転送されてきた信号を、演算モード識別信号１１１によって指定された記憶領域に保存するようになっている。また、比較部１０４において比較される信号の組み合わせも、演算モード識別信号１１１によって指定される。
【０１８６】
比較部１０４は、演算駆動パルス１１２の入力に応答して、記憶部から最新の信号と、指定された記憶領域に保存された過去の信号とを取り出して、両信号を大小比較する。比較結果は出力部１０５に送出される。
【０１８７】
出力部１０５は、演算読出しパルス１１３の入力に応答して、比較部１０４から受け取った比較結果を、演算部共通信号線１０７経由でセンサ出力回路１２１に出力する。演算読出しパルス１１３を供給するための制御信号は、演算エリア１３１内の各行毎に敷設されている。したがって、タイミング信号スキャナ１２０が各行毎に演算読出しパルス１１３を順次出力することによって、演算セル１０９による演算出力が、一行単位で一斉に読み出されることになる。
【０１８８】
［追補］
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１８９】
【発明の効果】
以上詳記したように、本発明によれば、自動車の運転者の運転作業をサポートすることができる、優れた運転支援技術を提供することができる。
【０１９０】
また、本発明によれば、運転席からは死角となって見えづらい場所の障害物を検出して自動車との衝突を回避することを支援することができる、優れた運転支援技術を提供することができる。
【０１９１】
また、本発明によれば、障害物に関する映像情報と障害物までの距離情報を運転者に供給することによって障害物との衝突回避を支援することができる、優れた運転支援技術を提供することができる。
【０１９２】
また、本発明によれば、障害物に関する映像フィードバックと障害物までの距離データの数値フィードバックを同時に行うことができる、優れた運転支援技術を提供することができる。
【０１９３】
本発明に係る運転支援装置によれば、駐車する際に、車両と障害物までの距離情報を、障害物に関する画像情報とともに視覚的に表示することによって、ドライバに対して車両と障害物との相対的位置関係を明確に示すことができる。ドライバは、安全に且つ安心して車両を操縦することができる。
【０１９４】
さらに、表示する視覚情報を、ドライバが最も見え易い方向に変換することによって、車両と障害物との相対位置関係をより判り易い形態でドライバにフィードバックすることができる。したがって、ドライバは、より安全に且つより安心して、車両を操縦することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る運転支援装置を搭載した車両１０の外観構成を模式的に示した図である。
【図２】車内の運転席前方に配設されたコンソールの構成を模式的に示した図である。
【図３】アクティブ型の距離計測原理に基づく組み込みセンサ・モジュール２０ａのフロント・パネルの様子を模式的に示した図である。
【図４】アクティブ型のセンサ・モジュール２０ａの機能ブロック図を示した図である。
【図５】アクティブ型の距離計測原理を説明するための図であり、より具体的には、距離計測システムの構成を模式的に示した図である。
【図６】アクティブ型の距離計測原理を説明するための図であり、より具体的には、図５に示した距離計測システムを上方から眺望した図である。
【図７】アクティブ型の距離計測原理を説明するための図であり、より具体的には、カメラの撮像素子Ｐが受光する光強度の時間的な変化と、該強度変化を撮像素子上で演算した結果を示したチャートである。
【図８】センサ・モジュール２０ａを搭載した車両１０上における操作手順を示したフローチャートである。
【図９】パッシブ型の距離計測原理に基づく組み込みセンサ・モジュール２０ｂのフロント・パネルの様子を模式的に示した図である。
【図１０】パッシブ型のセンサ・モジュール２０ｂの機能ブロック図を示した図である。
【図１１】パッシブ型の距離計測原理を説明するための図であり、より具体的には、距離計測システムの構成を模式的に示した図である。
【図１２】パッシブ型の距離計測原理を説明するための図であり、より具体的には、図１１に示した距離計測システムを上方から眺望した図である。
【図１３】駐車しようとしている自動車とその背後にある障害物の様子を描写した図である。
【図１４】映像信号処理部２４又は３３から得られる車両後方の映像信号を例示した図である。
【図１５】距離情報処理部２５又は３４から得られる車両後方の距離データを例示した図である。
【図１６】映像合成部２８において映像信号と距離データとを合成処理した画像をさらに斜め上方から眺めたように見えるように座標変換した画像を例示した図である。
【図１７】図１６と同じ車両１０後方の様子を真横から眺めたように見えるようにさらに座標変換した映像を示した図である。
【図１８】車両の前方（例えば前部バンパー）に取り付けたセンサ・モジュール２０を用いて、車両１０の左前方付近におけるドライバの死角領域を計測する様子を示した図である。
【図１９】映像信号処理部２４又は３３から得られる車両前方の映像信号を例示した図である。
【図２０】距離情報処理部２５又は３４から得られる車両前方の距離データを例示した図である。
【図２１】映像合成部２８において映像信号と距離データとを合成処理した画像をさらに上方から眺めたように座標変換した画像を例示した図である。
【図２２】車両１０後方の様子を真横から眺めたような合成画像（図１７を参照のこと）に対して目盛を貼り付けた画像を示した図である。
【図２３】図１５に示した合成画像に距離インジケータを埋め込んだ様子を示した図である。
【図２４】図２０に示した合成画像に距離インジケータを埋め込んだ様子を示した図である。
【図２５】センサ・モジュール２０を車載用コンピュータと組み合わせて車両の自動若しくは半自動操縦に応用した場合のシステム構成を模式的に示したブロック図である。
【図２６】本実施例に適用可能な受光素子の構成例を示した図である。
【図２７】本実施例に適用可能な受光素子の構成例を示した図である。
【図２８】本実施例に適用可能な受光素子の構成例を示した図である。
【符号の説明】
１０…車両
２０…センサ組み込み型モジュール
２１…受光部
２２…投光部
２３…モジュール制御部
２４…映像信号処理部
２５…距離情報処理部
２６…投光制御部
２７…レンズ
２８…映像合成部
３１…受光部
３２…モジュール制御部
３３…映像信号処理部
３４…距離情報処理部
３７…レンズ
５０…障害物
６０…車載用コンピュータ
６１…ブレーキ制御装置
６２…ハンドル制御装置

Claims

車両の運転操作を支援するための運転支援装置であって、
前記車両上の所定の部位に搭載され、所定の視野範囲を撮像する撮像手段と、
前記撮像手段によって撮像された障害物の各点までの距離を測定する距離測定手段と、
前記距離測定手段によって測定された距離情報に基づいて障害物に関する３次元座標を計算する座標演算手段と、
障害物に関する映像を３次元空間上で合成する映像合成手段と、
前記映像合成手段によって合成された映像を可視的に表示する表示手段とを具備し、
前記撮像手段は、照射角度が時間の関数で変化する投光手段と、所定の受光面を有するとともに該受光面上の各受光単位の位置を特定でき、さらに、該各受光単位の光強度の変化を演算する演算部を有する受光手段とで構成され、
前記距離測定手段は、前記受光手段の前記演算部で演算されて得られる前記各受光単位の光強度の変化に基づいて、該各受光単位における前記投光手段から発せられて前記障害物で反射された光の受光時刻を検出し、該検出された前記各受光単位の受光時刻から該各受光単位で受光される光の前記投光手段からの照射角度を求め、三角測量の原理に従って、前記障害物の各点の距離を算出する、
ことを特徴とする運転支援装置。
さらに、合成画像の座標変換を運転者が指示するための指示手段を具備し、前記映像合成手段は前記指示手段を介した指示内容に従って障害物の映像を合成することを特徴とする請求項１に記載の運転支援装置。
前記映像合成手段は、障害物の各点までの距離に応じた明度変換を施した濃淡映像を合成することを特徴とする請求項１に記載の運転支援装置。
前記映像合成手段は、障害物の各点までの距離に応じた色変換を施したカラー映像を合成することを特徴とする請求項１に記載の運転支援装置。
さらに、前記撮像手段によって撮像された障害物までの距離を数値データとして運転者に提示する手段を含むことを特徴とする請求項１に記載の運転支援装置。
前記映像合成手段は、あらかじめ用意された前記車両の画像を合成映像中に埋め込むことを特徴とする請求項１に記載の運転支援装置。
前記映像合成手段は、実距離に相当する目盛を合成映像中に埋め込むことを特徴とする請求項１に記載の運転支援装置。
さらに、前記距離測定手段によって測定された距離情報に基づいて運転の安全レベルを判断し、該判別結果を運転者に通知する手段を含むことを特徴とする請求項１に記載の運転支援装置。
さらに、
前記距離測定手段によって測定された距離情報に基づいて運転の安全レベルを逐次判断する安全レベル判断手段と、
前記安全レベル判断手段が危険を察知したことに応答して、前記車両の運転を制動するブレーキ制御手段と、
を具備することを特徴とする請求項１に記載の運転支援装置。
さらに、
前記距離測定手段によって測定された距離情報に基づいて運転の安全レベルを逐次判断する安全レベル判断手段と、
前記安全レベル判断手段が危険を察知したことに応答して、前記車両の進行方向を転換するハンドル制御手段と、
を具備することを特徴とする請求項１に記載の運転支援装置。
車両の運転操作を支援するための運転支援方法であって、
前記車両上の所定の部位に搭載された撮像手段で所定の視野範囲を撮像する撮像ステップと、
前記撮像ステップによって撮像された障害物の各点までの距離を測定する距離測定ステップと、
前記距離測定ステップによって測定された距離情報に基づいて障害物に関する３次元座標を計算する座標演算ステップと、
障害物に関する映像を３次元空間上で合成する映像合成ステップと、
前記映像合成ステップによって合成された映像を可視的に表示する表示ステップとを具備し、
前記撮像手段は、照射角度が時間の関数で変化する投光手段と、所定の受光面を有するとともに該受光面上の各受光単位の位置を特定でき、さらに、該各受光単位の光強度の変化を演算する演算部を有する受光手段とで構成され、
前記距離測定ステップでは、前記受光手段の前記演算部で演算されて得られる前記各受光単位の光強度の変化に基づいて、該各受光単位における前記投光手段から発せられて前記障害物で反射された光の受光時刻を検出し、該検出された前記各受光単位の受光時刻から該各受光単位で受光される光の前記投光手段からの照射角度を求め、三角測量の原理に従って、前記障害物の各点の距離を算出する、
ことを特徴とする運転支援方法。