JP4206978B2 - 赤外線撮像装置、並びに車両 - Google Patents

赤外線撮像装置、並びに車両 Download PDF

Info

Publication number
JP4206978B2
JP4206978B2 JP2004200378A JP2004200378A JP4206978B2 JP 4206978 B2 JP4206978 B2 JP 4206978B2 JP 2004200378 A JP2004200378 A JP 2004200378A JP 2004200378 A JP2004200378 A JP 2004200378A JP 4206978 B2 JP4206978 B2 JP 4206978B2
Authority
JP
Japan
Prior art keywords
infrared
light
laser
laser beam
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004200378A
Other languages
English (en)
Other versions
JP2006023150A (ja
Inventor
正範 佐藤
和貴 溝口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2004200378A priority Critical patent/JP4206978B2/ja
Priority to EP05014773A priority patent/EP1615051B1/en
Priority to US11/175,397 priority patent/US7166841B2/en
Priority to DE602005011205T priority patent/DE602005011205D1/de
Publication of JP2006023150A publication Critical patent/JP2006023150A/ja
Application granted granted Critical
Publication of JP4206978B2 publication Critical patent/JP4206978B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51Display arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Description

本発明は、周囲の障害物を検出するために近赤外線光を投光し、当該近赤外線光の反射を検出することによって、赤外線映像を撮像するために好適な赤外線撮像装置、並びに車両に関する。
従来より、熱画像の情報にレーザレーダからの情報を組み合わせ、熱画像上の物体の方向及び移動速度を検出する技術が、下記の特許文献1などにて知られている。この特許文献1に記載された車両搭載型障害物検出装置は、熱画像上の特定の障害物の進行方向及び速度等の情報を運転者等に提示するために、遠赤外線カメラを備えた赤外線撮像装置を用いて熱画像を取得し、レーザレーダ装置及び走査器を用いて障害物位置の検出を行っていた。
このような車両搭載型障害物検出装置では、赤外線撮像装置の遠赤外検出範囲と、レーザレーダ装置及び走査器の走査範囲を同一に設定する。そして、熱画像内の障害物位置とレーザレーダの走査角とが一致した時に、レーザレーダ装置によって求めた障害物までの距離情報及び自車の車速に基づいて、時系列の障害物進行方向及び速度を算出する。これによって、車両搭載型障害物検出装置では、熱画像に障害物、当該障害物までの距離、進行方向及び速度を表示させていた。
特開平5−11052号公報
しかしながら、上述した特許文献1に記載された車両搭載型障害物検出装置では、赤外線投光器を必要としない熱画像検出を前提としたものであり、物体からの遠赤外線を検出する必要があるために非常に高価な遠赤外線用検出器を搭載する必要があるので、全体として高価なシステムとなっていた。
これに対し、近赤外線検出を行う比較的安価な赤外線撮像装置を備えた暗視カメラシステムを用いたとしても、近赤外線投光器が必要となるため、当該近赤外線投光器と近赤外線検出器との双方のコストがかかり、更には近赤外線投光器に必要な消費電力も大きかった。
そこで、本発明は、上述した実情に鑑みて提案されたものであり、安価且つ低消費電力で赤外線映像を取得することができる赤外線撮像装置、並びに車両を提供することを目的とする。
本発明に係る赤外線撮像装置は、レーザ光を出射するレーザ光出射手段と、所定の物体検出範囲でレーザ光を走査させるように前記レーザ光出射手段のレーザ光出射角度を制御するレーザ光走査手段と、レーザ光走査手段で走査されて、物体で反射したレーザ光を受光するレーザ光受光手段と、レーザ光出射手段から出射されたレーザ光を発散させて、赤外線撮像手段の赤外線光撮像範囲に近赤外線を投光する赤外線投光手段と、赤外線投光手段で投光され、物体で反射した近赤外線光を受光して赤外線映像を撮像する赤外線撮像手段とを備える。この赤外線撮像装置は、制御手段により、物体を検出する場合には、レーザ光走査手段でレーザ光を走査させてレーザ光受光手段で受光したレーザ光に基づいて物体情報を算出し、赤外線映像を取得する場合には、赤外線投光手段で近赤外線を投光させて赤外線撮像手段で赤外線映像を撮像させ、レーザ光走査手段でレーザ光を走査させる期間と、赤外線投光手段で近赤外線を投光して赤外線撮像手段で赤外線映像を撮像する期間とを異なる期間とすることにより、上述の課題を解決する。
更に、本発明に係る車両は、上述の課題を解決するために、上述したような赤外線撮像装置を備える。
本発明によれば、物体を検出するための情報を求めるためのレーザ光を発散させることによって近赤外撮像範囲に赤外線を投光するので、当該近赤外撮像範囲に投光するための専用のものを備える必要が無く、安価且つ低消費電力で赤外線映像を取得させることができる。
以下、本発明の実施の形態について図面を参照して説明する。
本発明は、例えば図1に示すように自車両10に搭載され、図2に示すように構成された障害物提示システムに適用される。
この障害物提示システムは、自車両10の周囲映像を運転者等に提示するために、近赤外線方式を採用し、近赤外線カメラ4を備えている。この近赤外線カメラ4は、通常のCCDカメラ等と同様に障害物に反射した光を撮像する構成となっているために、自車両10が夜間走行をする場合には光源が必要となる。したがって、障害物提示システムでは、近赤外線光を出射するための構成として、赤外線投光器であるレーザレーダ兼用近赤外線投光器1を備える。
この近赤外線光は、人間の目から視認されない波長の光であって、運転者等によって確認を行うことができない。これに対し、太陽光や自車両10が備えたランプ装置から出射される光には、可視光のみならず近赤外線光が含まれているが、近赤外線カメラ4で障害物検出をするためには、非常に高い強度の光をランプ装置から出射させる必要があり、対向車等に不都合を与えることになる。これに対し、障害物提示システムでは、可視領域の波長を含まない近赤外領域の波長の光を高い強度で出射するレーザレーダ兼用近赤外線投光器1を備えることになる。
この障害物提示システムは、例えば図1に示すように、自車両10の車体前部にレーザレーダ兼用近赤外線投光器1、インストルメントパネル内に映像生成部2及びECU(Electric Control Unit)3、フロントガラス上部に近赤外線カメラ4、運転者の視認可能範囲であってフロントガラス下部を表示部分とした映像表示器5が設けられて構成されている。
この自車両10の車体には、図2に示すように、近赤外投光用レンズ11と、近赤外光透過バンドパスフィルタ12が設けられている。これらの近赤外投光用レンズ11及び近赤外光透過バンドパスフィルタ12は、後述するがレーザレーダ兼用近赤外線投光器1からのレーザ光が入射可能な位置に設けられている。近赤外投光用レンズ11は、レーザレーダ兼用近赤外線投光器1からのレーザ光を発散させて投光するような光学設計となっている。
この障害物提示システムは、図2に示すように、ECU3に、レーザレーダ兼用近赤外線投光器1、近赤外線カメラ4及び映像表示器5が接続され、映像生成部2に映像表示器5が接続されて構成されている。この障害物提示システムは、ECU3によってレーザレーダ兼用近赤外線投光器1、近赤外線カメラ4及び映像表示器5を制御して、映像表示器5に赤外線画像及び障害物情報を表示する。
レーザレーダ兼用近赤外線投光器1は、自車両10前方に存在する他車両等の障害物位置を検出するためのレーザ光を出射すると共に、近赤外線カメラ4によって受光される近赤外線光を出射する。このレーザレーダ兼用近赤外線投光器1は、図2に示すように、自車両10前方に向けてレーザ光を出射するレーザー発振器21、自車両10前方の障害物からの反射レーザ光を受光するレーザー受光器22、レーザ発振器21の出射角を制御する首振りアクチュエータ23からなる。
レーザー発振器21は、通常、800nm〜900nmのうちの近赤外領域の単一波長のレーザ光を出射する。このレーザー発振器21のレーザ光出射角度は、首振りアクチュエータ23によって制御される。このレーザー発振器21は、自車両10前方の障害物を検出するためのレーザ光源、及び、近赤外線カメラ4によって赤外線映像を表示させるための赤外線投光器として機能する。
このレーザー発振器21は、自車両10前方の障害物を検出する場合には、横方向に所定のレーザ光出射角度範囲(レーザスキャン範囲)θ1でレーザ光を走査するように首振りアクチュエータ23によって制御される。また、このレーザ光の出射角度を上下方向にも移動することができる。これにより、レーザー発振器21は、近赤外光透過バンドパスフィルタ12を介して自車両10前方を上下方向及び横方向でレーザ光を走査させる。
また、レーザー発振器21は、近赤外線カメラ4によって検出される近赤外光を出射する場合には、図2中のレーザ光出射角度を上方にθ2だけ傾けてレーザ光を出射するように首振りアクチュエータ23によって制御される。これにより、レーザー発振器21は、近赤外投光用レンズ11を介して自車両10前方に近赤外線光を発散させる。このとき、首振りアクチュエータ23は、横方向への走査を停止している。
首振りアクチュエータ23は、ECU3からの発振制御信号及び首振り制御信号を入力する。この首振りアクチュエータ23は、発振制御信号に基づいて、レーザー発振器21でレーザ光を走査させる期間を制御する。また、首振りアクチュエータ23は、首振り制御信号に基づいて、レーザ光出射角度θ1のスキャン範囲内でレーザ光を走査させたり、レーザ光出射角度θ2でレーザ光を出射させる。
レーザー受光器22は、レーザー発振器21から出射されて、近赤外光透過バンドパスフィルタ12を透過し、自車両10前方の障害物から反射された反射レーザ光を受光して受光信号を検出する。この受光信号はECU3に供給され、当該ECU3は、受光信号を検出する期間と、受光信号をキャンセルする期間とを制御する。
近赤外線カメラ4は、レーザー発振器21から出射されたレーザ光が近赤外投光用レンズ11で発散され、自車両10の前方で反射された近赤外光を受光する。この近赤外線カメラ4は、例えば780nm〜1000nmの近赤外光を受光するように構成され、少なくともレーザー発振器21から出射されるレーザ光波長の近赤外光を受光するように構成されている。
この近赤外線カメラ4は、ECU3からシャッター信号を入力し、当該シャッター信号によって近赤外光の受光タイミング、すなわち赤外線映像の撮像タイミングが制御される。そして、近赤外線カメラ4は、赤外線映像を示す映像信号を映像生成部2に出力する。
ECU3は、レーザレーダ兼用近赤外線投光器1の制御、障害物情報の算出処理、及び近赤外線カメラ4の撮像タイミング制御を行う。このECU3は、障害物位置を含む障害物情報を取得するに際して、レーザー発振器21からレーザ光を出射する指令である発振制御信号、及び、レーザ光出射角度θ1でレーザ光を走査させる指令である首振り制御信号を出力する。これにより、ECU3は、近赤外光透過バンドパスフィルタ12を介して走査されたレーザ光が障害物に反射したことによりレーザー受光器22で受光した受光信号を取得する。そして、ECU3は、この受光信号を用いて、障害物の有無、自車両10に対する障害物方向及び自車両10からの障害物距離を求め、障害物情報として映像生成部2に出力する。
また、ECU3は、赤外線映像を撮像させる場合には、レーザー発振器21から近赤外投光用レンズ11に向けてレーザ光を出射させる首振り制御信号を首振りアクチュエータ23に供給するのと同期させて、近赤外線カメラ4にシャッター信号を供給する。これにより、近赤外投光用レンズ11で発散した近赤外光を確実に近赤外線カメラ4で受光させる。このとき、ECU3は、以前に取得した受光信号から障害物情報を算出していても良い。
映像生成部2は、近赤外線カメラ4からの赤外線映像及びECU3からの障害物情報を入力し、赤外線映像に障害物情報を重畳させた表示画像を作成して、映像信号として映像表示器5に出力する。
映像表示器5は、例えばヘッドアップディスプレイからなり、映像生成部2からの映像信号を用いた表示動作を行うことにより、赤外線映像及び障害物情報を運転者等に提示する。
つぎに、上述した障害物提示システムにおけるレーザスキャン範囲、近赤外撮像範囲及び近赤外投光範囲について説明する。
この障害物提示システムは、図2及び図3に示すように、レーザスキャン範囲A、近赤外撮像範囲B及び近赤外投光範囲Cが設定されて構成されている。すなわち、図3(a)に示すように、他車両表示51である障害物を表示する赤外線映像41を撮像するような近赤外線カメラ4の近赤外撮像範囲Bが設定されており、図3(c)に示すように、当該近赤外撮像範囲Bと略同じ垂直方向及び水平方向の範囲に少なくとも近赤外光を投光する近赤外投光範囲Cが設定されている。
この近赤外投光範囲Cの設定は、例えば、レーザー発振器21から近赤外投光用レンズ11へのレーザ光出射角度θ2、近赤外投光用レンズ11の設置位置、近赤外投光用レンズ11の光学パラメータを変更することによって実現される。
また、図3(b)に示すように、レーザスキャン範囲Aは、近赤外撮像範囲B及び近赤外投光範囲Cと略同じ垂直方向範囲、近赤外撮像範囲B及び近赤外投光範囲Cよりも所定領域大きい水平方向範囲となるように設定されている。このレーザスキャン範囲Aの設定は、首振りアクチュエータ23によって、レーザー発振器21のレーザ光出射角度θ1が制御されることによって実現される。
このようにレーザスキャン範囲A、近赤外撮像範囲B及び近赤外投光範囲Cが設定されることにより、近赤外投光範囲Cは、レーザスキャン範囲A及び近赤外撮像範囲Bを含んだ範囲となる。
レーザレーダ兼用近赤外線投光器1は、図3(b)に示すようなレーザスキャン範囲Aにおいて、垂直方向(上下方向)に複数に区分して水平方向(横方向)にレーザ光を走査させる。この図3(b)では、レーザスキャン範囲Aの垂直方向を3区分して、3回水平方向にレーザ光を走査させる場合を示している。これによって、ECU3は、障害物からの反射レーザ光を検出したレーザスキャン範囲A内位置から障害物位置を求めることができ、すなわち赤外線映像41の画像内上方向での障害物検出、赤外線映像41の画像内中間での障害物検出、及び赤外線映像41の画像内下方向での障害物検出を行うことができる。
これにより、障害物提示システムは、映像生成部2によって、図4に示すように、赤外線映像に、障害物である他車両表示51、障害物マーク表示52、距離表示53を重畳させた表示画像42を映像表示器5で表示させることができる。
このとき、ECU3は、所定の期間ごとに赤外線映像を取得するように近赤外線カメラ4を制御し、当該近赤外線カメラ4による赤外線映像の撮像期間を除く期間内で受光信号を取得するようにレーザレーダ兼用近赤外線投光器1を制御する。換言すれば、ECU3は、レーザー発振器21によってレーザ光を走査させてレーザー受光器22で反射レーザ光を検出する期間を除く期間であって、レーザー受光器22からの受光信号をECU3で解析して障害物情報を生成するのに要する期間に赤外線投光をさせて、近赤外線カメラ4で赤外線映像を撮像させる。
つぎに、上述した障害物提示システムにおける赤外線映像の取得タイミングと、障害物情報を作成するための受光信号の取得タイミングとを制御する処理について説明する。
ここで、映像表示器5に出力する映像信号は、映像表示器5が通常のビデオ信号も表示できるように構成されているために、当該ビデオ信号を表示させるための規格と同じ規格とする必要がある。このビデオ信号は、規格化された所定の同期信号によって所定の周波数で表示させ、したがって、赤外線映像も当該所定の周波数で表示する必要がある。このため、ECU3は、レーザレーダ兼用近赤外線投光器1の赤外線投光タイミング及び近赤外線カメラ4の赤外線映像取得タイミングをビデオ信号に同期させて、赤外線映像を取得させる必要がある。
具体的には、ビデオ信号の方式としては、NTSC(National Television System Committee)方式、PAL(Phase Alternation by Line)方式、SECAM方式が存在し、どの方式であっても、それぞれの所定の周波数で映像を表示させる。このうち、NTSC方式は、一秒間に30枚のフレーム画像を連続的に表示させる方式であって、一枚のフレーム画像を525本の走査線で構成することが、プログレッシブ方式として規格化されている。また、このNTSC方式は、一秒間に30枚のフレーム画像を表示させた場合に映像のちらつきが発生するために、一枚のフレーム画像を奇数フィールド画像と偶数フィールド画像とに分けて、一秒間に60枚のフィールド画像を表示させることも、インターレース方式として規格化している。
したがって、映像表示器5によりインターレース方式で赤外線映像を表示させる場合には、1フレームの期間に奇数フィールド画像と偶数フィールド画像とを表示させる映像信号を作成する。すなわち、映像生成部2は、1フレームの期間(フレーム周波数:30Hz)に、2枚の赤外線画像をフィールド周波数の60Hzで表示させる映像信号を作成する。
これに対し、ECU3は、図5に示すように近赤外線カメラ4、レーザー発振器21及びレーザー受光器22を制御することによって、単一のレーザー発振器21によって障害物情報及び赤外線映像を映像生成部2に供給して、図4に示すような表示を映像表示器5に行わせる。なお、図5に示すタイミングチャートは、映像信号の方式としてNTSC方式を採用した場合の障害物提示システムの動作である。
この図5によれば、ECU3は、NTSC方式の1フィールド期間ごとの時刻t1,t2,t3にシャッター信号を発生させて近赤外線カメラ4に供給する(図5(a))。これにより、近赤外線カメラ4は、1フレーム期間が33.33msecのフレーム同期信号を生成すると共に(図5(b))、1フィールド期間が16.66msecのフィールド同期信号を生成する(図5(c))。
また、近赤外線カメラ4は、1フィールド期間ごとに所定期間だけ所定のシャッタ速度で開状態にすることによって、近赤外撮像範囲Bの近赤外光を受光する(図5(b))。なお、この近赤外線カメラ4のシャッタ速度及びシャッタ開時間は、自車両10周囲の明るさ等によって任意に調整される。これにより、近赤外線カメラ4は、1フィールド期間ごとに赤外線映像であるフィールド画像信号を映像生成部2に供給する状態となる。
これに対し、ECU3は、1フィールド期間を近赤外光投光期間とレーザ光走査期間とに区分する首振り制御信号を作成して、首振りアクチュエータ23を制御する。このとき、ECU3は、電圧レベルで首振り制御信号を表現し、当該電圧レベルによってレーザー発振器21のレーザ光出射角度をθ1の範囲であって図3(b)に示す上方向、中間方向及び下方向とを区別し、更にレーザー発振器21のレーザ光出射角度をθ2とする。本例では、0Vの首振り制御信号である場合にはレーザ光出射角度をθ2とし、5Vの首振り制御信号である場合には上方向を走査するレーザ光出射角度とし、3Vの首振り制御信号である場合には中間方向を走査するレーザ光出射角度とし、1Vの首振り制御信号である場合には下方向を走査するレーザ光出射角度としている。
したがって、ECU3は、シャッター信号と同期してレーザ光出射角度をθ2とする首振り制御信号を首振りアクチュエータ23に供給することによって、近赤外線カメラ4の受光タイミングと、近赤外投光用レンズ11からの近赤外光の投光タイミングとを同期させている。また、ECU3は、近赤外光の投光タイミングを除く期間に、1フィールド期間内に電圧レベルが5V,3V,1Vと段階的に変化する首振り制御信号を首振りアクチュエータ23に供給することによって、図3(b)に示すようにレーザ光を走査させて、首振りアクチュエータ23から受光信号を取得する。なお、本例では、1フィールド期間を略半分に区分して、時刻t11より前半を赤外線映像の取得期間、時刻t11より後半を受光信号の取得期間としている。
そして、ECU3は、時刻t2となると、首振り制御信号を0Vとすると共にシャッター信号を近赤外線カメラ4に供給して赤外線映像を取得させ、時刻t2以降の赤外線映像の取得期間内に時刻t11〜時刻t2で取得した受光信号を解析して障害物情報を生成して映像生成部2に供給する。これにより、映像生成部2は、時刻t3において、赤外線映像と障害物情報とを重畳させた表示を映像表示器5に行わせる。
なお、赤外線映像の取得期間においてもレーザー受光器22でレーザ光と同じ波長の光が検出される場合があるが、この赤外線映像の取得期間では、レーザー受光器22の受光をキャンセルしても良く、更にはECU3で受光信号をキャンセルしても良い。
また、この図5を用いて説明した処理では、首振り制御信号を電圧レベルによって表現した場合について説明したが、当該電圧レベル以外の他の信号形式を採用して、レーザー発振器21のレーザ光出射角度を制御しても良い。
更に、図5を用いて説明した処理では、発振制御信号が2段階で変化する場合について説明したが、近赤外投光用レンズ11を介して近赤外光を投光する場合と、近赤外光透過バンドパスフィルタ12を介してレーザ光を走査する場合とで発振出力を変化させる場合等においては、ECU3から首振りアクチュエータ23に供給する発振制御信号を変化させても良い。
更にまた、図5を用いて説明した処理では、1フィールド期間を略同期間の赤外線映像の取得期間と受光信号の取得期間とに区分した場合について説明したが、1フレーム期間内に少なくとも1枚のフレーム画像を取得し、赤外線映像の取得期間を除く期間に受光信号の取得期間を設けるという条件を満たせば、赤外線映像の取得期間及び受光信号の取得期間を変更しても良く、更には、1フィールド期間ごとに受光信号の取得期間を設けなくても良い。つまり、実際のシステム構成や条件等によって、より長い期間を必要とする処理に長い期間を割り当てても良い。
更にまた、上述した障害物提示システムは、近赤外投光用レンズ11と近赤外光透過バンドパスフィルタ12とが固定して設置され、レーザー発振器21のレーザ光出射角度を変更することでレーザ光を近赤外投光用レンズ11又は近赤外光透過バンドパスフィルタ12に透過させていたが、これに限らず、レーザー発振器21のレーザ光出射角度をθ1の範囲とし、近赤外投光用レンズ11の位置を機械的に変更可能な構成として駆動制御することによって近赤外投光範囲Cに近赤外光を投光するようにしても良い。
[実施形態の効果]
以上詳細に説明したように、本発明を適用した障害物提示システムによれば、障害物情報を求めるためのレーザ光を発散させることによって近赤外撮像範囲Bに赤外線を投光するので、障害物検出のための光源と赤外線映像取得のための光源とを共用することができる。したがって、この障害物提示システムによれば、近赤外線カメラ4で赤外線映像を取得するための、例えばハロゲンランプやLED(Light Emitting Diode)等の専用の投光器を搭載する必要が無く、赤外線映像を取得するためのコストを低減することができると共に消費電力を低減させることができ、更には部品レイアウトを良好なものとすることができる。ここで、一般的なレーザレーダに使用する波長域と、既存のハロゲンランプやLEDの波長域とが同じ近赤外線波長域となっているため、十分に光源を共用することができる。
また、この障害物提示システムによれば、レーザスキャン範囲Aで走査されるレーザ光のレーザ光出射角度θ1とは異なるレーザ光出射角度θ2でレーザ光を出射させ、近赤外投光用レンズ11で発散させて近赤外撮像範囲Bを含む近赤外投光範囲Cに投光することができ、レーザー発振器21の出射方向を変更するという簡単な制御によって障害物検出のための光源と赤外線映像取得のための光源とを共用することができる。ここで、近赤外投光用レンズ11は、レーザスキャン範囲の横(スキャン方向)にずれた位置に配置しても良い。
更にまた、この障害物提示システムによれば、レーザスキャン範囲A及び近赤外撮像範囲Bを含む範囲に赤外線を投光するので、同一の範囲についての赤外線映像及び障害物情報を取得することができる。
更にまた、この障害物提示システムによれば、障害物を検出する場合には、レーザ光出射角度θ1でレーザ光を走査させて障害物情報を算出し、赤外線映像を取得する場合には、赤外線を投光させて近赤外線カメラ4で赤外線映像を撮像させるので、障害物情報と赤外線映像との双方を単一のレーザー発振器21を使用して取得することができる。
更にまた、この障害物提示システムによれば、レーザ光をレーザ光出射角度θ1で走査させる期間と、赤外線を投光して近赤外線カメラ4で赤外線映像を撮像する期間とを異なる期間としたので、障害物情報の取得と近赤外線映像の取得とを併用して行うことができる。
具体的には、図5に示した所定の映像表示間隔であるフィールド期間t1,t2・・・ごとに赤外線を投光させて赤外線映像を撮像させ、所定のフィールド期間内であって赤外線を投光させていない期間にレーザ光を走査させることができる。換言すれば、ECU3で障害物情報を算出している期間であってレーザ光を走査させていない期間に、赤外線を投光させて近赤外線カメラ4で赤外線映像を撮像させることができる。
更にまた、この障害物提示システムによれば、併用して取得した赤外線映像及び障害物情報を映像表示器5で表示させるので、赤外線映像に含まれる障害物の位置、距離又は速度を併せて運転者に提示することができる。
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
本発明を適用した障害物提示システムを自車両に搭載した一例を示す斜視図である。 本発明を適用した障害物提示システムの構成を示すブロック図である。 本発明を適用した障害物提示システムにおけるレーザスキャン範囲、近赤外撮像範囲及び近赤外投光範囲の関係について説明するための図であって、(a)は赤外線映像、(b)はレーザスキャン範囲におけるレーザ光の走査、(c)は近赤外投光範囲を示す図である。 本発明を適用した障害物提示システムによって表示させる情報の一例を示す図である。 本発明を適用した障害物提示システムによって赤外線映像及び障害物情報を取得する時のタイミングチャートであって、(a)は近赤外線カメラのシャッター信号、(b)は近赤外線カメラ内のフレーム同期信号、(c)近赤外線カメラ内のフィールド同期信号、(d)はシャッター速度、(e)は首振り制御信号、(f)は受光信号、(g)は発振制御信号を示す図である。
符号の説明
1 レーザレーダ兼用近赤外線投光器
2 映像生成部
3 ECU
4 近赤外線カメラ
5 映像表示器
10 自車両
11 近赤外投光用レンズ
12 近赤外光透過バンドパスフィルタ
21 レーザー発振器
22 レーザー受光器
23 首振りアクチュエータ
41 赤外線映像
42 表示画像
51 他車両表示
52 障害物マーク表示
53 距離表示

Claims (7)

  1. 物体を検出すると共に、当該物体映像を含む赤外線映像を取得する赤外線撮像装置であって、
    レーザ光を出射するレーザ光出射手段と、
    所定の物体検出範囲でレーザ光を走査させるように前記レーザ光出射手段のレーザ光出射角度を制御するレーザ光走査手段と、
    前記レーザ光走査手段で走査されて、物体で反射したレーザ光を受光するレーザ光受光手段と、
    前記レーザ光出射手段から出射されたレーザ光を発散させて、前記赤外線撮像手段の赤外線光撮像範囲に近赤外線を投光する赤外線投光手段と、
    前記赤外線投光手段で投光され、物体で反射した近赤外線光を受光して赤外線映像を撮像する赤外線撮像手段と、
    前記物体を検出する場合には、前記レーザ光走査手段でレーザ光を走査させて前記レーザ光受光手段で受光したレーザ光に基づいて物体情報を算出し、前記赤外線映像を取得する場合には、前記赤外線投光手段で近赤外線を投光させて前記赤外線撮像手段で赤外線映像を撮像させる制御手段とを備え、
    前記制御手段は、前記レーザ光走査手段でレーザ光を走査させる期間と、前記赤外線投光手段で近赤外線を投光して前記赤外線撮像手段で赤外線映像を撮像する期間とを異なる期間とすることを特徴とする赤外線撮像装置。
  2. 前記赤外線投光手段は、前記レーザ光走査手段の物体検出範囲及び前記赤外線撮像手段の赤外線光撮像範囲を含む範囲に近赤外線を投光することを特徴とする請求項に記載の赤外線撮像装置
  3. 前記制御手段は、前記物体を検出する場合には、所定のレーザ光出射角度でレーザ光を走査させるように前記レーザ光走査手段を制御し、前記赤外線映像を取得する場合には、前記所定のレーザ光出射角度とは異なるレーザ光出射角度でレーザ光を出射させるように前記レーザ光走査手段を制御して前記赤外線投光手段でレーザ光を発散させることを特徴とする請求項に記載の赤外線撮像装置。
  4. 前記制御手段は、所定の映像表示間隔で前記赤外線投光手段から近赤外線を投光させて前記赤外線撮像手段により赤外線映像を撮像させ、前記所定の映像表示間隔内であって前記赤外線投光手段から近赤外線を投光させていない期間に前記レーザ光走査手段によりレーザ光を走査させることを特徴する請求項に記載の赤外線撮像装置。
  5. 前記制御手段は、前記物体情報を算出している期間であって前記レーザ光を走査させていない期間に、前記赤外線投光手段から近赤外線を投光させて前記赤外線撮像手段により赤外線映像を撮像させることを特徴する請求項に記載の赤外線撮像装置。
  6. 前記赤外線撮像手段により撮像した赤外線映像及び前記制御手段により算出した物体情報を表示する表示手段を更に備えることを特徴とする請求項乃至請求項の何れかに記載の赤外線撮像装置。
  7. 請求項乃至請求項の何れかに記載の赤外線撮像装置を備えることを特徴とする車両。
JP2004200378A 2004-07-07 2004-07-07 赤外線撮像装置、並びに車両 Expired - Fee Related JP4206978B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004200378A JP4206978B2 (ja) 2004-07-07 2004-07-07 赤外線撮像装置、並びに車両
EP05014773A EP1615051B1 (en) 2004-07-07 2005-07-07 Object detection apparatus, especially for vehicles
US11/175,397 US7166841B2 (en) 2004-07-07 2005-07-07 Object detection apparatus, especially for vehicles
DE602005011205T DE602005011205D1 (de) 2004-07-07 2005-07-07 Objekterfassungsgerät, insbesondere für Fahrzeuge

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004200378A JP4206978B2 (ja) 2004-07-07 2004-07-07 赤外線撮像装置、並びに車両

Publications (2)

Publication Number Publication Date
JP2006023150A JP2006023150A (ja) 2006-01-26
JP4206978B2 true JP4206978B2 (ja) 2009-01-14

Family

ID=34937793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004200378A Expired - Fee Related JP4206978B2 (ja) 2004-07-07 2004-07-07 赤外線撮像装置、並びに車両

Country Status (4)

Country Link
US (1) US7166841B2 (ja)
EP (1) EP1615051B1 (ja)
JP (1) JP4206978B2 (ja)
DE (1) DE602005011205D1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7541588B2 (en) * 2005-07-12 2009-06-02 Northrop Grumman Corporation Infrared laser illuminated imaging systems and methods
EP1792775B1 (de) * 2005-12-02 2018-03-07 Volkswagen Aktiengesellschaft Kraftfahrzeug mit einem sensor zum erkennen eines hindernisses in einer umgebung des kraftfahrzeuges
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
DE102006041930A1 (de) * 2006-09-07 2008-03-27 Bayerische Motoren Werke Ag Fahrer-Assistenzsystem mit Objekterkennung
US7720260B2 (en) * 2006-09-13 2010-05-18 Ford Motor Company Object detection system and method
CN100498248C (zh) * 2007-05-08 2009-06-10 中国科学院上海技术物理研究所 基于多元面阵拼接的高空红外成像方法
TWI327536B (en) * 2007-05-16 2010-07-21 Univ Nat Defense Device and method for detecting obstacle by stereo computer vision
JP2010271140A (ja) * 2009-05-20 2010-12-02 Toshiba Corp 目標検出装置及び目標検出方法
US20110160919A1 (en) * 2009-12-30 2011-06-30 Orr David C Mobile fluid delivery control system and method
US9046895B2 (en) * 2009-12-30 2015-06-02 Caterpillar Inc. System and method for controlling fluid delivery
US8360343B2 (en) 2010-04-30 2013-01-29 Caterpillar Inc. Methods and systems for executing fluid delivery mission
JP5698480B2 (ja) 2010-09-02 2015-04-08 株式会社トプコン 測定方法及び測定装置
RU2447401C1 (ru) * 2010-10-19 2012-04-10 Учреждение Российской академии наук Институт физики полупроводников им. А.В. Ржанова Сибирского отделения РАН (ИФП СО РАН) Тепловизионная система с лазерной подсветкой
FI20115326A0 (fi) * 2011-04-05 2011-04-05 Zenrobotics Oy Menetelmä sensorin mittausten mitätöimiseksi poimintatoiminnon jälkeen robottijärjestelmässä
JP2013124968A (ja) * 2011-12-15 2013-06-24 Ihi Aerospace Co Ltd 自動測距装置
US9413988B2 (en) * 2012-07-24 2016-08-09 Fluke Corporation Thermal imaging camera with graphical temperature plot
JP6144682B2 (ja) * 2012-08-08 2017-06-07 株式会社小糸製作所 車両用灯具
US9024804B2 (en) * 2012-09-14 2015-05-05 Delphi Technologies, Inc. Partial covering radome for a radar unit
JP5841093B2 (ja) * 2013-03-26 2016-01-13 Necパーソナルコンピュータ株式会社 情報処理装置
KR101509092B1 (ko) 2013-09-30 2015-04-07 컴레이저 (주) 광고 기능을 갖는 번호판 인식용 카메라의 led 투광기
GB201318185D0 (en) 2013-10-14 2013-11-27 Guidance Navigation Ltd Tracking device
US11124116B2 (en) * 2014-12-12 2021-09-21 Serge B. HOYDA System and process for viewing in blind spots
US11518309B2 (en) * 2014-12-12 2022-12-06 Serge Hoyda LLC System and process for viewing in blind spots
US10138672B2 (en) 2014-12-12 2018-11-27 Serge B. HOYDA Mounting system for a camera
US10046703B2 (en) * 2014-12-12 2018-08-14 Serge B. HOYDA System and process for viewing in blind spots
WO2016094882A1 (en) 2014-12-12 2016-06-16 Hoyda Serge B Mounting system for a camera
CN105572679B (zh) * 2016-02-04 2018-03-16 重庆大学 一种二维扫描型激光雷达的扫描数据修正方法及系统
WO2019124177A1 (ja) * 2017-12-19 2019-06-27 パイオニア株式会社 光走査装置及び測距装置
JP7243707B2 (ja) * 2018-02-22 2023-03-22 コニカミノルタ株式会社 監視システムおよび監視システムの制御方法
JP7190820B2 (ja) * 2018-04-02 2022-12-16 パナソニックホールディングス株式会社 侵入検知システムおよび侵入検知方法
CN108508453A (zh) * 2018-05-25 2018-09-07 洛伦兹(北京)科技有限公司 激光探测设备及方法
DE102018004782A1 (de) * 2018-06-15 2019-12-19 Daimler Ag Verfahren und Vorrichtung zum Erfassen einer Umgebung, sowie Fahrzeug mit einer solchen Vorrichtung
GB2579562A (en) * 2018-12-03 2020-07-01 Siemens Mobility Ltd Vehicle recognition system and method
US11099270B2 (en) * 2018-12-06 2021-08-24 Lumineye, Inc. Thermal display with radar overlay
WO2020126396A1 (en) * 2018-12-17 2020-06-25 Orlaco Products B.V. Camera mirror system with ir led night vision system
CN111474552A (zh) * 2019-01-23 2020-07-31 科沃斯机器人股份有限公司 一种激光测距方法、装置以及自移动设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3897150A (en) * 1972-04-03 1975-07-29 Hughes Aircraft Co Scanned laser imaging and ranging system
JPS58200182A (ja) * 1982-05-18 1983-11-21 Mitsubishi Electric Corp アクテイブ画像追尾装置
JPS63307379A (ja) * 1987-06-09 1988-12-15 Agency Of Ind Science & Technol 赤外線視覚センサ
US4902126A (en) * 1988-02-09 1990-02-20 Fibertek, Inc. Wire obstacle avoidance system for helicopters
US5202742A (en) * 1990-10-03 1993-04-13 Aisin Seiki Kabushiki Kaisha Laser radar for a vehicle lateral guidance system
US5200793A (en) * 1990-10-24 1993-04-06 Kaman Aerospace Corporation Range finding array camera
JPH0511052A (ja) * 1991-06-28 1993-01-19 Nec Corp 車両搭載型障害物検出装置
US5313262A (en) * 1992-09-30 1994-05-17 Imra America, Inc. Systems and methods for object detection using beam widening optics
US5529138A (en) * 1993-01-22 1996-06-25 Shaw; David C. H. Vehicle collision avoidance system
US5371581A (en) * 1993-03-08 1994-12-06 Schwartz Electro-Optics, Inc. Helicopter obstacle warning system
FR2712703B1 (fr) * 1993-11-17 1996-01-05 Valeo Electronique Dispositif optique d'aide à la conduite.
JPH07182600A (ja) * 1993-12-22 1995-07-21 Nissan Motor Co Ltd 車両用距離検出装置
JPH07333339A (ja) * 1994-06-03 1995-12-22 Mitsubishi Electric Corp 自動車用障害物検知装置
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US6370475B1 (en) * 1997-10-22 2002-04-09 Intelligent Technologies International Inc. Accident avoidance system
US5764785A (en) * 1995-08-21 1998-06-09 Jones; Mark F. Object identification system
JP3802394B2 (ja) * 2001-10-16 2006-07-26 オムロン株式会社 車載用レーダ装置
JP3903968B2 (ja) 2003-07-30 2007-04-11 日産自動車株式会社 非接触式情報入力装置
JP3832455B2 (ja) 2003-07-31 2006-10-11 日産自動車株式会社 車輌周囲表示装置
JP2005114542A (ja) * 2003-10-08 2005-04-28 Hitachi Ltd 障害物検知装置及びそれを用いた障害物警報装置

Also Published As

Publication number Publication date
US20060197019A1 (en) 2006-09-07
JP2006023150A (ja) 2006-01-26
DE602005011205D1 (de) 2009-01-08
EP1615051B1 (en) 2008-11-26
US7166841B2 (en) 2007-01-23
EP1615051A1 (en) 2006-01-11

Similar Documents

Publication Publication Date Title
JP4206978B2 (ja) 赤外線撮像装置、並びに車両
US8078356B2 (en) Driving assist method and driving assist apparatus
US6774367B2 (en) Active night vision system for vehicles employing anti-blinding scheme
US9077861B2 (en) Image processing apparatus, electronic apparatus, and image processing method
EP1376154B1 (en) An Active Night Vision System for a Motor Vehicle
EP1562063A1 (en) Night Vision System
US6966681B2 (en) Active night vision system for vehicles employing anti-blinding scheme
JP2008276328A (ja) 顔画像撮像装置
JP2008094221A (ja) 目状態検出装置および目状態検出装置の取り付け方法
JP2016097818A (ja) ヘッドアップディスプレイ装置
JP2005184225A (ja) 車両用表示装置
US20160063334A1 (en) In-vehicle imaging device
JP2006277085A (ja) 光学式ポインティング制御装置及び該装置を用いたポインティングシステム
JP2010156929A (ja) 表示装置
JPH10147178A (ja) 車両の後方監視装置
JP7131209B2 (ja) ディスプレイ装置、ディスプレイ方法およびプログラム
JP2017116625A (ja) ヘッドアップディスプレイ装置、及び制御方法
JP4795813B2 (ja) 車両周囲監視装置
JPH06189306A (ja) 運転者撮影装置
JP2011155390A (ja) 車載表示装置
JP2020091409A (ja) ディスプレイ装置、判別方法および照射方法
JP2018181025A (ja) 視線検出装置
JP2017116627A (ja) ヘッドアップディスプレイ装置、及び制御方法
JP2020092343A (ja) ディスプレイ装置、判別方法および照射方法
JPS6177704A (ja) 車両運転者位置認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080924

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081007

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131031

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees