JP5853947B2 - 暗視装置 - Google Patents

暗視装置 Download PDF

Info

Publication number
JP5853947B2
JP5853947B2 JP2012284577A JP2012284577A JP5853947B2 JP 5853947 B2 JP5853947 B2 JP 5853947B2 JP 2012284577 A JP2012284577 A JP 2012284577A JP 2012284577 A JP2012284577 A JP 2012284577A JP 5853947 B2 JP5853947 B2 JP 5853947B2
Authority
JP
Japan
Prior art keywords
light
infrared
luminance
night vision
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012284577A
Other languages
English (en)
Other versions
JP2014127924A (ja
Inventor
和成 服部
和成 服部
浩高 鈴木
浩高 鈴木
展彦 井上
展彦 井上
和秀 大田
和秀 大田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2012284577A priority Critical patent/JP5853947B2/ja
Priority to US14/654,693 priority patent/US9497395B2/en
Priority to PCT/JP2013/007317 priority patent/WO2014103223A1/ja
Publication of JP2014127924A publication Critical patent/JP2014127924A/ja
Application granted granted Critical
Publication of JP5853947B2 publication Critical patent/JP5853947B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/12Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices with means for image conversion or intensification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Description

本発明は、自動車に搭載される暗視装置に関する。
従来、自動車に搭載される暗視装置、いわゆるナイトビジョンシステムが知られている(特許文献1参照)。この種の暗視装置は、自車両周辺の規定された規定空間に近赤外線を発光する投光器と、近赤外線を含む光を規定空間から受光して画像を生成する撮像装置と、撮像装置で撮像した画像を表示する表示装置とを備えている。
さらに、この種の暗視装置の中には、撮像装置で撮像した画像に基づいて、歩行者などの検出対象物を検出して、当該検出対象物の存在を報知するものがある。
特開2007−156832号公報
この種の暗視装置では、表示装置に表示される画像の視認性を向上させることが求められており、暗視装置における撮像装置が生成する画像をカラー画像とすることが求められている。
この要求を実現するために、暗視装置に用いられる撮像装置の中には、モザイク状(マトリックス状)に配置された複数の受光素子と、可視光線を通過する可視光フィルタと、近赤外線を通過する近赤外フィルタとを備えたものがある。
通常、暗視装置に用いられる受光素子のそれぞれは、可視光から近赤外線の波長域に受光感度を持ち、カラー画像を生成するための特定の色情報を含む可視光線と近赤外線を通過する可視光フィルタ、及び近赤外線のみを通過する近赤外フィルタのいずれかを介してあるいはフィルタを介さず、受光強度に応じた大きさの信号を出力する。可視光フィルタは、通常ベイヤー配列されたRGBあるいはCyMgYeG等により構成されるバンドパスフィルタである。近赤外フィルタは、通常600nm〜800nm程度の波長から長波長側のみ通過させるバンドパスフィルタである。前記、カラー画像を実現するための撮像装置が備えるフィルタは、ベイヤー配列の基本画素単位中に含まれるRGBGのうちひとつの画素を前記近赤外線フィルタに置き換えたRGBIRフィルタ、あるいはCyMgYeGのGを近赤外線フィルタに置き換えたCyMgYeIRフィルタなど、可視光フィルタに近赤外線フィルタを追加することで、色再現性の良い暗視装置を実現している。
そして、撮像装置では、互いに隣接する受光素子にて検出した近赤外線の輝度値と可視光線の輝度値との和を各画素の輝度値として有した複数の画素からなる画像を生成する。
ところで、暗視装置の撮像装置にて撮像される画像においては、歩行者などの検出対象物を、当該検出対象物の周辺よりも強調する(浮き立たせる)ことが求められる。
検出対象物が強調された画像とするためには、検出対象物からの近赤外線の輝度値と可視光線の輝度値との比率を、予め求められた規定範囲内とすることが考えられる。
しかしながら、近年、車室内の温度上昇を抑制するために、自動車には、赤外線領域の波長の光をカットするウインドシールドが用いられている。このようなウインドシールドが用いられていると、撮像装置にて受光する検出対象物からの近赤外線の強さが低下し、撮像装置にて受光した光に基づいて生成される画像は、検出対象物が強調された画像とならないという課題が生じる。
また、街路灯や対向車のライトなどによって自車両周辺の明るさが変化すると、撮像装置にて受光する、検出対象物からの近赤外線の輝度値と可視光線の輝度値との比率が規定範囲内とならなくなるという課題がある。
つまり、従来の技術では、外乱によって、検出対象物を強調した(浮き立たせた)画像を生成できないという課題があった。
そこで、本発明は、暗視装置において、検出対象物を強調した画像を生成することを目的とする。
上記目的を達成するためになされた本発明は、自動車に搭載される暗視装置に関する。
本発明の暗視装置は、投光手段と、撮像手段と、輝度比判定手段と、投光制御手段とを備える。
本発明における投光手段は、近赤外線領域の波長の光である近赤外線を発光し、自車両周辺の空間領域として予め規定された照射範囲に照射する。本発明における撮像手段は、近赤外線を通過する近赤外フィルタ、及び可視光領域の波長の光である可視光線を通過する可視光フィルタのいずれかを介して、照射範囲を含む自車両周辺の空間領域として規定された規定空間からの光を、モザイク状に配列された複数の受光素子のそれぞれが受光することで、それぞれが、近赤外線の輝度値、及び可視光線の輝度値を有した複数の画素からなる平面に規定空間を投影した画像を表す画像信号を取得する。
さらに、本発明における輝度比判定手段は、撮像手段にて取得された画像信号によって表される画像の少なくとも一部に設定された領域であり、かつ、検出対象物が存在する可能性がある少なくとも一つの画素を含む領域を設定領域とし、当該設定領域における近赤外線の輝度値と可視光線の輝度値との比率である判定輝度比が、検出対象物が強調された像となる輝度値の比率の範囲として予め定められた規定輝度範囲内であるか否かを判定する輝度比判定を実行する。
そして、輝度比判定手段での輝度比判定の結果、判定輝度比が規定輝度範囲を超えていれば、本発明における投光制御手段が、判定輝度比が規定輝度範囲内となるように投光手段が発光する近赤外線の強度を制御する投光制御を実行する。
このような暗視装置によれば、検出対象物が存在する可能性が高い空間に向けて近赤外線を照射するため、赤外線領域の波長の光をカットするウインドシールドが自車両に用いられている場合や、街路灯や対向車のライトなどによって自車両周辺の明るさが変化する場合であっても、検出対象物からの近赤外線の輝度値と可視光線の輝度値との比率を規定輝度範囲内とすることができる。
この結果、本発明の暗視装置によれば、検出対象物を強調した(浮き立たせた)画像を生成できる。
よって、本発明の暗視装置にて撮像した画像に基づいて検出対象物を検出すれば、その検出対象物の検出性能を向上させることができる。換言すれば、本発明の暗視装置によれば、視認性を向上させつつ、検出対象物の検出性能を向上させることが可能な画像を撮像できる。
ところで、検出対象物として歩行者や軽車両を想定した場合、さらに、照射範囲を自車両が進行する道路上の空間として規定し、本発明における設定領域は、撮像手段にて取得された画像信号によって表される画像において、道路上の空間に対応する領域の左右両脇の少なくとも一方を設定しても良い。
このような暗視装置によれば、歩行者や軽車両などの検出対象物を容易に、かつ、早期に認識できる。
本発明が適用された暗視装置の概要を示す図である。 本実施形態における暗視装置の概略構成を示すブロック図である。 光学フィルタの構造を説明する図である。 光学フィルタの透過特性を説明する図である。 ナイトビジョン処理の処理手順を説明するフローチャートである。 (A)従来の暗視装置における課題を説明する図であり、(B)実施形態の暗視装置にて当該課題が解決されたことを説明する図である。
以下に本発明の実施形態を図面と共に説明する。
〈暗視装置〉
図1に示す暗視装置1は、自動車AMに搭載して用いられる、いわゆる車載用ナイトビジョンシステムである。以下、暗視装置1が搭載された自動車AMを自車両AMとも称す。
この暗視装置1は、自車両周辺の空間領域として規定された照射範囲FRに近赤外線を照射し、照射範囲FRを含む空間として規定された規定空間PSの状況を撮像して報知する。なお、本実施形態における照射範囲FRは、自車両の進行方向に存在する道路上及びその道路上の左右両脇を含む空間が規定されている。
これを実現するために、暗視装置1は、図2に示すように、撮像装置5と、投光装置10と、表示装置15と、音出力装置20と、スイッチセンサ群30と、暗視電子制御装置(以下、暗視ECUと称す)50とを備えている。
投光装置10は、近赤外線領域の波長の光である近赤外線を暗視ECU50からの制御信号に従って発光する周知の投光器である。本実施形態の投光装置10は、照射範囲FRに近赤外線を照射するように配置されている。
この投光装置10が照射する近赤外線の強さは、照射範囲FRの中心に近づくほど強く、照射範囲FRの中心から離れるほど弱くなる。
なお、投光装置10は、一台の投光器によって実現されていても良いし、複数台の投光器によって実現されていても良い。
表示装置15は、暗視ECU50からの信号に従って画像(映像)あるいは注意喚起のためのインジケータ等を表示する周知の表示装置である。この表示装置15は、周知のナビゲーション装置の液晶ディスプレイなどであっても良いし、周知のヘッドアップディスプレイであっても良いし、インストルメントパネル内に設けられたモニタや、表示灯などであっても良い。
音出力装置20は、暗視ECU50からの電気信号を音に変換して出力する装置、いわゆるスピーカである。
スイッチセンサ群30は、自車両や暗視装置1の状態を表す各種情報を取得するスイッチやセンサ群であり、暗視スイッチ32と、照度センサ34と、ヘッドライトスイッチ36と、車速センサ38とを備えている。
暗視スイッチ32は、暗視装置1の起動指令の外部からの入力を受け付けるスイッチである。照度センサ34は、自車両周辺の照度を検出するセンサである。ヘッドライトスイッチ36は、オンオフを切り替えることで、自車両が備える前照灯の点灯または消灯を切り替える周知のスイッチである。車速センサ38は、自車両の車速を検出する周知のセンサである。
撮像装置5は、撮像素子、光学レンズ、光学フィルタ、電源等の周辺電子回路を備え、撮像素子により画像を撮像する周知の撮像装置である。本実施形態における撮像装置5は、規定空間PSを撮像領域とするように配置されている。
なお、撮像装置5の配置場所は、車室内であっても良い。この場合、配置場所は、近赤外線を含む赤外領域の波長の光をカットするウインドシールドを挟んで規定空間PSを撮像するように、ルームミラーの近傍であっても良い。また、撮像装置5の配置場所は、自車両AM前方であっても良い。この場合、配置場所は、自車両AMのフロントグリルや、バンパーなどであっても良い。
本実施形態の撮像素子は、モザイク状(マトリックス状)に配列された複数の受光素子を有した周知の撮像素子であり、例えば、周知のCCDイメージセンサやCMOSイメージセンサなどである。
また、本実施形態における光学フィルタは、図3に示すように、近赤外フィルタ(IR)と、可視光フィルタ(R,G,B)とを備えている。可視光フィルタ(R,G,B)は、少なくとも可視光領域の波長の光を通過するフィルタであり、赤色フィルタ(R)と、緑色フィルタ(G)と、青色フィルタ(B)とを備えている。
すなわち、光学フィルタは、近赤外フィルタ(IR)、赤色フィルタ(R)、緑色フィルタ(G)、及び青色フィルタ(B)が、マトリックス状に配置されたフィルタである。なお、近赤外フィルタ(IR)、赤色フィルタ(R)、緑色フィルタ(G)、及び青色フィルタ(B)のそれぞれは、撮像素子が有する受光素子の受光面を覆うように設けられている。
赤色フィルタ(R)は、図4に示すように、光の三原色を構成する赤色の波長の光、及び近赤外領域の波長の光(即ち、近赤外線)を透過する周知のフィルタである。緑色フィルタ(G)は、図4に示すように、光の三原色を構成する緑色の波長の光、及び近赤外領域の波長の光を透過する周知のフィルタである。青色フィルタ(B)は、図4に示すように、光の三原色を構成する青色の波長の光、及び近赤外領域の波長の光を通過する周知のフィルタである。
近赤外フィルタ(IR)は、図4に示すように、近赤外線を通過するフィルタである。
本実施形態の撮像装置5では、互いに隣接する4つの受光素子にて検出した近赤外線の輝度値と可視光線の輝度値との和を一つの画素の輝度値とした複数の画素からなる画像を生成する。つまり、各画素は単色の色情報しか持たないため、各画素に対して周辺の画素から不足した色情報を集めることで色情報を補完する。
具体的には、図3において、最も左上の画素の輝度値を導出する場合、当該左上の受光素子にて検出した輝度値は赤色輝度値である。そして、当該左上に対して下隣の受光素子にて検出した輝度値は青色輝度値であり、当該左上に対して右隣の受光素子にて検出した輝度値は緑色輝度値であり、当該左上に対して右下の受光素子にて検出した輝度値は近赤外輝度値であるため、これら左上の画素に隣接する青色輝度値、緑色輝度値、近赤外輝度値を用いて色情報を補完する。色情報を補完する方法は周知であるため、ここでの詳しい説明は省略するが、例えば、対象とする画素の輝度値を、互いに隣接する赤色輝度値、青色輝度値、緑色輝度値、近赤外輝度値の和とすることがなされている。
〈暗視ECU〉
暗視ECU50は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを格納するROM52と、処理プログラムやデータを一時的に格納するRAM54と、ROM52やRAM54に記憶された処理プログラムに従って各種処理を実行するCPU56とを少なくとも有した周知のコンピュータを中心に構成されている。
この暗視ECU50のROM52には、少なくとも、投光装置10から近赤外線を照射範囲FRに照射し、撮像装置5にて生成した画像を表示装置15に表示する暗視表示を実行するナイトビジョン処理をCPU56が実行するための処理プログラムが格納されている。
〈ナイトビジョン処理〉
ナイトビジョン処理は、イグニッションスイッチがオンされるあるいは暗視スイッチがオンされる等のフラグにより起動される。
このナイトビジョン処理は、起動されると、図5に示すように、まず、暗視表示の開始条件を満たしているか否かを判定する(S210)。ここでいう暗視表示とは、投光装置10から近赤外線を照射範囲FRに照射し、撮像装置5にて生成した画像を表示装置15に表示することである。
本実施形態における暗視表示の開始条件は、暗視スイッチ32を介した起動指令の入力を受け付けたことである。暗視表示の開始条件のうち、撮像装置5にて生成した画像を取得する条件は、照度センサ34にて検出した照度が、夜間を表す照度として予め規定された規定照度以下であることであっても良いし、ヘッドライトスイッチ36がオンであることであっても良いし、それらの両者を満たすことであっても良い。さらに、暗視表示の開始条件のうち、投光装置10が近赤外線を発光する条件は、車速センサ38にて検出した車速が、予め規定された規定車速以上であることであっても良い。
この暗視表示の開始条件を満たしていなければ(S210:NO)、暗視表示の開始条件を満たすまで待機し、暗視表示の開始条件を満たすと(S210:YES)、S220へと移行する。なお、本実施形態においては、暗視表示されない場合にも、投光装置が発光していない状態で、表示装置15に画像(映像)を表示することも可能である。
そのS220では、撮像装置5にて撮像した画像、いわゆるRAW画像を表す画像信号を取得する。
続いて、S220にて取得した画像信号に基づく画像を表示装置15に出力する(S230)。このS230により、表示装置15は、複数の画素を有した平面に規定空間PSが投影された画像を表示する。
なお、ナイトビジョン処理のS230では、S220にて取得した画像信号に基づいて、歩行者や軽車両などの検出対象物を検出して、当該検出対象物の存在を報知する。この検出対象物を検出する処理は周知であるため、ここでの詳しい説明は省略するが、例えば、検出対象物の特徴を表すモデルとして予め用意された特徴モデルを、画像において近赤外輝度値が強い領域に照合した結果、一致度が規定閾値以上となった領域を検出対象物として検出すれば良い。この場合、特徴モデルは、人物のパーツにおける特徴を表す複数のモデルによって構成されていても良いし、人物全体の特徴を表すテンプレートであっても良い。
また、検出対象物の存在の報知は、表示装置15に表示される画像上に検出対象物を識別可能なマークを重畳することで実施しても良いし、音出力装置20を介して検出対象物の存在を出力しても良いし、これらの両方を実行しても良い。
さらに、S220にて取得した画像の少なくとも一部に設定された設定領域における赤色輝度値の近赤外輝度値に対する比(以下、「判定輝度比」と称す)RRを導出する(S240)。
本実施形態における設定領域は、画像において検出対象物が存在する可能性のある領域である。この検出対象物が存在する可能性のある領域とは、画像において、照射範囲FRの水平方向に沿った端部に対応する領域を含み、自車両AMが進行する道路上の左右両脇の少なくとも一方を含む領域である。なお、左右両脇とは、当該道路における路側や路肩、歩道などを含むものである。
具体的に、S240における判定輝度比RRの導出は、設定領域を構成する全ての画素における赤色輝度値の総和を、設定領域を構成する全ての画素における近赤外輝度値の総和で除することで行う。
そして、S240にて導出した判定輝度比RRが、予め規定された規定閾値Th1未満であるか否かを判定する(S250)。この判定の結果、判定輝度比RRが規定閾値Th1未満であれば(S250:YES)、詳しくは後述するS270へと移行する。
一方、S250での判定の結果、判定輝度比RRが規定閾値Th1以上であれば(S250:NO)、判定輝度比RRが、予め規定された規定閾値Th2よりも大きいか否かを判定する(S260)。
なお、規定閾値Th1とは、予め実験などにより、検出対象物が強調された像となる輝度の比率の範囲として予め定められた規定輝度範囲の下限値であり、規定閾値Th2とは、規定輝度範囲の上限値である。
すなわち、輝度比判定の結果、判定輝度比RRが規定輝度範囲を下回っている場合には、S270へと進む。そのS270では、投光装置10が照射する近赤外線の強さが増幅されるように、投光装置10を制御する投光制御を実行する。なお、本実施形態の投光制御においては、投光装置10が照射する近赤外線の強さの上限が規定されていても良い。この場合、近赤外線の強さの上限は、投光装置10の能力や人体への影響を与えない強さであっても良い。
このS270にて実行する投光制御では、判定輝度比RRが規定輝度範囲内となるまで増加させるべき近赤外線の強度の増加量を演算し、その演算した増加量が達成されるように予め規定された規定値ごとに段階的に変更する。なお、本実施形態において段階的に変更とは、例えば、S210からS280の一連のサイクルを実行するごとに、規定値単位で増加することである。
その後、S210へと戻る。
ところで、S260での判定の結果、判定輝度比RRが規定閾値Th2以下であれば(S260:NO)、判定輝度比RRが規定輝度範囲内であるものとして、投光装置10から照射される近赤外線の強度を変更することなく、S210へと戻る。
一方、S260での判定の結果、判定輝度比RRが規定閾値Th2より大きければ(S260:YES)、即ち、輝度比判定の結果、判定輝度比RRが規定輝度範囲を上回っている場合には、S280へと進む。
そのS280では、投光装置10が照射する近赤外線の強さが低減されるように、投光装置10を制御する投光制御を実行する。
このS270にて実行する投光制御では、判定輝度比RRが規定輝度範囲内となるまで低減させるべき近赤外線の強度の低減量を演算し、その演算した低減量が達成されるように予め規定された規定値ごとに段階的に変更する。なお、本実施形態において、段階的に変更とは、例えば、S210からS280の一連のサイクルを実行するごとに、規定値単位で低減させることである。
その後、S210へと戻る。
[実施形態の効果]
以上説明したように、本実施形態のナイトビジョン処理では、判定輝度比RRが規定輝度範囲を下回っている場合には、近赤外線の強さが増幅されるように投光装置10を制御する投光制御を実行する。一方、判定輝度比RRが規定輝度範囲を上回っている場合には、近赤外線の強さが低減されるように投光装置10を制御する投光制御を実行する。
これにより、暗視装置1によれば、検出対象物が存在する可能性が高い規定空間PSの一部の空間である照射範囲FRに向けて適切な強度の近赤外線を照射することができる。
よって、赤外線領域の波長の光をカットするウインドシールドが自車両AMに用いられている場合であっても、検出対象物からの近赤外線の輝度値と可視光線の輝度値との比率を規定輝度範囲内とすることができる。
具体的には、従来の技術では、赤外線領域の波長の光をカットするウインドシールドが自車両AMに用いられ、そのウインドシールドを介して入射した光を撮像する暗視装置では、検出対象物からの近赤外線の輝度値と可視光線の輝度値との比率を規定輝度範囲内とすることができない。このため、従来の暗視装置にて撮像した画像は、図6(A)に示すように、検出対象物が周辺にとけ込んでしまい、当該検出対象物が強調された(浮き立った)画像とならないという課題があった。
これに対して、暗視装置1によれば、検出対象物からの近赤外線の輝度値と可視光線の輝度値との比率を規定輝度範囲内とすることができるため、撮像した画像を、図6(B)に示すように、検出対象物が強調された(浮き立った)画像とすることができる。
さらに、暗視装置1によれば、街路灯や対向車のライトなどによって自車両周辺の明るさが変化する場合であっても、検出対象物からの近赤外線の輝度値と可視光線の輝度値との比率を規定輝度範囲内とすることができる。
以上のことから、暗視装置1によれば、検出対象物からの近赤外線の輝度値と可視光線の輝度値との比率を規定輝度範囲内とすることができる。この結果、暗視装置1によれば、検出対象物を強調した(浮き立たせた)画像を生成できる。
したがって、暗視装置1にて撮像した画像に基づいて検出対象物を検出すれば、その検出対象物の検出性能を向上させることができる。換言すれば、暗視装置1によれば、視認性を向上させつつ、検出対象物の検出性能を向上させることが可能な画像を撮像できる。
特に、本実施形態における設定領域を、画像において照射範囲FRの水平方向に沿った端部に対応する領域を含み、自車両AMが進行する道路上の左右両脇(路側や路肩、歩道など)の少なくとも一方を含む領域としている。
この道路上の左右両脇(路側や路肩、歩道など)には、歩行者や軽車両などが存在している可能性が高いため、暗視装置1によれば、歩行者や軽車両などの検出対象物を容易に、かつ、早期に認識できる。
また、本実施形態のナイトビジョン処理における投光制御では、S210からS280の一連のサイクルを実行するごとに、近赤外線の強度を規定値単位で変更している。
このため、表示装置15に表示される画像において、当該画像を構成する画素の輝度値が急激に変化することを防止できる。したがって、表示装置15に表示された画像を視認した人物が違和感を覚えることを低減できる。
[その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
上記実施形態では、自車両AMが進行する路上の左右両脇の少なくとも一方を含む領域を設定領域としていたが、設定領域として設定される領域はこれに限るものではない。例えば、画像信号によって表される画像において自車両AMの水平方向に渡って設けられた帯状の領域を設定領域としても良いし、画像信号によって表される画像の全領域を設定領域としても良い。すなわち、設定領域は、画像において検出対象物が存在する可能性のある領域が設定されれば、どのような領域であっても良い。
さらに、上記実施形態では、判定輝度比RRが規定輝度範囲内となるように変更させるべき近赤外線の強度の変更量を演算し、その演算した変更量が達成されるように規定値ごとに段階的に変更することを、投光制御の制御内容として実行していたが、本発明における投光制御の制御内容は、これに限るものではない。
例えば、投光制御では、変更量を演算することなく、S210からS280の一連のサイクルを実行するごとに、投光装置10が発光する近赤外線の強度を予め規定された規定値単位で変更しても良いし、判定輝度比RRが規定輝度範囲内となるように変更すべき近赤外線の強度の変更量を演算し、その演算した近赤外線の強度の変更量を一回の制御で変更しても良い。
すなわち、投光制御は、判定輝度比RRが規定輝度範囲内となるように投光装置10を制御できれば、どのような内容であっても良い。
また、上記実施形態では、判定輝度値RRを、設定領域を構成する全ての画素における赤色輝度値の総和を、設定領域を構成する全ての画素における近赤外輝度値の総和で除することで導出していたが、判定輝度値RRの導出方法は、これに限るものではない。
例えば、設定領域を構成する全ての画素における近赤外輝度値の総和で除する対象は、設定領域を構成する全ての画素における緑色輝度値の総和であっても良いし、設定領域を構成する全ての画素における青色輝度値の総和であっても良い。また、設定領域を構成する全ての画素における近赤外輝度値の総和で除する対象は、設定領域を構成する全ての画素における赤色輝度値と緑色輝度値と青色輝度値との和であっても良い。
また、上記実施形態の撮像装置5は、RGBIRフィルタを光学フィルタとして備えていたが、撮像装置5が備える光学フィルタは、RGBIRフィルタに限るものではなく、例えば、CyMgYeIRフィルタであっても良い。つまり、本発明における光学フィルタは、可視光フィルタに近赤外線フィルタを追加することで構成されたフィルタであれば、どのようなフィルタであっても良い。
そして、撮像装置5における光学フィルタをCyMgYeIRフィルタにて構成した場合、Cy、Mg、およびYeの少なくとも一つを通過した光を受光した受光素子からの信号に基づく輝度値の和を判定輝度値RRとしても良い。また、Cy、Mg、およびYeを通過した光に基づいて演算した赤色輝度値LR、青色輝度値LB、および緑色輝度値LGの少なくとも一つの和を、判定輝度値RRとしても良い。
ところで、上記実施形態における撮像装置5にて撮像される画像は、静止画像であったが、撮像装置5にて撮像する内容は、静止画像に限るものではなく、映像であっても良い。すなわち、撮像装置5は、動画を撮影するカメラであっても良い。
また、上記実施形態では、暗視ECU50を、撮像装置5とは別体に構成していたが、暗視ECU50は、撮像装置5に備えられていても良いし、投光装置10に備えられていても良い。
上記実施形態の暗視装置1は、表示装置15と音出力装置20との両方を報知機構として備えていたが、報知機構として備える装置は、これに限るものではなく、例えば、表示装置15と音出力装置20とのいずれか一方でも良い。
なお、本発明は、上記実施形態によって何ら限定して解釈されない。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。
1…暗視装置 5…撮像装置 10…投光装置 15…表示装置 20…音出力装置 30…スイッチセンサ群 32…暗視スイッチ 34…照度センサ 36…ヘッドライトスイッチ 38…車速センサ 50…暗視ECU 52…ROM 54…RAM 56…CPU

Claims (7)

  1. 自動車に搭載される暗視装置(1)であって、
    近赤外線領域の波長の光である近赤外線を発光し、自車両周辺の空間領域として予め規定された照射範囲に照射する投光手段(10)と、
    近赤外線を通過する近赤外フィルタ、及び可視光領域の波長の光である可視光線を通過する可視光フィルタのいずれかを介して、前記照射範囲を含む自車両周辺の空間領域として規定された規定空間からの光を、モザイク状に配列された複数の受光素子のそれぞれが受光することで、それぞれが、前記近赤外線の輝度値、及び前記可視光線の輝度値を有した複数の画素からなる平面に前記規定空間を投影した画像を表す画像信号を取得する撮像手段(5)と、
    前記撮像手段にて取得された画像信号によって表される画像の少なくとも一部に設定された領域であり、かつ、検出対象物が存在する可能性がある少なくとも一つの画素を含む領域を設定領域とし、前記設定領域を構成する画素における前記近赤外線の輝度値と前記可視光線の輝度値との比率である判定輝度比が、検出対象物が強調された像となる輝度値の比率の範囲として予め定められた規定輝度範囲内であるか否かを判定する輝度比判定を実行する輝度比判定手段(50,S220,S240〜S260)と、
    前記輝度比判定手段での輝度比判定の結果、前記判定輝度比が前記規定輝度範囲を超えていれば、前記判定輝度比が前記規定輝度範囲内となるように前記投光手段が発光する近赤外線の強度を制御する投光制御を実行する投光制御手段(50,S270,S280)と
    を備えることを特徴とする暗視装置。
  2. 前記照射範囲を自車両が進行する道路上の空間とし、
    前記設定領域は、
    前記撮像手段にて取得された画像信号によって表される画像において、前記道路上の空間における左右両脇の少なくとも一方である
    ことを特徴とする請求項1に記載の暗視装置。
  3. 前記設定領域は、
    前記撮像手段にて取得された画像信号によって表される画像において、前記自車両の水平方向に渡って設けられた帯状の領域である
    ことを特徴とする請求項1に記載の暗視装置。
  4. 前記設定領域は、
    前記撮像手段にて取得された画像信号によって表される画像の全領域である
    ことを特徴とする請求項1に記載の暗視装置。
  5. 前記投光制御手段は、
    前記判定輝度比が前記規定輝度範囲内となる前記近赤外線の強度を演算し、その演算した近赤外線の強度まで予め規定された規定値ごとに変更することを前記投光制御として実行する
    ことを特徴とする請求項1から請求項4のいずれか一項に記載された暗視装置。
  6. 前記投光制御手段は、
    前記投光手段が発光する近赤外線の強度を予め規定された規定値ごとに変更することを前記投光制御として実行する
    ことを特徴とする請求項1から請求項4のいずれか一項に記載された暗視装置。
  7. 前記投光制御手段は、
    前記判定輝度比が前記規定輝度範囲内となる前記近赤外線の強度を演算し、その演算した近赤外線の強度へと変更することを前記投光制御として実行する
    ことを特徴とする請求項1から請求項4のいずれか一項に記載された暗視装置。
JP2012284577A 2012-12-27 2012-12-27 暗視装置 Active JP5853947B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012284577A JP5853947B2 (ja) 2012-12-27 2012-12-27 暗視装置
US14/654,693 US9497395B2 (en) 2012-12-27 2013-12-12 Night-vision device
PCT/JP2013/007317 WO2014103223A1 (ja) 2012-12-27 2013-12-12 暗視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012284577A JP5853947B2 (ja) 2012-12-27 2012-12-27 暗視装置

Publications (2)

Publication Number Publication Date
JP2014127924A JP2014127924A (ja) 2014-07-07
JP5853947B2 true JP5853947B2 (ja) 2016-02-09

Family

ID=51020347

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012284577A Active JP5853947B2 (ja) 2012-12-27 2012-12-27 暗視装置

Country Status (3)

Country Link
US (1) US9497395B2 (ja)
JP (1) JP5853947B2 (ja)
WO (1) WO2014103223A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5783279B2 (ja) * 2013-02-08 2015-09-24 株式会社デンソー 画像処理装置
US10212355B2 (en) * 2015-03-13 2019-02-19 Thales Defense & Security, Inc. Dual-mode illuminator for imaging under different lighting conditions
JP6584103B2 (ja) * 2015-03-18 2019-10-02 キヤノン株式会社 撮像装置
KR101747603B1 (ko) * 2016-05-11 2017-06-16 재단법인 다차원 스마트 아이티 융합시스템 연구단 컬러 나이트 비전 시스템 및 그 동작 방법
WO2018088804A1 (en) 2016-11-08 2018-05-17 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
KR101938668B1 (ko) * 2017-05-29 2019-01-15 엘지전자 주식회사 청소기 및 그 제어방법
WO2019039201A1 (ja) * 2017-08-23 2019-02-28 日本精機株式会社 車両用表示装置
JP7252755B2 (ja) * 2018-12-27 2023-04-05 株式会社小糸製作所 アクティブセンサ、物体識別システム、車両、車両用灯具
JP6726324B1 (ja) * 2019-01-17 2020-07-22 オリンパス株式会社 撮像装置、画像合成方法、及び画像合成プログラム
US20220305980A1 (en) * 2019-09-11 2022-09-29 Koito Manufacturing Co., Ltd. Vehicle lamp system
JPWO2021054276A1 (ja) 2019-09-19 2021-03-25

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4011829B2 (ja) * 2000-06-14 2007-11-21 キヤノン株式会社 撮像装置及びその制御方法
JP4151571B2 (ja) 2003-12-12 2008-09-17 日産自動車株式会社 車載用障害物検出装置
JP2007156832A (ja) 2005-12-05 2007-06-21 Fujitsu Ten Ltd 車載用近赤外照射装置および車載用周辺監視装置
JP4779780B2 (ja) * 2006-04-10 2011-09-28 トヨタ自動車株式会社 画像表示装置
JP2008135856A (ja) * 2006-11-27 2008-06-12 Toyota Motor Corp 物体認識装置
JP2010161459A (ja) * 2009-01-06 2010-07-22 Olympus Corp 赤外線照射式撮像装置
JP2012027773A (ja) * 2010-07-26 2012-02-09 Toyota Central R&D Labs Inc 擬似濃淡画像生成装置及びプログラム

Also Published As

Publication number Publication date
US20150350572A1 (en) 2015-12-03
JP2014127924A (ja) 2014-07-07
WO2014103223A1 (ja) 2014-07-03
US9497395B2 (en) 2016-11-15

Similar Documents

Publication Publication Date Title
JP5853947B2 (ja) 暗視装置
JP5783279B2 (ja) 画像処理装置
JP5680573B2 (ja) 車両の走行環境認識装置
JP5742937B2 (ja) 車両用視界支援装置
JP5459154B2 (ja) 車両用周囲画像表示装置及び方法
JP5171723B2 (ja) 障害物検知装置、および当該装置を搭載した車両
WO2015190299A1 (ja) 車両用照明装置
JP4556777B2 (ja) 夜間運転視界支援装置
US11710291B2 (en) Image recognition device and image recognition method
JP4927647B2 (ja) 車両周辺監視装置
JP2011087006A (ja) 車両用表示装置
JP5712821B2 (ja) 撮影表示制御システム
KR101070050B1 (ko) 복합 기능 카메라 모듈
JP6168024B2 (ja) 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム
JP2013114536A (ja) 安全支援装置、及び、安全支援方法
JP6322723B2 (ja) 撮像装置および車両
JP2010128768A (ja) 車両周辺監視装置
JP7176447B2 (ja) ライト監視装置
JP6327388B2 (ja) 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム
JP2004172828A (ja) 車両用暗視装置
JP7244221B2 (ja) 物体認識装置
JP2007263704A (ja) 視認不可能領域抽出装置、及び視覚支援装置
JP6311826B2 (ja) 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム
WO2019177036A1 (ja) 車両用映像システム
JP4882592B2 (ja) 光抽出装置、光抽出方法及び距離計測システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151123

R151 Written notification of patent or utility model registration

Ref document number: 5853947

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250