JP4701279B2

JP4701279B2 - Visual support device

Info

Publication number: JP4701279B2
Application number: JP2008285276A
Authority: JP
Inventors: 高志荒井
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2008-11-06
Filing date: 2008-11-06
Publication date: 2011-06-15
Anticipated expiration: 2028-11-06
Also published as: JP2010111261A

Description

この発明は、自動車等の車両において乗員の視覚を支援する視覚支援装置に関するものである。 The present invention relates to a visual assistance device for assisting occupants' vision in a vehicle such as an automobile.

従来から、赤外光を車両前方に照射するとともに車両前方を赤外線カメラ等により撮像して、この撮像した画像から発熱体である人などを障害物として検知表示する暗視装置が知られている（例えば、特許文献１参照）。
特開２００５−８５６２１号公報 Conventionally, there is known a night vision device that irradiates infrared light in front of a vehicle, images the front of the vehicle with an infrared camera or the like, and detects and displays a person or the like as a heating element from the captured image as an obstacle. (For example, refer to Patent Document 1).
JP 2005-85621 A

しかしながら、上述の暗視装置は、高価な赤外線カメラを用いているため、システム全体のコストアップにつながるという課題がある。 However, since the night vision apparatus described above uses an expensive infrared camera, there is a problem that the cost of the entire system is increased.

この発明は、上記事情に鑑みてなされたものであり、コストアップを抑制しつつ運転者の車両前方の視覚を支援することができる視覚支援装置を提供するものである。 This invention is made in view of the said situation, and provides the visual assistance apparatus which can assist the driver | operator's vision in front of a vehicle, suppressing a cost increase.

上記の課題を解決するために、請求項１に記載した発明は、ハイビーム側の可視光源としてＬＥＤ（例えば、実施の形態におけるハイビームＬＥＤ１０）を有するヘッドライト（例えば、実施の形態におけるヘッドライト３）と、該ヘッドライトの照射範囲を含む自車両の前方を撮像して出力する撮像手段（例えば、実施の形態におけるカメラ４）と、該撮像手段により撮像した画像を表示する表示手段（例えば、実施の形態におけるＨＵＤ５）と、前記ヘッドライトの点灯および消灯制御を行うとともに、前記撮像手段のシャッタの開閉制御を行い、前記撮像手段から出力された撮像画像を前記表示手段へ表示する制御手段（例えば、実施の形態における制御部７，２７）と、車両前方の先行車もしくは対向車の存在有無を検出する前方車両検出手段（例えば、実施の形態における車両検出手段１１）とを備える視覚支援装置であって、前記制御手段は、前記ＬＥＤを所定の周期でパルス発光させるパルス発光制御手段（例えば、実施の形態におけるパルス発光制御手段１２，２２）と、該パルス発光制御手段によるＬＥＤの発光時にのみ前記撮像手段のシャッタを開放制御するシャッタ開閉制御手段（例えば、実施の形態におけるシャッタ開閉制御手段１３）とを備え、前記前方車両検出手段により先行車または対向車の存在が検出され、且つ、前記ＬＥＤを常時点灯させるスイッチがＯＮ状態のときに前記パルス発光制御手段により前記ＬＥＤをパルス発光させることを特徴とする。 In order to solve the above problem, the invention described in claim 1 is a headlight (for example, the headlight 3 in the embodiment) having an LED (for example, the high beam LED 10 in the embodiment) as a visible light source on the high beam side. And an imaging means (for example, the camera 4 in the embodiment) that captures and outputs the front of the host vehicle including the irradiation range of the headlight, and a display means that displays an image captured by the imaging means (for example, implementation) HUD5) and control means (for example, controlling the turning on and off of the headlight, controlling the opening and closing of the shutter of the imaging means, and displaying the captured image output from the imaging means on the display means (for example, , a control unit 7, 27) in the embodiment, the front wheel to detect the presence or absence of the preceding vehicle or an oncoming vehicle ahead of the vehicle Detecting means (e.g., vehicle detection means 11 in the embodiment) A vision assistance device and a said control means includes a pulse light emission control means for pulse emission of the LED in a predetermined cycle (for example, in the embodiment Pulse emission control means 12, 22) and shutter opening / closing control means (for example, shutter opening / closing control means 13 in the embodiment) for controlling the opening of the shutter of the image pickup means only when the LED is emitted by the pulse emission control means. The presence of a preceding vehicle or an oncoming vehicle is detected by the preceding vehicle detection means, and the LED is pulse-lighted by the pulse light emission control means when a switch for constantly lighting the LED is in an ON state. .

請求項２に記載した発明は、前記撮像画像に含まれる障害物を抽出する障害物抽出手段（例えば、実施の形態における障害物抽出手段２４）と、パルス発光時の前記ＬＥＤの発光強度を、相対的に発光強度が大きいパターンおよび相対的に発光強度が小さいパターンに変化させる調光手段（例えば、実施の形態における調光手段２５）と、前記発光強度が相対的に大きいときの撮像画像と前記発光強度が相対的に小さいときの撮像画像ととに基づき障害物の輝度差を求め、この輝度差に基づいて前記障害物抽出手段により抽出された障害物までの距離を推定する距離推定手段（例えば、実施の形態における距離推定手段２６）とを備え、前記制御手段は、前記距離推定手段により推定された障害物までの距離を前記表示手段へ表示させることを特徴とする。 The invention described in claim 2 is an obstacle extraction means for extracting an obstacle contained in the captured image (for example, the obstacle extraction means 24 in the embodiment), and the light emission intensity of the LED at the time of pulse emission. A dimming means (for example, dimming means 25 in the embodiment) for changing the pattern to a relatively high emission intensity and a pattern having a relatively low emission intensity, and a captured image when the emission intensity is relatively high A distance estimation unit that obtains a luminance difference of an obstacle based on the captured image when the light emission intensity is relatively small and estimates a distance to the obstacle extracted by the obstacle extraction unit based on the luminance difference (e.g., distance estimator 26 in the embodiment) and a said control means is possible to display the distance to the obstacle estimated by the distance estimation means to the display means And features.

請求項３に記載した発明は、ハイビーム側の可視光源としてＬＥＤを有するヘッドライトと、該ヘッドライトの照射範囲を含む自車両の前方を撮像して出力する撮像手段と、該撮像手段により撮像した画像を表示する表示手段と、前記ヘッドライトの点灯および消灯制御を行うとともに、前記撮像手段のシャッタの開閉制御を行い、前記撮像手段から出力された撮像画像を前記表示手段へ表示する制御手段と、前記撮像画像に含まれる障害物を抽出する障害物抽出手段と、パルス発光時の前記ＬＥＤの発光強度を、相対的に発光強度が大きいパターンおよび相対的に発光強度が小さいパターンに変化させる調光手段と、前記発光強度が相対的に大きいときの撮像画像と前記発光強度が相対的に小さいときの撮像画像とに基づき障害物の輝度差を求め、この輝度差に基づいて前記障害物抽出手段により抽出された障害物までの距離を推定する距離推定手段とを備える視覚支援装置であって、前記制御手段は、前記ＬＥＤを所定の周期でパルス発光させるパルス発光制御手段と、該パルス発光制御手段によるＬＥＤの発光時にのみ前記撮像手段のシャッタを開放制御するシャッタ開閉制御手段とを備え、前記距離推定手段により推定された障害物までの距離を前記表示手段へ表示させることを特徴とする。 The invention described in claim 3 is a headlight having an LED as a visible light source on the high beam side, an imaging means for imaging and outputting the front of the host vehicle including the irradiation range of the headlight, and imaging by the imaging means Display means for displaying an image; and control means for performing on / off control of the headlight, controlling opening / closing of a shutter of the imaging means, and displaying a captured image output from the imaging means on the display means; the obstacle extracting means for extracting an obstacle included in the captured image, tone and luminous intensity of the LED at the time pulse light emission is varied in a relatively luminous intensity is greater pattern and a relatively luminous intensity is small pattern Luminance difference between obstacles based on light means and a captured image when the light emission intensity is relatively large and a captured image when the light emission intensity is relatively small Determined, a vision assistance device comprising a distance estimation means for estimating the distance to the obstacle extracted by the obstacle extracting unit based on the brightness difference, said control means, said LED at a predetermined cycle A pulse light emission control means for causing pulse light emission, and a shutter opening / closing control means for controlling the opening / closing of the shutter of the imaging means only when the LED is emitted by the pulse light emission control means, and the distance to the obstacle estimated by the distance estimation means Is displayed on the display means.

請求項１に記載した発明によれば、ヘッドライトにハイビームの可視光源として設けられたＬＥＤを、所定の周期、例えば、人間の視覚では認知できない程度の間隔、あるいは対向車の運転者にチラつきなどによる違和感を与えない程度の間隔でパルス発光させて、この発光時に撮像手段のシャッタを開放することで、通常のロービーム照射領域よりも遠方のハイビームの照射領域の画像を撮像して表示手段へ表示することができるため、運転者の視覚支援を簡単な構成で実現できるという効果がある。 According to the first aspect of the present invention, the LED provided as a high-beam visible light source on the headlight has a predetermined period, for example, an interval that cannot be recognized by human vision, or flickers to the driver of the oncoming vehicle. By emitting pulses at intervals that do not give a sense of incongruity, and opening the shutter of the imaging unit during this emission, an image of the irradiation region of the high beam farther than the normal low beam irradiation region is captured and displayed on the display unit Therefore, the driver's visual assistance can be realized with a simple configuration.

また、先行車や対向車が存在する場合に常時ハイビームにすると先行車や対向車の運転者が幻惑する可能性があるため、通常は常時ハイビームにすることができないが、ハイビームのＬＥＤを常時点灯させるスイッチをＯＮ状態にすることで、先行車や対向車が検出された場合に、ＬＥＤをパルス発光させてハイビーム領域の画像を撮像手段により撮像して当該画像を表示手段へ表示することができるため、先行車や対向車の運転者が幻惑することなく、自車両の運転者が、ハイビーム領域の画像を表示手段を介して視認することができる効果がある。 Also, if there is a preceding vehicle or an oncoming vehicle and the high beam is always used, the driver of the preceding vehicle or the oncoming vehicle may be dazzled. By turning on the switch to be turned on, when a preceding vehicle or an oncoming vehicle is detected, it is possible to cause the LED to emit light and to capture an image of the high beam region by the imaging unit and display the image on the display unit Therefore, there is an effect that the driver of the host vehicle can visually recognize the image of the high beam region through the display unit without being dazzled by the driver of the preceding vehicle or the oncoming vehicle.

請求項２，３に記載した発明によれば、撮像手段により撮像された撮像画像に含まれる障害物を抽出し、ＬＥＤの発光強度を、相対的に大きいパターンと小さいパターンとに変化させることで、発光強度が相対的に大きいパターンのときの障害物と、発光強度が相対的に小さいパターンのときの障害物との輝度差によって障害物までの距離を推定し、この推定された距離を表示手段へ表示することができるので、運転者は表示手段の表示内容を確認することで抽出された障害物までの距離を容易に認識することができる効果がある。 According to the second and third aspects of the present invention, the obstacle included in the captured image captured by the imaging unit is extracted, and the emission intensity of the LED is changed between a relatively large pattern and a small pattern. Estimate the distance to the obstacle based on the luminance difference between the obstacle when the light emission intensity is relatively high and the obstacle when the light emission intensity is relatively low, and display this estimated distance Since the information can be displayed on the means, the driver can easily recognize the distance to the extracted obstacle by confirming the display content of the display means.

次に、この発明の第１の実施の形態における視覚支援装置について図面を参照しながら説明する。
図１は、この第１の実施の形態の視覚支援装置１の概略構成を示すブロック図であって、この視覚支援装置１は、自動車等の車両に搭載された、ヘッドライト３、カメラ４、ＨＵＤ（ヘッド・アップ・ディスプレイ）５、スイッチ６、および、制御部７を備えて構成されている。 Next, a vision support apparatus according to a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a schematic configuration of the visual assistance device 1 according to the first embodiment. The visual assistance device 1 includes a headlight 3, a camera 4, and the like mounted on a vehicle such as an automobile. A HUD (head up display) 5, a switch 6, and a control unit 7 are provided.

ヘッドライト３は、制御部７からの制御指令に基づいて車両前方に可視光を照射するものであり、図示しないロービーム用の灯体とハイビーム用の灯体であるハイビームＬＥＤ１０とを備えて構成されている。このハイビームＬＥＤ１０は、ロービーム用の灯体と比較して十分に遠方（例えば、２００ｍ程度まで）を照射するため（図４参照）、複数の高輝度タイプＬＥＤ（Light Emitting Diode）により構成される。また、このハイビームＬＥＤ１０を構成するＬＥＤは、バルブタイプの灯体と比較して光束の立ち上がり速度が十分に早く、例えば、０％から８０％の相対光出力まで０．１ｍｓ程度で達する性能を有している。なお、ロービーム側の灯体は、ＬＥＤ、バルブタイプの灯体の何れを用いてもよい。 The headlight 3 irradiates visible light in front of the vehicle based on a control command from the control unit 7, and includes a low beam lamp body and a high beam LED 10 which is a high beam lamp body (not shown). ing. The high beam LED 10 is composed of a plurality of high-intensity type LEDs (Light Emitting Diodes) in order to irradiate sufficiently far (for example, up to about 200 m) as compared with a low beam lamp (see FIG. 4). In addition, the LED constituting the high beam LED 10 has a sufficiently high rise speed of the luminous flux compared with a bulb type lamp, for example, a performance that reaches a relative light output of 0% to 80% in about 0.1 ms. is doing. The low beam side lamp may be either an LED or a bulb type lamp.

カメラ４は、可視光が撮影可能なようにダイナミックレンジが広く、また、ＣＣＤやＣＭＯＳと比較して高感度であり１ルクス以下であっても高画質が撮影可能ないわゆる高感度のナノイメージセンサなどにより構成され、例えば、車室内のバックミラー近傍に取り付けられて、少なくともハイビームＬＥＤ１０により光線が照射される車両前方の領域を撮像する。そして、このカメラ４は、制御部７により撮影タイミングを制御される一方、撮影した画像データを制御部７へ向けて出力する。 The camera 4 has a wide dynamic range so that visible light can be photographed, and has a higher sensitivity than a CCD or a CMOS, and is a so-called highly sensitive nano image sensor capable of photographing a high image quality even at 1 lux or less. For example, it is attached in the vicinity of a rearview mirror in the vehicle interior and images at least a region in front of the vehicle that is irradiated with light by the high beam LED 10. In the camera 4, the photographing timing is controlled by the control unit 7, and the photographed image data is output to the control unit 7.

ＨＵＤ５は、車両のインスツルメントパネル上部の運転席の正面位置において運転者の前方視界を妨げない位置に設けられ、その映像表示部は凹面ミラー等で構成されて、インスツルメントパネル内部からの映像を反射・投影する。そして、ＨＵＤ５は、制御部７によってその表示制御が行われ、ハイビームＬＥＤ１０のパルス発光に同期してカメラ４で撮像された画像の表示時間を撮像時間よりも延長して運転者が見易いように連続的に表示する。
スイッチ６は、ロービーム・ハイビームを選択するためのもので、制御部７に接続されている。そして、スイッチ６は、例えば、ステアリングコラムなどに突設されたウィンカーレバーに一体的に設けられ、このウィンカーレバーを手前に操作することでその都度ＯＮ・ＯＦＦが切り替わり、このスイッチ６のＯＮ情報またはＯＦＦ情報が制御部７へ入力される。 The HUD 5 is provided at a position in front of the driver's seat at the upper part of the instrument panel of the vehicle at a position that does not obstruct the driver's front view, and the video display portion is configured by a concave mirror or the like, Reflect and project images. Then, the display control of the HUD 5 is performed by the control unit 7, and the display time of the image captured by the camera 4 is extended in synchronization with the pulse emission of the high beam LED 10 so that the driver can easily see the image. Display.
The switch 6 is for selecting a low beam or a high beam, and is connected to the control unit 7. The switch 6 is provided integrally with, for example, a winker lever protruding from a steering column or the like, and is turned on and off each time by operating this winker lever toward the front. OFF information is input to the control unit 7.

制御部７は、ヘッドライト３、カメラ４、ＨＵＤ５の駆動を所定のアルゴリズムに従ってそれぞれ制御するものであり、車両検出手段１１、パルス発光制御手段１２、シャッタ開閉制御手段１３をそれぞれ備えて構成される。 The control unit 7 controls driving of the headlight 3, the camera 4, and the HUD 5 according to a predetermined algorithm, and includes a vehicle detection unit 11, a pulse light emission control unit 12, and a shutter opening / closing control unit 13. .

車両検出手段１１は、パルス発光制御手段１２（後述する）によりハイビームＬＥＤ１０を単発で発光制御させて、この間に撮像されたカメラ４の画像を、フィルタリング処理および車両の灯体を判別する特徴量判別処理等の画像処理を行うことで自車両の近傍に存在する先行車や対向車を検出する。なお、先行車や対向車の検出方法として、例えば、車車間通信装置（図示略）を用いても良い。この場合、先行車および対向車であることは、車車間通信で取得した各車両の位置情報に基づいて判定することができる。 The vehicle detection means 11 causes the pulsed light emission control means 12 (to be described later) to control the high beam LED 10 to emit light once, and the image of the camera 4 captured during this time is subjected to filtering processing and characteristic amount determination for determining the vehicle lamp. By performing image processing such as processing, a preceding vehicle or an oncoming vehicle existing in the vicinity of the host vehicle is detected. In addition, as a detection method of a preceding vehicle or an oncoming vehicle, for example, an inter-vehicle communication device (not shown) may be used. In this case, it can be determined that the vehicle is a preceding vehicle or an oncoming vehicle based on the position information of each vehicle acquired by inter-vehicle communication.

パルス発光制御手段１２は、ヘッドライト３のハイビームＬＥＤ１０を所定周期、より具体的には所定のデューティ比でパルス発光させる制御を行う。この所定のデューティ比による発光は、人間の視覚では認知できない程度であり、この一例として図２に示すようなデューティ比に設定することができる。この図２は、縦軸をハイビームの光量、横軸を時間としており、周期を１００ｍｓに設定した場合にＯＮデューティが数百μｓ〜１ｍｓ程度に設定されている。なお、このようにＯＮ時間が非常に短いパルス発光を行う場合、パルス発光の制御にハイビームの光束の立ち上がりが追従しなくなってしまうことから、上述したハイビームＬＥＤ１０のような光束の立ち上がり特性が十分に高いＬＥＤが必要となる。 The pulse light emission control means 12 performs control to cause the high beam LED 10 of the headlight 3 to emit light at a predetermined cycle, more specifically, at a predetermined duty ratio. The light emission with this predetermined duty ratio is not recognized by human vision, and as an example of this, the duty ratio can be set as shown in FIG. In FIG. 2, the vertical axis represents the amount of light of the high beam and the horizontal axis represents time. When the cycle is set to 100 ms, the ON duty is set to about several hundreds μs to 1 ms. In addition, when performing pulse light emission with a very short ON time in this way, the rise of the light beam of the high beam does not follow the control of the pulse light emission, so that the rise characteristic of the light beam like the high beam LED 10 described above is sufficiently high. A high LED is required.

シャッタ開閉制御手段１３は、カメラ４のシャッタ開閉時間を制御するものであり、上述したパルス発光制御手段１２による発光制御とカメラ４のシャッタ開放タイミングと同期して、ハイビームＬＥＤ１０が発光している間、カメラ４のシャッタを開放させる。 The shutter opening / closing control means 13 controls the shutter opening / closing time of the camera 4 and is synchronized with the light emission control by the pulse light emission control means 12 and the shutter opening timing of the camera 4 while the high beam LED 10 is emitting light. Then, the shutter of the camera 4 is opened.

この第１の実施の形態の視覚支援装置１は上述した構成を備えており、次にこの視覚支援装置１の動作を図３のフローチャートを参照しながら説明する。
まず、ステップＳ０１において、スイッチ６がＯＮか否かを判定する。
ステップＳ０１における判定結果が「Ｎｏ」（ＯＦＦ）である場合は、このステップＳ０１の処理を繰り返す。
ステップＳ０１における判定結果が「Ｙｅｓ」（ＯＮ）である場合はステップＳ０２に進み、パルス発光制御手段１２により、ハイビームＬＥＤ１０を単発で（数百μｓ〜１ｍｓ程度）発光させる。 The visual assistance device 1 according to the first embodiment has the above-described configuration. Next, the operation of the visual assistance device 1 will be described with reference to the flowchart of FIG.
First, in step S01, it is determined whether or not the switch 6 is ON.
If the determination result in step S01 is “No” (OFF), the process in step S01 is repeated.
If the determination result in step S01 is “Yes” (ON), the process proceeds to step S02, and the pulse light emission control means 12 causes the high beam LED 10 to emit light only once (several hundreds μs to 1 ms).

次に、ステップＳ０３において、ハイビームＬＥＤ１０が単発で発光している際にカメラ４で車両前方を撮影して先行車または対向車を検出する。なお、この先行車または対向車の検出は、この一連の処理を行っている間、所定の間隔で実施される。
ステップＳ０４においては、先行車または対向車が存在するか否かを判定する。
ステップＳ０４における判定結果が「Ｎｏ」（先行車または対向車が存在しない）である場合は、ヘッドライト３のハイビームＬＥＤ１０を常時点灯しても問題ないため、ステップＳ１０に進み通常のハイビーム制御すなわち常時ハイビームＬＥＤ１０を点灯する制御処理へ移行し、その後、この一連の処理を一旦終了する。 Next, in step S03, when the high beam LED 10 emits light in a single shot, the front of the vehicle is photographed by the camera 4 to detect a preceding vehicle or an oncoming vehicle. The detection of the preceding vehicle or the oncoming vehicle is performed at a predetermined interval during the series of processing.
In step S04, it is determined whether there is a preceding vehicle or an oncoming vehicle.
If the determination result in step S04 is “No” (no preceding vehicle or oncoming vehicle), there is no problem even if the high beam LED 10 of the headlight 3 is always lit, so the process proceeds to step S10 and normal high beam control, that is, always The process shifts to a control process for turning on the high beam LED 10, and then this series of processes is temporarily terminated.

一方、ステップＳ０４における判定結果が「Ｙｅｓ」（先行車または対向車が存在する）である場合は、ステップＳ０５に進み、パルス発光制御手段１２によるハイビームＬＥＤ１０のパルス発光制御を開始すると共に、これに同期してシャッタ開閉制御手段１３によるカメラ４のシャッタの開閉制御を開始する。
次いで、ステップＳ０６においては、カメラ４で撮影された画像のＨＵＤ５への表示を開始する。 On the other hand, if the determination result in step S04 is “Yes” (the preceding vehicle or the oncoming vehicle exists), the process proceeds to step S05, and the pulse light emission control of the high beam LED 10 by the pulse light emission control means 12 is started. In synchronization, the shutter opening / closing control of the camera 4 by the shutter opening / closing control means 13 is started.
Next, in step S06, display of an image photographed by the camera 4 on the HUD 5 is started.

次に、ステップＳ０７においては、再度先行車または対向車が存在するか否かを判定する。
ステップＳ０７における判定結果が「Ｙｅｓ」（存在する）である場合は、ステップＳ１１に進み、スイッチ６がＯＮか否かを判定する。
ステップＳ１１における判定結果が「Ｙｅｓ」（ＯＮ）である場合は、ステップＳ０７に戻り上述した処理を繰り返す。 Next, in step S07, it is determined again whether there is a preceding vehicle or an oncoming vehicle.
If the determination result in step S07 is “Yes” (exists), the process proceeds to step S11 to determine whether or not the switch 6 is ON.
If the determination result in step S11 is “Yes” (ON), the process returns to step S07 and the above-described processing is repeated.

一方、ステップＳ０７における判定結果が「Ｎｏ」（存在しない）である場合、ハイビームＬＥＤ１０の常時点灯が可能な状態であるため、ステップＳ０８に進み、パルス発光制御手段１２によるパルス発光制御を停止すると共に、シャッタ開閉制御手段１３によるカメラ４のシャッタの開閉制御を停止し、ステップＳ０９において、ＨＵＤ５の表示制御を終了する。その後、ステップＳ１０の通常のハイビーム制御へ移行し、ステップＳ１０の処理が終了した後に、この一連の処理を一旦終了する。 On the other hand, if the determination result in step S07 is “No” (not present), the high beam LED 10 is in a state that can be constantly lit, so the process proceeds to step S08, and the pulse emission control by the pulse emission control means 12 is stopped. Then, the shutter opening / closing control of the camera 4 by the shutter opening / closing control means 13 is stopped, and the display control of the HUD 5 is terminated in step S09. Thereafter, the process proceeds to the normal high beam control in step S10, and after the process in step S10 is completed, this series of processes is temporarily ended.

また、ステップＳ１１における判定結果が「Ｎｏ」（ＯＦＦ）である場合は、ハイビームによる照射領域を視認する意思が運転者になくなったと考えられるため、ステップＳ１２に進み、パルス発光制御手段１２によるパルス発光制御を停止すると共に、シャッタ開閉制御手段１３によるカメラ４のシャッタの開閉制御を停止してステップＳ１３へ進む。
そして、ステップＳ１３においては、ＨＵＤ５の表示制御を終了し、この一連の処理を一旦終了する。なお、通常のハイビーム制御が行われているときを除いて、上述した視覚支援の一連の処理を実施している間、図４に示すように、ヘッドライト３のロービームにより車両前方の４０〜６０ｍ程度の範囲が常時照射される。 If the determination result in step S11 is “No” (OFF), it is considered that the driver has no intention of visually recognizing the irradiation region by the high beam, and therefore the process proceeds to step S12, where the pulse emission by the pulse emission control means 12 is performed. While stopping the control, the shutter opening / closing control of the camera 4 by the shutter opening / closing control means 13 is stopped, and the process proceeds to step S13.
In step S13, the display control of the HUD 5 is terminated, and this series of processes is temporarily terminated. While performing the above-described series of visual assistance processing except when the normal high beam control is performed, as shown in FIG. A range of degree is always irradiated.

したがって、上述した第１の実施の形態の視覚支援装置１によれば、ヘッドライト３にハイビームの可視光源として設けられたハイビームＬＥＤ１０を、人間の視覚では認知できない程度の間隔でパルス発光させて、この発光時にカメラ４のシャッタを開放することで、通常のロービーム照射領域よりも遠方のハイビームの照射領域（例えば、車両前方３０ｍ以上の領域）の画像を撮像してＨＵＤ５へ表示することができるため、運転者の視覚支援を簡単な構成で実現できる。 Therefore, according to the visual support device 1 of the first embodiment described above, the high-beam LED 10 provided as a high-beam visible light source in the headlight 3 is pulsed at intervals that cannot be recognized by human vision, By opening the shutter of the camera 4 at the time of light emission, an image of a high beam irradiation region (for example, a region 30 m or more ahead of the vehicle) far from the normal low beam irradiation region can be captured and displayed on the HUD 5. The driver's visual assistance can be realized with a simple configuration.

また、先行車や対向車が存在する場合に常時ハイビームにすると先行車や対向車の運転者が幻惑する可能性があるが、ハイビームＬＥＤ１０を常時点灯させるためのスイッチ６をＯＮ状態にすることで、先行車や対向車が検出されると、ハイビームＬＥＤ１０をパルス発光させてハイビーム領域の画像をカメラ４により撮像して当該画像をＨＵＤ５へ表示することができるため、先行車や対向車の運転者が幻惑することなく、自車両の運転者が、ハイビーム領域の画像をＨＵＤ５を介して視認することができる。 In addition, when there is a preceding vehicle or an oncoming vehicle, if the high beam is always used, the driver of the preceding vehicle or the oncoming vehicle may be dazzled, but by turning on the switch 6 for always lighting the high beam LED 10 When a preceding vehicle or an oncoming vehicle is detected, the high beam LED 10 can emit pulses, an image of the high beam area can be captured by the camera 4 and displayed on the HUD 5. Without being dazzled, the driver of the host vehicle can view the image of the high beam region through the HUD 5.

次にこの発明の第２の実施の形態における視覚支援装置１００について図面を参照しながら説明する。なお、この第２の実施の形態の視覚支援装置１００は、上述した第１の実施の形態の視覚支援装置１に対して、障害物までの距離検出を行うための構成を加えたものであるため、同一部分に同一符号を付して説明する。 Next, a vision support apparatus 100 according to a second embodiment of the present invention will be described with reference to the drawings. In addition, the visual assistance apparatus 100 of this 2nd Embodiment adds the structure for detecting the distance to an obstacle with respect to the visual assistance apparatus 1 of 1st Embodiment mentioned above. Therefore, the same parts will be described with the same reference numerals.

図５は、この発明の第２の実施の形態における視覚支援装置１００の概略構成を示すブロック図であって、この視覚支援装置１００は、ヘッドライト３、カメラ４、ＨＵＤ５、スイッチ６、および、制御部２７を備えて構成されている。なお、ヘッドライト３、カメラ４、ＨＵＤ５、および、スイッチ６については、上述した第１の実施の形態と同様の構成であるため詳細説明を省略する。 FIG. 5 is a block diagram showing a schematic configuration of the visual assistance device 100 according to the second embodiment of the present invention. The visual assistance device 100 includes a headlight 3, a camera 4, a HUD 5, a switch 6, and A control unit 27 is provided. Since the headlight 3, the camera 4, the HUD 5, and the switch 6 have the same configuration as that of the first embodiment described above, detailed description thereof is omitted.

制御部２７は、車両検出手段１１、パルス発光制御手段２２、シャッタ開閉制御手段１３、障害物抽出手段２４、調光手段２５、および、距離推定手段２６を備えて構成され、ヘッドライト３、カメラ４、ＨＵＤ５、スイッチ６が接続されている。ここで、車両検出手段１１、および、シャッタ開閉制御手段１３は、上述した第１の実施の形態の車両検出手段１１、シャッタ開閉制御手段１３と同様の構成である。 The control unit 27 includes a vehicle detection unit 11, a pulse light emission control unit 22, a shutter opening / closing control unit 13, an obstacle extraction unit 24, a dimming unit 25, and a distance estimation unit 26. The headlight 3, the camera 4, HUD5, and switch 6 are connected. Here, the vehicle detection means 11 and the shutter opening / closing control means 13 have the same configurations as the vehicle detection means 11 and the shutter opening / closing control means 13 of the first embodiment described above.

パルス発光制御手段２２は、図７に示すように、ハイビームＬＥＤ１０を所定の周期（例えば１ｓ程度）毎に比較的短じかい間隔（例えば、３０ｍｓ程度）で２回連続点滅させるパルス発光制御を行う。このパルス発光制御により、ハイビームＬＥＤ１０がパルス発光しているときにシャッタ開閉制御手段１３によりカメラ４のシャッタが開放（ｏｐｅｎ）されるとともに、さらに、１回目のパルス発光から所定時間経過後（例えば、１００ｍｓ程度）経過した後のハイビームＬＥＤ１０がパルス発光していないときにカメラ４のシャッタが開放（ｏｐｅｎ）されてそれぞれ撮影が行われる。 As shown in FIG. 7, the pulse light emission control means 22 performs pulse light emission control in which the high beam LED 10 is continuously blinked twice at a relatively short interval (eg, about 30 ms) every predetermined cycle (eg, about 1 s). . With this pulse emission control, the shutter of the camera 4 is opened by the shutter opening / closing control means 13 when the high beam LED 10 is emitting pulses, and after a predetermined time has elapsed since the first pulse emission (for example, When the high beam LED 10 is not emitting a pulse after about 100 ms), the shutter of the camera 4 is opened and each image is taken.

ここで、ハイビームＬＥＤ１０がパルス発光していないときに撮影された画像に基づいて、ハイビームＬＥＤ１０のパルス発光以外の光による影響を排除すべく、例えば、パルス発光時の画像の輝度とパルス発光していないときの画像の輝度との差分が求められる。なお、図７では、ハイビームＬＥＤ１０のパルス発光している時間よりもカメラ４のシャッタ開放時間の方をやや前後に長く設定した一例を示しているが、シャッタ開放時間中にハイビームＬＥＤ１０が発光すればシャッタ開放時間は適宜設定すればよい。 Here, based on the image taken when the high beam LED 10 is not emitting pulse light, for example, the luminance of the image at the time of pulse emission and the pulse emission are eliminated in order to eliminate the influence of light other than the pulse emission of the high beam LED 10. The difference from the brightness of the image when there is no image is obtained. FIG. 7 shows an example in which the shutter opening time of the camera 4 is set slightly longer before and after the time during which the high beam LED 10 emits pulses. However, if the high beam LED 10 emits light during the shutter opening time, FIG. The shutter opening time may be set as appropriate.

障害物抽出手段２４は、カメラ４により撮影された各画像データに基づき、二値化処理やエッジ検出などの画像処理を行い、各画像において車両前方に存在する障害物を抽出し、画像毎の障害物の輝度値を算出して距離推定手段２６へ出力する。 The obstacle extracting means 24 performs image processing such as binarization processing and edge detection based on each image data photographed by the camera 4, extracts obstacles existing in front of the vehicle in each image, and The brightness value of the obstacle is calculated and output to the distance estimating means 26.

調光手段２５は、パルス発光制御手段２２によりハイビームＬＥＤ１０の発光制御が行われている際に、ハイビームＬＥＤ１０による光量（発光強度）を調整する調光制御を行う。より具体的には、図６に示すように、パルス発光制御手段２２による２回連続で点滅する際の１回目の発光時に、その光量（発光強度）が相対的に大きいパターン（以下、単に大パターンと称す）で調光制御し、さらに、２回目の発光時に、１回目の発光時よりも光量（発光強度）が相対的に小さく、例えば、大パターンと比較して光量が半分程度のパターン（以下、単に小パターンと称す）で調光制御を行う。なお、図７ではパルス発光の周期が１ｓの場合を示しているが、図６ではパルス発光の周期が１００ｍｓの場合を示しており、ハイビームＬＥＤ１０がパルス発光していないときのカメラ４による撮影を省略した場合の一例を示している。 The light control means 25 performs light control that adjusts the amount of light (light emission intensity) by the high beam LED 10 when the light emission control of the high beam LED 10 is performed by the pulse light emission control means 22. More specifically, as shown in FIG. 6, a pattern (hereinafter simply referred to as a large light intensity) of the light intensity (light emission intensity) at the time of the first light emission when the pulse light emission control means 22 continuously flashes twice. (Referred to as a pattern), and the light intensity (emission intensity) is relatively smaller at the second light emission than at the first light emission, for example, a pattern whose light intensity is about half that of the large pattern. Dimming control is performed (hereinafter simply referred to as a small pattern). Although FIG. 7 shows a case where the pulse emission cycle is 1 s, FIG. 6 shows a case where the pulse emission cycle is 100 ms, and photographing by the camera 4 when the high beam LED 10 is not emitting pulses is shown. An example when omitted is shown.

距離推定手段２６は、光量が大パターンのときに撮影された画像から検出された障害物の輝度と、光量が小パターンのときに撮影された画像から検出された障害物の輝度との輝度差に基づき、自車両から障害物までの距離を推定する。この推定された距離が、上述された制御部２７によってＨＵＤ５に表示される。 The distance estimating means 26 is a luminance difference between the luminance of the obstacle detected from the image captured when the light amount is a large pattern and the luminance of the obstacle detected from the image captured when the light amount is a small pattern. Based on the above, the distance from the own vehicle to the obstacle is estimated. This estimated distance is displayed on the HUD 5 by the control unit 27 described above.

ここで、図８〜図１０は、略同一地点でそれぞれハイビームＬＥＤ１０の光量を変化させて撮影した画像を示しており、図８は光量が相対的に大きいパターンのときに撮影された画像、図９は光量が相対的に小さいパターンのときに撮影された画像、図１０はパルス発光していないときに撮影された画像である。これら図８〜図１０に示すように、障害物抽出手段２４により抽出される図中四角内の障害物の輝度は、大パターンのとき＞小パターンのとき＞発光無しのとき、の関係となっている。 8 to 10 show images taken by changing the light amount of the high beam LED 10 at substantially the same point, and FIG. 8 shows images taken when the light amount is a relatively large pattern. 9 is an image taken when the light amount is a relatively small pattern, and FIG. 10 is an image taken when pulse light is not emitted. As shown in FIGS. 8 to 10, the luminance of the obstacles in the squares extracted by the obstacle extracting means 24 has a relationship of large pattern> small pattern> no light emission. ing.

そして、距離推定手段２６は、障害物抽出手段２４より例えば図１０に示す画像から抽出された障害物の輝度値が入力されると、図８に示す画像から抽出された障害物の輝度値と、図９に示す画像から抽出された障害物の輝度値とを、輝度特性に基づいて補正して線形化するために予め記憶されたマップ（図示略）を参照することにより、それぞれ補正後の輝度値へ置き換え、これら補正後の輝度値の差分（輝度差）を求める。そして、予め記憶されている輝度差と距離とのマップ（図示略）を参照して自車両と障害物との推定距離を求める。ここで、輝度差と距離との関係は、輝度差が大きくなるほど距離が長く、輝度差が小さいほど距離が短くなる。なお、上記の輝度特性を補正して線形化するためのマップと、輝度差と距離とのマップとは、制御部２７のメモリ（図示略）等に予め記憶されている。 Then, the distance estimation unit 26 receives the luminance value of the obstacle extracted from the image shown in FIG. 8 when the luminance value of the obstacle extracted from the image shown in FIG. By referring to a map (not shown) stored in advance to correct and linearize the luminance value of the obstacle extracted from the image shown in FIG. 9 based on the luminance characteristic, Substituting with a luminance value, a difference (luminance difference) between the corrected luminance values is obtained. Then, an estimated distance between the host vehicle and the obstacle is obtained with reference to a map (not shown) of the brightness difference and distance stored in advance. Here, as for the relationship between the luminance difference and the distance, the distance increases as the luminance difference increases, and the distance decreases as the luminance difference decreases. Note that a map for correcting and linearizing the above luminance characteristics and a map of luminance difference and distance are stored in advance in a memory (not shown) of the control unit 27 or the like.

図１１は、縦軸が輝度、横軸が自車両から障害物までの距離としたグラフである。この図１１のグラフでは、パルス発光の光量が大パターンのときの障害物の輝度特性の一例（図１１中、実線で示す）と小パターンのときの同一障害物の輝度特性の一例（図１１中、一点鎖線で示す）と、さらに、これら輝度特性を線形化するべく補正した大パターンにおける輝度変化の直線（図１１中、破線で示す）と、小パターンにおける輝度変化の直線（図１１中一点鎖線で示す）とを示している。
この図１１のグラフに示すように、光量が大パターンのときに障害物の輝度Ａが検出されると、この輝度Ａは、輝度特性を補正して線形化するためのマップにより破線上の輝度Ａ´に補正される。また、大パターンと同一周期の小パターンのときに障害物の輝度Ｂが検出されると、この輝度Ｂは、輝度特性を補正して線形化するためのマップにより二点鎖線上の輝度Ｂ´に補正される。そして、これら輝度Ａ´と輝度Ｂ´の輝度差（図１１中、鎖線と二点鎖線との間の矢印で示す。）を求め、この輝度差に基づき上述した輝度差と距離とのマップを参照することで自車両と障害物との距離が推定される。なお、図１１において、３０〜６０ｍよりも自車両に近いエリアについては、ロービームの影響により、大パターンおよび小パターンのときの各輝度に変化（輝度差）が現れ難く、また、２００ｍよりも自車両から遠いエリアについては、遠方過ぎて十分に光が届かないことから大パターンおよび小パターンのときの各輝度に変化（輝度差）が現れにくいため、これら、３０〜６０ｍよりも近いエリア、および、２００ｍよりも遠いエリアについては、距離算出の対象外エリアとしている。近いエリアの上限を３０〜６０ｍとして説明したが、ロービームの性能などに応じて３０〜６０ｍの間で適宜の値を設定すればよい。 FIG. 11 is a graph in which the vertical axis represents luminance and the horizontal axis represents the distance from the host vehicle to the obstacle. In the graph of FIG. 11, an example of the luminance characteristic of the obstacle when the amount of pulsed light emission is a large pattern (shown by a solid line in FIG. 11) and an example of the luminance characteristic of the same obstacle when a small pattern is used (FIG. 11). In addition, a straight line of luminance change in a large pattern (indicated by a broken line in FIG. 11) and a straight line of luminance change in a small pattern (shown in FIG. 11). It is indicated by a one-dot chain line).
As shown in the graph of FIG. 11, when the luminance A of the obstacle is detected when the amount of light is a large pattern, this luminance A is represented by a map for correcting and linearizing the luminance characteristics. It is corrected to A ′. Further, when the luminance B of the obstacle is detected in the small pattern having the same cycle as the large pattern, this luminance B is converted to the luminance B ′ on the two-dot chain line by a map for correcting and linearizing the luminance characteristics. It is corrected to. Then, a luminance difference between the luminance A ′ and the luminance B ′ (indicated by an arrow between the chain line and the two-dot chain line in FIG. 11) is obtained, and the above-described map of the luminance difference and the distance is obtained based on the luminance difference. By referencing, the distance between the vehicle and the obstacle is estimated. In FIG. 11, in the area closer to the host vehicle than 30 to 60 m, due to the influence of the low beam, changes (brightness differences) in the large pattern and the small pattern are less likely to appear, and more than 200 m. For areas far from the vehicle, the light is not far enough to reach enough light, so changes (brightness differences) in the large pattern and small pattern are less likely to appear, so these are areas closer than 30-60 m, and , Areas farther than 200 m are excluded from distance calculation. Although the upper limit of the near area has been described as 30 to 60 m, an appropriate value may be set between 30 and 60 m depending on the performance of the low beam.

したがって、上述の第２の実施の形態によれば、カメラ４により撮像された撮像画像に含まれる障害物を抽出し、ハイビームＬＥＤ１０の発光強度を大パターンと小パターンとに変化させることで、大パターンのときの障害物と、小パターンのときの障害物とに基づく輝度差によって障害物までの距離を推定し、この推定された距離をＨＵＤ５へ表示することができるので、運転者は、ＨＵＤ５の表示内容を確認することで抽出された障害物までの距離を容易に認識することができる。 Therefore, according to the second embodiment described above, the obstacle included in the captured image captured by the camera 4 is extracted, and the emission intensity of the high beam LED 10 is changed between the large pattern and the small pattern, thereby increasing the size. Since the distance to the obstacle can be estimated by the luminance difference based on the obstacle at the time of the pattern and the obstacle at the time of the small pattern, and the estimated distance can be displayed on the HUD 5, the driver can By confirming the display content, it is possible to easily recognize the distance to the extracted obstacle.

なお、上述した各実施の形態では、表示手段としてＨＵＤ５を用いる場合について説明したが、ナビゲーション用の画面やメータパネル内に設けられたマルチインフォメーションディスプレイなどを表示手段として用いても良い。
また、上記第２の実施の形態では、障害物の輝度値を線形化する補正をマップを用いて行う場合について説明したが、マップに限るものではなく、例えば、輝度値を線形化する関数のみをメモリなどに記憶させて、輝度検出の都度、計算により補正を行うようにしてもよい。これにより、上述したマップを用いた場合よりも記憶容量を低減することが可能となる。 In each of the above-described embodiments, the case where the HUD 5 is used as the display means has been described. However, a navigation information screen, a multi-information display provided in a meter panel, or the like may be used as the display means.
In the second embodiment, the case where the correction for linearizing the luminance value of the obstacle is performed using the map is described. However, the correction is not limited to the map, and for example, only the function for linearizing the luminance value is performed. May be stored in a memory or the like, and correction may be performed by calculation each time luminance is detected. As a result, the storage capacity can be reduced as compared with the case where the above-described map is used.

本発明の第１の実施の形態における視覚支援装置の構成を示すブロック図である。It is a block diagram which shows the structure of the visual assistance apparatus in the 1st Embodiment of this invention. 本発明の第１の実施の形態における視覚支援装置のハイビームの発光タイミングを示すタイミングチャートである。It is a timing chart which shows the light emission timing of the high beam of the visual assistance apparatus in the 1st Embodiment of this invention. 本発明の第１の実施の形態における視覚支援制御処理のフローチャートである。It is a flowchart of the visual assistance control process in the 1st Embodiment of this invention. 車両のロービームとハイビームとの照射範囲の一例を示す図である。It is a figure which shows an example of the irradiation range of the low beam of a vehicle, and a high beam. 本発明の第２の実施の形態における視覚支援装置の構成を示すブロック図である。It is a block diagram which shows the structure of the visual assistance apparatus in the 2nd Embodiment of this invention. 本発明の第２の実施の形態における視覚支援装置の図２に相当するタイミングチャートである。It is a timing chart equivalent to FIG. 2 of the vision assistance apparatus in the 2nd Embodiment of this invention. 本発明の第２の実施の形態における視覚支援装置の発光タイミングとカメラのシャッタタイミングとを示すタイミングチャートである。It is a timing chart which shows the light emission timing of the visual assistance apparatus in the 2nd Embodiment of this invention, and the shutter timing of a camera. 本発明の第２の実施の形態における視覚支援装置の発光強度が相対的に大きいときの撮像画像の一例である。It is an example of the captured image when the light emission intensity | strength of the visual assistance apparatus in the 2nd Embodiment of this invention is relatively large. 本発明の第２の実施の形態における視覚支援装置の発光強度が相対的に小さいときの撮像画像の一例である。It is an example of the captured image when the light emission intensity | strength of the visual assistance apparatus in the 2nd Embodiment of this invention is relatively small. 本発明の第２の実施の形態における視覚支援装置の発光していないときの撮像画像の一例である。It is an example of the captured image when the visual assistance apparatus in the 2nd Embodiment of this invention does not light-emit. 本発明の第２の実施の形態における障害物の輝度特性と補正後の輝度特性とを示すグラフの一例である。It is an example of the graph which shows the luminance characteristic of the obstruction in the 2nd Embodiment of this invention, and the luminance characteristic after correction | amendment.

Explanation of symbols

１０ハイビームＬＥＤ（ＬＥＤ）
３ヘッドライト
５ＨＵＤ（表示手段）
７，２７制御部（制御手段）
１２，２２パルス発光制御手段
１３シャッタ開閉制御手段
１１車両検出手段
２４障害物抽出手段
２５調光手段
２６距離推定手段 10 High beam LED (LED)
3 Headlight 5 HUD (display means)
7, 27 Control unit (control means)
DESCRIPTION OF SYMBOLS 12, 22 Pulse light emission control means 13 Shutter opening / closing control means 11 Vehicle detection means 24 Obstacle extraction means 25 Light control means 26 Distance estimation means

Claims

A headlight having LEDs as a visible light source on the high beam side;
Imaging means for imaging and outputting the front of the host vehicle including the headlight irradiation range;
Display means for displaying an image captured by the imaging means;
Control means for performing on / off control of the headlight, controlling opening / closing of a shutter of the imaging means, and displaying a captured image output from the imaging means on the display means;
A visual assistance device comprising forward vehicle detection means for detecting the presence or absence of a preceding vehicle or an oncoming vehicle in front of the vehicle ,
The control means includes
Pulse light emission control means for causing the LED to emit light at a predetermined cycle; and
A shutter opening / closing control means for controlling the opening of the shutter of the imaging means only when the LED is emitted by the pulse light emission control means,
The presence of a preceding vehicle or an oncoming vehicle is detected by the forward vehicle detection means, and the pulse light emission control means causes the LED to emit light when the switch that constantly lights the LED is in an ON state. Support device.

Obstacle extraction means for extracting obstacles included in the captured image;
Dimming means for changing the light emission intensity of the LED at the time of pulse light emission into a pattern having a relatively large light emission intensity and a pattern having a relatively small light emission intensity;
A brightness difference of an obstacle is obtained based on a captured image when the light emission intensity is relatively high and a captured image when the light emission intensity is relatively small, and is extracted by the obstacle extraction unit based on the brightness difference. Distance estimation means for estimating the distance to the obstacle,
The visual support apparatus according to claim 1 , wherein the control unit causes the display unit to display a distance to the obstacle estimated by the distance estimation unit.

A headlight having LEDs as a visible light source on the high beam side;
Imaging means for imaging and outputting the front of the host vehicle including the headlight irradiation range;
Display means for displaying an image captured by the imaging means;
Control means for performing on / off control of the headlight, controlling opening / closing of a shutter of the imaging means, and displaying a captured image output from the imaging means on the display means;
Obstacle extraction means for extracting obstacles included in the captured image;
Dimming means for changing the light emission intensity of the LED at the time of pulse light emission into a pattern having a relatively large light emission intensity and a pattern having a relatively small light emission intensity;
A brightness difference of an obstacle is obtained based on a captured image when the light emission intensity is relatively high and a captured image when the light emission intensity is relatively small, and is extracted by the obstacle extraction unit based on the brightness difference. Distance estimation means for estimating the distance to the obstacle
A visual support device comprising:
The control means includes
Pulse light emission control means for causing the LED to emit light at a predetermined cycle; and
A shutter opening / closing control means for controlling the opening of the shutter of the imaging means only when the LED is emitted by the pulse light emission control means,
A visual assistance device characterized in that a distance to an obstacle estimated by the distance estimation means is displayed on the display means.