JP7295645B2 - Vehicle road sign recognition support device - Google Patents

Vehicle road sign recognition support device Download PDF

Info

Publication number
JP7295645B2
JP7295645B2 JP2019013867A JP2019013867A JP7295645B2 JP 7295645 B2 JP7295645 B2 JP 7295645B2 JP 2019013867 A JP2019013867 A JP 2019013867A JP 2019013867 A JP2019013867 A JP 2019013867A JP 7295645 B2 JP7295645 B2 JP 7295645B2
Authority
JP
Japan
Prior art keywords
road sign
vehicle
unit
support device
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019013867A
Other languages
Japanese (ja)
Other versions
JP2020121615A (en
Inventor
祐樹 松下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Faurecia Clarion Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd, Faurecia Clarion Electronics Co Ltd filed Critical Clarion Co Ltd
Priority to JP2019013867A priority Critical patent/JP7295645B2/en
Publication of JP2020121615A publication Critical patent/JP2020121615A/en
Application granted granted Critical
Publication of JP7295645B2 publication Critical patent/JP7295645B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

この発明は、車両用道路標識認識支援装置に関するものである。 The present invention relates to a road sign recognition support device for vehicles.

自動車などの車両には、例えば、車両前方の画像を撮像するカメラなどの撮像部を搭載したものが存在している。そして、このようなカメラの画像を用いて道路標識の内容を認識させるようにした車両用道路標識認識装置も開発されている（例えば、特許文献１参照）。この車両用道路標識認識装置は、道路標識の認識に、近赤外光などを用いている。 2. Description of the Related Art Some vehicles, such as automobiles, are equipped with an imaging unit such as a camera that captures an image in front of the vehicle. A road sign recognition device for a vehicle has also been developed in which the content of a road sign is recognized using such a camera image (see, for example, Patent Document 1). This vehicle road sign recognition device uses near-infrared light or the like to recognize road signs.

特開２０１６－１９６２３３号公報JP 2016-196233 A

上記特許文献１に記載された車両用道路標識認識装置では、道路標識の劣化による道路標識自体の輝度低下によって、近赤外光を照射した道路標識が暗く映って内容が認識できない場合に、カメラの撮像パラメータや、近赤外光の光量などを調整することで、道路標識の内容を認識し易くしている。 In the vehicular road sign recognition device described in Patent Document 1, when a road sign irradiated with near-infrared light appears dark due to deterioration of the road sign itself and the brightness of the road sign itself decreases, and the content cannot be recognized, the camera The content of road signs can be easily recognized by adjusting the imaging parameters of , the amount of near-infrared light, and the like.

しかし、特許文献１は、撮像パラメータの調整や近赤外光の光量の調整などを行って、道路標識に対する認識性を高めるようにしていたので、まだ改良や工夫の余地がある。 However, in Japanese Patent Laid-Open No. 2002-200012, the imaging parameters and the amount of near-infrared light are adjusted to improve the recognition of road signs, so there is still room for improvement and ingenuity.

上記課題を解決するために、本発明は、
少なくとも車両の前方の画像を撮像する撮像部と、
該撮像部によって得られた画像の中の道路標識の有無を判定する道路標識存在判定部と、
該道路標識存在判定部によって道路標識有りと判定された場合に、道路標識の内容を認識する道路標識内容認識部と、
該道路標識内容認識部が、道路標識の内容を認識できないときに、道路標識の位置を算出する道路標識位置算出部と、
該道路標識位置算出部によって算出された道路標識の位置へ照明光が向くように車両用照明装置の照射方向を制御する配光制御部とを備え、
前記配光制御部は、前記道路標識内容認識部が道路標識の内容を認識できる場合には、前記車両用照明装置の配光を制御しない車両用道路標識認識支援装置を特徴とする。 In order to solve the above problems, the present invention
an imaging unit that captures at least an image in front of the vehicle;
a road sign presence determination unit that determines whether or not there is a road sign in the image obtained by the imaging unit;
a road sign content recognition unit that recognizes the content of a road sign when the road sign existence determination unit determines that there is a road sign;
a road sign position calculation unit that calculates the position of the road sign when the road sign content recognition unit cannot recognize the content of the road sign ;
a light distribution control unit that controls the irradiation direction of the vehicle lighting device so that the illumination light is directed to the position of the road sign calculated by the road sign position calculation unit ;
The vehicle road sign recognition support device is characterized in that the light distribution control unit does not control the light distribution of the vehicle illumination device when the road sign content recognition unit can recognize the content of the road sign.

本発明によれば、上記構成によって、道路標識の内容を早期に、または、より容易に認識できるようになる。また、道路標識内容認識部によって、実際に道路上に存在している道路標識の内容を自動的に認識できるようになる。この際、道路標識内容認識部が道路標識の内容を認識できないときに、車両用照明装置の配光を制御して道路標識の位置へ向けて照明光を照射させることで、照明光に照射された道路標識の内容を道路標識内容認識部によって認識し易くすることができる。加えて、道路標識内容認識部が道路標識の内容を認識できる場合には、車両用照明装置の配光を制御しないようにすることで、配光制御部などの処理負荷（負担）を軽減して、車両用道路標識認識支援装置の効率的運用を図ることが可能になる。 According to the present invention, the above configuration enables early or easier recognition of the content of road signs. In addition, the road sign content recognition unit can automatically recognize the content of road signs that actually exist on the road. At this time, when the road sign content recognition unit cannot recognize the content of the road sign, the light distribution of the vehicle lighting device is controlled to irradiate the illumination light toward the position of the road sign. It is possible to facilitate recognition of the road sign content by the road sign content recognition unit. In addition, when the road sign content recognition unit can recognize the content of the road sign, the processing load (burden) on the light distribution control unit is reduced by not controlling the light distribution of the vehicle lighting device. Therefore, it is possible to efficiently operate the road sign recognition support device for vehicles.

本実施の形態にかかる車両用道路標識認識支援装置の機能を示す図である。このうち、（ａ）は車両用道路標識認識支援装置がない場合、（ｂ）は車両用道路標識認識支援装置を設けた場合である。It is a figure which shows the function of the road sign recognition assistance apparatus for vehicles concerning this Embodiment. Of these, (a) is the case where there is no road sign recognition support device for vehicles, and (b) is the case where the road sign recognition support device for vehicles is provided. 図１の車両用道路標識認識支援装置のハードウェア構成を示すブロック図である。2 is a block diagram showing the hardware configuration of the vehicle road sign recognition support device of FIG. 1; FIG. 図１の車両用道路標識認識支援装置の処理手順の一例を示すフロー図である。FIG. 2 is a flowchart showing an example of a processing procedure of the vehicle road sign recognition support device of FIG. 1; 道路標識存在判定部の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of a road sign presence determination part. 撮像された近赤外画像の一例を示す図である。It is a figure which shows an example of the imaged near-infrared image. 図５Ａの画像の中から道路標識の候補領域を検出した結果について説明する図である。FIG. 5B is a diagram for explaining a result of detecting a road sign candidate area from the image of FIG. 5A; 道路標識位置算出部の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of a road sign position calculation part. 道路標識内容認識部の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of a road sign content recognition part. 車両用道路標識認識支援装置のメインルーチンを示すフローチャートである。It is a flowchart which shows the main routine of the road sign recognition assistance apparatus for vehicles. 道路標識の位置を算出して照明光を照射するサブルーチンを示すフローチャートである。4 is a flow chart showing a subroutine for calculating the position of a road sign and irradiating illumination light. 車両用道路標識認識支援装置で道路標識の認識支援を行う状態を示す説明図である。It is explanatory drawing which shows the state which recognition assistance of a road sign is performed with the road sign recognition assistance apparatus for vehicles. 図１０に続く説明図である。FIG. 11 is an explanatory diagram following FIG. 10; 左右のハイビーム／ロービームを自動切り替えする機能を備えたヘッドライトを用いた場合の照射処理を示す説明図である。FIG. 10 is an explanatory diagram showing irradiation processing when using a headlight having a function of automatically switching between left and right high beams/low beams; 可変配光式ヘッドライトを用いた場合の照射処理を示す説明図である。FIG. 5 is an explanatory diagram showing irradiation processing when a variable light distribution type headlight is used; 照射処理の結果を示す説明図である。It is explanatory drawing which shows the result of irradiation processing. 道路標識内容認識部による道路標識内容認識処理を示すフローチャートである。It is a flowchart which shows the road sign content recognition processing by a road sign content recognition part.

以下、本実施の形態を、図面を用いて詳細に説明する。
図１～図１５は、この実施の形態を説明するためのものである。 Hereinafter, this embodiment will be described in detail with reference to the drawings.
1 to 15 are for explaining this embodiment.

＜構成＞以下、この実施の形態の構成について説明する。 <Construction> The construction of this embodiment will be described below.

例えば、図１（ａ）に示すように、夜間などにヘッドライト１（ロービーム）を点灯して車両２を走行している場合には、道路標識３の近くまで進まないと、前方にある道路標識３の内容を認識することが難しい。この状態から、図１（ｂ）に示すように、道路標識３から離れた位置からでも、道路標識３を認識できるようにしたいという要望がある。そのために、車両用道路標識認識支援装置４（図２）を、車両２に対して備えるようにする。車両用道路標識認識支援装置４は、道路標識３に対する認識を支援するために車両２に搭載される装置である。なお、図１では分かり易いようにヘッドライト１そのものではなく、ヘッドライト１からの光に対して符号を付すようにしている。 For example, as shown in FIG. 1(a), when driving a vehicle 2 with the headlights 1 (low beam) turned on at night, if the vehicle 2 does not proceed to the vicinity of the road sign 3, the road ahead It is difficult to recognize the content of the sign 3. From this state, as shown in FIG. 1(b), there is a demand to be able to recognize the road sign 3 even from a position away from the road sign 3. FIG. For this purpose, the vehicle 2 is provided with the vehicle road sign recognition support device 4 (FIG. 2). The vehicle road sign recognition support device 4 is a device mounted on the vehicle 2 to support the recognition of the road sign 3 . In addition, in FIG. 1, for the sake of clarity, the light from the headlight 1 rather than the headlight 1 itself is denoted by a reference numeral.

（構成 １）そのために、図２に示すように、車両用道路標識認識支援装置４は、少なくとも車両２の前方の画像５を撮像する撮像部６と、撮像部６によって得られた画像５の中の道路標識３の有無を判定する道路標識存在判定部７と、道路標識存在判定部７によって道路標識３有りと判定された場合に、道路標識３の位置を算出する道路標識位置算出部８と、道路標識位置算出部８によって算出された道路標識３の位置へ照明光９が向くように車両用照明装置１１の照射方向１２を制御する配光制御部１３を備えるように構成しても良い。 (Configuration 1) For this purpose, as shown in FIG. and a road sign position calculation unit 8 for calculating the position of the road sign 3 when the road sign presence determination unit 7 determines that the road sign 3 is present. and a light distribution control unit 13 that controls the irradiation direction 12 of the vehicle lighting device 11 so that the illumination light 9 is directed to the position of the road sign 3 calculated by the road sign position calculation unit 8. good.

（構成 ２）車両用道路標識認識支援装置４は、道路標識３の種別，内容を認識する道路標識内容認識部１５を備えても良い。配光制御部１３は、道路標識内容認識部１５が、道路標識３の内容を認識できないときに、道路標識３の位置へ向けて車両用照明装置１１の照明光９を照射させるようにしても良い。 (Configuration 2) The vehicle road sign recognition support device 4 may include a road sign content recognition unit 15 that recognizes the type and content of the road sign 3 . Even if the light distribution control unit 13 irradiates the illumination light 9 of the vehicle lighting device 11 toward the position of the road sign 3 when the road sign content recognition unit 15 cannot recognize the content of the road sign 3. good.

（構成 ３）車両用道路標識認識支援装置４では、照明光９は、近赤外光３２または可視光１６の少なくとも一方とされても良い。そして、照明光９の照射方向１２を制御可能な車両用照明装置１１は、車両前方へ向けて出射する可視光１６の配光を変更可能な可変配光式ヘッドライト１７としても良い。 (Configuration 3) In the vehicle road sign recognition support device 4 , the illumination light 9 may be at least one of the near-infrared light 32 and the visible light 16 . The vehicle lighting device 11 capable of controlling the irradiation direction 12 of the illumination light 9 may be a variable light distribution type headlight 17 capable of changing the light distribution of the visible light 16 emitted toward the front of the vehicle.

（構成 ４）車両用道路標識認識支援装置４では、撮像部６は、可視光領域および近赤外領域の双方に感度を有するものとしても良い。 (Configuration 4) In the vehicle road sign recognition support device 4, the imaging unit 6 may have sensitivity in both the visible light region and the near-infrared region.

（構成 ５）車両用道路標識認識支援装置４では、道路標識存在判定部７は、車両２の周辺の道路標識情報２１を取得したときに、道路標識３の有無の判定を行うようにしても良い。 (Configuration 5) In the vehicle road sign recognition support device 4, the road sign presence determination unit 7 may determine the presence or absence of the road sign 3 when acquiring the road sign information 21 around the vehicle 2. good.

（構成 ６）車両用道路標識認識支援装置４は、車両２の周辺に道路標識３が存在する可能性があるか否かを判定する道路標識存在可能性判定部２２を有しても良い。具体的には、道路標識存在可能性判定部２２を、車両２の周辺の道路標識情報２１を出力する道路標識情報出力部２３などとすることができる。 (Configuration 6) The vehicle road sign recognition support device 4 may have a road sign presence possibility determination unit 22 that determines whether or not there is a possibility that the road sign 3 exists around the vehicle 2 . Specifically, the road sign presence possibility determination unit 22 can be a road sign information output unit 23 that outputs the road sign information 21 around the vehicle 2, or the like.

（構成 ７）車両用道路標識認識支援装置４では、道路標識存在可能性判定部２２は、記憶している道路標識３の設置位置を示す情報に基づいて、車両２の前方に道路標識３が存在する可能性があるか否かを判定するようにしても良い。具体的には、道路標識存在可能性判定部２２としての道路標識情報出力部２３を、記憶しているデータベース２５を用いて道路標識情報２１を出力するものなどとすることができる。 (Configuration 7) In the vehicle road sign recognition support device 4, the road sign presence possibility determination unit 22 determines whether the road sign 3 is in front of the vehicle 2 based on the stored information indicating the installation position of the road sign 3. You may make it determine whether there exists possibility. Specifically, the road sign information output unit 23 as the road sign presence possibility determination unit 22 can be configured to output the road sign information 21 using the database 25 that stores it.

（構成 ８）車両用道路標識認識支援装置４では、車両用照明装置１１は、道路標識３の位置へ向けて照明光９を照射したあとに、道路標識存在判定部７または道路標識内容認識部１５へ照射完了信号２６を送るようにしても良い。 (Configuration 8) In the vehicle road sign recognition support device 4, the vehicle illumination device 11 irradiates the illumination light 9 toward the position of the road sign 3, and then the road sign existence determination unit 7 or the road sign content recognition unit 15, an irradiation completion signal 26 may be sent.

＜作用効果＞以下、この実施の形態にかかる車両用道路標識認識支援装置４の作用効果について説明する。 <Action and Effect> Action and effect of the vehicle road sign recognition support device 4 according to this embodiment will be described below.

（作用効果 １）車両用道路標識認識支援装置４では、図３に示すように、撮像部６（カメラ）が、少なくとも車両２の前方の画像５を撮像する（ステップ１）。次に、道路標識存在判定部７が、撮像部６によって得られた画像５の中の道路標識３の有無を判定する（ステップ２）。道路標識存在判定部７によって道路標識３が有りと判定された場合には、最終的に、道路標識位置算出部８が道路標識３の位置を算出する。そして、配光制御部１３が、車両用照明装置１１による照明光９の照射方向１２を制御して、道路標識位置算出部８によって算出された道路標識３の位置へ向けて車両用照明装置１１の照明光９を照射させる（ステップ４）。なお、道路標識存在判定部７によって道路標識３が無しと判定された場合には、車両用照明装置１１による上記した特定位置への照明光９の照射は特に行う必要がない。 (Effect 1) In the vehicle road sign recognition support device 4, as shown in FIG. 3, the imaging unit 6 (camera) captures at least an image 5 in front of the vehicle 2 (step 1). Next, the road sign presence determination unit 7 determines whether or not the road sign 3 is present in the image 5 obtained by the imaging unit 6 (step 2). When the road sign presence determination unit 7 determines that the road sign 3 is present, the road sign position calculation unit 8 finally calculates the position of the road sign 3 . Then, the light distribution control unit 13 controls the irradiation direction 12 of the illumination light 9 by the vehicle lighting device 11 to direct the vehicle lighting device 11 toward the position of the road sign 3 calculated by the road sign position calculation unit 8 . is irradiated with illumination light 9 (step 4). When the road sign presence determining unit 7 determines that there is no road sign 3, there is no particular need to irradiate the above-described specific position with the illumination light 9 from the vehicle lighting device 11. FIG.

これにより、車両用道路標識認識支援装置４は、撮像部６の画像５の中から道路標識存在判定部７が道路標識３（道路標識３らしい物体も含む）を発見した場合に、道路標識位置算出部８で算出した道路標識３の位置へ向けて照明光９を照射することができ、道路標識３が照明光９によって局所的に照らされて明るくなるので、実際に道路上に存在している道路標識３の内容を視認し易くなり、運転者や車両用道路標識認識支援装置４は、道路標識３の内容を、より容易且つ明瞭に認識できるようになる。よって、遠方からでも道路標識３を早期に発見することが可能になる。また、夜間やトンネルなどの暗い環境においても、道路標識３に対する視認や認識の精度を向上して、昼間などの明るい環境と同様に、安全運転を促すことなどが可能になる。 As a result, the road sign recognition support device 4 for vehicles detects the road sign position when the road sign presence determination unit 7 finds the road sign 3 (including an object that looks like the road sign 3) from the image 5 of the imaging unit 6. The illumination light 9 can be emitted toward the position of the road sign 3 calculated by the calculation unit 8, and the road sign 3 is locally illuminated by the illumination light 9 and brightened, so that the road sign 3 actually exists on the road. This makes it easier for the driver and the vehicle road sign recognition support device 4 to recognize the content of the road sign 3 more easily and clearly. Therefore, it becomes possible to find the road sign 3 early even from a distance. In addition, even in dark environments such as nighttime and tunnels, it is possible to improve the accuracy of visual recognition and recognition of the road signs 3 and encourage safe driving as in bright environments such as daytime.

（作用効果 ２）道路標識内容認識部１５によって、道路標識３の種別，内容を認識するようにしても良い（ステップ３）。この際、道路標識内容認識部１５が道路標識３の内容を認識（または判読）できないときに、（道路標識内容認識部１５が道路標識存在判定部７に認識不可信号２７（図２）を送り、認識不可信号２７によって道路標識存在判定部７が道路標識位置算出部８を介して配光制御部１３に標識存在位置信号２８を送ることで、）配光制御部１３は、道路標識３の位置へ向けて車両用照明装置１１の照明光９を照射させるようにしても良い。なお、道路標識内容認識部１５が道路標識３の内容を認識（判定または判読）できるときには、車両用照明装置１１による道路標識３への照明光９の照射は行わないようにしても良い。 (Effect 2) The type and content of the road sign 3 may be recognized by the road sign content recognition unit 15 (step 3). At this time, when the road sign content recognition unit 15 cannot recognize (or decipher) the content of the road sign 3, the road sign content recognition unit 15 sends a recognition failure signal 27 (FIG. 2) to the road sign presence determination unit 7. , the road sign presence determination unit 7 sends a sign presence position signal 28 to the light distribution control unit 13 via the road sign position calculation unit 8 in response to the unrecognizable signal 27, so that the light distribution control unit 13 The illumination light 9 of the vehicle illumination device 11 may be directed toward the position. When the road sign content recognition unit 15 can recognize (determine or read) the content of the road sign 3, the vehicle lighting device 11 may not irradiate the road sign 3 with the illumination light 9.

これにより、車両用道路標識認識支援装置４は、道路標識内容認識部１５によって、実際に道路上に存在している道路標識３の種別，内容を自動的に認識できるようになる。この際、道路標識内容認識部１５が道路標識３の内容を認識できないときに、車両用照明装置１１の配光を制御して道路標識３の位置へ向けて照明光９を照射させることで、照明光９に照射された道路標識３の内容を道路標識内容認識部１５によって認識し易くすることができる。加えて、道路標識内容認識部１５が道路標識３の内容を認識できる場合には、車両用照明装置１１の配光を制御しないようにすることができ、これにより、配光制御部１３などの処理負荷（負担）を軽減して、車両用道路標識認識支援装置４の効率的運用を図ることが可能になる。 As a result, the vehicle road sign recognition support device 4 can automatically recognize the type and content of the road sign 3 actually present on the road by means of the road sign content recognition unit 15 . At this time, when the road sign content recognition unit 15 cannot recognize the content of the road sign 3, by controlling the light distribution of the vehicle lighting device 11 and irradiating the illumination light 9 toward the position of the road sign 3, The content of the road sign 3 irradiated with the illumination light 9 can be easily recognized by the road sign content recognition unit 15 . In addition, when the road sign content recognition unit 15 can recognize the content of the road sign 3, it is possible not to control the light distribution of the vehicle illumination device 11. It is possible to reduce the processing load (burden) and to operate the vehicle road sign recognition support device 4 efficiently.

なお、道路標識内容認識部１５が道路標識３の内容を認識（または判読）する前に、車両用照明装置１１による道路標識３への照明光９の照射を行うようにすることも構成的には可能である。 In addition, before the road sign content recognition unit 15 recognizes (or interprets) the content of the road sign 3, the vehicle illumination device 11 may irradiate the road sign 3 with the illumination light 9. is possible.

（作用効果 ３）照明光９は、近赤外光３２または可視光１６の少なくとも一方とされても良い。照明光９を近赤外光３２とすることで、人の目には見えないように道路標識３を照明して機械的に道路標識３の有無を判定させたり認識させたりできる。また、照明光９を可視光１６とすることで、人の目で見えるように道路標識３を照明して乗員に道路標識３の有無の判定や認識などを行わせることができる。 (Effect 3) The illumination light 9 may be at least one of the near-infrared light 32 and the visible light 16 . By using the near-infrared light 32 as the illumination light 9, it is possible to illuminate the road sign 3 so as not to be visible to the human eye, and to mechanically determine or recognize the presence or absence of the road sign 3. - 特許庁Further, by using the visible light 16 as the illumination light 9, the road sign 3 can be illuminated so that it can be seen by the human eye, and the passenger can determine the presence or absence of the road sign 3 and recognize it.

そして、車両用照明装置１１を、可変配光式ヘッドライト１７としても良い。これにより、車両前方へ向けて照明光９を照射する可変配光式ヘッドライト１７を用いて、照明光９の配光を変更できるようになる。 Also, the vehicle lighting device 11 may be a variable light distribution type headlight 17 . As a result, the light distribution of the illumination light 9 can be changed using the variable light distribution headlights 17 that emit the illumination light 9 toward the front of the vehicle.

そのため、可変配光式ヘッドライト１７が持つ配光変更機能を有効利用して、車両前方の道路標識３を照明光９で確実に照らすことができるようになる。しかも、可変配光式ヘッドライト１７が出射する照明光９は可視光１６であり、この可視光１６による照明光９は光量が十分に大きいため、道路標識３を視認したり認識したりする上で有利である。また、例えば、近赤外光３２の照射だと乱反射が生じてしまうことから内容を認識するのが困難になり易い反射型の道路標識３であっても、可変配光式ヘッドライト１７の照明光９は可視光１６であるため、可視光１６を照射することで乱反射が抑制された画像５が得られるので、道路標識３を支障なく認識することができる。即ち、配光を変更する照明光９を可視光１６とした方が、道路標識３で乱反射される近赤外光３２にするよりも、乱反射の抑制効果が得られるので、道路標識３をより認識し易くすることができ、有利である。 Therefore, the light distribution changing function of the variable light distribution type headlight 17 can be effectively used to reliably illuminate the road sign 3 in front of the vehicle with the illumination light 9 . Moreover, the illumination light 9 emitted by the variable light distribution headlight 17 is the visible light 16, and the amount of the illumination light 9 due to the visible light 16 is sufficiently large. is advantageous. Further, for example, even with a reflective road sign 3 whose content is likely to be difficult to recognize due to irregular reflection caused by the irradiation of the near-infrared light 32, the illumination of the variable light distribution headlight 17 Since the light 9 is the visible light 16, the image 5 in which irregular reflection is suppressed can be obtained by irradiating the visible light 16, so that the road sign 3 can be recognized without any trouble. That is, using the visible light 16 as the illumination light 9 for changing the light distribution is more effective in suppressing diffuse reflection than using the near-infrared light 32 that is diffusely reflected by the road sign 3 . It can be easily recognized, which is advantageous.

よって、遠方から判別することが難しかった反射型の道路標識３を、局所的な可視光１６の照射によって遠方からでも早期に発見して内容を認識できるようになる。また、可変配光式ヘッドライト１７は、可視光１６の照射位置を細かく設定・調整できるので、対向車に眩しさを感じさせないようにしつつ道路標識３の認識を行うことができる。 Therefore, the reflective road sign 3, which is difficult to discriminate from a distance, can be found early and its contents can be recognized even from a distance by the local irradiation of the visible light 16.例文帳に追加In addition, since the variable light distribution type headlight 17 can finely set and adjust the irradiation position of the visible light 16, it is possible to recognize the road sign 3 while preventing oncoming vehicles from feeling glare.

（作用効果 ４）撮像部６は、車両２の前方の画像５を可視光領域および近赤外領域の双方の波長で一度に撮像できるようにしても良い。このように、可視光領域の画像５や、近赤外領域の画像５や、可視光領域の画像５と近赤外領域の画像５とが合成された画像５を１つの撮像部６で一度に撮像できるようにすることで、可視光領域に感度を有する撮像部と、近赤外領域の双方に感度を有する撮像部とを別々に設けて、例えば、これらの撮像部で別々に撮像した画像を合成して用いたりする場合と比べて、撮像部の台数を減らすと共に、車両用道路標識認識支援装置４などの処理負荷を軽減することができる。このような撮像部６は、可視光領域の画像５と、近赤外領域の画像５と、可視光領域の画像５および近赤外領域の画像５が合成された画像５のどれでも必要に応じて取り出して使用することができるので、画像処理の際の便宜が良い。なお、可視光領域に感度を有する撮像部と、近赤外領域の双方に感度を有する撮像部とを別々に設けることも、構造的には可能である。 (Effect 4) The imaging unit 6 may capture the image 5 in front of the vehicle 2 at the same time with wavelengths in both the visible light region and the near-infrared region. In this way, the image 5 in the visible light region, the image 5 in the near-infrared region, or the image 5 obtained by synthesizing the image 5 in the visible light region and the image 5 in the near-infrared region are captured once by one imaging unit 6. By making it possible to capture an image in the visible light region, and an imaging unit having sensitivity in both the near-infrared region are provided separately, for example, images are taken separately by these imaging units Compared to the case where images are synthesized and used, the number of imaging units can be reduced, and the processing load on the vehicle road sign recognition support device 4 and the like can be reduced. Such an imaging unit 6 is required for any of the image 5 in the visible light region, the image 5 in the near-infrared region, and the image 5 obtained by synthesizing the image 5 in the visible light region and the image 5 in the near-infrared region. It is convenient for image processing because it can be taken out and used as needed. Structurally, it is also possible to separately provide an imaging unit having sensitivity in the visible light region and an imaging unit having sensitivity in both the near-infrared region.

（作用効果 ５）車両用道路標識認識支援装置４では、道路標識存在判定部７は、車両２の周辺の道路標識情報２１を取得したときに、道路標識３の有無の判定を行うようにしても良い。これにより、取得した道路標識情報２１を利用して車両用道路標識認識支援装置４を効率的に運用することができ、実際に道路上に存在している道路標識３を効率的かつ確実に認識できる。 (Effect 5) In the vehicle road sign recognition support device 4, the road sign presence determination unit 7 determines whether or not the road sign 3 is present when the road sign information 21 around the vehicle 2 is acquired. Also good. As a result, the vehicle road sign recognition support device 4 can be efficiently operated using the acquired road sign information 21, and the road signs 3 actually present on the road can be efficiently and reliably recognized. can.

（作用効果 ６）車両用道路標識認識支援装置４では、車両２の周辺に道路標識３が存在する可能性があるか否かを判定する道路標識存在可能性判定部２２を備えても良い。そして、道路標識存在可能性判定部２２は、判定した結果を道路標識情報２１として出力する。道路標識存在可能性判定部２２の判定結果を利用することで、道路標識存在判定部７は、道路標識存在可能性判定部２２によって周辺に道路標識３が存在する可能性があると判定されたときに限って、道路標識３の存在の判定を行うことができる。したがって、車両用道路標識認識支援装置４を効率的に運用して、道路標識３を効率的に認識できる。 (Effect 6) The vehicle road sign recognition support device 4 may include a road sign presence possibility determination unit 22 that determines whether or not there is a possibility that the road sign 3 exists around the vehicle 2 . Then, the road sign presence possibility determination unit 22 outputs the determination result as the road sign information 21 . By using the determination result of the road sign presence possibility determination unit 22, the road sign presence determination unit 7 determines that the road sign presence possibility determination unit 22 may exist the road sign 3 in the vicinity. Only occasionally can a determination of the presence of a road sign 3 be made. Therefore, the vehicle road sign recognition support device 4 can be efficiently operated and the road sign 3 can be recognized efficiently.

具体的には、車両用道路標識認識支援装置４では、道路標識存在可能性判定部２２を、車両２の周辺の道路標識情報２１を出力する道路標識情報出力部２３としても良い。そして、道路標識情報出力部２３は、車両２の周辺の道路標識情報２１を逐次出力する。これにより、道路標識存在判定部７は、道路標識情報出力部２３が出力する道路標識情報２１を利用することが可能になる。例えば、道路標識存在判定部７は、道路標識情報出力部２３から周辺に道路標識３が存在するとの道路標識情報２１を得たときに限って、道路標識３の存在の判定を行うようにできる。これにより、車両用道路標識認識支援装置４を効率的に運用して、道路標識３を効率的に認識できる。また、例えば、道路標識存在判定部７は、道路標識情報２１と道路標識３の存在に対する判定結果とを比べて、判定精度などを確認したり確保したりすることができる。 Specifically, in the vehicle road sign recognition support device 4 , the road sign existence possibility determination unit 22 may be a road sign information output unit 23 that outputs the road sign information 21 around the vehicle 2 . Then, the road sign information output unit 23 sequentially outputs the road sign information 21 around the vehicle 2 . As a result, the road sign existence determination unit 7 can use the road sign information 21 output by the road sign information output unit 23 . For example, the road sign presence determination unit 7 can determine the presence of the road sign 3 only when the road sign information 21 indicating that the road sign 3 exists in the vicinity is obtained from the road sign information output unit 23. . As a result, the vehicle road sign recognition support device 4 can be efficiently operated and the road sign 3 can be recognized efficiently. Further, for example, the road sign presence determination unit 7 can compare the road sign information 21 and the determination result regarding the presence of the road sign 3 to confirm or ensure determination accuracy.

（作用効果 ７）車両用道路標識認識支援装置４では、道路標識存在可能性判定部２２は、記憶している道路標識３の設置位置を示す情報に基づいて、車両２の前方に道路標識３が存在する可能性があるか否かを判定して道路標識情報２１を出力するようにしても良い。そのため、道路標識存在判定部７は、撮像部６の画像５のみに頼ることなく、道路標識存在可能性判定部２２が記憶している道路標識３の設置位置を示す情報を併せて使うことで、より素早く確実に道路標識３を検出したり認識したりすることができるようになり、また、検出結果や認識結果の信頼性を高めることができる。 (Effect 7) In the vehicle road sign recognition support device 4, the road sign presence possibility determination unit 22 detects the road sign 3 in front of the vehicle 2 based on the stored information indicating the installation position of the road sign 3. The road sign information 21 may be output by judging whether or not there is a possibility of existence. Therefore, the road sign presence determination unit 7 can use the information indicating the installation position of the road sign 3 stored in the road sign presence possibility determination unit 22 without relying only on the image 5 of the imaging unit 6. , the road sign 3 can be detected and recognized more quickly and reliably, and the reliability of detection results and recognition results can be enhanced.

具体的には、車両用道路標識認識支援装置４では、道路標識存在可能性判定部２２としての道路標識情報出力部２３は、記憶している地図情報のデータベース２５を用いて道路標識情報２１を出力するように構成しても良い。そして、道路標識情報出力部２３は、走行中に、地図情報のデータベース２５を参照して現在位置周辺の道路標識情報２１を逐次出力する。そのため、道路標識存在判定部７は、撮像部６の画像５のみに頼ることなく、道路標識情報出力部２３が出力する道路標識情報２１を、道路標識３の存在判定に利用することができ、これによって、より素早く確実に道路標識３の存在を検出したり認識したりできるようになる。また、地図情報のデータベース２５から抽出した道路標識情報２１を用いることにより、判定結果や認識結果の信頼性をより高めることができる。しかも、地図情報のデータベース２５を、常に最新のものに更新できるようにしておくことで、判定結果や認識結果の信頼性を一層高めることができる。 Specifically, in the vehicle road sign recognition support device 4, the road sign information output unit 23 as the road sign existence possibility determination unit 22 outputs the road sign information 21 using the stored map information database 25. It may be configured to output. Then, the road sign information output unit 23 refers to the map information database 25 and sequentially outputs the road sign information 21 around the current position while the vehicle is running. Therefore, the road sign presence determination unit 7 can use the road sign information 21 output by the road sign information output unit 23 to determine the presence of the road sign 3 without relying only on the image 5 of the imaging unit 6. As a result, the presence of the road sign 3 can be detected and recognized more quickly and reliably. Moreover, by using the road sign information 21 extracted from the map information database 25, the reliability of the determination result and the recognition result can be further improved. Moreover, by always updating the map information database 25 to the latest version, the reliability of the determination result and the recognition result can be further improved.

（作用効果 ８）車両用道路標識認識支援装置４では、車両用照明装置１１は、道路標識３の位置へ向けて照明光９を照射したあとに、道路標識存在判定部７または道路標識内容認識部１５に照射完了信号２６を送るようにしても良い。これにより、道路標識存在判定部７または道路標識内容認識部１５は、照明光９の照射が完了されたことを、車両用照明装置１１からの照射完了信号２６によって取得することができ、照明光９の照射完了後に、再度、道路標識３の有無の判定や道路標識３の内容の認識を行うことで、道路標識３の存在や内容をより確実に認識できるようになる。 (Effect 8) In the vehicle road sign recognition support device 4, the vehicle illumination device 11 irradiates the illumination light 9 toward the position of the road sign 3, and then the road sign presence determination unit 7 or the road sign content recognition unit 7 detects the road sign content. An irradiation completion signal 26 may be sent to the unit 15 . As a result, the road sign existence determining unit 7 or the road sign content recognizing unit 15 can acquire the completion of the irradiation of the illumination light 9 by the irradiation completion signal 26 from the vehicle lighting device 11. After the irradiation of 9 is completed, the presence or absence of the road sign 3 and the content of the road sign 3 are recognized again, so that the presence and content of the road sign 3 can be recognized more reliably.

＜構成＞以下、上記実施の形態をより具体化した実施例の構成について説明する。 <Construction> The construction of an embodiment, which is a more specific version of the above-described embodiment, will be described below.

車両用道路標識認識支援装置４は、車両２に搭載されて、少なくとも乗員が道路標識３をより容易に、または、より早期に視認したり認識したりできるように支援するために設けられる運転支援装置である。また、車両用道路標識認識支援装置４は、道路標識３を自動で認識できるように構成しても良い。 The vehicle road sign recognition support device 4 is mounted on the vehicle 2, and is a driving support provided to support at least the driver to visually recognize or recognize the road sign 3 more easily or earlier. It is a device. Further, the vehicle road sign recognition support device 4 may be configured to automatically recognize the road sign 3 .

（車両用道路標識認識支援装置４の構成の説明） (Description of Configuration of Vehicle Road Sign Recognition Support Device 4)

まず、図２を用いて、この実施例にかかる車両用道路標識認識支援装置４の構成について説明する。車両用道路標識認識支援装置４は、少なくとも、撮像部６と、ＥＣＵ３１（Electronic Control Unit）と、車両用照明装置１１とを有する。 First, with reference to FIG. 2, the configuration of the vehicle road sign recognition support device 4 according to this embodiment will be described. The vehicle road sign recognition support device 4 has at least an imaging unit 6 , an ECU 31 (Electronic Control Unit), and a vehicle illumination device 11 .

ここで、車両用道路標識認識支援装置４は、例えば、車両２のイグニッションスイッチがＯＮで、ライトスイッチがＯＮとなっている間中、継続して機能するように構成される。 Here, the vehicle road sign recognition support device 4 is configured to continuously function while the ignition switch of the vehicle 2 is ON and the light switch is ON, for example.

撮像部６は、少なくとも車両２の進行方向の前方や周囲の画像５を撮像するもの（カメラ）である。撮像部６は、車両用道路標識認識支援装置４に専用のものとして設けることができるが、車両２に別の目的で搭載された他の装置のカメラなどを、車両用道路標識認識支援装置４のために利用することもできる。 The imaging unit 6 is a device (camera) that captures at least an image 5 in front of and around the vehicle 2 in the traveling direction. The imaging unit 6 can be provided exclusively for the road sign recognition support device 4 for vehicles. can also be used for

撮像部６には、可視領域（３８０～８００ｎｍ付近）及び近赤外領域（例えば、８００～９５０ｎｍ付近）の両方に感度を有するカメラ（カラーＮＩＲカメラ （Near InfraRed：近赤外線））を使用することができる。カラーＮＩＲカメラは、カラーカメラと近赤外カメラとを合わせた機能を有しており、可視光領域の画像５と、近赤外領域の画像５と、可視光領域の画像５および近赤外領域の画像５が合成された画像５のどれでも必要に応じて取り出して使用することができる。なお、カラーＮＩＲカメラは、カラーカメラと、近赤外カメラとに分けて別々に設けても良い。 Use a camera (color NIR camera (Near InfraRed)) that has sensitivity in both the visible region (around 380 to 800 nm) and the near infrared region (for example, around 800 to 950 nm) for the imaging unit 6. can be done. The color NIR camera has the combined function of a color camera and a near-infrared camera. Any of the images 5 in which the image 5 of the region is composited can be retrieved and used as desired. Incidentally, the color NIR camera may be divided into a color camera and a near-infrared camera and provided separately.

撮像部６は、例えば、車両２のフロントガラス（ウインドシールド）の裏面側、例えばルームミラーの裏側付近に、車両２の前方へ向けて設置され、車両２の進行方向の前方を撮影する。なお、撮像部６を近赤外カメラおよびカラーカメラの２台のカメラに分けた場合には、近赤外カメラとカラーカメラは、互いに近接した状態で、２台のカメラの光軸が平行になるように設置される。すなわち、２台のカメラは、ほぼ等しい観測範囲を画像化するように設置される。 The imaging unit 6 is installed, for example, on the back side of the windshield (windshield) of the vehicle 2, for example, in the vicinity of the back side of the rearview mirror, facing forward of the vehicle 2, and captures an image of the front in the traveling direction of the vehicle 2. In addition, when the imaging unit 6 is divided into two cameras, a near-infrared camera and a color camera, the near-infrared camera and the color camera are in close proximity to each other, and the optical axes of the two cameras are parallel. It is installed so that That is, the two cameras are positioned to image approximately equal viewing ranges.

撮像部６は、光学系６ａと、受光部６ｂと、撮像条件変更部６ｃと、を有している。光学系６ａはレンズとされ、受光部６ｂは撮像素子とされ、撮像条件変更部６ｃは信号処理調整用ＩＣ（信号処理回路）とされても良い。 The imaging unit 6 has an optical system 6a, a light receiving unit 6b, and an imaging condition changing unit 6c. The optical system 6a may be a lens, the light receiving section 6b may be an imaging element, and the imaging condition changing section 6c may be a signal processing adjustment IC (signal processing circuit).

レンズは、可視光１６及び近赤外光３２を所定の屈折力で屈折させて、撮像素子上に結像させる。 The lens refracts the visible light 16 and the near-infrared light 32 with a predetermined refractive power to form an image on the imaging device.

撮像素子は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成された光電変換素子であり、結像された光を画像５に変換する。撮像素子からは、電気信号に変換された画像信号６ｄが出力される。なお、撮像素子の前面には、可視光１６および近赤外光３２のみを透過して、可視光１６と近赤外光３２の間の領域（波長６５０～８００ｎｍ）、および波長９５０ｎｍ以上の赤外光をカットするＩＲカットフィルタを装着することができる。 The imaging element is a photoelectric conversion element configured by a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like, and converts imaged light into an image 5 . An image signal 6d converted into an electric signal is output from the imaging device. In addition, on the front surface of the image sensor, only the visible light 16 and the near-infrared light 32 are transmitted, and the region between the visible light 16 and the near-infrared light 32 (wavelength 650 to 800 nm) and the red light with a wavelength of 950 nm or more. An IR cut filter for cutting outside light can be attached.

信号処理調整用ＩＣは、画像信号６ｄのゲインを調整して所定の画像信号６ｄに変換する。変換された信号は、調整済画像信号（画像５）としてＥＣＵ３１に出力される。信号処理調整用ＩＣからは、撮像素子とレンズに対して、絞りとシャッター速度を調整して露光量を設定する撮像パラメータ調整信号６ｅが出力される。 The signal processing adjustment IC adjusts the gain of the image signal 6d and converts it into a predetermined image signal 6d. The converted signal is output to the ECU 31 as an adjusted image signal (image 5). The signal processing adjustment IC outputs an imaging parameter adjustment signal 6e for setting the exposure amount by adjusting the aperture and shutter speed to the imaging device and lens.

車両用照明装置１１は、車両２の外部、少なくとも車両２の前方や周囲を照明する装置である。車両用照明装置１１は、主に、可視光１６を発光するライト（可視光源）とされる。更に、近赤外光３２を発光する近赤外ライト３３（近赤外光３２源）を備えることができる。 The vehicle lighting device 11 is a device that illuminates the outside of the vehicle 2 , at least the front and surroundings of the vehicle 2 . The vehicle lighting device 11 is mainly a light (visible light source) that emits visible light 16 . Furthermore, a near-infrared light 33 (near-infrared light 32 source) that emits near-infrared light 32 can be provided.

可視光１６を発光するライトは、車両用道路標識認識支援装置４のために専用に設けても良いが、車両２に保安部品として設けられているヘッドライト１を利用しても良い。ヘッドライト１は、車両２の進行方向（のほぼ前方）を照明するための照明装置（前照灯）であり、車両用道路標識認識支援装置４では、配光方向を変更・調整できるようにしたヘッドライト１を用いる。配光方向を変更・調整できるようにしたヘッドライト１には、例えば、ハイビームとロービームとを左右独立して自動切り替えする機能を備えたものや、ハイビームの照射方向１２を細かく変更できるようにした可変配光式ヘッドライト１７などが存在している。この実施例では、可変配光式ヘッドライト１７を用いている。 The light that emits the visible light 16 may be provided exclusively for the vehicle road sign recognition support device 4, or the headlight 1 provided in the vehicle 2 as a safety component may be used. The headlight 1 is a lighting device (headlight) for illuminating (substantially in front of) the traveling direction of the vehicle 2, and the vehicle road sign recognition support device 4 can change and adjust the light distribution direction. headlight 1 is used. The headlight 1 that can change and adjust the light distribution direction, for example, has a function to automatically switch the high beam and the low beam independently on the left and right, and can finely change the irradiation direction 12 of the high beam. Variable light distribution type headlights 17 and the like are present. In this embodiment, a variable light distribution type headlight 17 is used.

例えば、可変配光式ヘッドライト１７には、複数のＬＥＤ光源を有するものを使用できる。可変配光式ヘッドライト１７は、ＥＣＵ３１から出力された標識存在位置信号２８によって指示された位置へ向けて可視光１６を照射する。可変配光式ヘッドライト１７は、ＥＣＵ３１に対して、可変配光式ヘッドライト１７が点灯状態にあるか否かを示す照射完了信号２６を出力する。この照射完了信号２６は、可変配光式ヘッドライト１７の点灯状態を確認するためにＥＣＵ３１で利用される。 For example, the variable light distribution headlight 17 can have multiple LED light sources. The variable light distribution headlight 17 irradiates the visible light 16 toward the position indicated by the marker presence position signal 28 output from the ECU 31 . The variable light distribution headlight 17 outputs to the ECU 31 an irradiation completion signal 26 indicating whether or not the variable light distribution headlight 17 is in a lighting state. The irradiation completion signal 26 is used by the ECU 31 to confirm the lighting state of the variable light distribution type headlights 17 .

可変配光式ヘッドライト１７は、照明光９（ハイビームなど）の配光を制御するための配光制御部１３（ヘッドライト配光制御部）と、照明光９を照射するためのヘッドライト照射部１４とを備えており、標識存在位置信号２８に基づいて配光制御部１３がヘッドライト照射部１４の配光を制御する。なお、配光制御部１３は、可変配光式ヘッドライト１７内ではなくＥＣＵ３１の側に設けても良い。そして、配光制御部１３は、道路標識位置算出部８と一体に構成しても良い。 The variable light distribution type headlight 17 includes a light distribution control unit 13 (headlight light distribution control unit) for controlling the light distribution of the illumination light 9 (high beam, etc.) and a headlight irradiation unit for irradiating the illumination light 9. The light distribution control unit 13 controls the light distribution of the headlight irradiation unit 14 based on the sign presence position signal 28 . Note that the light distribution control unit 13 may be provided on the side of the ECU 31 instead of inside the variable light distribution type headlight 17 . The light distribution control section 13 may be configured integrally with the road sign position calculation section 8 .

近赤外ライト３３は、例えば、車両２のヘッドライト１（可変配光式ヘッドライト１７）の近傍に設置された近赤外投光器とすることができる。なお、近赤外ライト３３は、車両２のヘッドライト１に対して一体的に備えるようにしても良い。 The near-infrared light 33 can be, for example, a near-infrared projector installed near the headlight 1 (variable light distribution type headlight 17) of the vehicle 2. FIG. Note that the near-infrared light 33 may be provided integrally with the headlight 1 of the vehicle 2 .

近赤外ライト３３は、近赤外光３２によって昼夜を問わず、車両２の進行方向の前方を照明するとともに、ＥＣＵ３１から出力される近赤外光光量設定信号３８によって指示された量の近赤外光３２を、カラーＮＩＲカメラなどの撮像部６の撮像範囲に対応した被写体方向へ向けて照射する。なお、近赤外ライト３３は、通電する電流値を調整することによって、または、近赤外ライト３３の光源の前面に装着した赤外カットフィルタを回転またはスライドさせて移動することにより、照射する近赤外光３２の光量を調整する。 The near-infrared light 33 illuminates the front in the direction of travel of the vehicle 2 with the near-infrared light 32 regardless of day or night, and illuminates the near-infrared light amount instructed by the near-infrared light amount setting signal 38 output from the ECU 31 . Infrared light 32 is emitted toward a subject corresponding to the imaging range of an imaging unit 6 such as a color NIR camera. The near-infrared light 33 emits light by adjusting the current value to be energized, or by rotating or sliding an infrared cut filter attached to the front surface of the light source of the near-infrared light 33. The amount of near-infrared light 32 is adjusted.

また、近赤外ライト３３は、ＥＣＵ３１に対して、近赤外ライト３３が点灯状態にあるか否かを示す照射完了信号３９を出力する。この照射完了信号３９は、近赤外ライト３３の点灯状態を確認するためにＥＣＵ３１で利用される。近赤外ライト３３は、近赤外光３２の照射光量を制御するための近赤外光照射光量制御部４１と、近赤外光３２を照射するための近赤外光照射部４２とを備えており、近赤外光光量設定信号３８に基づいて近赤外光照射光量制御部４１が近赤外光照射部４２の照射光量を制御する。なお、近赤外光照射光量制御部４１は、近赤外ライト３３内ではなくＥＣＵ３１の側に設けても良い。 Further, the near-infrared light 33 outputs an irradiation completion signal 39 indicating whether or not the near-infrared light 33 is in a lighting state to the ECU 31 . This irradiation completion signal 39 is used by the ECU 31 to confirm the lighting state of the near-infrared light 33 . The near-infrared light 33 includes a near-infrared light irradiation light amount control unit 41 for controlling the irradiation light amount of the near-infrared light 32 and a near-infrared light irradiation unit 42 for irradiating the near-infrared light 32. A near-infrared irradiation light amount control unit 41 controls the irradiation light amount of the near-infrared light irradiation unit 42 based on the near-infrared light amount setting signal 38 . The near-infrared light irradiation light amount control unit 41 may be provided on the side of the ECU 31 instead of inside the near-infrared light 33 .

ＥＣＵ３１は、車両用道路標識認識支援装置４を制御するための装置（コントロールユニットまたは演算処理装置）であり、例えばマイクロコンピュータで構成される。なお、画像処理を高速に実行するために、ＥＣＵ３１には、画像処理専用のプロセッサを用いても良い。ＥＣＵ３１は、カラーＮＩＲカメラなどの撮像部６に対して撮像パラメータの設定を行うとともに、設定された撮像パラメータで撮像された画像５を、画像処理して、道路標識３の検出を行う機能（道路標識存在判定部７）や、道路標識３の位置を算出する機能（道路標識位置算出部８）を有している。さらに、検出された道路標識３の種別，内容を認識する機能（道路標識内容認識部１５）を有しても良い。なお、ＥＣＵ３１の内部構成については、後述する。 The ECU 31 is a device (control unit or arithmetic processing device) for controlling the vehicle road sign recognition support device 4, and is configured by, for example, a microcomputer. Note that a processor dedicated to image processing may be used as the ECU 31 in order to execute image processing at high speed. The ECU 31 sets imaging parameters for the imaging unit 6 such as a color NIR camera, and performs image processing on the image 5 captured with the set imaging parameters to detect the road sign 3 (road It has a sign presence determination unit 7) and a function of calculating the position of the road sign 3 (road sign position calculation unit 8). Furthermore, it may have a function (road sign content recognition unit 15) for recognizing the type and content of the detected road sign 3. FIG. In addition, the internal configuration of the ECU 31 will be described later.

そのために、ＥＣＵ３１は、カラーＮＩＲカメラなどの撮像部６に対して、撮像パラメータの調整を指示する撮像パラメータ調整指示信号３１ａを出力する。 For this purpose, the ECU 31 outputs an imaging parameter adjustment instruction signal 31a that instructs the imaging unit 6 such as a color NIR camera to adjust the imaging parameters.

なお、図１ではＥＣＵ３１をカラーＮＩＲカメラなどの撮像部６から独立した構成としたが、ＥＣＵ３１は、カラーＮＩＲカメラに内蔵した構成、すなわち、カラーＮＩＲカメラとＥＣＵ３１を一体化した構成とすることもできる。 In FIG. 1, the ECU 31 is configured independently from the imaging unit 6 such as the color NIR camera, but the ECU 31 may be configured to be built in the color NIR camera, that is, the color NIR camera and the ECU 31 may be integrated. can.

また、ＥＣＵ３１は、配向方向を調整できるようにしたヘッドライト１（例えば、可変配光式ヘッドライト１７）に対して、可視光１６の配光を制御するための標識存在位置信号２８を出力する。ヘッドライ１トは、標識存在位置信号２８に基づいて配光を制御する。 In addition, the ECU 31 outputs a marker presence position signal 28 for controlling the light distribution of the visible light 16 to the headlight 1 (for example, the variable light distribution type headlight 17) whose orientation direction can be adjusted. . The headlight 1 controls light distribution based on the sign presence position signal 28 .

ＥＣＵ３１は、近赤外ライト３３に対して、近赤外光３２の照射光量を設定する近赤外光光量設定信号３８を出力する。近赤外ライト３３は、近赤外光光量設定信号３８に基づいて照射光量を制御する。 The ECU 31 outputs a near-infrared light amount setting signal 38 for setting the irradiation light amount of the near-infrared light 32 to the near-infrared light 33 . The near-infrared light 33 controls the irradiation light amount based on the near-infrared light amount setting signal 38 .

車両用道路標識認識支援装置４は、上記の他に、表示部４５を備えても良い。表示部４５は、車両用道路標識認識支援装置４のための表示を行う装置である。表示部４５は、ＥＣＵ３１が出力した標識認識信号４６を受けて、認識した道路標識３の種別，内容を画面に表示して運転者に伝達する。表示部４５は、車両用道路標識認識支援装置４に専用のものを設けることもできるが、車両２の車室内に設置されているものを利用することもできる。車室内には、車両用計器装置やその他の機器などに用いられる表示部４５が単数または多数存在している。表示部４５は、車両用道路標識認識支援装置４のための表示の他に、運転に必要な各種の情報や、車外の風景や、その他の表示を行うようにしても良い。表示部４５は、液晶ディスプレイ４５ａや有機ＥＬパネルやこれと同等の表示パネルなどとすることができる。また、表示部４５は、ヘッドアップディスプレイなどとすることができる。ヘッドアップディスプレイは、前方を向いて運転している乗員が、大きな視線変更を伴わずに視認できるようにした表示装置である。 The vehicle road sign recognition support device 4 may include a display unit 45 in addition to the above. The display unit 45 is a device that displays for the vehicle road sign recognition support device 4 . The display unit 45 receives the sign recognition signal 46 output from the ECU 31, displays the type and content of the recognized road sign 3 on the screen, and transmits the information to the driver. The display unit 45 can be provided exclusively for the road sign recognition support device 4 for vehicles, but it is also possible to use the one installed in the vehicle interior of the vehicle 2 . In the passenger compartment, there is a single display unit 45 or a large number of display units 45 used for a vehicle instrument device and other equipment. In addition to the display for the vehicle road sign recognition support device 4, the display unit 45 may display various information necessary for driving, scenery outside the vehicle, and other information. The display unit 45 can be a liquid crystal display 45a, an organic EL panel, or an equivalent display panel. Also, the display unit 45 can be a head-up display or the like. A head-up display is a display device that allows an occupant looking forward to view the vehicle without significantly changing the line of sight.

また、車両用道路標識認識支援装置４は、カーナビゲーションシステム４８を備えても良い。カーナビゲーションシステム４８は、車両２の内部に搭載されて、走行中の現在位置を特定して表示する装置である。カーナビゲーションシステム４８は、表示パネルを有すると共に、内部に地図情報のデータベース２５を有しており、地図情報のデータベース２５には、道路標識３の設置位置（道路標識情報２１）が記録されているものが存在している。なお、カーナビゲーションシステム４８の表示パネルは、表示部４５として利用することが可能である。 The vehicle road sign recognition support device 4 may also include a car navigation system 48 . The car navigation system 48 is a device that is mounted inside the vehicle 2 and identifies and displays the current position during travel. The car navigation system 48 has a display panel and an internal map information database 25. The map information database 25 records the installation positions of the road signs 3 (road sign information 21). things exist. Note that the display panel of the car navigation system 48 can be used as the display unit 45 .

上記したように、ＥＣＵ３１は、少なくとも道路標識存在判定部７と、道路標識位置算出部８とを備える。また、ＥＣＵ３１は、道路標識内容認識部１５を備えることもできる。これらの道路標識存在判定部７や道路標識位置算出部８や道路標識内容認識部１５は、ＥＣＵ３１にインストールされたソフトウェア上の機能ブロックとして構成することができる。 As described above, the ECU 31 includes at least the road sign existence determination section 7 and the road sign position calculation section 8 . The ECU 31 can also include a road sign content recognition unit 15 . The road sign existence determination unit 7 , the road sign position calculation unit 8 , and the road sign content recognition unit 15 can be configured as functional blocks on software installed in the ECU 31 .

道路標識存在判定部７は、撮像部６からの画像５に基づいて、撮像部６で撮像された画像５の中に道路標識３が写っているか否かを判定する。この際、道路標識存在判定部７は、道路標識存在可能性判定部２２（道路標識情報出力部２３）の出力（標識存在指示信号または道路標識情報２１）を利用して、道路標識３の存在可能性の有無を判定し、道路標識内容認識部１５に標識存在通知信号５２を送るようにしても良い。この場合、道路標識存在判定部７は、撮像部６からの画像５と道路標識存在可能性判定部２２の標識存在指示信号または道路標識情報２１の両方を適宜用いて、撮像部６で撮像された画像５の中に道路標識３が写っているか否かを判定する。例えば、道路標識存在判定部７は、撮像部６からの画像５の中に道路標識３が写っているか否かを常時判定し続けるようにしても良いが、道路標識存在可能性判定部２２からの道路標識情報２１を取得したときに限って、撮像部６からの画像５の中に道路標識３が写っているか否かを判定するようにすることができる。 Based on the image 5 from the image capturing unit 6, the road sign presence determining unit 7 determines whether or not the road sign 3 is included in the image 5 captured by the image capturing unit 6. At this time, the road sign presence determination unit 7 uses the output (sign presence instruction signal or road sign information 21) of the road sign presence possibility determination unit 22 (road sign information output unit 23) to determine the presence of the road sign 3. The presence or absence of the possibility may be determined, and the road sign presence notification signal 52 may be sent to the road sign content recognition unit 15 . In this case, the road sign presence determination unit 7 appropriately uses both the image 5 from the image capture unit 6 and the road sign presence instruction signal or the road sign information 21 from the road sign presence possibility determination unit 22, and the image is captured by the image capture unit 6. It is determined whether or not the road sign 3 is shown in the image 5 obtained. For example, the road sign presence determination unit 7 may constantly determine whether or not the road sign 3 is captured in the image 5 from the imaging unit 6, but the road sign presence possibility determination unit 22 It is possible to determine whether or not the road sign 3 is captured in the image 5 from the imaging unit 6 only when the road sign information 21 is acquired.

道路標識位置算出部８は、道路標識存在判定部７が画像５の中に道路標識３が写っていると判定したときに、道路標識存在判定部７からの道路標識位置算出指示信号５３によって道路標識３の位置を算出する。または、道路標識位置算出部８は、道路標識存在判定部７が画像５の中に道路標識３が写っていると判定し、且つ、道路標識存在判定部７が道路標識内容認識部１５から認識不可信号２７を入力したときに道路標識３の位置を算出する。そして、道路標識位置算出部８は、可変配光式ヘッドライト１７に標識存在位置信号２８を出力して、道路標識３の位置へ向けて可視光１６を照射するように可変配光式ヘッドライト１７の配光を変更する。 When the road sign presence determination unit 7 determines that the road sign 3 appears in the image 5, the road sign position calculation unit 8 determines the road according to the road sign position calculation instruction signal 53 from the road sign presence determination unit 7. Calculate the position of the sign 3. Alternatively, the road sign position calculation unit 8 determines that the road sign existence determination unit 7 determines that the road sign 3 is shown in the image 5, and the road sign presence determination unit 7 recognizes the road sign from the road sign content recognition unit 15. The position of the road sign 3 is calculated when the disabled signal 27 is input. Then, the road sign position calculation unit 8 outputs a sign presence position signal 28 to the variable light distribution headlight 17 so that the variable light distribution headlight 17 irradiates the visible light 16 toward the position of the road sign 3 . 17 change the light distribution.

道路標識内容認識部１５は、道路標識存在判定部７からの標識存在通知信号５２を入力したときに、撮像された画像５に写っている道路標識３の種別，内容を認識する。道路標識内容認識部１５は、撮像された画像５に写っている道路標識３の種別，内容を認識できなかったときに、道路標識存在判定部７に認識不可信号２７を出力する。 The road sign content recognition unit 15 recognizes the type and content of the road sign 3 appearing in the captured image 5 when the road sign presence notification signal 52 from the road sign presence determination unit 7 is input. The road sign content recognition unit 15 outputs a recognition failure signal 27 to the road sign presence determination unit 7 when the type and content of the road sign 3 appearing in the captured image 5 cannot be recognized.

道路標識存在可能性判定部２２は、図２に示したカーナビゲーションシステム４８によって構成することができる。道路標識存在可能性判定部２２は、車両２が走行している現在位置と、記録している地図情報のデータベース２５とを照合し、進行方向の前方に道路標識３があるか否かの予測や判定を行う。そして、進行方向の前方に道路標識３があると判定したときに、進行方向の前方に道路標識３が存在することを示す道路標識情報２１をＥＣＵ３１に出力する。これにより、カーナビゲーションシステム４８は、道路標識存在可能性判定部２２として使用することができる。 The road sign presence possibility determination unit 22 can be configured by the car navigation system 48 shown in FIG. A road sign presence possibility determination unit 22 collates the current position where the vehicle 2 is traveling with a database 25 of recorded map information, and predicts whether or not there is a road sign 3 ahead in the direction of travel. and judgment. When it is determined that there is a road sign 3 ahead in the direction of travel, it outputs to the ECU 31 road sign information 21 indicating that the road sign 3 is present ahead in the direction of travel. Thereby, the car navigation system 48 can be used as the road sign presence possibility determination unit 22 .

なお、道路標識存在可能性判定部２２は、カーナビゲーションシステム４８に限るものではなく、例えば、カーナビゲーションシステム４８の代わりに、道路の路側帯に設けた通信スポットから無線通信で車両２に道路標識３の存在場所（道路標識情報２１）を提供するようなものとしても良い。この場合、道路標識存在可能性判定部２２は、車両２の外部に設置された独立の設備となる。 The road sign existence possibility determination unit 22 is not limited to the car navigation system 48. For example, instead of the car navigation system 48, the road sign presence possibility determination unit 22 detects road signs from a communication spot provided on the side of the road to the vehicle 2 by wireless communication. 3 (road sign information 21) may be provided. In this case, the road sign existence possibility determination unit 22 is an independent facility installed outside the vehicle 2 .

以下、道路標識存在判定部７が、画像５の中に道路標識３が写っているか否かを判定して、道路標識３が写っていないときに撮像条件を調整して適正な明るさの画像５を撮像する道路標識存在判定処理の内容について、図４（図５Ａ，図５Ｂ）を用いて説明する。 Thereafter, the road sign presence determination unit 7 determines whether or not the road sign 3 is captured in the image 5, and adjusts the imaging conditions when the road sign 3 is not captured to obtain an image with appropriate brightness. 5 will be described with reference to FIGS. 4 (FIGS. 5A and 5B).

図４は、道路標識存在判定部７の詳細な機能構成を示す機能ブロック図である。 FIG. 4 is a functional block diagram showing a detailed functional configuration of the road sign existence determining section 7. As shown in FIG.

まず、道路標識存在判定部７は、エッジ検出部７ａと、閉領域抽出部７ｂと、画素数計測部７ｃと、画素値積算部７ｄと、平均画素値算出部７ｅと、道路標識判定部７ｆと、撮像条件設定部７ｇと、を有している。 First, the road sign presence determination unit 7 includes an edge detection unit 7a, a closed region extraction unit 7b, a pixel number measurement unit 7c, a pixel value integration unit 7d, an average pixel value calculation unit 7e, and a road sign determination unit 7f. and an imaging condition setting unit 7g.

エッジ検出部７ａは、画像５（主に近赤外画像）に対してエッジ検出を行い、隣接画素間で画素値の差が大きい画素をエッジ構成点として検出する。なお、エッジ検出の方法は問わない。 The edge detection unit 7a performs edge detection on the image 5 (mainly a near-infrared image), and detects pixels having a large difference in pixel value between adjacent pixels as edge composing points. Any edge detection method may be used.

閉領域抽出部７ｂは、検出されたエッジ構成点によって囲まれた閉領域を抽出する。具体的には、検出されたエッジ構成点で構成された領域にラベル付けを行い、同じラベル値の画素によって周囲が囲まれた領域を探すことによって、閉領域を抽出する。 The closed region extraction unit 7b extracts a closed region surrounded by the detected edge composing points. Specifically, a region composed of detected edge composing points is labeled, and a closed region is extracted by searching for a region surrounded by pixels with the same label value.

画素数計測部７ｃは、閉領域抽出部７ｂで検出された閉領域を構成する画素数の合計値を計測する。 The pixel number measuring unit 7c measures the total number of pixels forming the closed region detected by the closed region extracting unit 7b.

画素値積算部７ｄは、画素数計測部７ｃで画素数を計測する際に、閉領域を構成する画素の画素値を積算する。 The pixel value integrating section 7d integrates the pixel values of the pixels forming the closed region when the pixel number measuring section 7c measures the number of pixels.

平均画素値算出部７ｅは、画素値積算部７ｄで積算された画素値の積算値を、画素数計測部７ｃで計測された画素数で除して、平均画素値を算出する。 The average pixel value calculation unit 7e calculates an average pixel value by dividing the integrated value of the pixel values integrated by the pixel value integration unit 7d by the number of pixels measured by the pixel number measurement unit 7c.

道路標識判定部７ｆは、平均画素値算出部７ｅで算出された平均画素値が、所定範囲の値であるか否かを判定する。例えば、前述した例では、平均画素値が６００よりも大きく７００以下であるとき、適正な明るさで撮像された道路標識３であると判定する。 The road sign determination unit 7f determines whether the average pixel value calculated by the average pixel value calculation unit 7e is within a predetermined range. For example, in the example described above, when the average pixel value is greater than 600 and 700 or less, it is determined that the road sign 3 is imaged with appropriate brightness.

撮像条件設定部７ｇは、道路標識判定部７ｆにおいて、適正な明るさで撮像されていない道路標識３であると判定されたときに、近赤外光３２の照射光量の設定、または撮像部６（カラーＮＩＲカメラ）の撮像パラメータの設定を変更する。 The imaging condition setting unit 7g sets the irradiation light amount of the near-infrared light 32 or sets the irradiation light amount of the imaging unit 6 when the road sign determination unit 7f determines that the road sign 3 is not captured with appropriate brightness. Change the imaging parameter settings for (color NIR camera).

図５Ａに、実際に撮像された画像５の一例を示す。この図からわかるように、車両２から進行方向の前方を撮像した画像５の中には、道路境界線６１を含む道路と、路肩に設置された道路標識３が写っている。 FIG. 5A shows an example of an image 5 actually captured. As can be seen from this figure, the road including the road boundary line 61 and the road sign 3 installed on the shoulder of the road are shown in the image 5 captured from the vehicle 2 in the forward direction.

このようにして撮像された画像５に対して、エッジ検出と閉領域の抽出を行うと、図５Ｂに示すように、道路標識３の領域が抽出される。図５Ｂは、図５Ａの画像５の中から、道路標識３の候補領域を抽出した結果を示す図である。画素数計測部７ｃと画素値積算部７ｄでは、このようにして抽出された閉領域に外接する外接領域６２の中で閉領域を構成している画素を探し、その総数と画素値の総和をそれぞれ算出する。そして、算出された画素の総数と画素値の総和から、平均画素値が算出される。 When edge detection and closed region extraction are performed on the image 5 captured in this manner, the region of the road sign 3 is extracted as shown in FIG. 5B. FIG. 5B is a diagram showing the result of extracting the candidate area of the road sign 3 from the image 5 of FIG. 5A. The pixel number measuring section 7c and the pixel value accumulating section 7d search for the pixels forming the closed region in the circumscribing region 62 that circumscribes the closed region thus extracted, and calculate the sum of the total number and the pixel values. Calculate each. Then, the average pixel value is calculated from the calculated total number of pixels and the sum of the pixel values.

なお、図５Ａには道路標識３が１つしか写っていないが、画像５の中に複数の道路標識３が写っている場合もある。そして、それら複数の道路標識３は、それぞれ、設置されてからの経過年数が異なっている場合がある。したがって、道路標識３の存在判定と撮像パラメータの設定は、それぞれの道路標識３の候補領域に対して個別に行う必要がある。 In addition, although only one road sign 3 is shown in FIG. 5A, a plurality of road signs 3 may be shown in the image 5 in some cases. The plurality of road signs 3 may have different years since they were installed. Therefore, it is necessary to determine the presence of the road sign 3 and set the imaging parameters for each candidate region of the road sign 3 individually.

すなわち、複数の道路標識３が全て同じ明るさで撮像される保証がないため、撮像パラメータの設定の変更は、個々の道路標識３に対して繰り返し行われる。すなわち、ある道路標識３が適正な明るさで撮像されたときは、その道路標識３に外接する外接領域６２を除外した画像５に対して、別の道路標識３に対する明るさの判定を行う。 That is, since there is no guarantee that all of the plurality of road signs 3 are captured with the same brightness, the setting of the imaging parameters is repeatedly changed for each road sign 3 . That is, when a certain road sign 3 is imaged with proper brightness, the image 5 excluding the circumscribing area 62 circumscribing the road sign 3 is judged for brightness with respect to another road sign 3 .

ここで、画像５に対してエッジ検出処理と閉領域抽出処理を行うと、道路領域からも閉領域が検出される可能性がある。このように道路領域から検出された閉領域は、その後の処理においてノイズとなるため、画像５に対して、まず最初に道路領域を検出する処理を行い、検出された道路領域以外の領域に対して、エッジ検出処理と閉領域抽出処理を行うようにしても良い。このような処理方法を採ることによって、ノイズの影響をできるだけ減らすことができる。 Here, if edge detection processing and closed region extraction processing are performed on image 5, there is a possibility that closed regions will be detected from the road region as well. Since the closed area detected from the road area in this way becomes noise in the subsequent processing, processing for detecting the road area is first performed on the image 5, and the area other than the detected road area is Alternatively, edge detection processing and closed region extraction processing may be performed. By adopting such a processing method, the influence of noise can be reduced as much as possible.

なお、前述した、道路標識３の撮像状態を判定する処理は、エッジ検出部７ａでエッジ検出を行い、エッジに囲まれた閉領域を抽出する代わりに、画像５を所定のしきい値で２値化処理して道路標識３の候補領域を検出しても同様の結果を得ることができる。 Note that the above-described processing for determining the imaging state of the road sign 3 performs edge detection in the edge detection unit 7a, and instead of extracting a closed region surrounded by edges, the image 5 is divided into two by a predetermined threshold value. A similar result can be obtained by detecting the candidate area of the road sign 3 through value processing.

（標識位置算出処理の説明） (Description of sign position calculation processing)

次に、道路標識位置算出部８で行う標識位置算出処理の内容について図６のブロック図を用いて説明する。 Next, the content of the traffic sign position calculation processing performed by the traffic sign position calculation unit 8 will be described using the block diagram of FIG.

道路標識位置算出部８は、位置算出部８ａと、面積算出部８ｂと、範囲算出部８ｃと、光量算出部８ｄとを有している。位置算出部８ａは、認識不能な道路標識３の位置を算出する。面積算出部８ｂは、認識不能な道路標識３の面積を算出する。範囲算出部８ｃは、車両用照明装置１１（可変配光式ヘッドライト１７）で照射すべき範囲を算出する。光量算出部８ｄは、車両用照明装置１１（可変配光式ヘッドライト１７）で照射すべき光量を算出する。 The road sign position calculator 8 has a position calculator 8a, an area calculator 8b, a range calculator 8c, and a light amount calculator 8d. The position calculator 8a calculates the position of the road sign 3 that cannot be recognized. The area calculator 8b calculates the area of the road sign 3 that cannot be recognized. The range calculator 8c calculates a range to be illuminated by the vehicle lighting device 11 (variable light distribution type headlight 17). The light amount calculator 8d calculates the amount of light to be emitted by the vehicle lighting device 11 (variable light distribution type headlight 17).

（標識内容認識処理の説明） (Description of label content recognition processing)

次に、道路標識内容認識部１５で行う標識内容認識処理の内容について、図７のブロック図を用いて説明する。 Next, the content of the road sign content recognition processing performed by the road sign content recognition unit 15 will be described with reference to the block diagram of FIG.

道路標識内容認識部１５は、道路標識データベース１５ａと、テンプレートマッチング部１５ｂと、を有する。 The road sign content recognition unit 15 has a road sign database 15a and a template matching unit 15b.

道路標識データベース１５ａには、認識対象となる道路標識３の寸法，形状，色彩、および標識の意味が、それぞれ記憶されている。なお記憶しているデータ形式は問わない。 The road sign database 15a stores the size, shape, color, and sign meaning of the road sign 3 to be recognized. The format of stored data does not matter.

テンプレートマッチング部１５ｂは、画像５と、道路標識データベース１５ａに記憶された内容とのマッチング処理を行う。具体的には、道路標識データベース１５ａに記憶されたテンプレートを、画像５の上に重ね合わせた状態にして走査し、各位置においてマッチング度（類似度）を求めて、画像５の中から、テンプレートに類似した領域を探す。 The template matching unit 15b performs matching processing between the image 5 and the content stored in the road sign database 15a. Specifically, the template stored in the road sign database 15a is superimposed on the image 5 and scanned, the degree of matching (similarity) is obtained at each position, and the template is selected from the image 5. Find regions similar to .

なお、用意されたテンプレートの大きさや向きと、画像５の中に写る道路標識３の大きさや向きとは異なる場合があるため、マッチング処理を効率的に行うために、テンプレートを、スケールや観測方向の変化に対応可能な特徴量を用いて表現する方法が用いられる。 Note that the size and orientation of the prepared template may be different from the size and orientation of the road sign 3 in the image 5. Therefore, in order to efficiently perform the matching process, the template should be scaled and observed in the direction of observation. A method of expression using a feature amount that can respond to changes in is used.

例えば、向きや大きさが異なる複数のテンプレートを用意して、それぞれのテンプレートを用いてテンプレートマッチングを行うのも１つの方法である。また、回転やスケール変更に対して強いＳＩＦＴ（Scale-Invariant Feature Transform）特徴量を用いて表現されたテンプレートを利用してテンプレートマッチングを行う例もあり、これらの方法を用いることによって、効率的に道路標識３の認識を行うことができる。 For example, one method is to prepare a plurality of templates with different orientations and sizes, and perform template matching using each template. There are also examples of template matching using templates expressed using SIFT (Scale-Invariant Feature Transform) features that are resistant to rotation and scale changes. Recognition of road signs 3 can be performed.

次に、上記した車両用道路標識認識支援装置４の処理全体の流れ（メインルーチン）について、図８のフローチャートを用いて説明する。なお、以降のフローチャートの動作主体は、主にＥＣＵ３１となる。 Next, the overall processing flow (main routine) of the vehicle road sign recognition support device 4 will be described with reference to the flowchart of FIG. It should be noted that the ECU 31 is mainly responsible for the operations in the subsequent flowcharts.

（実施例１の処理全体の流れの説明） (Description of the overall flow of processing in the first embodiment)

（ステップＳ１０）ライトスイッチがＯＮになってヘッドライト１が点灯しているか否かを判定する。ライトスイッチがＯＮであるときはステップＳ１２に進み、ライトスイッチがＯＦＦであるときはステップＳ１１に進む。 (Step S10) It is determined whether or not the light switch is turned on and the headlights 1 are turned on. When the light switch is ON, the process proceeds to step S12, and when the light switch is OFF, the process proceeds to step S11.

（ステップＳ１１）車両２は昼間の状態にあると判断して、昼間の状態に対応した道路標識認識処理を行い、ステップＳ１３に進む。なお、昼間の明るい状態における道路標識認識処理は、本実施例の対象外であるため説明は省略するが、例えば、画像５に近赤外画像は用いずにカラー画像のみを用いて、標識の領域を切り出すしきい値の調整等を行うことによって標識の認識を行うことなどができる。 (Step S11) It is determined that the vehicle 2 is in the daytime state, and road sign recognition processing corresponding to the daytime state is performed, and the process proceeds to step S13. Note that road sign recognition processing in a bright daytime state is outside the scope of this embodiment, so a description thereof will be omitted. It is possible to recognize the sign by adjusting the threshold value for cutting out the area.

（ステップＳ１２）撮像部６（カラーＮＩＲカメラ）の画像５（近赤外画像など）が入力され、または、更に、道路標識存在可能性判定部２２（カーナビゲーションシステム４８）からの道路標識情報２１を取得した状態で、道路標識存在判定部７が、車両２の前方に道路標識３が存在するか否かを判定する。道路標識３が存在すると判定されたときはステップＳ１３に進み、道路標識３が存在しないと判定されたときはステップＳ１２を繰り返す。 (Step S12) The image 5 (near-infrared image, etc.) from the imaging unit 6 (color NIR camera) is input, or further, the road sign information 21 from the road sign presence possibility determination unit 22 (car navigation system 48). is obtained, the road sign presence determination unit 7 determines whether or not the road sign 3 exists in front of the vehicle 2 . When it is determined that the road sign 3 exists, the process proceeds to step S13, and when it is determined that the road sign 3 does not exist, step S12 is repeated.

（ステップＳ１３）道路標識内容認識部１５が、画像５(例えば、カラー画像と近赤外画像との合成画像など)を用いて標識内容認識処理を行いステップＳ１３に進む。この処理の詳細な流れは後述する。 (Step S13) The road sign content recognition unit 15 performs sign content recognition processing using the image 5 (for example, a composite image of a color image and a near-infrared image), and the process proceeds to step S13. A detailed flow of this process will be described later.

（ステップＳ１４）道路標識内容認識部１５は、標識内容認識の結果に基づいて、道路標識３の内容が認識可能かを判定する。認識可能（ＹＥＳ）の場合には、ステップＳ１７に進み、認識不能（ＮＯ）の場合には、ステップＳ１５へ進む。 (Step S14) The road sign content recognition unit 15 determines whether the content of the road sign 3 can be recognized based on the result of the sign content recognition. If recognizable (YES), the process proceeds to step S17, and if not recognizable (NO), the process proceeds to step S15.

（ステップＳ１５）道路標識位置算出部８が道路標識位置算出処理を行い、ステップＳ１６へ進む。 (Step S15) The road sign position calculation unit 8 performs road sign position calculation processing, and proceeds to step S16.

（ステップＳ１６）配光制御部１３が可変配光式ヘッドライト１７の配光を制御して照射処理を行う。そして、ステップＳ１３へ戻って標識内容認識処理を行う。 (Step S16) The light distribution control unit 13 controls the light distribution of the variable light distribution type headlight 17 to perform irradiation processing. Then, the process returns to step S13 to perform the sign content recognition process.

なお、ステップＳ１２の後に、直接ステップＳ１５、ステップＳ１６を行わせるようにしても良い。ステップＳ１５、ステップＳ１６の後は、そのまま終了しても良いし、ステップＳ１３へ進むようにしても良い。 Steps S15 and S16 may be performed directly after step S12. After steps S15 and S16, the process may be terminated as it is, or the process may proceed to step S13.

（ステップＳ１７）道路標識内容認識部１５が、道路標識３の認識結果（標識認識信号４６）を表示部４５に出力して、車両２の運転者に表示部４５の表示で報知する。なお、ここで、道路標識３の認識結果を利用して車両２の制御を行うことも可能である。 (Step S17) The road sign content recognition unit 15 outputs the recognition result (sign recognition signal 46) of the road sign 3 to the display unit 45, and notifies the driver of the vehicle 2 by the display of the display unit 45. Here, it is also possible to control the vehicle 2 using the recognition result of the road sign 3 .

（ステップＳ１８）車両２のイグニッションがＯＦＦか否かを判定する。イグニッションがＯＦＦであるときは処理を終了し、イグニッションがＯＦＦでないときは、ステップＳ１０に戻る。なお、ここで、車両２の車速を検出して、車速が０であるときに図８の処理を終了し、車速が０でないときにステップＳ１０に戻るようにしても良い。 (Step S18) It is determined whether or not the ignition of the vehicle 2 is OFF. If the ignition is off, the process ends, and if the ignition is not off, the process returns to step S10. Here, the vehicle speed of the vehicle 2 may be detected, and when the vehicle speed is zero, the process of FIG. 8 may be terminated, and when the vehicle speed is not zero, the process may return to step S10.

次に、道路標識位置算出部８による位置算出処理、および、配光制御部１３による可変配光式ヘッドライト１７の照射処理の詳細な流れについて、図９のフローチャートを用いて説明する。 Next, a detailed flow of position calculation processing by the road sign position calculation unit 8 and irradiation processing of the variable light distribution type headlights 17 by the light distribution control unit 13 will be described using the flowchart of FIG.

（位置算出処理の流れの説明） (Description of the flow of position calculation processing)

（ステップＳ２１）図１０の画像５の中の認識不能な道路標識３の位置（ｘ、ｙ）を算出する。 (Step S21) Calculate the position (x, y) of the unrecognizable road sign 3 in the image 5 of FIG.

（ステップＳ２２）画像５の中の認識不能な道路標識３の、算出した位置（ｘ、ｙ）を含む矩形領域ＲＡ（図１１）の面積を算出する。 (Step S22) The area of the rectangular area RA (FIG. 11) including the calculated position (x, y) of the unrecognizable road sign 3 in the image 5 is calculated.

（ステップＳ２３）可変配光式ヘッドライト１７で照射すべき範囲を算出する。 (Step S23) The range to be illuminated by the variable light distribution headlight 17 is calculated.

（ステップＳ２４）可変配光式ヘッドライト１７で照射すべき方向を算出する。 (Step S24) The direction in which the variable light distribution headlight 17 should illuminate is calculated.

（ステップＳ２５）可変配光式ヘッドライト１７で照射すべき光量を算出する。 (Step S25) The amount of light to be emitted by the variable light distribution headlight 17 is calculated.

（可変配光式ヘッドライト１７の照射処理の流れの説明） (Description of the flow of irradiation processing of the variable light distribution type headlight 17)

（ステップＳ２６）ステップＳ２３～Ｓ２５で算出した結果に基づき、可変配光式ヘッドライト１７の配光を制御する。その後、処理はメインルーチン（図８）に戻る。 (Step S26) Light distribution of the variable light distribution type headlight 17 is controlled based on the results calculated in steps S23 to S25. After that, the process returns to the main routine (FIG. 8).

上記した図８に示す処理では、道路標識内容認識部１５によって道路標識３が認識不能であると判断された場合に可変配光式ヘッドライト１７の照射処理（ステップＳ１６）を行う例を示したが、道路標識存在判定部７によって、道路標識３が存在すると判断された場合（ステップＳ１２におけるＹＥＳ）に、直ちに可変配光式ヘッドライト１７の照射処理（ステップＳ１６）を行うようにしても良い。 In the processing shown in FIG. 8 described above, an example is shown in which the illumination processing of the variable light distribution headlights 17 (step S16) is performed when the road sign content recognition unit 15 determines that the road sign 3 cannot be recognized. However, when the road sign presence determining unit 7 determines that the road sign 3 exists (YES in step S12), the irradiation processing of the variable light distribution headlights 17 (step S16) may be performed immediately. .

図１２は、ハイビーム／ロービームを左右独立して自動切り替えする機能を備えたヘッドライト１での照射イメージを示す説明図である。 FIG. 12 is an explanatory diagram showing an irradiation image of the headlight 1 having a function of automatically switching between left and right high beams and low beams independently.

この図に示す場面では、左右のロービームを点灯した状態で、ヘッドライト１で照射すべき範囲や方向を算出した後に、道路標識３が存在する左側のヘッドライト１のハイビームを点灯させる。道路標識３が存在しない右側のヘッドライト１についてはハイビームを点灯させないようにしている。 In the scene shown in this figure, the high beam of the left headlight 1 where the road sign 3 is present is turned on after calculating the range and direction to be irradiated by the headlight 1 while the left and right low beams are turned on. The high beam is not turned on for the right headlight 1 where the road sign 3 does not exist.

図１３は、細かな可変配光制御が可能な機能を有するヘッドライト１（可変配光式ヘッドライト１７）を適用する場面を示している。この図に示す場面では、画面の上側を縦の線で横に分割して複数の縦長の領域を形成し、図８に示すステップＳ１５において、その分割した領域のどの位置に道路標識３が存在するかの判別が行われる。そして、道路標識３の位置が判断されると、左右のロービームが点灯した状態のまま、更に、道路標識３が存在する領域に対しハイビームを局所的に照射して道路標識３を照明する。局所的なハイビームは、車両２（自車両）の走行に合わせて逐次変更することができる。これにより、道路標識３の存在する領域以外の領域を極力照明しないようにして、対向車の運転手等が眩しさを感じないように配慮される。 FIG. 13 shows a situation in which the headlight 1 (variable light distribution type headlight 17) having a function capable of finely variable light distribution control is applied. In the scene shown in this figure, the upper part of the screen is divided horizontally by vertical lines to form a plurality of vertically elongated areas, and in step S15 shown in FIG. A determination is made as to whether When the position of the road sign 3 is determined, while the left and right low beams are left on, the area where the road sign 3 exists is locally irradiated with the high beam to illuminate the road sign 3.例文帳に追加The local high beam can be sequentially changed according to the running of the vehicle 2 (own vehicle). As a result, areas other than the area where the road sign 3 exists are not illuminated as much as possible, so that drivers of oncoming vehicles and the like are not dazzled.

以上のような、ハイビームの局所的な照射によって、図１４に示すように、道路標識３を離れた位置からでも容易に認識し得るようになる。 As shown in FIG. 14, the local irradiation of the high beam as described above makes it possible to easily recognize the road sign 3 even from a distant position.

そして、道路標識３が認識し易い状態となるようにハイビームを局所的に照射した後に、再び、図８に示した道路標識内容認識部１５による標識内容認識処理（Ｓ１３）を行う。 Then, after locally irradiating the high beam so that the road sign 3 can be easily recognized, the road sign content recognition processing (S13) is performed again by the road sign content recognition unit 15 shown in FIG.

以下、標識内容認識処理（Ｓ１３）の詳細な流れについて、図１５のフローチャートを用いて説明する。 A detailed flow of the label content recognition process (S13) will be described below with reference to the flowchart of FIG.

（標識内容認識処理の流れの説明） (Description of the flow of sign content recognition processing)

（ステップＳ３１）撮像部６からの画像５と道路標識データベース１５ａ（図７）に記憶されたテンプレートとの間でテンプレートマッチングを行い、道路標識３の内容を認識する。 (Step S31) Template matching is performed between the image 5 from the imaging unit 6 and the templates stored in the road sign database 15a (FIG. 7), and the content of the road sign 3 is recognized.

（ステップＳ３２）画像５内の全ての道路標識３を認識したか否かを判定する。全ての道路標識３を認識したときはメインルーチン（図８）に戻り、それ以外のときは、ステップＳ３１に戻って、別の道路標識３の認識を行う。 (Step S32) It is determined whether or not all the road signs 3 in the image 5 have been recognized. If all the road signs 3 have been recognized, the process returns to the main routine (FIG. 8). Otherwise, the process returns to step S31 and another road sign 3 is recognized.

以上のような、標識内容認識処理を行わせることによって、画像５中の道路標識３の内容を自動的に認識できるようになる。 By performing the above-described sign content recognition processing, the content of the road sign 3 in the image 5 can be automatically recognized.

１ ヘッドライト
２ 車両
３ 道路標識
４ 車両用道路標識認識支援装置
５ 画像
６ 撮像部
７ 道路標識存在判定部
８ 道路標識位置算出部
９ 照明光
１１ 車両用照明装置
１２ 照射方向
１３ 配光制御部
１５ 道路標識内容認識部
１６ 可視光
１７ 可変配光式ヘッドライト
２１ 道路標識情報
２２ 道路標識存在可能性判定部 REFERENCE SIGNS LIST 1 headlight 2 vehicle 3 road sign 4 vehicle road sign recognition support device 5 image 6 imaging unit 7 road sign presence determination unit 8 road sign position calculation unit 9 illumination light 11 vehicle illumination device 12 irradiation direction 13 light distribution control unit 15 Road sign content recognition unit 16 Visible light 17 Variable light distribution type headlight 21 Road sign information 22 Road sign presence possibility determination unit

Claims (7)

少なくとも車両の前方の画像を撮像する撮像部と、
該撮像部によって得られた画像の中の道路標識の有無を判定する道路標識存在判定部と、
該道路標識存在判定部によって道路標識有りと判定された場合に、道路標識の内容を認識する道路標識内容認識部と、
該道路標識内容認識部が、道路標識の内容を認識できないときに、道路標識の位置を算出する道路標識位置算出部と、
該道路標識位置算出部によって算出された道路標識の位置へ照明光が向くように車両用照明装置の照射方向を制御する配光制御部とを備え、
前記配光制御部は、前記道路標識内容認識部が道路標識の内容を認識できる場合には、前記車両用照明装置の配光を制御しないことを特徴とする車両用道路標識認識支援装置。 an imaging unit that captures at least an image in front of the vehicle;
a road sign presence determination unit that determines whether or not there is a road sign in the image obtained by the imaging unit;
a road sign content recognition unit that recognizes the content of a road sign when the road sign existence determination unit determines that there is a road sign;
a road sign position calculation unit that calculates the position of the road sign when the road sign content recognition unit cannot recognize the content of the road sign ;
a light distribution control unit that controls the irradiation direction of the vehicle lighting device so that the illumination light is directed to the position of the road sign calculated by the road sign position calculation unit ;
The vehicle road sign recognition support device, wherein the light distribution control unit does not control the light distribution of the vehicle illumination device when the road sign content recognition unit can recognize the content of the road sign. 請求項１に記載の車両用道路標識認識支援装置であって、
前記道路標識内容認識部は、カラー画像と近赤外画像とを合成した合成画像に基づいて道路標識の内容を認識し、
前記道路標識位置算出部は、前記道路標識内容認識部が前記合成画像から道路標識の内容を認識できなかったときに、道路標識の位置を算出し、
前記配光制御部は、前記道路標識内容認識部が前記合成画像から道路標識の内容を認識できたときには、照明装置の配光を制御しないことを特徴とする車両用道路標識認識支援装置。 The vehicle road sign recognition support device according to claim 1,
The road sign content recognition unit recognizes the content of the road sign based on a synthesized image obtained by synthesizing the color image and the near-infrared image,
The road sign position calculation unit calculates the position of the road sign when the road sign content recognition unit cannot recognize the content of the road sign from the synthesized image,
The road sign recognition support device for a vehicle, wherein the light distribution control unit does not control the light distribution of the lighting device when the road sign content recognition unit can recognize the content of the road sign from the synthesized image. 請求項１または請求項２に記載の車両用道路標識認識支援装置であって、
前記照明光は、近赤外光または可視光の少なくとも一方とされると共に、
前記照明光の照射方向を制御可能な前記車両用照明装置は、車両前方へ向けて出射する可視光の配光を変更可能な可変配光式ヘッドライトであることを特徴とする車両用道路標識認識支援装置。 The vehicle road sign recognition support device according to claim 1 or claim 2,
The illumination light is at least one of near-infrared light and visible light,
The vehicular road sign, wherein the vehicular lighting device capable of controlling the irradiation direction of the illumination light is a variable light distribution type headlight capable of changing the light distribution of visible light emitted toward the front of the vehicle. Recognition support device. 請求項１ないし請求項３のいずれか１項に記載の車両用道路標識認識支援装置であって、
前記撮像部は、可視光領域および近赤外領域の双方に感度を有することを特徴とする車両用道路標識認識支援装置。 The vehicle road sign recognition support device according to any one of claims 1 to 3,
The vehicle road sign recognition support device, wherein the imaging unit has sensitivity in both a visible light region and a near-infrared region. 請求項１ないし請求項４のいずれか１項に記載の車両用道路標識認識支援装置であって、
前記道路標識存在判定部は、前記車両の周辺の道路標識情報を取得したときに、道路標識の有無の判定を行うことを特徴とする車両用道路標識認識支援装置。 The vehicle road sign recognition support device according to any one of claims 1 to 4,
The road sign recognition support device for a vehicle, wherein the road sign presence determination unit determines whether or not the road sign exists when the road sign information around the vehicle is acquired. 請求項１ないし請求項５のいずれか１項に記載の車両用道路標識認識支援装置であって、
前記車両の周辺に道路標識が存在する可能性があるか否かを判定する道路標識存在可能性判定部を有することを特徴とする車両用道路標識認識支援装置。 The vehicle road sign recognition support device according to any one of claims 1 to 5,
A road sign recognition support device for a vehicle, comprising a road sign presence possibility determination unit that determines whether or not there is a possibility that a road sign exists around the vehicle. 請求項６に記載の車両用道路標識認識支援装置であって、
前記道路標識存在可能性判定部は、記憶している道路標識の設置位置を示す情報に基づいて、前記車両の前方に道路標識が存在する可能性があるか否かを判定することを特徴とする車両用道路標識認識支援装置。 The vehicle road sign recognition support device according to claim 6,
The road sign presence possibility determination unit determines whether or not there is a possibility that a road sign exists in front of the vehicle based on stored information indicating installation positions of the road signs. A road sign recognition support device for vehicles.
JP2019013867A 2019-01-30 2019-01-30 Vehicle road sign recognition support device Active JP7295645B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019013867A JP7295645B2 (en) 2019-01-30 2019-01-30 Vehicle road sign recognition support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019013867A JP7295645B2 (en) 2019-01-30 2019-01-30 Vehicle road sign recognition support device

Publications (2)

Publication Number Publication Date
JP2020121615A JP2020121615A (en) 2020-08-13
JP7295645B2 true JP7295645B2 (en) 2023-06-21

Family

ID=71993450

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019013867A Active JP7295645B2 (en) 2019-01-30 2019-01-30 Vehicle road sign recognition support device

Country Status (1)

Country Link
JP (1) JP7295645B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190166A1 (en) * 2021-03-08 2022-09-15 三菱電機株式会社 Image processing device, image processing method, and image processing program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006327380A (en) 2005-05-25 2006-12-07 Denso Corp Vehicular illumination device
JP2008252327A (en) 2007-03-29 2008-10-16 Toyota Motor Corp Vehicle periphery monitoring device
JP2016196233A (en) 2015-04-03 2016-11-24 クラリオン株式会社 Road sign recognizing device for vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006327380A (en) 2005-05-25 2006-12-07 Denso Corp Vehicular illumination device
JP2008252327A (en) 2007-03-29 2008-10-16 Toyota Motor Corp Vehicle periphery monitoring device
JP2016196233A (en) 2015-04-03 2016-11-24 クラリオン株式会社 Road sign recognizing device for vehicle

Also Published As

Publication number Publication date
JP2020121615A (en) 2020-08-13

Similar Documents

Publication Publication Date Title
US9505338B2 (en) Vehicle driving environment recognition apparatus
JP4491453B2 (en) Method and apparatus for visualizing the periphery of a vehicle by fusing infrared and visual images depending on the periphery
KR101768500B1 (en) Drive assistance apparatus and method for controlling the same
JP4853437B2 (en) Vehicle perimeter monitoring system
JP5299026B2 (en) Vehicle display device
CN110087946B (en) Lighting system for vehicle and vehicle
JP2005182306A (en) Vehicle display device
JP2016196233A (en) Road sign recognizing device for vehicle
US9616805B2 (en) Method and device for controlling a headlamp of a vehicle
JP4927647B2 (en) Vehicle periphery monitoring device
KR20100056719A (en) Headlamp control device for the use of vehicle
WO2014103223A1 (en) Night-vision device
JP2007156832A (en) On-vehicle near-infrared light irradiation device and on-vehicle periphery monitoring device
JP2012027773A (en) Pseudo grayscale image generation device and program
KR20220139933A (en) Car&#39;s ambient monitoring system
JP4735090B2 (en) Infrared imaging device
KR101709402B1 (en) Driver Assistance System And Method Thereof
KR101428094B1 (en) A system for offering a front/side image with a lane expression
JP4731177B2 (en) Infrared imaging display device and infrared imaging display method for vehicle
JP7295645B2 (en) Vehicle road sign recognition support device
CN109987025B (en) Vehicle driving assistance system and method for night environment
EP2709356A2 (en) Method for operating a front camera of a motor vehicle considering the light of the headlight, corresponding device and motor vehicle
JP5643877B2 (en) Vehicle headlamp device
JP2013101432A (en) Obstacle detector and program
JP4075559B2 (en) Shooting system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230609

R150 Certificate of patent or registration of utility model

Ref document number: 7295645

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150