JP6318962B2 - Image generating apparatus and image generating method - Google Patents

Image generating apparatus and image generating method

Info

Publication number
JP6318962B2
JP6318962B2 JP2014161018A JP2014161018A JP6318962B2 JP 6318962 B2 JP6318962 B2 JP 6318962B2 JP 2014161018 A JP2014161018 A JP 2014161018A JP 2014161018 A JP2014161018 A JP 2014161018A JP 6318962 B2 JP6318962 B2 JP 6318962B2
Authority
JP
Japan
Prior art keywords
image
radio wave
region
contrast
visible image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014161018A
Other languages
Japanese (ja)
Other versions
JP2016038268A (en
Inventor
光範 中村
光範 中村
慎一 西岡
慎一 西岡
西内 秀和
秀和 西内
佐藤 宏
宏 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2014161018A priority Critical patent/JP6318962B2/en
Publication of JP2016038268A publication Critical patent/JP2016038268A/en
Application granted granted Critical
Publication of JP6318962B2 publication Critical patent/JP6318962B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両前方から到来する電磁波を検知して生成された電波画像と車両前方を撮像した可視画像とから画像を生成する画像生成装置及びその方法に関する。   The present invention relates to an image generation apparatus and method for generating an image from a radio wave image generated by detecting electromagnetic waves coming from the front of a vehicle and a visible image obtained by imaging the front of the vehicle.

従来では、複数枚の画像を合成して合成画像を生成する技術として特許文献1が開示されている。   Conventionally, Patent Document 1 is disclosed as a technique for generating a composite image by combining a plurality of images.

特許文献1に開示された撮像装置では、撮像素子の感度が閾値よりも低い低感度である場合に、標準露光よりも少ない露光量で複数回撮像した複数枚の画像を合成して1枚のノイズ軽減用画像を生成していた。   In the imaging apparatus disclosed in Patent Document 1, when the sensitivity of the imaging element is low, which is lower than a threshold value, a plurality of images that are captured a plurality of times with an exposure amount smaller than the standard exposure are combined to obtain a single sheet. An image for noise reduction was generated.

特開2012−239077号公報JP 2012-239077 A

しかしながら、上述した従来の撮像装置では、夜間や逆光等の場合には画像を合成しても画像上のコントラストが低下してしまう。そのため、車両に搭載した場合では車両の走行に必要となる路面の状態を撮像した画像を運転者に提供することができないという問題点があった。   However, in the above-described conventional imaging apparatus, the contrast on the image is lowered even if the images are combined at night or in backlight. Therefore, when mounted on a vehicle, there has been a problem that an image obtained by imaging a road surface necessary for traveling of the vehicle cannot be provided to the driver.

そこで、本発明は、上述した実情に鑑みて提案されたものであり、夜間や逆光等の場合でも車両の走行に必要となる路面の状態を撮像した画像を運転者に提供することのできる画像生成装置及びその方法を提供することを目的とする。   Therefore, the present invention has been proposed in view of the above-described circumstances, and can provide a driver with an image obtained by capturing the road surface necessary for driving the vehicle even at night or in backlighting. An object of the present invention is to provide a generation apparatus and a method thereof.

上述した課題を解決するために、本発明の一態様に係る画像生成装置及びその方法は、車両前方から到来する電磁波の水平偏波成分及び垂直偏波成分を受信して電波画像を生成し、電波画像上の物体を水平偏波成分及び垂直偏波成分に基づいて分類して物体領域を設定する。また、車両前方の可視画像を撮像して可視画像上においてコントラストが低下している低コントラスト領域を検出する。そして、可視画像上の低コントラスト領域のうち電波画像上の物体領域に対応する領域のコントラストを向上させた出力画像を生成する。   In order to solve the above-described problem, an image generation apparatus and method according to an aspect of the present invention generate a radio wave image by receiving horizontal polarization components and vertical polarization components of electromagnetic waves arriving from the front of a vehicle, An object region is set by classifying objects on a radio wave image based on horizontal polarization components and vertical polarization components. In addition, a low-contrast region where the contrast is lowered on the visible image is detected by capturing a visible image in front of the vehicle. And the output image which improved the contrast of the area | region corresponding to the object area | region on a radio wave image among the low contrast area | regions on a visible image is produced | generated.

本発明によれば、夜間や逆光等で画像上のコントラストが低下した場合でも車両の走行に必要となる路面の状態を撮像した画像を運転者に提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, even when the contrast on an image falls at night, a backlight, etc., the image which imaged the state of the road surface required for driving | running | working of a vehicle can be provided to a driver | operator.

図1は、本発明の第1実施形態に係る画像生成装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of an image generation apparatus according to the first embodiment of the present invention. 図2は、本発明の第1実施形態に係る画像生成装置による画像生成処理の処理手順を示すフローチャートである。FIG. 2 is a flowchart showing a processing procedure of image generation processing by the image generation apparatus according to the first embodiment of the present invention. 図3は、本発明の第1実施形態に係る画像生成装置によって生成及び撮像された電波画像及び可視画像を示す図である。FIG. 3 is a diagram illustrating a radio wave image and a visible image generated and captured by the image generation apparatus according to the first embodiment of the present invention. 図4は、本発明の第1実施形態に係る画像生成装置による物体の分類方法を説明するための図である。FIG. 4 is a diagram for explaining an object classification method by the image generation apparatus according to the first embodiment of the present invention. 図5は、本発明の第1実施形態に係る画像生成装置によって生成された出力画像を示す図である。FIG. 5 is a diagram illustrating an output image generated by the image generation apparatus according to the first embodiment of the present invention. 図6は、本発明の第2実施形態に係る画像生成装置による画像生成処理の処理手順を示すフローチャートである。FIG. 6 is a flowchart showing a processing procedure of image generation processing by the image generation apparatus according to the second embodiment of the present invention. 図7は、本発明の第2実施形態に係る画像生成装置によって生成及び撮像された電波画像及び可視画像を示す図である。FIG. 7 is a diagram illustrating a radio wave image and a visible image generated and captured by the image generation apparatus according to the second embodiment of the present invention. 図8は、本発明の第2実施形態に係る画像生成装置によって生成及び撮像された電波画像及び可視画像を示す図である。FIG. 8 is a diagram illustrating a radio wave image and a visible image generated and captured by the image generation apparatus according to the second embodiment of the present invention. 図9は、本発明の第2実施形態に係る画像生成装置によって撮像された可視画像の画素位置と輝度値との間の関係を示す図である。FIG. 9 is a diagram illustrating a relationship between a pixel position and a luminance value of a visible image captured by the image generation device according to the second embodiment of the present invention. 図10は、本発明の第2実施形態に係る画像生成装置によって生成された出力画像を示す図である。FIG. 10 is a diagram illustrating an output image generated by the image generation apparatus according to the second embodiment of the present invention. 図11は、本発明の第2実施形態に係る画像生成装置によって撮像された可視画像の画素位置と輝度値との間の関係を示す図である。FIG. 11 is a diagram illustrating a relationship between a pixel position and a luminance value of a visible image captured by the image generation device according to the second embodiment of the present invention. 図12は、本発明の第2実施形態に係る画像生成装置によって生成された出力画像を示す図である。FIG. 12 is a diagram illustrating an output image generated by the image generation apparatus according to the second embodiment of the present invention. 図13は、本発明の第3実施形態に係る画像生成装置の構成を示すブロック図である。FIG. 13 is a block diagram showing a configuration of an image generation apparatus according to the third embodiment of the present invention. 図14は、本発明の第3実施形態に係る画像生成装置による車線推定処理の処理手順を示すフローチャートである。FIG. 14 is a flowchart showing a processing procedure of lane estimation processing by the image generation apparatus according to the third embodiment of the present invention. 図15は、本発明の第3実施形態に係る画像生成装置によって生成及び撮像された電波画像及び可視画像を示す図である。FIG. 15 is a diagram illustrating a radio wave image and a visible image generated and captured by the image generation apparatus according to the third embodiment of the present invention. 図16は、本発明の第3実施形態に係る画像生成装置によって生成された出力画像を示す図である。FIG. 16 is a diagram illustrating an output image generated by the image generation apparatus according to the third embodiment of the present invention.

以下、本発明を適用した第1〜第3実施形態について図面を参照して説明する。   Hereinafter, first to third embodiments to which the present invention is applied will be described with reference to the drawings.

[第1実施形態]
[画像生成装置の構成]
図1は、本実施形態に係る画像生成装置の構成を示すブロック図である。図1に示すように、本実施形態に係る画像生成装置1は、電波受信部3と、可視画像撮像部5と、物体分類部7と、コントラスト検出部9と、画像生成部11とを備えている。
[First Embodiment]
[Configuration of Image Generation Device]
FIG. 1 is a block diagram illustrating a configuration of an image generation apparatus according to the present embodiment. As shown in FIG. 1, the image generation apparatus 1 according to the present embodiment includes a radio wave reception unit 3, a visible image imaging unit 5, an object classification unit 7, a contrast detection unit 9, and an image generation unit 11. ing.

ここで、本実施形態に係る画像生成装置1は、車両に搭載されて車両前方の画像を生成して運転者に提供する。この際、夜間や逆光等によって画像のコントラストが低下すると、コントラストが低下した領域のうち路面や立体物が撮像された領域のコントラストを向上させて出力画像を生成する。   Here, the image generation device 1 according to the present embodiment is mounted on a vehicle, generates an image in front of the vehicle, and provides the image to the driver. At this time, when the contrast of the image is reduced due to nighttime or backlight, the output image is generated by improving the contrast of the area where the road surface or the three-dimensional object is imaged among the areas where the contrast is reduced.

電波受信部3は、車両前方から到来する電磁波の主に水平偏波成分を検知する水平偏波アンテナと、車両前方から到来する電磁波の主に垂直偏波成分を検知する垂直偏波アンテナとを備えており、これらのアンテナで受信した水平偏波成分及び垂直偏波成分から電波画像を生成する。ここで、電波受信部3は、電波画像を生成する際に、通常の解像度で生成した基準画像と、高解像度で生成した高解像度画像とを生成することができる。例えば、通常時は1画素ずつ飛ばしてアンテナを走査することで基準画像を生成し、必要なときにはアンテナの全画素を走査することで高解像度画像を生成する。特に、本実施形態では、物体分類部7で路面領域に分類された領域について高解像度の電波画像を生成する。   The radio wave receiving unit 3 includes a horizontal polarization antenna that mainly detects a horizontal polarization component of electromagnetic waves arriving from the front of the vehicle, and a vertical polarization antenna that detects mainly a vertical polarization component of electromagnetic waves arriving from the front of the vehicle. A radio wave image is generated from the horizontal polarization component and the vertical polarization component received by these antennas. Here, when generating the radio wave image, the radio wave receiving unit 3 can generate a reference image generated at a normal resolution and a high resolution image generated at a high resolution. For example, in the normal state, the reference image is generated by scanning the antenna while skipping one pixel at a time, and when necessary, the high-resolution image is generated by scanning all the pixels of the antenna. In particular, in the present embodiment, a high-resolution radio wave image is generated for an area classified as a road surface area by the object classification unit 7.

可視画像撮像部5は、車両前方の可視画像を撮像するための通常の可視カメラである。   The visible image capturing unit 5 is a normal visible camera for capturing a visible image in front of the vehicle.

物体分類部7は、電波受信部3で生成された電波画像上の物体を水平偏波成分及び垂直偏波成分に基づいて分類する。具体的に説明すると、物体分類部7は、電波受信部3で生成された電波画像上の各画素において、水平偏波成分と垂直偏波成分との比を示す偏波比を算出し、この偏波比と垂直偏波成分の強度とに基づいて電波画像に撮像された物体を分類する。例えば、物体分類部7は、偏波比と垂直偏波成分の強度とに応じて設定されたテーブルを予め備えており、このテーブルを用いて電波画像上の各画素を空や立体物、路面、不整地等に分類する。そして、それぞれ分類された領域を、それぞれの物体領域として設定する。例えば、これらのうち路面に分類された領域を路面領域と設定する。   The object classification unit 7 classifies the object on the radio wave image generated by the radio wave reception unit 3 based on the horizontal polarization component and the vertical polarization component. More specifically, the object classification unit 7 calculates a polarization ratio indicating the ratio between the horizontal polarization component and the vertical polarization component in each pixel on the radio wave image generated by the radio wave reception unit 3. The object captured in the radio wave image is classified based on the polarization ratio and the intensity of the vertical polarization component. For example, the object classification unit 7 includes a table that is set in advance according to the polarization ratio and the intensity of the vertical polarization component. Using this table, each pixel on the radio wave image is displayed in the sky, a three-dimensional object, or a road surface. Classify as rough terrain. Then, each classified area is set as each object area. For example, an area classified as a road surface is set as a road surface area.

コントラスト検出部9は、可視画像撮像部5で撮像された可視画像上においてコントラストが低下している低コントラスト領域を検出する。コントラスト検出部9は、可視画像の各画素の輝度を検出し、可視画像の各行において輝度の標準偏差を算出する。そして、この標準偏差が所定値以下となった領域を低コントラスト領域として検出する。   The contrast detection unit 9 detects a low contrast region in which the contrast is reduced on the visible image captured by the visible image capturing unit 5. The contrast detection unit 9 detects the luminance of each pixel of the visible image and calculates the standard deviation of the luminance in each row of the visible image. Then, an area where the standard deviation is a predetermined value or less is detected as a low contrast area.

画像生成部11は、可視画像上の低コントラスト領域のうち電波画像上の路面領域に対応する領域のコントラストを向上させて出力画像を生成する。本実施形態では、可視画像上の低コントラスト領域のうち路面領域に対応する領域に、電波受信部3で生成された高解像度の電波画像を合成することで、路面領域のコントラストを向上させた出力画像を生成する。   The image generation unit 11 generates an output image by improving the contrast of the region corresponding to the road surface region on the radio wave image among the low contrast regions on the visible image. In the present embodiment, an output in which the contrast of the road surface area is improved by synthesizing the high-resolution radio wave image generated by the radio wave receiver 3 in an area corresponding to the road surface area in the low contrast area on the visible image. Generate an image.

ここで、画像生成装置1は、マイクロコンピュータ、マイクロプロセッサ、CPUを含む汎用の電子回路と周辺機器から構成されている。そして、特定のプログラムを実行することにより、電波受信部3、可視画像撮像部5、物体分類部7、コントラスト検出部9及び画像生成部11として動作する。   Here, the image generation apparatus 1 includes a general-purpose electronic circuit including a microcomputer, a microprocessor, and a CPU, and peripheral devices. Then, by executing a specific program, the radio receiver 3, the visible image capturing unit 5, the object classification unit 7, the contrast detection unit 9, and the image generation unit 11 are operated.

[画像生成処理の手順]
次に、本実施形態に係る画像生成装置1による画像生成処理の手順を図2のフローチャートを参照して説明する。
[Image generation processing procedure]
Next, the procedure of image generation processing by the image generation apparatus 1 according to the present embodiment will be described with reference to the flowchart of FIG.

図2に示すように、まずステップS101において、電波受信部3は、車両前方から到来する電磁波の主に水平偏波成分と垂直偏波成分を受信して電波画像を生成する。例えば、電波受信部3は、図3(a)に示すような電波画像を生成する。図3(a)の電波画像には、空31と、アスファルト等の平坦な路面33と、緑地帯等の不整地35が撮像されている。   As shown in FIG. 2, first, in step S101, the radio wave receiver 3 receives a horizontal polarization component and a vertical polarization component of electromagnetic waves coming from the front of the vehicle and generates a radio wave image. For example, the radio wave receiving unit 3 generates a radio wave image as shown in FIG. In the radio wave image of FIG. 3A, a sky 31, a flat road surface 33 such as asphalt, and an irregular ground 35 such as a green zone are captured.

ステップS102において、可視画像撮像部5は、車両前方の可視画像を撮像する。例えば、可視画像撮像部5は、図3(b)に示すような可視画像を撮像する。図3(b)の可視画像には、手前側にヘッドライトによって照らされた明るい部分が撮像されており、その先には夜間の暗闇が撮像されている。   In step S102, the visible image capturing unit 5 captures a visible image in front of the vehicle. For example, the visible image capturing unit 5 captures a visible image as illustrated in FIG. In the visible image of FIG. 3B, a bright part illuminated by a headlight is imaged on the front side, and darkness at night is imaged beyond that.

ステップS103において、物体分類部7は、電波受信部3で生成された電波画像の各画素において水平偏波成分と垂直偏波成分との比を示す偏波比を算出する。この偏波比は、垂直偏波成分強度に対する水平偏波成分強度の割合を示したものであり、
偏波比=水平偏波成分強度/垂直偏波成分強度 (1)
として表される。
In step S <b> 103, the object classification unit 7 calculates a polarization ratio indicating a ratio between a horizontal polarization component and a vertical polarization component in each pixel of the radio wave image generated by the radio wave reception unit 3. This polarization ratio shows the ratio of the horizontal polarization component intensity to the vertical polarization component intensity,
Polarization ratio = Horizontal polarization component intensity / Vertical polarization component intensity (1)
Represented as:

そして、偏波比を算出すると、物体分類部7は、算出した偏波比と垂直偏波成分強度とに基づいて電波画像に撮像された物体を分類する。ここで、物体分類部7は、図4に示すように偏波比と垂直偏波成分強度とに応じて設定されたテーブルを予め備えており、このテーブルを用いて電波画像上の各画素を空や立体物、路面、不整地等に分類する。   When the polarization ratio is calculated, the object classification unit 7 classifies the object captured in the radio wave image based on the calculated polarization ratio and the vertical polarization component intensity. Here, as shown in FIG. 4, the object classification unit 7 is provided with a table set in advance according to the polarization ratio and the vertical polarization component intensity, and each pixel on the radio wave image is determined using this table. Classify into sky, solid objects, road surface, rough terrain, etc.

まず、物体分類部7は、電波画像上の各画素について、図4(a)のテーブルを用いて条件0〜5のいずれに該当するかを判定する。すなわち、各画素の垂直偏波成分強度が黒体輻射の80%未満の場合には条件0と判定する。同様に、垂直偏波成分強度が黒体輻射の80%以上85%未満の場合には条件1、85%以上90%未満の場合には条件2、90%以上95%未満の場合には条件3、95%以上100%未満の場合には条件4、100%のときには条件5と判定する。   First, the object classification unit 7 determines which of the conditions 0 to 5 applies to each pixel on the radio wave image using the table in FIG. That is, when the vertical polarization component intensity of each pixel is less than 80% of the black body radiation, it is determined that the condition is zero. Similarly, if the vertical polarization component intensity is 80% or more and less than 85% of black body radiation, condition 1 is applied. If 85% or more and less than 90% is applied, condition 2 is applied. If 90% or more and less than 95% is applied, the condition is applied. 3. If it is 95% or more and less than 100%, condition 4 is determined, and if it is 100%, condition 5 is determined.

次に、物体分類部7は、電波画像上の各画素について、図4(b)のテーブルを用いて条件a〜eのいずれに該当するかを判定する。すなわち、各画素の偏波比が0.8未満の場合には条件aと判定する。同様に、偏波比が0.9未満0.8以上の場合には条件b、0.9以上1.1以下の場合には条件c、1.1より大きく1.2以下の場合には条件d、1.2より大きい場合には条件eと判定する。   Next, the object classification unit 7 determines which of the conditions a to e applies to each pixel on the radio wave image using the table of FIG. That is, when the polarization ratio of each pixel is less than 0.8, the condition a is determined. Similarly, if the polarization ratio is less than 0.9 and not less than 0.8, condition b, if not less than 0.9 and not more than 1.1, condition c, if greater than 1.1 and not more than 1.2 If condition d is greater than 1.2, it is determined as condition e.

そして、物体分類部7は、電波画像上の各画素について、条件0〜5と条件a〜eの組み合わせを求め、図4(c)のテーブルを用いて物体を分類する。すなわち、条件1かつ条件dの場合にはその画素を立体物であると判定する。同様に、条件3かつ条件aの場合には路面と判定し、条件1〜5かつ条件cの場合には不整地と判定し、条件0かつ条件cの場合には空と判定する。その結果、物体分類部7は、図3(a)の電波画像の各画素を空31と路面33と不整地35にそれぞれ分類し、さらに路面33を含む行、すなわち路面33を含む横方向の領域を路面領域37として設定する。したがって、図3(a)では、路面33を含むS1行目からSn行目までの間が路面領域37として設定される。このようにして物体分類部7は、電波画像上に撮像された物体を分類する。   Then, the object classification unit 7 obtains a combination of the conditions 0 to 5 and the conditions a to e for each pixel on the radio wave image, and classifies the object using the table of FIG. That is, in the case of condition 1 and condition d, it is determined that the pixel is a three-dimensional object. Similarly, in the case of condition 3 and condition a, it is determined as a road surface, in the case of condition 1 to 5 and condition c, it is determined as rough terrain, and in the case of condition 0 and condition c, it is determined as empty. As a result, the object classification unit 7 classifies each pixel of the radio wave image of FIG. 3A into the sky 31, the road surface 33, and the rough terrain 35, and further includes a row including the road surface 33, that is, a lateral direction including the road surface 33. The area is set as the road surface area 37. Therefore, in FIG. 3A, the area from the S1 line to the Sn line including the road surface 33 is set as the road surface area 37. In this way, the object classification unit 7 classifies the object imaged on the radio wave image.

ステップS104において、コントラスト検出部9は、可視画像上においてコントラストが低下している低コントラスト領域を検出する。まず、コントラスト検出部9は、可視画像の各画素の輝度を検出し、可視画像の横方向、すなわち各行において輝度の標準偏差を算出する。そして、この標準偏差が所定値以下となった行を低コントラスト領域として検出する。例えば、図3(b)の可視画像では、ヘッドライトに照らされた明るい部分より上に位置するSj行目からSx行目までの領域が低コントラスト領域39として検出される。   In step S104, the contrast detection unit 9 detects a low-contrast region where the contrast is reduced on the visible image. First, the contrast detection unit 9 detects the luminance of each pixel of the visible image, and calculates the standard deviation of luminance in the horizontal direction of the visible image, that is, in each row. Then, a row in which the standard deviation is equal to or smaller than a predetermined value is detected as a low contrast region. For example, in the visible image of FIG. 3B, the region from the Sj line to the Sx line located above the bright portion illuminated by the headlight is detected as the low contrast region 39.

ステップS105において、画像生成部11は、可視画像上の低コントラスト領域のうち電波画像上の路面領域に対応する領域を検出する。例えば、図3では、低コントラスト領域39のうち路面領域37に対応する領域は、Sj行目からSn行目までの領域41となる。   In step S105, the image generation unit 11 detects an area corresponding to the road surface area on the radio wave image among the low contrast areas on the visible image. For example, in FIG. 3, the region corresponding to the road surface region 37 in the low contrast region 39 is a region 41 from the Sj line to the Sn line.

ステップS106において、電波受信部3は、路面領域37について高解像度の電波画像を生成する。通常、電波受信部3は1画素ずつ飛ばしてアンテナを走査することで基準画像を生成しているが、高解像度の電波画像を生成する場合にはアンテナの全画素を走査して高解像度画像を生成する。尚、路面領域37の全体で高解像度画像を生成するのではなく、領域41についてのみ高解像度画像を生成してもよい。   In step S <b> 106, the radio wave receiving unit 3 generates a high-resolution radio wave image for the road surface area 37. Normally, the radio wave receiving unit 3 generates a reference image by scanning the antenna while skipping one pixel at a time. However, when generating a high resolution radio wave image, all pixels of the antenna are scanned to generate a high resolution image. Generate. Note that a high resolution image may be generated only for the area 41 instead of generating a high resolution image for the entire road surface area 37.

ステップS107において、画像生成部11は、可視画像に対して、可視画像上の低コントラスト領域のうち電波画像上の路面領域に対応する領域のコントラストを向上させた出力画像を生成する。特に、本実施形態では、可視画像上の低コントラスト領域のうち路面領域に対応する領域に、ステップS106で生成した高解像度の電波画像を合成して路面領域に対応する領域のコントラストを向上させている。例えば、画像生成部11は、図3(b)の可視画像に、図3(a)の電波画像のうち領域41の部分の高解像度画像を合成して、図5に示す出力画像を生成する。これにより、可視画像上でコントラストが低下して見えなくなっていた領域を電波画像で補完して見やすくすることができる。このようにして出力画像が生成されると、本実施形態に係る画像生成処理を終了する。   In step S107, the image generation unit 11 generates an output image in which the contrast of the region corresponding to the road surface region on the radio wave image in the low contrast region on the visible image is improved with respect to the visible image. In particular, in this embodiment, the high-resolution radio wave image generated in step S106 is synthesized with the region corresponding to the road surface region in the low contrast region on the visible image to improve the contrast of the region corresponding to the road surface region. Yes. For example, the image generation unit 11 combines the high-resolution image of the region 41 in the radio wave image of FIG. 3A with the visible image of FIG. 3B to generate the output image shown in FIG. . As a result, it is possible to complement a region that has been lost due to a decrease in contrast on the visible image with the radio wave image to make it easier to see. When the output image is generated in this way, the image generation process according to the present embodiment is terminated.

[第1実施形態の効果]
以上詳細に説明したように、本実施形態に係る画像生成装置1では、可視画像上においてコントラストが低下している低コントラスト領域を検出し、可視画像に対して、低コントラスト領域のうち路面領域に対応する領域のコントラストを向上させた出力画像を生成する。これにより、夜間や逆光等で画像上のコントラストが低下しても車両の走行に必要となる路面の状態を撮像した画像を運転者に提供することができる。
[Effect of the first embodiment]
As described above in detail, the image generation apparatus 1 according to the present embodiment detects a low-contrast area where the contrast is reduced on the visible image, and detects the low-contrast area in the road image area of the low-contrast area. An output image in which the contrast of the corresponding region is improved is generated. Thereby, even if the contrast on the image is lowered at night or in backlight, an image obtained by imaging the road surface necessary for traveling of the vehicle can be provided to the driver.

また、本実施形態に係る画像生成装置1では、路面領域について高解像度の電波画像を生成し、可視画像上の低コントラスト領域のうち路面領域に対応する領域に高解像度の電波画像を合成して出力画像を生成する。これにより、夜間や逆光等で画像上のコントラストが低下しても高解像度の電波画像によって車両の走行に必要となる路面の状態を撮像した画像を運転者に提供することができる。   Further, the image generation apparatus 1 according to the present embodiment generates a high-resolution radio wave image for the road surface area, and synthesizes the high-resolution radio wave image in an area corresponding to the road surface area in the low-contrast area on the visible image. Generate an output image. Thereby, even if the contrast on the image is lowered at night or in backlight, an image obtained by capturing the road surface necessary for traveling of the vehicle by the high-resolution radio wave image can be provided to the driver.

[第2実施形態]
次に、本発明の第2実施形態に係る画像生成装置について図面を参照して説明する。ただし、本実施形態に係る画像生成装置の構成は第1実施形態と同一なので詳細な説明は省略する。
[Second Embodiment]
Next, an image generation apparatus according to a second embodiment of the present invention will be described with reference to the drawings. However, since the configuration of the image generation apparatus according to the present embodiment is the same as that of the first embodiment, detailed description thereof is omitted.

[画像生成処理の手順]
次に、本実施形態に係る画像生成装置による画像生成処理の手順を図6のフローチャートを参照して説明する。ただし、第1実施形態と同一の処理が行われるステップについては詳細な説明は省略する。
[Image generation processing procedure]
Next, the procedure of image generation processing by the image generation apparatus according to the present embodiment will be described with reference to the flowchart of FIG. However, detailed description of steps in which the same processing as in the first embodiment is performed is omitted.

図6に示すフローチャートにおいて、ステップS201、202では、図2のステップS101、102と同一の処理が実行され、電波画像を生成して可視画像を撮像する。   In the flowchart shown in FIG. 6, in steps S201 and S202, the same processing as that in steps S101 and S102 in FIG. 2 is executed to generate a radio wave image and capture a visible image.

ステップS203において、物体分類部7は、図2のステップS103と同様に電波画像に撮像された物体を分類し、路面に分類された領域を路面領域と設定する。例えば、図7(a)に示すように、電波画像上において路面領域71を設定する。さらに、本実施形態では、電波画像上において立体物に分類された領域に立体物検知領域を設定する。例えば、図8(a)に示すように、電波画像上において立体物検知領域81、83を設定する。   In step S203, the object classification unit 7 classifies the object captured in the radio wave image as in step S103 in FIG. 2, and sets the area classified as the road surface as the road surface area. For example, as shown in FIG. 7A, a road surface area 71 is set on the radio wave image. Furthermore, in this embodiment, a three-dimensional object detection region is set in a region classified as a three-dimensional object on a radio wave image. For example, as shown in FIG. 8A, solid object detection areas 81 and 83 are set on the radio wave image.

ステップS204において、コントラスト検出部9は、図2のステップS104と同様に可視画像上において各画素の輝度を検出し、コントラストが低下している低コントラスト領域を検出する。そして、本実施形態ではさらにコントラストの高い高コントラスト領域についても検出する。例えば、図7(b)に示すように、可視画像上において低コントラスト領域73と高コントラスト領域75を設定する。さらに、本実施形態では、可視画像上にステップS203で設定された立体物検知領域に対応する領域を設定し、この領域のコントラストを検出する。例えば、図8(b)に示すように、図8(a)の立体物検知領域81、83に対応する領域85、87を可視画像上に設定し、この領域85、87のコントラストを検出する。   In step S204, the contrast detection unit 9 detects the luminance of each pixel on the visible image in the same manner as in step S104 of FIG. 2, and detects a low contrast region in which the contrast is lowered. In this embodiment, a high-contrast region with higher contrast is also detected. For example, as shown in FIG. 7B, a low contrast region 73 and a high contrast region 75 are set on the visible image. Furthermore, in this embodiment, an area corresponding to the three-dimensional object detection area set in step S203 is set on the visible image, and the contrast of this area is detected. For example, as shown in FIG. 8B, areas 85 and 87 corresponding to the three-dimensional object detection areas 81 and 83 in FIG. 8A are set on the visible image, and the contrast of these areas 85 and 87 is detected. .

次に、ステップS205では、図2のステップS105と同一の処理が実行され、可視画像上の低コントラスト領域のうち電波画像上の路面領域に対応する領域を検出する。   Next, in step S205, the same processing as in step S105 of FIG. 2 is executed, and an area corresponding to a road surface area on the radio wave image is detected among low contrast areas on the visible image.

ステップS206において、可視画像撮像部5は、可視画像の低コントラスト領域のうち路面領域に対応する領域の輝度が増大するように露光量を増加させて可視画像を撮像する。ただし、図7では可視画像の低コントラスト領域73は路面領域71にほぼ対応しているので、低コントラスト領域73の輝度が増大するように露光量を増加させて可視画像を撮像すればよい。また、低コントラスト領域の輝度を増大させることができれば、露光量を増加させるのではなく、利得を増加させてもよいし、露光量と利得の両方を増加させてもよい。   In step S206, the visible image capturing unit 5 captures the visible image by increasing the exposure amount so that the luminance of the region corresponding to the road surface region in the low contrast region of the visible image is increased. However, in FIG. 7, the low-contrast region 73 of the visible image substantially corresponds to the road surface region 71, so that the visible image may be captured by increasing the exposure amount so that the luminance of the low-contrast region 73 increases. If the luminance of the low contrast region can be increased, the exposure amount may not be increased, but the gain may be increased, or both the exposure amount and the gain may be increased.

ここで、低コントラスト領域73と高コントラスト領域75の輝度を比較すると、図9に示すような結果を得ることができる。図9は、可視画像の行方向の画素位置とその画素位置における輝度値との間の関係を示したグラフであり、低コントラスト領域73では標準偏差が11、高コントラスト領域75では標準偏差が74となっている。   Here, when the luminances of the low contrast region 73 and the high contrast region 75 are compared, a result as shown in FIG. 9 can be obtained. FIG. 9 is a graph showing the relationship between the pixel position in the row direction of the visible image and the luminance value at the pixel position. The standard deviation is 11 in the low contrast region 73 and the standard deviation is 74 in the high contrast region 75. It has become.

そこで、可視画像撮像部5は、低コントラスト領域73の標準偏差が高コントラスト領域75の標準偏差まで増大するように露光量を増加させて可視画像を撮像する。また、高コントラスト領域の標準偏差まで増大させるのではなく、露光量や利得を予め設定された割合、例えば3倍に増加させて可視画像を撮像してもよい。この結果、撮像された可視画像は、図10に示すような画像となる。通常の方法で撮像した図7(b)の可視画像では、逆光で高コントラスト領域75に合わせて露光量が決められていたため低コントラスト領域73は暗くなっていた。しかし、図10では低コントラスト領域73に合わせて露光量が決められているので、低コントラスト領域73の輝度が増大してコントラストが向上している。   Therefore, the visible image capturing unit 5 captures a visible image by increasing the exposure amount so that the standard deviation of the low contrast region 73 increases to the standard deviation of the high contrast region 75. Further, instead of increasing to the standard deviation of the high contrast region, a visible image may be captured by increasing the exposure amount and gain by a preset ratio, for example, three times. As a result, the captured visible image becomes an image as shown in FIG. In the visible image of FIG. 7B imaged by a normal method, the low contrast region 73 was dark because the exposure amount was determined according to the high contrast region 75 by backlight. However, in FIG. 10, since the exposure amount is determined according to the low contrast region 73, the luminance of the low contrast region 73 is increased and the contrast is improved.

また、可視画像撮像部5は、立体物検知領域に対応する領域の輝度が増大するように露光量を増加させて可視画像を撮像してもよい。ここで、立体物検知領域81に対応する領域85の輝度を図11に示す。図11は、領域85を含む可視画像の行方向の画素位置とその画素位置における輝度値との間の関係を示したグラフであり、符号90で示す範囲内が領域85の輝度値を示している。図11の場合では、領域85の標準偏差は12となる。   Further, the visible image capturing unit 5 may capture a visible image by increasing the exposure amount so that the luminance of the region corresponding to the three-dimensional object detection region is increased. Here, the luminance of the region 85 corresponding to the three-dimensional object detection region 81 is shown in FIG. FIG. 11 is a graph showing the relationship between the pixel position in the row direction of the visible image including the area 85 and the luminance value at the pixel position. The range indicated by reference numeral 90 indicates the luminance value of the area 85. Yes. In the case of FIG. 11, the standard deviation of the region 85 is 12.

そこで、可視画像撮像部5は、領域85の標準偏差が高コントラスト領域の標準偏差まで増大するように露光量を増加させて可視画像を撮像する。この結果、図12に示すような可視画像を撮像することができる。通常の方法で撮像した図8(b)の可視画像では、逆光で高コントラスト領域に合わせて露光量が決められていたため立体物が撮像された領域85は暗くなっていた。しかし、図12では領域85に合わせて露光量が決められているので、領域85の輝度が増大してコントラストが向上している。   Therefore, the visible image capturing unit 5 captures a visible image by increasing the exposure amount so that the standard deviation of the region 85 increases to the standard deviation of the high contrast region. As a result, a visible image as shown in FIG. 12 can be taken. In the visible image of FIG. 8B imaged by a normal method, the exposure amount is determined in accordance with the high contrast region by the backlight, so the region 85 where the three-dimensional object is imaged is dark. However, in FIG. 12, since the exposure amount is determined in accordance with the area 85, the brightness of the area 85 is increased and the contrast is improved.

こうしてステップS206において可視画像が撮像されると、ステップS207において、画像生成部11は、輝度が増大するように撮像した可視画像(輝度増大可視画像)を出力画像として生成して本実施形態に係る画像生成処理を終了する。   Thus, when a visible image is captured in step S206, in step S207, the image generation unit 11 generates a visible image (luminance-enhanced visible image) captured so as to increase the luminance as an output image, and relates to the present embodiment. The image generation process ends.

[第2実施形態の効果]
以上詳細に説明したように、本実施形態に係る画像生成装置では、可視画像上の低コントラスト領域のうち路面領域に対応する領域の輝度が増大するように可視画像を撮像し、この可視画像を出力画像として生成する。これにより、夜間や逆光等で画像上のコントラストが低下しても路面領域に対応する領域の輝度を増大させた可視画像(輝度増大可視画像)を撮像することで、車両の走行に必要となる路面の状態を撮像した画像を運転者に提供することができる。
[Effects of Second Embodiment]
As described above in detail, the image generation apparatus according to the present embodiment captures a visible image so that the luminance of the region corresponding to the road surface region in the low-contrast region on the visible image is increased. Generate as output image. As a result, even if the contrast on the image decreases at night or in backlighting, a visible image (luminance-enhanced visible image) in which the luminance of the region corresponding to the road surface region is increased is necessary for driving the vehicle. An image obtained by imaging the road surface state can be provided to the driver.

[第3実施形態]
次に、本発明の第3実施形態に係る画像生成装置について図面を参照して説明する。ただし、上述した第1実施形態と同一の構成については同一の番号を付して詳細な説明は省略する。
[Third Embodiment]
Next, an image generation apparatus according to a third embodiment of the present invention will be described with reference to the drawings. However, the same components as those in the first embodiment described above are denoted by the same reference numerals and detailed description thereof is omitted.

[画像生成装置の構成]
図13は本実施形態に係る画像生成装置の構成を示すブロック図である。図13に示すように、本実施形態に係る画像生成装置21は、画像生成部11内に車線推定部23をさらに備えたことが第1及び第2実施形態と相違している。
[Configuration of Image Generation Device]
FIG. 13 is a block diagram showing the configuration of the image generation apparatus according to this embodiment. As shown in FIG. 13, the image generation device 21 according to the present embodiment is different from the first and second embodiments in that the image generation unit 11 further includes a lane estimation unit 23.

車線推定部23は、可視画像撮像部5で撮像された可視画像上に車線検出領域を設定し、この車線検出領域の画像解析結果から車線の位置を推定する。このとき、画像生成部11は、可視画像上の低コントラスト領域に車線検出領域が少なくとも一部で設定された場合には、少なくとも車線検出領域を含む領域のコントラストを向上させた出力画像を生成し、車線推定部23は、この出力画像上に車線検出領域を設定して車線の位置を推定する。なお、少なくとも車線検出領域を含む領域のコントラストを向上させた出力画像とは、少なくとも車線検出領域を含んだ画像領域で可視画像に電波画像を合成して生成した出力画像であってもよいし、全画像領域で電波画像に置き換えた出力画像であってもよい。   The lane estimation unit 23 sets a lane detection area on the visible image captured by the visible image capturing unit 5, and estimates the position of the lane from the image analysis result of the lane detection area. At this time, when at least a part of the lane detection area is set in the low contrast area on the visible image, the image generation unit 11 generates an output image in which the contrast of the area including at least the lane detection area is improved. The lane estimating unit 23 sets a lane detection region on the output image and estimates the lane position. The output image in which the contrast of the region including at least the lane detection region is improved may be an output image generated by synthesizing the radio wave image with the visible image in the image region including at least the lane detection region, The output image may be replaced with a radio wave image in the entire image area.

[車線推定処理の手順]
次に、本実施形態に係る画像生成装置21の車線推定部23による車線推定処理の手順を図14のフローチャートを参照して説明する。
[Procedure for lane estimation processing]
Next, the procedure of the lane estimation process by the lane estimation unit 23 of the image generation device 21 according to the present embodiment will be described with reference to the flowchart of FIG.

図14に示すように、ステップS301において、車線推定部23は、可視画像上に車線検出領域を設定する。例えば、図15(a)に示すように道路の路面があると推定される位置に、矩形上の車線検出領域101を複数設定する。   As shown in FIG. 14, in step S301, the lane estimation unit 23 sets a lane detection region on the visible image. For example, as shown in FIG. 15A, a plurality of lane detection areas 101 on a rectangle are set at positions where it is estimated that there is a road surface.

ステップS302において、車線推定部23は、低コントラスト領域に車線検出領域が少なくとも一部で設定されているか否かを判定する。車線推定部23は、コントラスト検出部9によって低コントラスト領域が検出されているので、その領域に車線検出領域を設定したか否かによって判断する。そして、図15(a)に示すように、低コントラスト領域103に車線検出領域101が少なくとも一部で設定されている場合にはステップS303に進み、設定されていない場合にはステップS304に進む。   In step S302, the lane estimation unit 23 determines whether or not at least a part of the lane detection area is set in the low contrast area. Since the low contrast region is detected by the contrast detection unit 9, the lane estimation unit 23 determines whether or not a lane detection region is set in the region. And as shown to Fig.15 (a), when the lane detection area | region 101 is at least partially set to the low contrast area | region 103, it progresses to step S303, and when not setting, it progresses to step S304.

ステップS303において、画像生成部11は、少なくとも車線検出領域を含んだ画像領域で可視画像に電波画像を合成して出力画像を生成し、車線推定部23は、電波画像の合成された出力画像上に車線検出領域を設定する。例えば、全画像領域で電波画像に置き換えた場合には、図15(b)に示すように、低コントラスト領域103に対応する電波画像上の領域に車線検出領域105が設定される。   In step S303, the image generation unit 11 generates an output image by synthesizing the radio wave image with the visible image in an image area including at least the lane detection area, and the lane estimation unit 23 generates an output image on which the radio wave image is combined. Set the lane detection area to. For example, when the radio wave image is replaced in the entire image area, the lane detection area 105 is set in the area on the radio wave image corresponding to the low contrast area 103 as shown in FIG.

ステップS304において、車線推定部23は、車線の位置を推定して画像生成部11の出力画像上に表示する。ステップS302で低コントラスト領域に車線検出領域が設定されていないと判定された場合には、可視画像上に設定された車線検出領域に対して画像解析を行って車線の位置を推定する。   In step S304, the lane estimation unit 23 estimates the position of the lane and displays it on the output image of the image generation unit 11. If it is determined in step S302 that no lane detection area is set in the low contrast area, image analysis is performed on the lane detection area set on the visible image to estimate the position of the lane.

一方、ステップS302で低コントラスト領域に車線検出領域が設定されていると判定された場合には、可視画像上と出力画像上(電波画像上)に設定された車線検出領域に対して画像解析を行って車線の位置を推定する。例えば、図15(a)の可視画像上に設定された車線検出領域101に対して画像解析を行うとともに、図15(b)の電波画像上に設定された車線検出領域105に対しても画像解析を行って車線の位置を推定する。その結果、図16に示すように、電波画像上で推定した車線位置107を可視画像上に重畳して表示する。また、図16には車線の境界を画像解析で推定した結果である境界点109が表示されている。これにより、低コントラスト領域103の部分でも車線の位置を推定して表示することが可能となる。   On the other hand, if it is determined in step S302 that the lane detection area is set in the low contrast area, image analysis is performed on the lane detection areas set on the visible image and on the output image (on the radio wave image). Go and estimate the position of the lane. For example, image analysis is performed on the lane detection area 101 set on the visible image in FIG. 15A, and an image is also displayed on the lane detection area 105 set on the radio wave image in FIG. Analyze and estimate the lane position. As a result, as shown in FIG. 16, the lane position 107 estimated on the radio wave image is displayed superimposed on the visible image. FIG. 16 also shows a boundary point 109 that is a result of estimating the lane boundary by image analysis. As a result, the position of the lane can be estimated and displayed even in the low contrast region 103.

こうして車線の位置が表示されると、本実施形態に係る車線推定処理を終了する。この後、画像生成部11は、車線の位置が表示された出力画像を出力する。   When the position of the lane is thus displayed, the lane estimation process according to the present embodiment is terminated. Thereafter, the image generation unit 11 outputs an output image on which the position of the lane is displayed.

[第3実施形態の効果]
以上詳細に説明したように、本実施形態に係る画像生成装置21では、可視画像上に車線検出領域を設定して車線の位置を推定する車線推定部23をさらに備えている。そして、画像生成部11は、可視画像の低コントラスト領域に車線検出領域が少なくとも一部で設定された場合には、少なくとも車線検出領域を含む領域のコントラストを向上させた出力画像を生成し、車線推定部23は、出力画像上に車線検出領域を設定して車線の位置を推定する。これにより、夜間や逆光等によって可視画像上に低コントラスト領域がある場合でも、車線の位置を推定して表示することができる。
[Effect of the third embodiment]
As described above in detail, the image generation device 21 according to the present embodiment further includes the lane estimation unit 23 that sets the lane detection region on the visible image and estimates the position of the lane. Then, when the lane detection region is set at least partially in the low-contrast region of the visible image, the image generation unit 11 generates an output image in which the contrast of the region including at least the lane detection region is improved. The estimation unit 23 estimates a lane position by setting a lane detection region on the output image. Thereby, even when there is a low-contrast region on the visible image due to nighttime or backlighting, the position of the lane can be estimated and displayed.

なお、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。   The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and even if it is a form other than this embodiment, as long as it does not depart from the technical idea of the present invention, it depends on the design and the like. Of course, various modifications are possible.

1、21 画像生成装置
3 電波受信部
5 可視画像撮像部
7 物体分類部
9 コントラスト検出部
11 画像生成部
23 車線推定部
31 空
33 路面
35 不整地
37、71 路面領域
39、73、103 低コントラスト領域
41 低コントラスト領域のうち路面領域に対応する領域
75 高コントラスト領域
81、83 立体物検知領域
85、87 立体物検知領域に対応する領域
101、105 車線検出領域
107 車線位置
109 境界点
DESCRIPTION OF SYMBOLS 1, 21 Image generation apparatus 3 Radio wave reception part 5 Visible image imaging part 7 Object classification part 9 Contrast detection part 11 Image generation part 23 Lane estimation part 31 Sky 33 Road surface 35 Rough ground 37, 71 Road surface area 39, 73, 103 Low contrast Area 41 Area 75 corresponding to road area among low contrast areas High contrast area 81, 83 Solid object detection area 85, 87 Area 101, 105 corresponding to solid object detection area Lane detection area 107 Lane position 109 Boundary point

Claims (5)

車両前方から到来する電磁波を検知して生成された電波画像と前記車両前方を撮像した可視画像とから画像を生成する画像生成装置であって、
前記車両前方から到来する電磁波の水平偏波成分及び垂直偏波成分を受信して電波画像を生成する電波受信部と、
前記車両前方の可視画像を撮像する可視画像撮像部と、
前記電波受信部で生成された電波画像上の物体を前記水平偏波成分及び前記垂直偏波成分に基づいて分類し、分類された領域を物体領域と設定する物体分類部と、
前記可視画像撮像部で撮像された可視画像上においてコントラストが低下している低コントラスト領域を検出するコントラスト検出部と、
前記可視画像に対して、前記可視画像上の低コントラスト領域のうち前記電波画像上の物体領域に対応する領域のコントラストを向上させた出力画像を生成する画像生成部と
を備えたことを特徴とする画像生成装置。
An image generation device that generates an image from a radio wave image generated by detecting electromagnetic waves coming from the front of the vehicle and a visible image obtained by imaging the front of the vehicle,
A radio wave receiving unit that generates a radio wave image by receiving a horizontal polarization component and a vertical polarization component of electromagnetic waves coming from the front of the vehicle;
A visible image capturing unit that captures a visible image in front of the vehicle;
An object classification unit for classifying an object on a radio wave image generated by the radio wave reception unit based on the horizontal polarization component and the vertical polarization component, and setting the classified region as an object region;
A contrast detection unit that detects a low-contrast region where contrast is reduced on the visible image captured by the visible image capturing unit;
An image generation unit that generates an output image in which a contrast of a region corresponding to an object region on the radio wave image among the low contrast regions on the visible image is improved with respect to the visible image. An image generating device.
前記電波受信部は、前記物体領域について高解像度の電波画像を生成し、
前記画像生成部は、前記可視画像上の低コントラスト領域のうち前記電波画像上の物体領域に対応する領域に前記電波画像を合成して前記出力画像を生成することを特徴とする請求項1に記載の画像生成装置。
The radio wave reception unit generates a high resolution radio wave image for the object region,
The said image generation part synthesize | combines the said radio wave image to the area | region corresponding to the object area | region on the said radio wave image among the low contrast area | regions on the said visible image, The said output image is produced | generated. The image generating apparatus described.
前記可視画像撮像部は、前記可視画像上の低コントラスト領域のうち前記電波画像上の物体領域に対応する領域の輝度を増大させた輝度増大可視画像を撮像し、
前記画像生成部は、前記輝度増大可視画像を前記出力画像として生成することを特徴とする請求項1に記載の画像生成装置。
The visible image capturing unit captures a brightness-enhanced visible image in which the brightness of a region corresponding to the object region on the radio wave image is increased among low-contrast regions on the visible image;
The image generation apparatus according to claim 1, wherein the image generation unit generates the brightness-increased visible image as the output image.
前記可視画像撮像部で撮像された可視画像上に車線検出領域を設定し、前記車線検出領域の画像解析結果から車線の位置を推定する車線推定部をさらに備え、
前記画像生成部は、前記可視画像上の低コントラスト領域に前記車線検出領域が少なくとも一部で設定された場合には、少なくとも前記車線検出領域を含む領域のコントラストを向上させた出力画像を生成し、
前記車線推定部は、前記出力画像上に前記車線検出領域を設定して車線の位置を推定することを特徴とする請求項1〜3のいずれか1項に記載の画像生成装置。
Further comprising a lane estimation unit that sets a lane detection region on the visible image captured by the visible image capturing unit and estimates a lane position from an image analysis result of the lane detection region;
The image generation unit generates an output image in which the contrast of at least the area including the lane detection area is improved when the lane detection area is at least partially set in the low contrast area on the visible image. ,
The image generation apparatus according to claim 1, wherein the lane estimation unit estimates the position of a lane by setting the lane detection region on the output image.
車両前方から到来する電磁波を検知して生成された電波画像と前記車両前方を撮像した可視画像とから画像を生成する画像生成装置による画像生成方法であって、
前記画像生成装置は、
前記車両前方から到来する電磁波の水平偏波成分及び垂直偏波成分を受信して電波画像を生成し、
前記車両前方の可視画像を撮像し、
生成された前記電波画像上の物体を前記水平偏波成分及び前記垂直偏波成分に基づいて分類して分類された領域を物体領域と設定し、
撮像された前記可視画像上においてコントラストが低下している低コントラスト領域を検出し、
前記可視画像に対して、前記可視画像上の低コントラスト領域のうち前記電波画像上の物体領域に対応する領域のコントラストを向上させた出力画像を生成する
ことを特徴とする画像生成方法。
An image generation method by an image generation device that generates an image from a radio wave image generated by detecting electromagnetic waves coming from the front of a vehicle and a visible image obtained by imaging the front of the vehicle,
The image generation device includes:
Receiving a horizontal polarization component and a vertical polarization component of electromagnetic waves coming from the front of the vehicle to generate a radio wave image;
Taking a visible image in front of the vehicle,
Classifying the object on the generated radio wave image based on the horizontal polarization component and the vertical polarization component and setting the classified region as the object region,
Detecting a low-contrast region where the contrast is reduced on the captured visible image;
An image generation method, comprising: generating an output image in which a contrast of a region corresponding to an object region on the radio wave image among the low contrast regions on the visible image is improved with respect to the visible image.
JP2014161018A 2014-08-07 2014-08-07 Image generating apparatus and image generating method Active JP6318962B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014161018A JP6318962B2 (en) 2014-08-07 2014-08-07 Image generating apparatus and image generating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014161018A JP6318962B2 (en) 2014-08-07 2014-08-07 Image generating apparatus and image generating method

Publications (2)

Publication Number Publication Date
JP2016038268A JP2016038268A (en) 2016-03-22
JP6318962B2 true JP6318962B2 (en) 2018-05-09

Family

ID=55529456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014161018A Active JP6318962B2 (en) 2014-08-07 2014-08-07 Image generating apparatus and image generating method

Country Status (1)

Country Link
JP (1) JP6318962B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6809166B2 (en) * 2016-11-25 2021-01-06 日産自動車株式会社 Road surface judgment method and road surface judgment device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2880960B2 (en) * 1996-08-14 1999-04-12 日本電気株式会社 Composite image device
WO2008097562A1 (en) * 2007-02-06 2008-08-14 Aai Corporation Utilizing polarization differencing method for detect, sense and avoid systems
JP5779965B2 (en) * 2010-08-30 2015-09-16 日産自動車株式会社 Object detection apparatus and object detection method
JP5863481B2 (en) * 2012-01-30 2016-02-16 日立マクセル株式会社 Vehicle collision risk prediction device
CN104145193B (en) * 2012-03-01 2016-04-27 日产自动车株式会社 Vehicle detection apparatus and vehicle checking method

Also Published As

Publication number Publication date
JP2016038268A (en) 2016-03-22

Similar Documents

Publication Publication Date Title
US8077204B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
US9378425B2 (en) On-vehicle image processing device
US7209832B2 (en) Lane recognition image processing apparatus
JP4389999B2 (en) Exposure control device and exposure control program
KR101367637B1 (en) Monitoring apparatus
JP5016073B2 (en) White line recognition device
JP6348758B2 (en) Image processing device
US20100141806A1 (en) Moving Object Noise Elimination Processing Device and Moving Object Noise Elimination Processing Program
CN107211096B (en) Image pickup apparatus and method, and recording medium
JP4433045B2 (en) Exposure control device and exposure control program
JP5950196B2 (en) Imaging apparatus, and image analysis apparatus and moving apparatus using the same
WO2006129493A1 (en) Vehicle and road sign recognition device
JP2006301722A (en) Image processor
US10326969B2 (en) Vehicle vision system with reduction of temporal noise in images
EP2770478B1 (en) Image processing unit, imaging device, and vehicle control system and program
JP4270183B2 (en) White line detector
JP6318962B2 (en) Image generating apparatus and image generating method
WO2016121406A1 (en) Image processing apparatus, image processing system, vehicle, imaging apparatus, and image processing method
JP4661934B2 (en) Image processing device
US7421091B2 (en) Image-capturing apparatus
US20160026877A1 (en) Fast and robust stop line detector
US11048968B2 (en) Placement detection system
JP2010204957A (en) Working machine and method for processing image of rear camera
JP2024132069A (en) Dirt detection device
US20200210723A1 (en) Attached object detection apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180319

R151 Written notification of patent or utility model registration

Ref document number: 6318962

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151