JP5953824B2 - Vehicle rear view support apparatus and vehicle rear view support method - Google Patents

Vehicle rear view support apparatus and vehicle rear view support method Download PDF

Info

Publication number
JP5953824B2
JP5953824B2 JP2012046011A JP2012046011A JP5953824B2 JP 5953824 B2 JP5953824 B2 JP 5953824B2 JP 2012046011 A JP2012046011 A JP 2012046011A JP 2012046011 A JP2012046011 A JP 2012046011A JP 5953824 B2 JP5953824 B2 JP 5953824B2
Authority
JP
Japan
Prior art keywords
vehicle
image
side image
unit
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012046011A
Other languages
Japanese (ja)
Other versions
JP2013183298A (en
Inventor
草柳 佳紀
佳紀 草柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2012046011A priority Critical patent/JP5953824B2/en
Publication of JP2013183298A publication Critical patent/JP2013183298A/en
Application granted granted Critical
Publication of JP5953824B2 publication Critical patent/JP5953824B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、車両後側方の視界を支援する表示技術に関する。   The present invention relates to a display technology that supports a field of view on the rear side of a vehicle.

従来、カメラで撮影した画像に車室内映像を重畳して表示する技術として、例えば、特許文献1に記載された技術がある。
上記従来技術では、車両後方撮影カメラで撮影したルームミラーの反射像に相当する画像を自車両と対象物との距離感が直感的に解るように表示する為に、次の表示処理を行っている。まず、車室内風景で隠れる箇所は車両後方側のウィンドウ外形線画像を重ねて表示する。次に、ウィンドウ外形線画像の内側と外側とで「明度や色調を変えて」、ウィンドウ外形線画像の内側と外側とのコントラストを強調する。
Conventionally, as a technique for superimposing and displaying a vehicle interior image on an image taken by a camera, for example, there is a technique described in Patent Document 1.
In the above prior art, the following display processing is performed in order to display an image corresponding to the reflection image of the rearview mirror taken by the vehicle rear-view camera so that the sense of distance between the vehicle and the object can be intuitively understood. Yes. First, the window outline image on the rear side of the vehicle is displayed in a superimposed manner at the location hidden in the vehicle interior scenery. Next, the contrast between the inside and outside of the window outline image is enhanced by “changing the brightness and color tone” between the inside and outside of the window outline image.

特開平2007−290570号公報Japanese Patent Laid-Open No. 2007-290570

しかしながら、上記従来技術では、車室内、若しくは、車室外の映像の手前と奥とでは実際に距離が離れているにも関わらず、手前と奥のウィンドウ外形線画像の内側の画像を同じ明度で表示するため、距離が掴みづらいといった課題があった。
本発明は、上記課題を鑑みてなされたものであり、自車両の後側方の撮影画像を、撮影画像中における注意対象物に視線を向け易く表示し、かつ、注意対象物と自車両との距離感を知覚し易く表示するのに好適な車両用後方視界支援装置及び車両用後方視界支援方法を提供することを目的としている。
However, in the above prior art, the images inside the front and back window outline images have the same brightness, even though the distance between the front and back of the image inside or outside the vehicle interior is actually far. There is a problem that it is difficult to grasp the distance to display.
The present invention has been made in view of the above problems, and displays a captured image of the rear side of the host vehicle so that the line of sight can be easily directed to the target object in the captured image, and the target object and the host vehicle It is an object of the present invention to provide a vehicular rear view support apparatus and a vehicular rear view support method that are suitable for easily perceiving a sense of distance.

上記課題を解決するために、本発明は、車両に搭載された後側方画像撮影部によって車両の側面部分の一部を撮影範囲に含む車両の後側方の領域を撮影する。この撮影によって得られる後側方画像のうち車両の側面部分の一部を含む画像領域である側面画像領域に対して画像をぼかす処理であるぼかし処理を実施する。一方、後側方画像内に含まれる車両の走行車線に隣接する隣接車線を走行する後続車を検出し、検出した後続車との車間距離を検出する。そして、後続車との車間距離が距離閾値以上であると判定するとぼかし処理を実施し、後続車との車間距離が距離閾値未満であると判定するとぼかし処理を停止する。そして、ぼかし処理を実施しているときに、ぼかし処理の施された後側方画像を表示する。また、ぼかし処理を停止しているときに、ぼかし処理の施されていない後側方画像を表示する。   In order to solve the above-described problems, the present invention captures a rear side region of a vehicle including a part of a side surface portion of the vehicle in a photographing range by a rear side image photographing unit mounted on the vehicle. A blurring process, which is a process of blurring the image, is performed on a side image area that is an image area including a part of the side surface portion of the vehicle in the rear side image obtained by the photographing. On the other hand, a subsequent vehicle that travels in an adjacent lane adjacent to the travel lane of the vehicle included in the rear side image is detected, and an inter-vehicle distance from the detected subsequent vehicle is detected. And if it determines with the distance between vehicles with a following vehicle being more than a distance threshold value, a blurring process will be implemented, and if it determines with the distance between vehicles with a following vehicle being less than a distance threshold value, a blurring process will be stopped. Then, when performing the blurring process, the rear side image subjected to the blurring process is displayed. Further, when the blurring process is stopped, a rear side image not subjected to the blurring process is displayed.

本発明によれば、後続車が距離閾値以上の距離に存在する場合に、人間の目における遠方注視による近景のぼやけと同じ視覚効果を有するぼかし処理の施された後側方画像を表示する。また、後続車が距離閾値未満の距離に存在する場合に、ぼかし処理の施されていない後側方画像を表示する。これにより、ドライバが、後側方画像内における注意対象物に視線を向け易く、かつ注意対象物との距離感を知覚し易い画像表示を行うことが可能となる。   According to the present invention, when the succeeding vehicle exists at a distance equal to or greater than the distance threshold, the rear side image subjected to the blurring process having the same visual effect as the blurring of the foreground by the distant gaze in the human eye is displayed. Further, when the succeeding vehicle exists at a distance less than the distance threshold, a rear side image not subjected to the blurring process is displayed. This makes it possible for the driver to display an image that makes it easy to direct the line of sight to the attention object in the rear side image and to perceive a sense of distance from the attention object.

本発明の実施形態に係る車両用後方視界支援装置の概要構成図である。1 is a schematic configuration diagram of a vehicular rear view assistance apparatus according to an embodiment of the present invention. カメラ400〜404及びモニタ405〜409の配置例を示す図である。It is a figure which shows the example of arrangement | positioning of the cameras 400-404 and the monitors 405-409. カメラ400〜404の撮影範囲の一例を示す図である。It is a figure which shows an example of the imaging | photography range of the cameras 400-404. 車両用後方視界支援装置100の機能構成の一例を示すブロック図である。It is a block diagram which shows an example of a function structure of the vehicle back view assistance apparatus. 後方視界支援処理の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence of a rear view assistance process. ぼかし解除フラグ設定処理の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence of a blurring cancellation flag setting process. 透過表示フラグ設定処理の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence of a transparent display flag setting process. カメラ400によって撮影される右後側方画像の一例を示す模式図である。4 is a schematic diagram illustrating an example of a right rear side image captured by the camera 400. FIG. (a)は、右側面画像領域の各分割領域に設定されるぼかし度合の一例を示す模式図であり、(b)〜(d)は、解像度を低下させるぼかし処理を施した画像の一例を示す模式図であり、(e)〜(g)は、ガウシアンぼかしフィルタを用いたぼかし処理を施した画像の一例を示す模式図である。(A) is a schematic diagram which shows an example of the blurring degree set to each division | segmentation area | region of a right side image area, (b)-(d) is an example of the image which performed the blurring process which reduces the resolution. (E)-(g) is a schematic diagram which shows an example of the image which performed the blurring process using the Gaussian blurring filter. (a)〜(d)は、後続車との車間距離に応じた各種画像の表示結果の一例を示す模式図である。(A)-(d) is a schematic diagram which shows an example of the display result of the various images according to the inter-vehicle distance with a succeeding vehicle. 第2実施形態の車両用後方視界支援装置100の機能構成の一例を示すブロック図である。It is a block diagram which shows an example of a function structure of the vehicle back view assistance apparatus 100 of 2nd Embodiment. 第2実施形態のぼかし解除フラグ設定処理の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence of the blurring cancellation flag setting process of 2nd Embodiment. 第2実施形態の透過表示フラグ設定処理の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence of the transparent display flag setting process of 2nd Embodiment. (a)〜(c)は、Rポジションの検出結果に応じた各種画像の表示結果の一例を示す模式図である。(A)-(c) is a schematic diagram which shows an example of the display result of the various images according to the detection result of R position. (a)〜(d)は、変形例に係る各種画像の表示結果の一例を示す模式図である。(A)-(d) is a schematic diagram which shows an example of the display result of the various images which concern on a modification.

(第1実施形態)
以下、本発明の第1実施形態を図面に基づき説明する。図1〜図10は、本発明に係る車両用後方視界支援装置及び車両用後方視界支援方法の第1実施形態を示す図である。
(構成)
まず、車両用後方視界支援装置の構成について説明する。
図1は、本実施形態に係る車両用後方視界支援装置の概要構成図である。
本実施形態において、車両用後方視界支援装置100は、車両Aに搭載されている。車両用後方視界支援装置100は、CPU10と、カメラ群11と、RAM12と、ROM13と、モニタ群14とを備える。
カメラ群11は、カメラ400と、カメラ401と、カメラ402と、カメラ403と、カメラ404とを備える。カメラ400〜404は、CCDカメラ、CMOSカメラ等の公知のカメラから構成される。
(First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. FIGS. 1-10 is a figure which shows 1st Embodiment of the vehicle back view assistance apparatus and vehicle back view assistance method which concern on this invention.
(Constitution)
First, the configuration of the vehicle rear view assistance device will be described.
FIG. 1 is a schematic configuration diagram of a vehicular rear view assistance device according to the present embodiment.
In the present embodiment, the vehicle rear view assistance device 100 is mounted on the vehicle A. The vehicular rear view assistance apparatus 100 includes a CPU 10, a camera group 11, a RAM 12, a ROM 13, and a monitor group 14.
The camera group 11 includes a camera 400, a camera 401, a camera 402, a camera 403, and a camera 404. The cameras 400 to 404 are configured from known cameras such as a CCD camera and a CMOS camera.

モニタ群14は、モニタ405(又は407)と、モニタ406(又は408)と、モニタ409とを備える。モニタ405〜409は、液晶モニタ、有機ELモニタ、プラズマモニタ等の公知のモニタから構成される。
図2は、カメラ400〜404及びモニタ405〜409の配置例を示す図である。
なお、本実施形態において、カメラ400〜404及びモニタ405〜409は、従来の車両に搭載された、鏡面に反射する像を表示するドアミラー及びルームミラーの代替となる。
The monitor group 14 includes a monitor 405 (or 407), a monitor 406 (or 408), and a monitor 409. The monitors 405 to 409 are configured from known monitors such as a liquid crystal monitor, an organic EL monitor, and a plasma monitor.
FIG. 2 is a diagram illustrating an arrangement example of the cameras 400 to 404 and the monitors 405 to 409.
In the present embodiment, the cameras 400 to 404 and the monitors 405 to 409 are substituted for a door mirror and a room mirror that are mounted on a conventional vehicle and display an image reflected on a mirror surface.

カメラ400は、自車両Aの車室外における、従来の右側ドアミラーの設置位置の付近に設けられ、カメラ401は、自車両Aの車室外における、従来の左側ドアミラーの設置位置の付近に設けられる。カメラ402は、自車両Aの右後端部におけるカメラ400と同じ高さ位置に設けられ、カメラ403は、自車両Aの左後端部におけるカメラ401と同じ高さ位置に設けられる。カメラ404は、自車両Aの後端部中央における後部ウィンドウの上端部に設けられる。   The camera 400 is provided in the vicinity of the installation position of the conventional right door mirror outside the passenger compartment of the host vehicle A, and the camera 401 is provided in the vicinity of the installation position of the conventional left door mirror outside the passenger compartment of the host vehicle A. The camera 402 is provided at the same height as the camera 400 at the right rear end of the host vehicle A, and the camera 403 is provided at the same height as the camera 401 at the left rear end of the host vehicle A. The camera 404 is provided at the upper end of the rear window at the center of the rear end of the host vehicle A.

図3は、カメラ400〜404の撮影範囲の一例を示す図である。
具体的に、カメラ400は、従来の右側ドアミラーの反射像に対応する画像を撮影するもので、自車両Aの右側面部分の一部を含む右後側方の領域を撮影可能な位置に設置する。例えば、従来の右側ドアミラーの付近から、右後方のバンパーの後端までの右側面領域を含む、右後側方の領域を撮影可能な位置に設置する。このような位置に設置したカメラ400は、自車両Aの右側面部分の一部を含む右後側方の領域を撮影し、撮影して得た画像データ(以下、右後側方画像データと称す)をCPU10に送信する。
FIG. 3 is a diagram illustrating an example of the shooting range of the cameras 400 to 404.
Specifically, the camera 400 captures an image corresponding to a reflection image of a conventional right door mirror, and is installed at a position where the right rear side region including a part of the right side surface of the host vehicle A can be captured. To do. For example, the right rear side area including the right side area from the vicinity of the conventional right door mirror to the rear end of the right rear bumper is installed at a position where photographing is possible. The camera 400 installed at such a position images a right rear side region including a part of the right side surface portion of the own vehicle A, and image data obtained by the image capturing (hereinafter referred to as right rear side image data and To the CPU 10.

また、カメラ401は、従来の左側ドアミラーの反射像に対応する画像を撮影するもので、自車両Aの左側面部分の一部を含む左後側方の領域を撮影可能な位置に設置する。例えば、従来の左側ドアミラーの付近から、左後方のバンパーの後端までの左側面領域を含む、左後側方の領域を撮影可能な位置に設置する。このような位置に設置したカメラ401は、自車両Aの左側面部分の一部を含む左後側方の領域を撮影し、撮影して得た画像データ(以下、左後側方画像データと称す)をCPU10に送信する。   The camera 401 captures an image corresponding to a reflection image of a conventional left door mirror, and is installed at a position where a left rear side region including a part of the left side surface of the host vehicle A can be captured. For example, the left rear side area including the left side area from the vicinity of the conventional left door mirror to the rear end of the left rear bumper is installed at a position where it can be photographed. The camera 401 installed at such a position captures a left rear side area including a part of the left side surface portion of the host vehicle A, and image data (hereinafter referred to as left rear side image data) obtained by capturing the image. To the CPU 10.

また、カメラ402は、カメラ400の撮影範囲において自車両Aの右側面部分によって死角となる領域をカバーするものである。本実施形態において、カメラ402は、カメラ400の撮影範囲において自車両Aの右側面部分の一部によって死角となる領域を含む後方の領域(以下、右後方の領域と称す)を撮影可能な位置に設置する。このような位置に設置したカメラ402は、自車両Aの右後方の領域を撮影し、撮影して得た画像データ(以下、右後方画像データと称す)をCPU10に送信する。   In addition, the camera 402 covers an area that becomes a blind spot by the right side surface portion of the host vehicle A in the shooting range of the camera 400. In the present embodiment, the camera 402 can shoot a rear area (hereinafter referred to as a right rear area) including an area where a part of the right side portion of the host vehicle A becomes a blind spot in the shooting range of the camera 400. Install in. The camera 402 installed at such a position captures a right rear area of the host vehicle A, and transmits image data obtained by the capturing (hereinafter referred to as right rear image data) to the CPU 10.

また、カメラ403は、カメラ401の撮影範囲において自車両Aの左側面部分によって死角となる領域をカバーするものである。本実施形態において、カメラ403は、カメラ401の撮影範囲において自車両Aの左側面部分の一部によって死角となる領域を含む左後方の領域(以下、左後方の領域と称す)を撮影可能な位置に設置する。このような位置に設置したカメラ403は、自車両Aの左後方の領域を撮影し、撮影して得た画像データ(以下、左後方画像データと称す)をCPU10に送信する。   Further, the camera 403 covers an area that becomes a blind spot by the left side surface portion of the host vehicle A in the photographing range of the camera 401. In the present embodiment, the camera 403 can photograph a left rear region (hereinafter referred to as a left rear region) including a region where a blind spot is formed by a part of the left side surface portion of the host vehicle A within the photographing range of the camera 401. Install in position. The camera 403 installed at such a position photographs the left rear area of the host vehicle A, and transmits image data obtained by photographing (hereinafter referred to as left rear image data) to the CPU 10.

また、カメラ404は、従来のルームミラーの反射像に対応する画像を撮影するもので、自車両Aの中央後方の領域を撮影可能な位置に設置する。このような位置に設置したカメラ404は、自車両の中央後方を撮影し、撮影して得た画像データ(以下、中央後方画像データと称す)をCPU10に送信する。
なお、図3では、撮影範囲として、一軸方向の範囲しか示していないが、実際は各カメラのレンズ中央を頂点とした円錐状の撮影範囲となる。また、カメラ400〜404の撮影範囲は、各カメラの有するレンズ(広角レンズ)の特性によって決まる画角の範囲となる。
The camera 404 captures an image corresponding to a reflection image of a conventional room mirror, and is installed at a position where the area behind the center of the host vehicle A can be captured. The camera 404 installed at such a position captures the center rear of the host vehicle and transmits image data obtained by the capturing (hereinafter referred to as center rear image data) to the CPU 10.
In FIG. 3, only the uniaxial range is shown as the shooting range, but in actuality, it is a conical shooting range with the center of the lens of each camera as the apex. In addition, the photographing range of the cameras 400 to 404 is a range of an angle of view determined by characteristics of a lens (wide angle lens) included in each camera.

図2に戻って、モニタ405は、自車両Aの車室外における、従来の右側ドアミラーの設置位置の付近に設けられ、モニタ406は、自車両Aの車室外における、従来の左側ドアミラーの設置位置の付近に設けられる。また、モニタ407は、自車両Aの車室内における右側Aピラーの付け根付近(従来の右側ドアミラーと同じ高さ位置付近)に設けられ、モニタ408は、自車両Aの車室内における左側Aピラーの付け根付近(従来の左側ドアミラーと同じ高さ位置付近)に設けられる。モニタ409は、車室内の前側中央上部の従来のルームミラー設置位置の付近に設けられる。   Returning to FIG. 2, the monitor 405 is provided in the vicinity of the installation position of the conventional right door mirror outside the cabin of the host vehicle A, and the monitor 406 is installed at the position of the conventional left door mirror outside the cabin of the host vehicle A. It is provided near. The monitor 407 is provided near the base of the right A pillar in the passenger compartment of the host vehicle A (near the same height position as the conventional right door mirror), and the monitor 408 is provided on the left A pillar in the passenger compartment of the host vehicle A. It is provided near the base (near the same height as the conventional left door mirror). The monitor 409 is provided in the vicinity of the conventional room mirror installation position in the upper center of the front side in the vehicle interior.

モニタ405は、従来の右側ドアミラーに対応し、カメラ400によって撮影して得られた右後側方画像データと、カメラ402によって撮影して得られた右後方画像データとに基づき生成される画像データの画像を表示する。また、モニタ405は、車室外に設置するため防水加工を施してある。
モニタ406は、従来の左側ドアミラーに対応し、カメラ401によって撮影して得られた左後側方画像データと、カメラ403によって撮影して得られた左後方画像データとに基づき生成される画像データの画像を表示する。また、モニタ406は、車室外に設置するため防水加工を施してある。
The monitor 405 corresponds to a conventional right door mirror, and image data generated based on right rear side image data obtained by photographing with the camera 400 and right rear image data obtained by photographing with the camera 402. The image of is displayed. The monitor 405 is waterproofed so as to be installed outside the passenger compartment.
The monitor 406 corresponds to a conventional left door mirror, and image data generated based on left rear side image data obtained by photographing with the camera 401 and left rear image data obtained by photographing with the camera 403. The image of is displayed. The monitor 406 is waterproofed for installation outside the passenger compartment.

モニタ407は、モニタ405と同様に従来の右側ドアミラーに対応し、カメラ400によって撮影して得られた右後側方画像データと、カメラ402によって撮影して得られた右後方画像データとに基づき生成される画像データの画像を表示する。
モニタ408は、モニタ406と同様に従来の左側ドアミラーに対応し、カメラ401によって撮影して得られた左後側方画像データと、カメラ403によって撮影して得られた左後方画像データとに基づき生成される画像データの画像を表示する。
The monitor 407 corresponds to a conventional right side door mirror similar to the monitor 405, and is based on right rear side image data obtained by photographing with the camera 400 and right rear image data obtained by photographing with the camera 402. An image of the generated image data is displayed.
The monitor 408 corresponds to a conventional left side door mirror similar to the monitor 406, and is based on left rear side image data obtained by photographing with the camera 401 and left rear image data obtained by photographing with the camera 403. An image of the generated image data is displayed.

モニタ409は、従来のルームミラーに対応し、カメラ404によって撮影して得られた中央後方画像データの画像を表示する。なお、カメラ404は、車両の後端部に設置されるため、従来のルームミラーの反射像とは違って撮影画像には自車両の車室内が含まれない。従って、CGにより生成された車室内の一部(後部の窓枠等)の画像をカメラ404の撮影画像に重畳表示することが望ましい。   A monitor 409 corresponds to a conventional room mirror and displays an image of the central rear image data obtained by photographing with the camera 404. Since the camera 404 is installed at the rear end of the vehicle, the captured image does not include the interior of the host vehicle, unlike a reflection image of a conventional room mirror. Therefore, it is desirable to superimpose and display an image of a part of the passenger compartment (such as the rear window frame) generated by the CG on the captured image of the camera 404.

なお、モニタ405及び406と、モニタ407及び408とは、両方を設置することも可能であるが、いずれか一方を設置することが望ましい。
本実施形態では、モニタ405及び406を設置し、モニタ407及び408は設置しない構成とする。
図1に戻って、ROM13は、後述する後方視界支援機能を実現するための専用プログラムや、プログラムの実行に必要な各種データが格納されている。ROM13は、CPU10からの要求に応じて格納された各種データを読み出してCPU10に入力する。
Note that both the monitors 405 and 406 and the monitors 407 and 408 can be installed, but it is desirable to install either one.
In this embodiment, the monitors 405 and 406 are installed, and the monitors 407 and 408 are not installed.
Returning to FIG. 1, the ROM 13 stores a dedicated program for realizing a later-described rear view support function and various data necessary for executing the program. The ROM 13 reads various data stored in response to a request from the CPU 10 and inputs the data to the CPU 10.

具体的に、ROM13には、後述する車間距離の判定処理において用いられる距離閾値の情報、後述する後続車との車間距離を演算するためのカメラ400〜404の設置位置、設置角度、画角、焦点距離などの情報、後述するぼかし度合の設定処理において用いられるモニタ405〜409の設置位置の情報等を記憶する。
RAM12は、専用のプログラムを実行する際のワークメモリとして活用される。RAM12は、専用のプログラムの実行に必要な各種データ(各種撮影画像データ、各種フラグデータ等)を一時記憶する。
Specifically, the ROM 13 stores information on the distance threshold used in the below-described inter-vehicle distance determination process, the installation position, installation angle, and angle of view of the cameras 400 to 404 for calculating the inter-vehicle distance with the following vehicle, which will be described later. Information such as the focal length, information on the installation positions of the monitors 405 to 409 used in the blur degree setting process described later, and the like are stored.
The RAM 12 is used as a work memory when executing a dedicated program. The RAM 12 temporarily stores various data (various photographed image data, various flag data, etc.) necessary for executing the dedicated program.

CPU(Central Processing Unit)10は、ROM13に記憶された専用のプログラムを実行して、カメラ400〜403から送信された各種画像データに基づき、従来の左右ドアミラーの反射像に代替するモニタ405及び406の表示画像を生成する。CPU10は、カメラ404から送信された画像データに基づき、従来のルームミラーの反射像に代替するモニタ409の表示画像を生成する。なお、本実施形態において、カメラ400〜404は動画を撮影するデジタルビデオカメラであり、モニタ405〜409には動画像を表示する。   A CPU (Central Processing Unit) 10 executes a dedicated program stored in the ROM 13 and monitors 405 and 406 that replace the reflected images of the conventional left and right door mirrors based on various image data transmitted from the cameras 400 to 403. A display image is generated. Based on the image data transmitted from the camera 404, the CPU 10 generates a display image on the monitor 409 that substitutes for a reflection image of a conventional room mirror. In the present embodiment, the cameras 400 to 404 are digital video cameras that shoot moving images, and the moving images are displayed on the monitors 405 to 409.

CPU10は、モニタ405及び406の表示画像の生成に際して、左右後側方画像における自車両Aの左右側面部分の一部の画像領域(以下、左側面画像領域、右側面画像領域と称す)に対して画像をぼかす処理であるぼかし処理を施す。そして、CPU10は、左右側面画像領域に対してぼかし処理が施された左右後側方画像をモニタ405及び406に表示する。   When generating the display images of the monitors 405 and 406, the CPU 10 applies to a partial image area of the left and right side surfaces of the own vehicle A in the left and right rear side images (hereinafter referred to as a left side image area and a right side image area). To blur the image. Then, the CPU 10 displays on the monitors 405 and 406 the left and right rear side images obtained by performing the blurring process on the left and right side image regions.

また、CPU10は、ROM13に記憶された専用のプログラムを実行して、カメラ400〜404から送信された各種画像データに基づき、自車両Aの走行車線及び隣接車線を走行する後続車を検出し、検出した後続車と自車両Aとの車間距離を演算する。CPU10は、演算した車間距離とROM13に予め記憶された距離閾値とを比較する。そして、車間距離が距離閾値未満であると判定すると、左右側面画像領域のうち後続車が検出された側の領域に対するぼかし処理を停止する。   Further, the CPU 10 executes a dedicated program stored in the ROM 13 and detects the following vehicle traveling in the traveling lane and the adjacent lane of the own vehicle A based on various image data transmitted from the cameras 400 to 404. The inter-vehicle distance between the detected succeeding vehicle and the host vehicle A is calculated. The CPU 10 compares the calculated inter-vehicle distance with a distance threshold value stored in advance in the ROM 13. When it is determined that the inter-vehicle distance is less than the distance threshold, the blurring process for the region on the side where the subsequent vehicle is detected in the left and right side image regions is stopped.

また、CPU10は、自車両Aの走行車線を走行する後続車を検出したと判定すると、左右後側方画像のうち対応する側の画像に対して、左右後方画像における対応する側の側面画像領域に対応する位置の画像領域を、予め設定された半透明となる透過率で透過表示する。本実施形態では、透過率p(例えば、50<p<70、単位は[%])で透過表示する。   Further, when the CPU 10 determines that the succeeding vehicle traveling in the traveling lane of the host vehicle A is detected, the side image area on the corresponding side in the left and right rear images with respect to the corresponding image on the corresponding side among the left and right rear side images. The image region at the position corresponding to is transparently displayed with a preset translucency. In the present embodiment, the transmissive display is performed with the transmittance p (for example, 50 <p <70, the unit is [%]).

次に、CPU10において専用のプログラムを実行することによって実現される後方視界支援機能の機能構成を説明する。
図4は、車両用後方視界支援装置100の機能構成の一例を示すブロック図である。
図4に示すように、車両用後方視界支援装置100は、後方視界支援機能構成として、側面画像領域検出部101と、消失点検出部102と、消失点距離演算部103と、領域分割部104と、他車両検出部105と、ぼかし処理制御部106と、透過合成制御部107と、ぼかし処理部108とを備える。
Next, the functional configuration of the rear view support function realized by executing a dedicated program in the CPU 10 will be described.
FIG. 4 is a block diagram illustrating an example of a functional configuration of the vehicular rear view assistance device 100.
As illustrated in FIG. 4, the vehicular rear view assistance device 100 includes a side image area detection unit 101, a vanishing point detection unit 102, a vanishing point distance calculation unit 103, and an area division unit 104 as a rear view support function configuration. The other vehicle detection unit 105, the blurring processing control unit 106, the transmission composition control unit 107, and the blurring processing unit 108.

側面画像領域検出部101は、カメラ400で撮影して得られる右後側方画像から自車両Aの右側面画像領域を検出する。更に、カメラ401で撮影して得られる左後側方画像から自車両Aの左側面画像領域を検出する。
ここで、側面画像領域の検出方法として、例えば、テンプレートマッチング処理によって、後側方画像から側面画像領域を検出する方法がある。この方法を採用した場合、テンプレートデータを、予めROM13に記憶する。また、別の方法として、例えば、自車両Aのボディカラーと同じ色又は近い色(例えば、予め設定された差分値の範囲以内の色)の画素から構成される領域を側面画像領域として検出する方法がある。本実施形態では、前者の方法を採用することとする。
The side image area detection unit 101 detects the right side image area of the host vehicle A from the right rear side image obtained by photographing with the camera 400. Furthermore, the left side image area of the host vehicle A is detected from the left rear side image obtained by photographing with the camera 401.
Here, as a side image region detection method, for example, there is a method of detecting a side image region from a rear side image by template matching processing. When this method is adopted, template data is stored in the ROM 13 in advance. As another method, for example, an area composed of pixels of the same color as or close to the body color of the vehicle A (for example, a color within a preset difference value range) is detected as a side image area. There is a way. In the present embodiment, the former method is adopted.

消失点検出部102は、カメラ400で撮影して得られる右後側方画像から、右側面画像領域の延長線と地平線との交点である消失点を検出する。更に、カメラ401で撮影して得られる左後側方画像から、左側面画像領域の延長線と地平線との交点である消失点を検出する。消失点検出部102は、消失点の座標情報を、消失点距離演算部103に出力する。   The vanishing point detection unit 102 detects a vanishing point that is an intersection of the extension line of the right side image region and the horizon line from the right rear side image obtained by photographing with the camera 400. Further, a vanishing point that is an intersection of the extension line of the left side image area and the horizon is detected from the left rear side image obtained by photographing with the camera 401. The vanishing point detection unit 102 outputs the vanishing point coordinate information to the vanishing point distance calculation unit 103.

消失点距離演算部103は、消失点検出部102で検出した消失点の座標に基づき、後側方画像中における消失点と側面画像領域の各画素との距離を演算する。消失点距離演算部103は、演算した消失点からの距離の情報を領域分割部104に出力する。
領域分割部104は、消失点距離演算部103から取得した消失点からの距離の情報に基づき、側面画像領域検出部101で検出した右側面画像領域及び左側面画像領域を、画像の遠近方向に複数の領域に分割する。以下、分割した各領域を分割領域と称す。領域分割部104は、各分割領域に対応する座標情報並びに右側面画像領域及び左側面画像領域の画像データを、ぼかし度合設定部300に出力する。
The vanishing point distance calculation unit 103 calculates the distance between the vanishing point in the rear side image and each pixel in the side image region based on the coordinates of the vanishing point detected by the vanishing point detection unit 102. The vanishing point distance calculation unit 103 outputs information on the calculated distance from the vanishing point to the region dividing unit 104.
Based on the information about the distance from the vanishing point acquired from the vanishing point distance calculating unit 103, the region dividing unit 104 converts the right side image region and the left side image region detected by the side image region detecting unit 101 in the perspective direction of the image. Divide into multiple areas. Hereinafter, each divided area is referred to as a divided area. The area dividing unit 104 outputs the coordinate information corresponding to each divided area and the image data of the right side image area and the left side image area to the blurring degree setting unit 300.

なお、自車両Aが、レーザレンジファインダ等の対象物との距離を測定できる装置を備えている場合は、自車両Aの左右側面部分の一部を構成する各画素の距離情報を得ることができる。つまり、右側面画像領域及び左側面画像領域の各画素の3次元座標を得ることができる。従って、消失点を求めることなく、この3次元座標情報に基づき、左右側面画像領域を画像の遠近方向に複数の領域に分割することが可能である。
他車両検出部105は、後続車検出部200と、車間距離検出部201と、車間距離判定部202とを備える。
In addition, when the own vehicle A is provided with a device that can measure the distance to an object such as a laser range finder, it is possible to obtain distance information of each pixel constituting a part of the left and right side portions of the own vehicle A. it can. That is, the three-dimensional coordinates of each pixel in the right side image area and the left side image area can be obtained. Therefore, it is possible to divide the left and right side image regions into a plurality of regions in the perspective direction of the image based on the three-dimensional coordinate information without obtaining the vanishing point.
Other vehicle detection unit 105 includes a following vehicle detection unit 200, an inter-vehicle distance detection unit 201, and an inter-vehicle distance determination unit 202.

後続車検出部200は、カメラ400〜404で撮影して得られる各種撮影画像から自車両Aの走行車線を走行する後続車(以下、自車線後続車と称す)を検出する。加えて、自車両Aの右隣接車線を走行する後続車(以下、右車線後続車と称す)と、自車両Aの左隣接車線を走行する後続車(以下、左車線後続車と称す)とを検出する。具体的に、後続車検出部200は、カメラ400〜404からの各種撮影画像データに対してエッジ検出やパターン認識処理などの画像処理を施して、自車両Aの走行車線又は隣接車線を走行する後続車を検出する。後続車検出部200は、自車線、右車線及び左車線後続車の検出結果を車間距離検出部201及び透過合成制御部107にそれぞれ出力する。なお、後続車検出部200は、後続車が検出されなかった場合は、その旨を示す情報を車間距離検出部201及び透過合成制御部107にそれぞれ出力する。   The following vehicle detection unit 200 detects a following vehicle (hereinafter referred to as the own lane following vehicle) that travels in the traveling lane of the own vehicle A from various captured images obtained by photographing with the cameras 400 to 404. In addition, a succeeding vehicle that travels in the right adjacent lane of the own vehicle A (hereinafter referred to as a right lane succeeding vehicle) and a succeeding vehicle that travels in the left adjacent lane of the own vehicle A (hereinafter referred to as a left lane succeeding vehicle) Is detected. Specifically, the succeeding vehicle detection unit 200 performs image processing such as edge detection and pattern recognition processing on various captured image data from the cameras 400 to 404 and travels in the traveling lane or adjacent lane of the own vehicle A. Detects the following vehicle. The following vehicle detection unit 200 outputs the detection results of the own lane, the right lane, and the left lane following vehicle to the inter-vehicle distance detection unit 201 and the transmission composition control unit 107, respectively. Note that, when no subsequent vehicle is detected, the subsequent vehicle detection unit 200 outputs information indicating that fact to the inter-vehicle distance detection unit 201 and the transmission composition control unit 107, respectively.

車間距離検出部201は、後続車検出部200からの検出結果に基づき、後続車を検出したと判定すると、ROM13に記憶されたカメラ400〜404の設置位置、設置角度、画角、レンズの焦点距離等の情報に基づき、検出した各種後続車との車間距離を演算する。但し、本実施形態では、同じ車線に複数台の後続車を検出した場合は、先頭の後続車との車間距離のみ演算する。車間距離検出部201は、演算した車間距離を後続車の種別(自車線、右車線又は左車線)に対応付けて車間距離判定部202に出力する。一方、後続車検出部200からの検出結果に基づき、後続車を検出しなかったと判定すると、後続車を検出しなかった旨を示す情報を車間距離判定部202に出力する。   If the inter-vehicle distance detection unit 201 determines that the subsequent vehicle has been detected based on the detection result from the subsequent vehicle detection unit 200, the installation position, installation angle, field angle, and lens focus of the cameras 400 to 404 stored in the ROM 13 are detected. Based on the information such as the distance, the distance between the detected various succeeding vehicles is calculated. However, in this embodiment, when a plurality of succeeding vehicles are detected in the same lane, only the inter-vehicle distance from the first succeeding vehicle is calculated. The inter-vehicle distance detection unit 201 outputs the calculated inter-vehicle distance to the inter-vehicle distance determination unit 202 in association with the type of the following vehicle (own lane, right lane, or left lane). On the other hand, if it is determined that the following vehicle is not detected based on the detection result from the following vehicle detection unit 200, information indicating that the following vehicle is not detected is output to the inter-vehicle distance determination unit 202.

本実施の形態において、車間距離検出部201は、カメラ群11の各カメラの設置位置、設置角度、画角、焦点距離等のカメラの幾何学的情報と、撮影画像中の後続車の位置とに基づいて自車両Aと後続車との車間距離を演算する。つまり、自車両Aの後方又は後側方の領域における後続車の実際の位置とカメラの撮影画像における座標系の位置との関係は、カメラの設置位置や設置角度、画角、焦点距離などから一意に特定できるので、カメラの撮影画像中における後続車の位置から、自車両Aと後続車との間の車間距離を演算することができる。   In the present embodiment, the inter-vehicle distance detection unit 201 includes camera geometric information such as the installation position, installation angle, field angle, and focal length of each camera in the camera group 11, and the position of the subsequent vehicle in the captured image. Based on the above, the inter-vehicle distance between the host vehicle A and the following vehicle is calculated. That is, the relationship between the actual position of the succeeding vehicle in the rear or rear side area of the host vehicle A and the position of the coordinate system in the captured image of the camera is determined from the camera installation position, installation angle, field angle, focal length, etc. Since it can identify uniquely, the distance between the own vehicle A and a following vehicle can be calculated from the position of the following vehicle in the picked-up image of a camera.

なお、撮影画像に基づき車間距離を演算する別の方法として、例えば、撮影画像中の後続車の大きさと、その変化とから演算する方法、撮影画像中の後続車のナンバープレートやナンバープレートの文字などの既知の大きさの物体に基づき演算する方法、ステレオカメラを用いて撮影した撮影画像から演算する方法等を用いてもよい。
また、レーザレンジファインダ、車載用ミリ波レーダやレーザレーダなどの物体検出装置を自車両Aに搭載している場合には、この物体検出装置で検出された情報に基づき、後続車との車間距離を演算するようにしてもよい。または、カメラ群11の撮影画像に対する画像処理の結果と物体検出装置で検出された情報との双方に基づき、後続車との車間距離を演算するようにしてもよい。
In addition, as another method for calculating the inter-vehicle distance based on the photographed image, for example, a method of calculating from the size of the subsequent vehicle in the photographed image and its change, the license plate of the subsequent vehicle in the photographed image, or the characters of the license plate For example, a calculation method based on an object having a known size, a calculation method based on a captured image taken using a stereo camera, or the like may be used.
Further, when an object detection device such as a laser range finder, an in-vehicle millimeter wave radar or a laser radar is mounted on the own vehicle A, the distance between the following vehicles based on the information detected by the object detection device May be calculated. Alternatively, the inter-vehicle distance from the following vehicle may be calculated based on both the result of the image processing on the captured image of the camera group 11 and the information detected by the object detection device.

車間距離判定部202は、車間距離検出部201で検出した車間距離と、ROM13に予め記憶されている距離閾値とを比較し、車間距離が距離閾値以上か否かを判定する。車間距離判定部202は、判定結果を示す情報をぼかし処理制御部106に出力する。また、本実施形態において、車間距離判定部202は、後続車が検出されなかった旨を示す情報を取得した場合、距離閾値以上である判定結果を示す情報をぼかし処理制御部106に出力する。   The inter-vehicle distance determination unit 202 compares the inter-vehicle distance detected by the inter-vehicle distance detection unit 201 with a distance threshold stored in advance in the ROM 13 and determines whether the inter-vehicle distance is equal to or greater than the distance threshold. The inter-vehicle distance determination unit 202 outputs information indicating the determination result to the blurring process control unit 106. In the present embodiment, the inter-vehicle distance determination unit 202 outputs information indicating a determination result equal to or greater than the distance threshold to the blurring process control unit 106 when acquiring information indicating that no subsequent vehicle has been detected.

ぼかし処理制御部106は、車間距離判定部202からの車間距離の判定結果に基づき、RAM12に予め設定されたぼかし解除フラグ用の領域にぼかし解除フラグを設定する。具体的に、ぼかし処理制御部106は、車間距離が距離閾値以上であると判定すると、ぼかし解除フラグをオフ(例えば、「0」)に設定する。一方、車間距離が距離閾値未満であると判定すると、ぼかし解除フラグをオン(例えば、「1」)に設定する。
ここで、ぼかし解除フラグは、ぼかし処理部108が、ぼかし処理を実施するか否かを判断するためのフラグである。
Based on the determination result of the inter-vehicle distance from the inter-vehicle distance determination unit 202, the blurring processing control unit 106 sets the blur cancellation flag in the area for the blur cancellation flag preset in the RAM 12. Specifically, when determining that the inter-vehicle distance is equal to or greater than the distance threshold, the blurring process control unit 106 sets the blur removal flag to off (for example, “0”). On the other hand, if it is determined that the inter-vehicle distance is less than the distance threshold, the blur release flag is set to on (for example, “1”).
Here, the blur cancellation flag is a flag for the blur processing unit 108 to determine whether or not to perform the blur processing.

透過合成制御部107は、後続車検出部200の検出結果に基づき、RAM12に予め設定された透過表示フラグ用の領域に透過表示フラグを設定する。具体的に、透過合成制御部107は、後続車検出部200の検出結果に基づき、自車両Aの走行車線を走行する後続車(自車線後続車)を検出したと判定すると、透過表示フラグをオン(例えば、「1」)に設定する。一方、自車両Aの走行車線を走行する後続車を検出しなかったと判定すると、透過表示フラグをオフ(例えば、「0」)に設定する。
ここで、透過表示フラグは、ぼかし処理部108が、透過合成処理(後述)を実施するか否かを判断するためのフラグである。
Based on the detection result of the succeeding vehicle detection unit 200, the transmission composition control unit 107 sets a transmission display flag in a region for a transmission display flag preset in the RAM 12. Specifically, when the transmission composition control unit 107 determines that a subsequent vehicle (own vehicle lane subsequent vehicle) traveling in the traveling lane of the host vehicle A is detected based on the detection result of the subsequent vehicle detection unit 200, the transmission display flag is displayed. Set to ON (for example, “1”). On the other hand, when it is determined that the following vehicle traveling in the traveling lane of the host vehicle A is not detected, the transmission display flag is set to off (for example, “0”).
Here, the transparent display flag is a flag for the blurring processing unit 108 to determine whether or not to perform a transparent composition process (described later).

ぼかし処理部108は、ぼかし度合設定部300と、ぼかし画像生成部301と、画像合成部302とを備える。
ぼかし度合設定部300は、領域分割部104の分割結果と、消失点検出部102の検出結果と、消失点距離演算部103の演算結果とに基づき、側面画像領域の各分割領域に対して、ぼかし度合を設定する。具体的に、ぼかし度合設定部300は、消失点との距離が大きい分割領域ほど強いぼかし度合を設定し、消失点との距離が小さい分割領域ほど弱いぼかし度合を設定する。つまり、画像の遠近方向において、より遠くにある分割領域ほど、より弱いぼかし度合を設定し、より近くにある分割領域ほど、より強いぼかし度合を設定する。
The blur processing unit 108 includes a blur degree setting unit 300, a blur image generation unit 301, and an image composition unit 302.
Based on the division result of the area division unit 104, the detection result of the vanishing point detection unit 102, and the calculation result of the vanishing point distance calculation unit 103, the blurring degree setting unit 300 applies to each divided region of the side image region. Set the blur level. Specifically, the blurring degree setting unit 300 sets a stronger blurring degree for a divided region having a larger distance from the vanishing point, and sets a weaker blurring degree for a divided region having a smaller distance from the vanishing point. That is, in the perspective direction of the image, a weaker blurring degree is set in a farther divided area, and a stronger blurring degree is set in a closer divided area.

なお、このぼかし度合の強さと距離との関係は、消失点との距離を用いた関係に限らず、モニタ405及び406と自車両Aの側面部分における側面画像領域の各分割領域と対応する部位との距離を用いた関係に置き換えることができる。つまり、モニタ405及び406とより近い側面部位に対応する分割領域ほどより強いぼかし度合を設定し、モニタ405及び406とより遠い側面部位に対応する分割領域ほどより弱いぼかし度合を設定する。また、ぼかし度合の設定にモニタとの距離関係を用いる場合は、例えば、ROM13に後側方画像におけるモニタと側面画像領域との位置関係の情報を予め記憶しておく。   The relationship between the intensity of the blurring degree and the distance is not limited to the relationship using the distance to the vanishing point, and the portions corresponding to the divided regions of the side image region in the side portions of the monitors 405 and 406 and the own vehicle A. It can be replaced with the relationship using the distance. That is, a stronger blurring degree is set for a divided region corresponding to a side portion closer to the monitors 405 and 406, and a weaker blurring degree is set for a divided region corresponding to a side portion farther from the monitors 405 and 406. When using the distance relationship with the monitor for setting the blurring degree, for example, the ROM 13 stores in advance information on the positional relationship between the monitor and the side image area in the rear side image.

ぼかし画像生成部301は、RAM12に設定されたぼかし解除フラグの設定内容とぼかし度合設定部300のぼかし度合の設定内容とに基づき、側面画像領域に対してぼかし処理を実施する。なお、以下の説明において、右側面画像領域と左側面画像領域とについて区別する必要がない場合に、左右の区別無く単に側面画像領域として説明する。
具体的に、ぼかし画像生成部301は、ぼかし解除フラグに基づき、ぼかし解除フラグがオフであると判定すると、ぼかし処理を実施する。一方、ぼかし解除フラグがオンであると判定するとぼかし処理を停止する。ぼかし画像生成部301は、ぼかし解除フラグがオフであると判定すると、ぼかし度合設定部300で設定されたぼかし度合で、側面画像領域の各分割領域に対してぼかし処理を実施する。そして、ぼかし処理の施された側面画像領域の画像データを画像合成部302に出力する。
The blurred image generation unit 301 performs a blurring process on the side image region based on the setting content of the blur cancellation flag set in the RAM 12 and the setting content of the blur level of the blur level setting unit 300. In the following description, when there is no need to distinguish between the right side image area and the left side image area, only the side image area will be described without distinction between right and left.
Specifically, if the blur image generation unit 301 determines that the blur cancel flag is off based on the blur cancel flag, the blur image generation unit 301 performs a blur process. On the other hand, if it is determined that the blur cancellation flag is on, the blur processing is stopped. When the blurred image generation unit 301 determines that the blur cancellation flag is off, the blurred image generation unit 301 performs a blurring process on each divided region of the side image region with the blurring degree set by the blurring degree setting unit 300. Then, the image data of the side image area subjected to the blurring process is output to the image composition unit 302.

なお、ぼかし処理としては、例えば、側面画像領域の画像の解像度を低下する処理、側面画像領域の画像のエッジ部分をぼやかす処理(エッジ部分の色の変化度合を滑らかにする処理)などがある。ここで、例えば、モザイク処理の様に、画像の画素の入れ替え等を行うようなぼかし処理よりも、画素の入れ替え等を行わずに画像内容(形状等)をできるだけ保持したままぼかす処理の方が、人の視覚特性から望ましい。   Note that the blur processing includes, for example, processing for reducing the resolution of the image in the side image region, processing for blurring the edge portion of the image in the side image region (processing for smoothing the degree of color change of the edge portion), and the like. . Here, for example, the process of blurring while retaining the image content (shape, etc.) as much as possible without exchanging pixels is more than the blurring process such as exchanging pixels of the image as in mosaic processing. Desirable from human visual characteristics.

一方、ぼかし画像生成部301は、ぼかし解除フラグに基づき、ぼかし解除フラグがオンであると判定すると、ぼかし処理を停止する。そして、ぼかし処理の施していない側面画像領域の画像データを画像合成部302に出力する。
また、ぼかし画像生成部301は、RAM12に設定された透過表示フラグに基づき、ぼかし処理を施した側面画像領域データ、又は、ぼかし処理を施していない側面画像領域データの出力先を決定する。以下、ぼかし処理の施されている側面画像領域データをぼかし側面画像領域データと称し、ぼかし処理の施されていない側面画像領域データを鮮明側面画像領域データと称す。
On the other hand, if the blur image generation unit 301 determines that the blur cancel flag is on based on the blur cancel flag, the blur image generation unit 301 stops the blur processing. Then, the image data of the side image area not subjected to the blurring process is output to the image composition unit 302.
Further, the blurred image generation unit 301 determines the output destination of the side image area data that has been subjected to the blurring process or the side image area data that has not been subjected to the blurring process, based on the transparent display flag set in the RAM 12. Hereinafter, the side image area data subjected to the blurring process is referred to as blurred side image area data, and the side image area data not subjected to the blurring process is referred to as clear side image area data.

ぼかし画像生成部301は、具体的に、透過表示フラグがオフであると判定すると、ぼかし側面画像領域データ又は鮮明側面画像領域データを、画像合成部302の通常合成部303(後述)に出力する。一方、透過表示フラグがオンであると判定すると、ぼかし側面画像領域データ又は鮮明側面画像領域データを、画像合成部302の透過合成部304(後述)に出力する。   When the blurred image generation unit 301 specifically determines that the transparent display flag is OFF, the blurred image generation unit 301 outputs the blurred side image region data or the clear side image region data to the normal combining unit 303 (described later) of the image combining unit 302. . On the other hand, if it is determined that the transmissive display flag is ON, the blurred side image area data or the clear side image area data is output to a transmissive composition unit 304 (described later) of the image composition unit 302.

画像合成部302は、通常合成部303と、透過合成部304とを備える。
通常合成部303は、ぼかし画像生成部301からのぼかし側面画像領域データ又は鮮明側面画像領域データを、カメラ群11からの後側方画像データと合成する。つまり、撮影された後側方画像中の側面画像領域以外の画像と、ぼかし画像生成部301からのぼかし側面画像領域データ又は鮮明側面画像領域データの画像とを合成する。以下、この画像合成を通常合成と称す。
通常合成部303は、更に、合成画像の画像表示信号を生成し、生成した画像表示信号をモニタ群14における対応するモニタに出力する。ここで、各モニタの表示画像を、左右ドアミラーの反射像に相当する画像とするため、通常合成部303は、各合成画像を左右反転した画像の画像表示信号を生成する。
The image composition unit 302 includes a normal composition unit 303 and a transmission composition unit 304.
The normal combining unit 303 combines the blurred side image area data or the clear side image area data from the blurred image generation unit 301 with the rear side image data from the camera group 11. That is, the image other than the side image area in the photographed rear side image and the image of the blurred side image area data or the clear side image area data from the blurred image generation unit 301 are combined. Hereinafter, this image composition is referred to as normal composition.
The normal combining unit 303 further generates an image display signal of the combined image and outputs the generated image display signal to a corresponding monitor in the monitor group 14. Here, in order to make the display image of each monitor an image corresponding to the reflection image of the left and right door mirrors, the normal combining unit 303 generates an image display signal of an image obtained by horizontally inverting each combined image.

透過合成部304は、ぼかし画像生成部301からのぼかし側面画像領域データ又は鮮明側面画像領域データを、カメラ群11からの後側方画像データ及び後方画像データと合成する。具体的に、透過合成部304は、ぼかし側面画像領域データ又は鮮明側面画像領域データの画像に対して、予め設定した半透明となる透過率pで、後方画像データの画像における側面画像領域に対応する位置の画像領域(以下、対応画像領域と称す)を透過表示するように画像合成を行う。つまり、自車両Aの走行車線を走行する後続車を検出した場合に、後方画像には検出した後続車の画像が含まれることになる。この後続車の画像を側面画像領域を半透明にして透過表示する合成画像を生成する。以下、この画像合成を透過合成と称す。   The transmission combining unit 304 combines the blurred side image region data or the clear side image region data from the blurred image generation unit 301 with the rear side image data and the rear image data from the camera group 11. Specifically, the transmission compositing unit 304 corresponds to the side image area in the image of the rear image data with the translucency p that is set to be semi-transparent for the image of the blurred side image area data or the clear side image area data. The image composition is performed so that the image area at the position (hereinafter referred to as the corresponding image area) is transparently displayed. That is, when a subsequent vehicle traveling in the traveling lane of the host vehicle A is detected, the rear image includes the detected image of the subsequent vehicle. A composite image is generated in which the image of the succeeding vehicle is transmissively displayed with the side image area being translucent. Hereinafter, this image composition is referred to as transmission composition.

透過合成処理として、例えば、ぼかし側面画像領域データ又は鮮明側面画像領域データの画像をライン単位で間引きし、間引きした部分に対して対応画像領域の間引き位置に対応する画像を表示するように側面画像領域と対応画像領域とを合成する処理がある。また、例えば、側面画像領域を前景とし、対応画像領域を背景として、公知のαブレンディングを用いて、側面画像領域と対応画像領域とを合成する処理がある。αブレンディングでは、側面画像領域(前景)の各画素値に予め設定された透過率に対応する係数α(0<α<1)を乗算し、対応画像領域(背景)の各画素値に(1−α)を乗算する。そして、各対応する画素位置の乗算後の両者の画素値を加算する。   As the transparent composition processing, for example, the side image is displayed so that the image of the blurred side image region data or the clear side image region data is thinned out in line units, and an image corresponding to the thinned position of the corresponding image region is displayed for the thinned portion. There is a process of combining the area and the corresponding image area. Also, for example, there is a process of combining the side image area and the corresponding image area using the known α blending with the side image area as the foreground and the corresponding image area as the background. In the α blending, each pixel value in the side image region (foreground) is multiplied by a coefficient α (0 <α <1) corresponding to a preset transmittance, and each pixel value in the corresponding image region (background) is (1). Multiply -α). Then, the pixel values after multiplication of the corresponding pixel positions are added.

透過合成部304は、更に、透過合成画像の画像表示信号を生成し、生成した画像表示信号をモニタ群14における対応するモニタに出力する。なお、透過合成部304は、通常合成部303と同様に各ミラーの反射像に相当する画像をモニタに表示するために、各透過合成画像を左右反転した画像の画像表示信号を生成する。   The transmission composition unit 304 further generates an image display signal of the transmission composite image and outputs the generated image display signal to a corresponding monitor in the monitor group 14. Note that the transmission composition unit 304 generates an image display signal of an image obtained by horizontally inverting each transmission composition image in order to display an image corresponding to the reflected image of each mirror on the monitor, similarly to the normal composition unit 303.

(後方視界支援処理)
次に、車両用後方視界支援装置100の機能構成部において行われる後方視界支援処理の処理手順について説明する。
図5は、後方視界支援処理の処理手順の一例を示すフローチャートである。
電源がON(イグニッションON)され、CPU10において専用のプログラムが実行されると、図5に示すように、まずステップS100に移行する。
ステップS100では、CPU10において、以降の処理の実行に使用するタイマやカウンタ、フラグを初期設定する初期化処理を実行して、ステップS102に移行する。
(Back view support processing)
Next, the process procedure of the rear view assistance process performed in the function structure part of the rear view assistance apparatus 100 for vehicles is demonstrated.
FIG. 5 is a flowchart illustrating an example of a processing procedure of the rear view support process.
When the power is turned on (ignition is turned on) and a dedicated program is executed in the CPU 10, the process first proceeds to step S100 as shown in FIG.
In step S100, the CPU 10 executes an initialization process for initially setting timers, counters, and flags used in the subsequent processes, and the process proceeds to step S102.

ステップS102では、CPU10において、カメラ群11に対して撮影開始指示を送信して、左右後側方画像、左右後方画像及び中央後方画像の撮影を開始して、ステップS104に移行する。
ステップS104では、CPU10において、ぼかし解除フラグ設定処理を実行して、ステップS106に移行する。
ステップS106では、CPU10において、透過表示フラグ設定処理を実行して、ステップS108に移行する。
In step S102, the CPU 10 transmits a shooting start instruction to the camera group 11, starts shooting the left and right rear side images, the left and right rear images, and the center rear image, and proceeds to step S104.
In step S104, the CPU 10 executes a deblurring flag setting process and proceeds to step S106.
In step S106, the CPU 10 executes a transparent display flag setting process, and proceeds to step S108.

ステップS108では、側面画像領域検出部101において、カメラ群11において撮影された後側方画像から、側面画像領域を検出して、ステップS110に移行する。
ステップS110では、消失点検出部102において、後側方画像から消失点を検出する。そして、検出した消失点の座標情報を消失点距離演算部103に出力して、ステップS112に移行する。本実施形態では、消失点検出部102は、後側方画像に、側面画像領域の延長線と、水平線とを設定し、これらの交点を消失点として検出する。
In step S108, the side image area detection unit 101 detects the side image area from the rear side image captured by the camera group 11, and the process proceeds to step S110.
In step S110, the vanishing point detection unit 102 detects the vanishing point from the rear side image. Then, the coordinate information of the detected vanishing point is output to the vanishing point distance calculation unit 103, and the process proceeds to step S112. In the present embodiment, the vanishing point detection unit 102 sets an extension line of the side image region and a horizontal line in the rear side image, and detects these intersections as vanishing points.

ステップS112では、消失点距離演算部103において、側面画像領域の各画素の座標情報と、消失点の座標情報とに基づき、消失点と各画素との距離を演算する。そして、演算した距離の情報を領域分割部104に出力して、ステップS114に移行する。
ステップS114では、領域分割部104において、ステップS112において演算した消失点と各画素との距離の情報に基づき、ステップS108で検出した側面画像領域を画像の遠近方向に複数の領域に論理的に分割する。そして、各分割領域の座標情報を、ぼかし度合設定部300に出力して、ステップS116に移行する。
In step S112, the vanishing point distance calculation unit 103 calculates the distance between the vanishing point and each pixel based on the coordinate information of each pixel in the side image region and the coordinate information of the vanishing point. Then, the calculated distance information is output to the area dividing unit 104, and the process proceeds to step S114.
In step S114, the region dividing unit 104 logically divides the side image region detected in step S108 into a plurality of regions in the perspective direction of the image based on the information on the distance between the vanishing point calculated in step S112 and each pixel. To do. Then, the coordinate information of each divided region is output to the blurring degree setting unit 300, and the process proceeds to step S116.

ステップS116では、ぼかし度合設定部300において、領域分割部104からの各側面画像領域の各分割領域の座標情報に基づき、各側面画像領域の各分割領域に対して、ぼかし度合を設定して、ステップS118に移行する。
ここで、ぼかし度合は、消失点からの距離が小さい分割領域ほど、ぼかし度合を弱くし、消失点からの距離が大きい分割領域ほど、ぼかし度合を強くする。例えば、側面画像領域を3分割し、消失点からの距離が大きい順に第1〜第3の分割領域としたとする。この場合、距離が最も小さい第3の分割領域のぼかし度合を最も弱い度合に設定し、距離が最も大きい第1の分割領域のぼかし度合を最も強い度合に設定する。そして、距離が二番目に小さい第2の分割領域のぼかし度合を第1及び第3の分割領域のぼかし度合の中間の強さの度合に設定する。
In step S116, the blurring degree setting unit 300 sets the blurring degree for each divided region of each side image region based on the coordinate information of each divided region of each side image region from the region dividing unit 104. The process proceeds to step S118.
Here, with regard to the degree of blurring, the smaller the distance from the vanishing point, the weaker the blurring degree, and the larger the distance from the vanishing point, the higher the degree of blurring. For example, it is assumed that the side image area is divided into three and the first to third divided areas are arranged in descending order of the distance from the vanishing point. In this case, the blurring degree of the third divided area with the smallest distance is set to the weakest degree, and the blurring degree of the first divided area with the largest distance is set to the strongest degree. Then, the blurring degree of the second divided area having the second smallest distance is set to a degree of strength intermediate between the blurring degrees of the first and third divided areas.

ステップS118では、ぼかし画像生成部301において、RAM12に設定されたぼかし解除フラグに基づき、ぼかし解除フラグがオンに設定されているか否かを判定する。そして、ぼかし解除フラグがオンに設定されていると判定した場合(Yes)は、ステップS120に移行し、ぼかし解除フラグがオンに設定されていない場合(No)は、ステップS130に移行する。
ステップS120に移行した場合は、ぼかし画像生成部301において、RAM12に設定された透過表示フラグがオンに設定されているか否かを判定する。そして、透過表示フラグがオンに設定されていると判定した場合(Yes)は、ステップS122に移行し、透過表示フラグがオンに設定されていないと判定した場合(No)は、ステップS126に移行する。
In step S118, the blurred image generation unit 301 determines whether or not the blur cancellation flag is set to ON based on the blur cancellation flag set in the RAM 12. If it is determined that the blur removal flag is set to on (Yes), the process proceeds to step S120. If the blur removal flag is not set to on (No), the process proceeds to step S130.
When the process proceeds to step S120, the blurred image generation unit 301 determines whether or not the transparent display flag set in the RAM 12 is set to ON. If it is determined that the transparent display flag is set to ON (Yes), the process proceeds to step S122. If it is determined that the transparent display flag is not set to ON (No), the process proceeds to step S126. To do.

ステップS122に移行した場合は、ぼかし画像生成部301において、側面画像領域検出部101において検出した側面画像領域に対してぼかし処理を実施せずに、鮮明側面画像領域データを透過合成部304に出力して、ステップS124に移行する。
ステップS124では、透過合成部304において、鮮明側面画像領域データの画像と、後方画像データの画像と、後側面画像データの画像とを透過合成する。そして、生成した透過合成画像を左右反転した画像の画像表示信号を生成し、生成した画像表示信号をモニタ群14における生成した信号に対応するモニタに出力する。その後、ステップS142に移行する。
When the process proceeds to step S122, the blurred image generation unit 301 outputs the clear side image area data to the transmission and synthesis unit 304 without performing the blurring process on the side image area detected by the side image area detection unit 101. Then, the process proceeds to step S124.
In step S <b> 124, the transparent composition unit 304 performs transparent composition of the clear side image area data image, the rear image data image, and the rear side image data image. Then, an image display signal of an image obtained by horizontally inverting the generated transmission composite image is generated, and the generated image display signal is output to a monitor corresponding to the generated signal in the monitor group 14. Thereafter, the process proceeds to step S142.

一方、ステップS120において透過表示フラグがオンに設定されてないと判定してステップS126に移行した場合は、ぼかし画像生成部301において、側面画像領域検出部101において検出した側面画像領域に対してぼかし処理を実施せずに、鮮明側面画像領域データを通常合成部303に出力する。その後、ステップS128に移行する。
ステップS128では、通常合成部303において、鮮明側面画像データの画像と、後側方画像データの画像と、後方画像データの画像とを通常合成する。そして、生成した通常合成画像を左右反転した画像の画像表示信号を生成し、生成した画像表示信号をモニタ群14における生成した信号に対応するモニタに出力する。その後、ステップS142に移行する。
On the other hand, when it is determined in step S120 that the transparent display flag is not set to ON and the process proceeds to step S126, the blurred image generation unit 301 blurs the side image region detected by the side image region detection unit 101. The sharp side image area data is output to the normal composition unit 303 without performing the processing. Thereafter, the process proceeds to step S128.
In step S128, the normal combining unit 303 normally combines the clear side image data image, the rear side image data image, and the rear image data image. Then, an image display signal of an image obtained by horizontally inverting the generated normal composite image is generated, and the generated image display signal is output to a monitor corresponding to the generated signal in the monitor group 14. Thereafter, the process proceeds to step S142.

また、ステップS118において、ぼかし解除フラグがオンに設定されていないと判定してステップS130に移行した場合は、ぼかし画像生成部301において、ぼかし度合設定部300で設定したぼかし度合に基づき、側面画像領域の各分割領域に対してぼかし処理を実施して、ステップS132に移行する。
ステップS132では、ぼかし画像生成部301において、RAM12に設定された透過表示フラグがオンに設定されているか否かを判定する。そして、透過表示フラグがオンに設定されていると判定した場合(Yes)は、ステップS134に移行し、透過表示フラグがオンに設定されていないと判定した場合(No)は、ステップS138に移行する。
If it is determined in step S118 that the blur release flag is not set to ON and the process proceeds to step S130, the side image is determined based on the blur level set by the blur level setting unit 300 in the blur image generation unit 301. The blurring process is performed on each divided area, and the process proceeds to step S132.
In step S132, the blurred image generation unit 301 determines whether or not the transparent display flag set in the RAM 12 is set to ON. If it is determined that the transparent display flag is set to ON (Yes), the process proceeds to step S134. If it is determined that the transparent display flag is not set to ON (No), the process proceeds to step S138. To do.

ステップS134に移行した場合は、ぼかし画像生成部301において、ぼかし処理の施されたぼかし側面画像領域データを透過合成部304に出力して、ステップS136に移行する。
ステップS136では、透過合成部304において、ぼかし側面画像領域データの画像と、後方画像データの画像と、後側面画像データの画像とを透過合成する。そして、生成した透過合成画像を左右反転した画像の画像表示信号を生成し、生成した画像表示信号をモニタ群14における生成した信号に対応するモニタに出力する。その後、ステップS142に移行する。
When the process proceeds to step S134, the blurred image generation unit 301 outputs the blurred side surface image area data subjected to the blurring process to the transmission composition unit 304, and the process proceeds to step S136.
In step S136, the transmission composition unit 304 performs transmission composition on the image of the blurred side image area data, the image of the rear image data, and the image of the rear side image data. Then, an image display signal of an image obtained by horizontally inverting the generated transmission composite image is generated, and the generated image display signal is output to a monitor corresponding to the generated signal in the monitor group 14. Thereafter, the process proceeds to step S142.

一方、ステップS132において透過表示フラグがオンに設定されていないと判定してステップS138に移行した場合は、ぼかし画像生成部301において、ぼかし側面画像領域データを通常合成部303に出力する。その後、ステップS140に移行する。
ステップS140では、通常合成部303において、ぼかし側面画像データの画像と、後側方画像データの画像と、後方画像データの画像とを通常合成する。そして、生成した通常合成画像を左右反転した画像の画像表示信号を生成し、生成した画像表示信号をモニタ群14における生成した信号に対応するモニタに出力する。その後、ステップS142に移行する。
On the other hand, when it is determined in step S132 that the transparent display flag is not set to ON and the process proceeds to step S138, the blurred image generation unit 301 outputs the blurred side image region data to the normal composition unit 303. Thereafter, the process proceeds to step S140.
In step S140, the normal combining unit 303 normally combines the blurred side image data image, the rear side image data image, and the rear image data image. Then, an image display signal of an image obtained by horizontally inverting the generated normal composite image is generated, and the generated image display signal is output to a monitor corresponding to the generated signal in the monitor group 14. Thereafter, the process proceeds to step S142.

ステップS142では、未処理のぼかし解除フラグがあるか否かを判定し、未処理のぼかし解除フラグがあると判定した場合(Yes)は、ステップS118に移行する。一方、未処理のぼかし解除フラグが無いと判定した場合(No)は、ステップS144に移行する。
ここで、ぼかし解除フラグは、左右側面画像領域についてそれぞれ設定される。そのため、このステップにおいて、双方について処理を実施したか否かを判定する。例えば、先に右側面画像領域用のぼかし解除フラグの設定内容に対する処理を実施した場合は、次に、左側面画像領域用のぼかし解除フラグの設定内容に対する処理を実施する。
In step S142, it is determined whether or not there is an unprocessed blur cancel flag. If it is determined that there is an unprocessed blur cancel flag (Yes), the process proceeds to step S118. On the other hand, if it is determined that there is no unprocessed blur release flag (No), the process proceeds to step S144.
Here, the blur removal flag is set for each of the left and right side image regions. Therefore, in this step, it is determined whether or not processing has been performed for both. For example, if the processing for the setting of the deblurring flag for the right side image area is performed first, the processing for the setting of the deblurring flag for the left side image area is performed next.

ステップS144では、モニタ群14の各モニタにおいて、入力された画像表示信号に対応する合成画像を表示して、ステップS146に移行する。
ステップS146では、CPU10において、イグニッションスイッチ(不図示)からの信号に基づき、イグニッションがOFFになったか否かを判定する。そして、OFFになったと判定した場合(Yes)は、一連の処理を終了し、OFFになっていないと判定した場合(No)は、ステップS104に移行する。
In step S144, a composite image corresponding to the input image display signal is displayed on each monitor of the monitor group 14, and the process proceeds to step S146.
In step S146, the CPU 10 determines whether or not the ignition is turned off based on a signal from an ignition switch (not shown). If it is determined that it has been turned off (Yes), the series of processing is terminated, and if it is determined that it has not been turned off (No), the process proceeds to step S104.

(ぼかし解除フラグ設定処理)
次に、ステップS104で行われるぼかし解除フラグ設定処理の処理手順について説明する。
図6は、ぼかし解除フラグ設定処理の処理手順の一例を示すフローチャートである。
ステップS104において、ぼかし解除フラグ設定処理が開始されると、図6に示すように、まず、ステップS200に移行する。
ステップS200では、後続車検出部200において、カメラ群11から、カメラ400〜404で撮影して得られる各種撮影画像データを取得して、ステップS202に移行する。
(Deblurring flag setting process)
Next, the processing procedure of the blur removal flag setting process performed in step S104 will be described.
FIG. 6 is a flowchart illustrating an example of a processing procedure of the blur removal flag setting process.
When the blur release flag setting process is started in step S104, as shown in FIG. 6, first, the process proceeds to step S200.
In step S200, the succeeding vehicle detection unit 200 acquires various photographed image data obtained by photographing with the cameras 400 to 404 from the camera group 11, and proceeds to step S202.

ステップS202では、後続車検出部200において、ステップS200で取得した各種撮影画像データの画像から後続車を検出する後続車検出処理を実施して、ステップS204に移行する。
ステップS204では、後続車検出部200において、後続車を検出した場合に、検出した後続車の種別(自車線、右車線、左車線)を含む検出結果の情報を車間距離検出部201及び透過合成制御部107にそれぞれ出力して、ステップS206に移行する。一方、後続車を検出しなかった場合は、後続車が存在しないことを示す情報を、車間距離検出部201及び透過合成制御部107にそれぞれ出力して、ステップS206に移行する。
In step S202, the subsequent vehicle detection unit 200 performs a subsequent vehicle detection process for detecting the subsequent vehicle from the images of the various captured image data acquired in step S200, and the process proceeds to step S204.
In step S204, when the subsequent vehicle is detected by the subsequent vehicle detection unit 200, information on the detection result including the type of the detected subsequent vehicle (own lane, right lane, left lane) is transmitted to the inter-vehicle distance detection unit 201 and the transmission composition. Each is output to the control unit 107, and the process proceeds to step S206. On the other hand, when the following vehicle is not detected, information indicating that the following vehicle does not exist is output to the inter-vehicle distance detection unit 201 and the transmission composition control unit 107, and the process proceeds to step S206.

ステップS206では、車間距離検出部201において、後続車検出部200からの検出結果の情報に基づき、後続車が検出されたか否かを判定する。そして、検出したと判定した場合(Yes)は、ステップS208に移行する。一方、検出しなかったと判定した場合(No)は、ステップS222に移行する。
ステップS208に移行した場合は、車間距離検出部201において、予めROM13に記憶されたカメラ400〜404の設置位置、設置角度及び焦点距離と、後続車を含む撮影画像データとに基づき、検出された各後続車と自車両Aとの車間距離を演算する。その後、ステップS210に移行する。
ステップS210では、車間距離検出部210において、ステップS208の車間距離の演算結果を各後続車の種別に対応付けた情報を車間距離判定部202に出力して、ステップS212に移行する。
In step S <b> 206, the inter-vehicle distance detection unit 201 determines whether or not a subsequent vehicle has been detected based on the detection result information from the subsequent vehicle detection unit 200. And when it determines with having detected (Yes), it transfers to step S208. On the other hand, when it determines with not having detected (No), it transfers to step S222.
When the process proceeds to step S208, the inter-vehicle distance detection unit 201 detects the camera 400 to 404 based on the installation position, installation angle, and focal distance stored in advance in the ROM 13, and the captured image data including the following vehicle. The inter-vehicle distance between each succeeding vehicle and the host vehicle A is calculated. Thereafter, the process proceeds to step S210.
In step S210, the inter-vehicle distance detection unit 210 outputs information associating the calculation result of the inter-vehicle distance in step S208 with the type of each subsequent vehicle to the inter-vehicle distance determination unit 202, and the process proceeds to step S212.

ステップS212では、車間距離判定部202において、車間距離検出部201からの車間距離の演算結果の情報と、ROM13に記憶された距離閾値の情報とに基づき、検出した各後続車のなかに車間距離が距離閾値未満の後続車が存在するか否かを判定する。そして、車間距離が距離閾値未満である後続車が存在すると判定した場合(Yes)は、ステップS214に移行し、車間距離が距離閾値未満である後続車が存在しないと判定した場合(No)は、ステップS218に移行する。
ステップS214に移行した場合は、車間距離判定部202において、判定結果の情報として、距離閾値未満の後続車が存在することを示す情報を各後続車の種別に対応づけた情報をぼかし処理制御部106に出力して、ステップS216に移行する。
In step S212, the inter-vehicle distance determination unit 202 detects the inter-vehicle distance in each subsequent vehicle detected based on the information on the calculation result of the inter-vehicle distance from the inter-vehicle distance detection unit 201 and the information on the distance threshold stored in the ROM 13. It is determined whether or not there is a following vehicle having a distance less than the distance threshold. If it is determined that there is a subsequent vehicle having an inter-vehicle distance less than the distance threshold (Yes), the process proceeds to step S214, and if it is determined that there is no subsequent vehicle having an inter-vehicle distance less than the distance threshold (No). The process proceeds to step S218.
When the process proceeds to step S214, the inter-vehicle distance determination unit 202 uses information indicating that there is a subsequent vehicle less than the distance threshold as information on the determination result, and blurs the process control unit. 106, and the process proceeds to step S216.

ステップS216では、ぼかし処理制御部106において、ぼかし解除フラグをオンに設定して、一連の処理を終了し元の処理に復帰する。具体的に、RAM12に予め設定されたぼかし解除フラグ用の領域にオンを示す値(例えば「1」)を設定(格納)する。なお、ぼかし解除フラグは、左右側面画像領域に対して、それぞれ独立して設定する。本実施形態では、右車線後続車との車間距離が距離閾値未満の場合に右側面画像領域用のぼかし解除フラグをオンに設定し、左車線後続車との車間距離が距離閾値未満である場合に左側面画像領域用のぼかし解除フラグをオンに設定する。また、自車線後続車との車間距離が距離閾値未満の場合に左右側面画像領域用のぼかし解除フラグを両方ともオンに設定する。従って、右車線後続車との車間距離のみ距離閾値未満の場合は右側面画像領域用のぼかし解除フラグをオンに設定し、左側面画像領域用のぼかし解除フラグをオフに設定する。また、左車線後続車との車間距離のみ距離閾値未満の場合は左側面画像領域用のぼかし解除フラグをオンに設定し、右側面画像領域用のぼかし解除フラグをオフに設定する。   In step S216, the blurring process control unit 106 sets the blurring cancellation flag to ON, ends the series of processes, and returns to the original process. Specifically, a value (for example, “1”) indicating ON is set (stored) in a region for blurring cancellation flag set in advance in the RAM 12. Note that the blur release flag is set independently for the left and right side image areas. In the present embodiment, when the inter-vehicle distance with the vehicle following the right lane is less than the distance threshold, the blur release flag for the right side image area is set to ON, and when the inter-vehicle distance with the vehicle following the left lane is less than the distance threshold Set the deblurring flag for the left side image area to ON. Further, when the inter-vehicle distance from the vehicle following the own lane is less than the distance threshold, both the blur release flags for the left and right side image areas are set to ON. Accordingly, when only the inter-vehicle distance from the vehicle following the right lane is less than the distance threshold, the blur release flag for the right side image area is set to ON, and the blur release flag for the left side image area is set to OFF. Further, when only the inter-vehicle distance with the vehicle following the left lane is less than the distance threshold, the blur release flag for the left side image area is set to ON, and the blur release flag for the right side image area is set to OFF.

一方、ステップS218に移行した場合は、車間距離判定部202において、判定結果の情報として、距離閾値未満の後続車が存在しないことを示す情報をぼかし処理制御部106に出力して、ステップS220に移行する。
ステップS220では、ぼかし処理制御部106において、ぼかし解除フラグをオフに設定して、一連の処理を終了し元の処理に復帰する。具体的に、RAM12に予め設定されたぼかし解除フラグ用の領域にオフを示す値(例えば「0」)を設定(格納)する。ここでは、左右側面画像領域用のぼかし解除フラグを両方ともオフに設定する。
On the other hand, when the process proceeds to step S218, the inter-vehicle distance determination unit 202 outputs information indicating that there is no following vehicle less than the distance threshold to the blurring process control unit 106 as information on the determination result, and then proceeds to step S220. Transition.
In step S220, the blurring process control unit 106 sets the blurring cancellation flag to OFF, ends the series of processes, and returns to the original process. Specifically, a value (for example, “0”) indicating OFF is set (stored) in a region for blurring cancellation flag set in advance in the RAM 12. Here, both the deblurring flags for the left and right side image areas are set to OFF.

(透過表示フラグ設定処理)
次に、ステップS106で行われる透過表示フラグ設定処理の処理手順について説明する。
図7は、透過表示フラグ設定処理の処理手順の一例を示すフローチャートである。
ステップS106において、透過表示フラグ設定処理が開始されると、図7に示すように、まず、ステップS300に移行する。
ステップS300では、透過合成制御部107において、後続車検出部200から後続車の検出結果を示す情報を取得したか否かを判定する。そして、検出結果を示す情報を取得したと判定した場合(Yes)は、ステップS302に移行し、検出結果を示す情報を取得していないと判定した場合(No)は、情報を取得するまで判定処理を繰り返す。
(Transparent display flag setting process)
Next, the process procedure of the transparent display flag setting process performed in step S106 will be described.
FIG. 7 is a flowchart illustrating an example of a processing procedure of the transparent display flag setting process.
In step S106, when the transparent display flag setting process is started, as shown in FIG. 7, first, the process proceeds to step S300.
In step S300, the transmission composition control unit 107 determines whether information indicating the detection result of the subsequent vehicle has been acquired from the subsequent vehicle detection unit 200. If it is determined that the information indicating the detection result is acquired (Yes), the process proceeds to step S302. If it is determined that the information indicating the detection result is not acquired (No), the determination is performed until the information is acquired. Repeat the process.

ステップS302に移行した場合は、透過合成制御部107において、検出結果を示す情報に基づき、自車線後続車を検出したか否かを判定する。そして、自車線後続車を検出したと判定した場合(Yes)は、ステップS304に移行し、自車線後続車を検出しなかったと判定した場合(No)は、ステップS306に移行する。
ステップS304に移行した場合は、透過合成制御部107において、透過表示フラグをオンに設定して、一連の処理を終了して元の処理に復帰する。具体的に、RAM12に予め設定された透過表示フラグ用の領域にオンを示す値(例えば「1」)を設定(格納)する。
一方、ステップS306に移行した場合は、透過合成制御部107において、透過表示フラグをオフに設定して、一連の処理を終了して元の処理に復帰する。具体的に、RAM12に予め設定された透過表示フラグ用の領域にオフを示す値(例えば「0」)を設定(格納)する。
When the process proceeds to step S302, the transmission composition control unit 107 determines whether a vehicle following the own lane is detected based on information indicating the detection result. And when it determines with having detected the own lane succeeding vehicle (Yes), it transfers to step S304, and when it determines with not detecting the own lane succeeding vehicle (No), it transfers to step S306.
When the process proceeds to step S304, the transmission composition control unit 107 sets the transmission display flag to ON, ends the series of processes, and returns to the original process. Specifically, a value (for example, “1”) indicating ON is set (stored) in a region for a transparent display flag set in advance in the RAM 12.
On the other hand, when the process proceeds to step S306, the transmission / combination control unit 107 sets the transmission display flag to OFF, ends the series of processes, and returns to the original process. Specifically, a value (for example, “0”) indicating OFF is set (stored) in a region for a transparent display flag set in advance in the RAM 12.

(動作)
次に、図8〜図10に基づき、本実施形態の車両用後方視界支援装置100の動作を説明する。
図8は、カメラ400によって撮影される右後側方画像の一例を示す模式図である。図9(a)は、右側面画像領域の各分割領域に設定されるぼかし度合の一例を示す模式図であり、(b)〜(d)は、解像度を低下させるぼかし処理を施した画像の一例を示す模式図であり、(e)〜(g)は、ガウシアンぼかしフィルタを用いたぼかし処理を施した画像の一例を示す模式図である。図10(a)〜(d)は、後続車との車間距離に応じた各種画像の表示結果の一例を示す模式図である。
(Operation)
Next, based on FIGS. 8-10, operation | movement of the back view assistance apparatus 100 for vehicles of this embodiment is demonstrated.
FIG. 8 is a schematic diagram illustrating an example of the right rear side image captured by the camera 400. FIG. 9A is a schematic diagram illustrating an example of the degree of blur set in each divided region of the right side image region, and FIGS. 9B to 9D are diagrams of images subjected to blur processing for reducing the resolution. It is a schematic diagram which shows an example, (e)-(g) is a schematic diagram which shows an example of the image which performed the blurring process using the Gaussian blurring filter. FIGS. 10A to 10D are schematic diagrams illustrating examples of display results of various images according to the inter-vehicle distance from the following vehicle.

イグニッションスイッチがONされ、電源がONされると、CPU10において専用のプログラムが実行される。プログラムが実行されると、まず、タイマやカウンタの初期化に加えて、プログラムで用いる各種フラグや変数等が初期化される(S100)。また、初期化処理においては、カメラ400〜404の初期設定も行われる。なお、ここでは、カメラ400〜404は、予め設定された位置に予め設定された角度で配設される。そして、この配設された位置において向きや撮影範囲等を固定した状態で撮影を行う。   When the ignition switch is turned on and the power is turned on, a dedicated program is executed in the CPU 10. When the program is executed, first, in addition to the initialization of the timer and the counter, various flags and variables used in the program are initialized (S100). In the initialization process, the cameras 400 to 404 are also initialized. Here, the cameras 400 to 404 are arranged at preset angles at preset positions. Then, shooting is performed with the orientation, shooting range, and the like fixed at the arranged positions.

初期化処理が終了すると、カメラ群11のカメラ400〜404が撮影動作を開始し、カメラ400による右後側方画像の撮影、カメラ401による左後側方画像の撮影が行われる。また、カメラ402による右後方画像の撮影、カメラ403による左後方画像の撮影、カメラ404による中央後方画像の撮影が行われる(S102)。   When the initialization process is completed, the cameras 400 to 404 of the camera group 11 start the photographing operation, and the camera 400 shoots the right rear side image and the camera 401 shoots the left rear side image. Further, a right rear image is taken by the camera 402, a left rear image is taken by the camera 403, and a central rear image is taken by the camera 404 (S102).

以下、自車両Aを右ハンドル車として動作を説明する。
カメラ群11による撮影が開始されると、車両用後方視界支援装置100は、まず、ぼかし解除フラグ設定処理を実行する(S104)。
ぼかし解除フラグ設定処理が開始されると、他車両検出部105の後続車検出部200は、カメラ群11で撮影された、右後側方画像、左後側方画像、右後方画像、左後方画像及び中央後方画像を取得する(S200)。そして、これら取得した撮影画像に基づき、後続車を検出する処理を実行する(S202)。
Hereinafter, the operation will be described assuming that the host vehicle A is a right-hand drive vehicle.
When shooting by the camera group 11 is started, the vehicular rear view assistance device 100 first executes a blur release flag setting process (S104).
When the blur release flag setting process is started, the succeeding vehicle detection unit 200 of the other vehicle detection unit 105 captures the right rear side image, the left rear side image, the right rear image, and the left rear image captured by the camera group 11. An image and a center rear image are acquired (S200). And based on these acquired picked-up images, the process which detects a following vehicle is performed (S202).

後続車検出部200は、具体的に、予めROM13に記憶されたテンプレートデータを読み出し、読み出したテンプレートデータを用いたマッチング処理によって、撮影画像中の他車両を検出する。ここでは、例えば、図8に示すような、右後側方画像が得られたとする。なお、説明の便宜上、ここでは、撮影画像中に右車線後続車以外の後続車が存在しないこととする。   Specifically, the following vehicle detection unit 200 reads template data stored in the ROM 13 in advance, and detects other vehicles in the captured image by matching processing using the read template data. Here, for example, it is assumed that a right rear side image as shown in FIG. 8 is obtained. For convenience of explanation, it is assumed here that there are no following vehicles other than the right lane following vehicle in the captured image.

従って、図8に示すように、右後側方画像中には後続車が存在する。そのため、後続車検出部200は、テンプレートマッチングによって、この後続車を検出する(S206のYes)。これにより、後続車検出部200は、右車線後続車が検出されたことを示す情報を、車間距離検出部201及び透過合成制御部107にそれぞれ出力する。
車間距離検出部201は、検出結果の情報を受信すると、ROM13に予め記憶されたカメラ400の幾何学的情報(設置位置、設置角度、画角、焦点距離等)と、取得した右後側方画像とに基づき、自車両Aと検出した右車線後続車との車間距離を演算する(S208)。車間距離検出部201は、演算した右車線後続車の車間距離の情報を、車間距離判定部202に出力する(S210)。
Therefore, as shown in FIG. 8, there is a succeeding vehicle in the right rear side image. Therefore, the subsequent vehicle detection unit 200 detects the subsequent vehicle by template matching (Yes in S206). Thereby, the following vehicle detection unit 200 outputs information indicating that the right lane following vehicle has been detected to the inter-vehicle distance detection unit 201 and the transmission composition control unit 107, respectively.
When the inter-vehicle distance detection unit 201 receives the detection result information, the geometric information (installation position, installation angle, angle of view, focal length, etc.) of the camera 400 stored in advance in the ROM 13 and the acquired right rear side Based on the image, the inter-vehicle distance between the host vehicle A and the detected vehicle in the right lane is calculated (S208). The inter-vehicle distance detection unit 201 outputs the calculated inter-vehicle distance information of the vehicle following the right lane to the inter-vehicle distance determination unit 202 (S210).

車間距離判定部202は、車間距離検出部201からの右車線後続車との車間距離を示す情報を受信すると、ROM13に記憶された距離閾値(例えば5[m]とする)を読み出す。そして、読み出した距離閾値と、取得した右車線後続車の車間距離とに基づき、車間距離が距離閾値未満である後続車が存在するか否かを判定する。図8に示す例では、右車線後続車は5[m]以上離れた位置を走行しているため、車間距離判定部202は、距離閾値未満の後続車は存在しないと判定する(S212のYes)。そして、車間距離が5[m]未満の後続車が存在しないことを示す情報を、ぼかし処理制御部106に出力する(S214)。   When the inter-vehicle distance determination unit 202 receives the information indicating the inter-vehicle distance from the vehicle following the right lane from the inter-vehicle distance detection unit 201, the inter-vehicle distance determination unit 202 reads a distance threshold value (for example, 5 [m]) stored in the ROM 13. Then, based on the read distance threshold value and the acquired inter-vehicle distance of the right lane succeeding vehicle, it is determined whether or not there is a succeeding vehicle whose inter-vehicle distance is less than the distance threshold value. In the example shown in FIG. 8, the following vehicle on the right lane is traveling at a position separated by 5 [m] or more, so the inter-vehicle distance determination unit 202 determines that there is no subsequent vehicle that is less than the distance threshold (Yes in S212). ). Then, information indicating that there is no subsequent vehicle having an inter-vehicle distance of less than 5 [m] is output to the blurring process control unit 106 (S214).

これにより、ぼかし処理制御部106は、RAM12の左右側面画像領域用のぼかし解除フラグをオフ(「0」)に設定する(S220)。
このようにしてぼかし解除フラグ設定処理が完了すると、車両用後方視界支援装置100は、次に、透過表示フラグ設定処理を実行する(S106)。
透過表示フラグ設定処理が開始されると、透過合成制御部107は、後続車検出部200から、後続車の検出結果を示す情報を取得したか否かを判定する(S300)。ここでは、右車線後続車のみが検出されたことを示す情報を後続車検出部200から取得することになる(S300のYes)。従って、透過合成制御部107は、自車両Aの走行車線を走行する後続車(自車線後続車)が検出されなかったと判定する(S302のNo)。これにより、透過合成制御部107は、RAM12の透過表示フラグをオフに設定する(S306)。
Thereby, the blurring process control unit 106 sets the blur release flag for the left and right side image areas of the RAM 12 to OFF (“0”) (S220).
When the blur release flag setting process is completed in this way, the vehicle rear vision support apparatus 100 next executes a transparent display flag setting process (S106).
When the transmission display flag setting process is started, the transmission composition control unit 107 determines whether information indicating the detection result of the subsequent vehicle has been acquired from the subsequent vehicle detection unit 200 (S300). Here, information indicating that only the vehicle following the right lane has been detected is acquired from the vehicle following detection unit 200 (Yes in S300). Therefore, the transmission composition control unit 107 determines that the following vehicle (own lane following vehicle) traveling in the traveling lane of the own vehicle A has not been detected (No in S302). As a result, the transmission composition control unit 107 sets the transmission display flag of the RAM 12 to OFF (S306).

このようにして透過表示フラグ設定処理が完了すると、車両用後方視界支援装置100は、側面画像領域検出部101において、右後側方画像及び左後側方画像から、右側面画像領域及び左側面画像領域を検出する(S108)。側面画像領域検出部101は、ここでは、ROM13に予め記憶されている自車両Aの左右側面画像領域のテンプレートデータを読み出し、読み出したテンプレートデータと左右後側方画像とのテンプレートマッチングによって左右後側方画像から左右側面画像領域を検出する。側面画像領域検出部101は、検出した左右側面画像領域の画像データを領域分割部104に出力する。   When the transparent display flag setting processing is thus completed, the vehicular rear view assistance apparatus 100 causes the side image area detection unit 101 to execute the right side image area and the left side surface from the right rear side image and the left rear side image. An image area is detected (S108). Here, the side image area detection unit 101 reads the template data of the left and right side image areas of the host vehicle A stored in the ROM 13 in advance, and the left and right rear sides by template matching between the read template data and the left and right rear side images. The left and right side image areas are detected from the side image. The side image area detecting unit 101 outputs the detected image data of the left and right side image areas to the area dividing unit 104.

一方、消失点検出部102は、左右後側方画像に、左右側面画像領域の延長線と水平線とを設定し、これらの交点を消失点として検出する(S110)。
具体的に、消失点検出部102は、まず、カメラ400〜401で撮影した後側方画像から側面画像領域に沿って自車両Aの進行方向後方(即ち、画像の遠近方向の遠方向)に延長した線の無限遠点を検出する。例えば、カメラ400〜401の撮影軸の向きなどのカメラの設置条件と側面画像領域との位置関係を予めROM13に記憶しておく。そして、現在のカメラの設置条件に対応する位置関係から無限遠点を検出する。または、側面画像領域の近くの路面フロー(オプティカルフロー)から無限遠点を検出する。そして、側面画像領域と無限遠点とを結ぶ直線を演算する。消失点検出部102は、この直線を側面画像領域の延長線として設定する。
On the other hand, the vanishing point detection unit 102 sets an extension line and a horizontal line of the left and right side image regions in the left and right rear side images, and detects an intersection of these as a vanishing point (S110).
Specifically, the vanishing point detection unit 102 first moves backward from the rear side image captured by the cameras 400 to 401 along the side image region in the traveling direction of the host vehicle A (that is, the far direction in the perspective direction of the image). Detect the infinity point of the extended line. For example, the positional relationship between the camera installation conditions such as the direction of the imaging axis of the cameras 400 to 401 and the side image area is stored in the ROM 13 in advance. Then, an infinite point is detected from the positional relationship corresponding to the current camera installation conditions. Alternatively, an infinite point is detected from the road surface flow (optical flow) near the side image area. Then, a straight line connecting the side image region and the infinity point is calculated. The vanishing point detection unit 102 sets this straight line as an extension line of the side image area.

次に、消失点検出部102は、カメラ400〜401で撮影した後側方画像から地平線を検出する。例えば、カメラ400〜401の撮影軸の向きなどのカメラの設置条件と地平線との位置関係を予めROM13に記憶しておく。そして、現在のカメラの設置条件に対応する位置の地平線を設定する。または、自車両Aが、平坦路とみなせる路面勾配の少ない道路(例えば、高速道路など)を走行している場合は、路面と風景との境界を検出して地平線を演算しても良い。   Next, the vanishing point detection unit 102 detects a horizon from a rear side image captured by the cameras 400 to 401. For example, the positional relationship between the camera installation conditions such as the direction of the imaging axes of the cameras 400 to 401 and the horizon is stored in the ROM 13 in advance. And the horizon of the position corresponding to the installation conditions of the present camera is set. Alternatively, when the host vehicle A is traveling on a road with a small road gradient (for example, an expressway) that can be regarded as a flat road, the horizon may be calculated by detecting the boundary between the road surface and the landscape.

上記いずれかの設定方法により、例えば、図8に示すように、右後側方画像に延長線と地平線とを設定する。そして、これらの交点を消失点として検出する。消失点検出部102は、検出した消失点の座標情報と左右側面画像領域の画像データとを消失点距離演算部103に出力する。
消失点距離演算部103は、消失点検出部102からの座標情報と画像データとに基づき、消失点から各側面画像領域の各画素までの距離を演算する(S112)。そして、演算結果を領域分割部104に出力する。
By one of the above setting methods, for example, as shown in FIG. 8, an extension line and a horizon line are set in the right rear side image. These intersections are detected as vanishing points. The vanishing point detection unit 102 outputs the detected vanishing point coordinate information and the image data of the left and right side image regions to the vanishing point distance calculation unit 103.
The vanishing point distance calculation unit 103 calculates the distance from the vanishing point to each pixel in each side image region based on the coordinate information and image data from the vanishing point detection unit 102 (S112). Then, the calculation result is output to the area dividing unit 104.

領域分割部104は、側面画像領域検出部101からの左右側面画像領域の画像データと、消失点距離演算部103からの演算結果とに基づき、左右側面画像領域を画像の遠近方向に複数の領域に分割する。ここでは、図9(a)に示すように、例えば、側面画像領域を第1〜第3の分割領域500〜502の3つの領域に分割する。なお、図9(a)中の503は、側面画像領域以外の画像領域を示す。領域分割部104は、第1〜第3の分割領域500〜502の座標情報を、ぼかし度合設定部300に出力する。   Based on the image data of the left and right side image regions from the side image region detection unit 101 and the calculation result from the vanishing point distance calculation unit 103, the region dividing unit 104 converts the left and right side image regions into a plurality of regions in the perspective direction of the image. Divide into Here, as shown in FIG. 9A, for example, the side image region is divided into three regions of first to third divided regions 500 to 502. Note that reference numeral 503 in FIG. 9A denotes an image area other than the side image area. The area dividing unit 104 outputs the coordinate information of the first to third divided areas 500 to 502 to the blurring degree setting unit 300.

ぼかし度合設定部300は、第1〜第3の分割領域500〜502に対して、消失点からの距離に応じたぼかし度合を設定する(S114)。図9(a)に示すように、消失点と第1〜第3の分割領域との距離は、第1の分割領域500が最も大きく、第2の分割領域501が次に大きく、第3の分割領域502が最も小さい。従って、ぼかし度合設定部300は、図9(a)に色の濃さで示すように、第1の分割領域500に対して最も強いぼかし度合を設定し、第2の分割領域501に対して次に強いぼかし度合を設定する。そして、第3の分割領域502に対して最も弱いぼかし度合を設定する(S116)。なお、図9(a)において、色が濃いほどぼかし度合が強いことを示す。ぼかし度合設定部300は、ぼかし度合の設定内容と左右側面画像領域の画像データとを、ぼかし画像生成部301に出力する。   The blurring degree setting unit 300 sets the blurring degree according to the distance from the vanishing point for the first to third divided regions 500 to 502 (S114). As shown in FIG. 9A, the distance between the vanishing point and the first to third divided areas is the largest in the first divided area 500, the second largest in the second divided area 501, and the third The divided area 502 is the smallest. Therefore, the blurring degree setting unit 300 sets the strongest blurring degree for the first divided area 500 and the second divided area 501 with respect to the second divided area 501 as shown by the color intensity in FIG. Next, set a strong blur level. Then, the weakest blurring degree is set for the third divided region 502 (S116). In FIG. 9A, the darker the color, the stronger the blurring degree. The blurring degree setting unit 300 outputs the setting content of the blurring degree and the image data of the left and right side image areas to the blurred image generation unit 301.

ぼかし画像生成部301は、RAM12に設定されたぼかし解除フラグに基づき、ぼかし解除フラグがオンか否かを判定する(S118)。ここでは、右側面画像領域用のぼかし解除フラグから先に処理を実行する。現在、左右側面画像領域用のぼかし解除フラグは両方ともオフに設定されている。そのため、ぼかし画像生成部301は、右側面画像領域用のぼかし解除フラグがオフに設定されていると判定する(S118のNo)。これにより、ぼかし画像生成部301は、右側面画像領域に対して、ぼかし処理を実施する(S130)。   The blurred image generation unit 301 determines whether or not the blur cancellation flag is on based on the blur cancellation flag set in the RAM 12 (S118). Here, the process is executed first from the blur release flag for the right side image area. Currently, both the deblurring flags for the left and right side image areas are set to off. Therefore, the blurred image generation unit 301 determines that the blur release flag for the right side image area is set to OFF (No in S118). As a result, the blurred image generation unit 301 performs a blurring process on the right side image region (S130).

具体的に、ぼかし画像生成部301は、ぼかし度合設定部300で設定されたぼかし度合と、予め設定されたぼかし処理の処理方法とに従って、右側面画像領域に対してぼかし処理を実施する。例えば、解像度を低下させるぼかし処理方法が設定されている場合、図9(b)に示すように、第1の分割領域500に対して、最も解像度を低くするぼかし処理を施し、第1の低解像度ぼかし領域504を生成する。次に、図9(c)に示すように、第2の分割領域501に対して、二番目に解像度が低くなるぼかし処理を施し、第2の低解像度ぼかし領域505を生成する。最後に、図9(d)に示すように、第3の分割領域502に対して、三番目に解像度が低くなるぼかし処理を施し、第3の低解像度ぼかし領域506を生成する。   Specifically, the blurred image generation unit 301 performs a blurring process on the right side image area according to the blurring degree set by the blurring degree setting unit 300 and a preset blurring processing method. For example, when the blurring processing method for reducing the resolution is set, as shown in FIG. 9B, blurring processing for lowering the resolution is performed on the first divided region 500 to obtain the first low A resolution blur region 504 is generated. Next, as shown in FIG. 9C, the second divided area 501 is subjected to a blurring process that lowers the resolution second, thereby generating a second low-resolution blur area 505. Finally, as shown in FIG. 9D, the third divided area 502 is subjected to a blurring process that lowers the resolution third, thereby generating a third low-resolution blur area 506.

一方、ぼかし画像生成部301は、ガウシアンぼかしフィルタを用いたぼかし処理方法が設定されている場合、図9(e)に示すように、第1の分割領域500に対して、最もぼかし度合を大きくしたガウシアンぼかしフィルタを用いてぼかし処理を施し、第1のガウシアンぼかし領域507を生成する。次に、図9(f)に示すように、第2の分割領域501に対して、二番目にぼかし度合を大きくしたガウシアンぼかしフィルタを用いてぼかし処理を施し、第2のガウシアンぼかし領域508を生成する。最後に、図9(g)に示すように、第3の分割領域502に対して、最もぼかし度合を小さくしたガウシアンぼかしフィルタを用いてぼかし処理を施し、第3のガウシアンぼかし領域509を生成する。   On the other hand, when the blurring processing method using the Gaussian blurring filter is set, the blurring image generation unit 301 has the highest blurring degree with respect to the first divided region 500 as shown in FIG. The first Gaussian blurring region 507 is generated by performing blurring processing using the Gaussian blurring filter. Next, as shown in FIG. 9 (f), the second divided region 501 is subjected to blurring processing using a Gaussian blurring filter having the second largest blurring degree, so that the second Gaussian blurring region 508 is obtained. Generate. Finally, as shown in FIG. 9G, the third divided region 502 is subjected to blurring processing using a Gaussian blur filter with the smallest blurring degree to generate a third Gaussian blur region 509. .

なお、左側面画像領域に対しても同様のぼかし処理を実施する。
次に、ぼかし画像生成部301は、RAM12に設定された透過表示フラグに基づき、透過表示フラグがオンか否かを判定する(S132)。ぼかし画像生成部301は、現在、透過表示フラグがオフに設定されているので(S132のNo)、ぼかし右側面画像領域データを通常合成部303に出力する(S138)。ここでは、ぼかし右側面画像領域データは、第1〜第3の低解像度ぼかし領域504〜506の画像データから構成される低解像度ぼかし右側面画像領域データとなる。または、第1〜第3のガウシアンぼかし領域507〜509の画像データから構成されるガウシアンぼかし右側面画像領域データとなる。ぼかし画像生成部301は、これらのうちいずれか一方を通常合成部303に出力する。
The same blurring process is performed on the left side image region.
Next, the blurred image generation unit 301 determines whether or not the transmissive display flag is on based on the transmissive display flag set in the RAM 12 (S132). Since the transparent display flag is currently set to OFF (No in S132), the blurred image generation unit 301 outputs the blurred right side image area data to the normal composition unit 303 (S138). Here, the blurred right side image area data is low resolution blurred right side image area data composed of the image data of the first to third low resolution blurred areas 504 to 506. Or it becomes Gaussian blur right side image area data composed of image data of the first to third Gaussian blur areas 507 to 509. The blurred image generation unit 301 outputs one of these to the normal synthesis unit 303.

通常合成部303は、ぼかし画像生成部301から、低解像度ぼかし右側面画像領域データを取得した場合は、この画像データを、右後側方画像データに合成する(S140)。これにより、通常合成部303は、図10(a)に示すように、右後側方画像における右側面画像領域が、第1〜第3の低解像度ぼかし領域504〜506から構成される低解像度ぼかし右側面画像領域に置き換えられた通常合成画像を生成する。   When the normal combining unit 303 acquires the low resolution blurred right side image area data from the blurred image generating unit 301, the normal combining unit 303 combines this image data with the right rear side image data (S140). Thereby, the normal synthesizing unit 303 has a low resolution in which the right side image area in the right rear side image is composed of the first to third low resolution blur areas 504 to 506 as shown in FIG. A normal composite image replaced with the blurred right side image area is generated.

一方、通常合成部303は、ぼかし画像生成部301から、ガウシアンぼかし右側面画像領域データを取得した場合は、この画像データを、右後側方画像データに合成する(S140)。これにより、通常合成部303は、図10(b)に示すように、右後側方画像における右側面画像領域が、第1〜第3のガウシアンぼかし領域507〜509から構成される低解像度ぼかし右側面画像領域に置き換えられた通常合成画像を生成する。
通常合成部303は、生成した通常合成画像を左右反転した画像の画像表示信号を生成し、生成した画像表示信号をモニタ405に出力する。
なお、左後側方画像に対しても同様の通常合成処理を実施する。
上記各フラグの設定内容が同じ間は、上記同様の処理が繰り返し実施される。
On the other hand, when the normal combining unit 303 acquires the Gaussian blurred right side image area data from the blurred image generating unit 301, the normal combining unit 303 combines this image data with the right rear side image data (S140). Thereby, the normal synthesizing unit 303 performs low-resolution blurring in which the right side image area in the right rear side image includes first to third Gaussian blurring areas 507 to 509 as shown in FIG. A normal composite image replaced with the right side image area is generated.
The normal combining unit 303 generates an image display signal of an image obtained by horizontally inverting the generated normal combined image, and outputs the generated image display signal to the monitor 405.
A similar normal composition process is performed on the left rear side image.
While the setting contents of the respective flags are the same, the same processing as described above is repeatedly performed.

次に、上記検出された右車線後続車が、距離閾値未満となる距離まで接近した場合の動作を説明する。
この場合、車間距離判定部202において、車間距離が距離閾値未満の後続車が存在すると判定される(S212のYes)。車間距離判定部202は、距離閾値未満の後続車が存在する判定結果を示す情報を、ぼかし処理制御部106に出力する(S214)。
ぼかし処理制御部106は、車間距離判定部202からの距離閾値未満の後続車が存在する判定結果を示す情報を取得すると、RAM12のぼかし解除フラグをオンに設定する(S216)。
なお、ここでは、自車線後続車が検出されず、透過合成制御部107によって、透過表示フラグがオフに設定されたとする(S306)。
Next, the operation when the detected vehicle following the right lane approaches a distance that is less than the distance threshold will be described.
In this case, the inter-vehicle distance determination unit 202 determines that there is a following vehicle having an inter-vehicle distance less than the distance threshold (Yes in S212). The inter-vehicle distance determination unit 202 outputs information indicating the determination result that there is a subsequent vehicle less than the distance threshold to the blurring process control unit 106 (S214).
When the blurring process control unit 106 acquires information indicating a determination result indicating that there is a subsequent vehicle less than the distance threshold from the inter-vehicle distance determination unit 202, the blurring process control unit 106 sets the blur cancellation flag of the RAM 12 to ON (S216).
Here, it is assumed that the vehicle following the own lane is not detected and the transmission display flag is set to OFF by the transmission composition control unit 107 (S306).

引き続き、上記同様に、側面画像領域の検出処理、消失点の検出処理、消失点からの距離の演算処理、領域分割処理、ぼかし度合の設定処理が行われる(S108〜S116)。
ここで、カメラ群11として、固定カメラを用いる場合は、側面画像領域の検出処理、消失点の検出処理、消失点からの距離の演算処理、領域分割処理、ぼかし度合の設定処理を、電源ONの後に1回だけ行い、各処理結果をRAM12に記憶しておく。そして、ぼかし画像生成部301において、RAM12に記憶された各処理結果を繰り返し用いるように構成することも可能である。
Subsequently, as described above, side image area detection processing, vanishing point detection processing, distance calculation processing from the vanishing point, region division processing, and blurring degree setting processing are performed (S108 to S116).
Here, when a fixed camera is used as the camera group 11, the side image area detection process, the vanishing point detection process, the distance calculation process from the vanishing point, the area division process, and the blurring degree setting process are turned on. After that, each processing result is stored in the RAM 12. The blurred image generation unit 301 can be configured to repeatedly use each processing result stored in the RAM 12.

次に、ぼかし画像生成部301は、ぼかし解除フラグがオンになっており(S118のYes)、かつ透過表示フラグがオフになっているので(S120のNo)、ぼかし度合設定部300からの右側面画像領域データの画像に対して実施していたぼかし処理を停止する。そして、ぼかし画像生成部301は、ぼかし処理を施していない鮮明右側面画像領域データを通常合成部303に出力する。
通常合成部303は、ぼかし画像生成部301から、鮮明右側面画像領域データを取得すると、この画像データを、右後側方画像データに合成する。
これにより、図10(c)に示すように、図10(a)又は(b)の通常合成画像において右側面画像領域に施されているぼかし処理が解除され、右側面画像領域がぼけていない通常合成画像を生成する。
Next, the blurred image generation unit 301 has the blur release flag turned on (Yes in S118) and the transparent display flag is turned off (No in S120). The blurring process performed on the image of the plane image area data is stopped. Then, the blurred image generation unit 301 outputs the clear right side image area data that has not been subjected to the blurring process to the normal synthesis unit 303.
When the normal combining unit 303 acquires the clear right side image area data from the blurred image generation unit 301, the normal combining unit 303 combines this image data with the right rear side image data.
As a result, as shown in FIG. 10C, the blurring processing applied to the right side image area in the normal composite image of FIG. 10A or 10B is canceled, and the right side image area is not blurred. A normal composite image is generated.

通常合成部303は、生成した通常合成画像を左右反転した画像の画像表示信号を生成し、生成した画像表示信号をモニタ405に出力する。
なお、ここでは、ぼかし解除フラグがオンの場合、後側方画像データに対して鮮明側面画像領域データを合成する構成としたが、この構成に限らない。後側方画像データに対して鮮明側面画像領域データを合成せずに、カメラ400〜401から取得した後側方画像をそのまま用いる構成としてもよい。
The normal combining unit 303 generates an image display signal of an image obtained by horizontally inverting the generated normal combined image, and outputs the generated image display signal to the monitor 405.
Here, when the blur release flag is on, the configuration is such that the clear side image area data is combined with the rear side image data, but the configuration is not limited thereto. It is good also as a structure which uses the back side image acquired from the cameras 400-401 as it is, without synthesize | combining clear side image area data with back side image data.

次に、自車線後続車が検出された場合の動作を説明する。
この場合、後続車検出部200は、自車線後続車が検出されたことを示す情報を含む検出結果の情報を、透過合成制御部107に出力する(S214)。
これにより、透過合成制御部107は、自車線後続車が検出されたと判定し(S302のYes)、透過表示フラグをオンに設定する(S304)。
なお、ここでは、ぼかし解除フラグはオフに設定されているとする。
ぼかし画像生成部301は、ぼかし解除フラグがオフに設定されているので(S118のNo)、側面画像領域にぼかし処理を実施する(S130)。
Next, an operation when a vehicle following the own lane is detected will be described.
In this case, the succeeding vehicle detection unit 200 outputs information on a detection result including information indicating that the own lane following vehicle has been detected to the transmission composition control unit 107 (S214).
Thereby, the transmission composition control unit 107 determines that the vehicle following the own lane has been detected (Yes in S302), and sets the transmission display flag to ON (S304).
Here, it is assumed that the blur release flag is set to off.
Since the blur removal flag is set to OFF (No in S118), the blurred image generation unit 301 performs the blurring process on the side image region (S130).

次に、ぼかし画像生成部301は、透過表示フラグがオンに設定されているので(S132のYes)、ぼかし側面画像領域データを、透過合成部304に出力する(S134)。
透過合成部304は、ぼかし画像生成部301からのぼかし側面画像領域データの画像(以下、ぼかし側面画像領域と称す)と、後方画像データの画像における側面画像領域に対応する位置の画像領域(対応画像領域)とを透過合成する(S136)。
Next, since the transparent display flag is set to ON (Yes in S132), the blurred image generation unit 301 outputs the blurred side image area data to the transparent composition unit 304 (S134).
The transmission composition unit 304 includes an image of the blurred side image region data (hereinafter referred to as a blurred side image region) from the blurred image generation unit 301 and an image region (corresponding to the side image region in the image of the rear image data). The image region is transmitted and synthesized (S136).

具体的に、右側面画像領域を例に挙げると、透過合成部304は、対応画像領域が、予め設定した透過率p(例えば、p=50[%])でぼかし右側面画像領域に対して透過表示されるように画像合成を行う。次に、透過合成後のぼかし右側面画像領域(以下、ぼかし透過右側面画像領域と称す)を、右後側方画像に合成する。透過合成は、間引き合成を用いてもよいし、αブレンディングを用いてもよい。
これにより、図10(d)に示すように、ぼかし右側面画像領域に対して、右後方画像におけるぼかし右側面画像領域に対応する位置の画像領域が透過率pで透過表示される。図10(d)の例では、自車線後続車が対応画像領域に含まれるため、自車線後続車が透過表示される。
Specifically, taking the right side image area as an example, the transmission composition unit 304 determines that the corresponding image area is blurred with a preset transmittance p (for example, p = 50 [%]) with respect to the right side image area. Image composition is performed so that it is transparently displayed. Next, the blurred right side image area after transmission composition (hereinafter referred to as the blurred transmission right side image area) is combined with the right rear side image. For the transparent synthesis, thinning synthesis may be used, or α blending may be used.
As a result, as shown in FIG. 10D, the image region at the position corresponding to the blurred right side image region in the right rear image is transparently displayed with the transmittance p with respect to the blurred right side image region. In the example of FIG. 10D, since the own lane following vehicle is included in the corresponding image area, the own lane following vehicle is transparently displayed.

ここで、上記説明において、カメラ400〜401は、後側方画像撮影部を構成する。カメラ402〜403は、後方画像撮影部を構成する。モニタ405〜409は、表示手段を構成する。側面画像領域検出部101は、側面画像領域検出手段を構成する。消失点検出部102は、消失点検出手段を構成する。消失点距離演算部103は、消失点距離演算手段を構成する。領域分割部104は、領域分割手段を構成する。後続車検出部200は、後続車検出手段を構成する。車間距離検出部105は、車間距離検出手段を構成する。車間距離判定部202は、車間距離判定手段を構成する。ぼかし処理制御部106は、ぼかし処理制御手段を構成する。ぼかし処理部108は、ぼかし処理手段を構成する。   Here, in the above description, the cameras 400 to 401 constitute a rear side image photographing unit. The cameras 402 to 403 constitute a rear image photographing unit. The monitors 405 to 409 constitute display means. The side image area detection unit 101 constitutes a side image area detection unit. The vanishing point detecting unit 102 constitutes a vanishing point detecting unit. The vanishing point distance calculation unit 103 constitutes a vanishing point distance calculation unit. The area dividing unit 104 constitutes an area dividing unit. The subsequent vehicle detection unit 200 constitutes a subsequent vehicle detection unit. The inter-vehicle distance detection unit 105 constitutes inter-vehicle distance detection means. The inter-vehicle distance determination unit 202 constitutes an inter-vehicle distance determination unit. The blur processing control unit 106 constitutes a blur processing control unit. The blur processing unit 108 constitutes a blur processing unit.

(本実施形態の効果)
本実施形態は、次のような効果を奏する。
(1)自車両Aに搭載されたカメラ400〜401が、自車両Aの側面部分の一部を撮影範囲に含む自車両Aの後側方の領域の画像である後側方画像を撮影する。ぼかし処理部108が、カメラ400〜401で撮影した後側方画像のうち側面部分の一部を含む画像領域である側面画像領域に対して画像をぼかす処理であるぼかし処理を実施する。後続車検出部200が、カメラ400〜401で撮影した後側方画像に基づき当該後側方画像内に含まれる、自車両Aの走行車線に隣接する隣接車線を走行する後続車を検出する。車間距離検出部201が、後続車検出部200の検出結果に基づき後続車を検出したと判定すると、検出した後続車と自車両Aとの車間距離を検出する。車間距離判定部202が、車間距離検出部201の検出結果に基づき車間距離が予め設定した距離閾値未満であるか否かを判定する。ぼかし処理制御部106が、車間距離判定部202の判定結果に基づき、後続車との車間距離が距離閾値以上であると判定するとぼかし処理部108にぼかし処理を実施させ、後続車との車間距離が距離閾値未満であると判定するとぼかし処理部108にぼかし処理を停止させる。モニタ405(407)〜406(408)が、ぼかし処理部108がぼかし処理を実施しているときに側面画像領域にぼかし処理の施された後側方画像を表示し、ぼかし処理部108がぼかし処理を停止しているときに側面画像領域にぼかし処理の施されていない後側方画像を表示する。
(Effect of this embodiment)
This embodiment has the following effects.
(1) The cameras 400 to 401 mounted on the host vehicle A capture a rear side image that is an image of a rear side region of the host vehicle A including a part of the side surface portion of the host vehicle A in the shooting range. . The blurring processing unit 108 performs a blurring process that is a process of blurring an image on a side image area that is an image area including a part of the side surface portion of the rear side images captured by the cameras 400 to 401. The subsequent vehicle detection unit 200 detects a subsequent vehicle traveling in an adjacent lane adjacent to the traveling lane of the host vehicle A, which is included in the rear side image based on the rear side images captured by the cameras 400 to 401. When the inter-vehicle distance detection unit 201 determines that the subsequent vehicle is detected based on the detection result of the subsequent vehicle detection unit 200, the inter-vehicle distance between the detected subsequent vehicle and the host vehicle A is detected. The inter-vehicle distance determination unit 202 determines whether the inter-vehicle distance is less than a preset distance threshold based on the detection result of the inter-vehicle distance detection unit 201. When the blurring process control unit 106 determines that the inter-vehicle distance with the following vehicle is equal to or greater than the distance threshold based on the determination result of the inter-vehicle distance determining unit 202, the blurring processing unit 108 performs the blurring process, and the inter-vehicle distance with the following vehicle Is determined to be less than the distance threshold, the blurring processing unit 108 stops the blurring process. The monitors 405 (407) to 406 (408) display the rear side image subjected to the blurring process in the side image area when the blurring processing unit 108 is performing the blurring process, and the blurring processing unit 108 blurs the image. When the process is stopped, a rear side image not subjected to the blurring process is displayed in the side image area.

自車両Aと後続車との車間距離が距離閾値以上の場合にぼかし処理を実施し、側面画像領域にぼかし処理の施された後側方画像を表示する。一方、自車両Aと後続車との車間距離が距離閾値未満の場合にぼかし処理を停止し、側面画像領域にぼかし処理の施されていない後側方画像を表示するようにした。つまり、後続車との車間距離が距離閾値以上の場合に、人間の目における遠方注視による近景のぼやけと同じ視覚効果を有するぼかし処理の施された後側方画像を表示する。一方、後続車との車間距離が距離閾値未満の場合は、後続車と近い被写界深度にある側面画像領域もピントが合った状態となる。従って、後続車との車間距離が距離閾値未満の場合に、側面画像領域にぼかし処理の施されていない後側方画像を表示する。このように、後続車の接近に伴ってぼかし処理を解除することで、ドアミラー相当の距離感の知覚を再現する事が出来る。これにより、ドライバが、後側方画像内における注意対象物に視線を向け易く、かつ注意対象物との距離感を知覚し易い画像表示を行うことが可能となる。   When the inter-vehicle distance between the host vehicle A and the following vehicle is equal to or greater than the distance threshold, the blurring process is performed, and the rear side image subjected to the blurring process is displayed in the side image area. On the other hand, when the inter-vehicle distance between the host vehicle A and the following vehicle is less than the distance threshold, the blurring process is stopped, and a rear side image that is not subjected to the blurring process is displayed in the side image area. That is, when the inter-vehicle distance with the following vehicle is equal to or greater than the distance threshold, the rear side image subjected to the blurring process having the same visual effect as the blurring of the near view due to the distant gaze in the human eye is displayed. On the other hand, when the inter-vehicle distance with the following vehicle is less than the distance threshold value, the side image region at the depth of field close to the following vehicle is also in focus. Therefore, when the inter-vehicle distance with the following vehicle is less than the distance threshold, the rear side image that is not subjected to the blurring process is displayed in the side image region. In this way, the perception of distance equivalent to a door mirror can be reproduced by canceling the blurring process as the following vehicle approaches. This makes it possible for the driver to display an image that makes it easy to direct the line of sight to the attention object in the rear side image and to perceive a sense of distance from the attention object.

(2)側面画像領域検出部101が、カメラ400〜401で撮影した後側方画像から側面画像領域を検出する。ぼかし処理部108が、側面画像領域検出部101で検出した側面画像領域に対してぼかし処理を実施し、ぼかし処理を施した側面画像領域をカメラ400〜401で撮影した後側方画像に合成する。
これにより、車種毎にカメラ400〜401の設置位置が異なる場合や、カメラの設置角度を変更できる場合などでも、撮影した後側方画像から側面画像領域を検出することができる。従って、プログラムやデータ変更等することなく同じ装置で様々な状況に対応することが可能となる。
(2) The side image area detection unit 101 detects a side image area from a rear side image captured by the cameras 400 to 401. The blur processing unit 108 performs blur processing on the side image region detected by the side image region detection unit 101, and combines the side image region subjected to the blur processing with the rear side image captured by the cameras 400 to 401. .
Thereby, even when the installation positions of the cameras 400 to 401 are different for each vehicle type, or when the installation angle of the camera can be changed, the side image area can be detected from the captured rear side image. Therefore, it is possible to deal with various situations with the same apparatus without changing programs or data.

(3)自車両Aに搭載されたカメラ402〜403が、カメラ400〜401による後側方画像の撮影において自車両Aの側面部分の一部によって死角となる領域を含む車両後方の領域の画像を撮影する。後続車検出部200が、隣接車線を走行する後続車に加えて、後方画像の画像領域内に含まれる自車両Aの走行車線を走行する後続車を検出する。ぼかし処理部108が、後続車検出部200の検出結果に基づき走行車線を走行する後続車を検出したと判定すると、後側方画像における側面画像領域と、後方画像における側面画像領域に対応する位置の画像領域とを、当該画像領域を予め設定した半透明となる透過率で側面画像領域に対して透過表示可能に合成する。 (3) An image of an area behind the vehicle including an area where the cameras 402 to 403 mounted on the own vehicle A are blind spots due to a part of the side surface portion of the own vehicle A when the rear images are captured by the cameras 400 to 401. Shoot. The succeeding vehicle detection unit 200 detects a succeeding vehicle traveling in the traveling lane of the host vehicle A included in the image area of the rear image in addition to the following vehicle traveling in the adjacent lane. When it is determined that the blur processing unit 108 has detected a succeeding vehicle traveling in the traveling lane based on the detection result of the following vehicle detection unit 200, the position corresponding to the side image region in the rear side image and the side image region in the rear image. The image area is synthesized so that the image area can be displayed in a transmissive manner with respect to the side image area with a translucent transmittance that is set in advance.

これにより、自車両Aの側面画像領域によって死角となる自車両Aの走行車線に後続車が存在する場合に、後方画像における後続車を含む画像領域を側面画像領域に対して透過表示することができる。従って、自車両Aの走行車線を走行する後続車をドライバが知覚し易くすることが可能となる。また、側面画像領域を半透明にして透過表示することで後続車との距離感もドライバに直感的に解りやすくすることが可能となる。   Thus, when there is a succeeding vehicle in the traveling lane of the own vehicle A that becomes a blind spot by the side image region of the own vehicle A, the image region including the following vehicle in the rear image can be displayed transparently with respect to the side image region. it can. Therefore, the driver can easily perceive the following vehicle traveling in the traveling lane of the host vehicle A. Further, by making the side image area translucent and transparently displaying, it becomes possible for the driver to easily understand the sense of distance from the following vehicle.

(4)領域分割部104が、側面画像領域を画像の遠近方向に複数の領域に分割する。ぼかし処理部108が、領域分割部104で分割した複数の領域に対して遠近方向に段階的にぼかし度合いを変化させたぼかし処理を実施する。
これにより、例えば、側面画像領域における遠くにある部分ほどぼかし度合を弱くし、近くにある部分ほどぼかし度合を強くすることで、後側方画像中の注意対象物との距離感を強調することが可能となる。
(4) The area dividing unit 104 divides the side image area into a plurality of areas in the perspective direction of the image. The blurring processing unit 108 performs a blurring process in which the blurring degree is changed stepwise in the perspective direction with respect to the plurality of regions divided by the region dividing unit 104.
This enhances the sense of distance from the target object in the rear side image by, for example, reducing the blurring degree in the farther part of the side image area and increasing the blurring degree in the closer part. Is possible.

(5)消失点検出部102が、カメラ400〜401で撮影した後側方画像から消失点を検出する。消失点距離演算部103が、後側方画像中における消失点検出部102で検出した消失点と側面画像領域との距離を演算する。ぼかし処理部108が、消失点距離演算部103で演算した距離に基づき、側面画像領域に対するぼかし処理のぼかし度合いを、消失点との距離が大きい領域部分ほど強くし、消失点との距離が小さい領域部分ほど弱くする。
つまり、消失点に近い側面画像領域部分ほどより小さくぼやけ、消失点から遠い側面画像領域部分ほどより大きくぼやける画像を表示する。これにより、後側方画像中の注意対象物との距離感を強調することが可能となる。
(5) The vanishing point detection unit 102 detects the vanishing point from the rear side image captured by the cameras 400 to 401. The vanishing point distance calculation unit 103 calculates the distance between the vanishing point detected by the vanishing point detection unit 102 in the rear side image and the side image area. Based on the distance calculated by the vanishing point distance calculating unit 103 by the blurring processing unit 108, the blurring degree of the blurring processing for the side image region is increased in the region portion where the distance from the vanishing point is large, and the distance from the vanishing point is small. Make the area weaker.
That is, the side image region portion closer to the vanishing point is displayed with a smaller blur and the side image region portion farther from the vanishing point is displayed with a larger blur. Thereby, it becomes possible to emphasize a sense of distance from the attention object in the rear side image.

(6)ぼかし処理部108が、モニタ405(407)〜406(408)の設置位置と自車両Aの側面部分の一部との間の距離に応じて、複数の領域における、設置位置に近い側面部分に対応する領域ほどぼかし度合いを強くし、設置位置から遠い側面部分に対応する領域ほどぼかし度合いを弱くする。
つまり、モニタ405(407)〜406(408)の設置位置に近い側面画像領域部分ほどより大きくぼやけ、405(407)〜406(408)の設置位置から遠い側面画像領域部分ほどより小さくぼやける画像を表示する。これにより、後側方画像中の注意対象物との距離感を強調することが可能となる。
(6) The blurring processing unit 108 is close to the installation position in a plurality of areas according to the distance between the installation position of the monitors 405 (407) to 406 (408) and a part of the side surface portion of the host vehicle A. The blurring degree is increased as the region corresponding to the side surface portion, and the blurring degree is decreased as the region corresponding to the side portion far from the installation position.
That is, the side image area portion closer to the installation position of the monitors 405 (407) to 406 (408) is more blurred, and the side image area portion farther from the installation position of 405 (407) to 406 (408) is more blurred. indicate. Thereby, it becomes possible to emphasize a sense of distance from the attention object in the rear side image.

(第2実施形態)
次に、本発明の第2実施形態を図面に基づき説明する。図11〜図14は、本発明に係る車両用後方視界支援装置及び車両用後方視界支援方法の第2実施形態を示す図である。
本実施形態は、自車両Aの備える変速機が後退(R)ポジションにシフトチェンジしたときに、側面画像領域に対するぼかし処理を停止する。加えて、この後側方画像における側面画像領域に対して後方画像の対応画像領域を透過表示する透過合成を行う。そして、この透過合成した後側方画像をモニタに表示する点が上記第1実施形態と異なる。
以下、上記第1実施形態と同様の構成部については同じ符号を付して適宜説明を省略し、異なる部分を詳細に説明する。
(Second Embodiment)
Next, 2nd Embodiment of this invention is described based on drawing. FIGS. 11-14 is a figure which shows 2nd Embodiment of the vehicle back view assistance apparatus and vehicle back view assistance method which concern on this invention.
In the present embodiment, the blurring process on the side image area is stopped when the transmission included in the host vehicle A is shift-changed to the reverse (R) position. In addition, a transparent composition for transparently displaying the corresponding image region of the rear image is performed on the side image region in the rear side image. The difference from the first embodiment is that the rear side image that has been transparently combined is displayed on the monitor.
Hereinafter, the same components as those in the first embodiment are denoted by the same reference numerals, description thereof will be omitted as appropriate, and different portions will be described in detail.

(構成)
図11は、本実施形態の車両用後方視界支援装置100の機能構成の一例を示すブロック図である。
本実施形態の車両用後方視界支援装置100は、上記第1実施形態の車両用後方視界支援装置100にインヒビタースイッチ(以下、インヒビターSWと称す)15を追加した構成となる。
更に、図11に示すように、上記第1実施形態の車両用後方視界支援装置100の機能構成部に、後退(R)ポジション検出部109を追加した構成となる。
(Constitution)
FIG. 11 is a block diagram illustrating an example of a functional configuration of the vehicular rear view assistance device 100 of the present embodiment.
The vehicle rear view assistance device 100 of the present embodiment has a configuration in which an inhibitor switch (hereinafter referred to as an inhibitor SW) 15 is added to the vehicle rear view assistance device 100 of the first embodiment.
Further, as shown in FIG. 11, the backward (R) position detection unit 109 is added to the functional configuration unit of the vehicular rear view assistance device 100 of the first embodiment.

インヒビターSW15は、自車両Aの備えるシフトレバー(不図示)に配設され、シフトレバーの動きに合わせて動く軸と各ギヤに対応する接点金具とを有する。インヒビターSW15は、各ギヤと接点金具との導通の有無(例えば、12[V]電圧の有無)を検出することで、自車両Aの備える変速機(不図示)のシフトポジションを検出する。インヒビターSW15は、検出信号をCPU10に入力する。   The inhibitor SW15 is disposed on a shift lever (not shown) provided in the host vehicle A, and has a shaft that moves in accordance with the movement of the shift lever and a contact fitting corresponding to each gear. The inhibitor SW15 detects the shift position of a transmission (not shown) provided in the host vehicle A by detecting the presence / absence of conduction between each gear and the contact fitting (for example, the presence / absence of a 12 [V] voltage). Inhibitor SW15 inputs a detection signal to CPU10.

Rポジション検出部109は、インヒビターSW15からの検出信号に基づき、自車両Aの備える変速機のシフトポジションがRポジションにシフトチェンジしたか否かを検出する。Rポジション検出部109は、検出結果の情報を、後続車検出部200と、ぼかし処理制御部106と、透過合成制御部107とにそれぞれ出力する。
ぼかし処理制御部106は、上記第1実施形態の処理に加えて、Rポジション検出部109からの検出結果の情報に基づき、シフトポジションがRポジションにシフトチェンジしたと判定すると、ぼかし解除フラグをオンに設定する。
透過合成制御部107は、上記第1実施形態の処理に加えて、Rポジション検出部109からの検出結果の情報に基づき、シフトポジションがRポジションにシフトチェンジしたと判定すると、透過表示フラグをオンに設定する。
The R position detection unit 109 detects whether or not the shift position of the transmission included in the host vehicle A has been shifted to the R position based on the detection signal from the inhibitor SW15. The R position detection unit 109 outputs detection result information to the subsequent vehicle detection unit 200, the blurring processing control unit 106, and the transmission composition control unit 107, respectively.
If the blurring process control unit 106 determines that the shift position has been shifted to the R position based on the detection result information from the R position detection unit 109 in addition to the process of the first embodiment, the blurring process cancellation flag is turned on. Set to.
If the transmission composition control unit 107 determines that the shift position is shifted to the R position based on the detection result information from the R position detection unit 109 in addition to the processing of the first embodiment, the transmission display flag is turned on. Set to.

(ぼかし解除フラグ設定処理)
次に、図12に基づき、本実施形態のぼかし解除フラグ設定処理の処理手順を説明する。図12は、本実施形態のぼかし解除フラグ設定処理の処理手順の一例を示すフローチャートである。
ステップS104においてぼかし解除フラグ設定処理が実行されると、まず、ステップS400に移行する。
ステップS400では、Rポジション検出部109において、インヒビターSW15からのシフトポジションの検出信号を受信して、ステップS402に移行する。
(Deblurring flag setting process)
Next, based on FIG. 12, the processing procedure of the deblurring flag setting processing of this embodiment will be described. FIG. 12 is a flowchart illustrating an example of a processing procedure of the blur release flag setting process according to the present embodiment.
When the blur removal flag setting process is executed in step S104, first, the process proceeds to step S400.
In step S400, the R position detection unit 109 receives the shift position detection signal from the inhibitor SW15, and the process proceeds to step S402.

ステップS402では、Rポジション検出部109において、ステップS400で受信した検出信号に基づき、検出信号がRポジションを示す信号か否かを判定する。そして、Rポジションを示す信号であると判定した場合(Yes)は、ステップS404に移行し、Rポジションを示す信号ではないと判定した場合(No)は、ステップS408に移行する。
ステップS404に移行した場合は、Rポジション検出部109において、Rポジションへのシフトチェンジが検出されたことを示す情報を、後続車検出部200、ぼかし処理制御部106及び透過合成制御部107にそれぞれ出力する。その後、ステップS406に移行する。
In step S402, the R position detection unit 109 determines whether the detection signal is a signal indicating the R position based on the detection signal received in step S400. When it is determined that the signal indicates the R position (Yes), the process proceeds to step S404. When it is determined that the signal does not indicate the R position (No), the process proceeds to step S408.
When the process proceeds to step S404, the R position detection unit 109 transmits information indicating that the shift change to the R position is detected to the subsequent vehicle detection unit 200, the blurring processing control unit 106, and the transmission composition control unit 107, respectively. Output. Thereafter, the process proceeds to step S406.

ステップS406では、ぼかし処理制御部106において、Rポジション検出部109からのRポジションにシフトチェンジされたことを示す情報に応じてぼかし解除フラグをオンに設定し、一連の処理を終了して元の処理に復帰する。
一方、ステップS402において、Rポジションを示す信号ではないと判定しステップS408に移行した場合は、Rポジション検出部109において、Rポジションへのシフトチェンジが検出されなかったことを示す情報を、後続車検出部200、ぼかし処理制御部106及び透過合成制御部107にそれぞれ出力する。
In step S406, the blurring processing control unit 106 sets the blurring cancellation flag to ON according to the information indicating that the R position detection unit 109 has shifted to the R position, ends a series of processing, and returns to the original processing. Return to processing.
On the other hand, if it is determined in step S402 that the signal is not indicative of the R position and the process proceeds to step S408, the R position detection unit 109 obtains information indicating that a shift change to the R position has not been detected. The data are output to the output unit 200, the blur processing control unit 106, and the transmission composition control unit 107, respectively.

ステップS410では、後続車検出部200において、Rポジション検出部109からのRポジションが検出されなかったことを示す情報に応じて、カメラ群11から、カメラ400〜404からの各種撮影画像データを取得する。その後、ステップS412に移行する。
なお、以降のステップS412〜S430の処理は、上記第1実施形態のステップS202〜S224の処理と同様となるので記載を省略する。
In step S410, the following vehicle detection unit 200 acquires various captured image data from the cameras 400 to 404 from the camera group 11 in accordance with information indicating that the R position from the R position detection unit 109 has not been detected. To do. Thereafter, the process proceeds to step S412.
In addition, since the process of subsequent step S412-S430 becomes the same as the process of step S202-S224 of the said 1st Embodiment, description is abbreviate | omitted.

(透過表示フラグ設定処理)
次に、図13に基づき、本実施形態の透過表示フラグ設定処理の処理手順を説明する。図13は、本実施形態の透過表示フラグ設定処理の処理手順の一例を示すフローチャートである。
ステップS106において透過表示フラグ設定処理が実行されると、まず、ステップS500に移行する。
ステップS500では、透過合成制御部107において、Rポジション検出部109からシフトポジションの検出結果を示す情報を取得したか否かを判定する。そして、シフトポジションの検出結果を示す情報を取得したと判定した場合(Yes)は、ステップS502に移行する。一方、シフトポジションの検出結果を示す情報を取得していないと判定した場合(No)は、情報を取得するまで判定処理を繰り返す。
(Transparent display flag setting process)
Next, based on FIG. 13, the processing procedure of the transparent display flag setting process of this embodiment is demonstrated. FIG. 13 is a flowchart illustrating an example of a processing procedure of the transparent display flag setting process of the present embodiment.
When the transparent display flag setting process is executed in step S106, first, the process proceeds to step S500.
In step S500, the transmission composition control unit 107 determines whether or not information indicating the detection result of the shift position is acquired from the R position detection unit 109. If it is determined that information indicating the detection result of the shift position has been acquired (Yes), the process proceeds to step S502. On the other hand, if it is determined that the information indicating the detection result of the shift position has not been acquired (No), the determination process is repeated until the information is acquired.

ステップS502に移行した場合は、透過合成制御部107において、ステップS500で取得した情報に基づき、シフトポジションがRポジションか否かを判定する。そして、Rポジションであると判定した場合(Yes)は、ステップS504に移行し、Rポジションでは無いと判定した場合(No)は、ステップS506に移行する。
ステップS504に移行した場合は、透過合成制御部107において、透過表示フラグをオンに設定して、一連の処理を終了し元の処理に復帰する。
When the process proceeds to step S502, the transmission composition control unit 107 determines whether the shift position is the R position based on the information acquired in step S500. If it is determined that the position is the R position (Yes), the process proceeds to step S504. If it is determined that the position is not the R position (No), the process proceeds to step S506.
When the process proceeds to step S504, the transmission composition control unit 107 sets the transmission display flag to ON, ends the series of processes, and returns to the original process.

一方、ステップS506に移行した場合は、透過合成制御部107において、後続車検出部200からの後続車の検出結果を示す情報を取得したか否かを判定する。そして、検出結果を示す情報を取得したと判定した場合(Yes)は、ステップS508に移行する。一方、検出結果を示す情報を取得していないと判定した場合(No)は、情報を取得するまで判定処理を繰り返す。
なお、以降のステップS510〜S512の処理は、上記第1実施形態のステップS304〜306の処理と同様となるので記載を省略する。
On the other hand, when the process proceeds to step S506, the transmission composition control unit 107 determines whether or not information indicating the detection result of the subsequent vehicle from the subsequent vehicle detection unit 200 has been acquired. And when it determines with having acquired the information which shows a detection result (Yes), it transfers to step S508. On the other hand, when it is determined that the information indicating the detection result is not acquired (No), the determination process is repeated until the information is acquired.
In addition, since the process of subsequent step S510-S512 becomes the same as the process of step S304-306 of the said 1st Embodiment, description is abbreviate | omitted.

(動作)
次に、図14に基づき、本実施形態の車両用後方視界支援装置100の動作を説明する。
図14(a)〜(c)は、Rポジションの検出結果に応じた各種画像の表示結果の一例を示す模式図である。
イグニッションスイッチがONされ、電源がONされると、CPU10において専用のプログラムが実行される。プログラムが実行されると、まず、タイマやカウンタの初期化に加えて、プログラムで用いる各種フラグや変数等が初期化される(S100)。また、初期化処理においては、カメラ400〜404の初期設定も行われる。なお、ここでは、カメラ400〜404は、予め設定された位置に予め設定された角度で配設される。そして、この配設された位置において向きや撮影範囲等を固定した状態で撮影を行う。
(Operation)
Next, based on FIG. 14, the operation | movement of the vehicle rear view assistance apparatus 100 of this embodiment is demonstrated.
14A to 14C are schematic diagrams illustrating examples of display results of various images according to the detection result of the R position.
When the ignition switch is turned on and the power is turned on, a dedicated program is executed in the CPU 10. When the program is executed, first, in addition to the initialization of the timer and the counter, various flags and variables used in the program are initialized (S100). In the initialization process, the cameras 400 to 404 are also initialized. Here, the cameras 400 to 404 are arranged at preset angles at preset positions. Then, shooting is performed with the orientation, shooting range, and the like fixed at the arranged positions.

初期化処理が終了すると、カメラ群11のカメラ400〜404が撮影動作を開始し、カメラ400による右後側方画像の撮影、カメラ401による左後側方画像の撮影が行われる。また、カメラ402による右後方画像の撮影、カメラ403による左後方画像の撮影、カメラ404による中央後方画像の撮影が行われる(S102)。   When the initialization process is completed, the cameras 400 to 404 of the camera group 11 start the photographing operation, and the camera 400 shoots the right rear side image and the camera 401 shoots the left rear side image. Further, a right rear image is taken by the camera 402, a left rear image is taken by the camera 403, and a central rear image is taken by the camera 404 (S102).

以下、自車両Aを右ハンドル車として動作を説明する。
カメラ群11による撮影が開始されると、車両用後方視界支援装置100は、まず、ぼかし解除フラグ設定処理を実行する(S104)。
ぼかし解除フラグ設定処理が開始されると、Rポジション検出部109において、インヒビターSW105の検出信号を受信する(S400)。Rポジション検出部109は、受信した検出信号に基づき、検出信号がRポジションを示す信号か否かを判定する(S402)。ここでは、Rポジションを示す信号では無かったと判定したとする(S402のNo)。これにより、Rポジション検出部109は、Rポジションでは無いことを示す情報を、後続車検出部200、ぼかし処理制御部106及び透過合成制御部107にそれぞれ出力する(S408)。
Hereinafter, the operation will be described assuming that the host vehicle A is a right-hand drive vehicle.
When shooting by the camera group 11 is started, the vehicular rear view assistance device 100 first executes a blur release flag setting process (S104).
When the blur release flag setting process is started, the R position detection unit 109 receives a detection signal of the inhibitor SW 105 (S400). Based on the received detection signal, the R position detection unit 109 determines whether the detection signal is a signal indicating the R position (S402). Here, it is assumed that the signal indicating the R position is not present (No in S402). As a result, the R position detection unit 109 outputs information indicating that it is not the R position to the subsequent vehicle detection unit 200, the blurring processing control unit 106, and the transmission composition control unit 107, respectively (S408).

後続車検出部200は、Rポジションでは無いことを示す情報を取得すると、カメラ群11で撮影された、右後側方画像、左後側方画像、右後方画像、左後方画像及び中央後方画像を取得する(S410)。そして、これら取得した撮影画像に基づき、後続車を検出する処理を実行する(S412)。
以降のぼかし解除フラグの設定処理の動作は、上記第1実施形態と同様となるので一部説明を省略する。
いま、撮影画像中には右車線後続車以外の後続車が存在せず、この右車線後続車との車間距離は距離閾値未満であるとする(S422のNo)。
これにより、ぼかし処理制御部106は、ぼかし解除フラグをオフに設定する(S430)。
ぼかし解除フラグ設定処理が完了すると、車両用後方視界支援装置100は、次に、透過表示フラグ設定処理を実行する(S106)。
When the succeeding vehicle detection unit 200 acquires information indicating that the vehicle is not in the R position, the right rear side image, the left rear side image, the right rear image, the left rear image, and the center rear image that are captured by the camera group 11 are captured. Is acquired (S410). And based on these acquired picked-up images, the process which detects a following vehicle is performed (S412).
The subsequent operation of the blur release flag setting process is the same as in the first embodiment, and a part of the description is omitted.
Now, it is assumed that there are no following vehicles other than the right lane following vehicle in the photographed image, and the inter-vehicle distance from the right lane following vehicle is less than the distance threshold (No in S422).
As a result, the blurring process control unit 106 sets the blurring cancellation flag to OFF (S430).
When the blur removal flag setting process is completed, the vehicular rear view assistance apparatus 100 next executes a transmission display flag setting process (S106).

透過表示フラグ設定処理が開始されると、透過合成制御部107は、Rポジション検出部109から、シフトポジションの検出結果を示す情報を取得したか否かを判定する(S500)。ここでは、Rポジションが検出されなかったことを示す情報を取得することとなる(S500のYes)。従って、透過合成制御部107は、シフトポジションがRポジションでは無いと判定する(S502のNo)。これにより、透過合成制御部107は、後続車検出部200から、後続車の検出結果を示す情報を取得したか否かを判定する(S506)。ここでは、右車線後続車のみが検出されたことを示す情報を後続車検出部200から取得することになる(S506のYes)。従って、透過合成制御部107は、自車両Aの走行車線を走行する自車線後続車が検出されなかったと判定する(S508のNo)。これにより、透過合成制御部107は、RAM12の透過表示フラグをオフに設定する(S512)。   When the transmissive display flag setting process is started, the transmissive composition control unit 107 determines whether or not information indicating the detection result of the shift position has been acquired from the R position detection unit 109 (S500). Here, information indicating that the R position has not been detected is acquired (Yes in S500). Therefore, the transmission composition control unit 107 determines that the shift position is not the R position (No in S502). Thereby, the transmission composition control unit 107 determines whether or not information indicating the detection result of the subsequent vehicle has been acquired from the subsequent vehicle detection unit 200 (S506). Here, information indicating that only the vehicle following the right lane has been detected is acquired from the vehicle following detection unit 200 (Yes in S506). Therefore, the transmission composition control unit 107 determines that no own lane following vehicle traveling in the traveling lane of the own vehicle A has been detected (No in S508). As a result, the transmission composition control unit 107 sets the transmission display flag of the RAM 12 to OFF (S512).

上記各フラグ設定処理によって、RAM12のぼかし解除フラグがオフに設定され、透過表示フラグがオフに設定される。
これにより、上記第1実施形態と同様の処理が実施され(S108〜S118、S130〜S140)、モニタ405には、図14(a)に示すように、ぼかし処理の施された右側面画像領域を右後側方画像に通常合成した合成画像が表示される。
一方、Rポジション検出部109においてRポジションを検出したとする(S402のYes)。Rポジション検出部109は、Rポジションを検出したことを示す情報を、後続車検出部200、ぼかし処理制御部106及び透過合成制御部107にそれぞれ出力する(S404)。
By the above flag setting processing, the blur release flag of the RAM 12 is set to OFF, and the transparent display flag is set to OFF.
As a result, the same processing as in the first embodiment is performed (S108 to S118, S130 to S140), and the right side image area subjected to the blurring process is displayed on the monitor 405 as shown in FIG. A composite image that is normally combined with the right rear side image is displayed.
On the other hand, assume that the R position is detected by the R position detection unit 109 (Yes in S402). The R position detection unit 109 outputs information indicating that the R position is detected to the subsequent vehicle detection unit 200, the blurring processing control unit 106, and the transmission composition control unit 107, respectively (S404).

ぼかし処理制御部106は、Rポジション検出部109からのRポジションを検出したことを示す情報に応じて、RAM12のぼかし解除フラグをオンに設定する(S406)。
一方、透過合成制御部107は、Rポジション検出部109からのRポジションが検出されたことを示す情報を取得すると(S500のYes,502のYes)、RAM12の透過表示フラグをオンに設定する(S504)。
次に、上記第1実施形態と同様の処理を実施し(S108〜S116)、複数の領域に分割した側面画像領域に対してぼかし度合を設定する。
The blurring processing control unit 106 sets the blurring cancellation flag of the RAM 12 to ON according to the information indicating that the R position is detected from the R position detection unit 109 (S406).
On the other hand, when the transmission composition control unit 107 obtains information indicating that the R position is detected from the R position detection unit 109 (Yes in S500, Yes in 502), the transmission display flag of the RAM 12 is set to ON ( S504).
Next, the same processing as in the first embodiment is performed (S108 to S116), and the blurring degree is set for the side image region divided into a plurality of regions.

ぼかし画像生成部301は、ぼかし解除フラグがオンになっており(S118のYes)、かつ透過表示フラグがオンになっているので(S120のYes)、ぼかし度合設定部300からの側面画像領域データの画像に対して実施していたぼかし処理を停止する。そして、ぼかし画像生成部301は、ぼかし処理を施していない鮮明側面画像領域データを透過合成部304に出力する(S122)。
透過合成部304は、ぼかし画像生成部301からの鮮明側面画像領域データの画像(以下、鮮明側面画像領域と称す)と、後方画像データの画像における対応画像領域とを透過合成する。
Since the blurred image generation unit 301 has the deblurring flag turned on (Yes in S118) and the transparent display flag is turned on (Yes in S120), the side image area data from the blurring degree setting unit 300 is displayed. Stop the blurring process performed on the image. Then, the blurred image generation unit 301 outputs the clear side image area data that has not been subjected to the blurring process to the transmission composition unit 304 (S122).
The transmissive composition unit 304 synthesizes the image of the clear side image region data (hereinafter referred to as the clear side image region) from the blurred image generation unit 301 and the corresponding image region in the image of the rear image data.

具体的に、鮮明右側面画像領域を例に挙げると、透過合成部304は、対応画像領域が、予め設定した半透明となる透過率p(例えば、p=50[%])で鮮明右側面画像領域に対して透過表示されるように透過合成を行う。透過合成は、間引き合成を用いてもよいし、αブレンディングを用いてもよい。次に、透過合成部304は、透過合成後の鮮明右側面画像領域(以下、鮮明透過右側面画像領域と称す)を、右後側方画像に合成する。
これにより、図14(b)に示すように、鮮明右側面画像領域に対して、右後方画像における鮮明右側面画像領域に対応する位置の画像領域が透過率pで透過表示される。図14(b)の例では、自車両Aの後方に存在する自車線後続車が対応画像領域に含まれるため、この自車線後続車が透過表示される。
Specifically, taking the clear right side image region as an example, the transmission composition unit 304 uses the clear right side surface with a transmissivity p (for example, p = 50 [%]) in which the corresponding image region becomes semi-transparent. Transparent composition is performed so that the image area is transparently displayed. For the transparent synthesis, thinning synthesis may be used, or α blending may be used. Next, the transmission composition unit 304 combines the clear right side image area after the transmission composition (hereinafter referred to as the clear transmission right side image area) into the right rear side image.
As a result, as shown in FIG. 14B, the image area at the position corresponding to the clear right side image area in the right rear image is transparently displayed at the transmittance p with respect to the clear right side image area. In the example of FIG. 14B, the own lane following vehicle existing behind the own vehicle A is included in the corresponding image area, and thus the own lane following vehicle is displayed in a transparent manner.

なお、本実施形態では、Rポジションが検出されたことに応じて、ぼかし処理を停止し、かつ透過表示する構成としたがこの構成に限らない。例えば、後続車検出部200において、自車両Aの走行車線において、自車両Aの後方に停車している他車両、自車両Aに接近する他車両、また車両以外の物体等の自車両Aの後方に存在する障害物を検出する。そして、障害物を検出した場合に透過表示する(透過表示フラグをオンに設定する)構成としてもよい。この構成において、自車両Aの後方に障害物が存在しない場合、図14(c)に示すように、カメラ400〜401で撮影される右後側方画像をそのまま表示する。または、ぼかし処理の施されていない右側面画像領域を通常合成した右後側方画像を表示する。   In the present embodiment, the blurring process is stopped and the transparent display is performed in response to the detection of the R position. However, the present invention is not limited to this configuration. For example, in the following vehicle detection unit 200, in the travel lane of the own vehicle A, other vehicles that are stopped behind the own vehicle A, other vehicles that approach the own vehicle A, and other objects such as an object other than the vehicle Detect obstacles in the rear. And it is good also as a structure which displays transparently when an obstruction is detected (transparent display flag is set to ON). In this configuration, when there is no obstacle behind the host vehicle A, the right rear side image captured by the cameras 400 to 401 is displayed as it is as shown in FIG. Alternatively, a right rear side image obtained by normal synthesis of right side image regions not subjected to blurring processing is displayed.

ここで、上記説明において、カメラ400〜401は、後側方画像撮影部を構成する。カメラ402〜403は、後方画像撮影部を構成する。モニタ405〜409は、表示手段を構成する。側面画像領域検出部101は、側面画像領域検出手段を構成する。消失点検出部102は、消失点検出手段を構成する。消失点距離演算部103は、消失点距離演算手段を構成する。領域分割部104は、領域分割手段を構成する。後続車検出部200は、後続車検出手段を構成する。車間距離検出部105は、車間距離検出手段を構成する。車間距離判定部202は、車間距離判定手段を構成する。ぼかし処理制御部106は、ぼかし処理制御手段を構成する。ぼかし処理部108は、ぼかし処理手段を構成する。インヒビターSW15は、シフトポジション検出手段を構成する。後退ポジション検出部109は、後退ポジション検出手段を構成する。   Here, in the above description, the cameras 400 to 401 constitute a rear side image photographing unit. The cameras 402 to 403 constitute a rear image photographing unit. The monitors 405 to 409 constitute display means. The side image area detection unit 101 constitutes a side image area detection unit. The vanishing point detecting unit 102 constitutes a vanishing point detecting unit. The vanishing point distance calculation unit 103 constitutes a vanishing point distance calculation unit. The area dividing unit 104 constitutes an area dividing unit. The subsequent vehicle detection unit 200 constitutes a subsequent vehicle detection unit. The inter-vehicle distance detection unit 105 constitutes inter-vehicle distance detection means. The inter-vehicle distance determination unit 202 constitutes an inter-vehicle distance determination unit. The blur processing control unit 106 constitutes a blur processing control unit. The blur processing unit 108 constitutes a blur processing unit. The inhibitor SW15 constitutes shift position detection means. The reverse position detector 109 constitutes a reverse position detector.

(本実施形態の効果)
本実施形態は、上記第1実施形態の効果に加えて、以下の効果を奏する。
(1)インヒビターSW15が、自車両Aの備える変速機のシフトポジションを検出する。Rポジション検出部109が、インヒビターSW15の検出結果に基づき、後退(R)ポジションへのシフトチェンジを検出する。ぼかし処理制御部106が、後退ポジション検出部109の検出結果に基づき後退ポジションへのシフトチェンジを検出したと判定すると、ぼかし処理部108のぼかし処理を停止する。
(Effect of this embodiment)
This embodiment has the following effects in addition to the effects of the first embodiment.
(1) The inhibitor SW15 detects the shift position of the transmission included in the host vehicle A. The R position detection unit 109 detects a shift change to the reverse (R) position based on the detection result of the inhibitor SW15. If the blurring process control unit 106 determines that a shift change to the reverse position has been detected based on the detection result of the reverse position detection unit 109, the blurring process of the blur processing unit 108 is stopped.

つまり、自車両Aの備える変速機のシフトポジションが、後退ポジションにシフトチェンジされたと判定すると、ぼかし処理を停止するようにした。そして、側面画像領域にぼかし処理の施されていない後側方画像を表示するようにした。これにより、自車両Aが後退時において、側面画像領域と直近の障害物との位置関係を知覚しやすい画像表示を行うことが可能となる。   In other words, the blurring process is stopped when it is determined that the shift position of the transmission provided in the host vehicle A has been shifted to the reverse position. Then, the rear side image not subjected to the blurring process is displayed in the side image region. As a result, when the host vehicle A moves backward, it is possible to perform image display that makes it easy to perceive the positional relationship between the side image area and the nearest obstacle.

(2)自車両Aに配設されたカメラ402〜403が、カメラ400〜401による後側方画像の撮影において自車両Aの側面部分の一部によって死角となる領域を含む車両後方の領域の画像を撮影する。ぼかし処理部108が、後退ポジション検出部109の検出結果に基づき後退ポジションへのシフトチェンジを検出したと判定すると、側面画像領域と、後方画像における側面画像領域に対応する位置の画像領域とを、当該画像領域を予め設定した半透明となる透過率で側面画像領域に対して透過表示可能に合成する。 (2) The area of the rear of the vehicle including the area where the cameras 402 to 403 disposed in the own vehicle A are blind spots due to a part of the side surface portion of the own vehicle A when the rear images are captured by the cameras 400 to 401. Take a picture. If the blurring processing unit 108 determines that a shift change to the reverse position has been detected based on the detection result of the reverse position detection unit 109, the side image region and the image region at a position corresponding to the side image region in the rear image are determined. The image area is synthesized so that it can be transmissively displayed on the side image area with a translucent transmittance set in advance.

これにより、自車両Aの側面画像領域によって死角となる自車両Aの後方に他車両等の障害物が存在する場合に、後方画像における障害物を含む画像領域を側面画像領域に対して透過表示することができる。従って、自車両Aの後方に存在する障害物をドライバが知覚し易くすることが可能となる。また、側面画像領域を半透明にして透過表示することで障害物との距離感もドライバに直感的に解りやすくすることが可能となる。   Thus, when there is an obstacle such as another vehicle behind the own vehicle A that becomes a blind spot due to the side image area of the own vehicle A, the image area including the obstacle in the rear image is transparently displayed with respect to the side image area. can do. Therefore, it becomes possible for the driver to easily perceive an obstacle existing behind the host vehicle A. In addition, by making the side image area translucent and transparently displaying it, it becomes possible for the driver to intuitively understand the sense of distance from the obstacle.

(変形例)
(1)上記実施形態では、側面画像領域検出部101で検出した側面画像領域を領域分割部104で複数の領域に分割する。そして、分割した複数の分割領域に対して画像の遠近方向に、近い分割領域ほどぼかし度合いを強くし、遠い分割領域ほどぼかし度合いを弱くするぼかし処理を施す構成とした。この構成に限らず、側面画像領域を分割せずに、全体に同じ強さのぼかし度合いでぼかし処理を施す構成としてもよい。例えば、図15(a)は、一定のぼかし度合いで解像度を低下させるぼかし処理を施した右側面画像領域を、右後側方画像に合成した場合の合成画像の一例となる。また、図15(b)は、一定のぼかし度合いのガウシアンぼかしフィルタを用いてぼかし処理を施した右側面画像領域を、右後側方画像に合成した場合の合成画像の一例となる。
(Modification)
(1) In the above embodiment, the side image area detected by the side image area detecting unit 101 is divided into a plurality of areas by the area dividing unit 104. Then, with respect to the plurality of divided regions, the blur processing is performed in the perspective direction of the image so that the nearer divided region has a higher degree of blurring and the farther divided region has a lower degree of blurring. The present invention is not limited to this configuration, and the side image region may not be divided, and the entire image may be subjected to blurring processing with the same degree of blurring. For example, FIG. 15A is an example of a composite image when a right side image region that has been subjected to a blurring process that reduces the resolution with a certain degree of blurring is combined with a right rear side image. FIG. 15B is an example of a composite image when a right side image region that has been subjected to blurring processing using a Gaussian blurring filter with a certain degree of blurring is combined with a right rear side image.

このような構成とすることで、上記実施形態と同様に、人間の目における遠方注視による近景のぼやけと同じ視覚効果を有するぼかし処理の施された後側方画像を表示することが可能となる。
また、上記第1実施形態における車両用後方視界支援装置100において、消失点検出部102、消失点距離演算部103、領域分割部104を不用とすることができるので、上記第1実施形態と比較して、後側方画像の表示処理にかかる処理負荷を軽減することが可能となる。
By adopting such a configuration, it is possible to display the rear side image subjected to the blurring process having the same visual effect as the blurring of the foreground by the distant gaze in the human eye, as in the above embodiment. .
Further, in the vehicular rear view assistance device 100 according to the first embodiment, the vanishing point detecting unit 102, the vanishing point distance calculating unit 103, and the region dividing unit 104 can be dispensed with, and therefore compared with the first embodiment. Thus, it is possible to reduce the processing load related to the display processing of the rear side image.

(2)上記実施形態では、自車両Aの走行車線を走行する後続車(自車線後続車)を検出した場合に、側面画像領域に対して後方画像における側面画像領域に対応する位置の画像領域(対応画像領域)を半透明で透過表示する構成とした。この構成に限らず、自車線後続車が存在しない場合でも、ぼかし処理と共に、透過表示処理を行う構成としてもよい。例えば、図15(c)は、図15(a)の後側方画像における解像度を低下させるぼかし処理を施した右側面画像領域に対して対応画像領域を半透明で透過表示した例となる。同様に、図15(d)は、図15(b)のガウシアンぼかしフィルタを用いたぼかし処理を施した右側面画像領域に対して対応画像領域を半透明で透過表示した例となる。 (2) In the above embodiment, when a succeeding vehicle (own lane following vehicle) traveling in the traveling lane of the own vehicle A is detected, an image region at a position corresponding to the side image region in the rear image with respect to the side image region The (corresponding image area) is translucent and transparently displayed. Not only this configuration but also a configuration in which the transmissive display process is performed together with the blurring process even when there is no vehicle following the own lane. For example, FIG. 15C shows an example in which the corresponding image region is translucently displayed transparently with respect to the right side image region subjected to the blurring process for reducing the resolution in the rear side image of FIG. Similarly, FIG. 15D is an example in which the corresponding image region is translucently displayed transparently with respect to the right side image region subjected to the blurring process using the Gaussian blurring filter of FIG.

このような構成とすることで、上記実施形態と同様に、自車両Aの側面画像領域によって死角となる自車両Aの走行車線に後続車が存在する場合に、後方画像における後続車を含む画像領域を側面画像領域に対して半透明で透過表示することができる。従って、自車両Aの走行車線を走行する後続車をドライバが知覚し易くすることが可能となる。また、側面画像領域を半透明にして透過表示することで後続車との距離感もドライバに直感的に解りやすくすることが可能となる。   By adopting such a configuration, as in the above embodiment, when there is a subsequent vehicle in the traveling lane of the own vehicle A that becomes a blind spot by the side image area of the own vehicle A, an image including the subsequent vehicle in the rear image. The region can be translucently displayed with respect to the side image region. Therefore, the driver can easily perceive the following vehicle traveling in the traveling lane of the host vehicle A. Further, by making the side image area translucent and transparently displaying, it becomes possible for the driver to easily understand the sense of distance from the following vehicle.

(3)上記実施形態では、カメラ400〜401で撮影した後側方画像から側面画像領域を検出し、検出した側面画像領域に対してぼかし処理を施す構成とした。この構成に限らず、次の構成としてもよい。まず、自車両Aへのカメラ400〜401の設置位置、設置角度、撮影範囲等を固定とする。つまり、カメラ400〜401で撮影した後側方画像における側面画像領域の形状、大きさ、位置等を固定する。この設置条件で事前(例えば、工場出荷前)に撮影した後側方画像から側面画像領域を検出し、検出した側面画像領域に対してぼかし処理を施す。このぼかし処理を施した側面画像領域の画像データをROM13に記憶する。また、後側方画像における側面画像領域の位置の情報もROM13に予め記憶する。そして、画像合成部302において、カメラ400〜401で撮影された後側方画像に、ROM13に記憶されたぼかし処理の施された側面画像領域を合成し、この合成した画像をモニタに表示する。 (3) In the above embodiment, the side image area is detected from the rear side images photographed by the cameras 400 to 401, and the detected side image area is subjected to the blurring process. It is good also as the following structure not only this structure. First, the installation position, installation angle, shooting range, and the like of the cameras 400 to 401 in the host vehicle A are fixed. That is, the shape, size, position, and the like of the side image area in the rear side image captured by the cameras 400 to 401 are fixed. A side image area is detected from a rear side image photographed in advance (for example, before factory shipment) under this installation condition, and a blurring process is performed on the detected side image area. The image data of the side image area subjected to the blurring process is stored in the ROM 13. Further, information on the position of the side image area in the rear side image is also stored in the ROM 13 in advance. Then, the image composition unit 302 synthesizes the side image area subjected to the blurring processing stored in the ROM 13 with the rear side image photographed by the cameras 400 to 401, and displays the synthesized image on the monitor.

なお、側面画像領域に対するぼかし処理は、上記実施形態と同様に、側面画像領域を複数の領域に分割し、近い分割領域ほどぼかし度合いを強くし、遠い分割領域ほどぼかし度合いを弱くする処理内容とすることができる。また、上記変形例(1)と同様に、一定のぼかし度合いでぼかし処理を施す処理内容とすることができる。また、検出した側面画像領域に対して、これらいずれかのぼかし処理を施すことに加えて、上記変形例(2)と同様に、透過表示する処理を施す構成とすることもできる。また、上記実施形態と同様に、自車線後続車との車間距離が距離閾値未満のときに透過表示を行う構成とすることもできる。   Note that the blurring process for the side image area is similar to the above-described embodiment, in which the side image area is divided into a plurality of areas, the blurring degree is increased as the divided area is closer, and the blurring degree is decreased as the farther divided area is reduced. can do. Further, similar to the above modification (1), it is possible to set the processing content to be subjected to the blurring process with a certain blurring degree. Further, in addition to performing any one of these blurring processes on the detected side image area, it is also possible to perform a process of performing transparent display as in the modification (2). Further, similarly to the above-described embodiment, it is also possible to adopt a configuration in which transmissive display is performed when the inter-vehicle distance from the vehicle following the own lane is less than the distance threshold.

このように、事前にぼかし処理の施された側面画像領域の画像データを用意する構成とすることで、上記実施形態の後方視界支援装置の機能構成を簡易な構成とすることができる。具体的に、本変形例の車両用後方視界支援装置は、最小構成として、上記第1実施形態の車両用後方視界支援装置100の機能構成部から、ぼかし処理部108以外を全て除外し、ぼかし処理部108から画像合成部302以外を全て除外した構成とすることができる。
この構成により、後側方画像の表示処理にかかる処理負荷を大幅に軽減することが可能となる。
As described above, by preparing the image data of the side image area that has been subjected to the blurring process in advance, the functional configuration of the rear view assistance device of the above embodiment can be simplified. Specifically, the vehicular rear view assistance apparatus according to the present modified example excludes all but the blur processing unit 108 from the functional components of the vehicular rear view support apparatus 100 of the first embodiment as a minimum configuration. A configuration in which all but the image composition unit 302 is excluded from the processing unit 108 can be adopted.
With this configuration, it is possible to greatly reduce the processing load for the display processing of the rear side image.

(4)上記実施形態では、カメラ400〜401によって、自車両Aの側面部分の一部を含む後側方の領域を撮影する構成とした。この構成に限らず、カメラ402〜403のみを用いる構成としてもよい。この構成とした場合は、カメラ402〜403の撮影画像中に車両の側面部分の一部の画像が含まれないため、予めCG等により側面部分の一部の撮影画像に相当する画像(アイコン等)を生成しておき、この画像をカメラ402〜403の撮影画像に重畳表示する。この構成は、例えば、上記変形例(3)等に適用することができる。 (4) In the said embodiment, it was set as the structure which image | photographs the area | region of the back side including a part of side part of the own vehicle A with the cameras 400-401. It is good also as a structure which uses not only this structure but cameras 402-403. In this configuration, the images of the side portions of the vehicle are not included in the captured images of the cameras 402 to 403, and therefore images (icons, etc.) corresponding to the partially captured images of the side portions by CG or the like in advance. ), And this image is superimposed and displayed on the captured images of the cameras 402 to 403. This configuration can be applied to, for example, the modified example (3).

(5)上記実施形態では、ぼかし処理として、側面画像領域の解像度を低下させる処理と、ガウシアンによって側面画像領域のエッジ部分をぼやかす処理とを例に挙げて説明した。この構成に限らず、ぼかし処理として、側面画像領域の明度を下げる処理や、コントラストを下げる処理を行う構成とすることができる。
このような構成とすることで、明度やコントラストを下げて、側面画像領域の明るさや色相の差を小さくすることができる。これにより、側面画像領域のエッジが弱まって画像をぼやけさせることができる。その結果、後続車との距離感を強調することが可能となる。
(5) In the above embodiment, the blurring process has been described by taking, as an example, the process of reducing the resolution of the side image area and the process of blurring the edge portion of the side image area using Gaussian. The present invention is not limited to this configuration, and as the blurring process, a process for reducing the brightness of the side image region and a process for reducing the contrast can be performed.
With such a configuration, it is possible to reduce the brightness and hue of the side image region by reducing the brightness and contrast. As a result, the edge of the side image area is weakened and the image can be blurred. As a result, it is possible to emphasize the sense of distance from the following vehicle.

(6)上記実施形態では、ぼかし処理として、側面画像領域の解像度を低下させる処理と、ガウシアンによって側面画像領域のエッジ部分をぼやかす処理とを例に挙げて説明した。この構成に限らず、ぼかし処理として、透過合成処理を行う構成とすることができる。
つまり、側面画像領域を半透明にして、後方画像の対応画像領域を透過表示する画像合成を行う構成とすることで、側面画像領域の画素と後方画像の画素とが混ざり、画像をぼやけさせることができる。これにより、後続車との距離感を強調することが可能になると共に、側面画像領域を透過して対応画像領域に含まれる後続車を視認することが可能となる。
(6) In the above embodiment, as the blurring process, the process of reducing the resolution of the side image area and the process of blurring the edge portion of the side image area using Gaussian have been described as examples. Not only this configuration but also a configuration in which a transparent composition process is performed as the blurring process.
In other words, the side image area is made semi-transparent, and the image composition is performed so that the corresponding image area of the rear image is transparently displayed, so that the pixels of the side image area and the pixels of the rear image are mixed and the image is blurred. Can do. As a result, it is possible to emphasize the sense of distance from the subsequent vehicle and to visually recognize the subsequent vehicle included in the corresponding image region through the side image region.

また、上記実施形態は、本発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本発明の範囲は、上記の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。また、上記の説明で用いる図面は、図示の便宜上、部材ないし部分の縦横の縮尺は実際のものとは異なる模式図である。
また、本発明は上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良、均等物等は本発明に含まれるものである。
The above embodiments are preferable specific examples of the present invention, and various technically preferable limitations are given. However, the scope of the present invention is described in particular in the above description to limit the present invention. As long as there is no, it is not restricted to these forms. In the drawings used in the above description, for convenience of illustration, the vertical and horizontal scales of members or parts are schematic views different from actual ones.
In addition, the present invention is not limited to the above-described embodiments, and modifications, improvements, equivalents, and the like within the scope that can achieve the object of the present invention are included in the present invention.

A 自車両
10 CPU
11 カメラ群
12 RAM
13 ROM
14 モニタ群
15 インヒビターSW
100 車両用後方視界支援装置
101 側面画像領域検出部
102 消失点検出部
103 消失点距離演算部
104 領域分割部
105 他車両検出部
106 ぼかし処理制御部
107 透過合成制御部
108 ぼかし処理部
200 後続車検出部
201 車間距離検出部
202 車間距離判定部
300 ぼかし度合設定部
301 ぼかし画像生成部
302 画像合成部
303 通常合成部
304 透過合成部
400〜404 カメラ
405〜409 モニタ
500〜502 第1〜第3の分割領域
503 側面画像領域以外の画像領域
504〜506 第1〜第3の低解像度ぼかし領域
507〜509 第1〜第3のガウシアンぼかし領域
A Own vehicle 10 CPU
11 Camera group 12 RAM
13 ROM
14 Monitor group 15 Inhibitor SW
DESCRIPTION OF SYMBOLS 100 Vehicle rear view assistance apparatus 101 Side image area detection part 102 Vanishing point detection part 103 Vanishing point distance calculation part 104 Area division part 105 Other vehicle detection part 106 Blur process control part 107 Transmission composition control part 108 Blur process part 200 Subsequent vehicle inspection Output unit 201 Inter-vehicle distance detection unit 202 Inter-vehicle distance determination unit 300 Blur degree setting unit 301 Blurred image generation unit 302 Image synthesis unit 303 Normal synthesis unit 304 Transmission synthesis unit 400 to 404 Camera 405 to 409 Monitor 500 to 502 First to third Divided regions 503 Image regions 504 to 506 other than the side image regions First to third low-resolution blur regions 507 to 509 First to third Gaussian blur regions

Claims (9)

車両に搭載され、前記車両の側面部分の一部を撮影範囲に含む前記車両の後側方の領域の画像である後側方画像を撮影する後側方画像撮影部と、
前記後側方画像撮影部で撮影した前記後側方画像のうち前記側面部分の一部を含む画像領域である側面画像領域に対して画像をぼかす処理であるぼかし処理を実施するぼかし処理手段と、
前記後側方画像撮影部で撮影した前記後側方画像に基づき当該後側方画像内に含まれる、前記車両の走行車線に隣接する隣接車線を走行する後続車を検出する後続車検出手段と、
前記後続車検出手段の検出結果に基づき前記後続車を検出したと判定すると、検出した後続車と前記車両との車間距離を検出する車間距離検出手段と、
前記車間距離検出手段の検出結果に基づき前記車間距離が予め設定した距離閾値未満であるか否かを判定する車間距離判定手段と、
前記車間距離判定手段の判定結果に基づき、前記後続車との車間距離が前記距離閾値以上であると判定すると前記ぼかし処理手段の前記ぼかし処理を実施し、前記後続車との車間距離が前記距離閾値未満であると判定すると前記ぼかし処理手段の前記ぼかし処理を停止するぼかし処理制御手段と、
前記ぼかし処理手段が前記ぼかし処理を実施しているときは前記側面画像領域にぼかし処理の施された前記後側方画像を表示し、前記ぼかし処理手段が前記ぼかし処理を停止しているときは前記ぼかし処理の施されていない前記後側方画像を表示する表示手段と、を備えることを特徴とする車両用後方視界支援装置。
A rear side image photographing unit that is mounted on a vehicle and photographs a rear side image that is an image of a rear side region of the vehicle including a part of a side surface portion of the vehicle in a photographing range;
Blur processing means for performing blur processing that is a process of blurring an image on a side image area that is an image area including a part of the side surface portion of the rear side image captured by the rear side image capturing unit; ,
Subsequent vehicle detection means for detecting a succeeding vehicle traveling in an adjacent lane adjacent to the traveling lane of the vehicle included in the rear side image based on the rear side image captured by the rear side image capturing unit; ,
When it is determined that the subsequent vehicle is detected based on the detection result of the subsequent vehicle detection unit, an inter-vehicle distance detection unit that detects an inter-vehicle distance between the detected subsequent vehicle and the vehicle;
An inter-vehicle distance determination unit that determines whether the inter-vehicle distance is less than a preset distance threshold based on a detection result of the inter-vehicle distance detection unit;
Based on the determination result of the inter-vehicle distance determination means, when it is determined that the inter-vehicle distance with the following vehicle is equal to or greater than the distance threshold, the blur processing unit performs the blur processing, and the inter-vehicle distance with the subsequent vehicle is the distance A blurring process control unit that stops the blurring process of the blurring process unit when it is determined that the threshold value is less than a threshold;
When the blur processing means performs the blur processing, the rear side image subjected to the blur processing is displayed in the side image area, and when the blur processing means stops the blur processing And a display means for displaying the rear side image that has not been subjected to the blurring process.
前記後側方画像撮影部で撮影した前記後側方画像から前記側面画像領域を検出する側面画像領域検出手段を備え、
前記ぼかし処理手段は、前記側面画像領域検出手段で検出した前記側面画像領域に対して前記ぼかし処理を実施し、前記ぼかし処理を施した前記側面画像領域を前記後側方画像撮影部で撮影した後側方画像に合成することを特徴とする請求項1に記載の車両用後方視界支援装置。
A side image region detecting means for detecting the side image region from the rear side image captured by the rear side image capturing unit;
The blur processing means performs the blur processing on the side image area detected by the side image area detection means, and the side image area subjected to the blur processing is photographed by the rear side image photographing unit. The vehicular rear view assistance device according to claim 1, wherein the vehicular rear view support device is combined with a rear side image.
前記車両に搭載され、前記後側方画像撮影部による前記後側方画像の撮影において前記車両の側面部分の一部によって死角となる領域を含む車両後方の領域の画像である後方画像を撮影する後方画像撮影部を備え、
前記後続車検出手段は、前記隣接車線を走行する後続車に加えて、前記後方画像内に含まれる前記車両の走行車線を走行する後続車を検出し、
前記ぼかし処理手段は、前記後続車検出手段の検出結果に基づき前記走行車線を走行する後続車を検出したと判定すると、前記後側方画像における前記側面画像領域と、前記後方画像における前記側面画像領域に対応する位置の画像領域とを、当該画像領域を予め設定した前記側面画像領域が半透明となる透過率で透過表示可能に合成することを特徴とする請求項1又は請求項2に記載の車両用後方視界支援装置。
A rear image that is mounted on the vehicle and captures a rear image that is an image of a rear region of the vehicle including a region that becomes a blind spot by a part of a side surface portion of the vehicle in capturing the rear side image by the rear side image capturing unit. It has a rear image capture unit,
The succeeding vehicle detection means detects a succeeding vehicle traveling in the traveling lane of the vehicle included in the rear image in addition to the following vehicle traveling in the adjacent lane,
When the blur processing unit determines that a subsequent vehicle traveling in the traveling lane is detected based on the detection result of the subsequent vehicle detection unit, the side image region in the rear side image and the side image in the rear image 3. The image area at a position corresponding to the area is synthesized so that the side image area in which the image area is set in advance is translucently displayed with a translucency at which the side image area is translucent. Vehicle rear view support device.
前記車両の備える変速機のシフトポジションを検出するシフトポジション検出手段と、
前記シフトポジション検出手段の検出結果に基づき、後退ポジションへのシフトチェンジを検出する後退ポジション検出手段と、を備え、
前記ぼかし処理制御手段は、前記後退ポジション検出手段の検出結果に基づき前記後退ポジションへのシフトチェンジを検出したと判定すると、前記ぼかし処理手段の前記ぼかし処理を停止することを特徴とする請求項1乃至請求項3のいずれか1項に記載の車両用後方視界支援装置。
Shift position detecting means for detecting a shift position of a transmission provided in the vehicle;
A reverse position detecting means for detecting a shift change to the reverse position based on the detection result of the shift position detecting means,
The blur processing control unit stops the blur processing of the blur processing unit when it determines that a shift change to the reverse position is detected based on a detection result of the reverse position detection unit. The vehicle rear view assistance apparatus according to any one of claims 3 to 4.
前記車両に搭載され、前記後側方画像撮影部による前記後側方画像の撮影において前記車両の側面部分の一部によって死角となる領域を含む車両後方の領域の画像である後方画像を撮影する後方画像撮影部を備え、
前記ぼかし処理手段は、前記後退ポジション検出手段の検出結果に基づき前記後退ポジションへのシフトチェンジを検出したと判定すると、前記側面画像領域と、前記後方画像における前記側面画像領域に対応する位置の画像領域とを、当該画像領域を予め設定した前記側面画像領域が半透明となる透過率で透過表示可能に合成することを特徴とする請求項4に記載の車両用後方視界支援装置。
A rear image that is mounted on the vehicle and captures a rear image that is an image of a rear region of the vehicle including a region that becomes a blind spot by a part of a side surface portion of the vehicle in capturing the rear side image by the rear side image capturing unit. It has a rear image capture unit,
When the blur processing unit determines that a shift change to the reverse position is detected based on the detection result of the reverse position detection unit, the side image region and an image at a position corresponding to the side image region in the rear image are detected. 5. The vehicular rear view assisting device according to claim 4, wherein the region is combined so that the side image region in which the image region is set in advance can be transmissively displayed with a translucency that is translucent.
前記側面画像領域を画像の遠近方向に複数の領域に分割する領域分割手段を備え、
前記ぼかし処理手段は、前記領域分割手段で分割した前記複数の領域に対して前記遠近方向に段階的にぼかし度合いを変化させたぼかし処理を実施することを特徴とする請求項1乃至請求項5のいずれか1項に記載の車両用後方視界支援装置。
An area dividing means for dividing the side image area into a plurality of areas in the perspective direction of the image;
The blur processing unit performs blur processing in which the blur degree is changed stepwise in the perspective direction with respect to the plurality of regions divided by the region dividing unit. The vehicle rear view assistance device according to any one of the above.
前記後側方画像撮影部で撮影した前記後側方画像から、当該後側方画像に設定した地平線と前記側面画像領域の画像の遠近方向の延長線とに基づき消失点を検出する消失点検出手段と、
前記後側方画像中における前記消失点検出手段で検出した消失点と前記側面画像領域との距離を演算する消失点距離演算手段と、を備え、
前記ぼかし処理手段は、前記消失点距離演算手段で演算した前記距離に基づき、前記側面画像領域に対する前記ぼかし処理のぼかし度合いを、前記消失点との距離が大きい領域部分ほど強くし、前記消失点との距離が小さい領域部分ほど弱くすることを特徴とする請求項1乃至請求項6のいずれか1項に記載の車両用後方視界支援装置。
Vanishing point detection for detecting a vanishing point from the rear side image captured by the rear side image capturing unit based on a horizon set in the rear side image and a perspective extension of the image of the side image region Means,
Vanishing point distance calculating means for calculating the distance between the vanishing point detected by the vanishing point detecting means in the rear side image and the side image area,
Based on the distance calculated by the vanishing point distance calculating unit, the blurring processing unit increases the blurring degree of the blurring processing with respect to the side image region in a region portion where the distance from the vanishing point is large, and the vanishing point The vehicular rear view assistance apparatus according to any one of claims 1 to 6, wherein a region portion having a smaller distance from the vehicle is weakened.
前記ぼかし処理手段は、前記表示手段の設置位置と前記車両の側面部分の一部との間の距離に応じて、前記複数の領域における、前記設置位置に近い側面部分に対応する領域ほどぼかし度合いを強くし、前記設置位置から遠い側面部分に対応する領域ほどぼかし度合いを弱くすることを特徴とする請求項6又は請求項7に記載の車両用後方視界支援装置。   According to the distance between the installation position of the display means and a part of the side surface portion of the vehicle, the blurring processing unit has a degree of blurring in a region corresponding to the side surface portion closer to the installation position in the plurality of regions. The vehicular rear view assistance apparatus according to claim 6 or 7, wherein the degree of blurring is weakened in a region corresponding to a side portion far from the installation position. 車両に搭載された後側方画像撮影部によって前記車両の側面部分の一部を撮影範囲に含む前記車両の後側方の領域を撮影して得られる後側方画像における前記側面部分の一部の画像領域である側面画像領域に対して画像をぼかす処理であるぼかし処理を実施するぼかし処理ステップと、
前記後側方画像の画像領域内に含まれる、前記車両の走行車線と隣接する隣接車線を走行する後続車を検出する後続車検出ステップと、
前記後続車検出ステップの検出結果に基づき前記後続車を検出したと判定すると、検出した後続車と前記車両との車間距離を検出する車間距離検出ステップと、
前記車間距離と予め設定した距離閾値とに基づき、前記後続車との車間距離が前記距離閾値以上であると判定すると前記ぼかし処理を実施し、前記後続車との車間距離が前記距離閾値未満であると判定すると前記ぼかし処理を停止するぼかし処理制御ステップと、
前記ぼかし処理を実施した場合に前記ぼかし処理の施された前記後側方画像を表示し、前記ぼかし処理を実施しなかった場合に前記ぼかし処理の施されていない前記後側方画像を表示する表示ステップと、を含むことを特徴とする車両用後方視界支援方法。
Part of the side portion in the rear side image obtained by photographing the rear side region of the vehicle including a part of the side portion of the vehicle in the photographing range by the rear side image photographing unit mounted on the vehicle A blur processing step for performing blur processing, which is processing for blurring an image on a side image region that is an image region of
A subsequent vehicle detection step for detecting a subsequent vehicle traveling in an adjacent lane adjacent to the traveling lane of the vehicle included in the image region of the rear side image;
When it is determined that the subsequent vehicle is detected based on the detection result of the subsequent vehicle detection step, an inter-vehicle distance detection step for detecting an inter-vehicle distance between the detected subsequent vehicle and the vehicle;
Based on the inter-vehicle distance and a preset distance threshold, when it is determined that the inter-vehicle distance is greater than or equal to the distance threshold, the blurring process is performed, and the inter-vehicle distance with the subsequent vehicle is less than the distance threshold. A blurring process control step for stopping the blurring process when it is determined that there is,
When the blur processing is performed, the rear side image subjected to the blur processing is displayed, and when the blur processing is not performed, the rear side image not subjected to the blur processing is displayed. A vehicle rear view support method, comprising: a display step.
JP2012046011A 2012-03-02 2012-03-02 Vehicle rear view support apparatus and vehicle rear view support method Active JP5953824B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012046011A JP5953824B2 (en) 2012-03-02 2012-03-02 Vehicle rear view support apparatus and vehicle rear view support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012046011A JP5953824B2 (en) 2012-03-02 2012-03-02 Vehicle rear view support apparatus and vehicle rear view support method

Publications (2)

Publication Number Publication Date
JP2013183298A JP2013183298A (en) 2013-09-12
JP5953824B2 true JP5953824B2 (en) 2016-07-20

Family

ID=49273668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012046011A Active JP5953824B2 (en) 2012-03-02 2012-03-02 Vehicle rear view support apparatus and vehicle rear view support method

Country Status (1)

Country Link
JP (1) JP5953824B2 (en)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014155827A1 (en) * 2013-03-28 2014-10-02 日産自動車株式会社 Parking assistance device
JP2015074436A (en) * 2013-10-11 2015-04-20 富士通株式会社 Image processing device, image processing method, and program
JP6323018B2 (en) * 2014-01-17 2018-05-16 株式会社デンソー Driving assistance device
JP5562498B1 (en) * 2014-03-04 2014-07-30 サカエ理研工業株式会社 Room mirror, vehicle blind spot support device using the room mirror, and display image adjustment method of the room mirror or vehicle blind spot support device
JP2015201680A (en) * 2014-04-04 2015-11-12 富士通株式会社 Image display apparatus, image display method, and image display program
JP6393653B2 (en) * 2015-04-09 2018-09-19 株式会社東海理化電機製作所 Vehicle visual recognition device
JP6256509B2 (en) * 2016-03-30 2018-01-10 マツダ株式会社 Electronic mirror control device
JP6256508B2 (en) * 2016-03-30 2018-01-10 マツダ株式会社 Electronic mirror control device
JP6674630B2 (en) * 2016-05-30 2020-04-01 カシオ計算機株式会社 Image processing apparatus, image processing method, and program
JP6707007B2 (en) * 2016-09-27 2020-06-10 株式会社東海理化電機製作所 Vehicle visibility device and vehicle visual image display method
JP2018117320A (en) * 2017-01-20 2018-07-26 株式会社東芝 Video synthesizer and video synthesis method for electron mirror
US10126423B1 (en) * 2017-08-15 2018-11-13 GM Global Technology Operations LLC Method and apparatus for stopping distance selection
JP6656493B2 (en) * 2017-12-05 2020-03-04 三菱電機株式会社 Display control device and display control method
JP2019140469A (en) * 2018-02-07 2019-08-22 株式会社東海理化電機製作所 Vehicle visual recognition device
JP7258847B2 (en) * 2018-03-15 2023-04-17 株式会社小糸製作所 Video system for vehicle

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4775123B2 (en) * 2006-06-09 2011-09-21 日産自動車株式会社 Vehicle monitoring device
WO2009104675A1 (en) * 2008-02-20 2009-08-27 クラリオン株式会社 Vehicle peripheral image display system
JP2009206747A (en) * 2008-02-27 2009-09-10 Nissan Motor Co Ltd Ambient condition monitoring system for vehicle, and video display method
JP5325800B2 (en) * 2010-01-25 2013-10-23 シャープ株式会社 Image processing device, image photographing device, image display device, and program

Also Published As

Publication number Publication date
JP2013183298A (en) 2013-09-12

Similar Documents

Publication Publication Date Title
JP5953824B2 (en) Vehicle rear view support apparatus and vehicle rear view support method
CN104442567B (en) Object Highlighting And Sensing In Vehicle Image Display Systems
JP4248570B2 (en) Image processing apparatus and visibility support apparatus and method
US20220210344A1 (en) Image display apparatus
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
JP5347257B2 (en) Vehicle periphery monitoring device and video display method
JP4315968B2 (en) Image processing apparatus and visibility support apparatus and method
US20140114534A1 (en) Dynamic rearview mirror display features
JP6744236B2 (en) Image display
JP2017091284A (en) Image processing device for vehicle and image processing system for vehicle
JP7263731B2 (en) Image processing device
JP5966513B2 (en) Rear side photographing device for vehicle
JP2019110492A (en) Image display device
US11273763B2 (en) Image processing apparatus, image processing method, and image processing program
JP7000383B2 (en) Image processing device and image processing method
WO2013157184A1 (en) Rearward visibility assistance device for vehicle, and rear visibility assistance method for vehicle
JP2005182305A (en) Vehicle travel support device
JP4945315B2 (en) Driving support system and vehicle
JP5831331B2 (en) Rear side photographing device for vehicle
JP2016136326A (en) Information display apparatus and information display method
JP2018113622A (en) Image processing apparatus, image processing system, and image processing method
JP6555240B2 (en) Vehicle shooting display device and vehicle shooting display program
JP4598011B2 (en) Vehicle display device
JP5091882B2 (en) Image processing apparatus and visibility support apparatus and method
EP3315366B1 (en) Imaging and display device for vehicle and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151013

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160530

R151 Written notification of patent or utility model registration

Ref document number: 5953824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151