WO2011007683A1 - 車両用死角映像表示システムと車両用死角映像表示方法 - Google Patents

車両用死角映像表示システムと車両用死角映像表示方法 Download PDF

Info

Publication number
WO2011007683A1
WO2011007683A1 PCT/JP2010/061306 JP2010061306W WO2011007683A1 WO 2011007683 A1 WO2011007683 A1 WO 2011007683A1 JP 2010061306 W JP2010061306 W JP 2010061306W WO 2011007683 A1 WO2011007683 A1 WO 2011007683A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
blind spot
display
vehicle
vehicle interior
Prior art date
Application number
PCT/JP2010/061306
Other languages
English (en)
French (fr)
Inventor
佐藤 徳行
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to EP10799742.1A priority Critical patent/EP2456203A4/en
Priority to US13/383,474 priority patent/US8886023B2/en
Priority to CN201080031778.9A priority patent/CN102474596B/zh
Publication of WO2011007683A1 publication Critical patent/WO2011007683A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system

Definitions

  • the present invention relates to a vehicle blind spot image display system and a vehicle blind spot image display that display a blind spot image viewed from the viewpoint of a driver through a translucent vehicle interior image when displaying the blind spot image on a monitor. Regarding the method.
  • the side view monitor system currently in practical use has a side camera (CCD camera, etc.) set inside the side mirror, and the actual camera image from the side camera is displayed on the monitor screen of the front display unit that is also used as the navigation system. Is displayed. In other words, the front side portion of the vehicle that becomes the driver's blind spot is displayed on the monitor screen, so that the driver can recognize the situation of the portion that becomes the blind spot.
  • CCD camera CCD camera, etc.
  • a converted external image is generated by converting a camera video signal obtained by a blind spot camera provided outside the vehicle body into a virtual camera video viewed from the viewpoint position of the driver.
  • a visual recognition area image excluding the blind spot area is generated from a camera video obtained by a driver viewpoint camera provided near the driver's viewpoint position.
  • a vehicle blind spot video display system has been proposed that obtains a composite image obtained by combining a converted external image with a blind spot area removed from a visual recognition area image (see, for example, Patent Document 1).
  • the conventional vehicle blind spot image display system has the following problems.
  • the applicant first converts the actual camera video signal input from the in-vehicle camera into a virtual camera image viewed from the viewpoint position of the driver, and translucently converts the virtual camera image into the virtual camera image.
  • a vehicle blind spot video display system that transmits a semi-transparent vehicle interior image and expresses a virtual camera image by image superimposition is proposed (Japanese Patent Application No. 2008-39395: filed on Feb. 20, 2008).
  • the translucent image displayed on the monitor is simply regarded as a flat image, and the image of the monitor that originally expresses the spatial image and the brain. There seems to be no correlation between the space recognition and the space recognition does not match.
  • the interior image of the semi-transparent part was set to a higher transparency for that purpose, the interior image that makes up the semi-transparent image part is difficult to see, and an expression of looking out from inside the vehicle. was caused by the fact that it was difficult to communicate.
  • the transparency of the transmitted image is lowered, there will be a problem that it becomes difficult to see the essential blind spot image this time.
  • the camera power is often turned on at the start of system operation.
  • the monitor display screen displays the actual camera image, and it often continues to display a blue background or a black screen.
  • the present invention has been made paying attention to the above-mentioned problem, and eliminates blind spots by encouraging the user to understand that it is a system that transmits a semi-transparent vehicle interior image and displays a blind spot image from the viewpoint position of the driver. It is an object of the present invention to provide a vehicle blind spot image display system and a vehicle blind spot image display method that can contribute to the realization of safe driving.
  • a camera that captures the periphery of the vehicle that becomes a blind spot from the driver, a monitor set at a vehicle interior position, and an actual camera image input from the camera And an image processing control device that generates a monitor video signal to the monitor by image processing based on the signal.
  • the image processing control device includes a blind spot image forming unit that converts a real camera video signal input from the camera into a blind spot image viewed from the viewpoint position of the driver; A vehicle interior image forming unit for forming a vehicle interior image viewed from the viewpoint position of the driver; A transmissive display image generating unit that converts the vehicle interior image superimposed on the blind spot image into a translucent vehicle interior image; An animation display image generating unit for generating an animation display image for gradually shifting the vehicle interior image to be superimposed on the blind spot image from an opaque image to a transmission image;
  • the vehicle interior image superimposed on the blind spot image is transmitted from the opaque image separately from the transmissive display that transmits the semi-transparent vehicle interior image and displays the blind spot image.
  • a function is added to display an animation that makes the blind spot image gradually emerge from the vehicle interior image by image processing that gradually shifts to the vehicle interior. That is, even if a blind spot image viewed from the viewpoint position of the driver through the translucent vehicle interior image is shown, there are some users who cannot understand what the monitor image represents.
  • the monitor image displayed on the external monitor becomes a translucent vehicle interior image.
  • the user can easily understand that the image is a blind spot image that is transmitted and displayed. As a result, it contributes to the realization of safe driving by eliminating blind spots by encouraging users to understand that it is a system that shows the blind spot image from the viewpoint position of the driver through the translucent interior image. Can do.
  • FIG. 1 is an overall system block diagram illustrating a see-through side view monitor system A1 (an example of a vehicle blind spot image display system) according to a first embodiment. It is a flowchart which shows the flow of the animation display control process performed with the control apparatus in see-through side view monitor system A1 of Example 1.
  • FIG. It is a figure which shows an example of the external viewpoint conversion image
  • FIG. FIG. 3 is a diagram illustrating an example of a vehicle interior image viewed from the driver's viewpoint in the first embodiment.
  • FIG. 1 It is a figure which shows an example of the semi-transmission synthetic
  • FIG. It is a figure which shows an example of the semi-transmission synthetic
  • FIG. It is a figure which shows an example of the semi-transmission synthetic
  • FIG. 1 It is a whole system block diagram which shows see-through side view monitor system A2 (an example of a vehicle blind spot image display system) of Example 2. It is a flowchart which shows the flow of the animation display control process performed with the control apparatus in see-through side view monitor system A2 of Example 2.
  • FIG. It is a whole system block diagram which shows see-through side view monitor system A3 (an example of a vehicle blind spot image display system) of Example 3. It is a figure which shows an example of the vehicle interior image for layer 1 seen from the driver
  • FIG. It is a figure which shows an example of the door 2 inside image for layers 2 (1) seen from the driver
  • FIG. 10 is a diagram illustrating an example of an external viewpoint conversion image obtained by converting a viewpoint of a side camera image into an image viewed from a driver position in the third embodiment.
  • Example 3 it is a perspective view which shows an example of the screen structure concept by the layer (1) of an interior image, the layer (2) of the internal image 1, the layer (3) of the internal image 2, and the layer (4) of an external image.
  • Example 3 it is a figure which shows the example of a synthesized image which made the screen structure the opacity of the layer (1) of an interior image as 100%.
  • Example 3 it is a figure which shows the example of a synthesized image which set the non-transparency of the layer (1) of the interior image to 80%, and the non-transparency of the layer (2) of the internal image 1 to 20%.
  • Example 3 it is a figure which shows the example of a synthetic
  • Example 3 it is a figure which shows the example of a synthetic
  • Example 3 it is a figure which shows the example of a synthesized image which set the non-transparency of the layer (2) of the internal image 1 to 70%, and set the non-transparency of the layer (3) of the internal image 2 to 30% in Example 3.
  • FIG. 3 it is a figure which shows the example of a synthetic
  • Example 3 it is a figure which shows the example of a synthesized image which made the non-transparency of the layer (3) of the internal image 2 70%, and set the non-transparency of the layer (4) of the external image to 30% in Example 3.
  • Example 3 it is a figure which shows the example of a synthetic
  • Example 3 it is a figure which shows the example of a synthetic
  • FIG. It is a whole system block diagram which shows see-through side view monitor system A4 (an example of a vehicle blind spot image display system) of Example 4. It is a perspective view which shows the three-dimensional transmission image which forms a semi-transparent image in the shape which cut
  • a side camera is used as a transmission-type vehicle blind spot image display system, and a side camera image of a front side portion of the vehicle that becomes a driver's blind spot is transmitted through the vehicle body from the vehicle interior. This will be explained in a form specialized for “See-Through Side View Monitor System” that displays the image on the external monitor.
  • FIG. 1 is an overall system block diagram illustrating a see-through side view monitor system A1 (an example of a vehicle blind spot image display system) according to a first embodiment.
  • the see-through side view monitor system A1 is an image processing method for expressing an animation.
  • a semi-transmission method original source
  • This is an example in which a single-layer semi-transmission method is employed since the image is a blind spot image that is synthesized with a single vehicle interior image while changing its transparency.
  • the system A1 includes a side camera 1 (camera), an external monitor 2 (monitor), an image processing control unit 3 (image processing control apparatus), and an external operation unit 4. Yes.
  • the side camera 1 is mounted in the left side mirror or disposed near the left side mirror, and images the front side portion of the vehicle that becomes the blind spot of the driver.
  • the side camera 1 acquires an actual camera video signal of a front side portion of a vehicle existing on the optical axis of a camera lens by using a built-in image sensor 11 (CCD, CMOS, etc.).
  • a built-in image sensor 11 CCD, CMOS, etc.
  • the external monitor 2 is set to a vehicle interior position (for example, an instrument panel position, etc.) that is visible to the driver.
  • the external monitor 2 has a monitor screen 21 such as a liquid crystal display or an organic EL display, and the monitor video signal generated by the image processing control unit 3 is input to display an image.
  • a dedicated monitor may be set in the see-through side view monitor system A1.
  • a dedicated monitor may be set in the camera system for eliminating the blind spots.
  • the image processing control unit 3 performs image deformation, image formation, image synthesis, etc. according to a set image processing program based on input information from the external operation unit 4 in addition to the actual camera video signal input from the side camera 1.
  • the monitor image signal to the external monitor 2 is generated.
  • the external operation unit 4 includes a system activation switch 41 that is turned ON when the system is activated, and a mode selection switch 42 that switches and selects an animation automatic display position, an animation display prohibited position, and an animation manual display position.
  • the external operation unit 4 may be configured by a touch panel switch displayed on the monitor screen 21 of the external monitor 2, or may be configured by operation buttons, operation dials, or the like set at the outer peripheral position of the external monitor 2.
  • the image processing control unit 3 includes a decoder 31, an image memory 32, an image deforming unit 33 (dead angle image forming unit), a vehicle body image forming unit 34 (vehicle interior image forming unit), A control device (CPU) 35, an image composition device 36 (animation display image generation unit, transmission display image generation unit), and an encoder 37 are provided.
  • a decoder 31 an image memory 32
  • an image deforming unit 33 dead angle image forming unit
  • vehicle body image forming unit 34 vehicle interior image forming unit
  • a control device (CPU) 35 controls the image composition device 36 (animation display image generation unit, transmission display image generation unit), and an encoder 37 are provided.
  • the decoder 31 performs analog / digital conversion on the actual camera video signal input from the side camera 1 to generate actual camera image data.
  • the image memory 32 temporarily stores digital camera-converted actual camera image data from the decoder 31.
  • the image transformation unit 33 views the digitally converted real camera image data input from the image memory 32 from a virtual camera arranged near the driver's viewpoint by viewpoint conversion processing. It transforms to external viewpoint converted image data.
  • viewpoint conversion processing of surrounding video using actual camera image data is performed, and other various image processing (luminance adjustment, color correction, edge correction, etc.) is also performed. Also good.
  • the vehicle body image forming unit 34 forms translucent vehicle interior image data to be image-synthesized (superimposed) on the external viewpoint converted image data from the image deforming unit 33.
  • the vehicle body image forming unit 34 prepares opaque vehicle interior image data previously captured from the viewpoint of the driver, and translucency with different transparency is obtained by ⁇ blend processing based on a transparency command from the control device 35.
  • Car interior image data is formed.
  • This translucent vehicle interior image data does not change the overall transparency of the vehicle interior image data, but only the vehicle body region such as a door or an instrument panel set as a preferable region for transmitting the blind spot image.
  • Translucent part that makes them different.
  • the window area formed by the front window and the door window is a “transparent part” having a transparency of 100%, and the projection area obtained by projecting the vehicle on the road surface is an “opaque part” having a transparency of 0%.
  • the control device 35 is a central processing unit (CPU) that manages all information processing and control output related to image processing in accordance with input information from the external operation unit 4, and includes an image deformation unit 33 and a vehicle body image forming unit 34.
  • a control program for performing animation display control and blind spot image transmission display control is set by a control command to the image composition device 36.
  • the control device 35 is also set with a control program for performing other image processing control such as, for example, external video luminance follow-up display control, display control for sudden luminance change, hue conversion display control, and warning display control.
  • the image composition device 36 generates composite image data by image composition processing in which the translucent vehicle interior image data from the vehicle body image forming unit 34 is superimposed on the external viewpoint conversion image data from the image deformation unit 33.
  • image composition processing in which the translucent vehicle interior image data from the vehicle body image forming unit 34 is superimposed on the external viewpoint conversion image data from the image deformation unit 33.
  • composite image data is generated by superimposing vehicle interior image data with gradually increasing transparency on external viewpoint converted image data.
  • composite image data is generated by superimposing semi-transparent vehicle interior image data based on the set transparency on external viewpoint conversion image data.
  • the encoder 37 receives the composite image data from the image composition device 36, and outputs a monitor video signal to the external monitor 2 through digital / analog conversion of the composite image data.
  • a monitor video signal is output as a video expression on the monitor screen 21 so that the blind spot video gradually emerges from the opaque vehicle interior video state over time.
  • a monitor image signal representing the blind spot image viewed from the driver through the translucent vehicle interior image is output as an image representation on the monitor screen 21.
  • FIG. 2 is a flowchart showing the flow of the animation display process and the transparent display process executed by the image processing control unit 3 of the first embodiment. Hereinafter, each step of FIG. 2 will be described.
  • step S1 it is determined whether the power of the side camera 1 is ON. If YES (camera ON), the process proceeds to step S2, and if NO (camera OFF), the determination in step S1 is repeated.
  • the side camera 1 is turned on in the following operation pattern.
  • the system start switch 41 is turned on in the state where the animation automatic display position is selected by the mode selection switch 42.
  • the system start switch 41 is turned ON and the animation manual display position is switched while the animation display prohibition position is selected by the mode selection switch 42.
  • the camera power is linked with the system activation operation, and the camera power is turned on when the system activation operation is started.
  • a composite video of the external viewpoint conversion video and the translucent vehicle interior video is displayed on the screen 21, and the process proceeds to step S4.
  • step S4 following the display of the composite image using the transparency Tra_N in step S3, the process waits for the set time ⁇ t for stepwise display to elapse while the current composite image is displayed, and then proceeds to step S5. .
  • step S5 following the elapse of the set time ⁇ t for the stepwise display in step S4, it is determined whether or not the elapsed time T from the camera power ON has exceeded the initial stabilization time Tc, and YES (T> Tc ), The process proceeds to step S6. If NO (T ⁇ Tc), the process returns to step S3.
  • step S7 following the setting of the next transparency Tra_N in step S6, it is determined whether or not the set transparency Tra_N is equal to or higher than the initial transparency Tra_O. If YES (Tra_N ⁇ Tra_O), the step is performed. The process proceeds to S8, and if NO (Tra_N ⁇ Tra_O), the process returns to Step S3.
  • the initial setting transparency Tra_O is a value representing the transparency of the translucent vehicle interior image data when performing blind spot image transmission display.
  • step S8 following the determination in step S7 that Tra_N ⁇ Tra_O, translucent vehicle interior image data is formed using the transparency Tra_O, and the semitransparent vehicle interior image data is synthesized with the external viewpoint conversion image data.
  • the monitor screen 21 displays a composite video of the external viewpoint conversion video and the semi-transparent vehicle interior video (a blind spot video by transmission display), and ends.
  • the expression method uses the following method.
  • Semi-transparent car body image is a system that displays external video through a semi-transparent car body in combination with other camera images or in-car image (still picture) among the systems that convert the blind spot camera video and display it. It is intended to contribute to safe driving by making it easier to recognize.
  • Through the stabilization period when the camera is activated, the images from opaque to translucent are continuously changed and displayed to deepen the user's understanding.
  • the image that changes from opaque to semi-transparent is displayed continuously and can be hidden by user's selection.
  • (Object of invention) ⁇ Establish a system that can understand semi-transparent images at a glance for people who are not good at grasping the space. -Reversely use the time lag time that occurs when the camera starts, and play an animation image that explains that the time is a semi-transparent image. As a result, the system is deeply understood by recognizing that the image is seen through the vehicle body, and a system that is easier to understand is constructed. ⁇ Improve entertainment and increase the value of the product by playing video images for several seconds during the waiting time when the actual camera images start up. -When explanations are given in words, almost 100% of the people can understand them. Therefore, by adding a voice explanation function to the system, a more easily understandable and safe system is constructed.
  • This project is an expression method that is highly likely to be used as a display method in realizing an actual transmission-type blind spot image display system for vehicles, and the following effects can be expected.
  • -Even with the system proposed earlier, most people understood that it was a semi-transparent blind spot image and could contribute to safe driving, but there were some exceptions. It is possible to construct a system that is more easily understood by only the video for the people of this exception, leading to improved safety.
  • Animation video flows during the camera start-up time (initial stabilization time), which is an inherent weakness, not only making it possible to improve the system understanding level by using unnecessary waiting time, It also leads to elimination of frustration.
  • Adjustment of transparency by manual operation was possible even with the previously proposed system, but every time the system is started, unless it is turned off by an external operation, the animation always flows, which leads to an understanding that leads to an intuitive understanding.
  • step S5 If it is determined in step S5 that the elapsed time T from the camera power ON has exceeded the initial stabilization time Tc, the process proceeds from step S5 to step S6 in the flowchart of FIG.
  • the process proceeds from step S6 to step S7, step S3, and step S4, and the translucent vehicle interior image is set using the set transparency Tra_N.
  • the synthesized video by the image data synthesis that forms the data and synthesizes the semi-transparent vehicle interior image data with the external viewpoint conversion image data is displayed on the monitor screen 21 until a set time ⁇ t for stepwise display elapses.
  • step S6 the set permeability ⁇ Tra is added to the current transparency Tra_N.
  • step S3 the translucent vehicle interior image is set using the set transparency Tra_N.
  • the synthesized video by the image data synthesis that forms the data and synthesizes the semi-transparent vehicle interior image data with the external viewpoint conversion image data is displayed on the monitor screen 21 until a set time ⁇ t for stepwise display elapses.
  • step S7 adding the set transparency ⁇ Tra to the current transparency Tra_N to obtain the next transparency Tra_N is repeated a plurality of times, and the translucent of the translucent vehicle interior image data is set for the stepwise display ⁇ t
  • step S8 if it is determined in step S7 that the set transparency Tra_N is greater than or equal to the initial transparency Tra_O, the animation display is terminated and the blind spot video transmission display is automatically performed. Proceed to step S8.
  • Fig. 3-1 is an external viewpoint conversion image obtained by converting the video of the side camera 1 into an image viewed from the driver position
  • Fig. 3-2 is an opaque vehicle interior image viewed from the driver's viewpoint.
  • a blending function for semitransparent composition of these two images using the coefficient ⁇ (alpha value) is used, that is, an image in which the vehicle interior image is made translucent, that is, in FIG.
  • the translucent image (3) shown was immediately displayed.
  • the transparency of the vehicle interior image is increased by ⁇ Tra every set time ⁇ t for the stepwise display set in the initial stage. This operation is repeated until the initially set transparency Tra_O is reached, and each time a composite image using the calculated transparency Tra_N is displayed.
  • the semi-transparent composite image (1) in which the external viewpoint conversion video shown in FIG. 3-3 is transmitted about 20% and the external viewpoint conversion shown in FIG. 3-4 The semi-transparent composite image (2) through which the video is transmitted by about 50% passes, and the external viewpoint conversion video shown in FIG. 3-5 reaches the semi-transparent image (3) through which the initial transparency T_O is transmitted. That is, a blind spot image (external viewpoint conversion image) can be viewed as a continuous image (animation image) so as to gradually emerge from the vehicle interior image.
  • the vehicle interior image superimposed on the blind spot image is gradually changed from an opaque image to a semi-transparent image.
  • a function of displaying an animation so that the blind spot image gradually emerges from the vehicle interior image is added.
  • the user can easily understand that the monitor image displayed on the external monitor 2 after the system activation operation is a blind spot image displayed through the translucent vehicle interior image. That is, the understanding of the final translucent image (3) is deepened, an effect is obtained for intuitively grasping the blind spot image thereafter, and it is possible to contribute to the realization of safe driving by eliminating the blind spot.
  • a camera that captures an image of the vehicle periphery that is a blind spot from the driver, a monitor (external monitor 2) set at a vehicle interior position that can be visually recognized by the driver, and input from the camera (side camera 1)
  • Image processing control device image processing control unit 3) for generating a monitor video signal to the monitor (external monitor 2) by image processing based on a real camera video signal, a vehicle blind spot video display system (see-through)
  • the image processing control device takes a viewpoint on a blind spot image obtained by viewing the real camera video signal input from the camera (side camera 1) from the viewpoint position of the driver.
  • a blind spot image forming unit (image deforming unit 33) to be converted and a vehicle interior image viewed from the viewpoint position of the driver are formed.
  • an animation display image generation unit image composition device 36, steps S1 to S7 in FIG. 2) that generates an animation display image that causes the vehicle interior image to be superimposed on the blind spot image to be shifted in steps from an opaque image to a transmission image. And).
  • the system is a system that shows the blind spot image from the viewpoint position of the driver through the translucent interior image. It is possible to provide a vehicle blind spot image display system (see-through side view monitor system A1).
  • the animation display image generation unit (image synthesis device 36, steps S1 to S7 in FIG. 2) is based on the actual camera video input from the camera (side camera 1).
  • a display image on the monitor (external monitor 2) is generated by the image synthesis.
  • animation display can be performed without adding new components or changing the configuration.
  • An external operation unit 4 having a system activation switch 41 is provided, and the animation display image generation unit (image synthesis device 36, steps S1 to S7 in FIG. 2) activates the system with the intention of transparent display of a blind spot image.
  • the switch 41 is turned on, animation display is started.
  • the animation display can be automatically started by using the stabilization period, which is a waiting time when the camera (side camera 1) is activated, simply by performing the system activation operation.
  • An external operation unit 4 having a mode selection switch 42 for switching and selecting at least an animation display prohibition position and an animation manual display position is provided, and the animation display image generation unit (image composition device 36, steps S1 to S7 in FIG. 2).
  • the mode selection switch 42 is used to switch from the animation display prohibited position to the animation manual display position, the animation display is started. For this reason, prohibition of animation display can be selected according to the user's intention, and animation display can be started at any time in response to a user's display request.
  • the animation display image generation unit determines the vehicle interior image transparency Tra_N in a process of gradually increasing the vehicle interior image transparency Tra_N.
  • the animation display is terminated, and the transmission display image generation unit (image The synthesizer 36, step S8 in FIG. 2, automatically starts the transparent display following the end of the animation display. For this reason, in the start area of the blind spot image transmission display from the end area of the animation display, the monitor display image is continuously connected without sudden change, and it is possible to prevent the user from feeling uncomfortable.
  • a vehicle blind spot image display method for displaying a blind spot image on a monitor (external monitor 2) based on an actual camera video signal input from a camera (side camera 1) that captures a vehicle periphery that is a blind spot from a driver.
  • the system startup operation procedure for starting the system with the intention of displaying the blind spot image on the monitor (external monitor 2), and the system startup operation as a trigger, and gradually emerges from the opaque vehicle interior video state over time
  • An animation display procedure for displaying an animated blind spot image on the monitor (external monitor 2) and the display end of the animation image as a trigger.
  • a transmission blind spot image showing the blind spot image from the position is displayed on the monitor (external monitor 2).
  • Example 2 is an example in which a blind spot image acquired by reading stored information stored in advance is used in place of a blind spot image by a camera image when displaying an animation.
  • FIG. 4 is an overall system block diagram illustrating a see-through side view monitor system A2 (an example of a vehicle blind spot image display system) according to the second embodiment.
  • the see-through side view monitor system A2 is a single-layer semi-transmission method that synthesizes a blind spot image based on memory information with a vehicle interior image in which the transparency is changed step by step as an image processing method for expressing animation.
  • the system A2 includes a side camera 1 (camera), an external monitor 2 (monitor), an image processing control unit 3 (image processing control device), and an external operation unit 4. Yes.
  • the image processing control unit 3 includes a decoder 31, an image memory 32, an image deforming unit 33 (dead angle image forming unit), a vehicle body image forming unit 34 (vehicle interior image forming unit), A control device (CPU) 35, an image composition device 36 (animation display image generation unit, transmission display image generation unit), an encoder 37, and a final screen image memory 38 are provided.
  • the final screen image memory 38 is a memory for storing a blind spot image when the camera is turned off.
  • the blind spot image stored in the final screen image memory 38 is used in place of the blind spot image by the camera image during the next animation display for the period from when the camera is turned on until the initial stabilization time Tc of the side camera 1 elapses. . Since other configurations are the same as those in FIG. 1 of the first embodiment, the corresponding components are denoted by the same reference numerals and description thereof is omitted.
  • FIG. 5 is a flowchart illustrating the flow of the animation display process and the transparent display process executed by the image processing control unit 3 according to the second embodiment.
  • Steps S21 and S24 to S28 are the same as steps S1 and S4 to S8 in FIG.
  • the translucent vehicle interior image data is formed by using the transmissible Tra_N, and the monitor video signal is generated by image data synthesis for synthesizing the translucent vehicle interior image data with the external viewpoint conversion image data, and the external monitor 2
  • a composite image of the external viewpoint conversion image and the translucent vehicle interior image is displayed on the monitor screen 21, and the process proceeds to step S4.
  • step S29 following the determination that T ⁇ Tc in step S25, warning display such as flushing and red frame is displayed on the display screen, and the process returns to step S23.
  • step S30 following the determination that T> Tc in step S25, the external viewpoint converted image data based on the current camera video data from the side camera 1 is used as the external viewpoint converted image data, and the process proceeds to step S26. .
  • step S31 whether or not the power of the side camera 1 is turned off following the composite video display of the translucent vehicle interior video using the external viewpoint conversion video (dead angle video) and the transparency Tra_O on the monitor screen 21 in step S28. If YES (camera power OFF), the process proceeds to step S32. If NO (camera power ON), the process returns to step S28.
  • step S32 following the determination in step S31 that the camera power is OFF, the external video (final external viewpoint conversion image data) of the display screen when the camera power is OFF is taken into the final screen image memory 38 and the process ends. move on.
  • step S25 the elapsed time T from the camera power on is initially stabilized. Until it is determined that the conversion time Tc has been exceeded, the flow from step S23 to step S24, step S25, and step S29 is repeated. That is, until the initial stabilization time Tc is exceeded, the external viewpoint converted image data based on the camera video signal from the side camera 1 is not formed. Instead, the external viewpoint stored in the final screen image memory 38 is used instead.
  • the image displayed on the external monitor 2 in step S29 the image displayed on the external monitor 2 in step S29.
  • step S26 Until the set transparency Tra_N becomes equal to or higher than the initial set transparency Tra_O, the process proceeds from step S26 to step S27, step S23, and step S24, and the translucent vehicle interior image is set using the set transparency Tra_N.
  • the synthesized video by the image data synthesis that forms the data and synthesizes the semi-transparent vehicle interior image data with the external viewpoint conversion image data is displayed on the monitor screen 21 until a set time ⁇ t for stepwise display elapses.
  • step S24 the process proceeds from step S24 to step S25, step S30, and step S26, and in step S26, the set transparency is set to the current transparency Tra_N.
  • the next transmission Tra_N 2 ⁇ Tra
  • step S26 the process proceeds from step S26 to step S27, step S23, and step S24, and the translucent vehicle interior image is set using the set transparency Tra_N.
  • the synthesized video by the image data synthesis that forms the data and synthesizes the semi-transparent vehicle interior image data with the external viewpoint conversion image data is displayed on the monitor screen 21 until a set time ⁇ t for stepwise display elapses.
  • step S27 if it is determined in step S27 that the set transparency Tra_N is greater than or equal to the initial transparency Trans_O, the animation display is terminated and the next blind spot image transmission display is performed. From step S31, the blind spot image transmission display is continued until it is determined in step S31 that the camera power is off.
  • step S31 If it is determined in step S31 that the camera power is OFF, the process proceeds to step S32, and the external video (final external viewpoint conversion image data) of the display screen when the camera power is OFF is taken into the final screen image memory 38. The process ends.
  • the second embodiment makes it possible to perform an animation operation by image composition without waiting for the initial stabilization time Tc to elapse.
  • the animation operation of these continuous translucent images is intended to deepen the driver's understanding of the transmissive side view system, and is shown in the translucent image (3) in FIG. 3-5. It is only necessary that an accurate external camera image can be displayed at the final screen stage. In other words, during the animation operation, the real-time blind spot image based on the camera image may not be used.
  • an image when the in-vehicle camera system is turned off is stored in the final screen image memory 38 (step S32), and this is used as an external viewpoint video (dead angle video) in the animation display start area. Use (step S22).
  • the transparency Tra_N is increased every set time ⁇ t (step S26), and video display is sequentially performed until finally reaching the initial setting transparency Tra_O.
  • the initial stabilization time Tc elapses
  • the video of the camera itself is stabilized and can be used. Therefore, after the initial stabilization time Tc elapses, display is performed using the external camera video (step S30). Since other operations are the same as those of the first embodiment, description thereof is omitted.
  • the animation display image generation unit (image synthesizer 36, FIG. 5) is stored in advance from when the camera (side camera 1) is turned on until the initial stabilization time Tc elapses.
  • a display image on the monitor (external monitor 2) is generated using the blind spot image acquired by reading the stored information. For this reason, without waiting for the initial stabilization time Tc of the camera (side camera 1) to elapse, the camera (side camera 1) is turned on for the animation operation by displaying the composite image of the blind spot image and the vehicle interior image. Can be started at the same time.
  • Example 3 is an example in which animation expression is performed by a plurality of planar layer type semi-transparent methods compared to Examples 1 and 2 by a single layer type semi-transparent method.
  • FIG. 6 is an overall system block diagram illustrating a see-through side view monitor system A3 (an example of a vehicle blind spot image display system) according to a third embodiment.
  • the see-through side view monitor system A3 has a plurality of layers having a multi-layered structure that is decomposed step by step as an image processing technique for expressing animation, and translucently expresses an animation operation by changing the transparency for each layer.
  • This is an example of adopting the method (this is an image composition method that combines multiple images of the passenger compartment with the original blind spot image while changing their transparency, henceforth referred to as a multi-layer semi-transmission method) is there.
  • the system A3 includes a side camera 1 (camera), an external monitor 2 (monitor), an image processing control unit 3 (image processing control apparatus), and an external operation unit 4. Yes.
  • the image processing control unit 3 includes a decoder 31, an image memory 32, an image deforming unit 33 (dead angle image forming unit), a vehicle body image forming unit 34 (vehicle interior image forming unit), A control device (CPU) 35, an image composition device 36 (animation display image generation unit, transmission display image generation unit), an encoder 37, and a final screen image memory 38 are provided.
  • an image memory capable of supporting a plurality of layers is added in the vehicle body image forming unit 34.
  • a transparent image layer a system having a total of four layers having three layers of layer 1, layer 2, and layer 3 and one layer 4 for external viewpoint conversion video is adopted ( (See Figure 7-5).
  • a layer 1 work memory 34a stores and sets a layer 1 vehicle interior image with zero transparency
  • the layer 2 work memory 34b stores FIG.
  • the layer 2 door internal image (1) with zero transparency is stored and set
  • the layer 3 work memory 34c stores the layer with zero transparency as shown in FIG.
  • the 3 door internal image (2) is stored and set.
  • a layer for generating an external viewpoint conversion video is set in the image deforming unit 33.
  • These four-layer images are conceptually overlapped as shown in FIG. 7-5, and as a result, ⁇ blending between the multiple layers is performed by using the transparency defined in each layer. An image in a semi-transparent state is formed.
  • the final screen image memory 38 is a memory for storing a blind spot image when the camera is turned off, as in the second embodiment.
  • the blind spot image stored in the final screen image memory 38 is used in place of the blind spot image by the camera image during the next animation display for the period from when the camera is turned on until the initial stabilization time Tc of the side camera 1 elapses. . Since other configurations are the same as those in FIG. 1 of the first embodiment, the corresponding components are denoted by the same reference numerals and description thereof is omitted.
  • the operation will be described.
  • Continuous display action from animation display to transparent display In the single-layer semi-transmission methods of the first and second embodiments, the gradually transparent state is animated and displayed by the system having the two-layer structure of the external image and the vehicle interior image.
  • the multi-layer semi-transmission method of the third embodiment is intended to express more realistic transmission operation using not only the vehicle interior image but also a video in which doors and instrument panels are decomposed stepwise. is there.
  • FIG. 8A the display of the vehicle interior image is started with the layer (1) having an opacity of 100% (transmittance of 0%). Then, the transparency is sequentially changed between the layer (1) and the next layer (2), and the interior image of the door of the layer (2) is transmitted through the vehicle interior image of the layer (1). Transition to display (1). That is, in the second stage, as shown in FIG. 8-2, the vehicle interior image of layer (1) is displayed with an opacity of 80%, and the door internal image (1) of layer (2) is displayed with an opacity of 20%. And In the third stage, as shown in FIG.
  • the vehicle interior image of layer (1) is displayed with 30% opacity and the image (1) inside the door of layer (2) is displayed with opacity of 70%.
  • the vehicle interior image of layer (1) is displayed with 10% opacity and the image (1) inside the door of layer (2) is displayed with opacity of 90%.
  • the transparency is changed between the current layer (2) and the inner layer (3), and the image inside the door (1) of the layer (2) is transmitted to the layer (3).
  • a transition is made to display the image (2) inside the door. That is, in the fifth stage, as shown in FIG. 8-5, the vehicle interior image of layer (1) is 10% non-transparent and the image inside the door (1) of layer (2) is non-transparent 70%.
  • the door interior image (2) in (3) is displayed with an opacity of 20%.
  • the door internal image (1) of the layer (2) is 20% non-transmissible and the door internal image (2) of the layer (3) is non-transparent 80%. Display.
  • the transparency is changed between the current layer (3) and the inner layer (4), and the image inside the door (2) of the layer (3) is transmitted to the layer (4).
  • Transition to display the external viewpoint conversion video That is, in the seventh stage, as shown in FIG. 8-7, the door internal image (2) of layer (3) has an opacity of 70% and the external viewpoint conversion image of layer (4) has an opacity of 30%. Display.
  • the eighth stage as shown in FIG. 8-8, the door internal image (2) of layer (3) is displayed with 30% opacity and the external viewpoint converted image of layer (4) is displayed with opacity of 70%. To do.
  • the door internal video (2) of layer (3) is converted into the vehicle interior image of layer (1).
  • a normal transmissive side view screen in which the vehicle interior image of layer (1) is 15% opacity and the external viewpoint conversion video of layer (4) is 85% opacity Is displayed.
  • the transparent image using several layers is more persuasive, and the composition of the user is increased. Understanding of images is deepened, and intuitive understanding of the system becomes easier.
  • the semi-transparent image is formed by ⁇ blending only between adjacent layers.
  • the present invention is not limited to this, and even if an image is formed by blending between three or more types of multilayers. good.
  • FIG. 5 of the second embodiment by displaying the above operation during the initial stabilization time Tc that is the camera rise delay time, it is possible to aim to reduce the irritation of the waiting time that occurs before the rise. . Since other operations are the same as those of the first embodiment, description thereof is omitted.
  • the animation display image generation unit (image composition device 36) prepares a plurality of layers including a vehicle interior image and a blind spot image, and sequentially combines the plurality of layers in layers from the vehicle interior image to the blind spot image.
  • the blind spot image is transmitted through the vehicle interior image step by step from the opaque vehicle interior image at the start by image composition that changes the transparency of each layer.
  • a display image that goes to is generated. For this reason, the persuasive power is increased as compared with the single layer type translucent method, the user's understanding of the composite image is deepened, and the intuitive understanding of the system can be facilitated.
  • Example 4 is an example of a three-dimensional semi-transmission technique in which each part is three-dimensionally configured using spatial information, and a semi-transparent image is formed by cutting the component part into a circle like a cut model.
  • FIG. 9 is an overall system block diagram showing a see-through side view monitor system A4 (an example of a vehicle blind spot image display system) according to a fourth embodiment.
  • the see-through side view monitor system A4 virtually grasps a vehicle body part three-dimensionally using spatial information as an image processing technique for expressing an animation and virtually cuts a screen that vertically cuts the three-dimensional body part. Set and move this screen stepwise toward the outside, adopting a three-dimensional semi-transparent method that expresses animation movement by making the front side cut by the screen semi-transparent and the outside opaque This is an example.
  • the system A4 includes a side camera 1 (camera), an external monitor 2 (monitor), an image processing control unit 3 (image processing control device), and an external operation unit 4. Yes.
  • the image processing control unit 3 includes a decoder 31, an image memory 32, an image deforming unit 33 (dead angle image forming unit), a vehicle body image forming unit 34 (vehicle interior image forming unit), A control device (CPU) 35, an image composition device 36 (animation display image generation unit, transmission display image generation unit), an encoder 37, and a final screen image memory 38 are provided.
  • the vehicle body image forming unit 34 represents each part three-dimensionally using spatial information such as 3D-CAD data.
  • each three-dimensional part is affixed to the entire surface with each part image as a texture.
  • the door speaker and internal structure are inside the door interior. It has a shape in which steel plates of wood are arranged.
  • a moving screen memory 34d is added to the vehicle body image forming unit 34.
  • This moving screen memory 34d has a screen with a virtual plane or a virtual curved surface set up vertically at a certain distance from the driver viewpoint (virtual viewpoint) position in the passenger compartment.
  • the screen moving outward in stages is used as a trigger for the transparent screen
  • the virtual plane or virtual curved screen cuts the three-dimensional body structure
  • the front side of the cross section is expressed as a transparent image.
  • the outside is expressed as a non-transparent image.
  • the final screen image memory 38 is a memory for storing a blind spot image when the camera is turned off, as in the second embodiment.
  • the blind spot image stored in the final screen image memory 38 is used in place of the blind spot image by the camera image during the next animation display for the period from when the camera is turned on until the initial stabilization time Tc of the side camera 1 elapses. . Since other configurations are the same as those in FIG. 1 of the first embodiment, the corresponding components are denoted by the same reference numerals and description thereof is omitted.
  • the technique of the third embodiment is based on a so-called planar layer type in which a composite image is obtained by changing and blending the transparency of the entire layer for each layer.
  • each part is three-dimensionally configured using spatial information such as 3D-CAD data, and a semi-transparent image is formed in a form in which the constituent parts are cut like a cut model. I am going to go.
  • the front side of the three-dimensional object is cut out and the contents can be viewed.
  • a semi-transparent image is obtained by sequentially moving the position to be cut out to the outside.
  • a screen with a virtual plane or a virtual curved surface is set up vertically at a certain distance from the position of the driver's viewpoint (virtual viewpoint) in the passenger compartment.
  • this screen is used as a trigger for a transparent screen and the screen cuts a solid
  • the front side of the cross section is represented by a transparent image
  • the outside of the cross section is represented by a non-transparent image.
  • Each of the three-dimensional parts is affixed to the entire surface with each part image as a texture.
  • the door speakers and internal structural materials are placed inside the door interior. Since iron plates are arranged, if a part of the door interior is cut by a screen and is transparent, it should be expressed in such a way that the internal speakers can be seen through from that place. become.
  • the virtual plane is sequentially moved outward.
  • the current positional relationship of moving parts such as the tire turning angle, mirror tilt, window glass position, etc. is three-dimensionally reproduced and displayed, and the state is transmitted as described above. May be applied.
  • the components to be cut into circles may be rough, and the components may be configured by pasting only the images of a plurality of layers described in the third embodiment as textures. That is, if there is uneven three-dimensional space information corresponding to the parts group of the same layer video, there is no problem even if the solid is pasted only as a texture on the front surface and is cut in a vertical plane. Since other operations are the same as those of the first embodiment, description thereof is omitted.
  • the animation display image generation unit adds three-dimensional information to the vehicle interior image, and moves and cuts the three-dimensional vehicle interior image from the front side of the vehicle interior to the outside.
  • the screen is moved stepwise from the near side to the outside, and the near side cut off by the screen during this movement is made translucent.
  • a display image that passes through the vehicle interior image in a stepwise manner from the opaque vehicle interior image at the start to the blind spot image is generated. For this reason, the persuasive power is increased as compared with the single layer type translucent method, the user's understanding of the composite image is deepened, and the intuitive understanding of the system can be facilitated.
  • the vehicle blind spot image display system and the vehicle blind spot image display method according to the present invention have been described based on the first to fourth embodiments.
  • the specific configuration is not limited to these embodiments. Modifications and additions of the design are permitted without departing from the spirit of the invention according to each claim in the scope of the above.
  • Examples 1 to 4 show examples of means for deepening the system understanding only with the monitor video.
  • the monitor video generation method in each of the first to fourth embodiments employs a configuration in which an audio addition type method that adds an audio description is added, so that the system understanding is deepened by both the monitor video and the audio. Is of course good.
  • the external operation unit 4 may be provided with a function of arbitrarily adjusting the initial setting transparency of the vehicle interior image by manual operation, for example. Further, for example, a function of arbitrarily adjusting the overall hue of the vehicle interior image to be superimposed may be provided by manual operation.
  • Examples 1 to 4 an example of a see-through side view monitor system using a side camera that acquires an image of a blind spot area on the left side of the vehicle is shown as a vehicle peripheral image display system.
  • a see-through back view monitor system using a back camera that acquires an image of a blind spot area behind the vehicle may be an example of a see-through back view monitor system using a back camera that acquires an image of a blind spot area behind the vehicle.
  • an external monitor is shared, and a monitor system that can select any one of a side view, a back view, a front view, and the like, or a monitor system that is automatically switched under a predetermined condition It can also be applied to.
  • a monitor system that can select any one of a side view, a back view, a front view, and the like, or a monitor system that is automatically switched under a predetermined condition It can also be applied to.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

サイドカメラ(1)と外部モニター(2)と画像処理コントロールユニット(3)と、を備えたシースルーサイドビューモニターシステム(A1)において、画像処理コントロールユニット(3)は、サイドカメラ(1)から入力される実カメラ映像信号を運転者の視点位置から見た死角画像に視点変換する画像変形部(33)と、運転者の視点位置から見た車室内画像を形成する車室内画像形成部(34)と、半透明車室内画像を透過して死角画像を見せる透過表示画像を生成する画像合成装置(36)と、車室内画像の中から次第に浮かび上がってくる死角画像を見せるアニメーション表示画像を生成する画像合成装置(36)と、を有する。

Description

車両用死角映像表示システムと車両用死角映像表示方法
 本発明は、モニターに死角映像を表示する際、あたかも半透明車室内映像を透過して運転者の視点位置から見た死角映像を見せるようにした車両用死角映像表示システムと車両用死角映像表示方法に関する。
 現在、実用化されているサイドビューモニターシステムは、サイドミラーの内部にサイドカメラ(CCDカメラ等)を設定し、ナビゲーションシステムと兼用されるフロントディスプレイユニットのモニター画面に、サイドカメラからの実カメラ映像を表示している。
つまり、モニター画面に、運転者の死角となる車両の前部側方部分を表示することで、運転者が死角となる部分の状況を認識できるようにしている。
 しかしながら、サイドカメラがサイドミラーの内部に配置されているため、カメラ視点と運転者視点の間に大きな視差(1mから2m程度の視差)を有し、障害物やその他の物体形状は、カメラ映像での形状と運転者の席から見える形状とが全く違うものとなる。
 これに対し、通常の場合には、運転者自身の慣れにより、カメラ映像を頭の中で再構成し、物体の位置関係を再構築して判断することにより、運転者自身の見ている映像との整合性を取っている。一方、不慣れな運転者の場合や咄嗟の場合には、画面映像と運転者の席から見える映像との整合性が崩れて違和感を生じる。
 このような違和感を解消するため、車体外側に設けられた死角カメラにより得られるカメラ映像信号を、あたかも運転者の視点位置から見た仮想カメラ映像へと画像変換して変換外部画像を生成する。また、運転者の視点位置近くに設けられた運転者視点カメラにより得られるカメラ映像から、死角領域を除いた視認領域画像を生成する。そして、視認領域画像から除かれた死角領域に変換外部画像を合成した合成画像を得る車両用死角映像表示システムが提案されている(例えば、特許文献1参照)。
特開2004-350303号公報
 しかしながら、従来の車両用死角映像表示システムにあっては、下記に列挙するような問題があった。
 (1)主に2つのカメラ映像を切り出し合成することと、同映像の窓枠等のエッジ部分を強調検知し、これを用いてスーパーインポーズを行うことで死角の解消と違和感の解消に努めていたが、そのことにも限界はあり、映像に違和感を生じてしまう。
 (2)例として述べているような、仰角・俯角方向の上下方向に対する広角な死角カメラを用いた場合、室内カメラ(運転者視点カメラ)の視界を十分カバーしており、室内カメラの映像の死角解消への寄与は、トランク上部等の一部の視界のみであり、システム的に無駄な部分が多い。
 (3)カメラ映像を合成する際に使用されているエッジ強調によるスーパーインポーズ枠は、画像処理機能の追加を必要とするものであるにも拘らず、運転者へ対して車両の死角部分を見ているとの認識を与えるのに、その効果が不十分である。
 そこで、本出願人は、先に、車載カメラから入力される実カメラ映像信号を、運転者の視点位置から見た仮想カメラ画像に視点変換し、この仮想カメラ画像に、半透明化した車室内画像を重畳させる画像合成により、半透明車室内画像を透過して仮想カメラ画像を表現する車両用死角映像表示システムを提案した(特願2008-39395号:平成20年2月20日出願)。
 上記の提案によれば、実車両の本来見えない部分を映し出している映像が、運転者の位置から見た場合、どのように見えるかを演算し、画像変換処理を行うことで、違和感の少ない死角映像を提供している。これは、便宜的にドアを含めた車室内画像を透過して外を見ているような半透過映像を模しており、咄嗟の際に非常に感覚的に判りやすい映像表現を目指しており、安全運転に寄与していた。
 しかしながら、上記提案を用いたシステムを実際に運用する際、次のような視認性の問題が生じていた。被験者を用いた実験結果から判明したことであるが、半透過映像を見せても咄嗟に理解できない人々が年長者を含めて一部存在することがわかった。例えば、サイドミラーの映像を視点変換し、本来なら見えない筈の死角映像を半透過した状態として映像を表現している旨の解説を行うと、ほぼ100人中100人が理解し、その有用性を認めて頂ける。しかし、その説明をしない場合、極一部の人々はその映像が何であるか判らず理解できない。つまり、同提案の主目的である「感覚的に判りやすい映像表現を用いた死角解消による安全運転への寄与」が実現できない場合があることが判明した。
 この原因を、被験者の情報から類推すると、モニターで表示される半透過映像に対し、単純に平面的な映像として捉えてしまい、本来、空間的な映像を表現しているモニターの映像と脳内の空間認識との間に相関性が働かず、空間認識が一致しないらしい。また、半透過部分の車室内映像が、その目的から透過度を高めに設定してあったため、半透過映像部分を構成している車室内映像が視認し難く、車内から外を見ている表現が伝わり難かったことに起因していた。しかし、同透過映像の透過度を下げると、今度は肝心の死角映像が見え難くなってしまう、という問題が生じてしまう。
 また、カメラシステム全体の問題として、省エネ効果を得るため、システム動作開始時にカメラ電源をONにすることが多い。しかし、この場合、カメラの起動時間にタイムラグがあるため、モニター表示画面が実際のカメラ映像を映し出すまでに遅れが生じ、ブルーバックや黒画面を表示し続けることが多かった。
 本発明は、上記問題に着目してなされたもので、半透明車室内映像を透過して運転者の視点位置からの死角映像を見せるシステムであるとのユーザー理解を促すことで、死角を解消することによって、安全運転の実現に寄与することができる車両用死角映像表示システムと車両用死角映像表示方法を提供することを目的とする。
 上記目的を達成するため、本発明の車両用死角映像表示システムでは、運転者から死角となる車両周辺を撮像するカメラと、車室内位置に設定したモニターと、前記カメラから入力される実カメラ映像信号に基づく画像処理により前記モニターへのモニター映像信号を生成する画像処理制御装置と、を備えている。
この車両用死角映像表示システムにおいて、前記画像処理制御装置は、前記カメラから入力される実カメラ映像信号を運転者の視点位置から見た死角画像に視点変換する死角画像形成部と、
運転者の視点位置から見た車室内画像を形成する車室内画像形成部と、
前記死角画像に重畳する前記車室内画像を半透明車室内画像にする透過表示画像生成部と、
前記死角画像に重畳する前記車室内画像を不透明な画像から透過画像へと段階的に移行させるアニメーション表示画像を生成するアニメーション表示画像生成部と、
を有する。
 よって、本発明の車両用死角映像表示システムにあっては、半透明車室内映像を透過して死角映像を見せる透過表示とは別に、死角画像に重畳する車室内画像を不透明な画像から透過画像へと段階的に移行させる画像処理により、車室内映像の中から次第に死角映像が浮かび上がってくるように見せるアニメーション表示を行う機能を追加している。
すなわち、半透明車室内映像を透過して運転者の視点位置から見た死角映像を見せたとしても、モニター映像が何を表しているのか咄嗟に理解できないユーザーが一部存在する。
これに対し、例えば、死角映像の透過表示に先行してユーザーにアニメーション表示を見せる、あるいは、ユーザーの意図によりアニメーション表示を見ることで、外部モニターに映し出されるモニター映像が、半透明車室内映像を透過して表示される死角映像であることを、ユーザーに対し容易に理解してもらうことができる。
この結果、半透明車室内映像を透過して運転者の視点位置からの死角映像を見せるシステムであるとのユーザー理解を促すことで、死角を解消することによって、安全運転の実現に寄与することができる。
実施例1のシースルーサイドビューモニターシステムA1(車両用死角映像表示システムの一例)を示す全体システムブロック図である。 実施例1のシースルーサイドビューモニターシステムA1における制御装置にて実行されるアニメーション表示制御処理の流れを示すフローチャートである。 実施例1においてサイドカメラの映像を運転者位置から見た映像に視点変換した外部視点変換映像の一例を示す図である。 実施例1において運転者視点から見た車室内画像の一例を示す図である。 実施例1において外部視点変換映像と20%程度透過した半透過車室内画像を合成した半透過合成画像(1)の一例を示す図である。 実施例1において外部視点変換映像と50%程度透過した半透過車室内画像を合成した半透過合成画像(2)の一例を示す図である。 実施例1において外部視点変換映像と初期設定透過度に透過した半透過車室内画像を合成した半透過合成画像(3)の一例を示す図である。 実施例2のシースルーサイドビューモニターシステムA2(車両用死角映像表示システムの一例)を示す全体システムブロック図である。 実施例2のシースルーサイドビューモニターシステムA2における制御装置にて実行されるアニメーション表示制御処理の流れを示すフローチャートである。 実施例3のシースルーサイドビューモニターシステムA3(車両用死角映像表示システムの一例)を示す全体システムブロック図である。 実施例3において運転者視点から見たレイヤ1用車室内画像の一例を示す図である。 実施例3において運転者視点から見たレイヤ2用ドア内部映像(1)の一例を示す図である。 実施例3において運転者視点から見たレイヤ3用ドア内部映像(2)の一例を示す図である。 実施例3においてサイドカメラの映像を運転者位置から見た映像に視点変換した外部視点変換映像の一例を示す図である。 実施例3において内装画像のレイヤ(1)と内部画像1のレイヤ(2)と内部画像2のレイヤ(3)と外部映像のレイヤ(4)による画面構成概念の一例を示す斜視図である。 実施例3において画面構成を内装画像のレイヤ(1)の非透過度を100%とした合成画像例を示す図である。 実施例3において画面構成を内装画像のレイヤ(1)の非透過度を80%とし、内部画像1のレイヤ(2)の非透過度を20%とした合成画像例を示す図である。 実施例3において画面構成を内装画像のレイヤ(1)の非透過度を30%とし、内部画像1のレイヤ(2)の非透過度を70%とした合成画像例を示す図である。 実施例3において画面構成を内装画像のレイヤ(1)の非透過度を10%とし、内部画像1のレイヤ(2)の非透過度を90%とした合成画像例を示す図である。 実施例3において画面構成を内部画像1のレイヤ(2)の非透過度を70%とし、内部画像2のレイヤ(3)の非透過度を30%とした合成画像例を示す図である。 実施例3において画面構成を内部画像1のレイヤ(2)の非透過度を20%とし、内部画像2のレイヤ(3)の非透過度を80%とした合成画像例を示す図である。 実施例3において画面構成を内部画像2のレイヤ(3)の非透過度を70%とし、外部映像のレイヤ(4)の非透過度を30%とした合成画像例を示す図である。 実施例3において画面構成を内部画像2のレイヤ(3)の非透過度を30%とし、外部映像のレイヤ(4)の非透過度を70%とした合成画像例を示す図である。 実施例3において画面構成を内装画像のレイヤ(1)の非透過度を15%とし、外部映像のレイヤ(4)の非透過度を85%とした合成画像例を示す図である。 実施例4のシースルーサイドビューモニターシステムA4(車両用死角映像表示システムの一例)を示す全体システムブロック図である。 実施例4のシースルーサイドビューモニターシステムA4において空間情報を用いて立体的に表した構成部品をカットモデルのように輪切りにした形で半透明画像を形成する立体透過イメージを示す斜視図である。
 以下、本発明の車両用死角映像表示システムと車両用死角映像表示方法を実現する最良の形態を、図面に示す実施例1から4に基づいて説明する。
なお、実施例1から4では、透過型の車両用死角映像表示システムとして、サイドカメラを用い、運転者の死角となる車両の前部側方部分のサイドカメラ映像を、車室内から車体を透過した映像として外部モニターに表示する「シースルーサイドビューモニターシステム」に特化した形で説明する。
 まず、構成を説明する。
図1は、実施例1のシースルーサイドビューモニターシステムA1(車両用死角映像表示システムの一例)を示す全体システムブロック図である。
 実施例1のシースルーサイドビューモニターシステムA1は、アニメーション表現する画像処理手法として、実カメラ映像信号に基づく死角画像に、透過度を段階的に変化させた車室内画像を合成する半透過手法(元になる死角画像に、1枚の車室内画像を、その透過度を変化させながら合成する画像合成手法であるため、以後、単一レイヤ型半透過手法と呼ぶ)を採用した例である。このシステムA1は、図1に示すように、サイドカメラ1(カメラ)と、外部モニター2(モニター)と、画像処理コントロールユニット3(画像処理制御装置)と、外部操作部4と、を備えている。
 前記サイドカメラ1は、左サイドミラーに内蔵、あるいは、左サイドミラー付近に配置することで取り付けられ、運転者の死角となる車両の前部側方部分を撮像する。このサイドカメラ1は、内蔵された撮像素子11(CCD、CMOS等)により、カメラレンズの光軸上に存在する車両の前部側方部分の実カメラ映像信号を取得する。
 前記外部モニター2は、運転者が視認できる車室内位置(例えば、インストルメントパネル位置等)に設定される。この外部モニター2には、液晶ディスプレイや有機ELディスプレイ等によるモニター画面21を有し、画像処理コントロールユニット3により生成されたモニター映像信号を入力して映像表示する。ここで、外部モニター2としては、シースルーサイドビューモニターシステムA1に専用のモニターを設定しても良い。また、死角解消用のカメラシステムに専用のモニターを設定しても良い。また、ナビゲーションシステム等、他のシステムのモニターを流用しても良い。
 前記画像処理コントロールユニット3は、サイドカメラ1から入力される実カメラ映像信号に加え、外部操作部4からの入力情報に基づき、設定された画像処理プログラムにしたがって画像変形・画像形成・画像合成等の画像処理を行い、前記外部モニター2へのモニター映像信号を生成する。
 前記外部操作部4は、システム起動時にON操作するシステム起動スイッチ41と、アニメーション自動表示位置・アニメーション表示禁止位置・アニメーション手動表示位置を切り換え選択するモード選択スイッチ42と、を有する。この外部操作部4としては、外部モニター2のモニター画面21に表示されるタッチパネルスイッチによる構成としても良いし、外部モニター2の外周位置に設定される操作ボタンや操作ダイヤル等の構成としても良い。
 前記画像処理コントロールユニット3は、図1に示すように、デコーダー31と、画像メモリ32と、画像変形部33(死角画像形成部)と、車体画像形成部34(車室内画像形成部)と、制御装置(CPU)35と、画像合成装置36(アニメーション表示画像生成部、透過表示画像生成部)と、エンコーダ37と、を備えている。以下、各構成要素の説明をする。
 前記デコーダー31は、サイドカメラ1から入力される実カメラ映像信号を、アナログ/デジタル変換し、実カメラ画像データを生成する。
 前記画像メモリ32は、デコーダー31からのデジタル変換された実カメラ画像データを一時的に蓄える。
 前記画像変形部33は、制御装置35からの指令に基づき、画像メモリ32から入力されるデジタル変換された実カメラ画像データを、視点変換処理により、運転者の視点付近に配置した仮想カメラから見た外部視点変換画像データに変形する。この画像変形部33では、画像処理として、実カメラ画像データによる周囲映像の視点変換処理を行うと共に、他の各種画像処理(輝度調整・色味補正・エッジ補正等)を併せて行うようにしても良い。
 前記車体画像形成部34は、画像変形部33からの外部視点変換画像データに画像合成(スーパーインポーズ)する半透明車室内画像データを形成する。この車体画像形成部34では、運転者の視点から予め撮影された不透明な車室内画像データを用意しておき、制御装置35からの透過度指令に基づくαブレンド処理により、透過度が異なる半透明車室内画像データを形成する。この半透明車室内画像データは、車室内画像データの全体透過度を異ならせたものではなく、死角映像を透過するのに好ましい領域として設定したドアやインストルメントパネル等の車体領域についてのみ透過度を異ならせる「半透明部分」としている。そして、フロントウインドウやドアウインドウによる窓領域は、透過度100%の「透明部分」とし、自車両を道路面に投影した投影領域は、透過度0%の「不透明部分」としている。
 前記制御装置35は、外部操作部4からの入力情報に応じて画像処理に関する全ての情報処理と制御出力を管理する中央演算処理装置(CPU)であり、画像変形部33と車体画像形成部34と画像合成装置36に対する制御指令により、アニメーション表示制御や死角映像透過表示制御を行う制御プログラムが設定されている。なお、この制御装置35には、例えば、外部映像輝度追従表示制御・輝度急変対応表示制御・色相変換表示制御・警告表示制御等の他の画像処理制御を行う制御プログラムも設定されている。
 前記画像合成装置36は、画像変形部33からの外部視点変換画像データに、車体画像形成部34からの半透明車室内画像データを重畳させる画像合成処理により合成画像データを生成する。例えば、アニメーション表示制御を行う場合、外部視点変換画像データに、段階的に透過度を増してゆく車室内画像データを重畳させて合成画像データを生成する。例えば、死角映像透過表示制御を行う場合、外部視点変換画像データに、設定した透過度による半透明車室内画像データを重畳させて合成画像データを生成する。
 前記エンコーダ37は、画像合成装置36から合成画像データを入力し、合成画像データのデジタル/アナログ変換を経て、外部モニター2へモニター映像信号を出力する。例えば、アニメーション表示制御を行う場合には、モニター画面21上の映像表現で、不透明車室内映像状態から時間経過にしたがって死角映像が次第に浮かび上がってくるように表現するモニター映像信号を出力する。例えば、死角映像透過表示制御を行う場合には、モニター画面21上の映像表現で、あたかも半透明車室内映像を透過して運転者から見た死角映像を表現するモニター映像信号を出力する。
 図2は、実施例1の画像処理コントロールユニット3にて実行されるアニメーション表示処理及び透過表示処理の流れを示すフローチャートである。以下、図2の各ステップについて説明する。
 ステップS1では、サイドカメラ1の電源がONか否かを判断し、YES(カメラON)の場合はステップS2へ進み、NO(カメラOFF)の場合はステップS1の判断を繰り返す。ここで、サイドカメラ1の電源がONになるのは、下記の操作パターンのときである。
・モード選択スイッチ42によるアニメーション自動表示位置の選択状態で、システム起動スイッチ41をON操作したとき。
・モード選択スイッチ42によるアニメーション表示禁止位置の選択状態で、システム起動スイッチ41のON操作とアニメーション手動表示位置への切り換え操作をしたとき。
なお、本システムは、省エネルギー効果を得るため、カメラ電源をシステム起動操作と連動させているもので、システム起動操作を開始したときにカメラ電源をONとする。
 ステップS2では、ステップS1でのカメラ電源ONに続き、半透明車室内画像データの透過度Tra_N=0に設定し、ステップS3へ進む。
 ステップS3では、ステップS2でのTra_N=0設定、あるいは、ステップS5でのT≦Tcであるとの判断、あるいは、ステップ7でのTra_N<Tra_Oとの判断に続き、設定されている透過度Tra_Nを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成により、モニター映像信号を生成し、外部モニター2に出力することで、モニター画面21に外部視点変換映像と半透明車室内映像の合成映像を表示し、ステップS4へ進む。
なお、カメラ電源ONからの経過時間Tが初期安定化時間Tcに達するまでは、カメラ映像に基づく外部視点変換画像データが無いため、合成映像ではなく透過度Tra_N=0による車室内映像(単独映像)が表示される。
 ステップS4では、ステップS3での透過度Tra_Nを用いた合成映像の表示に続き、今回の合成映像を表示したままで段階的表示のための設定時間Δtが経過するのを待ち、ステップS5へ進む。
 ステップS5では、ステップS4での段階的表示のための設定時間Δtの経過に続き、カメラ電源ONからの経過時間Tが初期安定化時間Tcを超えたか否かを判断し、YES(T>Tc)の場合はステップS6へ進み、NO(T≦Tc)の場合はステップS3へ戻る。
 ステップS6では、ステップS5でのT>Tcであるとの判断に続き、今回の透過度Tra_Nに設定透過度ΔTraを加え、次回の透過度Tra_N(=Tra_N+ΔTra)とし、ステップS7へ進む。
 ステップS7では、ステップS6での次回の透過度Tra_Nの設定に続き、設定された透過度Tra_Nが初期設定透過度Tra_O以上であるか否かを判断し、YES(Tra_N≧Tra_O)の場合はステップS8へ進み、NO(Tra_N<Tra_O)の場合はステップS3へ戻る。ここで、初期設定透過度Tra_Oは、死角映像透過表示を行う際に、半透明車室内画像データの透過度をあらわす値である。
 ステップS8では、ステップS7でのTra_N≧Tra_Oであるとの判断に続き、透過度Tra_Oを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成により、モニター映像信号を生成し、外部モニター2に出力することで、モニター画面21に外部視点変換映像と半透明車室内映像の合成映像(透過表示による死角映像)を表示し、終了へ進む。
 次に、作用を説明する。まず、「本発明の骨子」の説明を行い、続いて、実施例1のシースルーサイドビューモニターシステムA1における「アニメーション表示から透過表示への連続表示作用」を説明する。
 [本発明の骨子]
 (発明のポイント)
本発明は、特願2008-039395号に対して、半透明車両のスーパーインポーズを、透過した車両の映像であることを理解できない人々が少数であるが存在することに対し、その対策として、行うものである。
・ 現有の技術を使用して、内装の静止画・カメラ映像を用いて死角部分のエリアのみを徐々に半透明化して行く、それをドア内部の静止画も使用し段階的にアニメーションで透明化して行くことで、この映像が透過映像であることを深く理解してもらう。
 ・基本的に、次の手法を用いた表現方法とする。
(1)透過型の車両用死角映像表示システムにおいて、車室内から外を透過して見せる場合、最初から固定された半透明な車室内画像を重畳し見せるのでは無く、最初に不透過(不透明)な車室内映像を見せ、次第に透明度を増して行きドア内部の構造材、ウィンドウガラス、外板のように段階を踏んで半透明化・αブレンド処理を行いながら、あたかもユーザーの操作によって車両が次第に透明になり最終的に外部の死角映像が見られるような表現を行う(実施例1、実施例2)。
(2) 段階的な透明化に関して、少なくとも次の2つの手法に関して提案を行う。
i) 数枚の静止画あるいは直接撮影している室内映像を、複数のレイヤ構造でのソース画像として用い、画像処理を行っている訳であるが、その半透明化を行う単位をレイヤ毎とし、各々のレイヤの透過度を変化させ一枚ずつ段階的に透過させて行く平面的な半透過手法(実施例3)。
ii) 車室内映像に立体的な情報を加味し、仮想的に配置した平面あるいは曲面のスクリーンが手前から外側へ移動して行く際に、そのスクリーンで立体的に切り取られる手前側を半透明とし、その外側を実際の車両構造物や内装品の映像・画像を用い、段階的な半透過画像を得る立体的な半透過手法(実施例4)。
(3)音声情報を利用し、ユーザーが選択している現在のモニター画面に対し、該当する音声の説明をアナウンスすることで、ユーザーの理解を深める手法(他の実施例)。
・システム起動時に、透過型映像であることを判りやすくアニメーションで表現してはどうかというのが、今回の提案である。
具体的には、透過映像を見せる際、最初の一回ないしは慣れるまで、または希望している限りは、室内映像、ドア内装の除去映像、ドア内部の映像、ドア外板映像、外部映像のように、順序だてて透過させて行く。そのようなデモ映像を含めて、システム起動時に半透過映像を見せる手法を提案するものである。
 (発明の概要)
・死角カメラの映像を視点変換し表示するシステムのうち、他のカメラ画像あるいは車室内画像(静止画)と組み合わせ、あたかも半透明な車体を通して外部映像を見せるようなシステムで、半透明な車体映像であることを認識しやすくすることで、安全運転に寄与しようとするもの。
・カメラ起動時の安定化期間を利用し、不透明から半透明に至る映像を連続的に変化させて表示することで、ユーザーの理解を深めるもの。
・システム起動時の最初に上記不透明から半透明に至る映像を連続的に変化させる表示を行い、ユーザーの選択により非表示にもできるもの。
 (発明の目的)
・一部の空間把握が苦手な人々にも、半透過映像を一目で理解可能なシステムを構築し、構築したシステムの提供を行う。
・カメラ起動時に生じるタイムラグ時間を逆に利用し、その時間は半透過映像であることを説明するアニメーション映像を流す。それにより、車体を半透過して見ている映像であることを認識させることでシステムの理解を深め、より判り易いシステムを構築する。
・実際のカメラ映像が立ち上がる待ち時間に(数秒ほど)動画映像を流すことでエンターテイメント性を向上させ、商品価値を上げる。
・言葉で説明を行った場合、ほぼ100%の人々が理解可能であることから、音声による説明機能をシステムに追加することで、よりわかり易い、安全に寄与するシステムを構築する。
 (発明の効果)
本案件は、実際の透過型の車両用死角映像表示システムを実現するにあたり、表示手法として使われる可能性の高い表現方法であり、下記のような効果を期待できる。
・先に提案したシステムでも、殆どの人々に半透過した死角映像であることが理解してもらえ、安全運転に寄与可能であったが、極一部の例外が生じていた。この例外の人々に対し映像のみでより判り易いシステムを構築可能であり、安全性の向上に繋がる。
・本来の弱点であるカメラの起動時間(初期安定化時間)中にもアニメーション映像が流れることで、不要な待ち時間を利用して、システムの理解度を上げることが可能になるだけでなく、イライラの解消にも繋がる。
・マニュアルによる透明度の調整は、先に提案したシステムでも可能であったが、システム起動毎に、外部操作でOFFしない限り、必ずアニメーションが流れることで、理解が進み、直感的な理解に繋がる。
 [アニメーション表示から透過表示への連続表示作用]
図2に示すフローチャートと図3-1から図3-5に示す映像または画像例を用いて、アニメーション表示から透過表示への連続表示作用を説明する。
 サイドカメラ1の電源をONとすると、図2のフローチャートにおいて、ステップS1からステップS2、ステップS3、ステップS4、そしてステップS5へと進み、ステップS5において、カメラ電源ONからの経過時間Tが初期安定化時間Tcを超えたと判断されるまでは、ステップS3からステップS4、そしてステップS5へと進む流れが繰り返される。つまり、初期安定化時間Tcを超えるまでは、サイドカメラ1からのカメラ映像信号に基づく外部視点変換画像データが形成されないため、透過度Tra_N=0を用いた不透明車室内画像データによる不透明車室内映像がモニター画面21に表示される。
 そして、ステップS5において、カメラ電源ONからの経過時間Tが初期安定化時間Tcを超えたと判断されると、図2のフローチャートにおいて、ステップS5からステップS6へと進み、ステップS6では、今回の透過度Tra_Nに設定透過度ΔTraを加えて次回の透過度Tra_N(=Tra_N+ΔTra)とされる。つまり、透過度Tra_N=0から透過度Tra_N=ΔTraに設定される。そして、設定された透過度Tra_Nが初期設定透過度Tra_O以上となるまでは、ステップS6からステップS7、ステップS3、そしてステップS4へと進み、設定された透過度Tra_Nを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成による合成映像が、段階的表示のための設定時間Δtが経過するまでモニター画面21に表示される。
 そして、段階的表示のための設定時間Δtが経過すると、図2のフローチャートにおいて、ステップ4からステップS5、そしてステップS6へと進み、ステップS6では、今回の透過度Tra_Nに設定透過度ΔTraを加えて次回の透過度Tra_N(=2ΔTra)とされる。つまり、透過度Tra_N=ΔTraから透過度Tra_N=2ΔTraに設定される。そして、設定された透過度Tra_Nが初期設定透過度Tra_O以上となるまでは、ステップS6からステップS7、ステップS3、そしてステップS4へと進み、設定された透過度Tra_Nを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成による合成映像が、段階的表示のための設定時間Δtが経過するまでモニター画面21に表示される。
 このように、今回の透過度Tra_Nに設定透過度ΔTraを加えて次回の透過度Tra_Nとすることを複数回繰り返し、半透明車室内画像データの半透明化を段階的表示のための設定時間Δt毎に段階的に進めてゆくことで、ステップS7において、設定された透過度Tra_Nが初期設定透過度Tra_O以上であると判断されると、アニメーション表示を終了し、自動的に死角映像透過表示を行うステップS8へ進む。
 図3-1は、サイドカメラ1の映像を運転者位置からみた映像に視点変換した外部視点変換映像であり、図3-2は、運転者視点から見た不透明車室内画像である。先に提案したシステムでは、これら2つの映像を、係数α(アルファ値)を使って半透明合成するブレンド機能を用いて、車室内画像を半透過状態にした映像、即ち、図3-5に示す半透過画像(3)を直ぐに表示していた。
 しかしながら、先に述べたように、いきなり図3-5に示す半透過画像(3)によるモニター映像を見せた場合、ドア部分が透けて半透明になっていることを理解できない人々が少数存在する。この点に鑑み、その画像を形成する途中経過をも表示することで理解を深めてもらおうとするものである。
 まず、図2のフローチャートに示すように、システム起動時(カメラON)には、図3-2に示す不透明車室内画像を表示する。カメラ映像自身が安定した画像を表示するまでには初期安定化時間Tcを要するこのシステムでは、この初期安定化時間Tcの経過後、以下の動作が始まる。
 初期安定化時間Tcを経過すると、初期に設定した段階的表示のための設定時間Δt毎に、車室内画像の透過度をΔTraずつ上げて行く。この動作を、初期設定透過度Tra_Oに達するまで繰り返し、その都度、演算結果の透過度Tra_Nを用いた合成画像を表示する。その結果、図3-2に示す不透明な車室内画像から、図3-3に示す外部視点変換映像が20%程度透過した半透過合成画像(1)と、図3-4に示す外部視点変換映像が50%程度透過した半透過合成画像(2)を経過し、図3-5に示す外部視点変換映像が初期設定透過度Tra_Oまで透過した半透過画像(3)へと至る。つまり、車室内映像の中から死角映像(外部視点変換映像)が次第に浮かび上がるように連続した映像(アニメーション映像)として見ることができる。
 上記のように実施例1では、半透明車室内映像を透過して死角映像を見せる透過表示とは別に、死角画像に重畳する車室内映像を不透明な映像から半透明な映像へと段階的に移行させる画像処理により、車室内映像の中から次第に死角画像が浮かび上がってくるように見せるアニメーション表示を行う機能を追加している。
 このため、システム起動操作後、外部モニター2に映し出されるモニター映像が、半透明車室内映像を透過して表示される死角映像であることを、ユーザーに対し容易に理解してもらうことができる。つまり、最終的な半透過画像(3)に対する理解が深まり、それ以降の直感的な死角映像の把握に効果が得られ、死角を解消することによって、安全運転の実現に寄与することができる。
 次に、効果を説明する。
実施例1のシースルーサイドビューモニターシステムA1にあっては、下記に列挙する効果を得ることができる。
(1)運転者から死角となる車両周辺を撮像するカメラ(サイドカメラ1)と、運転者が視認できる車室内位置に設定したモニター(外部モニター2)と、前記カメラ(サイドカメラ1)から入力される実カメラ映像信号に基づく画像処理により前記モニター(外部モニター2)へのモニター映像信号を生成する画像処理制御装置(画像処理コントロールユニット3)と、を備えた車両用死角映像表示システム(シースルーサイドビューモニターシステムA1)において、前記画像処理制御装置(画像処理コントロールユニット3)は、前記カメラ(サイドカメラ1)から入力される実カメラ映像信号を運転者の視点位置から見た死角画像に視点変換する死角画像形成部(画像変形部33)と、前記運転者の視点位置から見た車室内画像を形成する車室内画像形成部(車体画像形成部34)と、前記死角画像に重畳する前記車室内画像を半透明車室内画像にする透過表示画像生成部(画像合成装置36、図2のステップS8)と、前記死角画像に重畳する前記車室内画像を不透明な画像から透過画像へと段階的に移行させるアニメーション表示画像を生成するアニメーション表示画像生成部(画像合成装置36、図2のステップS1からS7)と、を有する。
このため、半透明車室内映像を透過して運転者の視点位置からの死角映像を見せるシステムであるとのユーザー理解を促すことで、死角を解消することによって、安全運転の実現に寄与することができる車両用死角映像表示システム(シースルーサイドビューモニターシステムA1)を提供することができる。
(2)前記アニメーション表示画像生成部(画像合成装置36、図2のステップS1からS7)は、アニメーション表示が開始されると、前記カメラ(サイドカメラ1)から入力される実カメラ映像に基づいて取得した死角画像と、開始時の不透明画像から設定時間Δtが経過する毎に車室内画像の透過度を設定透過度ΔTraだけ加えることで半透明画像へと段階的に移行する車室内画像と、の画像合成により前記モニター(外部モニター2)への表示画像を生成する。このため、不透明車室内画像を段階的に半透明化するαブレンドの処理アルゴリズムを加えるだけで、死角映像の透過表示で用いる構成要素(画像合成装置36等)をそのまま流用することができるというように、新たな構成要素の追加や構成変更を要さずにアニメーション表示を行うことができる。
(3)システム起動スイッチ41を有する外部操作部4を設け、前記アニメーション表示画像生成部(画像合成装置36、図2のステップS1からS7)は、死角画像の透過表示を意図して前記システム起動スイッチ41の投入操作を行うと、アニメーション表示を開始する。
このため、システム起動操作を行うだけで、カメラ(サイドカメラ1)が起動する時の待ち時間である安定化期間を利用し、アニメーション表示を自動的に開始することができる。
(4)少なくともアニメーション表示禁止位置とアニメーション手動表示位置を切り換え選択するモード選択スイッチ42を有する外部操作部4を設け、前記アニメーション表示画像生成部(画像合成装置36、図2のステップS1からS7)は、前記モード選択スイッチ42により、アニメーション表示禁止位置からアニメーション手動表示位置に切り換える操作を行うと、アニメーション表示を開始する。
このため、ユーザーの意思によりアニメーション表示の禁止を選択することができると共に、ユーザーの表示要求に応えて何時でもアニメーション表示を開始することができる。
(5)前記アニメーション表示画像生成部(画像合成装置36、図2のステップS1からS7)は、前記車室内画像の透過度Tra_Nを段階的に高めてゆく過程で車室内画像の透過度Tra_Nが、前記透過表示画像生成部(画像合成装置36、図2のステップS8)での半透明車室内画像を得る初期設定透過度Tra_Oに達するとアニメーション表示を終了し、前記透過表示画像生成部(画像合成装置36、図2のステップS8)は、アニメーション表示の終了に引き続いて透過表示を自動的に開始する。
 このため、アニメーション表示の終了域から死角映像透過表示の開始領域において、モニター表示映像が急変することなく連続的に繋がる映像表現となり、ユーザーに対し違和感を与えることを防止することができる。
(6)運転者から死角となる車両周辺を撮像するカメラ(サイドカメラ1)から入力される実カメラ映像信号に基づき、モニター(外部モニター2)に死角映像を表示する車両用死角映像表示方法において、前記モニター(外部モニター2)への死角映像表示を意図してシステム起動操作を行うシステム起動操作手順と、前記システム起動操作をトリガーとし、不透明車室内映像状態から時間経過にしたがって段階的に浮かび上がってくる死角映像を見せるアニメーション映像を、前記モニター(外部モニター2)に画面表示するアニメーション表示手順と、前記アニメーション映像の表示終了をトリガーとし、半透明車室内映像を透過して運転者の視点位置からの死角映像を見せる透過死角映像を、前記モニター(外部モニター2)に画面表示する透過表示手順と、を有する。
このため、カメラ起動時の安定化期間を利用し、不透明から半透明に至る映像を連続的に変化させて表示する手法により、半透明車室内映像を透過して運転者の視点位置からの死角映像を見せるシステムであるとのユーザー理解を促すことで、死角を解消することによって、安全運転の実現に寄与することができる。
 実施例2は、アニメーション表示に際し、カメラ映像による死角画像に代え、予め記憶されている記憶情報を読み出すことで取得した死角画像を用いるようにした例である。
 まず、構成を説明する。図4は、実施例2のシースルーサイドビューモニターシステムA2(車両用死角映像表示システムの一例)を示す全体システムブロック図である。
 実施例2のシースルーサイドビューモニターシステムA2は、アニメーション表現する画像処理手法として、メモリ情報に基づく死角画像に、透過度を段階的に変化させた車室内画像を合成する単一レイヤ型半透過手法を採用した例である。このシステムA2は、図4に示すように、サイドカメラ1(カメラ)と、外部モニター2(モニター)と、画像処理コントロールユニット3(画像処理制御装置)と、外部操作部4と、を備えている。
 前記画像処理コントロールユニット3は、図4に示すように、デコーダー31と、画像メモリ32と、画像変形部33(死角画像形成部)と、車体画像形成部34(車室内画像形成部)と、制御装置(CPU)35と、画像合成装置36(アニメーション表示画像生成部、透過表示画像生成部)と、エンコーダ37と、最終画面用画像メモリ38と、を備えている。
 前記最終画面用画像メモリ38は、カメラOFF時の死角画像を蓄えるメモリである。この最終画面用画像メモリ38に記憶した死角画像は、次回のアニメーション表示の際、カメラON時からサイドカメラ1の初期安定化時間Tcを経過するまでの期間、カメラ映像による死角画像に代えて用いる。
なお、他の構成は、実施例1の図1と同様の構成であるので、対応する構成に同一符号を付して説明を省略する。
 図5は、実施例2の画像処理コントロールユニット3にて実行されるアニメーション表示処理及び透過表示処理の流れを示すフローチャートである。以下、図5の各ステップについて説明する。なお、ステップS21、ステップS24からステップS28の各ステップは、図2のステップS1、ステップS4からステップS8の各ステップと同様の処理を行うので説明を省略する。
 ステップS22では、ステップS21でのカメラ電源ONに続き、半透明車室内画像データの透過度Tra_N=0に設定すると共に、外部視点変換画像データとして、最終画面用画像メモリ38に蓄えられているメモリ内容を用い、ステップS23へ進む。
 ステップS23では、ステップS2でのTra_N=0の設定とメモリ内容による外部映像の設定、あるいは、ステップS30での表示画面に対する警告表示、あるいは、ステップ27でのTra_N<Tra_Oとの判断に続き、設定されている透過度Tra_Nを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成により、モニター映像信号を生成し、外部モニター2に出力することで、モニター画面21に外部視点変換映像と半透明車室内映像の合成映像を表示し、ステップS4へ進む。
なお、カメラ電源ONからの経過時間Tが初期安定化時間Tcに達するまでは、カメラ映像に基づく外部視点変換画像データが無いため、前回のカメラOFF時において記憶した外部視点変換画像データに基づく外部視点変換映像と、透過度Tra_N=0による車室内映像の合成映像が表示される。
 ステップS29では、ステップS25でのT≦Tcであるとの判断に続き、表示画面に対し、フラッシング・赤枠囲み等の警告表示を行い、ステップS23へ戻る。
 ステップS30では、ステップS25でのT>Tcであるとの判断に続き、外部視点変換画像データとして、サイドカメラ1からの現在のカメラ映像データに基づく外部視点変換画像データを用い、ステップS26へ進む。
 ステップS31では、ステップS28でのモニター画面21に対する外部視点変換映像(死角映像)と透過度Tra_Oを用いた半透明車室内映像の合成映像表示に続き、サイドカメラ1の電源がOFFになったか否かを判断し、YES(カメラ電源OFF)の場合はステップS32へ進み、NO(カメラ電源ON)の場合はステップS28へ戻る。
 ステップS32では、ステップS31でのカメラ電源OFFであるとの判断に続き、カメラ電源OFF時における表示画面の外部映像(最終の外部視点変換画像データ)を最終画面用画像メモリ38に取り込み、終了へ進む。
 次に、作用を説明する。
[アニメーション表示から透過表示への連続表示作用]
サイドカメラ1の電源をONとすると、図5のフローチャートにおいて、ステップS21からステップS22、ステップS23、ステップS24、そしてステップS25へと進み、ステップS25において、カメラ電源ONからの経過時間Tが初期安定化時間Tcを超えたと判断されるまでは、ステップS23からステップS24、ステップS25、そしてステップS29へと進む流れが繰り返される。つまり、初期安定化時間Tcを超えるまでは、サイドカメラ1からのカメラ映像信号に基づく外部視点変換画像データが形成されないため、これに代えて、最終画面用画像メモリ38に記憶されている外部視点変換画像データと、透過度Tra_N=0を用いた車室内画像データによる合成映像がモニター画面21に表示される。但し、サイドカメラ1の初期安定化時間Tcを経過していない間は、今現在のカメラ映像では無くメモリに記憶された画像を用いているため、ステップS29において、外部モニター2に表示される映像全体のフラッシングや赤枠の囲み表示、文字表示等、の表現手段により、現在の映像がリアルタイムの映像ではないことが警告される。
 そして、ステップS25において、カメラ電源ONからの経過時間Tが初期安定化時間Tcを超えたと判断されると、図5のフローチャートにおいて、ステップS25からステップS30、そしてステップS26へと進み、ステップS30では、外部視点変換映像としてメモリ映像からカメラ映像に切り換えられ、ステップS26では、今回の透過度Tra_Nに設定透過度ΔTraを加えて次回の透過度Tra_N(=Tra_N+ΔTra)とされる。つまり、透過度Tra_N=0から透過度Tra_N=ΔTraに設定される。そして、設定された透過度Tra_Nが初期設定透過度Tra_O以上となるまでは、ステップS26からステップS27、ステップS23、そしてステップS24へと進み、設定された透過度Tra_Nを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成による合成映像が、段階的表示のための設定時間Δtが経過するまでモニター画面21に表示される。
 そして、段階的表示のための設定時間Δtが経過すると、図5のフローチャートにおいて、ステップS24からステップS25、ステップS30、そしてステップS26へと進み、ステップS26では、今回の透過度Tra_Nに設定透過度ΔTraを加えて次回の透過度Tra_N(=2ΔTra)とされる。つまり、透過度Tra_N=ΔTraから透過度Tra_N=2ΔTraに設定される。そして、設定された透過度Tra_Nが初期設定透過度Tra_O以上となるまでは、ステップS26からステップS27、ステップS23、そしてステップS24へと進み、設定された透過度Tra_Nを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成による合成映像が、段階的表示のための設定時間Δtが経過するまでモニター画面21に表示される。
 このように、今回の透過度Tra_Nに設定透過度ΔTraを加えて次回の透過度Tra_Nとすることを繰り返し、半透明車室内画像データの半透明化を段階的表示のための設定時間Δt毎に段階的に進めてゆくことで、ステップS27において、設定された透過度Tra_Nが初期設定透過度Tra_O以上であると判断されると、アニメーション表示を終了し、次の死角映像透過表示を行うステップS28からステップS31へと進み、ステップS31にてカメラ電源OFFと判断されるまで、死角映像透過表示が継続される。
 そして、ステップS31にてカメラ電源OFFと判断されると、ステップS32へ進み、カメラ電源OFF時における表示画面の外部映像(最終の外部視点変換画像データ)が最終画面用画像メモリ38に取り込まれ、処理を終了する。
 このように、カメラ電源ONからの経過時間Tが初期安定化時間Tcを超えるまでは、カメラ映像に基づく外部視点変換画像データを持たず、この期間は、画像合成によるアニメーション動作を行うことができない。これに対し、実施例2は、初期安定化時間Tcの経過を待たずに画像合成によるアニメーション動作を行うことを可能とする。即ち、これら連続的な半透過画像のアニメーション動作は、運転者への透過型のサイドビューシステムの理解を深めてもらうことが目的であり、図3-5の半透過画像(3)に示される最終画面の段階で正確な外部カメラ映像を表示できれば良い。言い換えると、アニメーション動作中は、カメラ映像に基づくリアルタイムの死角映像で無くとも構わない訳である。
 この点を考慮し、車載のカメラシステムがOFFされた時の画像を、最終画面用画像メモリ38に蓄えておき(ステップS32)、これをアニメーション表示開始領域での外部視点映像(死角映像)として利用する(ステップS22)。この場合も実施例1と同様に、設定時間Δt毎に透過度Tra_Nを上げ(ステップS26)、最終的に初期設定透過度Tra_Oへ達するまで順次映像表示を行う。この時、初期安定化時間Tcの経過後は、カメラの映像自身が安定化し使用可能となるため、初期安定化時間Tcの経過後は外部カメラ映像を用いて表示を行う(ステップS30)。なお、他の作用は、実施例1と同様であるので、説明を省略する。
 次に、効果を説明する。実施例2のシースルーサイドビューモニターシステムA2にあっては、実施例1の(1)から(6)の効果に加え、下記の効果を得ることができる。
(7)前記アニメーション表示画像生成部(画像合成装置36、図5)は、前記カメラ(サイドカメラ1)の電源をONとした時点から初期安定化時間Tcを経過するまでの間、予め記憶されている記憶情報を読み出すことで取得した死角画像を用いて前記モニター(外部モニター2)への表示画像を生成する。
このため、カメラ(サイドカメラ1)の初期安定化時間Tcを経過するのを待つことなく、死角映像と車室内映像の合成映像表示によるアニメーション動作を、カメラ(サイドカメラ1)の電源がONにされると同時に開始することができる。
 実施例3は、単一レイヤ型半透過手法による実施例1、2に対し、複数の平面レイヤ型の半透過手法によりアニメーション表現を行うようにした例である。
 まず、構成を説明する。図6は、実施例3のシースルーサイドビューモニターシステムA3(車両用死角映像表示システムの一例)を示す全体システムブロック図である。
 実施例3のシースルーサイドビューモニターシステムA3は、アニメーション表現する画像処理手法として、段階的に分解した多層構造による複数のレイヤを持ち、レイヤ毎に透過度を変化させてアニメーション動作を表現する半透過手法(元になる死角画像に、複数枚の車室内画像を、それらの透過度を変化させながら合成する画像合成手法であるため、以後、複数レイヤ型半透過手法と呼ぶ)を採用した例である。このシステムA3は、図6に示すように、サイドカメラ1(カメラ)と、外部モニター2(モニター)と、画像処理コントロールユニット3(画像処理制御装置)と、外部操作部4と、を備えている。
 前記画像処理コントロールユニット3は、図6に示すように、デコーダー31と、画像メモリ32と、画像変形部33(死角画像形成部)と、車体画像形成部34(車室内画像形成部)と、制御装置(CPU)35と、画像合成装置36(アニメーション表示画像生成部、透過表示画像生成部)と、エンコーダ37と、最終画面用画像メモリ38と、を備えている。
 この実施例3は、車体画像形成部34の中で複数のレイヤに対応可能な画像メモリを増設した構成としている。ここで、透過する画像レイヤとしては、レイヤ1、レイヤ2、レイヤ3の3層を持ち、外部視点変換映像用にレイヤ4の1層を持つ、計4層構造によるシステムを採用している(図7-5参照)。
 すなわち、前記車体画像形成部34には、画像メモリとして、レイヤ1用ワークメモリ34aと、レイヤ2用ワークメモリ34bと、レイヤ3用ワークメモリ34cを増設している。そして、前記レイヤ1用ワークメモリ34aには、図7-1に示すように、透過度がゼロのレイヤ1用車室内画像を記憶設定し、前記レイヤ2用ワークメモリ34bには、図7-2に示すように、透過度がゼロのレイヤ2用ドア内部映像(1)を記憶設定し、前記レイヤ3用ワークメモリ34cには、図7-3に示すように、透過度がゼロのレイヤ3用ドア内部映像(2)を記憶設定している。
 さらに、前記画像変形部33には、図7-4に示すように、外部視点変換映像を生成するレイヤを設定している。そして、これら4層の映像は、図7-5に示すように、概念上重なっており、各々の層で定義されている透過度を用い、多層間でのαブレンドを行うことで、結果的に半透過状態の映像を形成している。
 前記最終画面用画像メモリ38は、実施例2と同様に、カメラOFF時の死角画像を蓄えるメモリである。この最終画面用画像メモリ38に記憶した死角画像は、次回のアニメーション表示の際、カメラON時からサイドカメラ1の初期安定化時間Tcを経過するまでの期間、カメラ映像による死角画像に代えて用いる。なお、他の構成は、実施例1の図1と同様の構成であるので、対応する構成に同一符号を付して説明を省略する。
 次に、作用を説明する。
[アニメーション表示から透過表示への連続表示作用]
実施例1、2の単一レイヤ型半透過手法では、外部映像と車室内映像の2つのレイヤ構造を持つシステムにより、徐々に透明化する状況をアニメーション化し表示していた。これに対し、実施例3の複数レイヤ型半透過手法では、車室内画像だけではなく、ドアやインパネ内部を段階的に分解した映像を用いて、よりリアルな透過動作を表現しようとするものである。
 図8-1から図8-9に動作イメージを示す。図中の(1)から(4)の数値は、図7-5の各レイヤを意味しているものとする。
最初は、図8-1に示すように、レイヤ(1)が非透過度100%(透過度0%)として車室内画像の表示を開始する。そして、レイヤ(1)と次のレイヤ層であるレイヤ(2)との間で順次透過度を変化させてゆき、レイヤ(1)の車室内画像を透過してレイヤ(2)のドア内部映像(1)を表示するように移行する。すなわち、2段階目は、図8-2に示すように、レイヤ(1)の車室内画像が非透過度80%でレイヤ(2)のドア内部映像(1)が非透過度20%の表示とする。3段階目は、図8-3に示すように、レイヤ(1)の車室内画像が非透過度30%でレイヤ(2)のドア内部映像(1)が非透過度70%の表示とする。4段階目は、図8-4に示すように、レイヤ(1)の車室内画像が非透過度10%でレイヤ(2)のドア内部映像(1)が非透過度90%の表示とする。
 そして、現時点のレイヤ(2)の次に内層であるレイヤ(3)との間で透過度を変化させてゆき、レイヤ(2)のドア内部映像(1)を透過してレイヤ(3)のドア内部映像(2)を表示するように移行する。すなわち、5段階目は、図8-5に示すように、レイヤ(1)の車室内画像が非透過度10%でレイヤ(2)のドア内部映像(1)が非透過度70%でレイヤ(3)のドア内部映像(2)が非透過度20%の表示とする。6段階目は、図8-6に示すように、レイヤ(2)のドア内部映像(1)が非透過度20%でレイヤ(3)のドア内部映像(2)が非透過度80%の表示とする。
 そして、現時点のレイヤ(3)の次に内層であるレイヤ(4)との間で透過度を変化させてゆき、レイヤ(3)のドア内部映像(2)を透過してレイヤ(4)の外部視点変換映像を表示するように移行する。すなわち、7段階目は、図8-7に示すように、レイヤ(3)のドア内部映像(2)が非透過度70%でレイヤ(4)の外部視点変換映像が非透過度30%の表示とする。8段階目は、図8-8に示すように、レイヤ(3)のドア内部映像(2)が非透過度30%でレイヤ(4)の外部視点変換映像が非透過度70%の表示とする。
 そして、最終的には、外の映像であるレイヤ(4)の外部視点変換映像が主になった時点で、レイヤ(3)のドア内部映像(2)を、レイヤ(1)の車室内画像に置き換え、図8-9に示すように、レイヤ(1)の車室内画像が非透過度15%でレイヤ(4)の外部視点変換映像が非透過度85%による通常の透過型サイドビュー画面を表示する。
 上記のように、実施例3では、実施例1、2の単一レイヤ型半透過手法に比べ、何層かのレイヤ構造を利用した透明画像になるため、より説得力が増し、ユーザーの合成画像に対する理解が深まり、システムの直感的な理解がより容易になる。
 なお、この実施例3では、隣り合うレイヤ間でのみαブレンドによる半透過画像の形成を述べたが、これに拘る必要は無く、3種類以上の多層間でのブレンドによる画像を形成しても良い。
また、実施例2の図5に示すように、以上の動作をカメラ立ち上がり遅延時間である初期安定化時間Tcの間に表示することで、立ち上がりまでに生じる待ち時間のイライラを軽減する効果も狙える。なお、他の作用は、実施例1と同様であるので、説明を省略する。
 次に、効果を説明する。実施例3のシースルーサイドビューモニターシステムA3にあっては、実施例1の(1)、(3)から(5)、(7)の効果に加え、下記の効果を得ることができる。
(8)前記アニメーション表示画像生成部(画像合成装置36)は、車室内画像と死角画像を含む複数のレイヤを用意し、該複数のレイヤを車室内画像から死角画像に至るまで順に多層に組み合わせたレイヤ構造をソース画像として設定し、アニメーション表示が開始されると、各々のレイヤの透過度を変化させる画像合成により、開始時の不透明車室内画像から段階的に車室内画像を透過し死角画像へ向かう表示画像を生成する。
このため、単一レイヤ型半透過手法に比べてより説得力が増し、ユーザーの合成画像に対する理解が深まり、システムの直感的な理解をより容易にすることができる。
 実施例4は、空間情報を用いて各部品を立体的に構成し、その構成部品をカットモデルのように輪切りにした形で半透過画像を形成する立体形状型半透過手法による例である。
 まず、構成を説明する。図9は、実施例4のシースルーサイドビューモニターシステムA4(車両用死角映像表示システムの一例)を示す全体システムブロック図である。
 実施例4のシースルーサイドビューモニターシステムA4は、アニメーション表現する画像処理手法として、空間情報を用いて車体部品を立体的に把握すると共に、立体的な車体部品を垂直にカットするスクリーンを仮想的に設定し、このスクリーンを外側に向かって段階的に移動させ、このとき、スクリーンで切り取られた手前側を半透明とし外側を不透明とすることによりアニメーション動作を表現する立体形状型半透過手法を採用した例である。このシステムA4は、図9に示すように、サイドカメラ1(カメラ)と、外部モニター2(モニター)と、画像処理コントロールユニット3(画像処理制御装置)と、外部操作部4と、を備えている。
 前記画像処理コントロールユニット3は、図9に示すように、デコーダー31と、画像メモリ32と、画像変形部33(死角画像形成部)と、車体画像形成部34(車室内画像形成部)と、制御装置(CPU)35と、画像合成装置36(アニメーション表示画像生成部、透過表示画像生成部)と、エンコーダ37と、最終画面用画像メモリ38と、を備えている。
 前記車体画像形成部34は、3D-CADデータのような空間情報を用いて各部品を立体的に表現している。例えば、立体的に表現されている各部品は、各々の部品映像をテクスチャとして全面に貼り付けられており、また、空間的な位置関係も考慮され、ドアの内装の内側にドアスピーカーや内部構造材の鉄板が配置されている形となっている。
 前記車体画像形成部34には、移動スクリーンメモリ34dが増設されている。この移動スクリーンメモリ34dには、車室内の運転者視点(仮想視点)位置から一定の距離に垂直に立てられた仮想平面または仮想曲面によるスクリーンを有する。
 そして、段階的に外に向かって移動するスクリーンを透過画面のトリガーとし、この仮想平面や仮想曲面によるスクリーンが、立体表現された車体構造を切断し、その断面の手前側を透過映像で表現し、外側を非透過映像で表現する。
 前記最終画面用画像メモリ38は、実施例2と同様に、カメラOFF時の死角画像を蓄えるメモリである。この最終画面用画像メモリ38に記憶した死角画像は、次回のアニメーション表示の際、カメラON時からサイドカメラ1の初期安定化時間Tcを経過するまでの期間、カメラ映像による死角画像に代えて用いる。なお、他の構成は、実施例1の図1と同様の構成であるので、対応する構成に同一符号を付して説明を省略する。
 次に、作用を説明する。
[アニメーション表示から透過表示への連続表示作用]
実施例3の手法は、レイヤ毎にそのレイヤ全体の透過度を変化させブレンドして行くことで合成画像を得る、いわば平面的なレイヤ型によるものであった。
これに対し、実施例4では、3D-CADデータのような、空間情報を用いて各部品を立体的に構成し、その構成部品をカットモデルのように輪切りにした形で半透過画像を形成して行こうとするものである。
 具体的には、空間形状のデータを加味することで、図10に示すように、立体を輪切りにした手前側は切り取り、その中身が覗けるイメージである。この輪切りにする位置を順次外へと移動することで、結果的に半透過映像を得ようとするものである。
 まず、車室内の運転者視点(仮想視点)位置から一定の距離に仮想平面や仮想曲面によるスクリーンを垂直に立てる。このスクリーンを透過画面のトリガーとし、スクリーンが立体を切断すると、その断面の手前側を透過映像で表現し、断面の外側を非透過映像で表現する。立体的に表現されている各部品は、各々の部品映像をテクスチャとして全面に貼り付けられており、また、空間的な位置関係も考慮され、ドアの内装の内側にドアスピーカーや内部構造材の鉄板が配置されている形となっているため、ドア内装の一部がスクリーンで切断され透明となっている場合、その場所から、内部のスピーカーなどが透けて見えている形で表現されることになる。この仮想平面を外側へと順次移動して行く。
 結果として、タマネギを垂直にカットして行く時のように、年輪状に何枚ものテクスチャの重なった透過映像となる。このように、立体で捉えた車体構造をスクリーンにより輪切りにカットしてゆくアニメーション表現になるため、実施例1、2の単一レイヤ型半透過手法に比べ、より説得力が増し、ユーザーの合成画像に対する理解が深まり、システムの直感的な理解がより容易になる。
 ここで、外部センサーとの連動によりタイヤの切れ角、ミラーの傾き、ウィンドウガラスの位置等の可動部品の現在の位置関係を立体的に再現し表示して、その状態を前述のような透過処理を施しても構わない。
また、簡易的には、輪切りにする構成部品は大雑把なものでも良く、実施例3に述べている複数枚のレイヤの映像のみをテクスチャとして貼り付けることで部品を構成しても良い。つまり、同レイヤ映像の部品群に対応する凹凸の立体空間情報があれば、その立体に対しテクスチャとして前面のみに貼り付け、それを垂直な平面で輪切りにして行くような構成でも問題は無い。なお、他の作用は、実施例1と同様であるので、説明を省略する。
 次に、効果を説明する。実施例4のシースルーサイドビューモニターシステムA4にあっては、実施例1の(1)、(3)から(5)、(7)の効果に加え、下記の効果を得ることができる。
(9)前記アニメーション表示画像生成部(画像合成装置36)は、前記車室内画像に立体的な情報を加味し、立体的な車室内画像を、車室内の手前側から外側へ移動して切り取る平面または曲面のスクリーンを仮想的に設定し、アニメーション表示が開始されると、前記スクリーンを手前側から外側へ段階的に移動させ、この移動の際にスクリーンで切り取られた手前側を半透明とし外側を不透明とすることにより、開始時の不透明車室内画像から段階的に車室内画像を透過し死角画像へ向かう表示画像を生成する。このため、単一レイヤ型半透過手法に比べてより説得力が増し、ユーザーの合成画像に対する理解が深まり、システムの直感的な理解をより容易にすることができる。
 以上、本発明の車両用死角映像表示システムと車両用死角映像表示方法を実施例1から4に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
 実施例1から4では、モニター映像のみでシステム理解度を深めようとする手段の例を示した。しかし、実施例1から4の各例のモニター映像生成手法に、音声での説明を追加する音声追加型手法を加える構成を採用し、モニター映像と音声の両方によりシステム理解度を深めるようにしても勿論良い。
 実施例1から4では、外部操作部4として、システム起動スイッチ41とモード選択スイッチ42を有する例を示した。しかし、外部操作部4に対し、例えば、車室内画像の初期設定透過度を、手動操作により任意に調整操作する機能を持たせても良い。また、例えば、スーパーインポーズされる車室内画像の全体色相を、手動操作により任意に調整操作する機能を持たせても良い。
 実施例1から4では、車両周辺画像表示システムとして、車両左側方の死角領域の映像を取得するサイドカメラを用いたシースルーサイドビューモニターシステムの例を示した。しかし、車両後方の死角領域の映像を取得するバックカメラを用いたシースルーバックビューモニターシステムの例としても良い。また、車両前方の死角領域の映像を取得するフロントカメラを用いたシースルーフロントビューモニターシステムの例としても良い。さらに、車両全周囲の死角領域の映像を取得する全周囲カメラを用いたシースルーアラウンドビューモニターシステムの例としても良い。さらに、車両周辺画像表示システムとしては、外部モニターを共用し、サイドビューとバックビューとフロントビュー等のうち、何れかを選択できるモニターシステム、あるいは、所定の条件にて自動的に切り換えられるモニターシステムに対しても適用することができる。
[関連出願への相互参照]
 本出願は、2009年7月13日に日本国特許庁に出願された特願2009-164726に基づいて優先権を主張し、そのすべての開示は完全に本明細書で参照により組み込まれる。

Claims (9)

  1.  運転者から死角となる車両周辺を撮像するカメラと、車室内位置に設定したモニターと、前記カメラから入力される実カメラ映像信号に基づく画像処理により前記モニターへのモニター映像信号を生成する画像処理制御装置と、を備えた車両用死角映像表示システムにおいて、
     前記画像処理制御装置は、
     前記カメラから入力される実カメラ映像信号を運転者の視点位置から見た死角画像に視点変換する死角画像形成部と、
     前記運転者の視点位置から見た車室内画像を形成する車室内画像形成部と、
     前記死角画像に重畳する前記車室内画像を半透明車室内画像にする透過表示画像生成部と、
     前記死角画像に重畳する前記車室内画像を不透明な画像から透過画像へと段階的に移行させるアニメーション表示画像を生成するアニメーション表示画像生成部と、
     を有することを特徴とする車両用死角映像表示システム。
  2.  請求項1に記載された車両用死角映像表示システムにおいて、
     前記アニメーション表示画像生成部は、アニメーション表示が開始されると、前記カメラから入力される実カメラ映像に基づいて取得した死角画像と、開始時の不透明画像から設定時間が経過する毎に車室内画像の透過度を設定透過度だけ加えることで半透明画像へと段階的に移行する車室内画像と、の画像合成により前記モニターへの表示画像を生成することを特徴とする車両用死角映像表示システム。
  3.  請求項1または請求項2に記載された車両用死角映像表示システムにおいて、
     前記アニメーション表示画像生成部は、前記カメラの電源をONとした時点から初期安定化時間を経過するまでの間、予め記憶されている記憶情報を読み出すことで取得した死角画像を用いて前記モニターへの表示画像を生成することを特徴とする車両用死角映像表示システム。
  4.  請求項1に記載された車両用死角映像表示システムにおいて、
     前記アニメーション表示画像生成部は、車室内画像と死角画像を含む複数のレイヤを用意し、該複数のレイヤを車室内画像から死角画像に至るまで順に多層に組み合わせたレイヤ構造をソース画像として設定し、アニメーション表示が開始されると、各々のレイヤの透過度を変化させる画像合成により、開始時の不透明車室内画像から段階的に車室内画像を透過し死角画像へ向かう表示画像を生成することを特徴とする車両用死角映像表示システム。
  5.  請求項1に記載された車両用死角映像表示システムにおいて、
     前記アニメーション表示画像生成部は、前記車室内画像に立体的な情報を加味し、立体的な車室内画像を、車室内の手前側から外側へ移動して切り取る平面または曲面のスクリーンを仮想的に設定し、アニメーション表示が開始されると、前記スクリーンを手前側から外側へ段階的に移動させ、この移動の際にスクリーンで切り取られた手前側を半透明とし外側を不透明とすることにより、開始時の不透明車室内画像から段階的に車室内画像を透過し死角画像へ向かう表示画像を生成することを特徴とする車両用死角映像表示システム。
  6.  請求項1に記載された車両用死角映像表示システムにおいて、
     システム起動スイッチを有する外部操作部を設け、
     前記アニメーション表示画像生成部は、死角画像の透過表示を意図して前記システム起動スイッチの投入操作を行うと、アニメーション表示を開始することを特徴とする車両用死角映像表示システム。
  7.  請求項1に記載された車両用死角映像表示システムにおいて、
     少なくともアニメーション表示禁止位置とアニメーション手動表示位置を切り換え選択するモード選択スイッチを有する外部操作部を設け、
     前記アニメーション表示画像生成部は、前記モード選択スイッチにより、アニメーション表示禁止位置からアニメーション手動表示位置に切り換える操作を行うと、アニメーション表示を開始することを特徴とする車両用死角映像表示システム。
  8.  請求項1に記載された車両用死角映像表示システムにおいて、
     前記アニメーション表示画像生成部は、前記車室内画像の透過度を段階的に高めてゆく過程で車室内画像の透過度が、前記透過表示画像生成部での半透明車室内画像を得る初期設定透過度に達するとアニメーション表示を終了し、
     前記透過表示画像生成部は、アニメーション表示の終了に引き続いて透過表示を自動的に開始することを特徴とする車両用死角映像表示システム。
  9.  運転者から死角となる車両周辺を撮像するカメラから入力される実カメラ映像信号に基づき、モニターに死角映像を表示する車両用死角映像表示方法において、
     前記モニターへの死角映像表示を意図してシステム起動操作を行うシステム起動操作手順と、
     前記システム起動操作をトリガーとし、不透明車室内映像状態から時間経過にしたがって段階的に浮かび上がってくる死角映像を見せるアニメーション映像を、前記モニターに画面表示するアニメーション表示手順と、
     前記アニメーション映像の表示終了をトリガーとし、半透明車室内映像を透過して運転者の視点位置からの死角映像を見せる透過死角映像を、前記モニターに画面表示する透過表示手順と、
     を有することを特徴とする車両用死角映像表示方法。
PCT/JP2010/061306 2009-07-13 2010-07-02 車両用死角映像表示システムと車両用死角映像表示方法 WO2011007683A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP10799742.1A EP2456203A4 (en) 2009-07-13 2010-07-02 Blind-spot image display system for vehicle, and blind-spot image display method for vehicle
US13/383,474 US8886023B2 (en) 2009-07-13 2010-07-02 Blind-spot image display system for vehicle, and blind-spot image display method for vehicle
CN201080031778.9A CN102474596B (zh) 2009-07-13 2010-07-02 车辆用死角影像显示系统和车辆用死角影像显示方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-164726 2009-07-13
JP2009164726A JP5108837B2 (ja) 2009-07-13 2009-07-13 車両用死角映像表示システムと車両用死角映像表示方法

Publications (1)

Publication Number Publication Date
WO2011007683A1 true WO2011007683A1 (ja) 2011-01-20

Family

ID=43449293

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/061306 WO2011007683A1 (ja) 2009-07-13 2010-07-02 車両用死角映像表示システムと車両用死角映像表示方法

Country Status (5)

Country Link
US (1) US8886023B2 (ja)
EP (1) EP2456203A4 (ja)
JP (1) JP5108837B2 (ja)
CN (1) CN102474596B (ja)
WO (1) WO2011007683A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737405A (zh) * 2011-03-31 2012-10-17 索尼公司 图像处理设备、图像处理方法和程序
WO2019074005A1 (ja) * 2017-10-10 2019-04-18 マツダ株式会社 車両用ディスプレイ装置
US20210179086A1 (en) * 2019-12-13 2021-06-17 Honda Motor Co., Ltd. Parking assisting device, parking assisting method and storage medium storing program for the parking assisting device

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009225322A (ja) * 2008-03-18 2009-10-01 Hyundai Motor Co Ltd 車両用情報表示システム
EP2512134B1 (en) * 2009-12-07 2020-02-05 Clarion Co., Ltd. Vehicle periphery monitoring system
JP5988683B2 (ja) 2012-05-15 2016-09-07 日立建機株式会社 自走式産業機械の表示装置
JP6014664B2 (ja) * 2012-06-08 2016-10-25 日立建機株式会社 自走式産業機械の表示装置
JP6014433B2 (ja) * 2012-09-19 2016-10-25 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像処理システム
US20140282182A1 (en) * 2013-03-15 2014-09-18 Honda Moror Co., Ltd. Multi-layered vehicle display system and method
JP6148887B2 (ja) 2013-03-29 2017-06-14 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像処理システム
JP6056612B2 (ja) * 2013-03-29 2017-01-11 アイシン精機株式会社 画像表示制御装置および画像表示システム
TWI552897B (zh) 2013-05-17 2016-10-11 財團法人工業技術研究院 影像動態融合方法與裝置
GB201406405D0 (en) * 2014-04-09 2014-05-21 Jaguar Land Rover Ltd Apparatus and method for displaying information
US9332285B1 (en) 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
JP6481273B2 (ja) * 2014-07-11 2019-03-13 株式会社デンソー 車両用表示装置
EP3206394A4 (en) * 2014-10-07 2017-09-27 Panasonic Intellectual Property Management Co., Ltd. Electronic mirror device
TWI554976B (zh) * 2014-11-17 2016-10-21 財團法人工業技術研究院 監控系統及其影像處理方法
GB2532464B (en) 2014-11-19 2020-09-02 Bae Systems Plc Apparatus and method for selectively displaying an operational environment
GB2532465B (en) 2014-11-19 2021-08-11 Bae Systems Plc Interactive control station
US10074154B2 (en) * 2014-12-12 2018-09-11 Nxp Usa, Inc. Display controller and a method thereof
US20160193998A1 (en) * 2015-01-02 2016-07-07 Atieva, Inc. Automatically Activated Vehicle Obstacle Viewing System
DE102015202304A1 (de) * 2015-02-10 2016-08-11 Siemens Aktiengesellschaft Verfahren zum Betreiben eines Fahrzeugs und Fahrzeug
GB2535536B (en) * 2015-02-23 2020-01-01 Jaguar Land Rover Ltd Apparatus and method for displaying information
US10216273B2 (en) 2015-02-25 2019-02-26 Bae Systems Plc Apparatus and method for effecting a control action in respect of system functions
KR102426631B1 (ko) * 2015-03-16 2022-07-28 현대두산인프라코어 주식회사 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치
JP2016211149A (ja) * 2015-04-29 2016-12-15 日立建機株式会社 建設機械
US11332061B2 (en) 2015-10-26 2022-05-17 Atnomity Ltd. Unmanned carrier for carrying urban manned vehicles
US10710608B2 (en) 2015-10-26 2020-07-14 Active Knowledge Ltd. Provide specific warnings to vehicle occupants before intense movements
US10717406B2 (en) 2015-10-26 2020-07-21 Active Knowledge Ltd. Autonomous vehicle having an external shock-absorbing energy dissipation padding
CN108349455B (zh) 2015-10-26 2021-06-15 主动知识有限责任公司 可移动的内部振动吸收能量消散垫
US10059347B2 (en) 2015-10-26 2018-08-28 Active Knowledge Ltd. Warning a vehicle occupant before an intense movement
US10471611B2 (en) * 2016-01-15 2019-11-12 Irobot Corporation Autonomous monitoring robot systems
WO2017130439A1 (ja) * 2016-01-28 2017-08-03 鴻海精密工業股▲ふん▼有限公司 車両用画像表示システム及びその画像表示システムを搭載した車両
JP2017178025A (ja) * 2016-03-30 2017-10-05 矢崎総業株式会社 運転支援装置
JP6699370B2 (ja) * 2016-06-06 2020-05-27 アイシン精機株式会社 車両用画像処理装置
JP6585571B2 (ja) * 2016-09-21 2019-10-02 矢崎総業株式会社 表示装置、及び、車両用ドア
JP6707007B2 (ja) * 2016-09-27 2020-06-10 株式会社東海理化電機製作所 車両用視認装置及び車両用視認画像表示方法
TWI599989B (zh) 2016-11-29 2017-09-21 財團法人工業技術研究院 用於交通工具之影像處理方法及影像系統
JP6730177B2 (ja) * 2016-12-28 2020-07-29 株式会社デンソーテン 画像生成装置および画像生成方法
GB2559759B (en) * 2017-02-16 2020-07-29 Jaguar Land Rover Ltd Apparatus and method for displaying information
JP6658642B2 (ja) * 2017-03-24 2020-03-04 トヨタ自動車株式会社 車両用視認装置
JP6965563B2 (ja) * 2017-05-11 2021-11-10 株式会社アイシン 周辺監視装置
JP7259914B2 (ja) * 2017-05-11 2023-04-18 株式会社アイシン 周辺監視装置
FR3067668B1 (fr) * 2017-06-19 2020-08-14 Renault Sas Dispositif pour afficher un debattement d'une portiere d'un vehicule, et procede associe
DE102017210268B3 (de) * 2017-06-20 2018-08-23 Audi Ag Vorrichtung zur Wiedergabe von Bilddaten in einem Kraftfahrzeug
JP2019034692A (ja) * 2017-08-21 2019-03-07 株式会社東海理化電機製作所 車両用視認装置
JP6686988B2 (ja) * 2017-08-28 2020-04-22 株式会社Soken 映像出力装置及び映像生成プログラム
CN111488816A (zh) * 2017-09-12 2020-08-04 Oppo广东移动通信有限公司 面部信息预览方法及相关产品
ES2704327B2 (es) * 2017-09-15 2020-02-21 Seat Sa Método y sistema para mostrar información de realidad virtual en un vehículo
CN108454553A (zh) * 2017-12-20 2018-08-28 安徽云森物联网科技有限公司 一种基于人眼视觉识别技术实现障碍物检测技术
JP7170284B2 (ja) * 2018-03-09 2022-11-14 パナソニックIpマネジメント株式会社 車載装置
US11866042B2 (en) 2018-08-20 2024-01-09 Indian Motorcycle International, LLC Wheeled vehicle adaptive speed control method and system
DE102018128634A1 (de) * 2018-11-15 2020-05-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem
JP7011568B2 (ja) * 2018-11-26 2022-01-26 本田技研工業株式会社 車載装置
JP2020183166A (ja) * 2019-05-07 2020-11-12 アルパイン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
DE102019122729A1 (de) * 2019-08-23 2021-02-25 Bayerische Motoren Werke Aktiengesellschaft Außensicht-Darstellung auf einer Interieurfläche eines Kraftfahrzeugs
US11607999B2 (en) 2019-09-24 2023-03-21 GM Global Technology Operations LLC Method and apparatus for invisible vehicle underbody view
JP2021064906A (ja) * 2019-10-16 2021-04-22 トヨタ自動車株式会社 画像表示システム
TWI808321B (zh) * 2020-05-06 2023-07-11 圓展科技股份有限公司 應用於畫面顯示的物件透明度改變方法及實物投影機
JP2022048454A (ja) * 2020-09-15 2022-03-28 マツダ株式会社 車両用表示装置
JP2022048455A (ja) * 2020-09-15 2022-03-28 マツダ株式会社 車両用表示装置
US20220185182A1 (en) * 2020-12-15 2022-06-16 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Target identification for vehicle see-through applications

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244688A (ja) * 2001-12-12 2003-08-29 Equos Research Co Ltd 車両の画像処理装置
JP2004350303A (ja) 2004-06-11 2004-12-09 Equos Research Co Ltd 車両の画像処理装置
JP2005335410A (ja) * 2004-05-24 2005-12-08 Olympus Corp 画像表示装置
JP2008039395A (ja) 2006-08-01 2008-02-21 Dainippon Printing Co Ltd 粘度測定装置および粘度測定方法
JP2008085691A (ja) * 2006-09-28 2008-04-10 Clarion Co Ltd 車両周辺監視装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US7212653B2 (en) * 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
JP4815993B2 (ja) * 2005-10-19 2011-11-16 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
US8624977B2 (en) 2008-02-20 2014-01-07 Clarion Co., Ltd. Vehicle peripheral image displaying system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244688A (ja) * 2001-12-12 2003-08-29 Equos Research Co Ltd 車両の画像処理装置
JP2005335410A (ja) * 2004-05-24 2005-12-08 Olympus Corp 画像表示装置
JP2004350303A (ja) 2004-06-11 2004-12-09 Equos Research Co Ltd 車両の画像処理装置
JP2008039395A (ja) 2006-08-01 2008-02-21 Dainippon Printing Co Ltd 粘度測定装置および粘度測定方法
JP2008085691A (ja) * 2006-09-28 2008-04-10 Clarion Co Ltd 車両周辺監視装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2456203A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737405A (zh) * 2011-03-31 2012-10-17 索尼公司 图像处理设备、图像处理方法和程序
US9715743B2 (en) 2011-03-31 2017-07-25 Sony Corporation Image processing apparatus, image processing method, and program
US10360696B2 (en) 2011-03-31 2019-07-23 Sony Corporation Image processing apparatus, image processing method, and program
US11195307B2 (en) 2011-03-31 2021-12-07 Sony Corporation Image processing apparatus, image processing method, and program
WO2019074005A1 (ja) * 2017-10-10 2019-04-18 マツダ株式会社 車両用ディスプレイ装置
JP2019071547A (ja) * 2017-10-10 2019-05-09 マツダ株式会社 車両用表示装置
US20210179086A1 (en) * 2019-12-13 2021-06-17 Honda Motor Co., Ltd. Parking assisting device, parking assisting method and storage medium storing program for the parking assisting device
US11697408B2 (en) * 2019-12-13 2023-07-11 Honda Motor Co., Ltd. Parking assisting device, parking assisting method and storage medium storing program for the parking assisting device

Also Published As

Publication number Publication date
EP2456203A4 (en) 2017-03-29
US20120113261A1 (en) 2012-05-10
CN102474596A (zh) 2012-05-23
EP2456203A1 (en) 2012-05-23
JP5108837B2 (ja) 2012-12-26
US8886023B2 (en) 2014-11-11
CN102474596B (zh) 2014-08-27
JP2011023805A (ja) 2011-02-03

Similar Documents

Publication Publication Date Title
JP5108837B2 (ja) 車両用死角映像表示システムと車両用死角映像表示方法
JP5421788B2 (ja) 車両周辺画像表示システム
JP6658643B2 (ja) 車両用視認装置
JP6658642B2 (ja) 車両用視認装置
JP5134504B2 (ja) 車両周辺監視システム
WO2011070641A1 (ja) 車両周辺監視システム
JP5251947B2 (ja) 車両用画像表示装置
WO2010137684A1 (ja) 画像生成装置及び画像表示システム
JP5118605B2 (ja) 車両周辺画像表示システム
JP4640417B2 (ja) 車両用メータユニット
JP3916958B2 (ja) 車両後方モニタシステムおよびモニタ装置
WO2011118260A1 (ja) 車両周辺監視装置
JP2014197818A (ja) 画像処理装置、画像処理方法、及び、画像処理システム
JP5158051B2 (ja) 運転支援装置
JP6030317B2 (ja) 画像処理装置、画像表示システム、表示装置、画像処理方法及びプログラム
WO2011001642A1 (ja) 車載用映像表示装置
JP6401733B2 (ja) 画像表示装置
JP4882777B2 (ja) 車線変更支援装置及びプログラム
JP5825323B2 (ja) 車両周辺監視装置
JP7443705B2 (ja) 周辺監視装置
WO2018100377A1 (en) Multi-dimensional display
JP2018052215A (ja) 車両用視認装置及び車両用視認画像表示方法
JP2010257242A (ja) 画像データ生成装置
JP5476216B2 (ja) 車両用周囲監視装置
JP5236359B2 (ja) 車載用情報表示装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080031778.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10799742

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13383474

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010799742

Country of ref document: EP