WO2012169355A1 - 画像生成装置 - Google Patents

画像生成装置 Download PDF

Info

Publication number
WO2012169355A1
WO2012169355A1 PCT/JP2012/063188 JP2012063188W WO2012169355A1 WO 2012169355 A1 WO2012169355 A1 WO 2012169355A1 JP 2012063188 W JP2012063188 W JP 2012063188W WO 2012169355 A1 WO2012169355 A1 WO 2012169355A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dimensional object
substitute
vehicle
unit
Prior art date
Application number
PCT/JP2012/063188
Other languages
English (en)
French (fr)
Inventor
山本欣司
渡邊一矢
武田聖子
三浦健次
門脇淳
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011129323A external-priority patent/JP5516998B2/ja
Priority claimed from JP2011129322A external-priority patent/JP5516997B2/ja
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to CN201280028252.4A priority Critical patent/CN103609100B/zh
Priority to EP12796019.3A priority patent/EP2720458A4/en
Priority to US14/114,665 priority patent/US9672432B2/en
Publication of WO2012169355A1 publication Critical patent/WO2012169355A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an image generation apparatus that outputs, as a display image, an overhead image generated by projective transformation of a captured image acquired by an in-vehicle camera that captures a peripheral region of a vehicle from an upper virtual viewpoint.
  • a captured image acquired by an in-vehicle camera is projected onto a projection plane parallel to the road surface, that is, an overhead image from directly above is generated by projective transformation with the virtual viewpoint positioned vertically upward. Is done. Therefore, by displaying this bird's-eye view image on the monitor, it helps the driver to grasp the road surface condition around the vehicle.
  • the overhead image obtained through such projective transformation has a problem that the image is more distorted in a distant region than in the vicinity region of the in-vehicle camera, making it difficult for the driver to grasp the sense of distance.
  • a three-dimensional object not only a person or a vehicle but also a road obstacle such as a construction triangular cone
  • a road obstacle such as a construction triangular cone
  • a vehicle surrounding image display system described in Patent Document 1 includes a camera for imaging the surroundings of the vehicle, obstacle detection means for detecting obstacles around the host vehicle, obstacles
  • the obstacle detection unit is configured to include a memory unit that stores a substitute image corresponding to an object in advance and an image processing unit that generates an overhead image from a virtual viewpoint around the host vehicle based on an image acquired by the camera.
  • the image processing unit identifies the obstacle, selects an alternative image corresponding to the identified obstacle, reads out the image from the memory unit, and determines the orientation and inclination of the selected alternative image as a virtual viewpoint. And is superimposed on the overhead image.
  • the image processing unit converts the image captured by the imaging unit into an overhead view image from the top or side of the vehicle, and based on the information from the obstacle detection unit, the size of the three-dimensional obstacle around the vehicle.
  • An alternative image suitable for the operation is selected from the memory unit and overwritten on the overhead image.
  • an alternative image is displayed instead of an obstacle image showing an actual three-dimensional obstacle, it may be difficult for the driver to identify the alternative image and the actual three-dimensional obstacle.
  • the detected three-dimensional obstacle is a human and a human image represented by an illustration or a photograph is displayed
  • the display screen is small, the human image on the display screen and the actual human confirmed with the rearview mirror or the naked eye
  • identification is difficult if the human being who can actually confirm is in a backward posture but the substitute image is in a forward posture.
  • identification is extremely difficult if the substitute image is a forward-looking sedan even though the automobile that can actually be confirmed is a minivan with a backward-facing attitude.
  • JP 2010-251939 A paragraph number [0008-0056], FIG. 7, FIG. 10)
  • An image generation apparatus which outputs a bird's-eye view image generated by projective transformation of a captured image acquired by an in-vehicle camera that captures a peripheral area of a vehicle from an upper virtual viewpoint, is present in the peripheral area
  • a three-dimensional object recognition unit that recognizes the three-dimensional object to be output and outputs three-dimensional object attribute information indicating the attribute of the three-dimensional object, and the three-dimensional object in the captured image based on position information included in the three-dimensional object attribute information.
  • a three-dimensional object image region determining unit that determines a three-dimensional object image region that is an image region; a substitute image of the three-dimensional object that is colored with a color based on color information included in the three-dimensional object attribute information; and type information;
  • a substitute image output unit that outputs at least one of the substitute image of the three-dimensional object in the specified orientation posture of the three-dimensional object specified based on the posture information, and the position of the three-dimensional object image region
  • the identification of the actual three-dimensional object and the substitute image on the display screen is improved by giving the substitute image a color corresponding to the color of the actual three-dimensional object. Based on the fact that the visibility of.
  • the recognized three-dimensional object included in the photographed image is in the form of an alternative image that clearly expresses the characteristics of the three-dimensional object, in particular, the characteristic color thereof. Will be included. Therefore, the driver can easily recognize a three-dimensional object located around the vehicle from the overhead image with the substitute image.
  • a substitute image without a color or a substitute image to which a specific color is given is stored in a database according to type or shape, and the substitute image is extracted using the type or shape as a search condition.
  • Coloring or repainting based on the color information of the actual three-dimensional object, and creating a database of alternative images colored with various colors in advance, and adding color information according to the search conditions that add color information to types and shapes There is a method of extracting and outputting alternative images. Considering that the color of the costume is various when the three-dimensional object is a human, the former method is preferable because the capacity of the substitute image stored in the database can be reduced as compared with the latter method.
  • the substitute image output unit stores a substitute image database that stores a substitute image of the three-dimensional object based on color information, and the substitute image database from the substitute image database to the three-dimensional object attribute information.
  • An alternative image extraction unit that extracts an alternative image of the three-dimensional object based on the included three-dimensional object type information, and color information that includes the alternative image extracted by the alternative image extraction unit in the three-dimensional object attribute information
  • an alternative image coloring portion for coloring with a color based on the above.
  • the alternative image coloring unit includes the color information in the color information.
  • a plurality of colors that characterize the three-dimensional object are determined based on the plurality of colors, and the substitute image is divided into a plurality of colors. For example, the lower half average color and the upper half average color of the three-dimensional object height in the photographed image are calculated and the lower half and upper half of the substitute image are calculated with each average color. It is suggested to fill each one. In consideration of the small area of filling in the substitute image, it is also effective to fill in a conspicuous color by increasing the saturation of the average color.
  • the substitute image coloring unit colors the substitute image based on the color information, a color with higher saturation and a color that can be easily distinguished from the surrounding colors in consideration of visibility, rather than simply using a color according to the photographed image, its three-dimensional It is also preferable to apply an emphasized color such as a typical color that an object has (for example, red for a post box), or a gradation color that indicates the moving direction for a moving object.
  • a color enhancement instruction unit that outputs a color enhancement instruction for emphasizing a color to be colored on the substitute image by the substitute image coloring unit based on the three-dimensional object attribute information is provided. It has been.
  • a bird's-eye shot image can be generated using projective transformation with the viewpoint moved upward from the shot image, but if the original shot image is a plurality of shot images taken around the front, rear, left and right of the vehicle, It is possible to generate a bird's-eye shot image for bird's-eye view of a vehicle surrounding area centered on the vehicle. Furthermore, if a substitute image is synthesized with the overhead view shot image, it is possible to prevent the substitute image from being distorted and difficult to see due to projective transformation. Accordingly, in one preferred embodiment of the present invention, an overhead view shot image generation unit that generates an overhead view shot image around the vehicle using projective transformation from a plurality of shot images that cover the periphery of the vehicle and have different shooting directions.
  • the image composition unit is configured to give the substitute image to the three-dimensional object image region of the overhead view photographed image.
  • a function for performing projective transformation from a viewpoint different from that of the captured image is added to the overhead view captured image generation unit that processes the captured images having different shooting directions, so that the viewpoint between the overhead captured image and the alternative image is related. It is also possible to create a bird's-eye shot image with a substitute image that harmonizes the uncomfortable feeling with the unnatural feeling of the projective transformation distortion.
  • the movement direction of the three-dimensional object can be obtained by evaluating the recognition of the three-dimensional object over time. Accordingly, in one embodiment of the present invention, an image indicating the moving direction of the three-dimensional object is provided together with the substitute image. As one specific example of an image indicating the moving direction of such a three-dimensional object, an image indicating the moving direction can be generated as an afterimage of the substitute image corresponding to the movement of the three-dimensional object. As another one, it is also proposed that the image indicating the moving direction is an arrow.
  • the substitute image output unit includes a substitute image database that stores a substitute image of the three-dimensional object based on type information and posture information, and type information and posture included in the three-dimensional object attribute information from the substitute image database.
  • An alternative image extraction unit that extracts the alternative image using the information as a search condition may be included. According to this, the substitute image extraction unit can extract the substitute image of the three-dimensional object from the substitute image database based on the three-dimensional object attribute information.
  • the three-dimensional object recognition unit includes a face detection unit that detects a person's face. Based on the detection result of the face detection unit, the type information indicates that the recognized three-dimensional object is a person. In addition, it is preferable that any one of a forward posture, a backward posture, and a lateral posture is set in the posture information. According to this, when a face is included, it is possible to specify that the three-dimensional object is a person, and to estimate the posture of the person, the horizontal posture, and the forward posture based on the orientation of the face.
  • the three-dimensional object recognition unit is set in the type information that the recognized three-dimensional object is an automobile based on the inter-vehicle communication information by the inter-vehicle communication, and has a forward posture, a backward posture, and a lateral posture. Any one is preferably set in the posture information. According to this, it is possible to easily set the orientation, the vehicle type, and the vehicle color of the three-dimensional object (automobile).
  • an overhead view shot image generation unit that generates an overhead view shot image around the vehicle using a projective transformation from a plurality of shot images that cover the periphery of the vehicle and that have different shooting directions, and the image composition unit includes the overhead view shooting. It can be set as the structure which provides the said alternative image to the said solid-object image area
  • the surrounding bird's-eye view image by the projective transformation process using the upper viewpoint when a three-dimensional object is present in front of the camera, distortion occurs such that the vicinity of the top of the three-dimensional object extends. For this reason, like this structure, it can correct so that a solid thing may be visually recognized easily by providing an alternative image.
  • FIG. 2 is a schematic diagram in which an alternative image is also subjected to projective transformation with respect to FIG. 1. It is a schematic diagram which shows the example which applied the alternative image which concerns on the 1st Embodiment of this invention to the bird's-eye view image using four captured images of front, back, left, and right.
  • 1 is a functional block diagram of a vehicle periphery monitoring system to which an image generation device according to a first embodiment of the present invention is applied.
  • FIG. 9 is a schematic diagram in which an alternative image is also subjected to projective transformation with respect to FIG. 8.
  • a captured image of a peripheral region in the traveling direction of the own vehicle is acquired by the in-vehicle camera (# 1).
  • the acquired captured image is also used for detection processing of a three-dimensional object that becomes an obstacle around the vehicle.
  • a general image recognition process is used, but supplementarily, three-dimensional object detection using an ultrasonic wave, a laser radar method, or an infrared method is used (# 2).
  • the three-dimensional object recognition algorithm is well-known and will not be described in detail here, but it is determined whether it is a moving or stationary object using the motion vector method or difference method, size, shape identification by edge detection, type from color information
  • a three-dimensional object is recognized by identification or the like.
  • the three-dimensional object may be recognized in more detail by image recognition using a captured image based on the detection information.
  • the three-dimensional object attribute information including the three-dimensional object attribute values such as the position, posture, size, type, and color of the three-dimensional object existing in the field of view of the in-vehicle camera is generated (# 3).
  • a three-dimensional object image region that is an image region of the three-dimensional object in the captured image is determined from the position information included in the three-dimensional object attribute information (# 4).
  • the three-dimensional object image region is corrected so that the three-dimensional object can be easily seen by performing a combination process such as an overwriting process for replacing with a substitute image or a superimposing process for superimposing from above, as will be described below. .
  • a substitute image serving as a base is extracted from the substitute image database (# 6).
  • This alternative image database may exist in the vicinity of the vehicle, and the three-dimensional object of the type that can be recognized by this system includes type information, moving / stationary object information, size information, etc. included in the three-dimensional object attribute information. Can be extracted as a search condition.
  • the substitute image extracted from the substitute image database is colored based on the color information included in the three-dimensional object attribute information (# 7).
  • This alternative image can be colored in various patterns. For example, (1) The color indicated by the three-dimensional object in the captured image is applied as it is. (2) If the specified three-dimensional object has a characteristic color, that color is applied.
  • the boundary peripheral region is subjected to suppression processing such as blurring, blending with peripheral pixels (such as ⁇ blending), and desaturation.
  • the final bird's-eye view image in which the substitute image is incorporated by the synthesis process is sent to the monitor and displayed on the monitor for the purpose of vehicle periphery monitoring (# 9).
  • FIG. 2 is also a schematic diagram for explaining the basic concept of the invention in the same manner as FIG. 1.
  • the difference from the basic concept in FIG. 1 is that the substitute image is also synthesized with the overhead image after the viewpoint conversion processing is performed. Is Rukoto.
  • the substitute image registered in the substitute image database is also a three-dimensional object image created from a predetermined viewpoint, but there may be a sense of incongruity that cannot be ignored depending on the image position to be synthesized in the overhead view image.
  • a viewpoint conversion process that eliminates the uncomfortable feeling determined according to the position of the image to be combined, the type of the three-dimensional object, and the like is performed on the substitute image (# 7a).
  • a coloring substitute image is synthesized by synthesizing a colored substitute image with a photographed image before the viewpoint conversion to a bird's-eye view image, and the viewpoint conversion of the synthesized photographed image is performed.
  • a configuration in which an overhead image including an image is generated and sent to a monitor may be employed.
  • FIG. 3 shows a process for creating an all-around overhead image including a colored substitute image of a three-dimensional object included in a photographed image from four photographed images from the back camera 1a, left and right side cameras 1b and 1c, and the front camera 1d.
  • FIG. 3 shows a process for creating an all-around overhead image including a colored substitute image of a three-dimensional object included in a photographed image from four photographed images from the back camera 1a, left and right side cameras 1b and 1c, and the front camera 1d.
  • FIG. 3 exemplifies a procedure for generating an all-around overhead image to be displayed on the monitor for parking support in reverse parallel parking.
  • a triangular cone is reflected as a three-dimensional object to be noted in the captured image of the back camera 1a.
  • the rear shot image by the back camera 1a is projectively converted as a rear region image of the all-around overhead image from directly above the vehicle.
  • the left shot image by the left side camera 1b, the right shot image by the right side camera 1c, and the forward shot image by the front camera 1d are respectively projectively transformed as a left area image, a right area image, and a front area image of the all-around overhead image. Is done.
  • projective transformation is performed using a mapping table. Since each map data value is different, a suitable map is set. However, each of these maps is created so as to bring about projective transformation with a plane parallel to the road surface as a projection plane.
  • the rear shot image from the back camera 1a includes a three-dimensional object (in this example, a triangular cone).
  • the presence of this three-dimensional object is detected by the three-dimensional object mounted on the vehicle. While being detected by the function, it is recognized by image recognition from a photographed image obtained by photographing a peripheral region including the three-dimensional object.
  • Three-dimensional object attribute information including position information, type information, color information and the like regarding the recognized three-dimensional object is output so that it can be linked to a photographed image (backward photographed image) from the back camera 1a. Therefore, based on the position information included in the three-dimensional object attribute information, a region where the three-dimensional object in the rear region image is copied is determined as the three-dimensional object image region.
  • a substitute image of the three-dimensional object (triangular cone and part of the car) included in the rear region image is extracted using the type information and size information included in the three-dimensional object attribute information as search conditions.
  • the extracted substitute image is colored based on the color information included in the three-dimensional object attribute information.
  • the color information is based on the pixel value of the recognized three-dimensional object image in the captured image, it is affected by ambient light or the like.
  • it may be better to color such a natural color, but in general, it is better to color with an emphasized color to obtain better visibility.
  • the visibility of the triangular cone is improved by being colored with high saturation yellow.
  • the colored triangular cone and the colored substitute image that is a part of the automobile are combined with the rear side overhead image.
  • the color substitute image is synthesized into an overhead image using the viewpoint conversion mapping table that generated the rear side bird's-eye view image or the optimum viewpoint conversion mapping table that makes it easier to see the color substitute image (triangle cone and part of the car). May be.
  • the rear region image (rear side bird's-eye view image segment) of the all-around bird's-eye view image it is preferable to perform a suppression process on the previously determined three-dimensional object image region in the rear region image (rear side bird's-eye view image segment) of the all-around bird's-eye view image to be combined with the output colored substitute image.
  • the left overhead image segment, the right overhead image segment, and the forward overhead image segment including the rear overhead image segment including the colored substitute image generated in this way are combined to generate an all-around overhead image that is finally displayed on the monitor. Is done.
  • the synthesis of the colored substitute image may be performed later on the all-around overhead image generated earlier.
  • an all-around bird's-eye view image is obtained from captured images and three-dimensional object detection information from four in-vehicle cameras, a back camera 1a, a front camera 1d, a left side camera 1b, and a right side camera 1c.
  • the image generation apparatus for creating the image is incorporated in the vehicle for the construction of the vehicle periphery monitoring system.
  • these in-vehicle cameras 1a, 1b, 1c, and 1d may be simply referred to as the camera 1 as appropriate.
  • an image captured by the camera 1 or an overhead image generated using the captured image is displayed on the monitor.
  • the camera 1 uses a CCD (charge coupled device) or CIS (CMOS image sensor) or other imaging device to capture a 15-30 frame per second 2D image in time series, and digitally converts the captured image in real time. It is a digital camera that outputs.
  • the camera 1 includes a wide angle lens. In particular, in the present embodiment, a viewing angle of 140 to 190 ° is ensured in the horizontal direction, and the optical axis is installed in the vehicle with a depression angle of about 30 degrees.
  • the ECU 20 that is the core of the vehicle periphery monitoring system is installed inside the vehicle. As shown in FIG. 4, the ECU 20 includes a sensor input interface 23, a communication interface 70, and the like that process the signal input from the vehicle state detection sensor group as it is or evaluate and transfer it to the inside of the ECU 20, and process input information.
  • a microprocessor and a DSP digital signal processor
  • the vehicle state detection sensor group connected to the sensor input interface 23 detects the driving operation and the vehicle running state.
  • the vehicle state detection sensor group includes a steering sensor that measures the steering operation direction (steering direction) and the operation amount (steering amount), a shift position sensor that determines the shift position of the shift lever, and an accelerator pedal.
  • An accelerator sensor that measures the operation amount, a brake sensor that detects the operation amount of the brake pedal, a distance sensor that detects the travel distance of the host vehicle, and the like are included.
  • the communication interface 70 used as an input / output interface employs an in-vehicle LAN as a data transmission line, and includes control units such as a monitor 21, a touch panel 21T, a power steering unit PS, a transmission mechanism T, and a brake device BK. Connected to allow data transmission.
  • a speaker 22 is also provided as an audio information output device.
  • the ECU 20 is provided with various functional units constructed in the form of hardware and / or software.
  • the functional unit particularly related to the present invention recognizes a three-dimensional object around the vehicle.
  • a three-dimensional object recognition module 30, an image processing module 50, a display control unit 71, and an audio processing module 72 are exemplified.
  • the monitor display image generated by the image processing module 50 is converted into a video signal by the display control unit 71 and sent to the monitor 21.
  • the voice guide generated by the voice processing module 72, an emergency warning sound, and the like are played by the speaker 22.
  • the three-dimensional object recognition module 30 recognizes a three-dimensional object using a three-dimensional object detection unit 31 that performs detection of a three-dimensional object by evaluating detection signals from a plurality of ultrasonic sensors 3 and a captured image from the in-vehicle camera 1.
  • a three-dimensional object recognition unit 32 is included.
  • the ultrasonic sensors 3 are disposed at both ends and the center of the front, rear, left side, and right side of the vehicle, and objects (obstacles) existing in the vicinity of the vehicle are reflected through the reflected waves from them. Can be detected.
  • the three-dimensional object recognition unit 32 implements an object recognition algorithm known per se, and recognizes a three-dimensional object around the vehicle from the input photographed image, particularly a photographed image that is continuous over time.
  • either one of the three-dimensional object detection unit 31 and the three-dimensional object recognition unit 32 may be used, but the three-dimensional object recognition unit 32 excellent in detecting the form of the three-dimensional object, and the three-dimensional object are also included.
  • the three-dimensional object can be recognized more accurately by providing both the three-dimensional object detection unit 31 excellent in calculating the distance of the three-dimensional object, that is, the position of the three-dimensional object.
  • the three-dimensional object recognition module 30 outputs three-dimensional object attribute information describing the position, posture, size, color tone, and the like of the recognized three-dimensional object.
  • another three-dimensional object detection device that uses a laser radar can be applied.
  • FIG. 5 shows a functional block diagram of the image processing module 50 of the ECU 20.
  • the image processing module 50 has a function of generating an image such as an overhead image converted by projective transformation from a captured image acquired by the camera 1 that captures the periphery of the vehicle.
  • the image processing module 50 includes a captured image memory 51, a preprocessing unit 52, an image generation unit 53, a three-dimensional object attribute information acquisition unit 54, an image composition unit 55, and a frame memory 56.
  • the captured image acquired by the camera 1 is developed in the captured image memory 51, and the preprocessing unit 52 adjusts the luminance balance, color balance, and the like between the captured images individually acquired by the camera 1.
  • the three-dimensional object attribute information acquisition unit 54 receives the three-dimensional object attribute information output from the three-dimensional object recognition module 30, and various attribute information such as the position, size, color, and posture of the three-dimensional object described in the three-dimensional object attribute information. Read (data).
  • the image generation unit 53 includes an overhead image generation unit 60, a substitute image output unit 80, a normal image generation unit 66, and a three-dimensional object image region determination unit 67.
  • the normal image generation unit 66 adjusts the captured image to an image quality suitable for monitor display as a vehicle peripheral image as it is.
  • the vehicle peripheral image displayed on the monitor may be one selected by the driver from images captured by the back camera 1a, the left and right side cameras 1b and 1c, and the front camera 1d, or may be a combination of a plurality of captured images.
  • the three-dimensional object image region determination unit 67 determines the image region of the three-dimensional object in the captured image from the position information of the recognized three-dimensional object included in the three-dimensional object attribute information from the three-dimensional object attribute information acquisition unit 54. At that time, the three-dimensional object image region in the photographed image and / or the overhead view photographed image can be determined.
  • the overhead image generation unit 60 generates an overhead image from one or a plurality of captured images developed in the captured image memory 51 through viewpoint conversion processing, and in this embodiment, details will be described later.
  • An overhead view alternative image generation unit 64 that generates an overhead view image from the alternative image to be described through viewpoint conversion processing is provided.
  • the projective transformation in the overhead view captured image generation unit 63 and the overhead view substitute image generation unit 64 is performed by map transformation using a mapping table, various mappings for the projective transformation used here are used.
  • a table is stored in advance so as to be selectable.
  • Such an assembly composed of a plurality of mapping tables that can be selected and stored and the individual mapping table are referred to as a mapping table 62 here.
  • Each mapping table (hereinafter simply referred to as a map) constituting the mapping table 62 can be constructed in various forms.
  • the pixel data of the photographed image and the pixels of the projective transformation image (usually the overhead view photographed image) are used. It is constructed as a map in which the correspondence between data is described and a map in which the correspondence between the pixel data of the substitute image and the pixel data of the projective transformation image is described.
  • the destination pixel coordinates in the overhead view captured image are described in each pixel of the captured image of one frame, and a different map is applied to each in-vehicle camera.
  • the projection conversion selection unit 61 selects, for the overhead view substitute image generation unit 64, a projection conversion that matches the overhead view image as much as possible based on the attribute read from the three-dimensional object attribute information.
  • the overhead view substitute image generation unit 64 is also set with a plurality of types of projective transformations. The selection of the projective transformation executed by the overhead view substitute image generation unit 64 is based on the type of substitute (three-dimensional object) and the type of projective transformation (viewpoint position) of the synthesized image (overhead photographed image). The selection unit 61 performs this.
  • the overhead view substitute image generation unit 64 also includes a function of outputting the inputted substitute image as it is.
  • the alternative image output unit 80 includes an alternative image extraction unit 83, an alternative image database 82, an alternative image coloring unit 81, and a color enhancement instruction unit 84.
  • the alternative image database 82 various forms of solid objects that may be recognized by the three-dimensional object recognition unit 32, for example, human beings, children, adults, women, men, and their orientations and postures.
  • a pre-created image (photo, illustration, etc.) image is registered and stored so as to be selected as a substitute image according to a search condition.
  • the substitute image extraction unit 83 extracts a substitute image of the three-dimensional object recognized by the three-dimensional object recognition unit 32 from the substitute image database based on the three-dimensional object type information included in the three-dimensional object attribute information.
  • the substitute image coloring unit 81 is colored based on the color information included in the three-dimensional object attribute information with respect to the extracted substitute image.
  • the coloring method an appropriate one may be adopted depending on the substitute image, but if human beings, an appropriate color is given to the painted area set separately for the upper body part and the lower body part, or the whole is made with an appropriate color. You may make it smear. Further, an appropriate color may be given in advance.
  • the appropriate color is a color that allows the driver to easily imagine an actual three-dimensional object by looking at an alternative image colored with that color.
  • the color enhancement instruction unit 84 gives a color enhancement instruction to emphasize the color to be colored on the substitute image so that the color can be easily recognized. Part 81 is given. This color enhancement instruction is convenient to be performed based on the type of the three-dimensional object and the degree of danger to the vehicle traveling of the three-dimensional object (which can be determined by the distance from the vehicle or the like). .
  • the image composition unit 55 superimposes and synthesizes the overhead view substitute image generated by the overhead view substitute image generation unit 64 on the three-dimensional object image area of the overhead view photographed image.
  • the combining method is not limited to overwriting, and overlaying by transparency can be employed.
  • the synthesized overhead image with a substitute image is transferred as a display image to the frame memory 56 and displayed on the screen of the monitor 21 as a display screen via the display control unit 71.
  • the display type of the bird's-eye view image set manually or by default according to the driver's request is read (# 01).
  • the display type of the overhead image defines the captured image and the virtual viewpoint position used when generating the overhead image around the vehicle, the layout of the generated overhead image on the monitor screen, and the like.
  • a map for projective transformation used in the overhead view captured image generation unit 63 is set for each captured image of the in-vehicle camera 1 to be used according to the display type of the read overhead view image (# 02). Captured images of the four in-vehicle cameras 1 are acquired (# 03). An overhead image segment is generated from each captured image using each set map (# 04). In addition to combining the generated overhead image segments, a vehicle overhead image (which may be an illustration or a symbol) set in advance at the position of the host vehicle is arranged to generate a display overhead image (# 05).
  • step # 06 It is checked whether or not the three-dimensional object attribute information is output from the three-dimensional object recognition module 30 (# 06). If the three-dimensional object attribute information has not been output (# 06 No branch), it is considered that no three-dimensional object to be noticed is reflected in any captured image, and the overhead image captured in step # 05 is used as it is. A display overhead image is generated (# 14). The generated display bird's-eye view image is displayed on the monitor 21 (# 15), and unless there is an instruction to end this bird's-eye view image display routine (# 16 No branch), the process returns to step # 01 again to repeat this routine.
  • step # 06 If the three-dimensional object attribute information is output in the check of step # 06 (# 06 Yes branch), it is considered that the three-dimensional object to be noticed is reflected in the photographed image, and is first included in the three-dimensional object attribute information. Then, data such as position, type, color, posture, size, etc. relating to the recognized three-dimensional object is read (# 07). Based on the read data regarding the position of the three-dimensional object, the image area of the three-dimensional object in the overhead view photographed image is determined (# 08).
  • the substitute image of the three-dimensional object to be combined with the determined three-dimensional object image region is extracted as a search condition using information such as the type, size, and posture included in the three-dimensional object attribute information, and stored in the memory. Expand (# 09).
  • the substitute image coloring unit 81 is painted on the substitute image developed in the memory based on the color information included in the three-dimensional object attribute information (# 10). Since the color information included in the three-dimensional object attribute information is based on the pixel values of the three-dimensional object included in the captured image, a color that characterizes the original three-dimensional object is detected depending on the illumination conditions and the like. There can be nothing. In this coloring process, when it is determined that such a situation has occurred, the color to be colored in the substitute image is emphasized. Further, a shape clarification process for emphasizing the contour of the substitute image may be performed on the substitute image.
  • the optimum projective transformation is selected based on the type of projection transformation (viewpoint position) applied to the captured image and the type and orientation of the three-dimensional object substituted with the substitute image,
  • the mapping data is set in the overhead view substitute image generation unit 64 (# 11), and the substitute image is projectively transformed (# 12).
  • through-map mapping data is set, and at least a substitute image that is not subjected to projective transformation may be generated.
  • the overhead view substitute image is superimposed and synthesized on the three-dimensional object image region in the overhead view photographed image (# 13).
  • the final overhead view image around the vehicle thus generated is generated as a display overhead image (# 14) and displayed on the monitor 21 (# 15).
  • Second Embodiment Next, a second embodiment will be described.
  • the basic concept of the overhead image generation process according to the second embodiment will be described with reference to the schematic diagram of FIG.
  • the generation of a bird's-eye view image using only the image captured by the back camera as the in-vehicle camera is shown, but in general, the images are taken from the front and rear cameras and the left and right side cameras.
  • a vehicle surroundings overhead image centering on the vehicle is generated from the image.
  • a captured image of a peripheral region in the traveling direction of the own vehicle is acquired by the in-vehicle camera (# 1).
  • the acquired captured image is also used for detection processing of a three-dimensional object that becomes an obstacle around the vehicle.
  • a general image recognition process is used, but auxiliary detection of a three-dimensional object using an ultrasonic wave, a laser radar method, or an infrared method is used.
  • the three-dimensional object recognition algorithm is well-known and will not be described in detail here, but it is determined whether it is a moving or stationary object using the motion vector method or difference method, size, shape identification by edge detection, type from color information
  • a three-dimensional object is recognized by identification or the like.
  • the three-dimensional object may be recognized in more detail by image recognition using a captured image based on the detection information.
  • the object is limited, in the case where the three-dimensional object is a vehicle capable of external communication, it is possible to determine the orientation, the vehicle type, and the vehicle color of the three-dimensional object (automobile) recognized using inter-vehicle communication.
  • the three-dimensional object when the three-dimensional object is a person having a mobile phone, it can be determined from the radio wave transmitted from the mobile phone that the recognized three-dimensional object is a person. Furthermore, it is also possible to determine that the three-dimensional object is a person and the orientation and orientation of the person by the face detection algorithm (# 2). Solid object attribute information including the solid object attribute values such as the position, type, posture, size, and color of the solid object existing in the field of view of the in-vehicle camera is generated by any of the methods and combinations thereof. (# 3). Further, a three-dimensional object image region that is an image region of the three-dimensional object in the captured image is determined from the position information included in the three-dimensional object attribute information (# 4).
  • the three-dimensional object image region is corrected so that the three-dimensional object can be easily seen by performing a combination process such as an overwriting process for replacing with a substitute image or a superimposing process for superimposing from above, as will be described below. .
  • the substitute image to be assigned to the three-dimensional object image area is extracted from the substitute image database (# 6).
  • This alternative image database may exist around the vehicle, and the three-dimensional object of the type that can be recognized by this system includes type information, posture information, color information, size information included in the three-dimensional object attribute information, It is registered so that moving / stationary object information can be extracted as a search condition. Therefore, in order to extract an appropriate substitute image, the substitute image database is accessed using the type information and the posture information as search conditions. At that time, the posture information as a search condition is replaced from the obtained posture information with the orientation of the three-dimensional object in the captured image to be processed, for example, the forward posture, the lateral posture, and the backward posture.
  • the substitute image extracted by substantially matching the recognized three-dimensional object with its type and posture is aligned with the three-dimensional object image region in the peripheral bird's-eye view image and synthesized with the bird's-eye view image (# 8).
  • enlargement / reduction processing of the substitute image is performed as necessary.
  • the boundary peripheral region is subjected to suppression processing such as blurring, blending with peripheral pixels (such as ⁇ blending), and desaturation.
  • the final bird's-eye view image in which the substitute image is incorporated by the synthesis process is sent to the monitor and displayed on the monitor for the purpose of vehicle periphery monitoring (# 9).
  • FIG. 9 is also a schematic diagram for explaining the basic concept of the invention in the same manner as FIG. 8.
  • the difference from the basic concept in FIG. 8 is that the substitute image is also synthesized with the overhead image after the viewpoint conversion processing is performed.
  • the substitute image registered in the substitute image database is also a three-dimensional object image created from a predetermined viewpoint, but there may be a sense of incongruity that cannot be ignored depending on the image position to be synthesized in the overhead view image.
  • a viewpoint conversion process that eliminates the uncomfortable feeling determined according to the image position to be synthesized, the type of the three-dimensional object, and the like is performed on the substitute image (# 5a).
  • a coloring substitute image is synthesized by synthesizing a colored substitute image with a photographed image before the viewpoint conversion to a bird's-eye view image, and the viewpoint conversion of the synthesized photographed image is performed.
  • a configuration in which an overhead image including an image is generated and sent to a monitor may be employed.
  • color information is included in the three-dimensional object attribute information, and when the color based on the color information is different from the color of the extracted substitute image, or the extracted substitute image is colorless.
  • a coloring process using the color information is performed on the extracted substitute image (# 7).
  • FIG. 10 is a process of creating an all-around overhead image including a colored substitute image of a three-dimensional object included in a captured image from four captured images from the back camera 1a, the left and right side cameras 1b and 1c, and the front camera 1d.
  • FIG. 10 is a process of creating an all-around overhead image including a colored substitute image of a three-dimensional object included in a captured image from four captured images from the back camera 1a, the left and right side cameras 1b and 1c, and the front camera 1d.
  • FIG. 10 exemplifies a procedure for generating an all-around overhead image to be displayed on the monitor for parking support in reverse parallel parking.
  • a triangular cone is reflected as a three-dimensional object to be noted in the captured image of the back camera 1a.
  • the rear shot image by the back camera 1a is projectively converted as a rear region image of the all-around overhead image from directly above the vehicle.
  • the left shot image by the left side camera 1b, the right shot image by the right side camera 1c, and the forward shot image by the front camera 1d are respectively projectively transformed as a left area image, a right area image, and a front area image of the all-around overhead image. Is done.
  • projective transformation is performed using a mapping table. Since each map data value is different, a suitable map is set. However, each of these maps is created so as to bring about projective transformation with a plane parallel to the road surface as a projection plane.
  • the rear shot image from the back camera 1a includes a three-dimensional object (in this example, a triangular cone).
  • the presence of this three-dimensional object is detected by the three-dimensional object mounted on the vehicle. While being detected by the function, it is recognized by image recognition from a photographed image obtained by photographing a peripheral region including the three-dimensional object.
  • vehicle type / orientation / posture information can be acquired through inter-vehicle communication.
  • Three-dimensional object attribute information including position information, type information, posture (orientation) information, color information and the like regarding the recognized three-dimensional object is output so that it can be linked to a photographed image (backward photographed image) from the back camera 1a. . Therefore, based on the position information included in the three-dimensional object attribute information, a region where the three-dimensional object in the rear region image is copied is determined as the three-dimensional object image region.
  • a substitute image of the three-dimensional object (triangular cone and part of the car) included in the rear region image is extracted using the type information and posture information included in the three-dimensional object attribute information as search conditions.
  • the extracted substitute image is combined with the rear side overhead image.
  • the color substitute image is synthesized into an overhead image using the viewpoint conversion mapping table that generated the rear side bird's-eye view image or the optimum viewpoint conversion mapping table that makes it easier to see the color substitute image (triangle cone and part of the car). May be.
  • the rear region image rear side bird's-eye view image segment
  • the forward overhead image segment including the rear overhead image segment including the substitute image generated in this way are synthesized, and an all-around overhead image that is finally displayed on the monitor is generated.
  • an all-around bird's-eye view image is obtained from captured images and three-dimensional object detection information from four in-vehicle cameras, a back camera 1a, a front camera 1d, a left side camera 1b, and a right side camera 1c.
  • the image generation apparatus for creating the image is incorporated in the vehicle for the construction of the vehicle periphery monitoring system.
  • these in-vehicle cameras 1a, 1b, 1c, and 1d may be simply referred to as the camera 1 as appropriate.
  • an image captured by the camera 1 or an overhead image generated using the captured image is displayed on the monitor.
  • the camera 1 uses a CCD (charge coupled device) or CIS (CMOS image sensor) or other imaging device to capture a 15-30 frame per second 2D image in time series, and digitally converts the captured image in real time. It is a digital camera that outputs.
  • the camera 1 includes a wide angle lens. In particular, in the present embodiment, a viewing angle of 140 to 190 ° is ensured in the horizontal direction, and the optical axis is installed in the vehicle with a depression angle of about 30 degrees.
  • the vehicle periphery monitoring controller 20 which is the core of the vehicle periphery monitoring system is installed inside the vehicle. As shown in FIG. 11, the vehicle periphery monitoring controller 20 includes a communication interface 70 used as an in-vehicle LAN interface, and also includes a microprocessor for processing input information and a DSP (digital signal processor).
  • a communication interface 70 used as an in-vehicle LAN interface
  • a microprocessor for processing input information and a DSP (digital signal processor).
  • DSP digital signal processor
  • the communication interface 70 employs an in-vehicle LAN as a data transmission line, and the sensor input unit 25 that transfers the signal input from the vehicle state detection sensor group to the inside of the vehicle periphery monitoring controller 20 as it is or after evaluation, external communication
  • the control unit such as the unit 24, the monitor 21, the touch panel 21T, the power steering unit PS, the speed change mechanism T, and the brake device BK is connected to be able to transmit data.
  • a speaker 22 is also provided as an audio information output device.
  • the sensor group includes a steering sensor that measures a steering operation direction (steering direction) and an operation amount (steering amount), a shift position sensor that determines a shift position of a shift lever, and an accelerator pedal operation amount.
  • An accelerator sensor for measuring, a brake sensor for detecting an operation amount of a brake pedal, a distance sensor for detecting a traveling distance of the own vehicle, and the like are included.
  • the external communication unit 24 receives radio waves emitted from an external communication device, performs both-side information transmission and one-sided signal reception, and flows the received communication information to the in-vehicle LAN.
  • Communication information particularly related to the present invention includes information on the vehicle type and posture (orientation) of a surrounding vehicle (recognized solid object) by inter-vehicle communication, and for confirming that the recognized solid object is a person by radio wave interception of a mobile phone. Information.
  • the vehicle periphery monitoring controller 20 is provided with various functional parts constructed in the form of hardware and / or software.
  • a three-dimensional object around the vehicle is used.
  • the three-dimensional object recognition module 30 to be recognized, the image processing module 50, the display control unit 71, and the sound processing module 72 are exemplified.
  • the monitor display image generated by the image processing module 50 is converted into a video signal by the display control unit 71 and sent to the monitor 21.
  • the voice guide generated by the voice processing module 72, an emergency warning sound, and the like are played by the speaker 22.
  • the three-dimensional object recognition module 30 recognizes a three-dimensional object using a three-dimensional object detection unit 31 that performs detection of a three-dimensional object by evaluating detection signals from a plurality of ultrasonic sensors 3 and a captured image from the in-vehicle camera 1.
  • a three-dimensional object recognition unit 32, a face detection unit 33, and a communication information processing unit 34 are included.
  • the ultrasonic sensors 3 are disposed at both ends and the center of the front, rear, left side, and right side of the vehicle, and objects (obstacles) existing in the vicinity of the vehicle are reflected through the reflected waves from them. Can be detected.
  • the three-dimensional object recognition unit 32 implements an object recognition algorithm known per se, and recognizes a three-dimensional object around the vehicle from the input photographed image, particularly a photographed image that is continuous over time.
  • either one of the three-dimensional object detection unit 31 and the three-dimensional object recognition unit 32 may be used, but the three-dimensional object recognition unit 32 excellent in detecting the form of the three-dimensional object, and the three-dimensional object are also included.
  • the three-dimensional object can be recognized more accurately by providing both the three-dimensional object detection unit 31 excellent in calculating the distance of the three-dimensional object, that is, the position of the three-dimensional object.
  • the three-dimensional object recognition module 30 outputs three-dimensional object attribute information describing the position, posture, size, color tone, and the like of the recognized three-dimensional object.
  • another three-dimensional object detection device that uses a laser radar can be applied.
  • the face detection unit 33 checks whether a face is included in the three-dimensional object region of the recognized three-dimensional object using a known face detection algorithm. If a face is included, the three-dimensional object is identified as a person, and the posture, lateral posture, and forward posture of the person are estimated based on the orientation of the face. Further, when it is estimated that the three-dimensional object is a person by another functional unit, if the face is not detected from the three-dimensional object, it is estimated that the person is in the backward posture.
  • the communication information processing unit 34 receives other vehicle information such as the position, posture (orientation), vehicle type, and vehicle color of surrounding vehicles obtained by the inter-vehicle communication performed by the external communication unit 24, and the estimated three-dimensional object is the other.
  • the three-dimensional object recognition module 30 When it is estimated that the vehicle is a car, the estimated three-dimensional object is a car, and information such as its posture (direction), car type, car color, and the like is captured.
  • the three-dimensional object recognition module 30 generates the three-dimensional object attribute information by collecting the three-dimensional object attribute information such as type, posture, and color obtained by the built-in function unit, and outputs the three-dimensional object attribute information to the image processing module.
  • FIG. 12 is a functional block diagram of the image processing module 50 of the vehicle periphery monitoring controller 20.
  • the image processing module 50 has a function of generating an image such as an overhead image converted by projective transformation from a captured image acquired by the camera 1 that captures the periphery of the vehicle.
  • the image processing module 50 includes a captured image memory 51, a preprocessing unit 52, an image generation unit 53, a three-dimensional object attribute information acquisition unit 54, an image composition unit 55, and a frame memory 56.
  • the captured image acquired by the camera 1 is developed in the captured image memory 51, and the preprocessing unit 52 adjusts the luminance balance, color balance, and the like between the captured images individually acquired by the camera 1.
  • the three-dimensional object attribute information acquisition unit 54 receives the three-dimensional object attribute information output from the three-dimensional object recognition module 30, and various attribute information such as the position, size, color, and posture of the three-dimensional object described in the three-dimensional object attribute information. Read (data).
  • the image generation unit 53 includes an overhead image generation unit 60, a substitute image output unit 80, a normal image generation unit 66, and a three-dimensional object image region determination unit 67.
  • the normal image generation unit 66 adjusts the captured image to an image quality suitable for monitor display as a vehicle peripheral image as it is.
  • the vehicle peripheral image displayed on the monitor may be one selected by the driver from images captured by the back camera 1a, the left and right side cameras 1b and 1c, and the front camera 1d, or may be a combination of a plurality of captured images.
  • the three-dimensional object image region determination unit 67 determines the image region of the three-dimensional object in the captured image from the position information of the recognized three-dimensional object included in the three-dimensional object attribute information from the three-dimensional object attribute information acquisition unit 54. At that time, the three-dimensional object image region in the photographed image and / or the overhead view photographed image can be determined.
  • the overhead image generation unit 60 generates an overhead image from one or a plurality of captured images developed in the captured image memory 51 through viewpoint conversion processing, and in this embodiment, details will be described later.
  • An overhead view alternative image generation unit 64 that generates an overhead view image from the alternative image to be described through viewpoint conversion processing is provided.
  • the projective transformation in the overhead view captured image generation unit 63 and the overhead view substitute image generation unit 64 is performed by map transformation using a mapping table, various mappings for the projective transformation used here are used.
  • a table is stored in advance so as to be selectable.
  • Such an assembly composed of a plurality of mapping tables stored in a selectable manner and the individual mapping table are referred to as a mapping table 62 here.
  • Each mapping table (hereinafter simply referred to as a map) constituting the mapping table 62 can be constructed in various forms.
  • the pixel data of the photographed image and the pixels of the projective transformation image (usually the overhead view photographed image) are used. It is constructed as a map in which the correspondence between data is described and a map in which the correspondence between the pixel data of the substitute image and the pixel data of the projective transformation image is described.
  • the destination pixel coordinates in the overhead view captured image are described in each pixel of the captured image of one frame, and a different map is applied to each in-vehicle camera.
  • the projection conversion selection unit 61 selects, for the overhead view substitute image generation unit 64, a projection conversion that matches the overhead view image as much as possible based on the attribute read from the three-dimensional object attribute information.
  • a plurality of types of projective transformations are also set in the overhead view substitute image generation unit 64.
  • the selection of the projective transformation executed by the overhead view substitute image generation unit 64 is based on the type of substitute (three-dimensional object) and the type of projective transformation (viewpoint position) of the synthesized image (overhead photographed image).
  • the selection unit 61 performs this.
  • the overhead view substitute image generation unit 64 also includes a function of outputting the inputted substitute image as it is.
  • the alternative image output unit 80 includes a search condition setting unit 85, an alternative image database 82, an alternative image extraction unit 83, and an alternative image coloring unit 81.
  • the substitute image database 82 is created in advance for each type of three-dimensional object (such as a person or a car) that may be recognized by the three-dimensional object recognition unit 32 and the posture of the three-dimensional object (forward, sideways, backward, etc.). An image (photo, illustration, etc.) image is registered and stored so as to be selected as a substitute image according to the search condition.
  • the search condition setting unit 85 is a suitable alternative based on various attribute information (data) such as the position, size, color, and posture of the three-dimensional object read from the three-dimensional object attribute information by the three-dimensional object attribute information acquiring unit 54.
  • the substitute image extraction unit 83 extracts from the substitute image database based on the search condition set by the search condition setting unit 85.
  • the substitute image coloring unit 81 colors the extracted substitute image based on the color information included in the three-dimensional object attribute information.
  • the coloring method an appropriate one may be adopted depending on the substitute image, but if it is a person, an appropriate color is given to the painted area set separately for the upper body part and the lower body part, or the whole is made with an appropriate color. You may make it smear.
  • an appropriate color may be given to the substitute image in advance.
  • the appropriate color is a color that allows the driver to easily imagine an actual three-dimensional object by looking at an alternative image colored with that color.
  • the color is orange or yellow provided in advance.
  • the color of a jacket or skirt obtained from a photographed image.
  • the color is obtained from the photographed image or solid object attribute information.
  • the image composition unit 55 superimposes and synthesizes the overhead view substitute image generated by the overhead view substitute image generation unit 64 on the three-dimensional object image area of the overhead view photographed image.
  • the combining method is not limited to overwriting, and overlaying by transparency can be employed.
  • the synthesized overhead image with a substitute image is transferred as a display image to the frame memory 56 and displayed on the screen of the monitor 21 as a display screen via the display control unit 71.
  • the bird's-eye view image display routine for vehicle periphery monitoring is started, first, the display type of the bird's-eye view image set manually or by default according to the driver's request is read (# 01).
  • the display type of the overhead image defines the captured image and the virtual viewpoint position used when generating the overhead image around the vehicle, the layout of the generated overhead image on the monitor screen, and the like.
  • a map for projective transformation used in the overhead view captured image generation unit 63 is set for each captured image of the in-vehicle camera 1 to be used according to the display type of the read overhead view image (# 02). Captured images of the four in-vehicle cameras 1 are acquired (# 03). An overhead image segment is generated from each captured image using each set map (# 04). In addition to combining the generated overhead image segments, a vehicle overhead image (which may be an illustration or a symbol) set in advance at the position of the host vehicle is arranged to generate a display overhead image (# 05).
  • a three-dimensional object attribute information creation routine is also executed. First, it is checked whether or not a three-dimensional object is recognized in the shooting area through the three-dimensional object recognition module 30 (# 20). When the three-dimensional object is recognized (# 20 Yes branch), the position of the three-dimensional object is calculated (# 21). Further, a type / posture detection process of the three-dimensional object is performed (# 22). This type / posture detection processing includes, for example, face detection processing and inter-vehicle communication processing. In the face detection process, face detection is performed on the recognized three-dimensional object region in the photographed image.
  • the three-dimensional object is identified as a person, and further, from the orientation of the face, The posture of the person such as forward or sideways can also be estimated.
  • vehicle-to-vehicle communication processing when vehicle-to-vehicle communication for a three-dimensional object is realized, the three-dimensional object is specified as an automobile, and further, vehicle attribute values such as the vehicle position or vehicle direction, vehicle type (vehicle type) are obtained. Is possible.
  • this type / posture detection process if the type of a solid object cannot be specified, the solid object is treated as undefined type or undefined posture. Based on the result of the type / posture detection process, the three-dimensional object attribute information is created (# 23). Of course, when the three-dimensional object is not recognized (# 20 No branch), the three-dimensional object attribute information is not created, but in any case, the attribute information presence / absence notification is output at this stage (# 24).
  • step # 06 when returning to the bird's-eye view image display routine, whether or not the three-dimensional object attribute information is output is checked from the above-described attribute information presence / absence notification (# 06). If the three-dimensional object attribute information has not been output (# 06 No branch), it is assumed that the three-dimensional object to be noticed does not appear in any captured image, and the overhead image captured in step # 05 is used as it is. A display overhead image is generated (# 15). The generated display bird's-eye view image is displayed on the monitor 21 (# 16), and unless there is an instruction to end this bird's-eye view image display routine (# 17 No branch), the process returns to step # 01 again to repeat this routine.
  • the three-dimensional object recognition information has been created by the three-dimensional object recognition module 30 in the check of Step # 06 (Yes branch of # 06), it is considered that the three-dimensional object to be noticed is reflected in the photographed image, and the three-dimensional object attribute information is changed. Acquired, and reads out data such as position, type, posture, color, size, etc. relating to the recognized three-dimensional object included in the three-dimensional object attribute information (# 07). Based on the read data regarding the position of the three-dimensional object, the image area of the three-dimensional object in the overhead view captured image is determined (# 08).
  • search conditions for extracting an appropriate substitute image are set based on the read attribute information of the three-dimensional object (# 09).
  • a substitute image is extracted from the substitute image database 82 and developed in the memory (# 10).
  • image processing is performed on the extracted substitute image (# 11).
  • the alternative image is determined in advance based on the color information included in the scaling object processing and the three-dimensional object attribute information for adjusting the size of the extracted alternative image to the size of the three-dimensional object image area.
  • a coloring process for coloring the coloring region is included.
  • the color information included in the three-dimensional object attribute information is based on the pixel value of the three-dimensional object included in the photographed image, so that a color that characterizes the original three-dimensional object is detected depending on illumination conditions and the like. It is possible that this is not done. In this coloring process, when it is determined that such a situation has occurred, the color to be colored in the substitute image is emphasized. Further, a shape clarification process for emphasizing the contour of the substitute image may be performed on the substitute image.
  • the optimum projective transformation is selected based on the type of projection transformation (viewpoint position) applied to the captured image and the type and orientation of the three-dimensional object substituted with the substitute image,
  • the mapping data is set in the overhead view substitute image generation unit 64 (# 12), and the substitute image is projectively transformed (# 13).
  • through-map mapping data is set, and at least a substitute image that is not subjected to projective transformation may be generated.
  • the overhead view substitute image is superimposed and synthesized on the three-dimensional object image region in the overhead view photographed image (# 14).
  • the final overhead view image around the vehicle generated in this way is generated as a display overhead image as shown in FIG. 14 (# 15) and displayed on the monitor 21 (# 16).
  • an end check of this routine for example, whether or not a stop command for this back monitor routine has been entered is checked (# 17), and as long as this back monitor continues (# 17 No branch), return to step # 01 The above process is repeated.
  • a plurality of three-dimensional objects that is, a plurality of alternative images, may be combined with a photographed overhead image as a three-dimensional object to be noted.
  • the three-dimensional object image is merely replaced with the colored substitute image.
  • the moving direction of the three-dimensional object is also visually recognized. It is advantageous to display the colored alternative image in such a way that it can. Accordingly, as shown in FIG. 15, an alternative image to which an afterimage indicating the moving direction of the three-dimensional object is added may be employed. Further, as shown in FIG. 16, an alternative image to which an arrow indicating the moving direction of the three-dimensional object is added may be employed.
  • the three-dimensional object detection method one or a combination of three-dimensional object detection using ultrasonic waves and three-dimensional object detection based on image recognition has been presented. It is also within the scope of the present invention to use a three-dimensional object detection method such as a laser radar method or an infrared method.
  • a bird's-eye view image with a top view using four captured images is used as the display bird's-eye view image.
  • an overhead image obtained by performing viewpoint conversion on one captured image may be used as a display overhead image.
  • the present invention can be used in all systems that monitor a vehicle periphery using a bird's-eye view image.
  • Monitor 24 External communication unit (vehicle-to-vehicle communication unit) 30: Solid object detection module 31: Solid object detection unit 32: Solid object recognition unit 33: Face detection unit 34: Communication information processing unit 50: Image processing module 53: Image generation unit 54: Solid object attribute information acquisition unit 55: Image Composition unit 60: overhead image generation unit 61: normal image generation unit 62: mapping table 63: overhead view captured image generation unit 64: overhead view alternative image generation unit 65: stereoscopic object overhead image generation unit 67: stereoscopic object image region determination unit 80: Substitute image output unit 81: Substitute image coloring unit 82: Substitute image database 83: Substitute image extraction unit 84: Color enhancement instruction unit 85: Search condition setting unit

Abstract

　認識された立体物と、当該立体物の撮影画像である立体物画像の領域に合成される代替画像との視認性を高める画像生成装置は、車両の周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力し、立体物属性情報に含まれている位置情報に基づいて撮影画像における立体物の画像領域である立体物画像領域を決定し、立体物属性情報に含まれている、色情報に基づく色で色付けられた立体物の代替画像、及び種別情報と姿勢情報とに基づいて特定された立体物の特定された向き姿勢での前記立体物の代替画像との少なくとも何れか一つを出力し、立体物画像領域の位置に代替画像出力部から出力された代替画像が合成されている代替画像付き俯瞰画像を生成する画像合成部を備えている。

Description

画像生成装置
　本発明は、車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する画像生成装置に関する。
　従来の俯瞰画像生成装置では、車載カメラによって取得された撮影画像を路面に平行な投影面に投影することで、つまり仮想視点を鉛直上方に位置させた射影変換により真上からの俯瞰画像が生成される。従って、この俯瞰画像をモニタに表示させることで、運転者が車両周辺の路面状況を把握することを支援している。しかしながら、そのような射影変換を通じて得られた俯瞰画像では車載カメラの近傍領域に比べ遠方領域において画像の歪み方が大きくなり、運転者にとって距離感をつかみ難いという問題がある。特に、路面に配置された上方に延びた立体物（人や車だけでなく、工事用三角コーンなどの路上障害物）は撮影方向に間延びした歪な形状体となり、見づらくなる。
　このような問題を解決するため、例えば特許文献１に記載された車両周囲画像表示システムは、車両周囲を撮像するためのカメラと、自車両周囲の障害物を検出する障害物検出手段と、障害物に対応する代替画像を予め格納しておくメモリ部と、カメラが取得した画像を基に自車両周囲の仮想視点からの俯瞰画像を生成する画像処理部とからなり、障害物検出手段が障害物を検出した場合に、画像処理部は、障害物を同定し、同定された障害物に対応する代替画像を選択して前記メモリ部から読出して、選択した代替画像の向きと傾きを仮想視点に合わせて変更して前記俯瞰画像に重畳する。このシステムでは、画像処理部が、撮像手段より撮像した画像を車両上部又は車両側面からの俯瞰画像に変換し、障害物検出手段からの情報をもとに、車両周囲の立体障害物の大きさ、動作に見合った代替画像をメモリ部から選定して、同俯瞰画像上に上書き表示している。
　しかしながら、実際の立体障害物を映し出している障害物画像に代えて代替画像を表示する場合、運転者が代替画像と実際の立体障害物とを同定することが困難となる場合が生じる。例えば、検出された立体障害物が人間であり、イラストや写真で表現された人間像が表示された場合、表示画面が小さいと表示画面上の人間像とバックミラーや肉眼で確認した実際の人間とが同一であるかどうか判断することが難しいだけでなく、表示画面が小さいと人間であることさえ確認できなくなるおそれもある。また、特に、実際に確認できる人間が後向き姿勢であるにもかかわらず代替画像が前向き姿勢の人間であれば、同定が困難になる。また、検出された立体障害物が自動車の場合でも、実際に確認できる自動車が後向き姿勢のミニバンであるにもかかわらず代替画像が前向き姿勢のセダンであれば、同定が著しく困難になる。
特開２０１０‐２５１９３９号公報（段落番号〔０００８－００５６〕、図７、図１０）
　上記実情から、認識された立体物と、当該立体物の撮影画像である立体物画像の領域に合成される代替画像との視認性を高める技術が望まれている。
　車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する、本発明による画像生成装置は、前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物認識部と、前記立体物属性情報に含まれている位置情報に基づいて前記撮影画像における前記立体物の画像領域である立体物画像領域を決定する立体物画像領域決定部と、前記立体物属性情報に含まれている、色情報に基づく色で色付けられた前記立体物の代替画像、及び種別情報と姿勢情報とに基づいて特定された立体物の特定された向き姿勢での前記立体物の代替画像との少なくとも何れか一つを出力する代替画像出力部と、前記立体物画像領域の位置に前記代替画像出力部から出力された代替画像が合成されている代替画像付き俯瞰画像を生成する画像合成部とを備えている。
　この発明構成は、実際の立体物と表示画面上の代替画像との同定が、代替画像に実際の立体物の色に対応する色を付与することで改善され、実際の立体物と代替画像との視認性が高まるという事実に基づいている。
　上記本発明の構成によると、撮影画像に含まれていた認識立体物は、当該立体物の特徴、特にその特徴的な色を明確に表している代替画像の形となって、その俯瞰画像に含まれることになる。従って、運転者は、この代替画像付き俯瞰画像から車両周辺に位置する立体物を容易に認めることができる。
　色付けられた代替画像を出力する方法として、前もって色なしの代替画像又は特定色を付与された代替画像を種別や形状などによってデータベース化しておき、種別や形状などを検索条件として抽出された代替画像に実際の立体物の色情報に基づいて着色または塗り替えして出力する方法、前もって種々の色で着色された代替画像をデータベース化しておき、種別や形状などに色情報を加えた検索条件により色付きの代替画像を抽出して出力する方法がある。立体物が人間の場合ではその衣装の色が様々であることを考慮すると、後者の方法に比べてデータベースに格納される代替画像の容量を減らすことができるので前者の方法が好ましい。従って、本発明の好適な実施形態の１つでは、前記代替画像出力部は、色情報に基づく前記立体物の代替画像を格納する代替画像データベースと、当該代替画像データベースから前記立体物属性情報に含まれている立体物種別情報に基づいて前記立体物の代替画像を抽出する代替画像抽出部と、当該代替画像抽出部によって抽出された代替画像を前記立体物属性情報に含まれている色情報に基づく色で着色する代替画像着色部とを含む。
　認識立体物が、複数の色を有する場合には、できる限り複数の色で着色した方が好ましいので、本発明の好適な実施形態の１つでは、前記代替画像着色部は、前記色情報に基づいて前記立体物を特徴づける複数の色を決定し、前記代替画像を複数の色で塗り分けるように構成されている。代替画像に対する複数色の塗り分け技法として、例えば、撮影画像における立体物高さの下半分の平均色と上半分の平均色を算出し、この各平均色で代替画像の下半分と上半分のそれぞれを塗りつぶすことが提案される。また、代替画像における塗りつぶし面積が小さいことを考慮すると、その平均色の彩度を上げることで目立つ色にして塗りつぶすことも効果的である。
　代替画像着色部が色情報に基づいて代替画像を着色する際、単純に撮影画像通りの色を用いるより、視認性を考慮して、より高彩度の色、周囲色から区別しやすい色、その立体物が有する典型色（例えば郵便ポストなら真っ赤）、移動物体なら移動方向が分かるようなグラデーション色、というように強調した色を施すことも好適である。従って、本発明の好適な実施形態の１つでは、前記代替画像着色部によって前記代替画像に着色する色を強調させる色強調指示を前記立体物属性情報に基づいて出力する色強調指示部が備えられている。
　撮影画像から視点を上方に移動させた射影変換を用いて俯瞰撮影画像を生成することができるが、元になる撮影画像が、車両の前後左右の周囲を撮影した複数の撮影画像であれば、車両を中心とした車両周囲領域を俯瞰する俯瞰撮影画像を生成することができる。さらに、その俯瞰撮影画像に対して代替画像を合成するなら、代替画像が射影変換によって歪んで見づらくなることも抑制できる。従って、本発明の好適な実施形態の１つでは、前記車両の周囲をカバーするそれぞれ撮影方向が異なる複数の撮影画像から射影変換を用いて車両周囲の俯瞰撮影画像を生成する俯瞰撮影画像生成部が備えられ、前記画像合成部は前記俯瞰撮影画像の前記立体物画像領域に前記代替画像を付与するように構成されている。
　また、この複数の撮影方向が異なる撮影画像を処理する俯瞰撮影画像生成部に撮影画像とは異なる視点での射影変換を行う機能を付加するので、俯瞰撮影画像と代替画像との間の視点に関する違和感と、射影変換歪みの違和感とを調和させた代替画像付き俯瞰撮影画像を作り出すことも可能となる。
　立体物の認識を経時的に評価することで立体物の移動方向が得られる。このことから、本発明の実施形態の１つでは、前記立体物の移動方向を示す画像を前記代替画像とともに付与するように構成されている。このような立体物の移動方向を示す画像の具体例の１つとして、前記移動方向を示す画像を前記立体物の移動に対応する前記代替画像の残像として生成することができる。また、他の１つとして、前記移動方向を示す画像を矢印とすることも提案される。
　また、前記代替画像出力部は、種別情報と姿勢情報とに基づく前記立体物の代替画像を格納する代替画像データベースと、当該代替画像データベースから前記立体物属性情報に含まれている種別情報及び姿勢情報を検索条件として前記代替画像を抽出する代替画像抽出部とを含むように構成することもできる。これによれば、代替画像抽出部が、立体物の代替画像を立体物属性情報に基づいて代替画像データベースから抽出することができる。
　また、前記立体物認識部には人物の顔を検出する顔検出部が備えられており、前記顔検出部による検出結果に基づいて、認識された立体物が人物であることを種別情報に設定されるとともに、前向き姿勢、後ろ向き姿勢、横向き姿勢のいずれかが前記姿勢情報に設定されると好適である。これによれば、顔が含まれている場合、その立体物が人物であると特定し、さらにその顔の向きによって人物の姿勢、横向き姿勢、前向き姿勢を推定することが可能である。
　また、前記立体物認識部には、車車間通信による車車間通信情報に基づいて、認識された立体物が自動車であることを種別情報に設定されるとともに、前向き姿勢、後ろ向き姿勢、横向き姿勢のいずれかが前記姿勢情報に設定されると好適である。これによれば、容易に立体物（自動車）の向き姿勢や車種や車色を設定することができる。
　また、前記車両の周囲をカバーするそれぞれ撮影方向が異なる複数の撮影画像から射影変換を用いて車両周囲の俯瞰撮影画像を生成する俯瞰撮影画像生成部が備えられ、前記画像合成部は前記俯瞰撮影画像の前記立体物画像領域に前記代替画像を付与する構成とすることができる。ここで、上方視点を用いた射影変換処理による周辺俯瞰画では、カメラの手前に立体物が存在する場合、立体物の頂部付近が間延びするといった歪みが発生する。このため、本構成のように、代替画像を付与することによって、立体物を視認しやすいように修正することができる。
立体物画像を代替画像で置き換え、さらに代替画像に着色を施す本発明の第１の実施形態に係る基本構想を説明する模式図である。 図１に対して、代替画像も射影変換されることを追加した模式図である。 前後左右の４つの撮影画像を用いた俯瞰画像に本発明の第１の実施形態に係る代替画像を適用した例を示す模式図である。 本発明の第１の実施形態に係る画像生成装置を適用した車両周辺監視システムの機能ブロック図である。 第１の実施形態に係る車両周辺監視システムを構成する画像処理モジュールの機能ブロック図である。 第１の実施形態に係る立体物画像を代替画像で置き換えた俯瞰画像を表示する制御の流れを示すフローチャートである。 第１の実施形態に係る立体物画像を代替画像で置き換えた俯瞰画像を表示する過程を説明する模式図である。 立体物画像を代替画像で置き換え、さらに代替画像に着色を施す本発明の第２の実施形態に係る基本構想を説明する模式図である。 図８に対して、代替画像も射影変換されることを追加した模式図である。 前後左右の４つの撮影画像を用いた俯瞰画像に本発明の第２の実施形態に係る代替画像を適用した例を示す模式図である。 本発明の第２の実施形態に係る画像生成装置を適用した車両周辺監視システムの機能ブロック図である。 第２の実施形態に係る車両周辺監視システムを構成する画像処理モジュールの機能ブロック図である。 第２の実施形態に係る立体物画像を代替画像で置き換えた俯瞰画像を表示する制御の流れを示すフローチャートである。 第２の実施形態に係る立体物画像を代替画像で置き換えた俯瞰画像を表示する過程を説明する模式図である。 別実施の形態に係る立体物の移動方向を示す残像を付加した代替画像で立体物画像を置き換えた俯瞰画像を表示する過程を説明する模式図である。 別実施の形態に係る立体物の移動方向を示す矢印を付加した代替画像で立体物画像を置き換えた俯瞰画像を表示する過程を説明する模式図である。
１．第１の実施形態
　まず、車載カメラの撮影画像に認識された立体物が含まれている場合、その立体物画像を代替画像で置き換えた俯瞰画像が作成される、本発明の第１の実施形態に係る俯瞰画像生成過程の基本構想を、図１の模式図を用いて説明する。ここでは説明を簡単にするため、車載カメラとしてのバックカメラによる撮影画像だけを用いた俯瞰画像の生成が示されているが、一般的には、前後のカメラと左右のサイドカメラとからの撮影画像から車両を中心とする車両周囲俯瞰画像が生成される。
　車両周辺監視画面としての俯瞰画像をモニタ表示するためには、まず車載カメラによって自車の進行方向の周辺領域の撮影画像が取得される（＃１）。ここでは、取得された撮影画像は、車両周辺の障害物となる立体物の検出処理にも利用される。立体物の検出には、一般的な画像認識処理が用いられるが、補助的に、超音波やレーザレーダー法や赤外線法を用いた立体物検知が利用される（＃２）。立体物の認識アルゴリズムはよく知られているのでここでは詳しく述べないが、動きベクトル法や差分法を用いた動体か静止体かの判定、大きさ、エッジ検出による形状特定、色情報からの種別特定などにより立体物が認識される。また、図１で採用しているように、超音波やレーザレーダーによって立体物を検知した後、その検知情報に基づいて、撮影画像を用いた画像認識でより詳しく立体物を認識してもよい。画像認識を通じて、車載カメラの撮影視野内に存在している立体物の位置、姿勢、大きさ、種別、色などの立体物属性値を含む立体物属性情報が生成される（＃３）。さらに、立体物属性情報に含まれている位置情報から、撮影画像における立体物の画像領域である立体物画像領域が決定される（＃４）。
　一方、バックカメラの撮影画像から、ここでは、投影面を路面に平行な面とする射影変換、つまり真上に仮想視点を設定した視点変換が行われる（＃５）。この第１射影変換処理を通じて、撮影画像の真上からの俯瞰画像である車両周辺の俯瞰画像が得られる。なお、立体物画像領域は、撮影画像に対してだけではなく、その俯瞰画像に対しても、立体物属性情報に含まれている位置情報から決定することが可能である。
　上方視点を用いた射影変換処理による周辺俯瞰画では、カメラの手前に立体物が存在する場合、立体物の頂部付近が間延びするといった歪みが発生する。このため、立体物画像領域は、以下に説明するように、代替画像に置き換える上書き処理あるいは上から重ね合わせる重畳処理などの合成処理が行われることによって、立体物が視認しやすいように修正される。
　まず、立体物画像領域に割り当てる代替画像を生成するために、その基本(ベース)となる代替画像を代替画像データベースから抽出する（＃６）。この代替画像データベースは、車両周辺に存在する可能性があり、このシステムによって認識可能な種別の立体物が、立体物属性情報に含まれている種別情報、動体／静止体情報、大きさ情報などを検索条件として抽出可能に登録されている。
　代替画像データベースから抽出された代替画像は、立体物属性情報に含まれている色情報に基づいて着色される（＃７）。この代替画像への着色は、種々のパターンで行うことができる。例えば、
（１）撮影画像における立体物が示している色をそのまま適用する。
（２）特定された立体物の特徴的な色を有している場合その色を適用する。郵便ポストであれば赤色一色、樹木であれば緑色一色、人間であれば上半身部と下半身部で二色構成とする。
（３）動体であれば、動き方向に対応したグラデーションで着色する。
（４）複数の色が含まれている場合、平均色一色で着色する。
（５）立体物を、路面からの高さ方向または横方向で分割し、各領域の平均色または代表色で、代替画像を分割に対応するように色分け着色する。
　着色された代替画像は、周辺俯瞰画像における立体物画像領域に位置合わせして、俯瞰画像と合成される（＃８）。なお、合成の際には、立体物画像領域と代替画像とのサイズを合わせるために、必要に応じて代替画像の拡縮処理が行われる。さらに代替画像と合成元の俯瞰画像との境界を目立たなくするために、境界周辺領域は、ぼかし、周辺画素とのブレンド（αブレンドなど）、低彩度化などの抑制処理が行われる。
　合成処理により代替画像が組み込まれた最終的な俯瞰画像はモニタに送られ、車両周辺監視の目的でモニタに表示される（＃９）。
　図２も、図１と同様に発明の基本構想を説明する模式図であるが、図１による基本構想との相違点は、代替画像も視点変換処理が施されてから、俯瞰画像に合成されることである。代替画像データベースの登録されている代替画像も所定の視点から作成された立体物画像であるが、俯瞰画像における合成されるべき画像位置によっては無視できない違和感が生じる場合がある。この問題を回避するために、合成されるべき画像位置や立体物の種別等に応じて決定される上記違和感がなくなるような視点変換処理を代替画像に対して施す（＃７ａ）。
　このような視点変換を通じての違和感の回避方法に代えて、俯瞰画像に視点変換される前の撮影画像に対して着色代替画像を合成し、合成された撮影画像を視点変換することで、着色代替画像を含む俯瞰画像を生成し、モニタに送るような構成を採用してもよい。
　図１と図２の基本構想図ではバックカメラからの撮影画像だけを用いて、モニタ表示目的の最終的な俯瞰画像を生成していたが、自車を中心とする四方の周辺状況、特に路面状況を良好に把握するためには全周囲俯瞰画像が有効である。図３は、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄからの４つの撮影画像から、撮影画像に含まれる立体物の着色代替画像を含む全周囲俯瞰画像を作成する処理過程を示す基本構想図である。
　図３では、後進での縦列駐車における駐車支援のためにモニタに表示する全周囲俯瞰画像の生成手順が例示されている。なお、この例では、バックカメラ１ａの撮影画像に注目すべき立体物として三角コーンが写り込んでいることにする。バックカメラ１ａによる後方撮影画像が車両真上からの全周囲俯瞰画像の後方領域画像として射影変換される。同様に、左サイドカメラ１ｂによる左撮影画像、右サイドカメラ１ｃによる右撮影画像、フロントカメラ１ｄによる前方撮影画像がそれぞれ、全周囲俯瞰画像の左領域画像、右領域画像、前方領域画像として射影変換される。ここでは、射影変換は、マッピングテーブルを用いて行われている。それぞれのマップデータの値は異なっているので、それぞれ適合するマップが設定されている。ただし、これらの各マップは、路面に平行な面を投影面とする射影変換をもたらすように作成されている。
　４つの車載カメラのうち、バックカメラ１ａからの後方撮影画像には立体物（この例では三角コーン）が含まれているが、この立体物の存在は、この車両に搭載されている立体物検知機能によって検知されるとともに、その立体物を含む周辺領域を撮影した撮影画像から画像認識により認識される。認識された立体物に関する位置情報、種別情報、色情報などを含む立体物属性情報が、バックカメラ１ａからの撮影画像（後方撮影画像）とリンク可能なように出力される。従って、立体物属性情報に含まれている位置情報に基づいて、後方領域画像における立体物が写されている領域が立体物画像領域として決定される。
　さらに、立体物属性情報に含まれている種別情報やサイズ情報などを検索条件として後方領域画像に含まれている立体物（三角コーンと自動車の一部分）の代替画像が抽出される。抽出された代替画像は、立体物属性情報に含まれている色情報に基づいて着色される。その際、色情報は撮影画像における認識された立体物画像の画素値に基づいているので、環境光等の影響を受けている。立体物によっては、そのような自然の色を着色した方がよい場合があるが、一般的には、強調した色で着色した方が良い視認性を得る。この例では、三角コーンの色情報が黄色系の暗い色であったとしても、高彩度の黄色で着色されることで三角コーンの視認性を向上させる。着色された三角コーン及び自動車の一部分である着色代替画像が、後方側俯瞰画像に合成される。その際、後方側俯瞰画像を生成した視点変換マッピングテーブル又はより着色代替画像（三角コーンと自動車の一部分）が見やすくなる最適な視点変換マッピングテーブルを用いて着色代替画像を俯瞰画像化してから合成してもよい。
　また、出力された着色代替画像と合成される全周囲俯瞰画像の後方領域の画像（後方側俯瞰画像セグメント）において、先に決定された立体物画像領域に抑制処理を施すことが好ましい。このようにして生成された着色代替画像を含む後方俯瞰画像セグメントを含め、左俯瞰画像セグメント、右俯瞰画像セグメント、前方俯瞰画像セグメントが合成され、最終的にモニタ表示される全周囲俯瞰画像が生成される。もちろん、着色代替画像の合成を、先に生成しておいた全周囲俯瞰画像に対して後から行うようにしてもよい。
　以下、本発明の第１の実施形態を図面に基づいて説明する。本実施形態では、図３で例示したように、４つの車載カメラ、バックカメラ１ａ、フロントカメラ１ｄ、左サイドカメラ１ｂ、右サイドカメラ１ｃからの撮影画像と立体物検知情報とから全周囲俯瞰画像を作成する画像生成装置が車両周辺監視システムの構築のために車両に組み込まれている。以下の説明において、適宜、これらの車載カメラ１ａ、１ｂ、１ｃ、１ｄを単にカメラ１と総称する場合がある。車両周辺監視が動作する際には、カメラ１による撮影画像ないしは当該撮影画像を用いて生成される俯瞰画像がモニタ表示される。
　カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５～３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０～１９０°の視野角が確保されているとともに、光軸に約３０度程度の俯角を有して車両に設置されている。
　車両内部には、車両周辺監視システムの中核をなすＥＣＵ２０が設置されている。このＥＣＵ２０は、図４に示すように、車両状態検出センサ群からの信号入力をそのまま、あるいは評価してＥＣＵ２０の内部に転送するセンサ入力インターフェース２３や通信インターフェース７０などを備えると共に、入力情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備えている。
　センサ入力インターフェース２３に接続されている車両状態検出センサ群は、運転操作や車両走行の状態を検出する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。
　また、入出力インターフェースとして用いられている通信インターフェース７０は、データ伝送線として車載ＬＡＮを採用しており、モニタ２１、タッチパネル２１Ｔ、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットがデータ伝送可能に接続されている。その他、音声情報の出力デバイスとしてスピーカ２２も備えられている。
　そのほか、ＥＣＵ２０には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部が備えられているが、本発明に特に関係する機能部としては、車両周辺の立体物を認識する立体物認識モジュール３０と、画像処理モジュール５０と、表示制御部７１と、音声処理モジュール７２が挙げられる。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。
　立体物認識モジュール３０には、複数の超音波センサ３からの検出信号を評価して立体物検知を行う立体物検知部３１と、車載カメラ１からの撮影画像を用いて立体物の認識を行う立体物認識部３２とが含まれている。超音波センサ３は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体（障害物）をそれらからの反射波を通じて検知することができる。各超音波センサ３における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサ３の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。立体物認識部３２は、それ自体は公知である物体認識アルゴリズムを実装しており、入力した撮影画像、特に経時的に連続する撮影画像から車両周辺の立体物を認識する。立体物の検知のためには、立体物検知部３１と立体物認識部３２のいずれか１つでもよいが、立体物の形態を検知するのに優れた立体物認識部３２と、立体物までの距離、つまり立体物の位置を算出するのに優れた立体物検知部３１の両方を備えて協働作業させることでより正確な立体物の認識が可能となる。立体物認識モジュール３０は、認識した立体物の位置、姿勢、大きさ、色調などを記述した立体物属性情報を出力する。立体物検知部３１として、レーザレーダーを用いるような他の立体物検知装置の適用も可能である。
　図５に、ＥＣＵ２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影するカメラ１によって取得された撮影画像から射影変換によって変換された俯瞰画像等の画像を生成する機能を有している。
　画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部５３、立体物属性情報取得部５４、画像合成部５５、フレームメモリ５６を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。立体物属性情報取得部５４は、立体物認識モジュール３０から出力された立体物属性情報を受け取り、当該立体物属性情報に記述された立体物の位置、大きさ、色、姿勢などの各種属性情報(データ)を読み出す。
　画像生成部５３は、俯瞰画像生成部６０、代替画像出力部８０、通常画像生成部６６、立体物画像領域決定部６７を含んでいる。通常画像生成部６６は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄによる撮影画像から運転者によって選択された１つでもよいし、複数撮影画像の組み合わせでもよい。立体物画像領域決定部６７は、立体物属性情報取得部５４から立体物属性情報に含まれている、認識された立体物の位置情報から撮影画像におけるその立体物の画像領域を決定する。その際、撮影画像または俯瞰撮影画像あるいはその両方における立体物画像領域を決定することができる。
　俯瞰画像生成部６０は、撮影画像メモリ５１に展開されている1枚又は複数の撮影画像から視点変換処理を通じて俯瞰画像を生成する俯瞰撮影画像生成部６３と、さらにこの実施形態では、後で詳しく説明する代替画像から視点変換処理を通じて俯瞰画像を生成する俯瞰代替画像生成部６４とを備えている。なお、この実施形態では、俯瞰撮影画像生成部６３及び俯瞰代替画像生成部６４における射影変換は、マッピングテーブルを用いたマップ変換によって行われるので、ここで使用される射影変換のための種々のマッピングテーブルが選択可能に予め格納されている。このような選択可能格納された複数のマッピングテーブルからなる集合体及び個別マッピングテーブルを、ここでは、マッピングテーブル６２と称している。マッピングテーブル６２を構成する各マッピングテーブル（以下単にマップと略称する）は種々の形態で構築することができるが、ここでは、撮影画像の画素データと射影変換画像（通常は俯瞰撮影画像）の画素データとの対応関係が記述されたマップ及び代替画像の画素データと射影変換画像の画素データとの対応関係が記述されたマップとして構築されている。特に、１フレームの撮影画像の各画素に、俯瞰撮影画像における行き先画素座標が記述されており、車載カメラ毎に異なるマップが適用される。射影変換選択部６１は、俯瞰代替画像生成部６４に対しては、立体物属性情報から読み出された属性に基づいて、俯瞰撮影画像とできるだけ調和する射影変換を選択する。
　俯瞰代替画像生成部６４も複数の種類の射影変換が設定される。俯瞰代替画像生成部６４で実行される射影変換の選択は、代替物（立体物）の種別や、合成先の撮影画像（俯瞰撮影画像）の射影変換の種類（視点位置）に基づいて射影変換選択部６１が行う。なお、俯瞰代替画像生成部６４には、入力した代替画像をそのままスルーして出力する機能も含まれている。
　代替画像出力部８０は、代替画像抽出部８３、代替画像データベース８２、代替画像着色部８１、色強調指示部８４を含む。代替画像データベース８２には、立体物認識部３２によって認識される可能性のある立体物の種々の形態、例えば人間であれば、子ども、大人、女性、男性、さらにはその向きや姿勢など毎に予め作成されたイメージ（写真やイラストなど）画像が代替画像として検索条件によって選択されるように登録され、格納されている。代替画像抽出部８３は、立体物認識部３２によって認識された立体物の代替画像を立体物属性情報に含まれている立体物種別情報などに基づいて代替画像データベースから抽出する。さらに、抽出された代替画像に対して、立体物属性情報に含まれている色情報に基づいて、代替画像着色部８１を着色する。着色のやり方は、代替画像によって適切なものを採用すればよいが、人間なら上半身部分と下半身部分に分けて設定された塗り付け領域に適正な色を付与するようにしたり、全体を適正色で塗りつけるようにしたりしてもよい。また予め、適正色を付与しておいてもよい。ここで適正色とは、運転者がその色で着色された代替画像をみて実際の立体物を想像しやすい色である。三角コーンなら予め付与されている橙色か黄色となり、人間なら撮影画像から得られる上着の色やスカートの色である。色強調指示部８４は、液晶パネルなどの表示画面に表示される代替画像は小さくなるので、その色が視認されやすいように、代替画像への着色する色を強調させる色強調指示を代替画像着色部８１を与える。この色強調指示は、立体物の種類や立体物の車両走行に対する危険度（車両との距離などで判定することができる）によって行われることが好都合なので、立体物属性情報に基づいて行うとよい。
　画像合成部５５は、俯瞰撮影画像の立体物画像領域に俯瞰代替画像生成部６４によって生成された俯瞰代替画像を重ね合わせ合成する。合成方法としては、上書きに限定されず、透明化による重ね合わせなどを採用することができる。合成された代替画像付き俯瞰画像は表示画像としてフレームメモリ５６に転送され、表示制御部７１を介して表示画面としてのモニタ２１の画面に表示される。
　次に、上述のように構成された画像生成装置を組み込んだ車両周辺監視システムによる俯瞰画像表示の流れを図６のフローチャートと、図７の説明図とを用いて説明する。
　この車両周辺監視目的の俯瞰画像表示ルーチンがスタートすると、まずは、運転者の希望によってマニュアルで設定されるか又はデフォルト設定されている俯瞰画像の表示種別が読み出される（＃０１）。ここでの俯瞰画像の表示種別とは、車両周辺の俯瞰画像を生成する際に用いる撮影画像や仮想視点位置、生成された俯瞰画像のモニタ画面上のレイアウトなどを規定するものである。読み込まれた俯瞰画像の表示種別に応じて俯瞰撮影画像生成部６３で用いられる射影変換のためのマップが、利用される車載カメラ１の撮影画像毎に設定される（＃０２）。４台の車載カメラ１の撮影画像を取得する（＃０３）。設定された各マップを用いて各撮影画像から俯瞰画像セグメントが生成される（＃０４）。生成された俯瞰画像セグメントを組み合わせるとともに、自車両位置に予め設定されている車両の俯瞰イメージ画像（イラストやシンボルでも良い）が配置され、表示用の俯瞰画像が生成される（＃０５）。
　立体物認識モジュール３０から立体物属性情報が出力されているかどうかチェックする（＃０６）。立体物属性情報が出力されていない場合（＃０６No分岐）、どの撮影画像にも注目すべき立体物が写り込んでいないとみなして、ステップ＃０５で生成された俯瞰撮影画像をそのまま利用して表示俯瞰画像が生成される（＃１４）。生成された表示俯瞰画像をモニタ２１に表示させ（＃１５）、この俯瞰画像表示ルーチンの終了指令がない限り（＃１６No分岐）、再びステップ＃０１に戻って、このルーチンを繰り返す。
　ステップ＃０６のチェックで、立体物属性情報が出力されている場合（＃０６Yes分岐）、注目すべき立体物が撮影画像に写り込んでいるとみなし、まず、立体物属性情報に含まれている、認識された立体物に関する位置、種別、色、姿勢、大きさなどのデータを読み出す（＃０７）。読み出した立体物の位置に関するデータに基づいて俯瞰撮影画像における当該立体物の画像領域を決定する（＃０８）。
　決定された立体物画像領域に合成される当該立体物の代替画像が、立体物属性情報に含まれている種別、大きさ、姿勢などの情報を検索条件として代替画像を抽出して、メモリに展開する（＃０９）。次に、代替画像着色部８１がメモリに展開されている代替画像に対して、立体物属性情報に含まれている色情報に基づいて色塗りされる（＃１０）。立体物属性情報に含まれている色情報は、撮影画像に含まれている立体物の画素値に基づいていることから、照明条件等によって、本来の立体物を特徴付けるような色が検知されていないことも有り得る。この着色処理では、そのような事情が発生していると判断された場合、代替画像に着色する色が強調される。また代替画像の輪郭を強調したりする形状明確化処理を代替画像に施してもよい。
　着色された代替画像は、撮影画像に対して施された射影変換の種類（視点位置）と、代替画像で代替された立体物の種別や姿勢などに基づいて、最適な射影変換が選択され、そのマップピングデータが俯瞰代替画像生成部６４に設定され（＃１１）、代替画像が射影変換される（＃１２）。もちろん、スルー用マップピングデータが設定され、少なくとも射影変換を施されない代替画像が生成されてもよい。次いで、俯瞰代替画像は俯瞰撮影画像における立体物画像領域に重ね合わせ合成される（＃１３）。このようにして生成された最終的な車両周辺の俯瞰画像は、表示俯瞰画像として生成され（＃１４）、モニタ２１に表示される（＃１５）。
２．第２の実施形態
　次に、第２の実施形態について説明する。第２の実施形態に係る俯瞰画像生成過程の基本構想を、図８の模式図を用いて説明する。ここでは説明を簡単にするため、車載カメラとしてのバックカメラによる撮影画像だけを用いた俯瞰画像の生成が示されているが、一般的には、前後のカメラと左右のサイドカメラとからの撮影画像から車両を中心とする車両周囲俯瞰画像が生成される。
　車両周辺監視画面としての俯瞰画像をモニタ表示するためには、まず車載カメラによって自車の進行方向の周辺領域の撮影画像が取得される（＃１）。ここでは、取得された撮影画像は、車両周辺の障害物となる立体物の検出処理にも利用される。立体物の検出には、一般的な画像認識処理が用いられるが、補助的に、超音波やレーザレーダー法や赤外線法を用いた立体物検知が利用される。立体物の認識アルゴリズムはよく知られているのでここでは詳しく述べないが、動きベクトル法や差分法を用いた動体か静止体かの判定、大きさ、エッジ検出による形状特定、色情報からの種別特定などにより立体物が認識される。また、図８で採用しているように、超音波やレーザレーダーによって立体物を検知した後、その検知情報に基づいて、撮影画像を用いた画像認識でより詳しく立体物を認識してもよい。さらに対象物は限定されるが、立体物が外部通信可能な車両の場合、車車間通信を用いて認識された立体物（自動車）の向き姿勢や車種や車色を決定することができる。また立体物が携帯電話を持った人物の場合、認識された立体物が人物であることを携帯電話の発信電波から判定することも可能である。さらには、顔検出アルゴリズムによって立体物が人物であること、及びその人物の向き姿勢を決定することも可能である（＃２）。いずれかの方法及びそれらの組み合わせによって、車載カメラの撮影視野内に存在している立体物の位置、種別、姿勢、大きさ、色などの立体物属性値を含む立体物属性情報が生成される（＃３）。さらに、立体物属性情報に含まれている位置情報から、撮影画像における立体物の画像領域である立体物画像領域が決定される（＃４）。
　一方、バックカメラの撮影画像から、ここでは、投影面を路面に平行な面とする射影変換、つまり真上に仮想視点を設定した視点変換が行われる（＃５）。この第１射影変換処理を通じて、撮影画像の真上からの俯瞰画像である車両周辺の俯瞰画像が得られる。なお、立体物画像領域は、撮影画像に対してだけではなく、その俯瞰画像に対しても、立体物属性情報に含まれている位置情報から決定することが可能である。
　上方視点を用いた射影変換処理による周辺俯瞰画では、カメラの手前に立体物が存在する場合、立体物の頂部付近が間延びするといった歪みが発生する。このため、立体物画像領域は、以下に説明するように、代替画像に置き換える上書き処理あるいは上から重ね合わせる重畳処理などの合成処理が行われることによって、立体物が視認しやすいように修正される。
　まず、立体物画像領域に割り当てる代替画像を代替画像データベースから抽出する（＃６）。この代替画像データベースは、車両周辺に存在する可能性があり、このシステムによって認識可能な種別の立体物が、立体物属性情報に含まれている種別情報、姿勢情報、色情報、大きさ情報、動体／静止体情報などを検索条件として抽出可能に登録されている。従って、適切な代替画像を抽出するために、種別情報と姿勢情報とを検索条件として代替画像データベースにアクセスする。なお、その際、検索条件としての姿勢情報は、得られた姿勢情報から、処理対象となっている撮影画像における立体物の向き姿勢、例えば前向き姿勢、横向き姿勢、後向き姿勢、に置き換えられる。認識された立体物と種別と姿勢が実質的に一致することで抽出された代替画像は、周辺俯瞰画像における立体物画像領域に位置合わせされ、俯瞰画像と合成される（＃８）。なお、合成の際には、立体物画像領域と代替画像とのサイズを合わせるために、必要に応じて代替画像の拡縮処理が行われる。さらに代替画像と合成元の俯瞰画像との境界を目立たなくするために、境界周辺領域は、ぼかし、周辺画素とのブレンド（αブレンドなど）、低彩度化などの抑制処理が行われる。合成処理により代替画像が組み込まれた最終的な俯瞰画像はモニタに送られ、車両周辺監視の目的でモニタに表示される（＃９）。
　図９も、図８と同様に発明の基本構想を説明する模式図であるが、図８による基本構想との相違点は、代替画像も視点変換処理が施されてから、俯瞰画像に合成されることである。代替画像データベースの登録されている代替画像も所定の視点から作成された立体物画像であるが、俯瞰画像における合成されるべき画像位置によっては無視できない違和感が生じる場合がある。この問題を回避するために、合成されるべき画像位置や立体物の種別等に応じて決定される上記違和感がなくなるような視点変換処理を代替画像に対して施す（＃５ａ）。
　このような視点変換を通じての違和感の回避方法に代えて、俯瞰画像に視点変換される前の撮影画像に対して着色代替画像を合成し、合成された撮影画像を視点変換することで、着色代替画像を含む俯瞰画像を生成し、モニタに送るような構成を採用してもよい。
　なおオプション的な処理であるが、立体物属性情報に色情報が含まれており、当該色情報による色と抽出された代替画像の色とが異なっている場合、あるいは抽出された代替画像が無色の場合、抽出された代替画像に対して色情報による色での着色処理が実行される（＃７）。
　図８と図９の基本構想図ではバックカメラからの撮影画像だけを用いて、モニタ表示目的の最終的な俯瞰画像を生成していたが、自車を中心とする四方の周辺状況、特に路面状況を良好に把握するためには全周囲俯瞰画像が有効である。図１０は、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄからの４つの撮影画像から、撮影画像に含まれる立体物の着色代替画像を含む全周囲俯瞰画像を作成する処理過程を示す基本構想図である。
　図１０では、後進での縦列駐車における駐車支援のためにモニタに表示する全周囲俯瞰画像の生成手順が例示されている。なお、この例では、バックカメラ１ａの撮影画像に注目すべき立体物として三角コーンが写り込んでいることにする。バックカメラ１ａによる後方撮影画像が車両真上からの全周囲俯瞰画像の後方領域画像として射影変換される。同様に、左サイドカメラ１ｂによる左撮影画像、右サイドカメラ１ｃによる右撮影画像、フロントカメラ１ｄによる前方撮影画像がそれぞれ、全周囲俯瞰画像の左領域画像、右領域画像、前方領域画像として射影変換される。ここでは、射影変換は、マッピングテーブルを用いて行われている。それぞれのマップデータの値は異なっているので、それぞれ適合するマップが設定されている。ただし、これらの各マップは、路面に平行な面を投影面とする射影変換をもたらすように作成されている。
　４つの車載カメラのうち、バックカメラ１ａからの後方撮影画像には立体物（この例では三角コーン）が含まれているが、この立体物の存在は、この車両に搭載されている立体物検知機能によって検知されるとともに、その立体物を含む周辺領域を撮影した撮影画像から画像認識により認識される。さらに、立体物が自動車の場合、車車間通信を通じて車種・向き姿勢情報を取得することができる。認識された立体物に関する位置情報、種別情報、姿勢（向き）情報、色情報などを含む立体物属性情報が、バックカメラ１ａからの撮影画像（後方撮影画像）とリンク可能なように出力される。従って、立体物属性情報に含まれている位置情報に基づいて、後方領域画像における立体物が写されている領域が立体物画像領域として決定される。
　さらに、立体物属性情報に含まれている種別情報や姿勢情報などを検索条件として後方領域画像に含まれている立体物（三角コーンと自動車の一部分）の代替画像が抽出される。抽出された代替画像が、後方側俯瞰画像に合成される。その際、後方側俯瞰画像を生成した視点変換マッピングテーブル又はより着色代替画像（三角コーンと自動車の一部分）が見やすくなる最適な視点変換マッピングテーブルを用いて着色代替画像を俯瞰画像化してから合成してもよい。
　また、出力された着色代替画像と合成される全周囲俯瞰画像の後方領域の画像（後方側俯瞰画像セグメント）において、先に決定された立体物画像領域に抑制処理を施すことが好ましい。このようにして生成された代替画像を含む後方俯瞰画像セグメントを含め、左俯瞰画像セグメント、右俯瞰画像セグメント、前方俯瞰画像セグメントが合成され、最終的にモニタ表示される全周囲俯瞰画像が生成される。
　以下、本発明の第２の実施形態を図面に基づいて説明する。本実施形態では、図１０で例示したように、４つの車載カメラ、バックカメラ１ａ、フロントカメラ１ｄ、左サイドカメラ１ｂ、右サイドカメラ１ｃからの撮影画像と立体物検知情報とから全周囲俯瞰画像を作成する画像生成装置が車両周辺監視システムの構築のために車両に組み込まれている。以下の説明において、適宜、これらの車載カメラ１ａ、１ｂ、１ｃ、１ｄを単にカメラ１と総称する場合がある。車両周辺監視が動作する際には、カメラ１による撮影画像ないしは当該撮影画像を用いて生成される俯瞰画像がモニタ表示される。
　カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５～３０フレームの２次元画像を時系列に撮影し、デジタル変換してその撮影画像をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０～１９０°の視野角が確保されているとともに、光軸に約３０度程度の俯角を有して車両に設置されている。
　車両内部には、車両周辺監視システムの中核をなす車両周辺監視コントローラ２０が設置されている。この車両周辺監視コントローラ２０は、図１１に示すように、車載ＬＡＮインターフェースとして用いられる通信インターフェース７０を備えると共に、入力情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）を備えている。
　通信インターフェース７０は、データ伝送線として車載ＬＡＮを採用しており、車両状態検出センサ群からの信号入力をそのまま、あるいは評価して車両周辺監視コントローラ２０の内部に転送するセンサ入力ユニット２５、外部通信部２４、モニタ２１やタッチパネル２１Ｔ、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットがデータ伝送可能に接続されている。その他、音声情報の出力デバイスとしてスピーカ２２も備えられている。
　センサ入力ユニット２５に接続されている各種センサ群は、運転操作や車両走行の状態などを検出する。センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。
　外部通信部２４は、外部の通信機器からの発せられる電波を受信し、情報の双方伝送や一方的な信号受信などを行い、受け取った通信情報を車載ＬＡＮに流す。本発明に特に関係する通信情報は、車車間通信による周辺車両（認識立体物）の車種や姿勢（向き）に関する情報、認識立体物が人物であることを携帯電話の電波傍受によって確定するための情報などである。
　車両周辺監視コントローラ２０には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部が備えられているが、本発明に特に関係する機能部としては、車両周辺の立体物を認識する立体物認識モジュール３０と、画像処理モジュール５０と、表示制御部７１と、音声処理モジュール７２が挙げられる。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。
　立体物認識モジュール３０には、複数の超音波センサ３からの検出信号を評価して立体物検知を行う立体物検知部３１と、車載カメラ１からの撮影画像を用いて立体物の認識を行う立体物認識部３２と、顔検出部３３と、通信情報処理部３４が含まれている。
　超音波センサ３は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体（障害物）をそれらからの反射波を通じて検知することができる。各超音波センサ３における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサ３の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。立体物認識部３２は、それ自体は公知である物体認識アルゴリズムを実装しており、入力した撮影画像、特に経時的に連続する撮影画像から車両周辺の立体物を認識する。立体物の検知のためには、立体物検知部３１と立体物認識部３２のいずれか１つでもよいが、立体物の形態を検知するのに優れた立体物認識部３２と、立体物までの距離、つまり立体物の位置を算出するのに優れた立体物検知部３１の両方を備えて協働作業させることでより正確な立体物の認識が可能となる。立体物認識モジュール３０は、認識した立体物の位置、姿勢、大きさ、色調などを記述した立体物属性情報を出力する。立体物検知部３１として、レーザレーダーを用いるような他の立体物検知装置の適用も可能である。
　顔検出部３３は、認識された立体物の立体物領域に顔が含まれているかどうかを公知の顔検出アルゴリズムを用いてチェックする。顔が含まれている場合、その立体物が人物であると特定し、さらにその顔の向きによって人物の姿勢、横向き姿勢、前向き姿勢を推定する。また、他の機能部で立体物が人物であることが推定されている場合に、その立体物から顔が検出されていない場合は、その人物が後向き姿勢であると推定する。
　通信情報処理部３４は、外部通信部２４によって行われた車車間通信で得られた周辺車両の位置、姿勢（向き）、車種、車色などの他車情報を受け取って、推定立体物がその他車であることが推定されると、推定立体物を自動車とし、その姿勢（向き）、車種、車色などの情報を取り込む。
　立体物認識モジュール３０は、内蔵する上記機能部によって得られた、種別、姿勢、色などの立体物の属性情報をまとめて立体物属性情報を生成し、画像処理モジュールに出力する。
　図１２に、車両周辺監視コントローラ２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影するカメラ１によって取得された撮影画像から射影変換によって変換された俯瞰画像等の画像を生成する機能を有している。
　画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部５３、立体物属性情報取得部５４、画像合成部５５、フレームメモリ５６を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。立体物属性情報取得部５４は、立体物認識モジュール３０から出力された立体物属性情報を受け取り、当該立体物属性情報に記述された立体物の位置、大きさ、色、姿勢などの各種属性情報(データ)を読み出す。
　画像生成部５３は、俯瞰画像生成部６０、代替画像出力部８０、通常画像生成部６６、立体物画像領域決定部６７を含んでいる。通常画像生成部６６は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄによる撮影画像から運転者によって選択された１つでもよいし、複数撮影画像の組み合わせでもよい。立体物画像領域決定部６７は、立体物属性情報取得部５４から立体物属性情報に含まれている、認識された立体物の位置情報から撮影画像におけるその立体物の画像領域を決定する。その際、撮影画像または俯瞰撮影画像あるいはその両方における立体物画像領域を決定することができる。
　俯瞰画像生成部６０は、撮影画像メモリ５１に展開されている1枚又は複数の撮影画像から視点変換処理を通じて俯瞰画像を生成する俯瞰撮影画像生成部６３と、さらにこの実施形態では、後で詳しく説明する代替画像から視点変換処理を通じて俯瞰画像を生成する俯瞰代替画像生成部６４とを備えている。なお、この実施形態では、俯瞰撮影画像生成部６３及び俯瞰代替画像生成部６４における射影変換は、マッピングテーブルを用いたマップ変換によって行われるので、ここで使用される射影変換のための種々のマッピングテーブルが選択可能に予め格納されている。このような選択可能に格納された複数のマッピングテーブルからなる集合体及び個別マッピングテーブルを、ここでは、マッピングテーブル６２と称している。マッピングテーブル６２を構成する各マッピングテーブル（以下単にマップと略称する）は種々の形態で構築することができるが、ここでは、撮影画像の画素データと射影変換画像（通常は俯瞰撮影画像）の画素データとの対応関係が記述されたマップ及び代替画像の画素データと射影変換画像の画素データとの対応関係が記述されたマップとして構築されている。特に、１フレームの撮影画像の各画素に、俯瞰撮影画像における行き先画素座標が記述されており、車載カメラ毎に異なるマップが適用される。射影変換選択部６１は、俯瞰代替画像生成部６４に対しては、立体物属性情報から読み出された属性に基づいて、俯瞰撮影画像とできるだけ調和する射影変換を選択する。
　俯瞰代替画像生成部６４にも複数の種類の射影変換が設定される。俯瞰代替画像生成部６４で実行される射影変換の選択は、代替物（立体物）の種別や、合成先の撮影画像（俯瞰撮影画像）の射影変換の種類（視点位置）に基づいて射影変換選択部６１が行う。なお、俯瞰代替画像生成部６４には、入力した代替画像をそのままスルーして出力する機能も含まれている。
　代替画像出力部８０は、検索条件設定部８５、代替画像データベース８２、代替画像抽出部８３、代替画像着色部８１を含む。代替画像データベース８２には、立体物認識部３２によって認識される可能性のある立体物の種別（人物や自動車など）や立体物の姿勢（前向き、横向き、後向きなど）など毎に予め作成されたイメージ（写真やイラストなど）画像が代替画像として検索条件によって選択されるように登録され、格納されている。検索条件設定部８５は、立体物属性情報取得部５４によって立体物属性情報から読み出された立体物の位置、大きさ、色、姿勢などの各種属性情報(データ)に基づいて、適合する代替画像を代替画像データベース８２から抽出するための検索条件を設定する。代替画像抽出部８３は、検索条件設定部８５によって設定された検索条件に基づいて代替画像データベースから抽出する。代替画像着色部８１は、抽出された代替画像に対して立体物属性情報に含まれている色情報に基づいて着色する。着色のやり方は、代替画像によって適切なものを採用すればよいが、人物なら上半身部分と下半身部分に分けて設定された塗り付け領域に適正な色を付与するようにしたり、全体を適正色で塗りつけるようにしたりしてもよい。また予め、代替画像に適正色を付与しておいてもよい。ここで適正色とは、運転者がその色で着色された代替画像をみて実際の立体物を想像しやすい色である。三角コーンなら予め付与されている橙色か黄色となり、人物なら撮影画像から得られる上着の色やスカートの色、自動車なら撮影画像や立体物属性情報から得られる車色である。
　画像合成部５５は、俯瞰撮影画像の立体物画像領域に俯瞰代替画像生成部６４によって生成された俯瞰代替画像を重ね合わせ合成する。合成方法としては、上書きに限定されず、透明化による重ね合わせなどを採用することができる。合成された代替画像付き俯瞰画像は表示画像としてフレームメモリ５６に転送され、表示制御部７１を介して表示画面としてのモニタ２１の画面に表示される。
　次に、上述のように構成された画像生成装置を組み込んだ車両周辺監視システムによる俯瞰画像表示ルーチンを図１３のフローチャートと、図１４の説明図とを用いて説明する。
　この車両周辺監視目的の俯瞰画像表示ルーチンがスタートすると、まずは、運転者の希望によってマニュアルで設定されるか又はデフォルト設定されている俯瞰画像の表示種別が読み出される（＃０１）。ここでの俯瞰画像の表示種別とは、車両周辺の俯瞰画像を生成する際に用いる撮影画像や仮想視点位置、生成された俯瞰画像のモニタ画面上のレイアウトなどを規定するものである。読み込まれた俯瞰画像の表示種別に応じて俯瞰撮影画像生成部６３で用いられる射影変換のためのマップが、利用される車載カメラ１の撮影画像毎に設定される（＃０２）。４台の車載カメラ１の撮影画像を取得する（＃０３）。設定された各マップを用いて各撮影画像から俯瞰画像セグメントが生成される（＃０４）。生成された俯瞰画像セグメントを組み合わせるとともに、自車両位置に予め設定されている車両の俯瞰イメージ画像（イラストやシンボルでも良い）が配置され、表示用の俯瞰画像が生成される（＃０５）。
　以上のルーチンの実行に平行して、立体物属性情報作成ルーチンも実行される。まず、立体物認識モジュール３０を通じて撮影領域に立体物が認識されたかどうかチェックする（＃２０）。立体物が認識された場合（＃２０Yes分岐）、その立体物の位置を算定する（＃２１）。さらに、立体物の種別・姿勢検出処理を行う（＃２２）。この種別・姿勢検出処理には、例えば、顔検出処理や車車間通信処理がある。顔検出処理では、撮影画像における認識された立体物の領域に対して顔検出を行い、もし顔が検出されると、その立体物は人物であると特定され、さらに、その顔の向きから、前向きまたは横向きといった人物の姿勢も推定できる。車車間通信処理では、立体物に対する車車間通信が実現すると、その立体物は自動車であると特定され、さらに、その車両位置ないしは車両の向き、車種（車両形式）などの自動車属性値も得ることが可能となる。この種別・姿勢検出処理において、立体物の種別特定などができなかった場合、その立体物は種別不定、姿勢不定として取り扱われる。種別・姿勢検出処理の結果に基づいて、立体物属性情報が作成される（＃２３）。立体物が認識されない場合（＃２０No分岐）はもちろん立体物属性情報は作成されないが、いずれにしてもこの段階で、属性情報有無通知が出力される（＃２４）。
　ここで、俯瞰画像表示ルーチンに戻ると、立体物属性情報が出力されているかどうか上述した属性情報有無通知からチェックされる（＃０６）。立体物属性情報が出力されていない場合（＃０６No分岐）、どの撮影画像にも注目すべき立体物が写り込んでいないとみなして、ステップ＃０５で生成された俯瞰撮影画像をそのまま利用して表示俯瞰画像が生成される（＃１５）。生成された表示俯瞰画像をモニタ２１に表示させ（＃１６）、この俯瞰画像表示ルーチンの終了指令がない限り（＃１７No分岐）、再びステップ＃０１に戻って、このルーチンを繰り返す。
　ステップ＃０６のチェックで、立体物認識モジュール３０で立体物属性情報が作成されている場合（＃０６Yes分岐）、注目すべき立体物が撮影画像に写り込んでいるとみなし、立体物属性情報を取得して、立体物属性情報に含まれている、認識された立体物に関する位置、種別、姿勢、色、大きさなどのデータを読み出す（＃０７）。読み出した立体物の位置に関するデータに基づいて俯瞰撮影画像における当該立体物の画像領域を決定する（＃０８）。
　次いで、読み出した立体物の属性情報に基づいて、適切な代替画像を抽出するための検索条件を設定する（＃０９）。この検索条件を用いて代替画像データベース８２から代替画像を抽出して、メモリに展開する（＃１０）。必要に応じて、抽出された代替画像に対する画像加工が行われる（＃１１）。画像加工には、抽出された代替画像の大きさを立体物画像領域の大きさに合わせるための拡縮処理や立体物属性情報に含まれている色情報に基づいて代替画像の予め決められている着色領域を着色する着色処理などが含まれる。なお、立体物属性情報に含まれている色情報は、撮影画像に含まれている立体物の画素値に基づいていることから、照明条件等によって、本来の立体物を特徴付けるような色が検知されていないことも有り得る。この着色処理では、そのような事情が発生していると判断された場合、代替画像に着色する色が強調される。また代替画像の輪郭を強調したりする形状明確化処理を代替画像に施してもよい。
　着色された代替画像は、撮影画像に対して施された射影変換の種類（視点位置）と、代替画像で代替された立体物の種別や姿勢などに基づいて、最適な射影変換が選択され、そのマップピングデータが俯瞰代替画像生成部６４に設定され（＃１２）、代替画像が射影変換される（＃１３）。もちろん、スルー用マップピングデータが設定され、少なくとも射影変換を施されない代替画像が生成されてもよい。次いで、俯瞰代替画像は俯瞰撮影画像における立体物画像領域に重ね合わせ合成される（＃１４）。このようにして生成された最終的な車両周辺の俯瞰画像は、図１４に示すような表示俯瞰画像として生成され（＃１５）、モニタ２１に表示される（＃１６）。最後に、このルーチンの終了チェック、例えば、このバックモニタルーチンに対する中止指令が入っているかどうかがチェックされ（＃１７）、このバックモニタが続行される限り（＃１７No分岐）、ステップ＃０１に戻り、上記プロセスが繰り返される。
３．別実施の形態
（１）上述した実施形態では、注目すべき一つの立体物が４つのカメラ１から取得した撮影画像の１つに写されている例を取り上げたが、隣り合うカメラ視野の境界領域では、注目すべき一つの立体物が複数の撮影画像に写されている場合も考えられる。従って、車載カメラが車両全周囲を撮影するために複数設置されているような実施形態において、立体物が２つ以上のカメラの撮影画像に含まれている場合、より面積の大きい方の立体物領域を有する立体物画像が立体物俯瞰画像生成のために抽出されると好都合である。
（２）注目すべき立体物として複数の立体物、つまり複数の代替画像を撮影俯瞰画像に合成してもよい。
（３）上述した第１の実施形態では、立体物画像を着色代替画像に置き換えただけであったが、立体物の移動方向が評価されている場合には、その立体物の移動方向も視認できるような形態で着色代替画像を表示すると好都合である。このことから、図１５で示すように、立体物の移動方向を示す残像を付加した代替画像を採用してもよい。また、図１６で示すように、立体物の移動方向を示す矢印を付加した代替画像を採用してもよい。
（４）上述した第１の実施形態では、立体物検知方法として、超音波を用いた立体物検知と画像認識による立体物検知のいずれか又はその組み合わせが提示されていたが、もちろん、これ以外の立体物検知方法、例えば、レーザレーダー法や赤外線法を利用することも本発明の範囲内である。
（５）上述した第２の実施形態では、表示俯瞰画像として４つの撮影画像からを用いた真上視点の俯瞰画像が採用されていた。これに代えて、１つの撮影画像に対して視点変換を行った俯瞰画像を表示俯瞰画像としてもよい。
　本発明は、俯瞰画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。
　２１：モニタ
　２４：外部通信部（車車間通信部）
　３０：立体物検知モジュール
　３１：立体物検知部
　３２：立体物認識部
　３３：顔検出部
　３４：通信情報処理部
　５０：画像処理モジュール
　５３：画像生成部
　５４：立体物属性情報取得部
　５５：画像合成部
　６０：俯瞰画像生成部
　６１：通常画像生成部
　６２：マッピングテーブル
　６３：俯瞰撮影画像生成部
　６４：俯瞰代替画像生成部
　６５：立体物俯瞰画像生成部
　６７：立体物画像領域決定部
　８０：代替画像出力部
　８１：代替画像着色部
　８２：代替画像データベース
　８３：代替画像抽出部
　８４：色強調指示部
　８５：検索条件設定部

Claims (12)

  1. 　車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する画像生成装置であって、
    　前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物認識部と、
    　前記立体物属性情報に含まれている位置情報に基づいて前記撮影画像における前記立体物の画像領域である立体物画像領域を決定する立体物画像領域決定部と、
    　前記立体物属性情報に含まれている、色情報に基づく色で色付けられた前記立体物の代替画像、及び種別情報と姿勢情報とに基づいて特定された立体物の特定された向き姿勢での前記立体物の代替画像との少なくとも何れか一つを出力する代替画像出力部と、
    　前記立体物画像領域の位置に前記代替画像出力部から出力された代替画像が合成されている代替画像付き俯瞰画像を生成する画像合成部と、
    を備えた画像生成装置。
  2. 　前記代替画像出力部は、色情報に基づく前記立体物の代替画像を格納する代替画像データベースと、当該代替画像データベースから前記立体物属性情報に含まれている立体物種別情報に基づいて前記立体物の代替画像を抽出する代替画像抽出部と、当該代替画像抽出部によって抽出された代替画像を前記立体物属性情報に含まれている色情報に基づく色で着色する代替画像着色部とを含む請求項１に記載の画像生成装置。
  3. 　前記代替画像着色部は、前記色情報に基づいて前記立体物を特徴づける複数の色を決定し、前記代替画像を複数の色で塗り分ける請求項２に記載の画像生成装置。
  4. 　前記代替画像着色部によって前記代替画像に着色する色を強調させる色強調指示を前記立体物属性情報に基づいて出力する色強調指示部が備えられている請求項２又は３に記載の画像生成装置。
  5. 　前記車両の周囲をカバーするそれぞれ撮影方向が異なる複数の撮影画像から射影変換を用いて車両周囲の俯瞰撮影画像を生成する俯瞰撮影画像生成部が備えられ、前記画像合成部は前記俯瞰撮影画像の前記立体物画像領域に前記代替画像を付与する請求項１から４のいずれか一項に記載の画像生成装置。
  6. 　前記立体物の移動方向を示す画像を前記代替画像とともに付与する請求項１から５のいずれか一項に記載の画像生成装置。
  7. 　前記移動方向を示す画像は前記立体物の移動に対応する前記代替画像の残像である請求項６に記載の画像生成装置。
  8. 　前記移動方向を示す画像は矢印である請求項６に記載の画像生成装置。
  9. 　前記代替画像出力部は、種別情報と姿勢情報とに基づく前記立体物の代替画像を格納する代替画像データベースと、当該代替画像データベースから前記立体物属性情報に含まれている種別情報及び姿勢情報を検索条件として前記代替画像を抽出する代替画像抽出部とを含む請求項１から８のいずれか一項に記載の画像生成装置。
  10. 　前記立体物認識部には人物の顔を検出する顔検出部が備えられており、前記顔検出部による検出結果に基づいて、認識された立体物が人物であることを種別情報に設定されるとともに、前向き姿勢、後ろ向き姿勢、横向き姿勢のいずれかが前記姿勢情報に設定される請求項１から９のいずれか一項に記載の画像生成装置。
  11. 　前記立体物認識部には、車車間通信による車車間通信情報に基づいて、認識された立体物が自動車であることを種別情報に設定されるとともに、前向き姿勢、後ろ向き姿勢、横向き姿勢のいずれかが前記姿勢情報に設定される請求項１から１０のいずれか一項に記載の画像生成装置。
  12. 　前記車両の周囲をカバーするそれぞれ撮影方向が異なる複数の撮影画像から射影変換を用いて車両周囲の俯瞰撮影画像を生成する俯瞰撮影画像生成部が備えられ、前記画像合成部は前記俯瞰撮影画像の前記立体物画像領域に前記代替画像を付与する請求項１から１１のいずれか一項に記載の画像生成装置。
PCT/JP2012/063188 2011-06-09 2012-05-23 画像生成装置 WO2012169355A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280028252.4A CN103609100B (zh) 2011-06-09 2012-05-23 图像生成装置
EP12796019.3A EP2720458A4 (en) 2011-06-09 2012-05-23 IMAGING DEVICE
US14/114,665 US9672432B2 (en) 2011-06-09 2012-05-23 Image generation device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011129323A JP5516998B2 (ja) 2011-06-09 2011-06-09 画像生成装置
JP2011129322A JP5516997B2 (ja) 2011-06-09 2011-06-09 画像生成装置
JP2011-129323 2011-06-09
JP2011-129322 2011-06-09

Publications (1)

Publication Number Publication Date
WO2012169355A1 true WO2012169355A1 (ja) 2012-12-13

Family

ID=47295923

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/063188 WO2012169355A1 (ja) 2011-06-09 2012-05-23 画像生成装置

Country Status (4)

Country Link
US (1) US9672432B2 (ja)
EP (1) EP2720458A4 (ja)
CN (1) CN103609100B (ja)
WO (1) WO2012169355A1 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9762880B2 (en) * 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
DE102012005471A1 (de) * 2012-03-17 2013-09-19 GM Global Technology Operations LLC (n.d. Ges. d. Staates Delaware) Verkehrsinformationssystem
CN104488011B (zh) * 2012-07-27 2017-03-15 京瓷株式会社 图像处理设备、成像设备、可移动体及区域设定方法
JP6079131B2 (ja) * 2012-10-25 2017-02-15 富士通株式会社 画像処理装置、方法、及びプログラム
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
WO2014204794A1 (en) 2013-06-21 2014-12-24 Magna Electronics Inc. Vehicle vision system
WO2015097824A1 (ja) 2013-12-26 2015-07-02 株式会社日立製作所 物体認識装置
JP6307895B2 (ja) 2014-01-23 2018-04-11 トヨタ自動車株式会社 車両用周辺監視装置
DE102014107235A1 (de) * 2014-05-22 2015-11-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm
JP6474396B2 (ja) * 2014-06-03 2019-02-27 住友重機械工業株式会社 人検知システム及びショベル
JP6434507B2 (ja) * 2014-06-03 2018-12-05 住友重機械工業株式会社 建設機械用人検知システム及びショベル
KR101603609B1 (ko) * 2014-07-15 2016-03-28 현대모비스 주식회사 차량용 어라운드 뷰 모니터링 시스템 및 이의 방법
WO2016067470A1 (ja) * 2014-10-31 2016-05-06 三菱電機株式会社 画像処理装置及び画像処理方法
US9965957B2 (en) * 2014-11-26 2018-05-08 Mitsubishi Electric Corporation Driving support apparatus and driving support method
KR101629577B1 (ko) * 2014-12-10 2016-06-13 현대오트론 주식회사 카메라를 이용한 모니터링 방법 및 장치
WO2016104119A1 (ja) * 2014-12-25 2016-06-30 株式会社Ｊｖｃケンウッド 表示システム
KR101741433B1 (ko) * 2015-06-09 2017-05-30 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
US9922220B2 (en) * 2015-06-11 2018-03-20 Digimarc Corporation Image block selection for efficient time-limited decoding
US10593007B1 (en) * 2015-06-11 2020-03-17 Digimarc Corporation Methods and arrangements for configuring industrial inspection systems
US9959765B2 (en) * 2015-07-20 2018-05-01 Dura Operating Llc System and method for providing alert to a vehicle or an advanced driver assist system based on vehicle dynamics input
US9830814B2 (en) * 2015-07-20 2017-11-28 Dura Operating, Llc System and method for transmitting detected object attributes over a dedicated short range communication system
JP6444835B2 (ja) 2015-09-07 2018-12-26 株式会社東芝 画像処理装置、画像処理プログラムおよび画像処理システム
JP6575445B2 (ja) * 2015-09-30 2019-09-18 アイシン精機株式会社 車両用画像処理装置
JP6759899B2 (ja) * 2016-09-08 2020-09-23 アイシン精機株式会社 車両用画像処理装置
CN108422932B (zh) * 2017-02-15 2021-06-01 奥迪股份公司 驾驶辅助系统、方法和车辆
US10740972B2 (en) * 2017-04-28 2020-08-11 Harman International Industries, Incorporated System and method for presentation and control of augmented vehicle surround views
FR3067999B1 (fr) * 2017-06-23 2019-08-02 Renault S.A.S. Procede d'aide a la conduite d'un vehicule automobile
JP2019012915A (ja) 2017-06-30 2019-01-24 クラリオン株式会社 画像処理装置、画像変換方法
JP6686988B2 (ja) * 2017-08-28 2020-04-22 株式会社Ｓｏｋｅｎ 映像出力装置及び映像生成プログラム
US20190108578A1 (en) 2017-09-13 2019-04-11 Magical Technologies, Llc Systems and methods of rewards object spawning and augmented reality commerce platform supporting multiple seller entities
JP7013751B2 (ja) * 2017-09-15 2022-02-01 株式会社アイシン 画像処理装置
US10284789B2 (en) * 2017-09-15 2019-05-07 Sony Corporation Dynamic generation of image of a scene based on removal of undesired object present in the scene
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
US10904374B2 (en) 2018-01-24 2021-01-26 Magical Technologies, Llc Systems, methods and apparatuses to facilitate gradual or instantaneous adjustment in levels of perceptibility of virtual objects or reality object in a digital scene
US11398088B2 (en) * 2018-01-30 2022-07-26 Magical Technologies, Llc Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects
DE102018205965A1 (de) * 2018-04-19 2019-10-24 Zf Friedrichshafen Ag Verfahren und Steuergerät zum Kennzeichnen einer Person
JP7087844B2 (ja) * 2018-08-31 2022-06-21 トヨタ自動車株式会社 画像処理装置、画像処理システム及び車両
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
JP7115300B2 (ja) 2018-12-26 2022-08-09 株式会社デンソー 画像生成装置及び画像表示システム
US11467656B2 (en) 2019-03-04 2022-10-11 Magical Technologies, Llc Virtual object control of a physical device and/or physical device control of a virtual object
US11417116B2 (en) 2019-04-19 2022-08-16 Magna Electronics Inc. Vehicular trailer angle detection system
US11662196B2 (en) 2019-05-08 2023-05-30 Magna Electronics Inc. Trailer angle detection system using rear camera of vehicle
US11613210B2 (en) 2019-07-22 2023-03-28 Magna Electronics Inc. Trailering assist system with hitch ball position detection
US11787339B2 (en) 2019-07-30 2023-10-17 Magna Electronics Inc. Trailer hitching assist system with trailer coupler detection
US11613208B2 (en) 2019-07-30 2023-03-28 Magna Electronics Inc. Trailer hitching assist system with trailer coupler detection
US11661006B2 (en) * 2019-09-27 2023-05-30 Magna Electronics Inc. Vehicular trailering assist system
EP3809313A1 (en) * 2019-10-16 2021-04-21 Ningbo Geely Automobile Research & Development Co. Ltd. A vehicle parking finder support system, method and computer program product for determining if a vehicle is at a reference parking location
US11679635B2 (en) 2019-12-09 2023-06-20 Magna Electronics Inc. Vehicular trailer hitching assist system with coupler height and location estimation
US11037328B1 (en) 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation
US11288522B2 (en) 2019-12-31 2022-03-29 Woven Planet North America, Inc. Generating training data from overhead view images
US11244500B2 (en) 2019-12-31 2022-02-08 Woven Planet North America, Inc. Map feature extraction using overhead view images
CN111402132B (zh) * 2020-03-11 2024-02-02 黑芝麻智能科技(上海)有限公司 倒车辅助方法及系统、图像处理器及相应的辅助驾驶系统
CN115205311B (zh) * 2022-07-15 2024-04-05 小米汽车科技有限公司 图像处理方法、装置、车辆、介质及芯片

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189293A (ja) * 2001-09-07 2003-07-04 Matsushita Electric Ind Co Ltd 車両周囲状況表示装置および映像提示システム
JP2008182312A (ja) * 2007-01-23 2008-08-07 Xanavi Informatics Corp 撮像画像表示装置
JP2008205914A (ja) * 2007-02-21 2008-09-04 Alpine Electronics Inc 画像処理装置
JP2009252092A (ja) * 2008-04-09 2009-10-29 Toyota Motor Corp 運転支援装置
JP2010251939A (ja) 2009-04-14 2010-11-04 Hyundai Motor Co Ltd 車両周囲画像表示システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996017324A1 (fr) * 1994-12-01 1996-06-06 Namco Ltd. Appareil et procede de synthese d'images
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
CN1181357C (zh) * 2000-01-13 2004-12-22 同致电子企业股份有限公司 具有多路显示功能的倒车雷达装置
EP1291668B1 (en) 2001-09-07 2005-11-30 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings display device and image providing system
JP4161769B2 (ja) * 2003-03-31 2008-10-08 カシオ計算機株式会社 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム
JP4432801B2 (ja) * 2005-03-02 2010-03-17 株式会社デンソー 運転支援装置
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP4939968B2 (ja) 2007-02-15 2012-05-30 株式会社日立製作所 監視画像処理方法、監視システム及び監視画像処理プログラム
EP2179589A4 (en) * 2007-07-20 2010-12-01 Fujifilm Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM
US8054201B2 (en) * 2008-03-19 2011-11-08 Mazda Motor Corporation Surroundings monitoring device for vehicle
JP4716139B2 (ja) * 2008-05-14 2011-07-06 アイシン精機株式会社 周辺監視装置
JP4900326B2 (ja) * 2008-06-10 2012-03-21 日産自動車株式会社 駐車支援装置及び駐車支援方法
JP4661917B2 (ja) * 2008-07-25 2011-03-30 日産自動車株式会社 駐車支援装置および駐車支援方法
US20100201508A1 (en) * 2009-02-12 2010-08-12 Gm Global Technology Operations, Inc. Cross traffic alert system for a vehicle, and related alert display method
CN101549683B (zh) * 2009-04-23 2011-09-28 上海交通大学 自动识别道路深坑与障碍物的车辆智能方法
DE102010010912A1 (de) 2010-03-10 2010-12-02 Daimler Ag Fahrerassistenzvorrichtung mit optischer Darstellung erfasster Objekte
US8547215B2 (en) * 2010-11-24 2013-10-01 Denso Corporation Information presentation apparatus and system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189293A (ja) * 2001-09-07 2003-07-04 Matsushita Electric Ind Co Ltd 車両周囲状況表示装置および映像提示システム
JP2008182312A (ja) * 2007-01-23 2008-08-07 Xanavi Informatics Corp 撮像画像表示装置
JP2008205914A (ja) * 2007-02-21 2008-09-04 Alpine Electronics Inc 画像処理装置
JP2009252092A (ja) * 2008-04-09 2009-10-29 Toyota Motor Corp 運転支援装置
JP2010251939A (ja) 2009-04-14 2010-11-04 Hyundai Motor Co Ltd 車両周囲画像表示システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2720458A4

Also Published As

Publication number Publication date
US20140063197A1 (en) 2014-03-06
EP2720458A4 (en) 2015-02-25
US9672432B2 (en) 2017-06-06
CN103609100B (zh) 2017-09-29
EP2720458A1 (en) 2014-04-16
CN103609100A (zh) 2014-02-26

Similar Documents

Publication Publication Date Title
WO2012169355A1 (ja) 画像生成装置
JP5516998B2 (ja) 画像生成装置
WO2012096058A1 (ja) 画像生成装置
EP2763407B1 (en) Vehicle surroundings monitoring device
KR102344171B1 (ko) 화상 생성 장치, 화상 생성 방법, 및 프로그램
JP7245295B2 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
US9050931B2 (en) Vehicle periphery monitoring system
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
WO2012172923A1 (ja) 車両周辺監視装置
US8514282B2 (en) Vehicle periphery display device and method for vehicle periphery image
JP5870608B2 (ja) 画像生成装置
JP5516997B2 (ja) 画像生成装置
JP2018531530A6 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
US20110175752A1 (en) Methods and Apparatuses for Informing an Occupant of a Vehicle of Surroundings of the Vehicle
JP5495071B2 (ja) 車両周辺監視装置
KR20100113959A (ko) 차량 주위 화상 표시 시스템
JP2002335524A (ja) 運転支援装置
WO2005084027A1 (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
JP2008230296A (ja) 車両用運転支援システム
JP2012105090A (ja) 駐車支援装置
JP3301421B2 (ja) 車両周囲状況提示装置
JP5500392B2 (ja) 車両周辺監視装置
JP5618139B2 (ja) 駐車支援装置
JP2010283718A (ja) 車両周辺画像提供装置
JP2013200820A (ja) 画像送受信システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12796019

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012796019

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14114665

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE