WO2014069471A1 - 画像処理システム及び画像処理方法 - Google Patents

画像処理システム及び画像処理方法 Download PDF

Info

Publication number
WO2014069471A1
WO2014069471A1 PCT/JP2013/079297 JP2013079297W WO2014069471A1 WO 2014069471 A1 WO2014069471 A1 WO 2014069471A1 JP 2013079297 W JP2013079297 W JP 2013079297W WO 2014069471 A1 WO2014069471 A1 WO 2014069471A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
area
processing system
image processing
Prior art date
Application number
PCT/JP2013/079297
Other languages
English (en)
French (fr)
Inventor
秀紀 坂庭
吉孝 内田
勝夫 小野崎
樋口　晴彦
中嶋　満雄
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to US14/439,088 priority Critical patent/US9485438B2/en
Priority to CN201380056890.1A priority patent/CN104756487B/zh
Priority to EP13850153.1A priority patent/EP2916540B1/en
Publication of WO2014069471A1 publication Critical patent/WO2014069471A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/94—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an image processing system and an image processing method for synthesizing captured images from a plurality of cameras.
  • Patent Document 1 discloses a technique in which pixels are alternately arranged according to a certain rule in a region where a plurality of images overlap.
  • Japanese Patent Application Laid-Open No. 2004-228561 discloses a method of determining whether there is an obstacle at a joint portion of the overhead view display image and changing the position of the joint portion of the overhead view image.
  • Patent Document 3 when there is a three-dimensional object in an area where the object scene images from two cameras overlap, the image of the three-dimensional object is such that only the image from one camera remains in the composite image.
  • a method of setting a boundary line for combining an object scene image by two cameras is disclosed.
  • Patent Document 4 a method of setting a boundary line similar to Patent Document 3, and when there is an obstacle in an area where the object scene images by two cameras overlap, the weighting of the obstacle image by one camera is performed.
  • a technique is disclosed in which the combination weight of the images of the obstacles by the first camera and the other camera is set to 0, and the portions other than the obstacles in the images by the respective cameras are set to the weight of 0.5, and these are combined.
  • Patent Document 1 since pixels of an image taken by two cameras are alternately arranged, there are problems that an image becomes unclear and a three-dimensional object is displayed as a double image.
  • the joint portion is moved.
  • the method of setting the boundary line in Patent Document 3 and Patent Document 4 has a problem that the switching of the image at the boundary line portion becomes discontinuous.
  • the weighting synthesis method in Patent Document 4 only discloses a method for selecting an image weight of one camera as a binary value of 0 or 1 for an obstacle image portion.
  • an alpha blending method that transmits two images using the alpha channel of a generally known image is conceivable.
  • the two images are alpha blended at 50%, the contrast is lowered. Therefore, there is a problem that the luminance and color are thin and difficult to see.
  • An object of the present invention is to provide an image processing system and an image processing method that are easy to use for a user by generating a more natural composite image in which a three-dimensional object (obstacle) is easy to see.
  • the image processing system of the present invention includes an image detection unit that extracts an image feature amount from an image of each camera, and an extracted image feature amount in an image processing system that generates a bird's-eye view image by combining captured images from a plurality of cameras.
  • An image conversion unit that calculates a blend ratio according to the image and combines a bird's-eye view image of a superimposed area where a plurality of camera images overlap, and the image conversion unit determines a correlation between image feature amounts of each image in the superimposed area
  • the blending method is switched according to the strength of the correlation.
  • the image conversion unit determines whether there is a portion where the image feature amounts of the images overlap in position, and according to the presence or absence of the overlap portion Change the blending method and synthesize. Then, when it is determined that there is a portion where the image feature amount of each image overlaps in position, the blend ratio of the image having the larger image feature amount is set larger.
  • an easy-to-use image processing system for a user that generates a more natural composite image in which a three-dimensional object (obstacle) is easy to see.
  • FIG. 1 is a block diagram illustrating a configuration of an image processing system according to Embodiment 1.
  • FIG. It is an example of the image which image
  • FIG. 3 is a block diagram illustrating a configuration of an image processing system according to a second embodiment. It is a figure which shows the area division
  • FIG. 10 is a diagram illustrating luminance adjustment performed by dividing a camera image into areas as Example 3. It is a figure which shows the method of matching the gradation gravity center of a brightness
  • FIG. 1 is a block diagram of the configuration of the image processing system according to the first embodiment.
  • the image processing system captures images around the vehicle with a plurality (n) of cameras 101 mounted on the vehicle, combines the captured images of the cameras with the image processing apparatus 100, and an overhead view image around the vehicle with the monitor 109. Is displayed.
  • the captured image data from each camera 101 is decoded by a plurality of corresponding decoding units 102 and stored in the memory unit 107 via the bus 103.
  • the image conversion unit 105 performs a composition process of the captured image data from each camera 101 accumulated in the memory unit 107, and generates an overhead image around the vehicle.
  • lens distortion correction processing and perspective transformation processing are performed on wide-angle camera images to create a bird's-eye view image for each camera.
  • the image detection unit 106 performs edge extraction, contour extraction, Gaussian processing, noise removal processing, threshold processing, and the like on the captured image data, and shows the presence or absence of white lines, obstacles, pedestrians, etc. drawn on the road. An area size detection process is performed.
  • the encoding unit 108 encodes the generated overhead image, and the CPU 104 controls the operation of each unit.
  • the overhead image data output from the image processing apparatus 100 is displayed on the monitor 109.
  • the type of the monitor 109 is not limited, but CRT (Cathode Ray Tube), LCD (Liquid Crystal Display), LCOS (Liquid Crystal On Silicon), OLED (Organic light-emitting diode), holographic optical element and projector device Etc. are arbitrary. Further, it may be installed inside or outside the vehicle, and not only a flat type monitor but also HUD (Head-Up Display), HMD (Head Mounted Display), etc. may be used.
  • CTR Cathode Ray Tube
  • LCD Liquid Crystal Display
  • LCOS Liquid Crystal On Silicon
  • OLED Organic light-emitting diode
  • holographic optical element and projector device Etc. are arbitrary. Further, it may be installed inside or outside the vehicle, and not only a flat type monitor but also HUD (Head-Up Display), HMD (Head Mounted Display), etc. may be used.
  • the image processing apparatus 100 detects obstacles and pedestrians using images captured by a plurality of cameras, and according to the detection result, each camera makes it easy to see the obstacles and pedestrians shown in the image.
  • a bird's-eye view image of the entire periphery of the vehicle is generated by combining the bird's-eye view images.
  • the image processing system of this embodiment is configured to include the image processing apparatus 100, a plurality of cameras 101, and a monitor 109. However, either or both of the camera 101 and the monitor 109 are connected to the outside of the system as external apparatuses. But it ’s okay.
  • the generation of the bird's-eye view around the vehicle is described.
  • the bird's-eye view image of the monitoring target region is created by combining the captured images from the plurality of monitoring cameras. Is also applicable.
  • FIG. 2 is an example of an image obtained by photographing the same subject with a plurality of cameras installed in the vehicle.
  • the vehicle 200 is provided with a front camera 201, a left side camera 202, a rear camera 203, and a right side camera 204, and shows a situation where a pedestrian 205 has walked diagonally to the left of the vehicle 200.
  • an image captured by the front camera 201 is 206
  • an image captured by the left side camera 202 is 207.
  • each camera faces diagonally downward, and the images 206 and 207 show the foot portions 205a and 205b of the pedestrian 205.
  • the foot 205a extending in the direction of the arrow from the front camera 201 is shot in the image 206 shot by the front camera 201.
  • the foot 205b extending in the direction of the arrow coming out of the left side camera 202 is photographed in the image photographed by the left side camera 202. That is, the pedestrian 205 that is the same subject is photographed, but the legs 205a and 205b in different directions are photographed due to the difference in the photographing position of the camera. This is a phenomenon that occurs because the pedestrian 205 as a subject is a three-dimensional object.
  • the images 206 and 207 are photographed with the same pattern, and overlap if overlapped. That is, when the same subject is photographed from different directions, if an object extending in different directions is detected in the two images, it can be determined that a three-dimensional object exists. In this embodiment, using this property, blend processing is performed so that overlapping portions of a plurality of camera images are easier to see.
  • FIG. 3 is a diagram showing an example of area division of the shooting area and image synthesis of the overlapping area.
  • the periphery of the vehicle 200 is divided into eight areas 300 to 307. Areas photographed by the camera 201 are 300, 301, and 302, and areas photographed by the camera 202 are 300, 303, and 305. Other areas are similarly determined for the cameras 203 and 204.
  • correction processing for lens distortion occurring at the edge of the image and perspective transformation that changes the magnification according to the distance of the depth are performed on the captured image.
  • an overhead image over the areas 300, 301, and 302 in FIG. 3 is created from the image 206 in FIG.
  • an overhead image over each of the areas 300, 303, and 305 in FIG. 3 is created from the image 207 in FIG.
  • the area 300 is an area where the images of the camera 201 and the camera 202 overlap and is hereinafter referred to as a “superimposition area”.
  • Other areas 302, 305, and 307 are also overlapping areas where two camera images overlap. If there is no projection (three-dimensional object) on the ground and the surface is flat, the images in the same area are the same and overlap. That is, the overlapping area means an area where the same position on the ground is photographed when an overhead image is created from a plurality of camera images.
  • FIG. 4 shows an image composition operation sequence in the overlap area. As an example, it is assumed that images in the overlapping area 300 of the camera 1 (201) and the camera 2 (202) are combined.
  • the image detection unit 106 extracts the feature amount of the captured image in the superimposed area in the camera 1 image, and detects an object existing there.
  • image feature amounts are extracted by contour extraction using a portion having many edges, Laplacian filter, Sobel filter, binarization processing, color information, histogram information, and various pattern recognition processing.
  • the image feature quantity Q1 such as the position of the pixel from which the edge or contour can be extracted and the brightness of the edge is stored in the memory unit 107.
  • an image feature amount by SIFT (Scale-Invariant Feature Transform), HOG (Histograms of Oriented Gradients), or the like may be used.
  • the extracted feature information is a pedestrian or an object by combining the HOG feature amount and the feature amount in the form of a pedestrian. If the method such as the contrast enhancement process or the danger level display is switched depending on whether the person is a pedestrian or an object, more convenient information can be provided to the user (driver).
  • the method such as the contrast enhancement process or the danger level display is switched depending on whether the person is a pedestrian or an object, more convenient information can be provided to the user (driver).
  • S402 similarly, an object existing there is detected from the feature amount of the captured image in the superimposed area in the camera 2 image, and the extracted image feature amount Q2 is stored in the memory unit 107.
  • the position of the pixel extracted in S401 and S402 and the strength of the correlation between the feature amounts Q1 and Q2 are determined. That is, it is determined by calculation whether the pixel positions of the detected objects are coincident or gathered within a certain range, or whether the feature amount difference is within a certain range.
  • a correlation between a spatial distance relationship and a semantic distance relationship is determined by performing a statistical process or a clustering process.
  • S404 the images of the camera 1 and the camera 2 are combined with a fixed blend ratio. In this case, it is possible to select and use either the image of the camera 1 or the camera 2, but if there is a three-dimensional object near the joint, the image may be lost. Therefore, the blend method is preferable.
  • the overhead image synthesized in S404 is output to the monitor 109 in S410.
  • step S403 it is determined whether there is a portion where the image feature amounts Q1 and Q2 of the camera 1 and the camera 2 overlap in position.
  • the process proceeds to S406.
  • the blend rate is calculated according to the feature values Q1 and Q2 that can be extracted from each camera.
  • the image of the overlapping area is synthesized at the blend ratio calculated in S406, and the overhead image is output to the monitor 109 in S410.
  • the process proceeds to S408.
  • the camera image whose feature has been extracted (the object has been detected) is selected.
  • the overhead image is synthesized from the camera image selected in S408, and is output to the monitor 109 in S410.
  • the blending process may be performed with priority given to the blend rate of the camera image from which the feature has been extracted, and the overhead image may be synthesized.
  • a planar pattern drawn on the road is obtained by extracting image feature values of camera images taken from different directions and determining the correlation between them in a superimposed area taken by a plurality of cameras. Can be distinguished from solid objects.
  • the positional overlap of the feature amounts can be determined, and it can be determined whether the three-dimensional object exists within the overlapping area or outside the overlapping area.
  • a good overhead image can be obtained by changing the blend ratio at the time of synthesis of the overhead image according to each state.
  • FIG. 5A, FIG. 5B, FIG. 5C, and FIG. 5D are diagrams showing the blend ratio calculation method in S406 of FIG. Based on the feature amounts Q1 and Q2 of the overlapping area photographed by the camera 1 and the camera 2, a blend ratio for combining the respective camera images is calculated.
  • the horizontal axis represents the ratio of the feature amounts of the respective camera images detected by the image detection unit 106, and the vertical axis represents the blend ratios P1 and P2 of the respective camera images.
  • the ratio of the feature amount of the camera image is obtained as follows. First, let F (Q1) be the result of performing a predetermined calculation on the feature quantity Q1 of the camera 1 image.
  • a result obtained by performing a predetermined calculation on the feature amount Q2 of the similar camera 2 image is defined as F (Q2).
  • the ratio of the feature amount of the camera 1 image is calculated as F (Q1) / (F (Q1) + F (Q2)).
  • the ratio of the feature amount of the camera 2 image is calculated as F (Q2) / (F (Q1) + F (Q2)).
  • the predetermined calculation F will be described in detail in the following description of FIG. 5A.
  • the predetermined calculation F various calculations are possible.
  • a calculation is performed to count the number of pixels having an image feature amount equal to or greater than a predetermined threshold in the overlapping area.
  • the size occupied by the image of the three-dimensional object in the respective overlapping areas of the camera 1 image or the camera 2 image can be used as an element for varying the blend rate. It is also possible to perform operations such as calculating the sum, average, weighted average, center of gravity, and center value of the image feature amounts of pixels in the overlapping area of the camera 1 image or the camera 2 image.
  • the size occupied by the image of the three-dimensional object in the overlapping area can be an element that varies the blend rate.
  • the blend rate can be determined for each pixel.
  • Q1 itself in the target pixel may be used as F (Q1)
  • Q2 itself in the target pixel may be used as F (Q2).
  • F (Q1) and F (Q2) are compared, and the blend ratio of the image with the larger value is set larger.
  • FIG. 5B is a graph in which the ratio of the blend ratio feature amount is continuously changed, but the gradient of the change of the blend ratio is shown in FIG. 5A when the “feature ratio ratio” is close to 0.5.
  • This blend rate calculation method emphasizes the contrast of images with more features (images that are more likely to have a three-dimensional object) while the blend rate changes gently when the “feature ratio” changes. It becomes possible to do. Accordingly, there is an effect that the user can more easily recognize an image having a relatively high possibility of a three-dimensional object.
  • FIG. 5C also changes the ratio of the blend rate feature amount continuously. However, in FIG. 5C, when the “feature amount ratio” is equal to or larger than a predetermined size, the blend ratio of the image of the camera is set to 1, and the “feature amount ratio” is equal to or smaller than the predetermined size. Is 0 for the blend ratio of the camera image.
  • FIG. 5D shows a case where the blend rate is set to be switched stepwise when the “characteristic ratio” changes.
  • the blending rate is more gently switched as the number of switching steps is larger.
  • the straight line in FIG. 5A is close to the broken line, but if the amount of change in the blend rate at each switching is made different, the characteristic of the broken line close to FIG. 5B or the broken line close to FIG. 5C It is also possible.
  • the change of the blend rate with respect to the change of the “feature amount ratio” such as switching the blend rate stepwise according to the change of the “feature amount ratio” is discontinuous, It can become one embodiment of this.
  • FIGS. 5A, 5B, 5C, and 5D the case where the value of the calculation result is large for an image that is likely to have a three-dimensional object has been described. However, there is a high possibility that there is a three-dimensional object.
  • the calculation F may be such that the value of the calculation result is smaller for the image.
  • the graphs of FIGS. 5A, 5B, 5C, and 5D only need to be appropriately changed from rising right to falling right, and this case can also be an embodiment of the present invention.
  • the blend ratio of the three-dimensional object image is a large number other than 1 and 0. Can take a value. Thereby, it becomes possible to synthesize
  • the blend rate is calculated for the entire overlap area or pixel unit, and used for the composition process for the entire overlap area or pixel unit. Therefore, it is possible to prevent an unnatural image joining portion such as the boundary line disclosed in Patent Literature 3 and Patent Literature 4 from occurring in the overlapping area, and a more natural composite image can be generated. .
  • FIG. 6 is a diagram showing a blend ratio setting method in S404 of FIG. This is a technique for setting and synthesizing a fixed blend ratio for each pixel in order to prevent an object near the joint from disappearing due to erroneous detection of the image detection unit 106. Therefore, it can also be applied to the processing of S409.
  • the overlap area 300 is divided into a fan shape, and the blend ratio P1 of the image of the front camera 201 and the blend ratio P2 of the image of the left side camera 202 are fixedly set for each of the divided areas a1 to a7.
  • the blend ratio P1 of the image of the camera 201 is 0.9 and the blend ratio P2 of the image of the camera 202 is 0.1.
  • FIG. 7 is a diagram showing another example of the blend rate setting method in S404 of FIG.
  • the distances from a certain pixel position C in the overlapping area 300 to the camera 201 and the camera 202 installed in the vehicle 200 are defined as d1 and d2.
  • a fixed blend rate is set according to the ratio of the distances d1 and d2. That is, at the pixel position that is close to the camera 201 (that is, d1 ⁇ d2), the blend ratio of the image of the camera 201 is set high.
  • the blend rate P1 of the near camera 201 image is reduced at a position where d1 ⁇ d2 and d1 ⁇ dth.
  • FIG. 8 is a diagram showing an example of a composite image when there is no solid object in the overlapping area. This is a case where the correlation between the image feature amounts of the two camera images is strong in the determination in S403 of FIG.
  • an image 801 of the camera 1 includes a white line 803 drawn in a plane on a road or a parking lot taken by the camera 1.
  • a white line 804 drawn on a road, a parking lot, or the like taken by the camera 2 is shown. Since the same overlapping area is photographed, the same image is obtained if there is no solid object in the area.
  • the process of S404 is performed, and the images 801 and 802 from the two cameras are combined at a fixed blend rate, or one image is selected and the overhead image is combined. As a result, a composite image 805 including one white line 806 is generated.
  • FIG. 9 is a diagram illustrating an example of a composite image when a three-dimensional object exists in the overlapping area. This is a case where the correlation between the image feature amounts of the two camera images is weak in the determination of S403 in FIG.
  • the image 901 of the camera 1 shows a pedestrian's foot 903 photographed by the camera 1.
  • An image 902 of the camera 2 shows a pedestrian's foot 904 taken by the camera 2.
  • the pedestrian's legs 903 and 904 extend in different directions.
  • FIG. 10 is a diagram illustrating an example of a composite image when a three-dimensional object exists outside the overlapping area. This is a case where the correlation between the image feature amounts of the two camera images is weak in the determination of S403 in FIG.
  • an image 1001 of the camera 1 shows a pedestrian's foot 1003 photographed by the camera 1.
  • the image 1002 of the camera 2 shows an image taken by the camera 2, but there is no equivalent to the pedestrian's foot.
  • there is nothing in the superimposition area there is a pedestrian (three-dimensional object) near the camera 1 and it appears as an object 1003 in the image 1001 of the camera 1.
  • nothing exists in the vicinity of the image 1002 of the camera 2 so nothing is captured.
  • FIG. 11 is a diagram showing an example of a composite image when a pedestrian moves in the overlapping area.
  • the pedestrian composite images in the overlap area 1100 are arranged in time series.
  • the blend ratio is set according to the image feature amount according to S406 of FIG.
  • the pedestrian's foot 1101 photographed by the camera 1 and the pedestrian's foot 1102 photographed by the camera 2 are combined, and the blend ratio thereof is used as an image feature amount (for example, the area where the foot is reflected).
  • P1 0.8
  • P2 0.2
  • the blend ratio By setting the blend ratio in this way, the side on which the area of the pedestrian's foot is captured, that is, the foot 1101 photographed by the camera 1 is clearly displayed.
  • the contrast of the image with a larger area can be reduced by setting the blend rate according to the relative ratio of the image feature amount. Enlarged images can be generated.
  • both luminances may become thin and may be difficult to visually recognize. There is. Therefore, in consideration of hysteresis, processing for preferentially displaying an image having a high blend rate one hour before may be performed.
  • P1 has a higher blend rate at time t1 one time before time t2. Therefore, in the process at time t2 where the image feature amount is the same, P1 is prioritized, and a process of adding or multiplying the detected image feature amount by a predetermined ratio or value is performed.
  • the blend ratio of the two videos becomes equal according to the time-series change in the feature amount (P1).
  • FIG. 12 is a diagram for explaining a method for calculating a blend rate using motion vector information. That is, in S401 and S402 of FIG. 4, the motion vector information of the optical flow is used for detecting the image feature amount, and the blend ratio of the overlapping area is calculated from this to synthesize the image. A motion vector of a plurality of frames is used as an image feature amount, and a blend rate is calculated from a ratio of the sum of motion vectors.
  • P2 ⁇ Cam2 / ( ⁇ Cam1 + ⁇ Cam2)
  • FIG. 13 is a block diagram of the configuration of the image processing system according to the second embodiment.
  • a vehicle information acquisition unit 1300 is added to the configuration of the first embodiment (FIG. 1).
  • the vehicle information acquisition unit 1300 acquires vehicle control information from a vehicle to which the image processing system is applied via CAN (Controller Area Network), FlexRay, or the like.
  • the vehicle control information is information such as the traveling direction of the vehicle, the angle of the steering wheel, the vehicle speed, the headlight or hazard lamp, the wiper On / Off, the direction of the direction indicator, and the image processing system uses these vehicle information. Then, image processing considering the degree of risk is performed.
  • FIG. 14 is a diagram showing area division in the case of image composition using vehicle information.
  • area division is performed according to the degree of risk.
  • the overlap areas 300, 302, 305, and 307 are divided into four according to the degree of risk, the overlap area 300 is A1 to A4, the overlap area 302 is B1 to B4, the overlap area 303 is C1 to C4, and the overlap area 304 is. Is divided into D1 to D4.
  • FIG. 15 is a table in which the risk level of each area divided in FIG. 14 is classified.
  • the vehicle information (traveling direction, steering wheel direction, speed) is used as a parameter, and the risk of each divided area is indicated by (large), (medium), and (small).
  • the composition and display of the image are changed according to the degree of risk.
  • the first threshold value X is larger than the second threshold value S.
  • the speed of the vehicle is equal to or higher than the first threshold value X, it is determined that the speed of the parking operation is a dangerous speed. In this case, the driver can be warned by displaying all areas around the vehicle as dangerous areas.
  • the risk level of each area is classified using FIG.
  • the areas A1 to A4 on the left front are dangerous (large) ).
  • the risk level (medium) In the right front, pedestrians in areas B1 and B3 may jump out to the left, so the risk level (medium), and the rear areas C2 and D1 are involved in the structure of the vehicle and have collisions. Since it is obtained, the risk level (medium).
  • the other areas B2, B4, C1, and D2 have a high degree of danger (small) because the distance is long. In this way, the risk level is classified according to the vehicle information.
  • the following settings are possible for using other vehicle information.
  • the vehicle approaching from behind is warned to increase the risk of areas C2, C4, D1, D3, and the like.
  • the driver activates the direction indicator, the risk of the area in the direction of travel of the direction indicator and the area behind it is increased.
  • the headlight is On, the risk of the area in the traveling direction is further increased.
  • the display method may be changed depending on whether the headlight is on or the light is upward or downward. For example, if the light is upward, you are driving in a darker place and the field of view is narrow, so not only increase the risk of forward, but also increase the risk of left and right areas where attention tends to be distracted .
  • the wiper is turned on, the field of view may be deteriorated, so the risk of the area in the traveling direction is increased.
  • FIG. 16 shows an operation sequence of image composition in the overlapping area using vehicle information.
  • the procedure for creating the overhead image is based on the operation sequence of FIG.
  • S1601 the vehicle information and the risk information in FIG. 15 are read.
  • the vehicle speed V is compared with a threshold value X. If the speed of the vehicle is greater than the first threshold value X, the process proceeds to S1603, and all areas are set as dangerous areas (large) for the risk information read from FIG. Thereby, it is displayed that all areas are dangerous.
  • a display method corresponding to the risk level is combined for each display area, and a combined overhead image is output.
  • the possibility of the presence of the three-dimensional object can be determined by checking the blend ratio of each camera image in the overlapping area. That is, it can be determined that the danger is higher in the overlapping area where the degree of danger is large and the blend ratio is large.
  • FIG. 17 is an example of an overhead image display reflecting the degree of risk.
  • the image conversion unit 105 changes the blend rate in accordance with the feature amount of the three-dimensional object (obstacle) 1700 detected in the overlapping area 300, and displays the obstacle with improved contrast.
  • the color information in the image feature amount extracted in S401 or S402 in FIG. 4 is referred to, and the color of the hue different from the extracted color information is used to improve the visual contrast. .
  • the contrast of the camera image that may have an obstacle is not reduced so much. Can be synthesized.
  • the image conversion unit 105 performs image processing that enhances the edge of the object and enhances the contrast, thereby making the object more noticeable. Display so that it can be recognized.
  • the risk can be further emphasized by performing processing such as painting or bordering on image feature portions such as edges and contours extracted in S401 and S402 with a conspicuous color.
  • additional information by characters may be displayed in a low risk area or an area where no risk level is set in FIG.
  • the blend ratio is adjusted in the overlapping area
  • the camera image with high luminance is preferentially combined and is easily seen, and the aimed effect is obtained. It may not be obtained.
  • the boundary portion of the rectangle may be noticeable as a break depending on the blend ratio.
  • the brightness contrast sensation varies depending on the age of the driver. Therefore, in a third embodiment, a method for correcting the luminance of a plurality of cameras, a correction of the boundary portion of the overlapping area, and a contrast adjustment method will be described.
  • FIG. 18 is a diagram for explaining that the brightness adjustment is performed by dividing the camera image into areas.
  • the image detection unit 106 performs luminance histogram calculation and gradation centroid calculation as the image feature amount, and the image conversion unit 105 performs image quality adjustment processing such as gradation adjustment according to the detection result.
  • the bird's-eye view images of the cameras 201, 202, 203, and 204 installed in the vehicle 200 are each divided into three parts.
  • partial images E1 to E3, for the camera 202, partial images F1 to F3, and for the camera 203 The partial images G1 to G3 and the camera 204 are divided into partial images H1 to H3.
  • the partial image E1 of the camera 201 and the partial image F1 of the camera 202 correspond to the overlapping area 1800.
  • the partial image E3 of the camera 201 and the partial image H1 of the camera 204 correspond to the overlapping area 1801
  • the partial image F3 of the camera 202 and the partial image G1 of the camera 203 correspond to the overlapping area 1802, and the overlapping area 1803.
  • luminance histograms of the partial image E1 and the partial image F1 in the overlapping area 1800 are denoted by 1811 and 1812, respectively.
  • a difference in brightness may occur.
  • the camera 202 on the opposite side takes a shadow of the vehicle, and the partial image F2 becomes darker than the other images.
  • the images F1 to F3 of the camera 202 are affected by the white balance adjustment of the camera, the brightness of the image F2, and the like, and the images F1 and F3 are darker than the other camera images E1 and G1 shooting the same area. turn into.
  • the brightness histograms 1811 and 1812 of the images E1 and F1 which are the overlapping area 1800, are calculated and the gradation centroids are matched, so that the apparent brightness can be adjusted to some extent.
  • a method of matching the gradation gravity center of the luminance histogram will be described with reference to FIG. In this way, the brightness of a plurality of camera images is adjusted, and there are various methods for this.
  • the luminance histograms of two corresponding images are calculated, and the luminance adjustment is performed so that the gradation centers of gravity are matched. Thereafter, brightness adjustment is performed on the intermediate images E2, F2, G2, and H2 sandwiched between the overlapping areas so that the adjustment results in the respective overlapping areas are connected by gradation.
  • a value close to the adjustment result of the area 1800 is set at a position close to the area 1800
  • a value close to the adjustment result of the area 1802 is set at a position close to the area 1802.
  • the luminance adjustment of the front side image E2 and the rear side image G2 may be performed so that the gradation centroids of the luminance histograms are matched, and the luminance adjustment of the image of each superimposed area may be performed so as to match the adjustment result.
  • the brightness adjustment is performed so that the adjustment results of the respective overlapping areas are connected by gradation.
  • These adjustment procedures may be switched according to the luminance histogram of each image. For example, when the luminance difference between the image E2 and the image F2 is larger than a predetermined threshold, the luminance of the E2 and F2 is adjusted first, and then the other images are adjusted. In this way, by switching the adjustment order according to the situation, it is possible to avoid that the luminance difference between the adjacent images is enlarged and adjustment is necessary again as a result of simply adjusting the adjacent images sequentially.
  • the bird's-eye view image of each camera is divided into three, but without dividing, the histogram distribution of the entire image of each camera may be calculated and used.
  • the luminance histogram of the entire image E1 to E3 of the camera 201 and the luminance histogram of the entire image F1 to F3 of the camera 202 are calculated and the gradation centroids thereof are matched, whereby the luminance of the images E1 to E3 and F1 to F3 is adjusted. Adjustments may be made.
  • the brightness of the image is estimated from the distribution of the brightness histogram, but the average brightness, maximum brightness, minimum brightness, etc. of the image may be used.
  • the average luminance of the image it is not suitable for fine control, but the processing load can be reduced.
  • the luminance adjustment has been described, the average and center of gravity of the Y, Cb, and Cr values of the YCbCr signal are adjusted, the gradation distribution of each of the RGB signals is adjusted, and the level of each element in the HSV color space. It may be adjusted by adjusting the tone distribution. By using not only the brightness but also the color information, the color misregistration of multiple cameras can be corrected.
  • FIG. 19 is a diagram showing a method of matching the gradation centroid of the luminance histogram.
  • the luminance adjustment of the overlapping area 1800 is performed by matching the gradation centroid of the image F1 of the camera 202 with the gradation centroid of the image E1 of the camera 201.
  • a graph 1900 on the right side shows a conversion formula of output luminance with respect to input luminance, and is a broken line-like solid line.
  • the broken line is a straight line with a slope of 1 and the input and output are equal.
  • the gradation center of gravity of the image F1 is adjusted using this conversion formula.
  • the gradation centroid of the histogram 1812 may be shifted leftward by the correction amount h.
  • This operation performs conversion for reducing the output luminance by the correction amount h with respect to the input luminance at the gradation gravity center of the histogram 1812 on the input / output graph. If the brightness of only one point is reduced, an unnatural image is obtained. Therefore, in this example, the brightness is continuously reduced including its periphery.
  • the pixel group having the luminance near the gradation centroid of the histogram 1812 of the image F1 is converted into a pixel group whose luminance is small by h, and can be matched with the gradation centroid of the histogram 1811 of the image E1. That is, the apparent brightness of the image F1 can be brought close to the brightness of the image E1.
  • FIG. 20 is a diagram showing a method for adjusting the brightness of the area sandwiched between the overlapping areas.
  • description will be given by taking the overhead images F1 to F3 of the camera 202 as an example.
  • the luminance histogram of the image E1 and the image F1 is calculated, and the difference h1 between the gradation centers of gravity of both is corrected using the input / output graph 2001.
  • the brightness-adjusted image F1 ' is obtained.
  • the luminance histogram of the image F3 and the image G1 is also calculated for the overlap area 1802, and the difference h3 between the gradation centers of gravity of both is corrected using the input / output graph 2003.
  • an image F3 'whose brightness has been adjusted is obtained.
  • This example shows a case where the correction directions of the image F1 and the image F3 are reverse directions, and the conversion formulas of the input / output graphs 2001 and 2003 are also reversed in the vertical direction.
  • the brightness adjustment of the image F2 sandwiched between the images F1 'and F3' after the adjustment of the two overlapping areas 1800 and 1802 is performed.
  • the coordinate axis z is taken in the direction from the front side to the rear side of the image F2.
  • the gradation centroid of the image F1 is X1
  • the correction amount is h1
  • the gradation centroid of the image F3 is X3
  • the correction amount is h3
  • the luminance adjustment of the image F2 is performed.
  • FIG. 21 is a diagram showing a composition method in the surrounding area in the overlapping area.
  • a rectangular boundary portion may be conspicuous as a break depending on the blend ratio.
  • the synthesis process is performed at the center of the overlap area at the blend ratio described above, but the surrounding portion in the overlap area is combined with a gradient so as to be smoothly connected to the image of the area adjacent to the overlap area.
  • two peripheral portions 2101 and 2102 in the overlapping area 1800 of FIG. 18 will be described.
  • the upper peripheral portion 2101 in the overlapping area 1800 is close to the front camera 201 in FIG. 18 and is strongly connected to the partial image E2. Therefore, the composition ratio is decreased from the predetermined blend ratio with a gradient, and is connected to the partial image E1 of the camera 201 at the boundary position where the composition ratio becomes zero.
  • the left peripheral portion 2102 in the overlapping area 1800 is close to the side camera 202 and is strongly connected to the partial image F2. Therefore, the composition ratio is decreased with a gradient from a predetermined blend ratio so that the composition ratio is connected to the partial image F1 of the camera 202 at the boundary position where the composition ratio becomes zero.
  • the overlapping area 1800 can be seen naturally without any breaks in the joints between the adjacent images E2 and F2.
  • the surroundings can be smoothly synthesized.
  • FIG. 22 is a diagram for explaining a difference in sense of luminance contrast depending on age.
  • a person in their 20s feels a large contrast between the letter “C” and the surroundings as in contrast 2201, while a person in their 70s sees “C” as in contrast 2202.
  • Experimental results have been reported in the field of ergonomics that the contrast between the characters and the surroundings is not felt so much (Standardization of Accessible Design Technology (AIST): Non-patent literature).
  • AIST Accessible Design Technology
  • the blend rate is determined by the slope calculation formula of FIG. 5A.
  • the blend rate is determined using a calculation formula with a large gradient as shown in FIG. 5B.
  • the image conversion unit 105 may perform processing for switching the strength of contrast enhancement processing according to age.
  • the image feature amounts Q1 and Q2 may be calculated for each pixel position, and the blend ratios P1 and P2 may be calculated for each pixel position. Further, Q1 and Q2 may be calculated in the entire overlapping area, and P1 and P2 calculated based on the calculated Q1 and Q2 may be used as a uniform blend ratio. Further, the synthesis result may be synthesized after performing processing for further enhancing and expressing the contrast, or may be subjected to contrast enhancement processing after the synthesis. Further, as the side cameras 202 and 204, a bird's-eye view image may be generated using a digital mirror obtained by digitizing a vehicle side mirror.
  • FIG. 23 is a diagram illustrating the blend amount change amount limitation.
  • the vertical axis represents the blend ratio (P1 or P2) of one of the two camera images, and the horizontal axis represents time.
  • the time on the horizontal axis is expressed by the number of frame periods, where one scale is one frame period.
  • the difference (change amount) from the result immediately before the blend rate calculation process to the result of the next calculation process is limited to a predetermined range.
  • An example in which this is applied is shown by a solid line in FIG. 23, and d in the figure is a limit amount of change.
  • the limit amount d is set to 10% of the previous blend rate. That is, the change in the blend rate during one frame period is limited to within 10% of the previous blend rate. For example, when the blend rate normally calculated by the calculation method described in each embodiment is smaller than 90% of the blend rate calculated immediately before, 90% of the blend rate calculated immediately before is set as the new blend rate.
  • the blend rate is calculated for each frame.
  • the blend rate may be calculated for each field, or once for a predetermined number of frames.
  • 100 Image processing apparatus, 101: n cameras, 102: Decoding unit, 103: Bus 104: CPU, 105: Image conversion unit, 106: an image detection unit, 107: Memory section 108: Encoding part, 109: Monitor, 200: vehicle, 201: Front camera, 202: Left side camera, 203: Rear camera 204: Right side camera, 205: Pedestrian 300, 302, 305, 307: overlap area, 1300: Vehicle information acquisition unit.

Abstract

　立体物（障害物）が見易くより自然な合成画像を生成すること。画像検出部１０６は、各カメラ１０１の画像から画像特徴量を抽出する。画像変換部１０５は、画像特徴量に応じてブレンド率を算出し複数のカメラ画像が重なる重畳エリアの画像を合成する。重畳エリアにおける各画像の画像特徴量の相関を判定し、相関が弱い場合には立体物が存在すると判断する。さらに各画像の画像特徴量が位置的に重なる部分がある場合には、立体物は重畳エリア内に存在すると判断する。その場合は、画像特徴量が大きい方の画像のブレンド率を大きく設定して画像合成する。

Description

画像処理システム及び画像処理方法
　本発明は、複数のカメラからの撮影画像を合成する画像処理システム及び画像処理方法に関する。
　車両運転支援のため、車両の前方、後方、左右両側にそれぞれ設置された複数のカメラで車両の周囲を撮影し、これらの撮影画像に視点変換を施し、各画像を繋ぎ合せることで、車両周囲の俯瞰画像を作成する表示する画像処理システムが利用されている。その際、隣り合うカメラが撮影する領域は、その繋ぎ目において互いに重複しているが、従来は、表示に使用する撮影画像をある基準に従って選択することで、１つの俯瞰画像を作成していた。しかし、この手法では、繋ぎ目において不連続性が生じてしまい、さらに、繋ぎ目付近に歩行者や障害物が存在する場合には、認識し難い状況になってしまう問題がある。
　この問題の対策として、特許文献１には、複数の画像が重なる領域では、画素を一定の規則に従って交互に配置する手法が開示されている。また特許文献２には、俯瞰表示画像の繋ぎ目部分に障害物が存在するかを判断して、俯瞰画像の繋ぎ目部分となる位置を変化させる手法が開示されている。また特許文献３には、２つのカメラによる被写界像が重なるエリアに立体物がある場合は、当該立体物の画像について、合成画像に一方のカメラによる画像のみが残るように、当該エリアにおける２つのカメラによる被写界像を合成する境界線を設定する手法が開示されている。また特許文献４には、特許文献３同様の境界線を設定する手法、及び２つのカメラによる被写界像が重なるエリアに障害物がある場合、一方のカメラによる障害物の画像の合成重み付けを１、他方のカメラによる障害物の画像の合成重み付けを０とし、それぞれのカメラによる画像のうち障害物以外の部分は重み付け０．５とし、これらを合成する手法が開示されている。
特開２００２－３５４４６８号公報 特開２００７－４１７９１号公報 ＷＯ２０１０／１１９７３４号公報 特開２００９－２８９１８５号公報
　特許文献１の手法では、２つのカメラで撮影した画像の画素を交互に配置しているため、画像が不鮮明になることや立体物が二重像として表示されるという課題がある。また、特許文献２の手法では、繋ぎ目部分を移動させるが、繋ぎ目が撮影範囲の端部では、新たに作成した繋ぎ目の画像切り換わりが不連続な繋がりになってしまうという課題がある。特許文献３及び特許文献４における境界線を設定する手法でも、同様に、境界線部分における画像の切り替わりが不連続となってしまうという課題がある。また、特許文献４における重み付けの合成手法では、障害物の画像部分については、一方のカメラの画像の重み付けを０か１かの２値で選択する手法のみしか開示されていない。この手法では、障害物の画像と背景画像の分離処理を失敗すると、非常に不自然な合成画像が生成されることとなる。よって、障害物の画像と背景画像を非常に高い精度で分離する必要があり、処理量の要求やハードウェア能力の要求が高くなり、システムが高価になるという課題がある。
　また、一般的に知られている画像のアルファチャネルを用いて２つの画像を透過させるアルファブレンド手法も考えられるが、単に２つの画像をそれぞれ５０％でアルファブレンドする場合には、コントラストが低下して、輝度や色が薄く見え難くなってしまう課題がある。
　本発明の目的は、立体物（障害物）が見易くより自然な合成画像を生成することで、ユーザにとって使い勝手の良い画像処理システム及び画像処理方法を提供することにある。
　本発明の画像処理システムは、複数のカメラからの撮影画像を合成して俯瞰画像を生成する画像処理システムにおいて、各カメラの画像から画像特徴量を抽出する画像検出部と、抽出した画像特徴量に応じてブレンド率を算出し複数のカメラ画像が重なる重畳エリアの俯瞰画像を合成する画像変換部と、を備え、該画像変換部は、前記重畳エリアにおける各画像の画像特徴量の相関を判定し、相関の強さに応じてブレンドの方法を切り替えて合成することを特徴とする。
　前記画像変換部は、前記重畳エリアにおける各画像の相関が弱いと判定した場合、前記各画像の画像特徴量が位置的に重なる部分があるか否かを判定し、重なる部分の有無に応じてブレンドの方法を切り替えて合成する。そして、前記各画像の画像特徴量が位置的に重なる部分があると判定した場合、前記画像特徴量が大きい方の画像のブレンド率を大きく設定する。
　本発明によれば、立体物（障害物）が見易くより自然な合成画像を生成する、ユーザにとって使い勝手の良い画像処理システムを提供することができる。
実施例１にかかる画像処理システムの構成を示すブロック図である。 車両に設置した複数のカメラで同一の被写体を撮影した画像の例である。 撮影領域のエリア分割と重畳エリアの画像合成の例を示す図である。 重畳エリアにおける画像合成の動作シーケンスである。 図４のＳ４０６におけるブレンド率の算出方法を示す図である。 図４のＳ４０６におけるブレンド率の算出方法を示す図である。 図４のＳ４０６におけるブレンド率の算出方法を示す図である。 図４のＳ４０６におけるブレンド率の算出方法を示す図である。 図４のＳ４０４におけるブレンド率の設定方法を示す図である。 図４のＳ４０４におけるブレンド率の設定方法の他の例を示す図である。 重畳エリアに立体物が存在しない場合の合成画像の例を示す図である。 重畳エリア内に立体物が存在する場合の合成画像の例を示す図である。 重畳エリア外に立体物が存在する場合の合成画像の例を示す図である。 重畳エリア内を歩行者が移動した場合の合成画像の例を示す図である。 動きベクトル情報を用いてブレンド率を算出する方法を説明する図である。 実施例２にかかる画像処理システムの構成を示すブロック図である。 車両情報を利用して画像合成する場合のエリア分割を示す図である。 図１４で分割した各エリアの危険度を分類した表である。 車両情報を利用した重畳エリアにおける画像合成の動作シーケンスである。 危険度を反映した俯瞰画像表示例である。 実施例３として、カメラ画像をエリア分割して輝度調整を行うことを説明する図である。 輝度ヒストグラムの階調重心を合わせる方法を示す図である。 重畳エリアに挟まれたエリアの輝度調整を行う方法を示す図である。 重畳エリア内の周囲部分での合成方法を示す図である。 年齢による輝度コントラストの感覚の違いを説明する図である。 ブレンド率の変化量制限を説明する図である。
　以下、本発明の実施形態について図面を用いて説明する。
　図１は、実施例１にかかる画像処理システムの構成を示すブロック図である。画像処理システムは、車両に搭載された複数（ｎ個）のカメラ１０１で車両周囲の画像を撮影し、画像処理装置１００により各カメラの撮影画像を合成し、モニタ１０９により車両の周囲の俯瞰画像を表示する構成となっている。画像処理装置１００では、各カメラ１０１からの撮影画像データをそれぞれ対応する複数のデコード部１０２にてデコード処理し、バス１０３を介してメモリ部１０７に蓄積する。
　画像変換部１０５は、メモリ部１０７に蓄積された各カメラ１０１からの撮影画像データの合成処理を行い、車両の周囲の俯瞰画像を生成する。すなわち、広角のカメラ画像に対して、レンズの歪補正処理や透視変換処理を行いカメラ毎の俯瞰画像を作成し、それらの俯瞰画像の切り出しや合成、アルファブレンド処理し、車両の周囲全体の俯瞰画像を生成する処理を行う。画像検出部１０６は、撮影画像データに対し、エッジ抽出、輪郭抽出、ガウシアン処理、ノイズ除去処理、閾値処理などを行い、道路に描かれた白線や障害物、歩行者などの有無、写っている面積の大きさの検出処理を行う。エンコード部１０８は、生成された俯瞰画像のエンコード処理を行い、ＣＰＵ１０４は上記各部の動作を制御する。
　画像処理装置１００から出力された俯瞰画像データは、モニタ１０９にて表示される。モニタ１０９はその種類を限定するものではなく、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、ＬＣＯＳ（Liquid Crystal On Silicon）、ＯＬＥＤ（Organic light-emitting diode）、ホログラフィック光学素子やプロジェクタ装置など任意である。また、車内に設置しても車外に設置しても良く、平面型のモニタのみでなくＨＵＤ（Head-Up Display）、ＨＭＤ（Head Mounted Display）などを利用しても良い。
　このように画像処理装置１００では、複数のカメラで撮影した画像を利用して、障害物や歩行者を検出し、検出結果に従って、画像に写っている障害物や歩行者が見易いように各カメラ画像の俯瞰画像を合成し、車両の全周囲の俯瞰画像を生成するものである。
　本実施例の画像処理システムは、画像処理装置１００と複数のカメラ１０１とモニタ１０９を含む構成としたが、カメラ１０１とモニタ１０９のいずれか、あるいは両方が外部装置としてシステム外に接続される構成でも良い。
　また本実施例では、車両の周囲の俯瞰画像の生成に関して記載しているが、これ以外の用途として、複数の監視カメラからの撮影画像を合成して監視対象領域の俯瞰画像を作成する場合にも適用できる。
　図２は、車両に設置した複数のカメラで同一の被写体を撮影した画像の例である。車両２００には、前方カメラ２０１、左サイドカメラ２０２、後方カメラ２０３、右サイドカメラ２０４が設置されており、車両２００の左斜め前方に歩行者２０５が歩いて来た状況を示している。この状況を、前方カメラ２０１で撮影した画像が２０６であり、左サイドカメラ２０２で撮影した画像が２０７である。本例では、それぞれのカメラは斜め下を向いており、画像２０６、２０７には、歩行者２０５の足の部分２０５ａ、２０５ｂが写っている。
　撮影角度が異なるため、前方カメラ２０１で撮影した画像２０６には、前方カメラ２０１から出ている矢印の方向に伸びた足２０５ａが撮影されている。一方左サイドカメラ２０２で撮影した画像には、左サイドカメラ２０２から出ている矢印の方向に伸びた足２０５ｂが撮影されている。つまり、同じ被写体である歩行者２０５を撮影しているが、カメラの撮影位置の違いにより、異なる向きの足２０５ａ、２０５ｂが撮影される。これは、被写体である歩行者２０５が立体物であるために生じる現象である。被写体が立体物でなく道路上に描かれた平面状の絵柄の場合には、画像２０６と２０７には同じ絵柄で撮影され、位置を合わせれば重なることになる。つまり、異なる方向から同一の被写体を撮影しているとき、２つの画像内に異なる方向に伸びる物体が検出される場合には、立体物が存在していると判定できる。本実施例ではこの性質を利用して、複数のカメラ画像の重なる部分をより見易くなるようブレンド処理するようにした。
　図３は、撮影領域のエリア分割と重畳エリアの画像合成の例を示す図である。車両２００の周囲を、８つのエリア３００～３０７に分割している。カメラ２０１で撮影されるエリアは３００、３０１、３０２で、カメラ２０２で撮影されるエリアは３００、３０３、３０５である。他のエリアもカメラ２０３、２０４に対して同様に決められる。
　まず、撮影画像に対し、画像端部に生じるレンズ歪の補正処理と、奥行きの距離に応じて拡大率を変化させる透視変換を行う。これにより、例えば図２の画像２０６から、図３の各エリア３００、３０１、３０２に渡る俯瞰画像を作成する。同様に図２の画像２０７から、図３の各エリア３００、３０３、３０５に渡る俯瞰画像を作成する。
　この場合、エリア３００はカメラ２０１とカメラ２０２の画像が重なるエリアであり、以後、「重畳エリア」と呼ぶことにする。他のエリア３０２、３０５、３０７も２つのカメラ画像が重なる重畳エリアである。もし、地面に突起物（立体物）がなく平面である場合には、同じエリアの画像は同一であり重なることになる。つまり、重畳エリアとは、複数のカメラ画像から俯瞰画像を作成した際に、地面上の同じ位置が撮影されるエリアを意味する。
　重畳エリアにおける画像を表示する場合、２つの画像からいずれかを選択して表示する方法と、両者をブレンド処理して合成し表示する方法が可能である。その際、重畳エリアに立体物が存在する場合に一方の画像のみを選択して表示すると、合成画像の繋ぎ目付近で画像が切れてしまい、写らない部分（画像消失）が発生してしまう恐れがある。そこで、図３に示すように、重畳エリア３００に立体物（歩行者）が存在する場合には、立体物である歩行者の足２０５ａ，２０５ｂをブレンド処理を行って表示するようにした。これにより、立体物の画像の一部が消失することを回避できる。
　図４は、重畳エリアにおける画像合成の動作シーケンスである。例として、カメラ１（２０１）とカメラ２（２０２）の重畳エリア３００での画像を合成する場合を想定する。
　Ｓ４０１では、画像検出部１０６により、カメラ１画像内の重畳エリアにおける撮影画像の特徴量を抽出し、そこに存在する物体を検出する。その際、エッジなどが多い部分やラプラシアンフィルタやＳｏｂｅｌフィルタなどによる輪郭抽出、二値化処理、色情報、ヒストグラム情報や各種パターン認識処理などにより画像特徴量を抽出する。そして、エッジや輪郭が抽出できた画素の位置やそのエッジの輝度の高さなどの画像特徴量Ｑ１を、メモリ部１０７に記憶する。特徴量としては、ＳＩＦＴ（Scale-Invariant Feature Transform）やＨＯＧ（Histograms of Oriented Gradients）などによる画像の特徴量を利用しても良い。また、ＨＯＧ特徴量と歩行者の形の特徴量を組合せて、抽出できた特徴情報が歩行者であるか物であるかを選別しても良い。そして、歩行者であるか物であるかによって、コントラスト強調処理や危険度表示などの仕方を切り換えれば、ユーザ（運転者）に対しより使い勝手の良い情報を提供できる。
  Ｓ４０２では、同様に、カメラ２画像内の重畳エリアにおける撮影画像の特徴量から、そこに存在する物体を検出し、抽出した画像特徴量Ｑ２をメモリ部１０７に記憶する。
　Ｓ４０３では、Ｓ４０１、Ｓ４０２で抽出した画素の位置や特徴量Ｑ１，Ｑ２の相関の強さを判定する。つまり、検出した物体の画素位置が一致またはある範囲内に集まっているか、特徴量の差分がある範囲内であるかを計算により判定する。これは、統計的な処理やクラスタリング処理を行うことで、空間的な距離関係や意味的な距離関係の相関を判定する。
　Ｓ４０３において相関が強いと判定した場合（Ｙｅｓ）には、立体物は存在しないものと判断してＳ４０４に進む。Ｓ４０４では、カメラ１とカメラ２の画像をある固定のブレンド率により合成する。この場合、カメラ１またはカメラ２のいずれかの画像を選択して利用することも可能だが、もしも繋ぎ目付近に立体物があった場合には、その画像が消失してしまう恐れがある。よってブレンド方式とするのが好ましい。Ｓ４０４で合成した俯瞰画像は、Ｓ４１０でモニタ１０９に出力する。
　Ｓ４０３において相関が弱いと判定した場合（Ｎｏ）には、重畳エリアに立体物が存在する可能性があるとしてＳ４０５に進む。Ｓ４０５では、カメラ１とカメラ２の画像特徴量Ｑ１、Ｑ２は位置的に重なる部分があるか否かを判定する。
　Ｓ４０５において画像特徴量は位置的に重なる部分があると判定した場合（Ｙｅｓ）は、重畳エリアに立体物そのものが存在していることを意味しており（図９で後述）、Ｓ４０６に進む。Ｓ４０６では、それぞれのカメラから抽出できる特徴量の値Ｑ１，Ｑ２に応じてブレンド率を算出する。Ｓ４０７では、Ｓ４０６で算出したブレンド率で重畳エリアの画像の合成を行い、Ｓ４１０でモニタ１０９に俯瞰画像を出力する。
　Ｓ４０５において画像特徴量は位置的に重なる部分がないと判定した場合（Ｎｏ）は、重畳エリア自体には立体物はなく、特徴が抽出できた（物体が検出できた）方のカメラ画像に、周囲に存在する立体物が写り込んでいることを意味しており（図１０で後述）、Ｓ４０８に進む。Ｓ４０８では、特徴が抽出できた（物体が検出できた）方のカメラ画像を選択する。Ｓ４０９では、Ｓ４０８で選択したカメラ画像から俯瞰画像を合成し、Ｓ４１０でモニタ１０９に出力する。この場合も、誤検出により繋ぎ目付近での画像の消失を回避するために、特徴が抽出できたカメラ画像のブレンド率を優先してブレンド処理を行い、俯瞰画像を合成しても良い。
　上記した動作シーケンスでは、複数カメラで撮影された重畳エリアにおいて、異なる方向から撮影されたカメラ画像の画像特徴量を抽出しこれらの相関性を判定することで、道路に描かれた平面状の模様と立体物とを区別できる。また立体物が存在する場合は、特徴量の位置的な重なりを判定し、立体物が重畳エリア内に存在するのか、重畳エリア外に存在するのかを判別できる。そして、それぞれの状態に合わせて、俯瞰画像の合成時のブレンド率を変化させることで、良好な俯瞰画像が得られる。
　図５Ａ、図５Ｂ、図５Ｃおよび図５Ｄは、図４のＳ４０６におけるブレンド率の算出方法を示す図である。カメラ１、カメラ２で撮影された重畳エリアの特徴量Ｑ１，Ｑ２にもとづいて、それぞれのカメラ画像を合成するブレンド率を算出する。横軸は、画像検出部１０６により検出されたそれぞれのカメラ画像の特徴量の割合をとり、縦軸はそれぞれのカメラ画像のブレンド率Ｐ１，Ｐ２を示している。カメラ画像の特徴量の割合は、以下のように求める。まず、カメラ１画像の特徴量Ｑ１に所定の演算を行なった結果をＦ（Ｑ１）とする。同様のカメラ２画像の特徴量Ｑ２に所定の演算を行なった結果をＦ（Ｑ２）とする。カメラ１画像の特徴量の割合は、Ｆ（Ｑ１）／（Ｆ（Ｑ１）＋Ｆ（Ｑ２））と算出する。同様に、カメラ２画像の特徴量の割合は、Ｆ（Ｑ２）／（Ｆ（Ｑ１）＋Ｆ（Ｑ２））と算出する。所定の演算Ｆについては、以降の図５Ａの説明において詳細に説明する。
　図５Ａの場合、ブレンド率の算出式は特徴量の割合に対して勾配１のグラフとしている。よって、カメラ１画像のブレンド率Ｐ１およびカメラ２画像のブレンド率Ｐ２は、
      Ｐ１＝Ｆ（Ｑ１）／（Ｆ（Ｑ１）＋Ｆ（Ｑ２））
      Ｐ２＝Ｆ（Ｑ２）／（Ｆ（Ｑ１）＋Ｆ（Ｑ２））
で求める。
　ここで、所定の演算Ｆについては、様々な演算が可能である。図５Ａの例では、立体物がある可能性の高い画像について、演算結果の値が大きくなる場合について説明する。例えば、重畳エリア内で所定の閾値以上の画像特徴量を有する画素数をカウントするという演算を行う。この場合は、カメラ１画像またはカメラ２画像のそれぞれの重畳エリア内における立体物の画像が占める大きさを、ブレンド率を可変する要素とすることができる。また、カメラ１画像またはカメラ２画像の重畳エリア内の画素の画像特徴量の総和、平均、加重平均、重心、中心値を算出するなどの演算も可能である。この場合は、重畳エリア内における立体物の画像が占める大きさのみならず、特徴量の値の大きさもブレンド率を可変する要素とすることができる。または、ブレンド率を画素毎に決定することもできる。この場合は、Ｆ（Ｑ１）として対象画素におけるＱ１そのものを用い、Ｆ（Ｑ２）として対象画素におけるＱ２そのものを用いてもよい。図５Ａの場合には、Ｆ（Ｑ１）とＦ（Ｑ２）を比較してその値の大きい方の画像のブレンド率が大きく設定されることになる。
　図５Ｂの場合も、図５Ａと同様に、カメラ１画像の特徴量Ｑ１に所定の演算を行なった結果Ｆ（Ｑ１）と、カメラ２画像の特徴量Ｑ２に所定の演算を行なった結果Ｆ（Ｑ２）とを用いて、カメラ１画像のブレンド率Ｐ１、カメラ２画像のブレンド率Ｐ２を算出する例である。図５Ｂは図５Ａと同様に、ブレンド率特徴量の割合を連続的に変化させるものであるが、「特徴量の割合」が０．５に近い部分で、ブレンド率の変化の勾配を図５Ａよりも大きくしたものである。このようなブレンド率の算出方法により、「特徴量の割合」が変化する際にブレンド率が穏やかに切り替わりながらも、より特徴がある画像（立体物がある可能性の高い画像）のコントラストを強調することが可能となる。これにより、立体物がある可能性が比較的高い画像を、ユーザがより認識しやすくなるという効果がある。
　また、図５Ｃの場合も図５Ａと同様に、カメラ１画像の特徴量Ｑ１に所定の演算を行なった結果Ｆ（Ｑ１）と、カメラ２画像の特徴量Ｑ２に所定の演算を行なった結果Ｆ（Ｑ２）とを用いて、カメラ１画像のブレンド率Ｐ１、カメラ２画像のブレンド率Ｐ２を算出する例である。図５Ｃもブレンド率特徴量の割合を連続的に変化させるものである。しかし図５Ｃでは、「特徴量の割合」が所定の大きさ以上になった場合は、そのカメラの画像のブレンド率を１とし、「特徴量の割合」が所定の大きさ以下になった場合は、そのカメラの画像のブレンド率を０とする。このようなブレンド率の算出方法により、「特徴量の割合」が変化する際にブレンド率が穏やかに切り替わりながらも、より特徴がある画像（立体物がある可能性の高い画像）のコントラストをさらに強調することが可能となる。立体物がある可能性が比較的高い画像を、ユーザがさらに認識しやすくなるという効果がある。
  なお、図５Ｂおよび図５Ｃでは線形のグラフを利用したが、視覚特性に合わせたＬＯＧ曲線のグラフを利用すれば、より見易い表示とすることができる。
　また図５Ｄは、「特徴量の割合」が変化する際に、ブレンド率が段階的に切り替わるように設定した場合である。この場合切り替え段階の数が多いほどブレンド率の切り替えがより穏やかとなる。図５Ｄの例では、図５Ａの直線を階段状に変更した折れ線に近いが、それぞれの切り替えにおけるブレンド率の変化量に差をつければ、図５Ｂに近い折れ線や、図５Ｃに近い折れ線の特性とすることも可能である。以上説明したように、「特徴量の割合」の変化に応じてブレンド率を段階的に切り替えるような、「特徴量の割合」の変化に対するブレンド率の変化が不連続であっても、本発明の一実施の態様となりうる。
　なお、図５Ａ、図５Ｂ、図５Ｃ、図５Ｄのいずれにおいても、立体物がある可能性の高い画像について、演算結果の値が大きくなる場合を説明したが、立体物がある可能性の高い画像ほど、演算結果の値が小さくなるような演算Ｆであってもよい。その場合は、図５Ａ、図５Ｂ、図５Ｃ、図５Ｄのグラフを右肩上がりから、右肩下がりに適宜変更すればよいだけであり、この場合も本発明の一実施の態様となりうる。
　このように、図５Ａ、図５Ｂ、図５Ｃ、図５Ｄの例では、特許文献４に開示される手法とは異なり、立体物の部分の画像についても、ブレンド率は１と０以外の多数の値をとることができる。これにより、立体物の部分は、立体物がある可能性の高さに応じてより自然に合成することが可能となる。
　また、ブレンド率は、重畳エリア全体または画素単位で算出し、重畳エリア全体または画素単位での合成処理に用いている。よって、重畳エリア内において、特許文献３および特許文献４に開示される境界線のような不自然な画像の接合部分が生じることも防止でき、より自然な合成画像を生成することが可能となる。
　図６は、図４のＳ４０４におけるブレンド率の設定方法を示す図である。これは、画像検出部１０６の誤検出で繋ぎ目付近の物体が消失してしまうのを防ぐ目的で、画素毎にある固定のブレンド率を設定して合成する手法である。よって、Ｓ４０９の処理にも適用できる。
　図６において、左斜め前の重畳エリア３００を例に説明する。重畳エリア３００を扇状に分割し、各分割エリアａ１～ａ７毎に、前方カメラ２０１の画像のブレンド率Ｐ１と、左サイドカメラ２０２の画像のブレンド率Ｐ２のブレンド率を固定で設定する。例えば、エリアａ１では前方カメラ２０１側に最も近いので、カメラ２０１の画像のブレンド率Ｐ１＝０．９、カメラ２０２の画像のブレンド率Ｐ２＝０．１とする。これに隣接するエリアａ２では、Ｐ１＝０．８、Ｐ２＝０．２とする。逆に、エリアａ７では左サイドカメラ２０２側に最も近いので、Ｐ１＝０．１、Ｐ２＝０．９とする。このように、カメラ２０１に近いほどカメラ２０１の画像を優先し、カメラ２０２に近いほどカメラ２０２の画像を優先してブレンド率を設定する。これにより、それぞれの分割エリアでは近いカメラからの画像が強調してブレンドされるので、より見易い画像が作成できる。さらに各分割エリアにおいて、各カメラ画像の特徴量に応じて、ブレンド率を調整しても良い。
　図７は、図４のＳ４０４におけるブレンド率の設定方法の他の例を示す図である。重畳エリア３００内のある画素位置Ｃから、車両２００に設置されているカメラ２０１とカメラ２０２までの距離をｄ１，ｄ２とする。そして、距離ｄ１，ｄ２の比に応じて固定のブレンド率を設定する。すなわち、カメラ２０１に近い距離にある画素位置（つまりｄ１＜ｄ２）では、カメラ２０１の画像のブレンド率を高く設定する。例えば、カメラ２０１の画像のブレンド率Ｐ１とカメラ２０２の画像のブレンド率Ｐ２を、
      Ｐ１＝ｄ２／（ｄ１＋ｄ２）
      Ｐ２＝ｄ１／（ｄ１＋ｄ２）
で与える。
　ただし、カメラに近すぎる位置ではピントずれや歪が大きくなっている可能性が高いので、距離が遠い方のカメラを優先するようブレンド率を修正するのが好ましい。すなわち、接近限界閾値をｄｔｈ（ただし、ｄ１最小値≦ｄｔｈ≦ｄ１最大値）としたとき、ｄ１＜ｄ２かつｄ１＜ｄｔｈとなる位置では、近いカメラ２０１画像のブレンド率Ｐ１を低くするように修正する。例えば、上記設定したブレンド率Ｐ１，Ｐ２を入れ替えて、
      Ｐ１＝ｄ１／（ｄ１＋ｄ２）
      Ｐ２＝ｄ２／（ｄ１＋ｄ２）
として与える。これにより、カメラから近過ぎる位置で発生するピントずれや歪は、軽減して表示される効果がある。
　図８は、重畳エリアに立体物が存在しない場合の合成画像の例を示す図である。図４のＳ４０３の判定で、２つカメラ画像の画像特徴量の相関が強い場合である。カメラ１とカメラ２の重畳エリアにおいて、カメラ１の画像８０１には、カメラ１で撮影した道路や駐車場等に平面状に描かれている白線８０３が写っている。カメラ２の画像８０２には、カメラ２で撮影した道路や駐車場等に描かれている白線８０４が写っている。同一の重畳エリアを撮影しているため、そのエリアに立体物が存在しなければ同じ画像になっている。この場合、Ｓ４０４の処理を行い、２つのカメラからの画像８０１，８０２を固定のブレンド率で合成するか、一方の画像を選択して俯瞰画像を合成する。その結果、１つの白線８０６が写った合成画像８０５が生成される。
　図９は、重畳エリア内に立体物が存在する場合の合成画像の例を示す図である。図４のＳ４０３の判定で、２つのカメラ画像の画像特徴量の相関が弱い場合である。カメラ１とカメラ２の重畳エリアにおいて、カメラ１の画像９０１には、カメラ１で撮影した歩行者の足９０３が写っている。カメラ２の画像９０２には、カメラ２で撮影した歩行者の足９０４が写っている。同一の重畳エリアを撮影しているが、立体物である歩行者がそのエリア内に存在するため、歩行者の足９０３，９０４は異なる方向に伸びている。
　さらに図４のＳ４０５の判定では、両者の画像特徴量には位置的に重なる部分９０８が存在するので、立体物は重畳エリア内に存在する。この場合、Ｓ４０６の処理を行い、カメラ１の画像９０１とカメラ２の画像９０２のブレンド率を算出し、Ｓ４０７ではそのブレンド率で画像を合成する。その結果、歩行者の足９０６、９０７がそれぞれのブレンド率に従って合成された画像９０５が生成される。
　図１０は、重畳エリア外に立体物が存在する場合の合成画像の例を示す図である。図４のＳ４０３の判定で、２つのカメラ画像の画像特徴量の相関が弱い場合である。カメラ１とカメラ２の重畳エリアにおいて、カメラ１の画像１００１には、カメラ１で撮影した歩行者の足１００３が写っている。カメラ２の画像１００２には、カメラ２で撮影した画像が写っているが、歩行者の足に相当するものは存在しない。これは、重畳エリア内には何も存在しないが、カメラ１の近くには歩行者（立体物）が存在して、それがカメラ１の画像１００１に物体１００３として写り出されたものである。一方、カメラ２の画像１００２の付近には何も存在しないため、何も写っていない。
　さらに図４のＳ４０５の判定では、両者の画像特徴量には位置的に重なる部分が存在しないので、立体物は重畳エリア外に存在すると判断する。この場合、Ｓ４０８の処理を行い、物体１００３が写っているカメラ１の画像１００１を選択し、Ｓ４０９では、カメラ１の画像１００１を優先して画像を合成する。その結果、カメラ１で撮影された歩行者の足１００５の存在する合成画像１００４が生成される。
　図１１は、重畳エリア内を歩行者が移動した場合の合成画像の例を示す図である。歩行者がカメラ１とカメラ２の重畳エリア１１００の場所を左側から右方向に歩いて行く場合、重畳エリア１１００における歩行者の合成画像を時系列に並べている。画像合成の際、図４のＳ４０６に従い画像特徴量に応じてブレンド率を設定している。
　時刻ｔ１では、カメラ１で撮影された歩行者の足１１０１とカメラ２で撮影された歩行者の足１１０２を合成するが、それらのブレンド率を画像特徴量（例えば足の写っている面積）に応じて決定し、カメラ１側をＰ１＝０．８、カメラ２側をＰ２＝０．２で合成する。このようにブレンド率を設定することで、歩行者の足の面積が大きく写っている側、すなわちカメラ１で撮影された足１１０１がくっきり表示される。
  時刻ｔ２では、カメラ１で撮影された足１１０３とカメラ２で撮影された足１１０４の画像特徴量（面積）は同程度となり、ブレンド率は共に等しくＰ１＝Ｐ２＝０．５で合成する。
　時刻ｔ３では、カメラ１で撮影された足１１０５よりもカメラ２で撮影された足１１０６の画像特徴量の方がやや大きくなり、ブレンド率はカメラ１側をＰ１＝０．３、カメラ２側をＰ２＝０．７で合成する。
  時刻ｔ４では、カメラ１で撮影された足１１０７よりもカメラ２で撮影された足１１０８の画像特徴量の方がはるかに大きくなり、ブレンド率はカメラ１側をＰ１＝０．１、カメラ２側をＰ２＝０．９で合成する。その結果、足の面積が大きく写っているカメラ２で撮影された足１１０８がくっきり表示される。
　このように、２つのカメラで同一の物体が撮影されているとき、画像特徴量の相対的な比率に応じてブレンド率を設定することにより、面積がより大きく写っている方の画像のコントラストを大きくした画像を生成できる。
　上記の例では、時刻ｔ２において、画像特徴量が同程度になるため、ブレンド率を等しくＰ１＝Ｐ２＝０．５としたが、この場合両方の輝度が薄くなってしまい視認しにくくなる可能性がある。そこで、ヒステリシスを考慮して、一時刻前にブレンド率が高かった画像を優先して表示する処理を行ってもよい。具体的には、図１１の例では、時刻ｔ２の一時刻前の時刻ｔ１では、Ｐ１の方がブレンド率が大きい。そこで、画像特徴量が同程度である時刻ｔ２の処理では、Ｐ１を優先して、検出した画像特徴量に対して、所定の割合または値を加える、または乗ずる処理を行う。これにより、例えば、ブレンド率をＰ１＝０．６、Ｐ２＝０．４などとして、カメラ１の映像を見易くさせても良い。なお、このとき、前の動きから次の時刻の動きを予測して、Ｐ１＝０．４、Ｐ２＝０．６としても良い。この手法のように、カメラ１とカメラ２で同程度の画像特徴量が検出される場合には、時系列的な特徴量の変化に応じて、２つの映像のブレンド率が等しくなる状況（Ｐ１＝Ｐ２＝０．５）を避けるようにブレンドすることで、両方の画像が薄くなり視認しにくくなる現象を低減できる。
　図１２は、動きベクトル情報を用いてブレンド率を算出する方法を説明する図である。すなわち、図４のＳ４０１、Ｓ４０２において、画像特徴量の検出のためにオプティカルフローの動きベクトル情報を利用し、これから重畳エリアのブレンド率を算出し画像を合成する。画像特徴量として複数フレームの動きベクトルを利用し、動きベクトルの総和の比からブレンド率を算出する。
　具体的には、カメラ１の画像１２０１内の動きベクトル１２０３の総和ΣＣａｍ１と、カメラ２の画像１２０２内の動きベクトル１２０４の総和ΣＣａｍ２を計算する。これから、カメラ１のブレンド率Ｐ１とカメラ２のブレンド率Ｐ２を、
      Ｐ１＝ΣＣａｍ１／（ΣＣａｍ１＋ΣＣａｍ２）
      Ｐ２＝ΣＣａｍ２／（ΣＣａｍ１＋ΣＣａｍ２）
として算出する。つまり、動きの大きい方のカメラ画像のブレンド率を大きく設定する。これらのブレンド率で動き物体１２０６，１２０７を含む合成画像１２０５を生成する。この手法によれば、重畳エリア内で動きが大きいものほどくっきりとコントラストを向上させた画像が生成可能となる。
　図１３は、実施例２にかかる画像処理システムの構成を示すブロック図である。実施例２では、実施例１（図１）の構成に対し車両情報取得部１３００を追加している。車両情報取得部１３００は、ＣＡＮ（Controller Area Network）やＦｌｅｘＲａｙなどを介して、当該画像処理システムを適用する車両から車両制御情報を取得する。車両制御情報は、車両の進行方向やハンドルの角度や車速、ヘッドライトやハザードランプ、ワイパーのＯｎ／Ｏｆｆ、方向指示器の向きなどの情報であり、画像処理システムはこれらの車両情報を利用し、危険度を考慮した画像処理を行う。
　図１４は、車両情報を利用して画像合成する場合のエリア分割を示す図である。特に、重畳エリアにおいて画像合成する場合に、危険度に応じてエリア分割を行う。ここでは、重畳エリア３００，３０２，３０５，３０７を危険度別に４つに分割し、重畳エリア３００をＡ１～Ａ４に、重畳エリア３０２をＢ１～Ｂ４、重畳エリア３０３をＣ１～Ｃ４、重畳エリア３０４をＤ１～Ｄ４に分割している。
　図１５は、図１４で分割した各エリアの危険度を分類した表である。車両情報（進行方向、ハンドルの向き、速度）をパラメータに、各分割エリアの危険度を（大）、（中）、（小）で示している。各分割エリアにおいては、危険度に応じて画像の合成と表示を変更する。
　本実施例における危険度を分類では、二つの速度の閾値を用いる。第１の閾値Ｘは、第２の閾値Ｓよりも大きい。車両の速度が、第１の閾値Ｘ以上の場合には、駐車動作の速度としては危険な速さであると判断する。この場合には、車両周囲の全エリアを危険エリアとして表示することで、運転者により警告を促すことができる。車両の速度が第１の閾値Ｘよりも小さい場合には、図１５を用いて、各エリアの危険度の分類を行なう。
　例えば、運転手が左にハンドルを切って前進しようとしている場合には、速度Ｖが第２の閾値Ｓよりも大きいときは（Ｖ＞Ｓ）、左前方のエリアＡ１～Ａ４が危険度（大）である。右前方では、エリアＢ１、Ｂ３にいる歩行者は、左に向かって飛び出してくる可能性があるので危険度（中）、また後方のエリアＣ２、Ｄ１は、車両の構造上巻き込みや衝突があり得るので危険度（中）とする。それ以外のエリアＢ２、Ｂ４、Ｃ１、Ｄ２は距離が遠いので危険度（小）としている。このように、車両情報に合わせて危険度の分類を行う。これらは車の形状や小回りの範囲、初速度など車種によって異なり、それぞれの車両に応じて設定する。俯瞰画像を合成する際に、障害物を見易くする際に、各エリアの危険度情報を用いて合成することにより、運転者にとってより見易い表示方法が提供できる。
　その他の車両情報の利用として、次のような設定が可能である。自車がハザードランプをＯｎにして停止している場合は、後方から近づいて来る車両を警戒して、エリアＣ２、Ｃ４、Ｄ１、Ｄ３などの危険度を高めるようにする。運転者が方向指示器を有効にした場合には、方向指示器の方向の進行方向のエリアとその後方エリアの危険度を高める。ヘッドライトがＯｎの際は、進行方向のエリアの危険度をより高める。ヘッドライトがＯｎの状態で、ライトが上向きか下向きかで表示の仕方を変化させても良い。例えば、ライトが上向きであれば、より暗いところを走行中であり視界も狭いため、前方危険度を高くするのみでなく、注意が散漫になりがちな左右のエリアの危険度を高めるようにする。ワイパーをＯｎにした際は、視界が悪くなっている可能性があるので、進行方向のエリアの危険度を高めるようにする。
　図１６は、車両情報を利用した重畳エリアにおける画像合成の動作シーケンスである。俯瞰画像を作成する手順は、図４の動作シーケンスを基本とし、追加した工程について説明する。
　Ｓ１６０１では、車両情報と図１５の危険度情報の読込みを行う。
  Ｓ１６０２では車両の速度Ｖを閾値Ｘと比較する。車両の速度が第１の閾値Ｘよりも大きい場合には、Ｓ１６０３に進み、図１５から読み出した危険度情報について全エリアを危険エリア（大）として設定し直す。これにより、全てのエリアについて危険であることを表示する。
　Ｓ１６０４では、図１５の危険度情報またはＳ１６０３で書き替えられた危険度情報に基づいて、表示エリア毎にその危険度に応じた表示方式を組み合わせ、合成した俯瞰画像を出力する。その際、立体物があるエリアほどブレンド率が大きくなっているので、重畳エリアにおける各カメラ画像のブレンド率を確認することで、立体物（障害物）が存在する可能性を判別できる。つまり、危険度が大きくかつブレンド率が大きい重畳エリアでは、より危険性が高いと判断できる。
　図１７は、危険度を反映した俯瞰画像表示例である。図１６のＳ１６０４において、画像変換部１０５は、重畳エリア３００内で検出した立体物（障害物）１７００の特徴量に応じてブレンド率を変化させ、障害物のコントラストを向上させて表示する。さらに図１５の危険度情報またはＳ１６０３で書き替えられた危険度情報により、危険度が大きいとされたエリア１７０１～１７０４については、エリア内を塗り潰したり縁を着色したりする処理を行う。エリアを塗り潰す際に、図４のＳ４０１やＳ４０２で抽出した画像特徴量の中の色情報を参照し、抽出された色情報とは異なる色相の色を用いることで、見た目のコントラストを向上させる。また、ブレンド率の小さいカメラ画像に色の付いたレイヤを重畳した後、ブレンド率の大きいカメラ画像を重畳すれば、障害物が写っている可能性のあるカメラ画像のコントラストをそれほど低下させずに合成できる。
　さらに、危険性の高いエリア、つまりブレンド率が大きく危険度も大きい重畳エリアに関しては、画像変換部１０５は、物体のエッジ強調やコントラストを強調するような画像処理を施して、物体がより目立ちはっきり認識できるように表示する。Ｓ４０１、Ｓ４０２で抽出したエッジや輪郭などの画像特徴部分に関して、目立つ色で塗り潰す、または縁取るなどの処理を行うことで、危険性をより強調することができる。また、この危険度情報の別の利用の仕方として、図１５の危険度の低いエリアや危険度が設定されていないエリアに、文字による付加情報などを表示しても良い。
　前記実施例１，２に述べたように重畳エリアにおいてブレンド率を調整しても、各カメラの明るさが大きく異なると、輝度が高いカメラ画像が優先し見易く合成されてしまい、狙った効果が得られない場合がある。また、矩形の重畳エリアで画像のブレンド処理を行うと、ブレンド率によっては矩形の境界部分が切れ目として目立つ場合がある。さらに、運転者の年齢により輝度コントラストの感覚に違いが生じる。そこで実施例３では、複数のカメラの輝度を補正する手法や、重畳エリアの境界部の補正、コントラストの調整方法を示す。
　図１８は、カメラ画像をエリア分割して輝度調整を行うことを説明する図である。その際、画像検出部１０６は、画像特徴量として輝度ヒストグラム算出や階調重心算出を行い、画像変換部１０５は、検出結果に応じて階調調整などの画質調整処理を実施する。
　車両２００に設置されたカメラ２０１、２０２、２０３、２０４の俯瞰画像をそれぞれ３つの部分に分割し、カメラ２０１については部分画像Ｅ１～Ｅ３、カメラ２０２については部分画像Ｆ１～Ｆ３、カメラ２０３については部分画像Ｇ１～Ｇ３、カメラ２０４については部分画像Ｈ１～Ｈ３に分割する。このうち、重畳エリア１８００にはカメラ２０１の部分画像Ｅ１とカメラ２０２の部分画像Ｆ１が対応する。同様に、重畳エリア１８０１にはカメラ２０１の部分画像Ｅ３とカメラ２０４の部分画像Ｈ１が対応し、重畳エリア１８０２にはカメラ２０２の部分画像Ｆ３とカメラ２０３の部分画像Ｇ１が対応し、重畳エリア１８０３にはカメラ２０３の部分画像Ｇ３とカメラ２０４の部分画像Ｈ３が対応する。また、重畳エリア１８００における部分画像Ｅ１と部分画像Ｆ１の輝度ヒストグラムを、それぞれ１８１１、１８１２で示す。
　ここで同一エリアを異なるカメラで撮影するとき、輝度差が生じることがある。例えば、車両２００の右側方向（カメラ２０４側）に太陽があるとき、反対側のカメラ２０２では車両の影が撮影されて、部分画像Ｆ２は他の画像よりも暗くなってしまう。また、カメラ２０２の画像Ｆ１～Ｆ３は、カメラのホワイトバランス調整、画像Ｆ２の輝度などの影響を受け、画像Ｆ１、Ｆ３は、同じエリアを撮影している他のカメラ画像Ｅ１、Ｇ１よりも暗くなってしまう。
　この場合、重畳エリア１８００である画像Ｅ１とＦ１のそれぞれの輝度ヒストグラム１８１１，１８１２を算出して、その階調重心を合わせることで、ある程度見た目の明るさを合わせることができる。輝度ヒストグラムの階調重心の合わせ方は、図１９にて説明する。このように、複数カメラ画像の明るさ調整を行うのであるが、このやり方は様々に存在する。
　例えば、まず４箇所の重畳エリア１８００～１８０３について、対応する２つの画像の輝度ヒストグラムを算出し、その階調重心を合わせるよう輝度調整を行う。その後、重畳エリアで挟まれた中間画像Ｅ２、Ｆ２、Ｇ２、Ｈ２について、各重畳エリアでの調整結果をグラデーションで繋ぐように輝度調整を行う。例えば、中間画像Ｆ２において、エリア１８００に近い位置ではエリア１８００の調整結果に近い値とし、エリア１８０２に近い位置ではエリア１８０２の調整結果に近い値とする。これにより、滑らかな輝度階調を実現する。
　あるいは、フロント側画像Ｅ２とリア側画像Ｇ２についてそれらの輝度ヒストグラムの階調重心を合わせるよう輝度調整し、その調整結果に合うように各重畳エリアの画像の輝度調整をしても良い。そして中間画像Ｆ２、Ｈ２については、各重畳エリアの調整結果をグラデーションで繋ぐように輝度調整を行う。
　これらの調整手順は、各画像の輝度ヒストグラムに応じて切り替えても良い。例えば、画像Ｅ２と画像Ｆ２の輝度差が所定の閾値よりも大きい場合には、初めにＥ２とＦ２の輝度調整をしてから、他の画像の調整を行うようにする。このように、状況に応じて調整順序を切り替えることにより、単純に隣接する画像を順次調整した結果、隣接画像間の輝度差が拡大し再度調整が必要になることを回避できる。
　本例では、各カメラの俯瞰画像を３つに分割しているが、分割せずに、各カメラの画像全体のヒストグラム分布を算出して利用しても良い。例えば、カメラ２０１の画像Ｅ１～Ｅ３全体の輝度ヒストグラムと、カメラ２０２の画像Ｆ１～Ｆ３全体の輝度ヒストグラムを算出して、その階調重心を合わせることで、画像Ｅ１～Ｅ３、Ｆ１～Ｆ３の輝度調整を行っても良い。
　本例では、輝度ヒストグラムの分布によりその画像の明るさを推定しているが、画像の平均輝度や最大、最小輝度などを利用しても良い。画像の平均輝度を利用する場合は、細かい制御には向いていないが処理負荷を軽減できる。また、輝度調整に関して述べたが、ＹＣｂＣr信号のＹ、Ｃｂ、Ｃｒ値のそれぞれの平均や重心を合わせること、ＲＧＢ信号のそれぞれの階調分布を調整すること、ＨＳＶ色空間においてそれぞれの要素の階調分布を調整して合わせることでも良い。輝度だけでなく色情報も利用することで、複数カメラの色ズレも補正できる。
　図１９は、輝度ヒストグラムの階調重心を合わせる方法を示す図である。例えば図１８の重畳エリア１８００において、カメラ２０２の画像Ｆ１の階調重心をカメラ２０１の画像Ｅ１の階調重心に合わせることで、重畳エリア１８００の輝度調整を行うものである。他の重畳エリアについても同様である。
　図１９の左側には、画像Ｅ１の輝度ヒストグラム１８１１と画像Ｆ１の輝度ヒストグラム１８１２を示し、それぞれの階調重心を▲印で表している。両者の階調重心は輝度差ｈだけずれている。右側のグラフ１９００は、入力輝度に対する出力輝度の変換式を示し、折れ線状の実線とする。破線は傾き１の直線で、入力と出力が等しい場合である。この変換式を用いて、画像Ｆ１の階調重心の調整を行う。
　画像Ｆ１のヒストグラム１８１２の階調重心を画像Ｅ１のヒストグラム１８１１の階調重心に合わせるには、ヒストグラム１８１２の階調重心を左方向に補正量ｈだけずらせばよい。この操作は入出力グラフ上では、ヒストグラム１８１２の階調重心の入力輝度に対し、出力輝度を補正量ｈだけ減少させる変換を行う。一点のみの輝度を減少させると不自然な画像になるため、本例ではその周辺を含んで連続的に輝度を減少させる調整をしている。これにより、画像Ｆ１のヒストグラム１８１２の階調重心付近の輝度を持つ画素群が、ｈだけ輝度が小さい画素群に変換され、画像Ｅ１のヒストグラム１８１１の階調重心と一致させることができる。すなわち、画像Ｆ１の見た目の明るさを画像Ｅ１の明るさに近づけることができる。
　図２０は、重畳エリアに挟まれたエリアの輝度調整を行う方法を示す図である。ここでは、カメラ２０２の俯瞰画像Ｆ１～Ｆ３を例に説明する。
　まず、重畳エリア１８００については、図１９に述べたように、画像Ｅ１と画像Ｆ１の輝度ヒストグラムを算出し、両者の階調重心の差ｈ１を入出力グラフ２００１を用いて補正する。これにより、輝度調整された画像Ｆ１’を得る。同様に重畳エリア１８０２についても、画像Ｆ３と画像Ｇ１の輝度ヒストグラムを算出し、両者の階調重心の差ｈ３を入出力グラフ２００３を用いて補正する。これにより、輝度調整された画像Ｆ３’を得る。この例では、画像Ｆ１と画像Ｆ３の補正方向が逆方向の場合を示しており、両者の入出力グラフ２００１、２００３の変換式も上下方向に逆になっている。
　次に、２つの重畳エリア１８００、１８０２の調整後の画像Ｆ１’、Ｆ３’に挟まれた画像Ｆ２の輝度調整を行う。画像Ｆ２のフロント側からリア側に向けた方向に座標軸ｚをとる。フロント端のｚ＝０の位置では、入出力グラフ２００１に基づいて輝度調整を行い、リア端のｚ＝Ｚｍａｘの位置では、入出力グラフ２００３に基づいて輝度調整を行う。途中の位置ｚでは、入出力グラフ２００１と２００３を位置ｚに応じて混合した入出力グラフ２００２に基づいて、ｚ＝０～Ｚｍａｘの間を滑らかなグラデーションになるように輝度調整する。
　具体的には、画像Ｆ１の階調重心をＸ１、補正量をｈ１とし、画像Ｆ３の階調重心をＸ３、補正量をｈ３とすると、位置ｚでの階調重心Ｘｚと出力補正量ｈｚは、
      Ｘｚ＝Ｘ１＋（Ｘ３－Ｘ１）×ｚ/Ｚｍａｘ
      ｈｚ＝ｈ１＋（ｈ３－ｈ１）×ｚ/Ｚｍａｘ
で与えることで、画像Ｆ２の輝度調整を実施する。
　これにより、カメラ２０２の俯瞰画像Ｆ１～Ｆ３について、自然な階調で違和感ない輝度調整が可能となる。重畳エリアに挟まれた他の中間画像Ｅ２、Ｇ２、Ｈ２においても同様な処理を実施する。これにより、重畳エリアでの輝度補正に加え、その間のエリアについて連続的に補正して、４つのカメラの全ての画像の輝度補正を行う。
　図２１は、重畳エリア内の周囲部分での合成方法を示す図である。矩形の重畳エリアで画像のブレンド処理を行うと、ブレンド率によっては矩形の境界部分が切れ目として目立つ場合がある。そのため、重畳エリアの中央部は前記したブレンド率で合成処理を行うが、重畳エリア内の周囲部分については重畳エリアに隣接するエリアの画像と滑らかに接続するよう、勾配を付けて合成を行う。例として、図１８の重畳エリア１８００内における２つの周囲部分２１０１、２１０２を取り上げて説明する。
　重畳エリア１８００内の上側の周囲部分２１０１は、図１８におけるフロントのカメラ２０１からの距離が近く、また部分画像Ｅ２との繋がりが強い。よって、その合成割合は、所定のブレンド率から勾配を付けて減らしていき、合成割合が０となる境界位置ではカメラ２０１の部分画像Ｅ１と繋げるようにする。
　一方重畳エリア１８００内の左側の周囲部分２１０２は、サイドのカメラ２０２からの距離が近く、また部分画像Ｆ２との繋がりが強い。よって、その合成割合は、所定のブレンド率から勾配を付けて減らしていき、合成割合が０となる境界位置ではカメラ２０２の部分画像Ｆ１と繋げるようにする。
　このように合成することで、重畳エリア１８００は隣接する画像Ｅ２や画像Ｆ２との繋ぎ目に切れ目がなく、自然に見えるようになる。なお、図１８のように重畳エリア１８００で画像Ｅ１とＦ１が重なる場合だけでなく、一部が重なる場合もその周囲を滑らかに合成することができる。
　図２２は、年齢による輝度コントラストの感覚の違いを説明する図である。図形２２００を見た際に、２０歳代の人はコントラスト２２０１のように、“Ｃ”の文字と周囲とのコントラストを大きく感じるが、７０歳代の人はコントラスト２２０２のように、“Ｃ”の文字と周囲とのコントラストをあまり感じない、という実験結果が人間工学の分野で報告されている（アクセシブルデザイン技術の標準化(産総研)：非特許文献）。この結果を考慮して、重畳エリアのブレンド率をユーザ（運転者）の年齢を反映させて決定する。なお、運転者の年齢情報は、メモリ部１０７に保持しておく。そして、高齢者ほど、重畳エリアの各画像特徴量が少しでも大きい方を優先して合成率を上げるような処理を行う。
　例えば、運転者が若い場合には、図５Ａの勾配の算出式でブレンド率を決定する。一方高齢者の場合には、図５Ｂのように勾配を大きくした算出式を用いてブレンド率を決定する。これより、ある程度物体検出の割合が増えてきたらその画像のブレンド率を急に増大させるような処理を行い、コントラストを上げるようにする。また、年齢に応じて、画像変換部１０５にてコントラスト強調処理の強度を切り替える処理を行っても良い。
　本実施例におけるブレンド処理に関しては、画素位置毎に画像特徴量Ｑ１、Ｑ２を算出し、画素位置毎にブレンド率Ｐ１，Ｐ２を算出しても良い。また、重畳エリア全体でＱ１、Ｑ２を算出し、これに基づいて算出したＰ１，Ｐ２を一様なブレンド率として利用して合成しても良い。また合成結果に関して、さらにコントラストを強調して表現するような処理を施した後に合成をしても良いし、合成後にコントラスト強調処理を施しても良い。また、サイドカメラ２０２、２０４として、車両のサイドミラーをデジタル化したデジタルミラーを利用して俯瞰画像を生成しても良い。
　以上説明した各実施例におけるブレンド処理おいて、さらに、ブレンド率の時間変化を制限することについて述べる。
  図２３は、ブレンド率の変化量制限を説明する図である。縦軸は２つのカメラ画像のうちの一方のブレンド率（Ｐ１またはＰ２）、横軸は時間である。横軸の時間は１目盛りを１フレーム期間として、フレーム期間数で表現している。
　まず、１フレーム毎に各実施例で説明したブレンド率の算出結果の例を説明する。図２３の点線は、２フレーム目まで０．８だったブレンド率が、ブレンド率の算出により、３フレーム目に０．５に変化し、５フレーム目に再び０．８に戻り、６フレーム目に再び０．５に変化するという例を示している。このように、フレーム毎に各実施例で説明したブレンド率の算出方法をそのまま適用すると、例えば、２フレーム目と３フレーム目のブレンド率の変化は非常に急激になる。また、５フレーム目と６フレーム目の変化も急激であり、ノイズによってもこのような状況が生じえる。その結果、合成映像のちらつきがユーザに対し不快感を与える可能性がある。
　これを改善するために、ブレンド率の算出処理の直前の結果から、次の算出処理の結果との差分（変化量）を所定の範囲に制限する。これを適用した場合の例を図２３の実線で示し、図中のｄは変化の制限量である。この例では、制限量ｄを直前のブレンド率の１０％と設定している。すなわち、１フレーム期間のブレンド率の変化は直前のブレンド率の１０％以内に制限される。例えば、各実施例で説明した算出方法で通常算出されるブレンド率が、直前に算出されたブレンド率の９０％より小さくなる場合は、直前に算出されたブレンド率の９０％を新たなブレンド率の算出結果とする。同様に、通常算出されるブレンド率が、直前に算出されたブレンド率の１１０％より大きくなる場合は、直前に算出されたブレンド率の１１０％を新たなブレンド率の算出結果とする。これにより、図２３の２フレーム目から９フレーム目までの変化の過程を見れば明らかなように、穏やかで自然なブレンド率の変化を実現することができる。
　この方法を用いることにより、ブレンド率の急激な変化を低減して、ユーザが感じる合成映像のちらつき感を低減または防止することが可能となる。なお、図２３の例では、ブレンド率を１フレーム毎に算出することとしたが、１フィールドごとでもよく、所定数フレームについて１回という頻度でも構わない。
　１００：画像処理装置、
　１０１：ｎ個のカメラ、
　１０２：デコード部、
　１０３：バス、
　１０４：ＣＰＵ、
　１０５：画像変換部、
　１０６：画像検出部、
　１０７：メモリ部、
　１０８：エンコード部、
　１０９：モニタ、
　２００：車両、
　２０１：前方カメラ、
　２０２：左サイドカメラ、
　２０３：後方カメラ、
　２０４：右サイドカメラ、
　２０５：歩行者、
　３００，３０２，３０５，３０７：重畳エリア、
　１３００：車両情報取得部。

Claims (15)

  1. 　複数のカメラの撮影画像を視点変換して得られる俯瞰画像を合成する画像変換部を備える画像処理システムであって、
    　前記複数のカメラの各撮影画像から画像特徴量を抽出する画像検出部を備え、
    　前記画像変換部は、前記複数のカメラで重複して撮影される重畳エリアについて、前記画像検出部にて抽出された画像特徴量に応じて前記重畳エリアの全体、または画素単位でブレンド率を設定して、前記重畳エリアに対応する俯瞰画像を前記ブレンド率で合成するとともに前記重畳エリアにおける各俯瞰画像の画像特徴量の相関に応じてブレンド率の設定方法を変更して合成することを特徴とする画像処理システム。
  2. 　請求項１に記載の画像処理システムにおいて、
    　前記画像変換部は、前記重畳エリアにおける各画像の相関が弱いと判定した場合、前記各画像の画像特徴量が位置的に重なる部分があるか否かを判定し、重なる部分の有無に応じてブレンドの方法を切り替えて合成することを特徴とする画像処理システム。
  3. 　請求項２に記載の画像処理システムにおいて、
    　前記画像変換部は、前記各画像の画像特徴量が位置的に重なる部分があると判定した場合、前記画像特徴量が大きい方の画像のブレンド率を大きく設定することを特徴とする画像処理システム。
  4. 　請求項２に記載の画像処理システムにおいて、
    　前記画像変換部は、前記各画像の画像特徴量が位置的に重なる部分がないと判定した場合、前記画像特徴量が大きい方の画像を選択して合成することを特徴とする画像処理システム。
  5. 　請求項１に記載の画像処理システムにおいて、
    　前記画像変換部は、前記重畳エリアにおける各画像の相関が強いと判定した場合、前記各カメラから前記重畳エリアまでの距離に応じてブレンド率を設定することを特徴とする画像処理システム。
  6. 　請求項１に記載の画像処理システムにおいて、
    　前記画像検出部は、前記画像特徴量として各カメラ画像内の動きベクトルを検出し、
    　前記画像変換部は、前記重畳エリアにおける各画像の動きベクトル量に応じてブレンド率を設定することを特徴とする画像処理システム。
  7. 　複数のカメラからの撮影画像を合成して俯瞰画像を生成する画像処理システムにおいて、
    　各カメラの画像から画像特徴量を抽出する画像検出部と、
    　抽出した画像特徴量に応じてブレンド率を算出し複数のカメラ画像が重なる重畳エリアの俯瞰画像を合成する画像変換部と、
    　当該画像処理システムを適用する車両の走行状態を示す車両制御情報を取得する車両情報取得部と、を備え、
    　該画像変換部は、前記取得した車両制御情報から前記重畳エリア内の危険度を設定し、危険度に応じた表示方式を組み合わせて前記合成した俯瞰画像を出力することを特徴とする画像処理システム。
  8. 　請求項７に記載の画像処理システムにおいて、
    　前記車両制御情報として車両の進行方向、ハンドルの角度、車速のいずれかを含み、
    　前記画像変換部は、危険度を高く設定したエリアでは表示する画像のコントラストを向上させて合成することを特徴とする画像処理システム。
  9. 　請求項１に記載の画像処理システムにおいて、
    　前記画像検出部は、前記画像特徴量として各カメラ画像の輝度ヒストグラムと階調重心を算出し、
    　前記画像変換部は、算出した輝度ヒストグラムと階調重心に応じて、前記重畳エリアにおける各画像の階調重心が一致するように輝度を調整することを特徴とする画像処理システム。
  10. 　請求項９に記載の画像処理システムにおいて、
    　前記画像変換部は、前記重畳エリアにおける輝度調整結果を用いて、前記重畳エリア以外のエリアの画像の輝度をグラデーションで繋ぐように調整することを特徴とする画像処理システム。
  11. 　請求項１に記載の画像処理システムにおいて、
    　前記画像変換部は、前記重畳エリア内の周囲部分について、前記重畳エリアに隣接するエリアに向けて前記ブレンド率に勾配を付けて変化させ画像合成することを特徴とする画像処理システム。
  12. 　請求項１に記載の画像処理システムにおいて、
    　前記画像変換部は、ユーザの年齢に応じて、前記重畳エリアに適用するブレンド率の算出式の勾配を変更して画像合成することを特徴とする画像処理システム。
  13. 　請求項１に記載の画像処理システムにおいて、
    　前記画像変換部は、所定の期間毎に前記ブレンド率を算出し、当該所定の期間前後のブレンド率の変化を所定範囲以内に制限することを特徴とする画像処理システム。
  14. 　複数のカメラからの撮影画像を合成して俯瞰画像を生成する画像処理方法において、
    　各カメラの画像から画像特徴量を抽出するステップと、
    　抽出した画像特徴量に応じてブレンド率を算出し複数のカメラ画像が重なる重畳エリアの俯瞰画像を合成するステップと、を備え、
    　前記俯瞰画像を合成するステップでは、前記重畳エリアにおける各画像の画像特徴量の相関を判定し、相関の強さに応じてブレンドの方法を切り替えて合成することを特徴とする画像処理方法。
  15. 　複数のカメラからの撮影画像を合成して俯瞰画像を生成する画像処理方法において、
    　各カメラの画像から画像特徴量を抽出するステップと、
    　抽出した画像特徴量に応じてブレンド率を算出し複数のカメラ画像が重なる重畳エリアの俯瞰画像を合成するステップと、
    　当該画像処理システムを適用する車両の走行状態を示す車両制御情報を取得するステップと、を備え、
    　該俯瞰画像を合成するステップでは、前記取得した車両制御情報から前記重畳エリア内の危険度を設定し、危険度に応じた表示方式を組み合わせて前記合成した俯瞰画像を出力することを特徴とする画像処理方法。
PCT/JP2013/079297 2012-10-31 2013-10-29 画像処理システム及び画像処理方法 WO2014069471A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/439,088 US9485438B2 (en) 2012-10-31 2013-10-29 Image processing system with image conversion unit that composites overhead view images and image processing method
CN201380056890.1A CN104756487B (zh) 2012-10-31 2013-10-29 图像处理系统和图像处理方法
EP13850153.1A EP2916540B1 (en) 2012-10-31 2013-10-29 Image processing system and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-239819 2012-10-31
JP2012239819A JP6084434B2 (ja) 2012-10-31 2012-10-31 画像処理システム及び画像処理方法

Publications (1)

Publication Number Publication Date
WO2014069471A1 true WO2014069471A1 (ja) 2014-05-08

Family

ID=50627373

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/079297 WO2014069471A1 (ja) 2012-10-31 2013-10-29 画像処理システム及び画像処理方法

Country Status (5)

Country Link
US (1) US9485438B2 (ja)
EP (1) EP2916540B1 (ja)
JP (1) JP6084434B2 (ja)
CN (1) CN104756487B (ja)
WO (1) WO2014069471A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416300B2 (en) * 2009-05-20 2013-04-09 International Business Machines Corporation Traffic system for enhancing driver visibility
US9478054B1 (en) * 2013-11-09 2016-10-25 Google Inc. Image overlay compositing
EP2884460B1 (en) 2013-12-13 2020-01-01 Panasonic Intellectual Property Management Co., Ltd. Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium
JP6371553B2 (ja) * 2014-03-27 2018-08-08 クラリオン株式会社 映像表示装置および映像表示システム
KR101566966B1 (ko) * 2014-05-27 2015-11-06 주식회사 피엘케이 테크놀로지 보행자 인식 가능한 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체
US10449900B2 (en) 2014-06-20 2019-10-22 Clarion, Co., Ltd. Video synthesis system, video synthesis device, and video synthesis method
JP6411100B2 (ja) * 2014-07-08 2018-10-24 アルパイン株式会社 車両周囲画像生成装置および車両周囲画像生成方法
KR101614247B1 (ko) * 2015-05-20 2016-04-29 주식회사 와이즈오토모티브 파노라마 영상의 접합면 표시장치
JP6408434B2 (ja) * 2015-07-14 2018-10-17 株式会社キクテック 道路標示体劣化検出方法
JP2017033402A (ja) * 2015-08-04 2017-02-09 株式会社デンソー 車載表示制御装置、車載表示制御方法
CN105894449B (zh) * 2015-11-11 2019-11-08 法法汽车(中国)有限公司 克服图像融合中颜色突变的方法及系统
KR102510821B1 (ko) * 2016-02-05 2023-03-16 삼성전자주식회사 영상 처리 방법, 장치 및 기록 매체
CN107292642B (zh) * 2016-03-31 2020-12-08 苏宁云计算有限公司 一种基于图像的商品推荐方法及系统
DE102016112483A1 (de) * 2016-07-07 2018-01-11 Connaught Electronics Ltd. Verfahren zum Reduzieren von Störsignalen in einem Draufsichtbild, das ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs zeigt, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016121755A1 (de) * 2016-11-14 2018-05-17 Connaught Electronics Ltd. Verfahren zum Bestimmen eines zusammengesetzten Bilds eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung von Helligkeit und/oder Farbe, Kamerasystem sowie Krafzfahrzeug
JP6817804B2 (ja) * 2016-12-16 2021-01-20 クラリオン株式会社 区画線認識装置
WO2018124268A1 (en) * 2016-12-28 2018-07-05 Ricoh Company, Ltd. Image processing apparatus, image processing system, image capturing system, image processing method, and recording medium
KR102551099B1 (ko) * 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
EP3664432B1 (en) * 2017-08-02 2021-09-01 Sony Group Corporation Image processing device and method, imaging device,, and program
DE102017218405A1 (de) * 2017-10-13 2019-04-18 Robert Bosch Gmbh Verfahren zum Verarbeiten von Bildern
DE112017008125T5 (de) * 2017-10-13 2020-07-16 Mitsubishi Electric Corporation Bild-Synthesevorrichtung und Bild-Syntheseverfahren
DE102018202656A1 (de) * 2018-02-22 2019-08-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Erstellen von Panoramabildern
CN110633704B (zh) * 2018-06-25 2022-07-26 京东方科技集团股份有限公司 货架及货架管理系统
JP7120835B2 (ja) * 2018-07-18 2022-08-17 トヨタ自動車株式会社 画像処理装置
CN110874817B (zh) * 2018-08-29 2022-02-01 上海商汤智能科技有限公司 图像拼接方法和装置、车载图像处理装置、设备、介质
TWI676964B (zh) * 2018-12-11 2019-11-11 晶睿通訊股份有限公司 影像拼接方法及其監控攝影裝置
JP2020120194A (ja) * 2019-01-21 2020-08-06 キヤノン株式会社 撮像装置、撮像方法およびプログラム
US11926263B2 (en) * 2019-04-18 2024-03-12 Mitsubishi Electric Corporation Vehicle surrounding area image generation device, vehicle surrounding area display system, and vehicle surrounding area display method
JP6998360B2 (ja) * 2019-12-13 2022-01-18 本田技研工業株式会社 車両用表示装置及び駐車支援システム
KR102281609B1 (ko) * 2020-01-16 2021-07-29 현대모비스 주식회사 어라운드뷰 합성 시스템 및 방법
DE112020006508T5 (de) * 2020-03-24 2022-11-17 Mitsubishi Electric Corporation Informationsverarbeitungseinrichtung und informationsverarbeitungsverfahren
JP7038935B2 (ja) * 2020-03-25 2022-03-18 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
KR102489290B1 (ko) * 2020-11-20 2023-01-17 부산대학교 산학협력단 영상처리와 위치추적 기술을 활용한 작업장 내 위험지역 접근 감지 및 알림 시스템 및 방법
DE102022201508A1 (de) * 2022-02-14 2023-08-17 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Verarbeiten von Daten
CN114750775B (zh) * 2022-03-24 2022-11-15 合肥雷能信息技术有限公司 一种基于毫米波雷达的道路车辆防撞警示系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354468A (ja) 2001-05-30 2002-12-06 Clarion Co Ltd 画像合成方法及び装置並び車両周囲状況モニタ装置
JP2007041791A (ja) 2005-08-02 2007-02-15 Nissan Motor Co Ltd 俯瞰画像表示システム及び俯瞰画像の表示方法
JP2007295043A (ja) * 2006-04-20 2007-11-08 Matsushita Electric Ind Co Ltd 車両周囲監視装置
JP2009289185A (ja) 2008-05-30 2009-12-10 Sanyo Electric Co Ltd 画像処理装置
WO2010119734A1 (ja) 2009-04-17 2010-10-21 三洋電機株式会社 画像処理装置
JP2012086684A (ja) * 2010-10-20 2012-05-10 Aisin Seiki Co Ltd 駐車支援装置
WO2012144053A1 (ja) * 2011-04-21 2012-10-26 トヨタ自動車株式会社 車両用周辺障害物表示装置及び車両用周辺障害物表示方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3431678B2 (ja) * 1994-02-14 2003-07-28 三菱自動車工業株式会社 車両用周囲状況表示装置
JP3300340B2 (ja) * 1999-09-20 2002-07-08 松下電器産業株式会社 運転支援装置
JP2007274377A (ja) * 2006-03-31 2007-10-18 Denso Corp 周辺監視装置、プログラム
US7728879B2 (en) 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
JP2009040107A (ja) * 2007-08-06 2009-02-26 Denso Corp 画像表示制御装置及び画像表示制御システム
WO2010137265A1 (ja) * 2009-05-25 2010-12-02 パナソニック株式会社 車両周囲監視装置
JP5503660B2 (ja) * 2009-09-24 2014-05-28 パナソニック株式会社 運転支援表示装置
JP5699679B2 (ja) 2011-02-24 2015-04-15 富士通セミコンダクター株式会社 画像処理装置、画像処理システム、及び画像処理方法
JP5483120B2 (ja) 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354468A (ja) 2001-05-30 2002-12-06 Clarion Co Ltd 画像合成方法及び装置並び車両周囲状況モニタ装置
JP2007041791A (ja) 2005-08-02 2007-02-15 Nissan Motor Co Ltd 俯瞰画像表示システム及び俯瞰画像の表示方法
JP2007295043A (ja) * 2006-04-20 2007-11-08 Matsushita Electric Ind Co Ltd 車両周囲監視装置
JP2009289185A (ja) 2008-05-30 2009-12-10 Sanyo Electric Co Ltd 画像処理装置
WO2010119734A1 (ja) 2009-04-17 2010-10-21 三洋電機株式会社 画像処理装置
JP2012086684A (ja) * 2010-10-20 2012-05-10 Aisin Seiki Co Ltd 駐車支援装置
WO2012144053A1 (ja) * 2011-04-21 2012-10-26 トヨタ自動車株式会社 車両用周辺障害物表示装置及び車両用周辺障害物表示方法

Also Published As

Publication number Publication date
EP2916540B1 (en) 2018-05-30
JP6084434B2 (ja) 2017-02-22
CN104756487B (zh) 2018-05-01
CN104756487A (zh) 2015-07-01
JP2014090349A (ja) 2014-05-15
US20150281594A1 (en) 2015-10-01
EP2916540A1 (en) 2015-09-09
EP2916540A4 (en) 2016-10-19
US9485438B2 (en) 2016-11-01

Similar Documents

Publication Publication Date Title
JP6084434B2 (ja) 画像処理システム及び画像処理方法
WO2015146230A1 (ja) 映像表示装置および映像表示システム
US20200148114A1 (en) Vehicular vision system with reduced distortion display
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
JP5483120B2 (ja) 車両周辺監視システム
KR101389884B1 (ko) 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템
US20160280136A1 (en) Active-tracking vehicular-based systems and methods for generating adaptive image
WO2012096058A1 (ja) 画像生成装置
JP5171723B2 (ja) 障害物検知装置、および当該装置を搭載した車両
JP5760999B2 (ja) 画像処理装置及び画像処理方法
JP5853457B2 (ja) 車両周辺監視システム
US11140364B2 (en) Sensor fusion based perceptually enhanced surround view
JP6733647B2 (ja) 画像表示装置
KR20090109437A (ko) 차량주행중 영상정합 방법 및 그 시스템
WO2018225518A1 (ja) 画像処理装置、画像処理方法、プログラム、およびテレコミュニケーションシステム
JP5516997B2 (ja) 画像生成装置
JP4830380B2 (ja) 車両周辺監視装置及び車両周辺監視方法
KR20100081964A (ko) 주변 영상 생성 방법 및 장치
JP2017011633A (ja) 撮像装置
US20230099481A1 (en) Display control apparatus, vehicle, and display control method
JP7108855B2 (ja) 画像合成装置、及び、制御方法
CN111355880B (zh) 半导体器件、图像处理系统和方法及计算机可读存储介质
WO2016170164A1 (en) Image synthesizer for a driver assisting system
US20210287335A1 (en) Information processing device and program
EP3306373A1 (en) Method and device to render 3d content on a head-up display

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13850153

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14439088

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013850153

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE