WO2013175753A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2013175753A1
WO2013175753A1 PCT/JP2013/003181 JP2013003181W WO2013175753A1 WO 2013175753 A1 WO2013175753 A1 WO 2013175753A1 JP 2013003181 W JP2013003181 W JP 2013003181W WO 2013175753 A1 WO2013175753 A1 WO 2013175753A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
vehicle
distance
camera
Prior art date
Application number
PCT/JP2013/003181
Other languages
English (en)
French (fr)
Inventor
偉雄 藤田
的場　成浩
達也 三次
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US14/400,770 priority Critical patent/US10046700B2/en
Priority to CN201380024639.7A priority patent/CN104285441B/zh
Priority to JP2014516663A priority patent/JP5634643B2/ja
Priority to DE112013002636.8T priority patent/DE112013002636B4/de
Publication of WO2013175753A1 publication Critical patent/WO2013175753A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Definitions

  • the present invention relates to an in-vehicle image processing apparatus that captures a blind spot area generated during driving of a vehicle with a camera to generate an image and assists the driver to check the surroundings of the vehicle.
  • the “dead zone” is a range that cannot be seen from a certain angle. Here, the range is invisible to the driver.
  • the “own vehicle” is a vehicle on which the driver is riding. In order to assist the driver in recognizing such a blind spot area, a technique has been proposed in which an image around the vehicle is taken by a camera attached to the vehicle body and displayed on the screen of a display device installed in the vehicle. Examples of such techniques include the following.
  • Patent Document 1 describes a technique in which a side camera and a rear camera are used, images are cut out from the respective camera images, and pasted and displayed.
  • the cropping range of the image is changed according to the vehicle speed.
  • the side camera image is cut out in a wider range. Thereby, the display area of the bonded display image is expanded, and the blind spot area can be reduced.
  • a “side camera” is a camera that captures the left-right direction of a vehicle.
  • the “rear camera” is a camera that captures the rear direction of the vehicle.
  • Vehicle speed is the speed of the vehicle.
  • Patent Document 2 describes a method in which a peripheral image of a vehicle photographed by a plurality of cameras is displayed on a display device, and the ratio is changed by changing the proportion of the display area in the screen of the display device.
  • JP 2004-312523 A paragraphs 0021 to 0024, FIG. 2
  • Japanese Patent Laying-Open No. 2005-198160 paragraphs 0030 to 0038, FIG. 1
  • Patent Document 1 does not specifically describe a method for performing viewpoint conversion when a plurality of camera images are bonded.
  • region extraction from each camera image and viewpoint conversion are performed independently, a straight line is bent at the joint between the camera images, which makes it difficult to visually recognize the shape of the subject. There was a problem.
  • Patent Document 2 also switches the display ratio of the camera image to be displayed according to the handle operation or the like.
  • the viewpoint conversion of images is described only from the viewpoint of aligning the directions of the vehicles so that the images traveling at the same time have the same traveling direction.
  • the conventional technique disclosed in Patent Document 2 does not consider joining between images. For this reason, there is a problem in that it is difficult for the driver to recognize the subject because the shape cannot be grasped correctly for the subject existing in the boundary region of the plurality of cameras.
  • an object of the present invention is to provide an image processing device that allows a driver to easily check an image of the surrounding situation of a vehicle. That is, the degree of bending of the shape of the subject is reduced even at the boundary between the images of a plurality of cameras. In addition, the object is prevented from being displayed twice. In addition, the display of the subject is prevented from being lost. Accordingly, an object of the present invention is to provide an image processing apparatus in which a screen is displayed in a shape close to a case where a driver visually recognizes it.
  • an image processing apparatus provides a reference position of the vehicle based on positions of a common subject photographed by a plurality of cameras that photograph the periphery of the vehicle on the plurality of photographed images.
  • a first subject distance from the first subject to the common subject is calculated, and a second subject distance to a subject photographed by one of the plurality of cameras is calculated based on the first subject distance.
  • the captured image viewed from the plurality of cameras is converted into an image viewed from the reference position as one projection.
  • an image composition unit to be joined on the surface is provided to be joined on the surface.
  • the present invention can improve the visibility by reducing the degree of bending of the shape of the subject even at the boundary of the image between the cameras.
  • FIG. 1 is a block diagram showing a driving support device in Embodiment 1.
  • FIG. 3 is a diagram showing a camera attachment position to a vehicle in the first embodiment.
  • 6 is a diagram illustrating an example of a combined image in the first embodiment.
  • FIG. 6 is a diagram illustrating a correspondence between a steering angle of a steering wheel and an image cutout position according to Embodiment 1.
  • FIG. 6 is a block diagram illustrating a driving support device in a second embodiment.
  • 10 is a diagram illustrating a subject matching method according to Embodiment 2.
  • FIG. FIG. 10 is a diagram showing a shift in subject position that occurs when a plurality of camera images are combined in the second embodiment.
  • 10 is a diagram illustrating a projection plane correction method according to Embodiment 2.
  • FIG. 10 is a diagram illustrating a projection plane correction method according to Embodiment 2.
  • FIG. FIG. 10 is a block diagram illustrating a driving support device in a third embodiment.
  • FIG. 10 is a diagram illustrating a correspondence between a steering angle of a steering wheel and a cutout position of a vehicle rear image in the third embodiment.
  • FIG. 10 is a diagram illustrating a method for displaying a vehicle front image and a vehicle rear image in the third embodiment.
  • FIG. 1 is a block diagram illustrating a configuration of a driving support apparatus 100 according to the first embodiment.
  • the driving support apparatus 100 according to the present invention includes cameras 10, 11, 12, 13, a rudder angle detection unit 20, an image composition unit 30, an image cutout unit 32, and a display unit 40.
  • the driving support device 100 can further include a memory 31.
  • the image processing apparatus 80 according to the first embodiment includes an image composition unit 30. Further, the image processing apparatus 80 can include an image cutout unit 32.
  • the image processing apparatus 80 can include the memory 31.
  • the rudder angle detector 20 detects the steering angle of the vehicle.
  • “Handle cut angle” is an angle at which the handle is cut.
  • “Turning the steering wheel” means changing the traveling direction of the vehicle by turning the steering wheel. That is, the “handle turning angle” is an angle that represents the degree to which the traveling direction of the vehicle is changed by the angle at which the steering wheel is turned.
  • the image synthesizing unit 30 synthesizes the input images from the cameras 10, 11, 12, and 13 to generate an image that represents the entire circumference of the vehicle.
  • “compositing” means joining images taken by the cameras 10, 11, 12, and 13. Therefore, “compositing” does not include superimposing images taken by the cameras 10, 11, 12, and 13 on one image. Note that, in a region where both adjacent cameras are shooting, such as directions FR, FL, RR, and RL, which will be described later, a region of an image generated from each camera is determined in advance, and based on the setting of the region. , Select one camera image. Further, the image composition unit 30 can also compose the input images from the cameras 10, 11, 12, and 13 and generate an image representing a part of the periphery of the vehicle.
  • the memory 31 records the image data output from the image composition unit 30.
  • the image cutout unit 32 refers to the image stored in the memory 31, determines a cutout region according to the output value of the steering angle detection unit 20, and cuts out the image.
  • the display unit 40 displays the image cut out by the image cutout unit 32.
  • the display part 40 is arrange
  • Cut out image means to extract a part of an image.
  • the “cutout area” is an area from which an image is cut out.
  • FIG. 2 is a view of the vehicle as viewed from above.
  • FIG. 2 is a schematic diagram showing attachment positions of the cameras 10, 11, 12, and 13.
  • the image composition unit 30 performs viewpoint conversion and composition of images. Thereby, the image composition unit 30 generates an image in which the images of the four cameras 10, 11, 12, and 13 are all connected in the horizontal direction. In order to synthesize a plurality of camera images and generate a 360-degree horizontal image centered on one point, it is necessary to project each camera image onto one common virtual plane (projection plane). .
  • a thick solid line shows an example of a common projection plane 5 for projecting images of the cameras 10, 11, 12, and 13.
  • the projection plane 5 is a projection plane when images are combined.
  • the projection surface 5 has a circular shape with the center of the vehicle as the center O when viewed from above the vehicle.
  • the projection surface 5 is a cylindrical surface surrounding the vehicle.
  • the camera 10 is attached to the center of the front surface of the vehicle.
  • the camera 11 is attached to the center of the left side surface of the vehicle.
  • the camera 12 is attached to the center of the rear surface of the vehicle.
  • the camera 13 is attached to the center of the right side surface of the vehicle.
  • a field angle range 510 of the camera is a field angle range of the camera 10.
  • a field angle range 511 of the camera is a field angle range of the camera 11.
  • a field angle range 512 of the camera is a field angle range of the camera 12.
  • a field angle range 513 of the camera is a field angle range of the camera 13.
  • Camera angle-of-view ranges 510, 511, 512, and 513 are indicated by broken lines.
  • the “angle of view” is a range represented by an angle expressed by the camera. That is, the “view angle range” is a range captured by the camera.
  • the subject B photographed by the camera 10 is first considered to be at a position A where the straight line 53 connecting the camera 10 and the position of the subject B intersects the projection plane 5.
  • the viewpoint position is converted by obtaining the change in the subject position in the camera image when the viewpoint position moves from the position of the camera 10 to the vehicle center position O with respect to the subject B at the position A. That is, when the viewpoint position is moved from the position of the camera 10 to the center position O of the vehicle, a change in the position of the subject in the camera image of the subject B at the position A is obtained.
  • Subject position variation means that the position of the subject moves within the image.
  • the image composition unit 30 converts the viewpoint position when the images of the cameras 10, 11, 12, and 13 are connected. This is because the viewpoint positions of the cameras 10, 11, 12, and 13 are different.
  • the viewpoint position conversion is performed when the viewpoint position moves from the position of the camera 10, 11, 12, 13 to the center O of the vehicle.
  • the image composition unit 30 obtains the change in the position of the subject B in the camera image when the viewpoint position moves from the position of the camera 10 to the center O of the vehicle. That is, assuming that the subject B is at the position A and the subject B is in the direction from the center O of the vehicle to the position A, the viewpoint position is converted.
  • the same viewpoint position conversion is performed for images taken by the camera 11, the camera 12, and the camera 13. For example, in an area where the images of the cameras overlap, it is determined in advance that the image of either camera is adopted.
  • This generates images in the four directions of the front, rear, left and right of the vehicle from the viewpoint of the center O of the vehicle.
  • the four images generated in this way are joined at the boundary where the images between the cameras are switched.
  • the portion where the images between the cameras 10, 11, 12, and 13 are switched is a portion in the oblique direction of the vehicle.
  • the “slanting direction of the vehicle” refers to a direction of 45 degrees on the front right side, a direction of 45 degrees on the left side of the front, a direction of 45 degrees on the right side on the rear side, and a direction of 45 degrees on the left side on the rear side. . That is, there are four directions FR, FL, RR, and RL shown in FIG.
  • FIG. 3 is a diagram showing an image generated using such a projection method.
  • the projection surface 5 is composed of a gentle curved surface. As described above, in FIG. 2, the projection surface has a circular shape when viewed from above the vehicle. As a result, it is possible to obtain a composite image in which the shape of the subject is maintained at the boundary between the images of the cameras 10, 11, 12, and 13, and the subject shape close to that when the driver directly recognizes the entire shape is maintained. Is possible.
  • the projection surface 5 may not be circular as shown in FIG. 2 as long as it is a gentle curved surface. This is because the shape of the subject will not bend if it is a “smooth surface”.
  • the image cutout unit 32 receives an output signal from the steering angle detection unit 20.
  • the output signal from the steering angle detection unit 20 is received via the memory 31.
  • the image cutout unit 32 may receive the output signal from the steering angle detection unit 20 directly.
  • the image cutout unit 32 performs a process of switching the image cutout range 62 (see FIG. 4) according to the steering angle of the steering wheel. That is, the image cutting position is changed according to the steering angle of the steering wheel.
  • the “steering angle” is an angle at which the steering wheel is turned.
  • FIG. 4 is a diagram showing the correspondence between the steering angle of the steering wheel and the image cutout position.
  • FIG. 4A shows a case where the steering angle of the steering wheel is 0 degree.
  • FIG. 4B shows a case where the steering angle of the steering wheel is 10 degrees on the left side.
  • FIG. 4C shows a case where the steering angle of the steering wheel is 10 degrees on the right side.
  • the image cutout unit 32 cuts out images at equal distances from the center 61 of the composite image 6 corresponding to the front of the vehicle. “Left and right equidistant” means that the distance from the left side is equal to the distance from the right side.
  • the image cutout unit 32 moves the image cutout range 62 to the left.
  • the handle is turned to the right (FIG. 4C)
  • the image cutout unit 32 moves the image cutout range 62 to the right.
  • the correspondence between the steering angle of the steering wheel and the cutting position may be obtained by an arithmetic expression so that the cutting position continuously moves in proportion to the steering angle of the steering wheel.
  • the correspondence between the steering angle of the steering wheel and the cutout position may be a case-by-case process in which a specific cutout position is made to correspond to the steering angle of the steering wheel within a certain range.
  • the display unit 40 displays the cut image on the display screen and presents the front image to the driver.
  • the driving support device 100 configured in this way can display an image ahead of the vehicle in the traveling direction according to the steering angle of the steering wheel.
  • the driving assistance device 100 can improve the visibility of the presence or absence of an obstacle behind the vehicle that is difficult to check due to being blocked by the center pillar of the host vehicle or the like.
  • the “own vehicle” is a vehicle on which the driver is on board.
  • a “pillar” is a pillar of a window on an automobile door or the like.
  • the “center pillar” is the central pillar of a car door.
  • the shape of the subject can be prevented from being bent at the boundary portions between the images of the cameras 10, 11, 12, and 13, and an image in which the shape of the subject close to the case where the driver can directly view the image can be displayed. Thereby, it is possible to improve the visibility with respect to the surrounding situation of a driver
  • FIG. FIG. 5 is a block diagram showing a configuration of driving support apparatus 110 in the second embodiment.
  • the driving support apparatus 110 according to the present invention includes cameras 10, 11, 12, 13, a steering angle detection unit 20, an image composition unit 30, an image cutout unit 32, a distance information acquisition unit 35, and a display unit 40.
  • the driving support device 110 can further include a memory 31.
  • the image processing apparatus 81 according to the second embodiment includes an image composition unit 30 and a distance information acquisition unit 35. Further, the image processing device 81 can include the image cutout unit 32.
  • the image processing device 81 can include the memory 31.
  • the driving support device 110 is different from the driving support device 100 in that it includes a distance information acquisition unit 35.
  • the cameras 10, 11, 12, 13, the steering angle detection unit 20, the image composition unit 30, the image cutout unit 32, the display unit 40, and the memory 31 of the driving support device 110 are the cameras 10, 11, 12, 13, the steering angle detection unit 20, the image composition unit 30, the image cutout unit 32, the display unit 40, and the memory 31 have the same functions.
  • the contents described in the driving support device 100 are the same as those described in the driving assistance device 100 unless otherwise described. Further, the definition of terms is the same as that of Embodiment 1 unless otherwise explained.
  • the rudder angle detector 20 detects the steering angle of the vehicle.
  • the image synthesizing unit 30 synthesizes input images from the cameras 10, 11, 12, and 13 and generates an image that represents the periphery of the vehicle over the entire circumference.
  • the memory 31 records the image data output from the image composition unit 30.
  • the image cutout unit 32 refers to the image stored in the memory 31, determines a cutout region according to the output value of the steering angle detection unit 20, and cuts out the image.
  • the distance information acquisition unit 35 refers to the same subject portion of the images of the adjacent cameras 10, 11, 12, and 13, and reaches the subject based on the position of the subject on the images of the cameras 10, 11, 12, and 13. The distance is calculated.
  • the display unit 40 displays the clipped image.
  • Cameras 10, 11, 12, and 13 are attached to the front, rear, left and right of the vehicle as in the first embodiment.
  • the cameras 10, 11, 12, 13 are arranged so that the camera angle of view of the four cameras 10, 11, 12, 13 includes all directions around the vehicle. “All directions around the vehicle” means a direction of 360 degrees around the vehicle.
  • the distance information acquisition unit 35 performs subject matching on the images of two adjacent cameras. Then, the distance information acquisition unit 35 calculates the subject distance.
  • the distance information acquisition unit 35 is a distance to the common subject B based on the positions of the common subject B taken by the plurality of cameras 10, 11, 12, and 13 that photograph the periphery of the vehicle on the plurality of captured images. Is calculated.
  • FIG. 6 is an explanatory diagram showing a subject matching method.
  • FIG. 6A shows an image of the left camera when the images are combined.
  • FIG. 6B is an image of the right camera when the images are combined.
  • the distance information acquisition unit 35 designates, as candidates, a plurality of areas where the same subject is photographed in two camera images in consideration of camera image distortion and subject distance.
  • the portion surrounded by the frame shows an example of the matching frame for the camera image.
  • a matching process is performed based on the image information in the matching frame.
  • the area indicated by the matching frame is set as a matching area.
  • the distance information acquisition unit 35 designates one matching region 63L.
  • the distance information acquisition unit 35 designates three matching areas 63A, 63B, and 63C.
  • the distance information acquisition unit 35 performs matching at a plurality of positions (matching areas 63A, 63B, 63C) designated for the matching area 63L. Then, the distance information acquisition unit 35 determines that the subject distance corresponding to the region with the largest matching result is the correct subject distance.
  • the “region with the largest matching result” is the most matched region.
  • the matching region 63B of the image 64R of the right camera is the most matched region.
  • the “subject distance” indicates the distance from the vehicle center O of the subject B in the matching area. Assume that the subject distance values corresponding to the matching area 63A, the matching area 63B, and the matching area 63C are calculated in advance.
  • the matching area 63B is a matching area of the right camera image 64R.
  • the matching area 63L is a matching area of the left camera image 64L.
  • the camera 10 is a left camera.
  • the camera 13 is a right camera. It shows the object B as the subject B 1.
  • the optical axis of the camera 10 is the optical axis OA 10 .
  • the “left camera optical axis” is the optical axis OA 10 .
  • “An angle formed by a straight line connecting the left camera and the subject B with respect to the optical axis of the left camera” is an angle ⁇ . That is, the angle formed between the optical axis OA 10 of the camera 10 and the direction of the subject B 1 starting from the position of the camera 10 is the angle ⁇ .
  • Optical axis of the camera 13 is an optical axis OA 13.
  • the “optical axis of the right camera” is the optical axis OA 13 .
  • “An angle formed by a straight line connecting the right camera and the subject B with the optical axis of the right camera” is an angle ⁇ . That is, the angle formed by the optical axis OA 13 of the camera 13 and the direction of the subject B 1 starting from the position of the camera 13 is the angle ⁇ .
  • a position C 10 indicates the position of the subject B 1 on the image of the camera 10.
  • Subject B 1 represents lies on a straight line S 10 connecting the position C 10 and camera 10. Therefore, it is possible to determine the angular ⁇ from the position C 10.
  • the position C 13 indicates the position of the subject B 1 on the image of the camera 13.
  • Subject B 1 represents lies on the straight line S 13 connecting the camera 13 and the position C 13. Therefore, it is possible to determine the angular ⁇ from position C 13.
  • the distance of the subject can be calculated based on the angle from the optical axis of the two cameras (left camera and right camera) to the subject.
  • the “subject distance” is the distance from the center O of the vehicle to the subject B.
  • a description will be given of cameras 10 and 13 shown in FIG. "Subject distance” is the distance from the center O of the vehicle to the object B 1.
  • the angles ⁇ and ⁇ are obtained based on the right camera image 64R and the left camera image 64L.
  • Position of the object B 1 represents, a position of intersection of the straight line S 10 and the straight line S 13.
  • the positions of the cameras 10 and 13 and the position of the center O of the vehicle are known.
  • the optical axes OA 10 and OA 13 are also known.
  • the coordinates of the position of the subject B1 can be obtained based on the coordinates of the positions of the cameras 10 and 13, the coordinates of the position of the center O of the vehicle, the optical axes OA 10 and OA 13, and the angles ⁇ and ⁇ .
  • a straight line S 10 can be drawn from the position of the coordinates of the camera 10.
  • the distance information acquisition unit 35 is located at the positions of the plurality of cameras 10, 11, 12, 13, the reference direction of each of the plurality of cameras 10, 11, 12, 13 and the common subject B with respect to the reference direction.
  • the position of the subject B is obtained based on the direction angle.
  • the matching region is the matching region 63A or the matching region 63C. Accordingly, the matching area 63L is fixed, and subject distances DA, DB, and DC corresponding to the matching areas 63A, 63B, and 63C of the right camera 64R with respect to the matching area 63L of the left camera 64L are calculated and held in advance. . Then, the subject distance can be calculated without performing the calculation for calculating the distance corresponding to each matching area each time.
  • the subject distances DA, DB, and DC here are distances from the center O of the vehicle to the subject B.
  • the matching region 63L is fixed to one, but a plurality of matching regions can be set.
  • the matching area is limited to the area where the same subject is photographed, the amount of calculation can be reduced.
  • An example of the matching method is a template matching method.
  • a method of extracting feature points such as edges or vertices of an image and measuring the degree of coincidence of the feature points can be used.
  • the image composition unit 30 performs viewpoint conversion and composition of images. Thereby, the image composition unit 30 generates an image in which the images of the four cameras 10, 11, 12, and 13 are all connected in the horizontal direction. In order to synthesize a plurality of camera images and generate a 360-degree horizontal image centered on one point, it is necessary to project each camera image onto one common virtual plane (projection plane). .
  • the image composition unit 30 refers to the subject distance information calculated by the distance information acquisition unit 35 to improve the composition accuracy.
  • FIG. 7 is a diagram showing the displacement of the subject position that occurs when combining images from a plurality of cameras.
  • the subject position shift here is that the position of the subject B projected on the projection surface 73 differs depending on the positional relationship between the subject B and the projection surface 73.
  • 7A shows a viewpoint conversion method in the case where the subject B at the subject position 74 is projected onto the projection plane 73 of the subject at a position close to the subject position 74.
  • FIG. FIG. 7B shows a viewpoint conversion method when the subject B at the subject position 74 is projected onto the projection plane 73 of the subject at a position far from the subject position 74.
  • the subject projection plane 73 is closer to the camera position 72 than the subject position 74.
  • the projection plane 73 of the subject is located closer to the center position 71 at the time of image composition than the subject position 74.
  • a position A indicates a position where the subject B is projected onto the projection plane 73.
  • a straight line 54 connecting the camera position 72 and the subject position 74 indicates the direction of the subject in the image taken by the camera. That is, the straight line 54 indicates the direction of the subject B from the camera position 72. Further, a straight line 55 that connects the center position 71 at the time of image composition and the position 74 of the subject indicates the direction of the subject in the image viewed from the center position 71 at the time of image composition after the viewpoint conversion processing. That is, the straight line 55 indicates the direction of the subject B from the center position 72.
  • the image composition unit 30 generates a projection plane with reference to a common reference position for the plurality of cameras 10, 11, 12, and 13, and projects the subject at a position where a straight line connecting the reference position and the subject B intersects the projection plane. .
  • the image composition unit 30 joins a plurality of captured images on one projection plane based on the distance to the common subject B.
  • the image composition unit 30 corrects the position A of the subject on the projection plane based on the distance to the common subject B.
  • each camera image is projected onto one common plane.
  • the camera position 72 and the center position 71 of the projection plane are different. That is, the camera position 72 and the center position 71 at the time of image composition are different. For this reason, even if the subject is in the same position on the camera, the correct projection position differs depending on the subject distance.
  • the projection position A of the subject B is close to the straight line 54.
  • the projection position A of the subject B is far from the straight line 54. Due to the difference in the projection position of the subject B, a phenomenon that the subject is missing occurs at the boundary portion between the cameras of the composite image. Alternatively, a phenomenon of double copying occurs at the boundary portion between the cameras of the composite image. For this reason, the distance from the center position 71 of the projection plane 73 to the subject B is calculated, and the position of the subject B on the projection plane 73 is determined.
  • the subject distance information calculated by the distance information acquisition unit 35 it is possible to obtain subject distance information for a subject in a direction in which the angle of view between adjacent cameras overlaps. That is, it is possible to obtain subject distance information from a subject located at a portion where the angle of view between adjacent cameras overlaps. That is, when the four cameras 10, 11, 12, 13 are attached to the front, rear, left, and right of the vehicle, the front right direction FR, the front left direction FL, the rear right direction RR, and the rear left side.
  • the direction RL information on the subject distance can be obtained.
  • the directions FR, FL, RR, and RL are directions based on the center O of the vehicle.
  • the direction between the front right direction FR and the front left direction FL the direction between the front left direction FL and the rear left direction RL, the rear left direction RL and the rear right direction RR.
  • the information on the subject distance cannot be obtained in the direction between and the direction between the rear right side direction RR and the front right side direction FR. Therefore, using the subject distance information of the four directions FR, FL, RR, and RL between adjacent cameras, a projection plane is generated that has an interpolated distance for an intermediate angle to project an image. Do. “Interpolation” is to obtain a function value or approximate value for an arbitrary point between two points.
  • the “intermediate angle” refers to angles other than the four directions FR, FL, RR, and RL at which the subject distance information can be obtained by the distance information acquisition unit 35 when viewed from the center O of the vehicle. That is, the intermediate angle is the angle between the front right direction FR and the front left direction FL, the angle between the front left direction FL and the rear left direction RL, the rear left direction RL and the rear right side. The angle between the direction RR and the angle between the rear right direction RR and the front right direction FR.
  • the “interpolated distance” is to obtain the correspondence between the angle and the distance by linear interpolation from the distance information of the two subjects for which the distance information closest to the subject is obtained when obtaining the distance of the subject at a certain angle. It shows that. That is, “generate a projection plane having an interpolated distance for an intermediate angle” means subject distances of subjects existing in the four directions FR, FL, RR, and RL obtained by the distance information acquisition unit 35. Based on the information, the subject distance in the other direction is obtained.
  • a method for obtaining the subject distance of a subject in a direction other than the directions FR, FL, RR, and RL will be described below.
  • the two directions closest to the subject for which the subject distance is to be obtained are selected from the directions FR, FL, RR, and RL.
  • the subject distance is in a linear relationship with the angle from the distance information of the subject whose distance information exists in the two selected directions, and is obtained using linear interpolation.
  • the “angle” is an angle indicating the direction of the subject.
  • FIG. 8 shows a method for correcting the projection plane.
  • FIG. 8 is a view of the vehicle as viewed from above.
  • a surface indicated by a thick solid line shows an example of a common projection surface for projecting images of the cameras 10, 11, 12, and 13.
  • the camera 10 is attached to the center of the front surface of the vehicle.
  • the camera 11 is attached to the center of the left side surface of the vehicle.
  • the camera 12 is attached to the center of the rear surface of the vehicle.
  • the camera 13 is attached to the center of the right side surface of the vehicle.
  • the field angle range 510 of the camera is the field angle range of the camera 10.
  • a field angle range 511 of the camera is a field angle range of the camera 11.
  • a field angle range 512 of the camera is a field angle range of the camera 12.
  • a field angle range 513 of the camera is a field angle range of the camera 13.
  • Camera angle-of-view ranges 510, 511, 512, and 513 are indicated by broken lines.
  • Projection planes 51 and 52 are projection planes when images are combined.
  • the uncorrected projection surface 51 is corrected to the corrected projection surface 52 by a process described later.
  • the projection surfaces 51 and 52 have, for example, a circular shape centered on the center O of the vehicle when viewed from above the vehicle.
  • the image composition unit 30 uses the distance information of the subject obtained from the distance information acquisition unit 35 to correct the surface (projection surface) on which the camera image is projected for a portion where the angle of view between adjacent cameras overlaps. .
  • the corrected projection plane is not a circle centered on the center O of the vehicle as in the above-described projection plane.
  • a projection plane that reflects the actual subject distance can be set. That is, the corrected projection plane is obtained by changing the shape of the projection plane according to the subject whose subject distance is calculated in the four directions FR, FL, RR, and RL.
  • the actual subject distance differs from the projection plane distance, resulting in subject omission at the boundary of the composite image, or double copying. Occurrence of dew can be suppressed.
  • the shape and position of the corrected projection plane change each time.
  • the corrected projection plane 52 is corrected so that the direction FR on the front right side of the vehicle is closer to the front than the projection plane 51 before correction. Similarly, the corrected projection plane 52 is corrected such that the image in the direction RR on the rear right side of the vehicle is on the front side. Further, the corrected projection plane 52 is corrected so that the front left direction FL of the vehicle is the back side with respect to the projection plane 51 before correction. Similarly, the corrected projection plane 52 corrects the image in the direction RL on the rear left side of the vehicle to the back side. For the intermediate angle, the projection plane is corrected by interpolating the distance to the subject.
  • the “near side” indicates a direction close to the vehicle.
  • the “back side” indicates a direction far from the vehicle.
  • the distance to a subject whose distance is unknown between two common subjects photographed by one camera is linearly interpolated by the correspondence between the distance and angle to the two common subjects sandwiching the subject whose distance is unknown And ask.
  • FIG. 8 shows the subject of the intermediate angle by the object B 2.
  • L L 1 + (L 2 ⁇ L 1 ) ⁇ (k 2 ⁇ k 1 ) / (k ⁇ k 1 ) (1)
  • the angle k is an angle indicating the direction of the subject B for which the distance L is obtained. That is, the straight line connecting the center O of the vehicle and the subject B is an angle formed with the reference axis passing through the center O of the vehicle.
  • Angle k 1 is the closest object distance information on the angle k in the right side of the angle k the subject B is an angle showing a known direction.
  • Angle k 2 is the closest object distance information on the angle k in the left side of the angle k the subject is an angle showing a known direction. That is, the angles k 1 and k 2 are angles formed by a straight line connecting the vehicle center O and a known position with a reference axis passing through the vehicle center O.
  • the optical axis OA 10 of the camera 10 is used as a reference axis.
  • the object B is an object B 2.
  • the “direction in which subject distance information is known” is, for example, four directions FR, FL, RR, and RL.
  • the distance L indicates the distance to the subject corresponding to the angle k.
  • the distance L 1 represents a distance to the object corresponding to the angle k 1.
  • the distance L 2 denotes a distance to the object corresponding to the angle k 2.
  • the distance of the subject B 1 existing in the direction FR is shorter than the distance of the subject B 3 existing in the direction FL. For this reason, the front side direction FR of the vehicle is corrected to the near side. The front left direction FL of the vehicle is corrected to the back side. Thus, the projection surface 51 is corrected to the projection surface 52.
  • the amount of angle conversion between the left and right projection planes is based on the direction in which the subject distance information is known in order to connect the projection planes smoothly. It is also possible to perform an interpolation method in which the amount of change in distance with respect to is the same.
  • the projection plane is moved so as to correspond to a curve smoothly connecting the subject B1 and the subject B3.
  • the distance information of the subject in each of the left and right directions with respect to the angle to be interpolated is referred to, and interpolation using a cubic function is performed.
  • L ak 3 + bk 2 + ck + d
  • the coefficients a, b, c, and d are determined so as to satisfy the following expressions (3), (4), (5), and (6).
  • L 1 ak 1 3 + bk 1 2 + ck 1 + d (3)
  • L 2 ak 2 3 + bk 2 2 + ck 2 + d (4)
  • L 3 ak 3 3 + bk 3 2 + ck 3 + d (5)
  • L 4 ak 4 3 + bk 4 2 + ck 4 + d (6)
  • the angle k is an angle indicating the direction of the subject whose distance L is to be obtained.
  • the angle k 1 is an angle indicating the direction in which the subject distance information closest to the angle k on the right side of the angle k is known. In Figure 8, it is the angle relative to the reference axis OA 10 direction FR.
  • Angle k 2 is the closest object distance information on the angle k than the angle k in the left side is an angle indicating the known direction. In FIG. 8, it is an angle with respect to the reference axis OA 10 in the direction FL.
  • Angle k 3 are subject distance information second closest to the angle k than the angle k in the right side is the angle indicating the known direction. In FIG.
  • the angle k 4 is an angle indicating the direction in which subject distance information that is the second closest to the angle k on the left side of the angle k is known. In Figure 8, it is the angle relative to the reference axis OA 10 direction RL.
  • the “direction in which subject distance information is known” is, for example, four directions FR, FL, RR, and RL.
  • the distance L indicates the distance from the vehicle center O of the subject existing at the angle k to the subject.
  • the distance L 1 indicates the distance from the vehicle center O of the subject existing at the angle k 1 to the subject.
  • the distance L 2 indicates the distance from the vehicle center O of the subject existing at the angle k 2 to the subject.
  • the distance L 3 indicates the distance from the vehicle center O of the subject existing at the angle k 3 to the subject.
  • the distance L 4 indicates the distance from the vehicle center O of the subject existing at the angle k 4 to the subject.
  • the projection surface can always be circular.
  • the center position and radius of the projection plane are calculated by, for example, a least square method using a combination of an angle indicating the direction of a subject whose distance information is known and a subject distance of a subject whose distance information is known.
  • FIG. 9 is a diagram illustrating a method for correcting the projection plane.
  • the projection surface 51 before correction has a circular shape with the center O as the center.
  • the center O indicates the center position of the vehicle.
  • the projection surface 51 before correction is indicated by a broken line.
  • the corrected projection plane 52 has a circular shape with the center P as the center.
  • a radius R indicates the radius of the projection surface 52 after correction.
  • the corrected projection plane 52 is indicated by a solid line.
  • Points 201, 202, 203, and 204 indicate the positions of subjects whose distance information of the subject is known.
  • the points 201, 202, 203, and 204 have known subject direction and distance information.
  • an index value is X when determining a circle to be a projection plane using the least square method.
  • the value X is based on the distance between the positions 205, 206, 207, and 208 and the distance between the points 201, 202, 203, and 204 whose distance information is known, and the value of the difference between the position 205 and the point 201,
  • the distance difference value between 202, the distance difference value between the position 207 and the point 203, and the distance difference value between the position 208 and the point 204 are squared and added.
  • the distances of the positions 205, 206, 207, 208 are distances from the center O of the vehicle to the positions 205, 206, 207, 208.
  • the distance between the points 201, 202, 203, and 204 is a distance from the center O of the vehicle to the points 201, 202, 203, and 204.
  • Positions 205, 206, 207, and 208 are on the straight lines 56 and 57 that connect the center O of the vehicle and the points 201, 202, 203, and 204 whose distance information is known, and the corrected projection plane 52 has the straight lines 56 and 57. It is a position where it intersects.
  • the center P and the radius R of the corrected projection plane 52 are determined so that the value X is minimized.
  • the image cutout unit 32 receives the output signal from the steering angle detection unit 20 as in the first embodiment.
  • the output signal from the image composition unit 30 is received via the memory 31.
  • the image cutout unit 32 may receive the output signal from the image composition unit 30 directly.
  • the image cutout unit 32 performs a process of switching the image cutout range according to the steering angle of the steering wheel.
  • the image cutout unit 32 cuts out images that are equidistant from the center of the composite image corresponding to the front of the vehicle.
  • the image cutout unit 32 moves the image cutout range to the right.
  • the image cutout unit 32 moves the image cutout range to the left.
  • the correspondence between the steering angle of the steering wheel and the cutting position may be obtained by an arithmetic expression so that the cutting position continuously moves in proportion to the steering angle of the steering wheel.
  • the correspondence between the steering angle of the steering wheel and the cutout position may be a case-by-case process in which a specific cutout position is made to correspond to the steering wheel steering angle within a certain range.
  • the image cutout position moves continuously.
  • the case-separation process the cutout position of the image moves discontinuously.
  • the processing amount can be reduced as compared with the case where the arithmetic expression is used. In the case where the visibility of the driver is not hindered, there is an advantage that the processing is faster when the case-by-case processing is used.
  • the display unit 40 displays the cut image on the display screen and presents the front image to the driver.
  • the distance information acquisition unit 35 is based on the positions of the common subject B captured by the plurality of cameras 10, 11, 12, and 13 capturing the periphery of the vehicle on the plurality of captured images.
  • a subject distance (first subject distance) from the reference position O to the common subject B is calculated, and one of the plurality of cameras 10, 11, 12, 13 is calculated based on the subject distance (first subject distance).
  • a subject distance (second subject distance) to a subject photographed by two cameras is calculated.
  • the image composition unit 30 is based on the first subject distance (subject distance from the reference position O to the common subject B) and the second subject distance (subject distance to the subject photographed by one camera). Photographed images with a plurality of cameras 10, 11, 12, and 13 as viewpoints are converted into images with a reference position O as a viewpoint, and are connected on one projection plane.
  • the distance information acquisition unit 35 includes the positions of the cameras 10, 11, 12, 13, the reference direction of the cameras 10, 11, 12, 13, the angle of view of the cameras 10, 11, 12, 13, and the common angle Based on the position of the subject on the captured image, the common subject direction for the cameras 10, 11, 12, and 13 is obtained, and the common subject position obtained from the common subject direction for two or more cameras is used. The first subject distance (the subject distance from the reference position O to the common subject B) is calculated.
  • the image composition unit 30 arranges the subject B at a position where a straight line connecting the reference position O and the subject B intersects the projection plane.
  • the distance information acquisition unit 35 uses the second subject distance (subject distance to the subject photographed with one camera) and the second subject distance (subject distance to the subject photographed with one camera).
  • the image composition unit 30 squares the value of the difference between the distance from the reference position O to the projection plane of the plurality of common subjects and the first subject distance (the subject distance from the reference position O to the common subject B).
  • the projection plane is changed so that the added value becomes the smallest.
  • the driving support device 110 configured as described above measures the distance to the subject and synthesizes the image. Accordingly, the driving support device 110 can generate a high-quality composite image in which a double copy of a subject or a lack of a subject is reduced in an image composition portion between adjacent cameras. And the driving assistance apparatus 110 can improve the visibility with respect to the surrounding condition of a driver
  • FIG. 10 is a block diagram showing a configuration of driving support apparatus 120 in the third embodiment.
  • the driving support device 120 includes cameras 10, 11, 12, 13, a steering angle detection unit 20, an image composition unit 30, a front image cutout unit 33, a rear image cutout unit 34, and a display unit 40.
  • the driving support device 120 can further include a memory 31.
  • the image processing apparatus 82 includes an image composition unit 30. Further, the image processing device 82 can include a front image cutout unit 33 and a rear image cutout unit 34. The image processing device 82 can include the memory 31.
  • the driving support device 120 differs from the driving support device 100 in that the image cutout unit 32 includes a front image cutout unit 33 and a rear image cutout unit 34.
  • the cameras 10, 11, 12, 13, the steering angle detection unit 20, the image synthesis unit 30, the display unit 40, and the memory 31 of the driving support device 120 are the cameras 10, 11, 12, 13, steering angle detection of the driving support device 100.
  • the same function as the unit 20, the image composition unit 30, the display unit 40, and the memory 31 is provided.
  • the contents described in the driving support device 100 are the same as those described in the driving assistance device 100 unless otherwise described.
  • the definition of terms is the same as that of Embodiment 1 unless otherwise explained.
  • the front image cutout unit 33 and the rear image cutout unit 34 of the third embodiment may be employed in the driving support device 110 of the second embodiment.
  • the image cutout unit 32 of the driving support device 120 includes a front image cutout unit 33 and a rear image cutout unit 34.
  • Cameras 10, 11, 12, and 13 photograph the periphery of the vehicle.
  • the rudder angle detector 20 detects the steering angle of the vehicle.
  • the image synthesizing unit 30 synthesizes input images from the cameras 10, 11, 12, and 13 and generates an image in which the periphery of the vehicle is recorded over the entire circumference.
  • the memory 31 records the image data output from the image composition unit 30.
  • the forward image cutout unit 33 refers to the image stored in the memory 31, determines a cutout region according to the output value of the steering angle detection unit 20, and cuts out an image corresponding to the front of the vehicle.
  • the rear image cutout unit 34 refers to the image stored in the memory 31, determines a cutout region according to the output value of the steering angle detection unit 20, and cuts out an image corresponding to the rear of the vehicle.
  • the display unit 40 displays the clipped image.
  • Cameras 10, 11, 12, and 13 are attached to the front, rear, left and right of the vehicle as in the first embodiment.
  • the cameras 10, 11, 12, 13 are arranged so that the camera angle of view of the four cameras 10, 11, 12, 13 includes all directions around the vehicle. “All directions around the vehicle” means a direction of 360 degrees around the vehicle.
  • the image composition unit 30 generates an image in which the images of the four cameras 10, 11, 12, and 13 are all connected in the horizontal direction by performing viewpoint conversion and composition of the image as in the first embodiment.
  • the front image cutout unit 33 receives an output signal from the steering angle detection unit 20. In FIG. 10, an output signal from the steering angle detection unit 20 is received via the memory 31. Then, the front image cutout unit 33 performs a process of switching the image cutout range according to the steering angle of the steering wheel. In a state where the steering wheel is not cut, the front image cutout unit 33 cuts out an image equidistant from the center of the composite image corresponding to the front front of the vehicle. “Left and right equidistant” means that the distance from the left side is equal to the distance from the right side. When the handle is turned to the right, the front image cutout unit 33 moves the image cutout range to the right. When the handle is turned to the left, the front image cutout unit 33 moves the image cutout range to the left.
  • the correspondence between the steering angle of the steering wheel and the cutting position may be obtained by an arithmetic expression so that the cutting position continuously moves in proportion to the steering angle of the steering wheel.
  • the correspondence between the steering angle of the steering wheel and the cutout position may be a case-by-case process in which a specific cutout position is made to correspond to the steering wheel steering angle within a certain range.
  • the image cutout position moves continuously.
  • the case-separation process the cutout position of the image moves discontinuously.
  • the processing amount can be reduced as compared with the case where the arithmetic expression is used. In the case where the visibility of the driver is not hindered, there is an advantage that the processing is faster when the case-by-case processing is used.
  • the rear image cutout unit 34 receives an output signal from the steering angle detection unit 20. In FIG. 10, an output signal from the steering angle detection unit 20 is received via the memory 31. Then, the rear image cutout unit 34 performs a process of switching the image cutout range according to the steering angle of the steering wheel. In a state where the steering wheel is not cut, the rear image cutout unit 34 cuts out an image equidistant from the left and right from the center of the composite image corresponding to the front face behind the vehicle. When the handle is turned to the right, the rear image cutout unit 34 moves the image cutout range to the left. When the handle is turned to the left, the rear image cutout unit 34 moves the image cutout range to the right.
  • the “rear front” refers to a 180-degree rearward direction from the front in the case of facing the front from the viewpoint position. In other words, it is just behind.
  • the correspondence between the steering angle of the steering wheel and the cutting position may be obtained by an arithmetic expression so that the cutting position continuously moves in proportion to the steering angle of the steering wheel.
  • the correspondence between the steering angle of the steering wheel and the cutout position may be a case-by-case process in which a specific cutout position is made to correspond to the steering wheel steering angle within a certain range.
  • the image cutout position moves continuously.
  • the case-separation process the cutout position of the image moves discontinuously.
  • the processing amount can be reduced as compared with the case where the arithmetic expression is used. In the case where the visibility of the driver is not hindered, there is an advantage that the processing is faster when the case-by-case processing is used.
  • the left end and the right end of the composite image are the front of the back of the image. That is, it becomes an image of the front when the driver looks back and looks back.
  • an image in which the left end and the right end of the image are connected is generated.
  • a rear image different from the front image when the driver looks back and looks back is generated.
  • the left-right direction of the driver facing forward is matched with the left-right direction of the rear image. In other words, if the driver looks back and displays the image as it is, the left and right direction of the driver looking forward and the left and right direction of the image are opposite and do not match.
  • the image cutout unit 33 cuts out an image and performs a process of generating an image joined at the connection portion. Also, for the rear image, in order not to be confused when the driver confirms the image, a process is performed in which the left and right directions viewed from the driver and the left and right direction of the image are matched so that the images are horizontally reversed. . “Left and right inversion” is to interchange the left side and the right side.
  • the “left-right direction as viewed from the driver” means that the left-right direction when the driver looks at the front of the vehicle coincides with the left-right direction of the rear image. For this reason, the “rear image” is not the same as the image seen when the driver looks back.
  • FIG. 11 is a diagram for explaining the correspondence between the steering angle of the steering wheel and the cutout position of the rear image of the vehicle.
  • the cutout position of the image is changed according to the steering angle of the steering wheel.
  • the handle is not cut (FIG. 11 (A))
  • areas equidistant from the left end and the right end of the image are cut out, and are reversed and joined.
  • the joined image 67 an image 66A obtained by horizontally inverting the cut image 65A and an image 66B obtained by horizontally inverting the cut image 65B are joined. That is, the left end 65AL of the cutout image 65A and the right end 65BR of the cutout image 65B are connected.
  • the right side of the joined image 67 is the left end 65BL, and the left side of the joined image 67 is the right end 65AR.
  • joining has the same meaning as “synthesis”.
  • Compositing means joining images together. Therefore, “compositing” does not include superimposing images taken by the cameras on one image.
  • FIG. 11A shows the case where the steering angle of the steering wheel is 0 degree.
  • the cut-out images 65A and 65B when combining the cut-out images 65A and 65B, the cut-out images 65A and 65B are combined in the left-right direction.
  • the extracted image 65A and the extracted image 65B have the same width.
  • FIG. 11B shows a case where the steering angle of the steering wheel is 10 degrees on the left side.
  • the cut-out images 65A and 65B are combined, the cut-out images 65A and 65B are combined while being reversed left and right.
  • the width of the cutout image 65A is wide and the width of the cutout image 65B is narrow.
  • 11C shows a case where the steering angle of the steering wheel is 10 degrees on the right side.
  • the cut-out images 65A and 65B are combined while being horizontally reversed.
  • the width of the cutout image 65A is narrow and the width of the cutout image 65B is wide.
  • the image cutout unit 32 cuts out a part of the image on the projection surface. Assuming that the left side is the left side with respect to the front of the vehicle and the right side is the right side with respect to the front of the vehicle, the image cutout unit 32 displays the image projected on the projection plane behind the vehicle. Cut the left image 65A and the right image 65B of the cut position.
  • the image composition unit 30 arranges the left image 65A so that the cut-out position 65AL is on the left side, and arranges the right image 65B so that the cut-out position 65BR is on the right side.
  • the left and right sides of the image 65B are switched to connect the cut positions 65AL and 65BR of the left image 65A and the right image 65B.
  • the image cutout unit 32 moves the cutout position in the same direction as the steering angle of the vehicle when the cutout position of the cutout image is in front of the vehicle. When the cutout position is behind the vehicle, the image cutout unit 32 moves the cutout position in the direction opposite to the steering angle of the vehicle.
  • the display unit 40 performs screen display of the clipped image.
  • the display unit 40 joins the front image and the rear image and presents them to the driver.
  • FIG. 12 is a diagram illustrating a method for displaying an image in front of the vehicle and a method for displaying an image in the rear of the vehicle.
  • the vehicle front image 42 and the vehicle rear image 43 are simultaneously displayed on the display screen 41 of the display unit 40.
  • a front image 42 of the vehicle is displayed on the upper side of the display screen 41.
  • a rear image 43 of the vehicle is displayed on the lower side of the display screen 41.
  • the driving support device 120 configured as described above can confirm an image in front of the traveling direction of the vehicle according to the steering angle of the steering wheel. And the driving assistance device 120 can improve the visibility of the presence of obstacles and other vehicles obliquely ahead of the vehicle and behind the vehicle that are difficult to check due to being blocked by the pillar of the host vehicle.
  • the presence or absence of obstacles or other vehicles in front of the vehicle and the presence or absence of obstacles or other vehicles in the rear of the vehicle can be confirmed simultaneously in one screen.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

　画像処理装置８１は、距離情報取得部３５および画像合成部３０を備える。距離情報取得部３５は、車両の周辺を撮影する複数のカメラで１０，１１，１２，１３撮影された共通の被写体の複数の撮影画像上での位置を基に車両の基準位置Ｏから共通の被写体までの第１の被写体距離を算出し、第１の被写体距離を基に複数のカメラ１０，１１，１２，１３の内の１つのカメラで撮影された被写体までの第２の被写体距離を算出する。画像合成部３０は、第１の被写体距離及び第２の被写体距離を基に複数のカメラ１０，１１，１２，１３を視点とした撮影画像を、基準位置Ｏを視点とした画像に変換して１つの投影面の上に繋ぎ合わせる。

Description

画像処理装置
　本発明は、車両の運転時に生じる死角領域をカメラで撮影して画像を生成し、運転者による車両周囲の確認を補助する車載画像処理装置に関するものである。
　運転者が車両を運転する際には、視覚により車両周囲の状況確認を行う。しかし、自車の車体や障害物の存在により、運転者から視覚で認識できない死角領域が発生する場合がある。「死角」とは、ある角度からはどうしても見えない範囲である。ここでは、運転者から見えない範囲である。「自車」とは、運転者が乗車している車である。このような死角領域の運転者による認識を補助するために、車体に取り付けたカメラによって車両周囲の画像を撮影し、車内に設置された表示装置の画面に表示する技術が提案されている。このような技術として以下に挙げるようなものがある。
　特許文献１には、側方カメラと後方カメラを用い、それぞれのカメラ画像から画像を切り出し、張り合わせを行なって表示する技術が記載されている。車速に応じて画像の切出し範囲を変えている。車速が早くなると側方カメラの画像をより広い範囲で切り出す。これにより、張り合わせた表示画像の表示領域が広がり、死角領域の削減を図ることができる。「側方カメラ」とは、車両の左右方向を撮影するカメラである。「後方カメラ」とは、車両の後ろ方向を撮影するカメラである。「車速」とは、車両の速さである。
　また特許文献２には、複数のカメラで撮影した車両の周辺画像を表示装置に表示させ、表示装置の画面中に占める表示面積の割合を変化させて合成する方式が記載されている。ハンドル操作の状態により表示割合を変化させることで、同一画面に表示された複数の撮像画像の中から注目すべき画像を目立たせることができる。
特開２００４－３１２５２３号公報（段落００２１～００２４、図２） 特開２００５－１９８１６０号公報（段落００３０～００３８、図１）
　しかしながら、上記特許文献１に示された従来技術には、複数のカメラ画像の貼り合わせを行う際に、視点変換を行う方法について具体的に示されていない。各カメラ画像からの領域の切出しと視点変換とを独立して行なった場合には、カメラ画像間の接合部分で直線が折れ曲がって表示され、視覚的に被写体の形状を認識しづらい不自然な形状となる問題があった。
　また、上記特許文献２に示された従来技術も、同様にハンドル操作等に応じて表示するカメラ画像の表示割合を切り替えるものである。しかし、画像の視点変換については、同時に表示される画像同士で車両の進行方向が同一となるように向きを揃える観点でのみ記載されている。つまり、特許文献２に示された従来技術は、画像間の接合については考慮されていない。そのため、複数のカメラの境界領域に存在する被写体に対しては、形状が正しく把握できず、運転者が被写体を認識しづらくなる問題があった。
　そこで本発明の課題は、運転者が容易に車両の周辺状況の画像を確認するための画像処理装置を提供することにある。つまり、複数のカメラの画像の境界部分においても、被写体の形状の折れ曲がりの程度を低減する。また、被写体が二重に表示されることを抑える。また、被写体の表示が欠けることを抑える。これらにより、本発明の課題は、実際に運転者が視認する場合に近い形状で画面が表示される画像処理装置を提供することである。
　上記課題を解決するため、本願発明に係る画像処理装置は、車両の周辺を撮影する複数のカメラで撮影された共通の被写体の前記複数の撮影画像上での位置を基に前記車両の基準位置から前記共通の被写体までの第１の被写体距離を算出し、前記第１の被写体距離を基に前記複数のカメラの内の１つのカメラで撮影された被写体までの第２の被写体距離を算出する距離情報取得部と、前記第１の被写体距離及び前記第２の被写体距離を基に前記複数のカメラを視点とした前記撮影画像を、前記基準位置を視点とした画像に変換して１つの投影面の上に繋ぎ合わせる画像合成部とを備える。
　本願発明は、カメラ間の画像の境界部分においても、被写体の形状の折れ曲がりの程度を低減し、視認性を向上できる。
実施の形態１における運転支援装置を示すブロック図である。 実施の形態１における車両へのカメラの取り付け位置を示す図である。 実施の形態１における合成された画像例を示す図である。 実施の形態１におけるハンドルの舵角と画像切り出し位置の対応を示す図である。 実施の形態２における運転支援装置を示すブロック図である。 実施の形態２における被写体のマッチング方法を示す図である。 実施の形態２における複数のカメラ画像を合成する際に生じる被写体位置のずれを示す図である。 実施の形態２における投影面の補正方法について示す図である。 実施の形態２における投影面の補正方法について示す図である。 実施の形態３における運転支援装置を示すブロック図である。 実施の形態３におけるハンドルの舵角と車両後方画像の切り出し位置の対応について示す図である。 実施の形態３における車両前方画像および車両後方画像の表示方法を示す図である。
実施の形態１．
　図１は実施の形態１における運転支援装置１００の構成を示したブロック図である。本発明に係る運転支援装置１００は、カメラ１０，１１，１２，１３、舵角検出部２０、画像合成部３０、画像切出し部３２および表示部４０を有する。また、運転支援装置１００は、メモリ３１をさらに有することができる。実施の形態１に係る画像処理装置８０は、画像合成部３０を有する。また、画像処理装置８０は、画像切出し部３２を有することができる。画像処理装置８０は、メモリ３１を有することができる。
　カメラ１０，１１，１２，１３は、車両の周辺を撮影する。舵角検出部２０は、車両のハンドル切り角を検出する。「ハンドル切り角」とは、ハンドルを切る角度である。「ハンドルを切る」とは、ハンドルを回す操作で車両の進行方向を変えることである。つまり、「ハンドル切り角」とは、ハンドルを回す角度で、車両の進行方向を変える程度を表す角度である。
　画像合成部３０は、カメラ１０，１１，１２，１３からの入力画像を合成し、車両の周囲を全周にわたって表した画像を生成する。ここで「合成」とは、各カメラ１０，１１，１２，１３の撮影した画像を繋ぎ合わせることである。そのため、「合成」は、各カメラ１０，１１，１２，１３の撮影した画像を１つの画像上に重ね合わせることを含まない。なお、後述する方向ＦＲ，ＦＬ，ＲＲ，ＲＬのように、隣接するカメラの両方が撮影している領域では、各カメラから生成する画像の領域を予め定めておき、その領域の設定に基づいて、どちらか１つのカメラの画像を選択する。また、画像合成部３０は、カメラ１０，１１，１２，１３からの入力画像を合成し、車両の周囲の一部を表した画像を生成することもできる。
　メモリ３１は、画像合成部３０から出力された画像データを記録する。画像切出し部３２は、メモリ３１に格納された画像を参照し、舵角検出部２０の出力値に応じて切出し領域を決定し、画像の切出しを行う。表示部４０は、画像切出し部３２が切り出した画像を表示する。表示部４０は、運転者の位置よりも車両の前方側に配置されている。「画像の切出し」とは、画像の一部を抜き出すことである。「切出し領域」とは、画像を切出す領域である。
　カメラ１０，１１，１２，１３は、車両の前後左右に取り付けられている。カメラ１０，１１，１２，１３は、４つのカメラ１０，１１，１２，１３のカメラ画角が車両の周囲の全方向を含むように配置される。「車両の周囲の全方向」とは、車両の周囲の３６０度の方向である。図２は、車両を上から見た図である。そして、図２は、カメラ１０，１１，１２，１３の取り付け位置を示した模式図である。
　画像合成部３０は、画像の視点変換と合成とを行う。これにより、画像合成部３０は、４つのカメラ１０，１１，１２，１３の画像が水平方向にすべて繋がるような画像を生成する。複数のカメラ画像を合成し、一点を中心とした水平方向３６０度の全周画像を生成するためには、各カメラ画像を、一つの共通した仮想の面（投影面）に投影する必要がある。
　図２において太い実線は、各カメラ１０，１１，１２，１３の画像を投影するための共通した投影面５の例を示している。投影面５は、画像が合成されたときの投影面である。図２に示すように、例えば、投影面５は、車両の上から見て、車両の中心を中心Ｏとする円形をしている。投影面５は、車両を取り巻くような円筒形状の面である。
　図２において、カメラ１０は、車両の前方の面の中央に取り付けられている。カメラ１１は、車両の左側面の中央に取り付けられている。カメラ１２は、車両の後方の面の中央に取り付けられている。カメラ１３は、車両の右側面の中央に取り付けられている。カメラの画角範囲５１０は、カメラ１０の画角範囲である。カメラの画角範囲５１１は、カメラ１１の画角範囲である。カメラの画角範囲５１２は、カメラ１２の画角範囲である。カメラの画角範囲５１３は、カメラ１３の画角範囲である。カメラの画角範囲５１０，５１１，５１２，５１３は、破線で示している。「画角」とは、カメラで撮影される範囲を角度で表したものである。つまり、「画角範囲」とは、カメラで撮影される範囲である。
　例えば、カメラ１０で撮影した被写体Ｂは、まずカメラ１０と被写体Ｂの位置とを結ぶ直線５３と投影面５が交わる位置Ａにあるものとみなされる。位置Ａにある被写体Ｂに対して視点位置がカメラ１０の位置から車両の中心位置Ｏに移動した場合のカメラ画像内における被写体位置の変動を求めることにより視点位置の変換を行う。つまり、視点位置をカメラ１０の位置から車両の中心位置Ｏに移動する場合には、位置Ａにある被写体Ｂのカメラ画像内における被写体の位置の変動を求める。「被写体位置の変動」とは、画像内で被写体の位置が移動することである。画像合成部３０は、各カメラ１０，１１，１２，１３の画像を繋ぎ合わせる際に、視点位置の変換を行う。これは、各カメラ１０，１１，１２，１３の視点位置が異なるからである。
　視点位置の変換は、視点位置がカメラ１０，１１，１２，１３の位置から車両の中心Ｏに移動した場合の変換である。例えば、画像合成部３０は、位置Ａにある被写体Ｂに対して、視点位置がカメラ１０の位置から車両の中心Ｏに移動した場合のカメラ画像内における被写体Ｂの位置の変動を求める。つまり、位置Ａに被写体Ｂがあるものとして、車両の中心Ｏから位置Ａの方向に被写体Ｂがあると視点位置の変換を行う。
　カメラ１１、カメラ１２及びカメラ１３で撮影した画像についても同様の視点位置の変換を行う。例えば、各カメラの画像の重なる領域では、事前にどちらかのカメラの画像を採用するように決めておく。
　これにより、車両の中心Ｏを視点とした、車両の前後左右４方向の画像を生成する。このように生成された４枚の画像を、カメラ間の画像が切り替わる部分を境界として接合させる。カメラ１０，１１，１２，１３間の画像が切り替わる部分は、車両の斜め方向の部分である。
　これにより、車両の中心から３６０度の視点を持つ画像を生成することができる。「車両の斜め方向」とは、車両の前後方向に対して、前方の右側４５度の方向、前方の左側４５度の方向、後方の右側４５度の方向及び後方の左側４５度の方向である。つまり、後述する図８に示す４つの方向ＦＲ，ＦＬ，ＲＲ，ＲＬである。
　図３は、このような投影方法を用いて生成される画像を示した図である。投影面５は、なだらかな曲面から構成される。上述のように、図２では、投影面は、車両の上方向から見て円形をしている。これにより、カメラ１０，１１，１２，１３の画像間の境界部分において被写体の形状が折れ曲がることなく、全周にわたって運転者が直接視認する場合に近い被写体形状が保たれた合成画像を得ることが可能である。投影面５は、なだらかな曲面であれば図２に示すような円形でなくても構わない。なぜなら、「なだらかな面」であれば、被写体の形状が折れ曲がることが無いからである。
　画像切出し部３２は、舵角検出部２０からの出力信号を受け取る。図１では、メモリ３１を介して舵角検出部２０からの出力信号を受け取っている。画像切出し部３２は、直接、舵角検出部２０からの出力信号を受け取っても構わない。そして、画像切出し部３２は、ハンドルの舵角に応じて、画像の切出し範囲６２（図４参照）を切り替える処理を行う。つまり、ハンドルの舵角に応じて画像切出し位置の変更を行う。「舵角」とは、ハンドルを切る角度のことである。
　図４は、ハンドルの舵角と画像切り出し位置の対応を示した図である。図４（Ａ）は、ハンドルの舵角が０度の場合を示す。図４（Ｂ）は、ハンドルの舵角が左側に１０度の場合を示す。図４（Ｃ）は、ハンドルの舵角が右側に１０度の場合を示す。図４に示すように、ハンドルを切らない状態（図４（Ａ））では、画像切出し部３２は、車両の正面に対応する合成画像６の中心６１から左右等距離の画像切出しを行う。「左右等距離」とは、左側からの距離と右側からの距離とが等しいことである。ハンドルを左に切ったとき（図４（Ｂ））には、画像切出し部３２は、画像の切出し範囲６２を左側に移動させる。ハンドルを右に切ったとき（図４（Ｃ））には、画像切出し部３２は、画像の切出し範囲６２を右側に移動させる。
　ハンドルの舵角と切出し位置の対応は、ハンドルの舵角に比例して連続的に切出し位置が移動するように演算式で求めても良い。また、ハンドルの舵角と切出し位置の対応は、一定の範囲内のハンドルの舵角に特定の切出し位置を対応させるような場合分け処理を用いても良い。演算式を用いた場合には、画像の切出し位置は連続的に移動する。しかし、場合分け処理を用いた場合には、画像の切出し位置は不連続に移動する。しかし、場合分け処理を用いた場合には、処理量は演算式を用いた場合より低減することができる。運転者の視認性を妨げない場合には、場合分け処理を用いた場合の方が、処理が早くなるという利点がある。
　表示部４０は、切り出した画像を表示画面に表示して、前方画像を運転者に提示する。
　このように構成された運転支援装置１００は、ハンドルの舵角に応じて、車両の進行方向前方の画像を表示することができる。また、運転支援装置１００は、自車両のセンターピラー等に遮られて確認しづらい車両の斜め後方の障害物又は他の車両の有無の視認性を向上できる。「自車両」とは、運転者が乗車している車両である。「ピラー」とは、自動車のドアなどにある窓の柱である。「センターピラー」とは、自動車のドアの中柱である。
　また、カメラ１０，１１，１２，１３の画像間の境界部分においても被写体の形状が折れ曲がることを抑え、運転者が直接視認する場合に近い被写体の形状が保たれた画像を表示できる。これにより、運転者の車両の周辺状況に対する視認性を向上させることが可能である。
実施の形態２．
　図５は、実施の形態２における運転支援装置１１０の構成を示したブロック図である。本発明に係る運転支援装置１１０は、カメラ１０，１１，１２，１３、舵角検出部２０、画像合成部３０、画像切出し部３２、距離情報取得部３５および表示部４０を有する。また、運転支援装置１１０は、メモリ３１をさらに有することができる。実施の形態２に係る画像処理装置８１は、画像合成部３０及び距離情報取得部３５を有する。また、画像処理装置８１は、画像切出し部３２を有することができる。画像処理装置８１は、メモリ３１を有することができる。
　運転支援装置１１０は、運転支援装置１００に対して、距離情報取得部３５を有する点で異なる。運転支援装置１１０のカメラ１０，１１，１２，１３、舵角検出部２０、画像合成部３０、画像切出し部３２、表示部４０およびメモリ３１は、運転支援装置１００のカメラ１０，１１，１２，１３、舵角検出部２０、画像合成部３０、画像切出し部３２、表示部４０およびメモリ３１と同様の機能を有する。このため、特に説明をしない場合には、運転支援装置１００で説明した内容と同様である。また、用語の定義に関しても、特に説明をしない場合は、実施の形態１と同様である。
　カメラ１０，１１，１２，１３は、車両周辺を撮影する。舵角検出部２０は、車両のハンドル切り角を検出する。画像合成部３０は、カメラ１０，１１，１２，１３からの入力画像を合成し、車両の周囲を全周にわたって表した画像を生成する。メモリ３１は、画像合成部３０から出力された画像データを記録する。画像切出し部３２は、メモリ３１に格納された画像を参照し、舵角検出部２０の出力値に応じて切出し領域を決定し、画像の切出しを行う。距離情報取得部３５は、隣接するカメラ１０，１１，１２，１３の画像の同一の被写体部分を参照し、カメラ１０，１１，１２，１３の画像上での被写体の位置を基にして被写体までの距離を算出する。表示部４０は、切り出した画像を表示する。
　カメラ１０，１１，１２，１３は、実施の形態1と同様に車両の前後左右に取り付けられる。カメラ１０，１１，１２，１３は、４つのカメラ１０，１１，１２，１３のカメラ画角が車両の周囲の全方向を含むように配置される。「車両の周囲の全方向」とは、車両の周囲の３６０度の方向である。
　距離情報取得部３５は、隣接する２つのカメラの画像について被写体のマッチングを行う。そして、距離情報取得部３５は、被写体距離を算出する。距離情報取得部３５は、車両の周辺を撮影する複数のカメラ１０，１１，１２，１３で撮影された共通の被写体Ｂの複数の撮影画像上での位置を基に共通の被写体Ｂまでの距離を算出する。図６は、被写体のマッチング方法を示す説明図である。図６（Ａ）は、画像を合成する際の左側のカメラの画像である。図６（Ｂ）は、画像を合成する際の右側のカメラの画像である。
　距離情報取得部３５は、カメラ画像の歪みおよび被写体距離を考慮して、２つのカメラ画像の中で、同一の被写体が撮影される複数の領域を候補として指定する。図６において枠で囲った部分がカメラ画像に対するマッチング枠の例を示している。マッチング枠の中の画像情報を基に、マッチング処理を行う。マッチング枠で示した領域をマッチング領域とする。左カメラの画像６４Ｌでは、距離情報取得部３５は、１つのマッチング領域６３Ｌを指定している。一方、右カメラの画像６４Ｒでは、距離情報取得部３５は、３つのマッチング領域６３Ａ，６３Ｂ，６３Ｃを指定している。
　距離情報取得部３５は、マッチング領域６３Ｌに対して指定した複数の位置（マッチング領域６３Ａ，６３Ｂ，６３Ｃ）でマッチングを行う。そして、距離情報取得部３５は、マッチング結果が一番大きい領域に対応する被写体距離を正しい被写体距離と判定する。「マッチング結果が一番大きい領域」とは、最もマッチングした領域である。図６においては、右カメラの画像６４Ｒのマッチング領域６３Ｂが最もマッチングした領域である。また、「被写体距離」とは、マッチング領域に写った被写体Ｂの車両の中心Ｏからの距離を示す。マッチング領域６３Ａ、マッチング領域６３Ｂ及びマッチング領域６３Ｃに対応する被写体距離の値は予め計算されたものを保持しておくものとする。
　すなわち、マッチング領域６３Ｂの位置で撮影された被写体Ｂが、マッチング領域６３Ｌの位置で撮影された被写体Ｂと同一である場合には、カメラの画像６４Ｌ，６４Ｒ上での被写体Ｂの位置を基にして、各カメラ（左カメラ及び右カメラ）の光軸と各カメラの位置を起点とした被写体Ｂの方向とのなす角度が求められる。つまり、左カメラと被写体Ｂとを結ぶ直線が、左カメラの光軸に対してなす角度が求められる。また、右カメラと被写体Ｂとを結ぶ直線が、右カメラの光軸に対してなす角度が求められる。マッチング領域６３Ｂは、右カメラの画像６４Ｒのマッチング領域である。マッチング領域６３Ｌは、左カメラの画像６４Ｌのマッチング領域である。
　後述する図８のカメラ１０，１３を例として説明する。カメラ１０は、左カメラである。カメラ１３は、右カメラである。被写体Ｂを被写体Ｂ１として示している。カメラ１０の光軸は光軸ＯＡ１０である。「左カメラの光軸」は、光軸ＯＡ１０である。「左カメラと被写体Ｂとを結ぶ直線が、左カメラの光軸に対してなす角度」は、角度αである。つまり、カメラ１０の光軸ＯＡ１０とカメラ１０の位置を起点とした被写体Ｂ１の方向とのなす角度は角度αである。カメラ１３の光軸は光軸ＯＡ１３である。「右カメラの光軸」は、光軸ＯＡ１３である。「右カメラと被写体Ｂとを結ぶ直線が、右カメラの光軸に対してなす角度」は、角度βである。つまり、カメラ１３の光軸ＯＡ１３とカメラ１３の位置を起点とした被写体Ｂ１の方向とのなす角度は角度βである。
　位置Ｃ１０は、カメラ１０の画像上の被写体Ｂ１の位置を示している。被写体Ｂ１は、カメラ１０と位置Ｃ１０とを結ぶ直線Ｓ１０上にある。このため、位置Ｃ１０から角度αを求めることができる。同様に、位置Ｃ１３は、カメラ１３の画像上の被写体Ｂ１の位置を示している。被写体Ｂ１は、カメラ１３と位置Ｃ１３とを結ぶ直線Ｓ１３上にある。このため、位置Ｃ１３から角度βを求めることができる。
　二つのカメラ（左カメラ及び右カメラ）の光軸から被写体までの角度に基づいて被写体の距離を算出することができる。ここで、「被写体の距離」は、車両の中心Ｏから被写体Ｂまでの距離である。後述する図８のカメラ１０，１３を例として説明する。「被写体の距離」は、車両の中心Ｏから被写体Ｂ１までの距離である。上述のように、右カメラの画像６４Ｒ及び左カメラの画像６４Ｌを基に、角度α，βが求められる。
　被写体Ｂ１の位置は、直線Ｓ１０と直線Ｓ１３との交点の位置となる。カメラ１０，１３の位置及び車両の中心Ｏの位置は分かっている。また、光軸ＯＡ１０，ＯＡ１３も分かっている。このため、カメラ１０，１３の位置の座標、車両の中心Ｏの位置の座標、光軸ＯＡ１０，ＯＡ１３及び角度α，βを基にして被写体Ｂ１の位置の座標を求めることができる。カメラ１０の座標、光軸ＯＡ１０及び角度αを基に、カメラ１０の座標の位置から直線Ｓ１０を引くことができる。同様に、カメラ１３の座標、光軸ＯＡ１３及び角度βを基に、カメラ１３の座標の位置から直線Ｓ１３を引くことができる。直線Ｓ１０と直線Ｓ１３との交点が被写体Ｂ１の位置となる。直線Ｓ１０と直線Ｓ１３とから、直線Ｓ１０と直線Ｓ１３との交点の座標を求めることができる。
　距離情報取得部３５は、複数のカメラ１０，１１，１２，１３の位置、複数のカメラ１０，１１，１２，１３の各々の基準となる方向及び基準となる方向に対する共通の被写体Ｂの位置する方向の角度を基に被写体Ｂの位置を求める。
　マッチング領域がマッチング領域６３Ａ又はマッチング領域６３Ｃである場合も同様である。そこで、マッチング領域６３Ｌを固定して、左カメラ６４Ｌのマッチング領域６３Ｌに対する右カメラ６４Ｒの各マッチング領域６３Ａ，６３Ｂ，６３Ｃのそれぞれに対応する被写体距離ＤＡ，ＤＢ，ＤＣを予め算出し保持しておく。そうすると、各マッチング領域に対応する距離を算出する演算を、その都度行わなくとも被写体距離を算出することができる。ここでの被写体距離ＤＡ，ＤＢ，ＤＣは、車両の中心Ｏから被写体Ｂまでの距離である。上述の例では、マッチング領域６３Ｌを１つに固定しているが、複数のマッチング領域を設定することもできる。
　上記の方法により、マッチングを行う領域が、同一の被写体が撮影される領域に限定されるため、演算量を削減することが可能である。マッチング方法としては、テンプレートマッチング方法が挙げられる。また、画像のエッジ又は頂点といった特徴点を抽出して特徴点の一致度を計測する方法などが挙げられる。
　画像合成部３０は、画像の視点変換と合成を行う。これにより、画像合成部３０は、４つのカメラ１０，１１，１２，１３の画像が水平方向にすべて繋がるような画像を生成する。複数のカメラ画像を合成し、一点を中心とした水平方向３６０度の全周画像を生成するためには、各カメラ画像を、一つの共通した仮想の面（投影面）に投影する必要がある。画像合成部３０は、画像合成を行う際に、距離情報取得部３５で算出された被写体距離情報を参照することにより、合成精度を向上させる。
　図７は、複数のカメラの画像を合成する際に生じる被写体の位置のずれについて示した図である。ここでの被写体の位置ずれは、被写体Ｂと投影面７３との位置関係により、投影面７３上に投影される被写体Ｂの位置が異なることである。図７において、図７（Ａ）は、被写体位置７４にある被写体Ｂが被写体位置７４に近い位置にある被写体の投影面７３に投影される場合の視点変換方法を示す。また、図７（Ｂ）は、被写体位置７４にある被写体Ｂが被写体位置７４から遠い位置にある被写体の投影面７３に投影される場合の視点変換方法を示す。被写体の投影面７３は、被写体位置７４よりカメラ位置７２に近い位置にある。被写体の投影面７３は、被写体位置７４より画像合成時の中心の位置７１に近い位置にある。位置Ａは、被写体Ｂを投影面７３に投影した位置を示している。
　カメラの位置７２と被写体の位置７４とをつなぐ直線５４は、カメラで撮影した画像内での被写体の方向を示している。つまり、直線５４は、カメラの位置７２から被写体Ｂの方向を示している。また、画像合成時の中心位置７１と被写体の位置７４とをつなぐ直線５５は、視点変換処理を実施後の画像合成時の中心位置７１から見た画像内での被写体方向を示している。つまり、直線５５は、中心位置７２から被写体Ｂの方向を示している。
　画像合成部３０は、複数のカメラ１０，１１，１２，１３に対する共通の基準位置を基準として投影面を生成し、基準位置と被写体Ｂとを結ぶ直線が投影面に交わる位置に被写体を投影する。画像合成部３０は、共通の被写体Ｂまでの距離を基に複数の撮影画像を１つの投影面上に繋ぎ合わせる。画像合成部３０は、共通の被写体Ｂまでの距離を基に、投影面上の被写体の位置Ａを修正する。
　図７に示した通り、複数のカメラの画像を合成して、一点を中心とした水平方向３６０度の全周画像を生成するためには、各カメラ画像を、一つの共通した面に投影する必要がある。その際、カメラ位置７２と投影面の中心位置７１とが異なる。つまり、カメラ位置７２と画像合成時の中心位置７１とが異なる。このため、カメラ上で同一の位置に写っている被写体であっても、被写体距離によって正しい投影位置が異なる。
　例えば、図７（Ａ）のように被写体が近い場合には、被写体Ｂの投影位置Ａは直線５４から近い位置にある。しかし、図７（Ｂ）のように被写体が遠い場合には、被写体Ｂの投影位置Ａは直線５４から遠い位置にある。このような、被写体Ｂの投影位置の違いにより、合成画像のカメラ間の境界部分では、被写体が欠けるという現象が発生する。または、合成画像のカメラ間の境界部分では、二重写しとなる現象が発生する。このため、投影面７３の中心の位置７１から被写体Ｂまでの距離を算出して、被写体Ｂの投影面７３上での位置を決める。
　距離情報取得部３５で算出された被写体距離情報を参照することにより、隣接するカメラ間の画角が重複する方向の被写体について、被写体距離の情報を得ることができる。つまり、隣接するカメラ間の画角の重複する部分に位置する被写体から、被写体距離の情報を得ることができる。つまり、４つのカメラ１０，１１，１２，１３が車両の前後左右に取り付けられている場合には、車両に対して前方右側の方向ＦＲ、前方左側の方向ＦＬ、後方右側の方向ＲＲおよび後方左側の方向ＲＬに関しては、被写体距離の情報を得ることができる。方向ＦＲ，ＦＬ，ＲＲ，ＲＬは、車両の中心Ｏを基点とした方向である。
　これに対して、前方右側の方向ＦＲと前方左側の方向ＦＬとの間の方向、前方左側の方向ＦＬと後方左側の方向ＲＬとの間の方向、後方左側の方向ＲＬと後方右側の方向ＲＲとの間の方向および後方右側の方向ＲＲと前方右側の方向ＦＲとの間の方向は、被写体距離の情報を得ることができない。このため、隣接するカメラ間の４箇所の方向ＦＲ，ＦＬ，ＲＲ，ＲＬの被写体距離情報を用いて、中間の角度については内挿した距離となるような投影面を生成して画像の投影を行う。「内挿」とは、二つの点の間の任意の点に対する関数値あるいは近似値を求めることである。
　「中間の角度」とは、車両の中心Ｏから見て、距離情報取得部３５によって被写体距離情報が得られる４つの方向ＦＲ，ＦＬ，ＲＲ，ＲＬ以外の角度を示す。つまり、中間の角度は、前方右側の方向ＦＲと前方左側の方向ＦＬとの間の角度、前方左側の方向ＦＬと後方左側の方向ＲＬとの間の角度、後方左側の方向ＲＬと後方右側の方向ＲＲとの間の角度および後方右側の方向ＲＲと前方右側の方向ＦＲとの間の角度である。
　「内挿した距離」とは、ある角度における被写体の距離を求める場合に、その被写体に最も近い距離情報が得られている二つの被写体の距離情報から角度と距離との対応を線形補間で求めることを示す。つまり、「中間の角度については内挿した距離となるような投影面を生成する」とは、距離情報取得部３５によって得られる４つの方向ＦＲ，ＦＬ，ＲＲ，ＲＬに存在する被写体の被写体距離情報に基づき、それ以外の方向での被写体距離を求めることである。
　方向ＦＲ，ＦＬ，ＲＲ，ＲＬ以外の方向にある被写体の被写体距離の求め方を以下に示す。まず、被写体距離を求める被写体に最も近い２つの方向を方向ＦＲ，ＦＬ，ＲＲ，ＲＬの中から選択する。次に、選択された２つの方向に存在する距離情報の分かっている被写体の距離情報から、被写体距離が角度と線形関係にあるとみなし、線形補間を用いて求める。ここで、「角度」とは、被写体の方向を示す角度である。これにより、カメラの境界で、被写体が欠ける現象を抑えることができる。または、カメラの境界で、二重写しとなる現象を抑えることができる。
　図８は、投影面の補正方法について示した図である。図８は、車両を上から見た図である。図８において太い実線で示した面は、各カメラ１０，１１，１２，１３の画像を投影するための共通した投影面の例を示している。
　図８において、カメラ１０は、車両の前方の面の中央に取り付けられている。カメラ１１は、車両の左側面の中央に取り付けられている。カメラ１２は、車両の後方の面の中央に取り付けられている。カメラ１３は、車両の右側面の中央に取り付けられている。
　カメラの画角範囲５１０は、カメラ１０の画角範囲である。カメラの画角範囲５１１は、カメラ１１の画角範囲である。カメラの画角範囲５１２は、カメラ１２の画角範囲である。カメラの画角範囲５１３は、カメラ１３の画角範囲である。カメラの画角範囲５１０，５１１，５１２，５１３は、破線で示している。
　投影面５１，５２は、画像が合成されたときの投影面である。補正前の投影面５１は、後述する処理により補正後の投影面５２に補正される。投影面５１，５２は、例えば、車両の上から見て、車両の中心Ｏを中心とする円形をしている。
　画像合成部３０は、距離情報取得部３５から得られた被写体の距離情報を用いて、隣接するカメラ間の画角が重複する部分について、カメラ画像を投影する面（投影面）の補正を行う。補正された投影面は、上述の投影面のように車両の中心Ｏを中心とする円形ではない。投影面の補正により、実際の被写体距離を反映した投影面を設定できる。つまり、補正後の投影面は、４つの方向ＦＲ，ＦＬ，ＲＲ，ＲＬに存在する被写体距離の算出された被写体に応じて、投影面の形状を変化させたものである。
　このため、複数のカメラで撮影した画像に対して視点変換を行い合成する際に、実際の被写体距離と投影面の距離が異なることによる合成画像の境界での被写体の欠けの発生や二重写しの発生を抑えることができる。なお、４つの方向ＦＲ，ＦＬ，ＲＲ，ＲＬに存在する被写体が変わると、補正された投影面の形状及び位置はその都度変化する。
　図８では、補正前の投影面５１に対して、補正後の投影面５２は、車両の前方右側の方向ＦＲを手前側に補正されている。同様に補正後の投影面５２は、車両の後方右側の方向ＲＲの画像を手前側に補正されている。また、補正前の投影面５１に対し、補正後の投影面５２は、車両の前方左側の方向ＦＬを奥側に補正されている。同様に補正後の投影面５２は、車両の後方左側の方向ＲＬの画像を奥側に補正している。中間の角度については、被写体までの距離を補間して求めることによって、投影面を補正する。ここで、「手前側」とは、車両に近い方向を示す。また、「奥側」とは、車両から遠い方向を示す。
　１つのカメラで撮影された２つの共通の被写体の間に撮影された距離の不明な被写体までの距離は、距離の不明な被写体を挟む２つの共通の被写体までの距離及び角度の対応を線形補間して求める。
　被写体までの距離を補間する際に、角度に対して線形補間をする場合には、中間の角度の被写体までの距離Ｌの算出式は下記の式（１）の通りである。図８では、中間の角度の被写体を被写体Ｂ２で示している。
　　Ｌ＝Ｌ１＋（Ｌ２－Ｌ１）×（ｋ２－ｋ１）／（ｋ－ｋ１）　・・・（１）
　ただし、角度ｋは、距離Ｌを求める被写体Ｂの方向を示す角度である。つまり、車両の中心Ｏと被写体Ｂとを結ぶ直線が、車両の中心Ｏを通る基準軸となす角度である。角度ｋ１は、角度ｋより被写体Ｂに向かって右側で角度ｋに最も近い被写体距離情報が既知の方向を示す角度である。角度ｋ２は、角度ｋより被写体に向かって左側で角度ｋに最も近い被写体距離情報が既知の方向を示す角度である。つまり、角度ｋ１，ｋ２は、車両の中心Ｏと既知の位置とを結ぶ直線が、車両の中心Ｏを通る基準軸となす角度である。
　図８では、例として、カメラ１０の光軸ＯＡ１０を基準軸としている。また、被写体Ｂを被写体Ｂ２として示している。「被写体距離情報が既知の方向」とは、例えば、４つの方向ＦＲ，ＦＬ，ＲＲ，ＲＬである。距離Ｌは、角度ｋに対応する被写体までの距離を示す。図８では、車両の中心Ｏから被写体Ｂ２までの距離である。距離Ｌ１は、角度ｋ１に対応する被写体までの距離を示す。図８では、車両の中心Ｏから被写体Ｂ１までの距離である。距離Ｌ２は、角度ｋ２に対応する被写体までの距離を示す。図８では、車両の中心Ｏから被写体Ｂ３までの距離である。
　図８に示すように、方向ＦＲに存在する被写体Ｂ１の距離は、方向ＦＬに存在する被写体Ｂ３の距離より短い。このため、車両の前方右側の方向ＦＲを手前側に補正されている。車両の前方左側の方向ＦＬを奥側に補正されている。このように投影面５１は、投影面５２に補正される。
　また、中間の角度を補間する際には、投影面を滑らかに接続するために、被写体の距離情報が既知の方向を基にして、左側の投影面と右側の投影面とで角度の変換量に対する距離の変化量が一致するような補間方法を行うことも可能である。図８では、被写体Ｂ１と被写体Ｂ３とを滑らかに繋いだ曲線に対応するように投影面を移動させる。このような補間を行う際には、補間する角度に対して左右の各２方向での被写体の距離情報を参照し、三次関数による補間を行う。
　この場合の距離の演算式を式（２）に示す。
　　　Ｌ＝ａｋ３＋ｂｋ２＋ｃｋ＋ｄ　・・・（２）
　なお、係数ａ，ｂ，ｃ，ｄは、下記の式（３）（４）（５）（６）を満たすように決定する。
　　　Ｌ１＝ａｋ１ ３＋ｂｋ１ ２＋ｃｋ１＋ｄ　・・・（３）
　　　Ｌ２＝ａｋ２ ３＋ｂｋ２ ２＋ｃｋ２＋ｄ　・・・（４）
　　　Ｌ３＝ａｋ３ ３＋ｂｋ３ ２＋ｃｋ３＋ｄ　・・・（５）
　　　Ｌ４＝ａｋ４ ３＋ｂｋ４ ２＋ｃｋ４＋ｄ　・・・（６）
　ここで、角度ｋは、距離Ｌを求める被写体の方向を示す角度である。角度ｋ１は、角度ｋより右側で角度ｋに最も近い被写体距離情報が既知の方向を示す角度である。図８では、方向ＦＲの基準軸ＯＡ１０に対する角度である。角度ｋ２は、角度ｋより左側で角度ｋに最も近い被写体距離情報が既知の方向を示す角度である。図８では、方向ＦＬの基準軸ＯＡ１０に対する角度である。角度ｋ３は、角度ｋより右側で角度ｋに二番目に近い被写体距離情報が既知の方向を示す角度である。図８では、方向ＲＲの基準軸ＯＡ１０に対する角度である。角度ｋ４は、角度ｋより左側で角度ｋに二番目近い被写体距離情報が既知の方向を示す角度である。図８では、方向ＲＬの基準軸ＯＡ１０に対する角度である。「被写体距離情報が既知の方向」とは、例えば、４つの方向ＦＲ，ＦＬ，ＲＲ，ＲＬである。
　距離Ｌは、角度ｋに存在する被写体の車両の中心Ｏから被写体までの距離を示す。距離Ｌ１は、角度ｋ１に存在する被写体の車両の中心Ｏから被写体までの距離を示す。距離Ｌ２は、角度ｋ２に存在する被写体の車両の中心Ｏから被写体までの距離を示す。距離Ｌ３は、角度ｋ３に存在する被写体の車両の中心Ｏから被写体までの距離を示す。距離Ｌ４は、角度ｋ４に存在する被写体の車両の中心Ｏから被写体までの距離を示す。
　また、被写体の距離情報が既知の方向を示す角度を用いて補正を行う際には、投影面が常に円形となるようにすることが可能である。このとき、投影面の中心位置及び半径は、例えば、距離情報が既知の被写体の方向を示す角度及び距離情報が既知の被写体の被写体距離の組み合わせを用いて、最小二乗法で算出する。
　この場合の距離の計算方法について、図９を用いて説明する。図９は、投影面の補正方法について示す図である。図９において、補正前の投影面５１は、中心Ｏを中心とする円形をしている。中心Ｏは、車両の中心位置を示している。補正前の投影面５１は、破線で示している。補正後の投影面５２は、中心Ｐを中心とする円形をしている。半径Ｒは補正後の投影面５２の半径を示す。補正後の投影面５２は、実線で示している。点２０１、２０２、２０３、２０４は、被写体の距離情報が既知の被写体の位置を示している。点２０１、２０２、２０３、２０４は、被写体の方向及び距離情報が既知である。
　最小二乗法を用いて投影面となる円を決定する際の指標値を値Ｘとする。値Ｘは、位置２０５，２０６，２０７，２０８の距離及び距離情報が既知の点２０１，２０２，２０３，２０４の距離に基づき、位置２０５と点２０１との距離の差の値、位置２０６と点２０２との距離の差の値、位置２０７と点２０３との距離の差の値及び位置２０８と点２０４との距離の差の値をそれぞれ二乗して加算した値である。位置２０５，２０６，２０７，２０８の距離は、車両の中心Ｏから位置２０５，２０６，２０７，２０８までの距離である。点２０１，２０２，２０３，２０４の距離は、車両の中心Ｏから点２０１，２０２，２０３，２０４までの距離である。位置２０５，２０６，２０７，２０８は、車両の中心Ｏと距離情報が既知の点２０１，２０２，２０３，２０４とを結ぶ直線５６，５７上において、補正後の投影面５２が各直線５６，５７と交わる位置である。値Ｘが最も小さくなるように、補正後の投影面５２の中心Ｐおよび半径Ｒを決定する。
　画像切出し部３２は、実施の形態1と同様に舵角検出部２０からの出力信号を受け取る。図５では、メモリ３１を介して画像合成部３０からの出力信号を受け取っている。画像切出し部３２は、直接、画像合成部３０からの出力信号を受け取っても構わない。そして、画像切出し部３２は、ハンドルの舵角に応じて、画像の切出し範囲を切り替える処理を行う。ハンドルを切らない状態では、画像切出し部３２は、車両の正面に対応する合成画像の中心から左右等距離の画像切出しを行う。ハンドルを右に切ったときには、画像切出し部３２は、画像の切出し範囲を右側に移動させる。ハンドルを左に切ったときには、画像切出し部３２は、画像の切出し範囲を左側に移動させる。
　ハンドルの舵角と切出し位置の対応は、ハンドルの舵角に比例して連続的に切出し位置が移動するように演算式で求めても良い。また、ハンドルの舵角と切出し位置の対応は、一定の範囲内のハンドル舵角に特定の切出し位置を対応させるような場合分け処理を用いても良い。演算式を用いた場合には、画像の切出し位置は連続的に移動する。しかし、場合分け処理を用いた場合には、画像の切出し位置は不連続に移動する。しかし、場合分け処理を用いた場合には、処理量は演算式を用いた場合より低減することができる。運転者の視認性を妨げない場合には、場合分け処理を用いた場合の方が、処理が早くなるという利点がある。
　表示部４０は、切り出した画像を表示画面に表示して、前方画像を運転者に提示する。
　上述のように、距離情報取得部３５は、車両の周辺を撮影する複数のカメラ１０，１１，１２，１３で撮影された共通の被写体Ｂの複数の撮影画像上での位置を基に車両の基準位置Ｏから共通の被写体Ｂまでの被写体距離（第１の被写体距離）を算出し、この被写体距離（第１の被写体距離）を基に複数のカメラ１０，１１，１２，１３の内の１つのカメラで撮影された被写体までの被写体距離（第２の被写体距離）を算出している。
　また、画像合成部３０は、第１の被写体距離（基準位置Ｏから共通の被写体Ｂまでの被写体距離）及び第２の被写体距離（１つのカメラで撮影された被写体までの被写体距離）を基に複数のカメラ１０，１１，１２，１３を視点とした撮影画像を、基準位置Ｏを視点とした画像に変換して１つの投影面の上に繋ぎ合わせている。
　また、距離情報取得部３５は、カメラ１０，１１，１２，１３の位置、当該カメラ１０，１１，１２，１３の基準となる方向、当該カメラ１０，１１，１２，１３の画角及び共通の被写体の撮影画像上の位置を基に、当該カメラ１０，１１，１２，１３に対する共通の被写体の方向を求め、２つ以上のカメラに対する共通の被写体の方向から求められる共通の被写体の位置を基に第１の被写体距離（基準位置Ｏから共通の被写体Ｂまでの被写体距離）を算出している。
　また、画像合成部３０は、基準位置Ｏと被写体Ｂとを結ぶ直線が投影面に交わる位置に被写体Ｂを配置している。
　また、距離情報取得部３５は、第２の被写体距離（１つのカメラで撮影された被写体までの被写体距離）を、第２の被写体距離（１つのカメラで撮影された被写体までの被写体距離）を有する被写体を挟む２つの共通の被写体の第１の被写体距離（基準位置Ｏから共通の被写体Ｂまでの被写体距離）及び基準位置Ｏの基準となる方向に対する角度を基に、被写体距離及び角度の対応を線形補間して求めている。
　また、画像合成部３０は、複数の共通の被写体の基準位置Ｏから投影面までの距離と第１の被写体距離（基準位置Ｏから共通の被写体Ｂまでの被写体距離）との差の値を二乗した値を加算して、当該加算した値が最も小さくなるように、投影面を変更している。
　このように構成された運転支援装置１１０は、被写体までの距離を測定して画像の合成を行っている。これにより、運転支援装置１１０は、隣接するカメラ間の画像合成部分において、被写体の二重写し又は被写体の欠落を低減した高画質な合成画像を生成できる。そして、運転支援装置１１０は、運転者の車両の周辺状況に対する視認性を向上させることが可能である。
実施の形態３．
　図１０は、実施の形態３における運転支援装置１２０の構成を示したブロック図である。本発明に係る運転支援装置１２０は、カメラ１０，１１，１２，１３、舵角検出部２０、画像合成部３０、前方画像切出し部３３、後方画像切出し部３４および表示部４０を有する。また、運転支援装置１２０は、メモリ３１をさらに有することができる。
　実施の形態３に係る画像処理装置８２は、画像合成部３０を有する。また、画像処理装置８２は、前方画像切出し部３３及び後方画像切出し部３４を有することができる。画像処理装置８２は、メモリ３１を有することができる。
　運転支援装置１２０は、運転支援装置１００に対して、画像切出し部３２が前方画像切出し部３３及び後方画像切出し部３４を有する点で異なる。運転支援装置１２０のカメラ１０，１１，１２，１３、舵角検出部２０、画像合成部３０、表示部４０およびメモリ３１は、運転支援装置１００のカメラ１０，１１，１２，１３、舵角検出部２０、画像合成部３０、表示部４０およびメモリ３１と同様の機能を有する。このため、特に説明をしない場合には、運転支援装置１００で説明した内容と同様である。また、用語の定義に関しても、特に説明をしない場合は、実施の形態１と同様である。また、実施の形態２の運転支援装置１１０に実施の形態３の前方画像切出し部３３及び後方画像切出し部３４を採用することもできる。
　運転支援装置１２０の画像切出し部３２は、前方画像切出し部３３および後方画像切出し部３４を有する。カメラ１０，１１，１２，１３は、車両周辺を撮影する。舵角検出部２０は、車両のハンドル切り角を検出する。画像合成部３０は、カメラ１０，１１，１２，１３からの入力画像を合成し、車両の周囲を全周にわたって記録した画像を生成する。メモリ３１は、画像合成部３０から出力された画像データを記録する。前方画像切出し部３３は、メモリ３１に格納された画像を参照し、舵角検出部２０の出力値に応じて切出し領域を決定し、車両の前方に対応する画像の切出しを行う。後方画像切出し部３４は、メモリ３１に格納された画像を参照し、舵角検出部２０の出力値に応じて切出し領域を決定し、車両の後方に対応する画像の切出しを行う。表示部４０は、切り出した画像を表示する。
　カメラ１０，１１，１２，１３は、実施の形態1と同様に車両の前後左右に取り付けられる。カメラ１０，１１，１２，１３は、４つのカメラ１０，１１，１２，１３のカメラ画角が車両の周囲の全方向を含むように配置される。「車両の周囲の全方向」とは、車両の周囲の３６０度の方向である。
　画像合成部３０は、実施の形態1と同様に画像の視点変換と合成を行うことにより、４つのカメラ１０，１１，１２，１３の画像が水平方向にすべて繋がるような画像を生成する。
　前方画像切出し部３３は、舵角検出部２０からの出力信号を受け取る。図１０では、メモリ３１を介して舵角検出部２０からの出力信号を受け取っている。そして、前方画像切出し部３３は、ハンドルの舵角に応じて、画像の切出し範囲を切り替える処理を行う。ハンドルを切らない状態では、前方画像切出し部３３は、車両の前方の正面に対応する合成画像の中心から左右等距離の画像を切出す。「左右等距離」とは、左側からの距離と右側からの距離とが等しいことである。ハンドルを右に切った時には、前方画像切出し部３３は、画像の切出し範囲を右側に移動させる。ハンドルを左に切った時には、前方画像切出し部３３は、画像の切出し範囲を左側に移動させる。
　ハンドルの舵角と切出し位置の対応は、ハンドルの舵角に比例して連続的に切出し位置が移動するように演算式で求めても良い。また、ハンドルの舵角と切出し位置の対応は、一定の範囲内のハンドル舵角に特定の切出し位置を対応させるような場合分け処理を用いても良い。演算式を用いた場合には、画像の切出し位置は連続的に移動する。しかし、場合分け処理を用いた場合には、画像の切出し位置は不連続に移動する。しかし、場合分け処理を用いた場合には、処理量は演算式を用いた場合より低減することができる。運転者の視認性を妨げない場合には、場合分け処理を用いた場合の方が、処理が早くなるという利点がある。
　後方画像切出し部３４は、舵角検出部２０からの出力信号を受け取る。図１０では、メモリ３１を介して舵角検出部２０からの出力信号を受け取っている。そして、後方画像切出し部３４は、ハンドルの舵角に応じて、画像の切出し範囲を切り替える処理を行う。ハンドルを切らない状態では、後方画像切出し部３４は、車両の後方の正面に対応する合成画像の中心から左右等距離の画像を切出す。ハンドルを右に切った時には、後方画像切出し部３４は、画像の切出し範囲を左側に移動させる。ハンドルを左に切った時には、後方画像切出し部３４は、画像の切出し範囲を右側に移動させる。「後方の正面」とは、視点位置から前方の正面を向いた場合に、前方の正面から１８０度後ろ方向のことである。つまり、真後ろのことである。
　ハンドルの舵角と切出し位置の対応は、ハンドルの舵角に比例して連続的に切出し位置が移動するように演算式で求めても良い。また、ハンドルの舵角と切出し位置の対応は、一定の範囲内のハンドル舵角に特定の切出し位置を対応させるような場合分け処理を用いても良い。演算式を用いた場合には、画像の切出し位置は連続的に移動する。しかし、場合分け処理を用いた場合には、画像の切出し位置は不連続に移動する。しかし、場合分け処理を用いた場合には、処理量は演算式を用いた場合より低減することができる。運転者の視認性を妨げない場合には、場合分け処理を用いた場合の方が、処理が早くなるという利点がある。
　なお、図３に示す合成画像の生成例では、合成後の画像の左端および右端は、画像の後方の正面となる。つまり、運転者が振り返って後方を見たときの正面の画像となる。つまり、「後方の正面」である。運転者が振り返って後方を見たときの正面の画像を生成するために、画像の左端と右端とを接続した画像を生成する。しかし、実施の形態３では、運転者が振り返って後方を見たときの正面の画像とは異なる後方の画像を生成する。前方を向いている運転者の左右方向と後方の画像の左右方向を一致させる。つまり、運転者が振り返って後方を見たときの画像をそのまま表示すると、前方を向いている運転者の左右方向と画像の左右方向とが反対となり一致しない。
　画像切出し部３３は、画像の切出しを行うとともに、接続部分でつなぎ合せた画像を生成する処理を行う。また、後方の画像については、運転者が画像を確認する時に混乱することがないよう、運転者からみた左右方向と画像の左右方向を一致させるために画像を左右反転させて接合する処理を行う。「左右反転」とは、左側と右側を入れ替えることである。ここで、「運転者からみた左右方向」とは、運転者が車両の前方を見たときの左右方向と後方の画像の左右方向とが一致するということである。このため、「後方の画像」は、運転者が後方を振り返ったときに見える画像と同一ではない。
　図１１は、ハンドルの舵角と車両の後方画像の切り出し位置の対応について説明する図である。図１１に示す通り、ハンドルの舵角に応じて画像の切出し位置の変更を行う。ハンドルを切らない場合（図１１（Ａ））には、画像の左端及び右端から等距離の領域をそれぞれ切出し、左右反転して接合させる。接合された画像６７は、切出し画像６５Ａが左右反転された画像６６Ａと切出し画像６５Ｂが左右反転された画像６６Ｂとが接合されている。つまり、切出し画像６５Ａの左端６５ＡＬと切出し画像６５Ｂの右端６５ＢＲとが繋ぎ合わされる。接合画像６７の右側は、左端６５ＢＬとなり、接合画像６７の左側は、右端６５ＡＲとなる。ここで、「接合」とは、「合成」と同じ意味である。「合成」とは、画像を繋ぎ合わせることである。そのため、「合成」は、各カメラの撮影した画像を１つの画像上に重ね合わせることを含まない。
　図１１（Ａ）は、ハンドルの舵角が０度の場合を示している。図１１（Ａ）では、切出し画像６５Ａ，６５Ｂを合成する際には、切出し画像６５Ａ，６５Ｂは左右反転して合成される。図１１（Ａ）の場合には、切出し画像６５Ａと切出し画像６５Ｂとの幅が等しい。図１１（Ｂ）は、ハンドルの舵角が左側に１０度の場合を示している。図１１（Ｂ）では、切出し画像６５Ａ，６５Ｂを合成する際には、切出し画像６５Ａ，６５Ｂは左右反転して合成される。図１１（Ｂ）の場合には、切出し画像６５Ａの幅が広く、切出し画像６５Ｂの幅が狭い。図１１（Ｃ）は、ハンドルの舵角が右側に１０度の場合を示している。図１１（Ｃ）では、切出し画像６５Ａ，６５Ｂを合成する際には、切出し画像６５Ａ，６５Ｂは左右反転して合成される。図１１（Ｃ）の場合には、切出し画像６５Ａの幅が狭く、切出し画像６５Ｂの幅が広い。
　ハンドルを左に切った場合（図１１（Ｂ））は、合成画像６７の左端からの切出し領域を広げ、画像右端からの切出し領域を狭める。つまり、画像の切出し範囲を右側に移動させている。逆にハンドルを右に切った場合（図１１（Ｃ））は、合成画像６７の右端からの切出し領域を広げ、画像左端からの切出し領域を狭める。つまり、画像の切出し範囲を左側に移動させている。このように画像の切出し、左右反転および接合を行うことによって、ハンドルの舵角に応じ、車両の進行方向に合致した方向の車両後方画像を得ることが可能である。
　画像切出し部３２は、投影面上の画像の一部を切出す。左側は前記車両の前方に対して左側とし、右側は前記車両の前方に対して右側とすると、画像切出し部３２は、車両の後方の画像は、車両の後方で投影面に投影された画像を切断し、その切断された位置の左側の画像６５Ａ及び右側の画像６５Ｂを切出す。画像合成部３０は、左側の画像６５Ａを切出し位置６５ＡＬが左側となるように配置し、右側の画像６５Ｂを切出し位置６５ＢＲが右側となるように配置して、左側の画像６５Ａの左右及び右側の画像６５Ｂの左右を入れ替えて、左側の画像６５Ａ及び右側の画像６５Ｂの切断された位置６５ＡＬ，６５ＢＲを繋ぎ合わせる。
　画像切出し部３２は、切出す画像の切出し位置が車両の前方の場合には、前記車両の舵角と同じ方向に前記切出し位置を移動する。画像切出し部３２は、切出し位置が車両の後方の場合には、車両の舵角と逆の方向に切出し位置を移動する。
　表示部４０は、切り出した画像の画面表示を行う。表示部４０は、前方の画像および後方の画像を接合して運転者に提示する。図１２は、車両の前方の画像の表示方法および車両の後方の画像の表示方法を示す図である。図１２では、表示部４０の表示画面４１に、車両の前方画像４２と車両の後方画像４３とが同時に表示されている。表示画面４１上の上側に車両の前方画像４２が表示されている。また、表示画面４１上の下側に車両の後方画像４３が表示されている。
　前方の画像および後方の画像を縦に並べて表示することにより、車両の前方の障害物と車両の後方の障害物を同時に確認することが可能である。
　このように構成された運転支援装置１２０は、ハンドルの舵角に応じて、車両の進行方向前方の画像を確認することができる。そして、運転支援装置１２０は、自車両のピラー等に遮られて確認しづらい車両斜め前方および車両後方の障害物や他車両の有無の視認性を向上できる。
　また、車両の前方の画像と反転した車両の後方の画像とを同一画面に表示することで、車両の前方の障害物や他の車両の有無と車両の後方の障害物や他の車両の有無とを一つの画面内で同時に確認することができる。
　なお、以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。
　１０，１１，１２，１３　カメラ、　１００，１１０，１２０　運転支援装置、　２０　舵角検出部、　２０１，２０２，２０３，２０４　点、　２０５，２０６，２０７，２０８　位置、　３０　画像合成部、　３１　メモリ、　３２　画像切出し部、　３３　前方画像切出し部、　３４　後方画像切出し部、　３５　距離情報取得手段、　４０　表示部、　４１　表示画面、　４２　車両前方画像、　４３　車両後方画像、　５　投影面、　５１０，５１１，５１２，５１３　カメラの画角範囲、　５１　補正前の投影面、　５２　補正後の投影面、　５３，５４，５５，５６，５７　直線、　６　合成画像、　６１　画像の中心、　６２　切出し範囲、　６３Ａ，６３Ｂ，６３Ｃ，６３Ｌ　マッチング領域、　６４Ｒ　右カメラ画像、　６４Ｌ　左カメラ画像、　６５Ａ，６５Ｂ　切出し画像、　６６Ａ，６６Ｂ　左右反転した切出し画像、　６７　接合画像、　７１　画像合成時の中心位置、　７２　カメラ位置、　７３　画像合成時の被写体投影面、　７４　被写体位置、　８０，８１，８２　画像処理装置　Ａ，Ｃ　位置、　Ｂ　被写体、　Ｏ，Ｐ　中心、　Ｒ　半径、　Ｓ　直線、　Ｌ　距離、　Ｘ　値、　ＯＡ　光軸、　ｋ，ｋ１，ｋ２，α，β　角度、　ａ，ｂ，ｃ，ｄ　係数、　ＦＲ　前方右側の方向、　ＦＬ　前方左側の方向、　ＲＲ　後方右側の方向、　ＲＬ　後方左側の方向、　ＤＡ，ＤＢ，ＤＣ　被写体距離。

Claims (7)

  1. 　車両の周辺を撮影する複数のカメラで撮影された共通の被写体の前記複数の撮影画像上での位置を基に前記車両の基準位置から前記共通の被写体までの第１の被写体距離を算出し、前記第１の被写体距離を基に前記複数のカメラの内の１つのカメラで撮影された被写体までの第２の被写体距離を算出する距離情報取得部と、
    　前記第１の被写体距離及び前記第２の被写体距離を基に前記複数のカメラを視点とした前記撮影画像を、前記基準位置を視点とした画像に変換して１つの投影面の上に繋ぎ合わせる画像合成部と
    を備える画像処理装置。
  2. 　前記距離情報取得部は、前記カメラの位置、当該カメラの基準となる方向、当該カメラの画角及び前記共通の被写体の撮影画像上の位置を基に、当該カメラに対する前記共通の被写体の方向を求め、２つ以上の前記カメラに対する前記共通の被写体の方向から求められる前記共通の被写体の位置を基に前記第１の被写体距離を算出する請求項１に記載の画像処理装置。
  3. 　前記画像合成部は、前記基準位置と前記被写体とを結ぶ直線が前記投影面に交わる位置に前記被写体を配置する請求項１又は２に記載の画像処理装置。
  4. 　前記距離情報取得部は、前記第２の被写体距離を、前記第２の被写体距離を有する被写体を挟む２つの前記共通の被写体の第１の被写体距離及び前記基準位置の基準となる方向に対する角度を基に、被写体距離及び角度の対応を線形補間して求める請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記画像合成部は、前記複数の共通の被写体の前記基準位置から前記投影面までの距離と前記第１の被写体距離との差の値を二乗した値を加算して、当該加算した値が最も小さくなるように、前記投影面を変更させる請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記投影面上の画像の一部を切出す画像切出し部をさらに有し、
    　左側は前記車両の前方に対して左側とし、右側は前記車両の前方に対して右側とすると、
    　前記画像切出し部は、前記車両の後方の画像は、前記車両の後方で前記投影面に投影された画像を切断し、当該切断された位置の左側の画像及び右側の画像を切出し、
    　前記画像合成部は、前記左側の画像を前記切出し位置が左側となるように配置し、前記右側の画像を前記切出し位置が右側となるように配置して、前記左側の画像の左右及び前記右側の画像の左右を入れ替えて、前記左側の画像及び前記右側の画像の前記切断された位置を繋ぎ合わせる請求項１から５のいずれか１項に記載の画像処理装置。
  7. 　前記画像切出し部は、切出す画像の切出し位置が前記車両の前方の場合には、前記車両の舵角と同じ方向に前記切出し位置を移動し、
    前記切出し位置が前記車両の後方の場合には、前記車両の舵角と逆の方向に前記切出し位置を移動する請求項６に記載の画像処理装置。
PCT/JP2013/003181 2012-05-22 2013-05-20 画像処理装置 WO2013175753A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/400,770 US10046700B2 (en) 2012-05-22 2013-05-20 Image processing device
CN201380024639.7A CN104285441B (zh) 2012-05-22 2013-05-20 图像处理装置
JP2014516663A JP5634643B2 (ja) 2012-05-22 2013-05-20 画像処理装置
DE112013002636.8T DE112013002636B4 (de) 2012-05-22 2013-05-20 Bildverarbeitungsvorrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-116755 2012-05-22
JP2012116755 2012-05-22

Publications (1)

Publication Number Publication Date
WO2013175753A1 true WO2013175753A1 (ja) 2013-11-28

Family

ID=49623463

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/003181 WO2013175753A1 (ja) 2012-05-22 2013-05-20 画像処理装置

Country Status (5)

Country Link
US (1) US10046700B2 (ja)
JP (1) JP5634643B2 (ja)
CN (1) CN104285441B (ja)
DE (1) DE112013002636B4 (ja)
WO (1) WO2013175753A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015115103A1 (ja) * 2014-01-29 2015-08-06 京セラ株式会社 画像処理装置、カメラシステム、および画像処理方法
WO2015135670A1 (de) * 2014-03-10 2015-09-17 Robert Bosch Gmbh Verfahren zum zusammenfügen von einzelbildern, die von einem kamerasystem aus unterschiedlichen positionen aufgenommen wurden, zu einem gemeinsamen bild
CN106515582A (zh) * 2016-10-26 2017-03-22 深圳市元征科技股份有限公司 安全驾驶预警方法及装置
WO2017068992A1 (ja) * 2015-10-23 2017-04-27 株式会社小松製作所 表示システムおよび作業車両
WO2018092919A1 (ja) * 2016-11-21 2018-05-24 京セラ株式会社 画像処理装置、撮像装置、および表示システム
JP2018085584A (ja) * 2016-11-21 2018-05-31 京セラ株式会社 画像処理装置、撮像装置、および表示システム
WO2019058585A1 (ja) 2017-09-20 2019-03-28 アイシン精機株式会社 表示制御装置
JP2019509526A (ja) * 2016-10-06 2019-04-04 カイ インコーポレイテッド 多数のカメラを用いた最適の球形映像獲得方法
JP2020088511A (ja) * 2018-11-20 2020-06-04 アルパイン株式会社 表示装置、表示方法および表示プログラム
JPWO2021131078A1 (ja) * 2019-12-27 2021-07-01
CN113167894A (zh) * 2018-12-18 2021-07-23 沃尔沃卡车集团 用于确定车辆的坐标的方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9367895B2 (en) * 2014-03-19 2016-06-14 Digitalglobe, Inc. Automated sliver removal in orthomosaic generation
JP6575445B2 (ja) * 2015-09-30 2019-09-18 アイシン精機株式会社 車両用画像処理装置
JP6561824B2 (ja) * 2015-12-18 2019-08-21 株式会社デンソー 表示制御装置
FR3047339B1 (fr) * 2016-02-01 2018-04-06 Safran Procede de controle non-destructif par redressement
JP6672565B2 (ja) * 2016-07-14 2020-03-25 三井金属アクト株式会社 表示装置
JP6769859B2 (ja) * 2016-12-19 2020-10-14 株式会社日立エルジーデータストレージ 画像処理装置及び画像処理方法
KR102551099B1 (ko) * 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
DE102017201002A1 (de) * 2017-01-23 2018-07-26 Robert Bosch Gmbh Verfahren und Vorrichtung zum Darstellen einer Umgebung eines Fahrzeuges
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
JP7147248B2 (ja) * 2018-04-27 2022-10-05 株式会社タダノ クレーン車
US11057553B2 (en) * 2018-07-06 2021-07-06 Samsung Electronics Co., Ltd. Electronic device for capturing media using a bendable display and method thereof
TWI693578B (zh) * 2018-10-24 2020-05-11 緯創資通股份有限公司 影像拼接處理方法以及其系統
US11092456B2 (en) * 2019-03-08 2021-08-17 Aptiv Technologies Limited Object location indicator system and method
JP2020183166A (ja) * 2019-05-07 2020-11-12 アルパイン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
DE102019216368A1 (de) * 2019-10-24 2021-04-29 Robert Bosch Gmbh Verfahren zum Ausgeben eines Steuersignals an eine Einheit eines Fahrzeugs

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369186A (ja) * 2001-06-07 2002-12-20 Sony Corp 車両後方画像表示装置、車両周囲画像表示方法
JP2007049276A (ja) * 2005-08-08 2007-02-22 Sanyo Electric Co Ltd 車載パノラマカメラシステム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3412945B2 (ja) 1995-01-31 2003-06-03 キヤノン株式会社 画像合成装置及び撮影装置
EP2267656A3 (en) 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus und image displaying method
JP3695319B2 (ja) 2000-11-30 2005-09-14 トヨタ自動車株式会社 車両周辺モニタ装置
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
KR100866450B1 (ko) 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
JP2004046772A (ja) * 2002-05-13 2004-02-12 3D Media Co Ltd 画像処理方法、画像処理システム、及び画像処理装置
JP3871614B2 (ja) 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
JP2004312523A (ja) 2003-04-09 2004-11-04 Equos Research Co Ltd 車載画像処理装置
JP4467313B2 (ja) 2004-01-09 2010-05-26 株式会社オートネットワーク技術研究所 車両周辺撮像装置
JP4583883B2 (ja) 2004-11-08 2010-11-17 パナソニック株式会社 車両用周囲状況表示装置
JP4468859B2 (ja) 2005-06-06 2010-05-26 アルパイン株式会社 画像合成装置および合成方法
JP4899367B2 (ja) 2005-07-27 2012-03-21 日産自動車株式会社 俯瞰画像表示システム及び俯瞰画像の表示方法
JP4662832B2 (ja) 2005-09-26 2011-03-30 アルパイン株式会社 車両用画像表示装置
JP4674814B2 (ja) 2006-03-20 2011-04-20 アルパイン株式会社 車両用画像表示装置および画像合成方法
CN101146231A (zh) 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
JP5163165B2 (ja) 2008-02-05 2013-03-13 日産自動車株式会社 車両周辺画像処理装置及び車両周辺状況提示方法
CN101498889B (zh) * 2009-03-03 2011-09-21 无锡易斯科电子技术有限公司 一种多目立体摄像方法及装置
TW201103787A (en) 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images
CN101882306B (zh) * 2010-06-13 2011-12-21 浙江大学 一种表面凹凸物体照片的高精度拼接方法
CN101976460B (zh) * 2010-10-18 2012-02-22 无锡维森智能传感技术有限公司 车载多目摄像机环视系统的虚拟视点图像生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369186A (ja) * 2001-06-07 2002-12-20 Sony Corp 車両後方画像表示装置、車両周囲画像表示方法
JP2007049276A (ja) * 2005-08-08 2007-02-22 Sanyo Electric Co Ltd 車載パノラマカメラシステム

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015115103A1 (ja) * 2014-01-29 2015-08-06 京セラ株式会社 画像処理装置、カメラシステム、および画像処理方法
WO2015135670A1 (de) * 2014-03-10 2015-09-17 Robert Bosch Gmbh Verfahren zum zusammenfügen von einzelbildern, die von einem kamerasystem aus unterschiedlichen positionen aufgenommen wurden, zu einem gemeinsamen bild
CN106104629A (zh) * 2014-03-10 2016-11-09 罗伯特·博世有限公司 用于将由摄像机系统从不同位置拍摄的单个图像合并成一个共同的图像的方法
US20170018085A1 (en) * 2014-03-10 2017-01-19 Robert Bosch Gmbh Method for assembling single images recorded by a camera system from different positions, to form a common image
JP2017512334A (ja) * 2014-03-10 2017-05-18 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング カメラシステムによって様々な位置で撮影された複数の個別画像を１つの共通の画像につなぎ合わせるための方法
US10384606B2 (en) 2014-03-10 2019-08-20 Robert Bosch Gmbh Method for assembling single images recorded by a camera system from different positions, to form a common image
WO2017068992A1 (ja) * 2015-10-23 2017-04-27 株式会社小松製作所 表示システムおよび作業車両
JP2017081238A (ja) * 2015-10-23 2017-05-18 株式会社小松製作所 表示システムおよび作業車両
US11208040B2 (en) 2015-10-23 2021-12-28 Komatsu Ltd. Display system and work vehicle
JP2019509526A (ja) * 2016-10-06 2019-04-04 カイ インコーポレイテッド 多数のカメラを用いた最適の球形映像獲得方法
CN106515582A (zh) * 2016-10-26 2017-03-22 深圳市元征科技股份有限公司 安全驾驶预警方法及装置
US11030468B2 (en) 2016-11-21 2021-06-08 Kyocera Corporation Image processing apparatus
JP2018085584A (ja) * 2016-11-21 2018-05-31 京セラ株式会社 画像処理装置、撮像装置、および表示システム
WO2018092919A1 (ja) * 2016-11-21 2018-05-24 京セラ株式会社 画像処理装置、撮像装置、および表示システム
WO2019058585A1 (ja) 2017-09-20 2019-03-28 アイシン精機株式会社 表示制御装置
US10848724B2 (en) 2017-09-20 2020-11-24 Aisin Seiki Kabushiki Kaisha Display control device
JP2020088511A (ja) * 2018-11-20 2020-06-04 アルパイン株式会社 表示装置、表示方法および表示プログラム
JP7166725B2 (ja) 2018-11-20 2022-11-08 アルパイン株式会社 表示装置、表示方法および表示プログラム
CN113167894A (zh) * 2018-12-18 2021-07-23 沃尔沃卡车集团 用于确定车辆的坐标的方法
CN113167894B (zh) * 2018-12-18 2024-02-06 沃尔沃卡车集团 用于确定车辆的坐标的方法
JPWO2021131078A1 (ja) * 2019-12-27 2021-07-01
WO2021131078A1 (ja) * 2019-12-27 2021-07-01 株式会社ソシオネクスト 画像処理装置、画像処理方法、および画像処理プログラム
JP7367776B2 (ja) 2019-12-27 2023-10-24 株式会社ソシオネクスト 画像処理装置、画像処理方法、および画像処理プログラム

Also Published As

Publication number Publication date
CN104285441B (zh) 2018-01-05
US20150130942A1 (en) 2015-05-14
JP5634643B2 (ja) 2014-12-03
DE112013002636T5 (de) 2015-03-19
CN104285441A (zh) 2015-01-14
DE112013002636B4 (de) 2019-05-09
JPWO2013175753A1 (ja) 2016-01-12
US10046700B2 (en) 2018-08-14

Similar Documents

Publication Publication Date Title
JP5634643B2 (ja) 画像処理装置
JP4412365B2 (ja) 運転支援方法及び運転支援装置
US7894631B2 (en) Obstacle detection apparatus
US6801127B2 (en) Driving assistance display apparatus
US9467679B2 (en) Vehicle periphery monitoring device
JP3947375B2 (ja) 駐車補助装置
JP4907883B2 (ja) 車両周辺画像表示装置および車両周辺画像表示方法
JP4899367B2 (ja) 俯瞰画像表示システム及び俯瞰画像の表示方法
JP5044204B2 (ja) 運転支援装置
JP4583883B2 (ja) 車両用周囲状況表示装置
US20190174060A1 (en) Image processing apparatus, image processing method, and program
US20140114534A1 (en) Dynamic rearview mirror display features
JP6392693B2 (ja) 車両周辺監視装置、車両周辺監視方法、及びプログラム
JP2008022267A (ja) 運転支援方法及び運転支援装置
JP2009105656A (ja) 車載用撮像装置
JP2009081664A (ja) 車両用周辺監視装置および映像表示方法
JP2015027852A (ja) 運転支援装置
WO2003075573A1 (fr) Unite de commande de l'affichage d'images
JP2012170127A (ja) 車両用周辺監視装置および映像表示方法
US11601621B2 (en) Vehicular display system
JP6471522B2 (ja) カメラパラメータ調整装置
JP4855884B2 (ja) 車両周辺監視装置
JP2014036268A (ja) 移動体の周辺画像表示装置
JP4830380B2 (ja) 車両周辺監視装置及び車両周辺監視方法
KR20100005971A (ko) 차량 전방위 감시 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13794666

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014516663

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14400770

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112013002636

Country of ref document: DE

Ref document number: 1120130026368

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13794666

Country of ref document: EP

Kind code of ref document: A1