WO2019155868A1 - 画像生成装置および画像生成方法 - Google Patents

画像生成装置および画像生成方法 Download PDF

Info

Publication number
WO2019155868A1
WO2019155868A1 PCT/JP2019/001873 JP2019001873W WO2019155868A1 WO 2019155868 A1 WO2019155868 A1 WO 2019155868A1 JP 2019001873 W JP2019001873 W JP 2019001873W WO 2019155868 A1 WO2019155868 A1 WO 2019155868A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
boundary line
obstacle
captured
image generation
Prior art date
Application number
PCT/JP2019/001873
Other languages
English (en)
French (fr)
Inventor
祥吾 大宮
博彦 柳川
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2019155868A1 publication Critical patent/WO2019155868A1/ja
Priority to US16/986,587 priority Critical patent/US11458892B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present disclosure relates to an image generation apparatus and an image generation method for generating a combined image obtained by combining captured images obtained by a plurality of imaging units.
  • Patent Document 1 discloses a configuration in the above image generation apparatus in which a boundary line between captured images is set so as not to cut the nearest obstacle, and a plurality of captured images are combined with the boundary line. Yes.
  • One aspect of the present disclosure is to improve the visibility of a composite image in an image generation apparatus that generates a composite image obtained by combining captured images obtained by a plurality of imaging units.
  • One aspect of the present disclosure is an image generation device that includes an image acquisition unit, a position recognition unit, a boundary line setting unit, and an image synthesis unit.
  • the image acquisition unit is configured to acquire a plurality of captured images in which the surroundings of the vehicle are captured by a plurality of imaging units that are mounted on the vehicle and have overlapping regions in which the imaging regions partially overlap each other.
  • the position recognition unit is configured to recognize the positions of specific obstacles that are one or more obstacles located in the overlapping region.
  • the boundary line setting unit is configured to set the boundary line so that the specific obstacle is included in the captured image by the imaging unit that is closest to the specific obstacle among the plurality of imaging units.
  • the image composition unit is configured to generate a composite image obtained by combining a plurality of captured images, with the boundary line used as a boundary when combining the plurality of captured images.
  • the boundary line is set in the overlapping region while avoiding the specific obstacle, it is possible to prevent the obstacle from being cut by the boundary line in the composite image. Therefore, the visibility of the composite image can be improved.
  • the image generation system 1 of this embodiment is a system mounted on a vehicle such as a passenger car, and includes at least a control unit 10. Further, the image generation system 1 may include a front camera 21F, a rear camera 21B, a right camera 21R, a left camera 21L, various sensors 25, a display device 30, and the like. A vehicle on which the image generation system 1 is mounted is also referred to as a host vehicle.
  • Each camera 21F, 21B, 21L, 21R is arranged around the vehicle as shown in FIG. That is, the front camera 21F and the rear camera 21B have a function of imaging the road ahead and behind the host vehicle, respectively, and are attached to the front part and the rear part of the host vehicle.
  • Each of the right camera 21R and the left camera 21L has a function of imaging the right and left roads of the host vehicle, and is attached to the right side mirror and the left side mirror of the host vehicle.
  • the front camera 21F images the entire area ahead of the front surface of the host vehicle as the front imaging region 22F.
  • the rear camera 21B images the entire rear side of the rear surface of the host vehicle as a rear imaging region 22B.
  • the right camera 21R images the entire area on the right side of the right side of the host vehicle as the right imaging region 22R.
  • the left camera 21L images the entire area on the left side of the left side of the host vehicle as the left imaging region 22L.
  • each of the cameras 21F, 21B, 21L, and 21R is set so that at least a part of the imaging area overlaps and the captured image includes the overlapping area.
  • region represents the area
  • regions where the imaging regions overlap are generated on the left and right sides of the front side of the host vehicle and the left and right sides of the rear side of the host vehicle. This area becomes the overlapping area 22D when the bird's eye view is shown.
  • the various sensors 25 are well-known sensors that detect the state of the vehicle. For example, the various sensors 25 detect vehicle speed, acceleration, yaw rate, current location, surrounding obstacles, shift lever positions, and the like. Various sensors 25 send these detection results to the control unit 10.
  • the display device 30 is configured as a known display such as a liquid crystal display.
  • the display device 30 is disposed in the vehicle interior.
  • the control unit 10 includes a microcomputer having a CPU 11 and a semiconductor memory (hereinafter, memory 12) such as a RAM or a ROM. Each function of the control unit 10 is realized by the CPU 11 executing a program stored in a non-transitional physical recording medium.
  • the memory 12 corresponds to a non-transitional tangible recording medium that stores a program. Also, by executing this program, a method corresponding to the program is executed. Note that the non-transitional tangible recording medium means that the electromagnetic waves in the recording medium are excluded.
  • the control unit 10 may include one microcomputer or a plurality of microcomputers.
  • control unit 10 includes an input signal processing unit 16, an image processing unit 17, and an output signal processing unit 18.
  • the method for realizing the functions of the respective units included in the control unit 10 is not limited to software, and some or all of the functions may be realized using one or a plurality of hardware.
  • the function is realized by an electronic circuit that is hardware, the electronic circuit may be realized by a digital circuit, an analog circuit, or a combination thereof.
  • the function of the input signal processing unit 16 acquires images taken by the cameras 21F, 21B, 21L, and 21R and detection results obtained by the various sensors 25 and stores them in the memory 12.
  • a bird's-eye view image that is an image obtained by bird's-eye view of the road around the vehicle from the captured images by the cameras 21 F, 21 B, 21 L, and 21 R. Generate.
  • This overhead image includes obstacles on the road.
  • an obstruction represents the arbitrary objects which can become obstacles to driving
  • the generated overhead image is displayed on the display device 30.
  • the image generation process executed by the control unit 10 will be described with reference to the flowchart of FIG.
  • the image generation process is, for example, a process that starts when the shift lever of the vehicle is put in reverse. Note that the image generation process may be started at any other timing such as when the vehicle speed decreases.
  • the control unit 10 acquires captured images from the cameras 21F, 21B, 21L, and 21R.
  • the captured image may be acquired from the memory 12.
  • the control unit 10 extracts an obstacle from each captured image. At this time, all obstacles included in the captured image are detected by image processing. And the position of an obstruction is detected based on the coordinate of the lower end position of an obstruction.
  • the lower end position of the obstacle indicates a part where the obstacle is installed on the ground. That is, when the obstacle is a vehicle, the lower end of the wheel corresponds to the part to be installed on the ground, and when the obstacle is a pedestrian, the lower end of the part of the shoe is the ground.
  • the coordinates of the lower end position in the captured image are associated with the position in the plane coordinates, and the distance to the obstacle can be recognized by specifying the coordinates in the captured image.
  • control unit 10 determines whether or not there is an obstacle in the overlapping area of the captured images. If the control unit 10 determines in S130 that there is an obstacle in the overlapping area of the captured images, the control unit 10 proceeds to S140 and sets the boundary line according to the boundary line setting condition.
  • a boundary line setting condition A shown in the upper part of FIG. 4 is adopted as the boundary line setting condition in the present embodiment.
  • the control unit 10 detects four pedestrians 501, 502, 503, and 504 in the overlapping region 22D. At this time, since the rightmost pedestrian 504 is closest to the right camera 21R among the cameras 21F, 21B, 21L, and 21R, it is set to be included in an image captured by the right camera 21R.
  • pedestrians 501, 502, and 503 other than the rightmost pedestrian 504 are closest to the front camera 21F among the cameras 21F, 21B, 21L, and 21R, they are set to be included in an image captured by the front camera 21F. .
  • the boundary line 23A here is set between the rightmost pedestrian 504 and the left pedestrian 503. At this time, the boundary line 23A is set so as not to overlap with the lower ends 501U, 502U, 503U, and 504U when viewed from the camera that images each pedestrian.
  • the boundary line 23A may be set to avoid all obstacles, or may be set to avoid at least the lower end portions 501U, 502U, 503U, and 504U as in the present embodiment.
  • the obstacle conversion process described later converts the obstacle so that the obstacle is easily visible. Therefore, even if the obstacle is cut at the boundary line, the obstacle can be easily recognized.
  • the boundary line 23A is set as close as possible to the specified position 23K.
  • the boundary line 23 ⁇ / b> A is set closer to the left pedestrian 503 than to the rightmost pedestrian 504.
  • the specified position 23K is, for example, a line segment that is 45 degrees (deg) from each end of the four corners of the vehicle toward the outside of the vehicle with respect to the traveling direction of the vehicle.
  • control unit 10 performs the obstacle conversion process shown in the flowchart of FIG.
  • the control unit 10 extracts an obstacle area.
  • the contour of the obstacle is specified by well-known image processing, and a region surrounded by the contour is extracted as the obstacle region.
  • deep learning of semantic segmentation can be used.
  • the control unit 10 performs conversion so that an obstacle in the captured image occurs.
  • the control unit 10 sets the obstacle to be stretched so that the obstacle is not stretched in the bird's-eye view image 501U, 502U, 503U, By performing coordinate conversion for contraction to the 504U side, the stretched obstacle is replaced with another contracted image. Then, it is expressed as if the obstacle displayed as if it was sleeping by being stretched up.
  • the obstacle to be stretched is reduced by being contracted, the area occupied by the obstacle in the overhead view image is reduced, and a blank area is generated.
  • control unit 10 supplements the area that has become blank by the above conversion with another captured image. That is, when the obstacle is contracted, the image data disappears and a blank area is generated. This area is complemented by using a captured image other than the captured image by the camera closest to the obstacle. To do.
  • the left pedestrian 511 is included in the captured image of the front camera 21F
  • the right pedestrian 512 is included. Is included in the captured image of the right camera 21R.
  • the region 511A is a region that is stretched by the overhead view image
  • the region 512A is a region that is stretched by the overhead view image
  • each pedestrian 511, 512 is also captured by another camera, and in the captured image of the other camera, the regions 511B, 512B are regions that are stretched by the overhead image, and the regions 511A, 512A are the other regions. Good image is taken by the camera.
  • the areas 511A and 512A in the captured image including the pedestrians 511 and 512 in the overhead image are replaced with the areas 511A and 512A included in the captured image not including the pedestrians 511 and 512 in the overhead image.
  • an image captured by another camera is used as it is, an actual captured scene can be faithfully reproduced.
  • control unit 10 determines in S130 that there are no obstacles in the overlapping area of the captured images, the control unit 10 proceeds to S160 and sets a boundary line at a predetermined position.
  • control unit 10 generates a composite image that is a bird's-eye view by connecting the converted captured images with the set boundary line, and then ends the image generation process of FIG. 3.
  • the image generation system 1 includes the control unit 10.
  • the control unit 10 is configured to acquire a plurality of captured images in which the surroundings of the vehicle are captured by the plurality of imaging units mounted on the vehicle.
  • the control unit 10 is configured to recognize the positions of one or more obstacles included in the plurality of captured images and representing a specific obstacle representing the obstacle located in the overlapping region. .
  • the control unit 10 is configured to avoid the specific obstacle and set a boundary line in the overlapping region.
  • the control unit 10 is configured to generate a composite image in which the plurality of captured images are combined with the boundary line used as a boundary when combining the plurality of captured images.
  • control unit 10 recognizes at least a part of the obstacle that contacts the ground as a specific obstacle in S120 and S130.
  • the boundary line is set by avoiding the part to be grounded, which is important when recognizing the position of the specific obstacle. Therefore, the boundary line cannot be set unless the obstacle is cut. Also, it is possible to obtain a composite image in which a specific obstacle can be easily recognized.
  • control unit 10 includes the specific obstacle in S140 and S160, respectively, in the captured image by the imaging unit that is closest to the specific obstacle among the plurality of imaging units. Set the boundaries so that
  • control unit 10 is configured to generate, as a composite image, an overhead image in which the periphery of the vehicle is viewed from above.
  • control unit 10 is configured to replace the specific obstacle stretched in the overhead image with another image.
  • control unit 10 replaces the region generated by replacing the specific obstacle with another image other than the image captured by the imaging unit with the closest distance to the specific obstacle. It is comprised so that it may complement using a captured image.
  • control unit 10 is configured to replace the obstacle with another image contracted by performing coordinate conversion so that the obstacle stretched in the overhead view image is not stretched.
  • the present invention is not limited to this.
  • an obstacle may be replaced with an icon indicated by a symbol. If it has a configuration for recognizing the type of obstacle, it may be replaced with an icon of a different symbol depending on the type of obstacle.
  • control unit 10 tentatively sets a plurality of boundary line candidates in the overlapping region while avoiding the specific obstacle in S140 and S160, and presets among the plurality of boundary line candidates. Boundary line candidates closer to the set reference position may be set as the boundary line.
  • boundary line setting condition B shown in the middle of FIG. 4 is adopted, and a plurality of boundary lines are temporarily set as shown in FIG.
  • a plurality of boundary lines are provisionally set avoiding the obstacle area.
  • the lower end of the obstacle is avoided as the obstacle area.
  • boundary lines 23A, 23B, 23C, 23D, and 23E passing between the pedestrians 501, 502, 503, 504, and 505 are set as boundary line candidates.
  • the boundary line does not have to be a straight line, and may be, for example, an arc passing through two end portions that are diagonal to the overlapping region 22D, an arbitrary curve, or the like.
  • the boundary line 23 ⁇ / b> B closest to the specified position among these boundary line candidates is adopted as the boundary line.
  • the right pedestrian 522 is an area behind the left pedestrian 521. Since it enters 521A, it is not recognized.
  • the number of obstacles recognized is 1 in the captured image of the front camera 21F, while the number of obstacles recognized is 2 in the captured image of the right camera 21R.
  • the boundary line setting condition C (1) the boundary is determined so that the captured image having a large number of obstacles detected in the overlapping region includes the obstacle. (3) It is good to make it approach the prescribed position.
  • the boundary line 23G is set so that the pedestrians 521 and 522 are included in the captured image of the right camera 21R.
  • a plurality of functions of one constituent element in the above embodiment may be realized by a plurality of constituent elements, or a single function of one constituent element may be realized by a plurality of constituent elements. . Further, a plurality of functions possessed by a plurality of constituent elements may be realized by one constituent element, or one function realized by a plurality of constituent elements may be realized by one constituent element. Moreover, you may abbreviate
  • at least a part of the configuration of the above embodiment may be added to or replaced with the configuration of the other embodiment.
  • control unit 10 corresponds to the image generation device referred to in the present disclosure.
  • process of S110 among the processes executed by the control unit 10 corresponds to an image acquisition unit referred to in the present disclosure
  • processes of S120 and S130 correspond to a position recognition unit referred to in the present disclosure.
  • processing of S140 and S160 corresponds to a boundary line setting unit referred to in the present disclosure
  • processing of S170 corresponds to an image composition unit referred to in the present disclosure
  • the process of S220 corresponds to the image replacement unit referred to in the present disclosure
  • the process of S230 corresponds to the image complementing unit referred to in the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本開示の一態様は、画像生成装置（１）であって、画像取得部（Ｓ１１０）と、位置認識部（Ｓ１２０，Ｓ１３０）と、境界線設定部（Ｓ１４０，Ｓ１６０）と、画像合成部（Ｓ１７０）と、を備える。画像取得部は、車両に搭載され、撮像領域が一部互いに重複する重複領域を有する複数の撮像部によって車両の周囲が撮像された複数の撮像画像を取得するように構成される。位置認識部は、重複領域に位置する１又は複数の障害物である特定障害物の位置をそれぞれ認識するように構成される。境界線設定部は、特定障害物が、それぞれ、前記複数の撮像部のうちの前記特定障害物までの距離が最も近い撮像部による撮像画像に含まれるように前記境界線を設定するように構成される。画像合成部は、境界線を複数の撮像画像を結合する際の境界にして、複数の撮像画像を組み合わせた合成画像を生成するように構成される。

Description

画像生成装置および画像生成方法 関連出願の相互参照
　本国際出願は、２０１８年２月９日に日本国特許庁に出願された日本国特許出願第２０１８－０２１８４０号に基づく優先権を主張するものであり、日本国特許出願第２０１８－０２１８４０号の全内容を参照により本国際出願に援用する。
　本開示は、複数の撮像部で得られた撮像画像を合成した合成画像を生成する画像生成装置および画像生成方法に関する。
　下記の特許文献１には、上記の画像生成装置において、最も近い障害物を切断しないように撮像画像間の境界線を設定し、この境界線を複数の撮像画像を合成する構成が開示されている。
特許第５５０３６６０号公報
　しかしながら、発明者の詳細な検討の結果、上記技術では、複数の障害物がある場合、他の障害物が切断された合成画像となる可能性があり、この場合、合成画像の視認性が劣化するという課題が見出された。
　本開示の一側面は、複数の撮像部で得られた撮像画像を合成した合成画像を生成する画像生成装置において、合成画像の視認性を向上できるようにすることにある。
　本開示の一態様は、画像生成装置であって、画像取得部と、位置認識部と、境界線設定部と、画像合成部と、を備える。画像取得部は、車両に搭載され、撮像領域が一部互いに重複する重複領域を有する複数の撮像部によって車両の周囲が撮像された複数の撮像画像を取得するように構成される。位置認識部は、重複領域に位置する１又は複数の障害物である特定障害物の位置をそれぞれ認識するように構成される。境界線設定部は、特定障害物が、それぞれ、複数の撮像部のうちの特定障害物までの距離が最も近い撮像部による撮像画像に含まれるように境界線を設定するように構成される。画像合成部は、境界線を複数の撮像画像を結合する際の境界にして、複数の撮像画像を組み合わせた合成画像を生成するように構成される。
　このような構成によれば、特定障害物を避けて重複領域内において境界線を設定するので、合成画像において境界線によって障害物が切断されないようにすることができる。よって、合成画像の視認性を向上させることができる。
画像生成システムの構成を示すブロック図である。 カメラの配置例を示す鳥瞰図である。 画像生成処理のフローチャートである。 境界線設定条件を示す説明図である。 実施形態において重複領域での境界線の設定方法を示す鳥瞰図である。 障害物変換処理のフローチャートである。 障害物が引き伸ばされる領域を示す鳥瞰図である。 第１変形例において重複領域での境界線の設定方法を示す鳥瞰図である。 第２変形例において重複領域での境界線の設定方法を示す鳥瞰図である。
　以下、図面を参照しながら、本開示の一態様の実施形態を説明する。
　［１．第１実施形態］
　［１－１．構成］
　図１に示すように、本実施形態の画像生成システム１は、乗用車等の車両に搭載されたシステムであり、少なくとも制御部１０を備える。また、画像生成システム１は、前方カメラ２１Ｆ、後方カメラ２１Ｂ、右カメラ２１Ｒ、左カメラ２１Ｌ、各種センサ２５、表示装置３０、等を備えてもよい。なお、画像生成システム１が搭載された車両を自車両ともいう。
　各カメラ２１Ｆ，２１Ｂ，２１Ｌ，２１Ｒは、図２に示すように、車両の周囲に配置される。すなわち、前方カメラ２１Ｆおよび後方カメラ２１Ｂは、それぞれ、自車両の前方および後方の道路を撮像する機能を備え、自車両の前部および後部に取り付けられている。また、右カメラ２１Ｒおよび左カメラ２１Ｌは、それぞれ、自車両の右側および左側の道路を撮像する機能を備え、自車両の右側面のミラーおよび左側面のミラーに取り付けられている。
　具体的には、前方カメラ２１Ｆは、自車両の前面よりも前方側の全域を前方撮像領域２２Ｆとして撮像する。後方カメラ２１Ｂは、自車両の後面よりも後方側の全域を後方撮像領域２２Ｂとして撮像する。右カメラ２１Ｒは、自車両の右側面よりも右側の全域を右撮像領域２２Ｒとして撮像する。左カメラ２１Ｌは、自車両の左側面よりも左側の全域を左撮像領域２２Ｌとして撮像する。
　また、各カメラ２１Ｆ，２１Ｂ，２１Ｌ，２１Ｒは、撮像領域の少なくとも一部が重複し、撮像画像に重複領域を含むように設定される。なお、重複領域とは、複数のカメラ２１Ｆ，２１Ｂ，２１Ｌ，２１Ｒによる撮像領域が重複することによって、複数の撮像画像に重複して含まれる領域を表す。図２に示す例では、自車両の前方側の左右、自車両の後方側の左右に撮像領域が重複する領域がそれぞれ生じる。この領域は、鳥瞰図にしたときに、重複領域２２Ｄとなる。
　各種センサ２５は、自車両の状態を検知する周知のセンサである。例えば、各種センサ２５は、車速、加速度、ヨーレート、現在地、周囲の障害物、シフトレバーの位置等を検知する。各種センサ２５は、これらの検知結果を制御部１０に送る。
　表示装置３０は、液晶ディスプレイ等の周知のディスプレイとして構成される。表示装置３０は、車室内に配置される。
　制御部１０は、ＣＰＵ１１と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ１２）と、を有するマイクロコンピュータを備える。制御部１０の各機能は、ＣＰＵ１１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ１２が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、非遷移的実体的記録媒体とは、記録媒体のうちの電磁波を除く意味である。また、制御部１０は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
　制御部１０は、図１に示すように、入力信号処理部１６と、画像処理部１７と、出力信号処理部１８と、を備える。制御部１０に含まれる各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。
　入力信号処理部１６の機能では、各カメラ２１Ｆ，２１Ｂ，２１Ｌ，２１Ｒによる撮像画像、および各種センサ２５による検知結果を取得し、メモリ１２に格納する。
　画像処理部１７の機能では、後述する画像生成処理等を実行することによって、各カメラ２１Ｆ，２１Ｂ，２１Ｌ，２１Ｒによる撮像画像から、車両周囲の道路を鉛直方向から俯瞰した画像である俯瞰画像を生成する。この俯瞰画像には、道路上の障害物が含まれる。なお、障害物とは、自車両を除く車両である他車両、歩行者、自転車、縁石、壁等、車両の走行に障害となり得る任意の物体を表す。
　出力信号処理部１８の機能では、生成した俯瞰画像を表示装置３０に表示させる。
　［１－２．処理］
　制御部１０が実行する画像生成処理について、図３のフローチャートを用いて説明する。画像生成処理は、例えば、車両のシフトレバーがリバースに入れられると開始する処理である。なお、画像生成処理は、車両の速度が低下したとき等、他の任意のタイミングで開始してもよい。
　まず、Ｓ１１０で、制御部１０は、各カメラ２１Ｆ，２１Ｂ，２１Ｌ，２１Ｒから撮像画像を取得する。撮像画像はメモリ１２から取得してもよい。
　続いて、Ｓ１２０で、制御部１０は、それぞれの撮像画像から障害物を抽出する。この際、撮像画像に含まれる障害物の全てを画像処理によって検出する。そして、障害物の下端位置の座標に基づいて障害物の位置を検出する。
　ここで、障害物の下端位置とは、障害物が地面に設置する部位を示す。すなわち、障害物が車両の場合には車輪の下端、障害物が歩行者の場合には靴の部位の下端等が地面に設置する部位に該当する。撮像画像中の下端位置の座標は、平面座標における位置と対応付けられており、撮像画像中の座標を特定することで障害物までの距離が認識できるように構成される。
　続いて、Ｓ１３０で、制御部１０は、撮像画像の重複領域に障害物があるか否かを判定する。制御部１０は、Ｓ１３０で撮像画像の重複領域に障害物があると判定した場合には、Ｓ１４０へ移行し、境界線設定条件に従って境界線を設定する。
　ここで、本実施形態での境界線設定条件は、図４の上段に示す境界線設定条件Ａを採用する。
　すなわち、境界線設定条件Ａでは、（１）障害物が、それぞれ、複数のカメラ２１Ｆ，２１Ｂ，２１Ｌ，２１Ｒのうちのこの障害物までの距離が最も近いカメラ２１Ｆ，２１Ｂ，２１Ｌ，２１Ｒによる撮像画像に含まれるように境界線を設定する。この際、（２）障害物の下端部を避け、かつ（３）境界線を既定の位置に近づけるようにする。
　例えば、図５に示す例では、制御部１０は、重複領域２２Ｄにて、４人の歩行者５０１，５０２，５０３，５０４を検出している。この際、最も右側の歩行者５０４は、カメラ２１Ｆ，２１Ｂ，２１Ｌ，２１Ｒのうち右カメラ２１Ｒに最も近いため、右カメラ２１Ｒによる撮像画像に含まれるよう設定される。
　一方、最も右側の歩行者５０４以外の歩行者５０１，５０２，５０３は、カメラ２１Ｆ，２１Ｂ，２１Ｌ，２１Ｒのうち前方カメラ２１Ｆに最も近いため、前方カメラ２１Ｆによる撮像画像に含まれるよう設定される。
　このため、ここでの境界線２３Ａは、最も右側の歩行者５０４とその左側の歩行者５０３との間に設定される。この際、境界線２３Ａは、それぞれの歩行者を撮像するカメラから見たときの下端部５０１Ｕ，５０２Ｕ，５０３Ｕ，５０４Ｕと重ならないように設定される。なお、境界線２３Ａは、障害物の全てを避けて設定されてもよいし、本実施形態のように、少なくとも下端部５０１Ｕ，５０２Ｕ，５０３Ｕ，５０４Ｕを避けて設定されてもよい。特に、本実施形態では、後述する障害物変換処理で、障害物を視認しやすくなるように変換するので、障害物が境界線で切断されたとしても視認しやすくすることができる。
　また、境界線２３Ａは、規定の位置２３Ｋになるべく近づけて設定される。図５に示す例の場合、境界線２３Ａは、最も右側の歩行者５０４よりもその左側の歩行者５０３に近くなるように設定される。なお、規定の位置２３Ｋは、例えば、車両の四隅の各端部から、車両の進行方向に対して車両の外側に向けて４５度（ｄｅｇ）となる線分とする。
　続いて、Ｓ１５０で、制御部１０は、図６のフローチャートにて示す障害物変換処理を実施する。
　まず、障害物変換処理のＳ２１０で、制御部１０は、障害物の領域を抽出する。この処理では、周知の画像処理によって、障害物の輪郭を特定し、この輪郭で囲まれた領域を障害物の領域として抽出する。障害物の輪郭を特定する際には、例えば、セマンティックセグメンテーションのディープラーニングを用いることができる。
　続いて、Ｓ２２０で、制御部１０は、撮像画像中の障害物が起きるように変換する。詳細には、制御部１０は、撮像画像を座標変換して俯瞰画像に変換する際に、俯瞰画像にて障害物が引き伸ばされないように、引き伸ばされる障害物を下端部５０１Ｕ，５０２Ｕ，５０３Ｕ，５０４Ｕ側に縮める座標変換をすることで、引き伸ばされる障害物を縮められた他の画像に置換する。すると、引き伸ばされることで寝ているように表示された障害物が起き上がったかのように表現される。なお、Ｓ２２０の処理では、引き伸ばされる障害物が縮められることで小さくなるので、俯瞰画像において障害物が占有する面積が小さくなり、空白となる領域が生じる。
　続いて、Ｓ２３０で、制御部１０は、上記の変換によって空白になった領域を他の撮像画像により補完する。すなわち、制御部１０は、障害物を縮めることによって、画像データが無くなり空白となる領域が生じるが、この領域を、障害物までの距離が最も近いカメラによる撮像画像以外の撮像画像を用いて補完する。
　詳細には、図７に示す例では、２人の歩行者５１１，５１２が重複領域２２Ｄに含まれる場合において、左側の歩行者５１１は前方カメラ２１Ｆの撮像画像に含まれ、右側の歩行者５１２は右カメラ２１Ｒの撮像画像に含まれる。
　この場合、左側の歩行者５１１については、領域５１１Ａが俯瞰画像にて引き伸ばされる領域となり、右側の歩行者５１２について、領域５１２Ａが俯瞰画像にて引き伸ばされる領域となる。ただし、各歩行者５１１，５１２は、他のカメラでも撮像されており、他のカメラの撮像画像では、領域５１１Ｂ，５１２Ｂが俯瞰画像にてそれぞれ引き伸ばされる領域になり、領域５１１Ａ，５１２Ａは他のカメラによって良好に撮像される。
　このため、俯瞰画像にて歩行者５１１，５１２が含まれる撮像画像での領域５１１Ａ，５１２Ａを、俯瞰画像にて歩行者５１１，５１２が含まれない撮像画像に含まれる領域５１１Ａ，５１２Ａに置換することによって補完する。この構成では、他のカメラで撮像した画像をそのまま利用するので、実際の撮像風景を忠実に再現できる。
　このような処理が終了すると、障害物変換処理を終了し、図３のＳ１７０に移行する。
　図３に示すように、制御部１０は、Ｓ１３０で撮像画像の重複領域に障害物がないと判定した場合には、Ｓ１６０へ移行し、既定の位置に境界線を設定する。
　続いて、Ｓ１７０で、制御部１０は、変換後の各撮像画像を設定された境界線で繋ぐことによって、鳥瞰図である合成画像を生成した後、図３の画像生成処理を終了する。
　［１－３．効果］
　以上詳述した第１実施形態によれば、以下の効果を奏する。
　（１ａ）上記の画像生成システム１は、制御部１０を備える。制御部１０は、Ｓ１１０で、車両に搭載された複数の撮像部によって車両の周囲が撮像された複数の撮像画像を取得するように構成される。制御部１０は、Ｓ１２０，Ｓ１３０で、複数の撮像画像に含まれる１又は複数の障害物であって、重複領域に位置する障害物を表す特定障害物の位置をそれぞれ認識するように構成される。制御部１０は、Ｓ１４０，Ｓ１６０で、特定障害物を避けて重複領域内において境界線を設定するように構成される。制御部１０は、Ｓ１７０で、境界線を複数の撮像画像を結合する際の境界にして、複数の撮像画像を組み合わせた合成画像を生成するように構成される。
　このような構成によれば、合成画像において境界線によって障害物が切断されないようにすることができるので、合成画像の視認性を向上させることができる。
　（１ｂ）上記の画像生成システム１において制御部１０は、Ｓ１２０，Ｓ１３０で、障害物のうちの少なくとも地面に接地する部位を特定障害物として認識する。
　このような構成によれば、特定障害物の位置を認識する際に重要な、接地する部位を避けて境界線を設定するので、障害物を切断しなければ境界線を設定できない場合であっても、特定障害物を認識しやすい合成画像とすることができる。
　（１ｃ）上記の画像生成システム１において制御部１０は、Ｓ１４０，Ｓ１６０で、特定障害物が、それぞれ、複数の撮像部のうちの特定障害物までの距離が最も近い撮像部による撮像画像に含まれるように境界線を設定する。
　このような構成によれば、特定障害物の歪みを小さくし、極力鮮明に表示することができる。
　（１ｄ）上記の画像生成システム１において制御部１０は、Ｓ１７０で、合成画像として、車両の周囲を上方から俯瞰した俯瞰画像を生成するように構成される。制御部１０は、Ｓ２２０で、俯瞰画像にて引き伸ばされる特定障害物を他の画像に置換するように構成される。
　このような構成によれば、俯瞰画像にて引き伸ばされる特定障害物を他の画像に置換するので、俯瞰画像中の特定障害物をより見やすく表示することができる。
　（１ｅ）上記の画像生成システム１において制御部１０は、Ｓ２３０で、特定障害物を他の画像に置換することによって生じる領域を、特定障害物までの距離が最も近い撮像部による撮像画像以外の撮像画像を用いて補完するように構成される。
　このような構成によれば、俯瞰画像にて引き伸ばされる特定障害物の陰になる部位を他の撮像部による撮像画像を用いて補完することができる。特に、ある特定障害物の陰となる部位を他の撮像画像で撮像して補完するので、補完する部位の状況を実際の状況通りに再現することができる。
　［２．他の実施形態］
　以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
　（２ａ）上記実施形態では、制御部１０は、俯瞰画像にて引き伸ばされる障害物が引き伸ばされないように座標変換することで、障害物を縮められた他の画像に置換するように構成したが、これに限定されるものではない。例えば、他の画像として、障害物を図柄で示すアイコンに置換してもよい。障害物の種別を認識する構成を備えるのであれば、障害物の種別に応じて異なる図柄のアイコンに置換してもよい。
　（２ｂ）上記の画像生成システム１において制御部１０は、Ｓ１４０，Ｓ１６０で、特定障害物を避けて重複領域内において複数の境界線候補を仮に設定し、複数の境界線候補のうちの予め設定された基準位置により近い境界線候補を境界線として設定してもよい。
　この場合、例えば、図４の中段に示す境界線設定条件Ｂを採用し、図８に示すように、複数の境界線を仮に設定する。境界線設定条件Ｂでは、（１）障害物の領域を避けて、複数の境界線を仮に設定する。この際、（２）障害物の領域としては障害物の下端部を避けるようにする。例えば、図８の例では、歩行者５０１，５０２，５０３，５０４，５０５の間を通る境界線２３Ａ，２３Ｂ，２３Ｃ，２３Ｄ，２３Ｅが境界線の候補として設定される。
　なお、境界線は、直線である必要はなく、例えば、重複領域２２Ｄの対角となる２カ所の端部を通過する円弧、任意の曲線等であってもよい。図８に示す例の場合には、これらの境界線の候補のうちの規定の位置に最も近い境界線２３Ｂが境界線として採用される。
　このような構成によれば、障害物を避けつつ基準位置に近い位置に境界線を設定することができる。
　（２ｃ）また、上記（２ｂ）の構成では、障害物からより近いカメラによる撮像画像から障害物の部位を切り出し、障害物については境界線の位置に拘らず、切り出した障害物を合成して表示させるようにしてもよい。つまり、障害物は前方カメラ２１Ｆで撮像された画像を採用し、障害物の周囲は右カメラ２１Ｒで撮像された画像を採用するようにしてもよい。
　（２ｄ）また、撮像画像から障害物を抽出する際に、撮像画像によって重複領域での障害物の検出数に差がある場合、障害物の検出数が最も多い撮像画像に障害物の全てが含まれるように境界線を設定してもよい。この場合、例えば、図４の下段に示す境界線設定条件Ｃを採用し、図９に示すように境界線２３Ｇを設定するとよい。
　すなわち、図９に示す例では、２人の歩行者５２１，５２２が重複領域内に位置するが、前方カメラ２１Ｆの撮像画像では、右側の歩行者５２２が左側の歩行者５２１の陰になる領域５２１Ａに入るため認識されない。この場合、前方カメラ２１Ｆの撮像画像では障害物の認識数が１となり、一方で、右カメラ２１Ｒの撮像画像では障害物の認識数が２となる。この場合、境界線設定条件Ｃに示すように、（１）重複領域での障害物の検出数が多い撮像画像に障害物が含まれるように境界を決定し、この際、（２）障害物の下端部を避け、（３）規定の位置に近づけるようにするとよい。
　このようにすると、図９に示すように、歩行者５２１，５２２が右カメラ２１Ｒの撮像画像に含まれるように境界線２３Ｇが設定される。
　（２ｅ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。
　（２ｆ）上述した画像生成システム１の他、当該画像生成システム１の構成要素となる制御装置、当該画像生成システム１としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像生成方法など、種々の形態で本開示を実現することもできる。
　［３．実施形態の構成と本開示の構成との対応関係］
　上記実施形態において制御部１０は本開示でいう画像生成装置に相当する。また、上記実施形態において制御部１０が実行する処理のうちのＳ１１０の処理は本開示でいう画像取得部に相当し、Ｓ１２０，Ｓ１３０の処理は本開示でいう位置認識部に相当する。
　また、Ｓ１４０，Ｓ１６０の処理は本開示でいう境界線設定部に相当し、Ｓ１７０の処理は本開示でいう画像合成部に相当する。また、Ｓ２２０の処理は本開示でいう画像置換部に相当し、Ｓ２３０の処理は本開示でいう画像補完部に相当する。

Claims (11)

  1. 　車両に搭載され、撮像領域が一部互いに重複する重複領域を有する複数の撮像部によって前記車両の周囲が撮像された複数の撮像画像を取得するように構成された画像取得部（Ｓ１１０）と、
    　前記重複領域に位置する１又は複数の障害物である特定障害物の位置をそれぞれ認識するように構成された位置認識部（Ｓ１２０，Ｓ１３０）と、
    　前記特定障害物が、それぞれ、前記複数の撮像部のうちの前記特定障害物までの距離が最も近い撮像部による撮像画像に含まれるように前記境界線を設定するように構成された境界線設定部（Ｓ１４０，Ｓ１６０）と、
    　前記境界線を前記複数の撮像画像を結合する際の境界にして、前記複数の撮像画像を組み合わせた合成画像を生成するように構成された画像合成部（Ｓ１７０）と、
    　を備える画像生成装置（１０）。
  2. 　請求項１に記載の画像生成装置であって、
    　前記境界線設定部は、前記特定障害物を避けて前記重複領域内において複数の境界線候補を仮に設定し、該複数の境界線候補のうちの予め設定された基準位置により近い境界線候補を前記境界線として設定する
    　ように構成された画像生成装置。
  3. 　請求項１又は請求項２に記載の画像生成装置であって、
    　前記特定障害物までの距離は前記特定障害物が地面に接地する部位までの距離であって、
    　前記境界線設定部は、前期特定障害物の接地部位までの距離が最も近い撮像部による撮像画像に含まれるように前記境界線を設定する
    　ように構成された画像生成装置。
  4. 　請求項１から請求項３までのいずれか１項に記載の画像生成装置であって、
    　前記画像合成部は、前記合成画像として、前記車両の周囲を上方から俯瞰した俯瞰画像を生成するように構成され、
    　前記俯瞰画像にて引き伸ばされる特定障害物を他の画像に置換するように構成された画像置換部（Ｓ２２０）、
    　をさらに備える画像生成装置。
  5. 　請求項４に記載の画像生成装置であって、
    　前記特定障害物を他の画像に置換することによって生じる領域を、前記特定障害物までの距離が最も近い撮像部ではない撮像部によって撮像された重複領域の撮像画像を用いて補完するように構成された画像補完部（Ｓ２３０）、
    　をさらに備える画像生成装置。
  6. 　車両の異なる位置に配置された複数のカメラ(２１Ｆ、２１Ｂ、２１Ｌ、２１Ｒ)によって撮像された撮像画像から車室内に配置される表示装置（３０）に表示する表示画像を生成する画像生成装置であって、
    　前記画像生成装置は、メモリ（１２）とＣＰＵ（１１）を備える制御部（１０）を有し、
    前記複数のカメラ(２１Ｆ、２１Ｂ、２１Ｌ、２１Ｒ)によって撮像された撮像画像は、一部互いに重複する重複領域を有し、
    　制御部（１０）はＣＰＵ(１１)による演算に基づき前記メモリ（１２）に記憶された前記複数のカメラによる撮像画像の前記重複領域に含まれる１又は複数の障害物の位置を認識し、
    　制御部（１０）はＣＰＵ(１１)による演算に基づき認識された前記障害物がそれぞれ前記複数のカメラのうちの距離が最も近いカメラによる撮像画像に含まれるように前記境界線を設定し、
    　制御部（１０）は前記境界線を前記複数の撮像画像を結合する際の境界にして、前記複数の撮像画像を組み合わせた合成画像を生成すること
    　を特徴とする画像生成装置。
  7. 　請求項６に記載の画像生成装置であって、
    　前記制御部（１０）は、前記障害物を避けて前記重複領域内において複数の境界線候補を仮に設定し、該複数の境界線候補のうちの予め設定された基準境界線により近い境界線候補を前記境界線を設定すること
    　を特徴とする画像生成装置。
  8. 　請求項６又は請求項７のいずれか１項に記載の画像生成装置であって、
    　前記障害物までの距離は前記障害物が地面に接地する部位までの距離であって、
    前記制御部（１０）は、前記障害物の接地部位までの距離が最も近いカメラによる撮像画像に含まれるように前記境界線を設定すること
    　を特徴とする画像生成装置。
  9. 　請求項６から請求項８までのいずれか１項に記載の画像生成装置であって、
    　前記制御部（１０）は、前記合成画像として、前記車両の周囲を上方から俯瞰した俯瞰画像を生成するように構成され、
    　前記制御部（１０）は、前記俯瞰画像にて引き伸ばされて表示される障害物を他の画像に置換して、前記合成画像を生成すること
    　を特徴とする画像生成装置。
  10. 　請求項９に記載の画像生成装置であって、
    　前記制御部（１０）は、前記障害物を他の画像に置換した後に生じる影領域を、前記障害物までの距離が最も近いカメラではないカメラによって撮像された重複領域の撮像画像を用いて補完すること
    　を特徴とする画像生成装置。
  11. 　車両に搭載された制御部（１０）が実行する画像生成方法であって、
    　撮像領域が一部互いに重複する重複領域を有する複数の撮像部によって前記車両の周囲が撮像された複数の撮像画像を取得し（Ｓ１１０）、
    　前記重複領域に位置する１又は複数の障害物である特定障害物の位置をそれぞれ認識し（Ｓ１２０，Ｓ１３０）、
    　前記特定障害物が、それぞれ、前記複数の撮像部のうちの前記特定障害物までの距離が最も近い撮像部による撮像画像に含まれるように前記境界線を設定し（Ｓ１４０，Ｓ１６０）、
    　前記境界線を前記複数の撮像画像を結合する際の境界にして、前記複数の撮像画像を組み合わせた合成画像を生成する（Ｓ１７０）
    　画像生成方法。
PCT/JP2019/001873 2018-02-09 2019-01-22 画像生成装置および画像生成方法 WO2019155868A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/986,587 US11458892B2 (en) 2018-02-09 2020-08-06 Image generation device and image generation method for generating a composite image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-021840 2018-02-09
JP2018021840A JP6835004B2 (ja) 2018-02-09 2018-02-09 画像生成装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/986,587 Continuation US11458892B2 (en) 2018-02-09 2020-08-06 Image generation device and image generation method for generating a composite image

Publications (1)

Publication Number Publication Date
WO2019155868A1 true WO2019155868A1 (ja) 2019-08-15

Family

ID=67549589

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/001873 WO2019155868A1 (ja) 2018-02-09 2019-01-22 画像生成装置および画像生成方法

Country Status (3)

Country Link
US (1) US11458892B2 (ja)
JP (1) JP6835004B2 (ja)
WO (1) WO2019155868A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023521791A (ja) * 2020-04-09 2023-05-25 コノート、エレクトロニクス、リミテッド 信頼性の高いスティッチング画像を作成するためのシステムおよび方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102281609B1 (ko) * 2020-01-16 2021-07-29 현대모비스 주식회사 어라운드뷰 합성 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305999A (ja) * 1995-05-11 1996-11-22 Hitachi Ltd 車載用カメラシステム
WO2011036892A1 (ja) * 2009-09-24 2011-03-31 パナソニック株式会社 運転支援表示装置
JP2011254190A (ja) * 2010-06-01 2011-12-15 Clarion Co Ltd 車両用周囲監視装置
JP2012174152A (ja) * 2011-02-24 2012-09-10 Fujitsu Semiconductor Ltd 画像処理装置、画像処理システム、及び画像処理方法
JP2013501280A (ja) * 2009-08-05 2013-01-10 ダイムラー・アクチェンゲゼルシャフト 車両周辺のモニタ方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4922368B2 (ja) * 2009-08-27 2012-04-25 本田技研工業株式会社 車両周辺監視装置
JP6635188B2 (ja) 2016-03-18 2020-01-22 株式会社Ｊｖｃケンウッド 物体認識装置、物体認識方法及び物体認識プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305999A (ja) * 1995-05-11 1996-11-22 Hitachi Ltd 車載用カメラシステム
JP2013501280A (ja) * 2009-08-05 2013-01-10 ダイムラー・アクチェンゲゼルシャフト 車両周辺のモニタ方法
WO2011036892A1 (ja) * 2009-09-24 2011-03-31 パナソニック株式会社 運転支援表示装置
JP2011254190A (ja) * 2010-06-01 2011-12-15 Clarion Co Ltd 車両用周囲監視装置
JP2012174152A (ja) * 2011-02-24 2012-09-10 Fujitsu Semiconductor Ltd 画像処理装置、画像処理システム、及び画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023521791A (ja) * 2020-04-09 2023-05-25 コノート、エレクトロニクス、リミテッド 信頼性の高いスティッチング画像を作成するためのシステムおよび方法
JP7447307B2 (ja) 2020-04-09 2024-03-11 コノート、エレクトロニクス、リミテッド 信頼性の高いスティッチング画像を作成するためのシステムおよび方法

Also Published As

Publication number Publication date
JP6835004B2 (ja) 2021-02-24
US11458892B2 (en) 2022-10-04
US20200361378A1 (en) 2020-11-19
JP2019140518A (ja) 2019-08-22

Similar Documents

Publication Publication Date Title
JP5068779B2 (ja) 車両周囲俯瞰画像表示装置及び方法
JP6406159B2 (ja) 車載表示制御装置、車載表示制御方法
JP7222254B2 (ja) 周辺表示制御装置
WO2016002163A1 (ja) 画像表示装置、画像表示方法
US11518390B2 (en) Road surface detection apparatus, image display apparatus using road surface detection apparatus, obstacle detection apparatus using road surface detection apparatus, road surface detection method, image display method using road surface detection method, and obstacle detection method using road surface detection method
WO2017022497A1 (ja) 運転者に支援画像を提示する装置及びその方法
JP5516988B2 (ja) 駐車支援装置
JP6471522B2 (ja) カメラパラメータ調整装置
JP6554866B2 (ja) 画像表示制御装置
JP5966513B2 (ja) 車両の後側方撮影装置
JP4797877B2 (ja) 車両用映像表示装置及び車両周囲映像の表示方法
JP2020068515A (ja) 画像処理装置
WO2019058585A1 (ja) 表示制御装置
JP6876236B2 (ja) 表示制御装置
WO2019155868A1 (ja) 画像生成装置および画像生成方法
JP6152261B2 (ja) 車載用駐車枠認識装置
JP6683245B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、物体認識装置及び機器制御システム
JP2020052671A (ja) 表示制御装置、車両、表示制御方法
US10821900B2 (en) Image processing device
JP6032141B2 (ja) 走行路面標示検知装置および走行路面標示検知方法
JP7203205B2 (ja) 車両周辺画像生成装置、車両周辺表示システム、及び車両周辺表示方法
JP7209442B2 (ja) 画像処理装置及び画像処理方法
WO2018066510A1 (ja) 画像処理装置
JP6805900B2 (ja) 画像処理装置およびカメラ装置並びに運転支援装置
JP2024099429A (ja) 車両用表示制御装置、車両用表示制御方法及び車両用表示制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19751177

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19751177

Country of ref document: EP

Kind code of ref document: A1