WO2015011897A1 - 車両周辺監視装置およびプログラム - Google Patents

車両周辺監視装置およびプログラム Download PDF

Info

Publication number
WO2015011897A1
WO2015011897A1 PCT/JP2014/003769 JP2014003769W WO2015011897A1 WO 2015011897 A1 WO2015011897 A1 WO 2015011897A1 JP 2014003769 W JP2014003769 W JP 2014003769W WO 2015011897 A1 WO2015011897 A1 WO 2015011897A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
area
horizontal line
coordinate conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/003769
Other languages
English (en)
French (fr)
Inventor
昇幸 横田
宗昭 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to DE112014003459.2T priority Critical patent/DE112014003459T5/de
Priority to CN201480042246.3A priority patent/CN105453558B/zh
Priority to US14/906,838 priority patent/US20160180179A1/en
Publication of WO2015011897A1 publication Critical patent/WO2015011897A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space

Definitions

  • a vehicle driver monitors the state of a road surface and the like from the vehicle interior by photographing a periphery including at least one road surface of the front and rear of the host vehicle and displaying the image in the vehicle interior.
  • the present invention relates to a vehicle periphery monitoring device and a program.
  • this type of vehicle periphery monitoring apparatus is installed with a back camera attached to the rear part of the vehicle, generates a virtual bird's-eye image by processing the original image of the rear of the vehicle photographed by the back camera, Display on the display in the passenger compartment.
  • a conventional vehicle periphery monitoring device for example, only a road surface state may be displayed as a bird's-eye image on a display device in a vehicle interior. From such a bird's-eye image, the positional relationship between the vehicle and the road surface and information on the height direction are displayed. It is difficult for the vehicle driver to communicate, and there is a risk of giving the vehicle driver a sense of discomfort and pressure.
  • An object of the present disclosure is to provide a vehicle periphery monitoring device and a program that can further suppress a sense of discomfort and pressure of a vehicle driver in a display image in a vehicle interior.
  • an imaging unit that is attached to the host vehicle and captures a periphery including at least one road surface of the front and rear of the host vehicle, and an original image captured by the imaging unit, Using parameters that can calculate the edge position of the host vehicle and the horizontal line position with respect to the host vehicle, the ratios of the three partitioned areas partitioned in the vertical direction by the edge position and the horizontal line position are set in advance.
  • An image processing unit that generates a virtual coordinate conversion image based on the original image by performing image correction including predetermined coordinate conversion so as to approach the ratio, and based on the coordinate conversion image generated by the image processing unit
  • a vehicle periphery monitoring device including a display unit that displays a photographing screen in a predetermined display area in a vehicle interior.
  • a program for causing a computer connected to the photographing unit and the display unit to function as the image processing unit is provided.
  • each of the three partitioned areas in the coordinate conversion image is divided into an end area, an end position, and a horizontal line position, which are areas below the end position. If the road surface area is an area between, and the sky area is an area above the horizontal line position, it is possible to display a shooting screen in which these end area, road surface area, and sky area are distributed in a well-balanced manner at a predetermined ratio It becomes.
  • the vehicle periphery monitoring device and the program according to the present disclosure not only the state of the road surface but also the edge position of the own vehicle and the horizontal line position with respect to the own vehicle can be easily understood as a coordinate conversion image on the display device in the vehicle interior. It can be shown to the driver, and the vehicle driver can intuitively recognize the positional relationship between the host vehicle and the road surface and information on the height direction from such a coordinate conversion image.
  • the above parameters include external parameters indicating the position and orientation of the photographing unit, and the image processing unit performs, for example, camera calibration using this parameter, so that the vehicle on which the photographing unit is mounted (own vehicle) ),
  • the edge position of the host vehicle in the original image and the horizontal line position with respect to the host vehicle can be calculated in advance. That is, even when the type (vehicle type) of the vehicle on which the photographing unit is mounted is different, it is possible to calculate in advance information about the edge position of the own vehicle and the horizontal line position with respect to the own vehicle in the original image.
  • FIG. 1 is a block diagram illustrating the overall configuration of a vehicle periphery monitoring device
  • FIG. 2 is an explanatory view illustrating the manner of attaching the camera to the host vehicle.
  • FIG. 3 is an explanatory diagram illustrating each partition area in the image.
  • FIG. 4 is a flowchart illustrating the contents of image processing performed by the vehicle periphery monitoring device.
  • FIG. 5A is an explanatory diagram illustrating synthesis of a simulated image (bumper image) in image processing
  • FIG. 5B is an explanatory diagram illustrating synthesis of a simulated image (sky image) in image processing.
  • a vehicle periphery monitoring device 1 is attached to a vehicle and photographs a periphery including at least one road surface in front of and behind the vehicle (hereinafter referred to as “own vehicle”).
  • a camera 2 a display unit 4 that displays an image in a predetermined display area in the vehicle interior of the host vehicle, a control unit 6 that performs image correction (hereinafter referred to as “image processing”) including predetermined coordinate transformation described later,
  • a storage unit 8 for storing information is provided.
  • the camera 2 corresponds to an example of an imaging unit (or means) of the present disclosure
  • the display unit 4 corresponds to an example of a display unit (or means)
  • the control unit 6 corresponds to an example of an image processing unit (or means).
  • the control unit 6 is a well-known electronic control device mainly composed of a microcomputer, and each unit of the vehicle periphery monitoring device 1 is controlled by the control unit 6.
  • the control unit 6 may be prepared exclusively for controlling the vehicle periphery monitoring device 1 or may be a general-purpose device that performs control other than the vehicle periphery monitoring device 1. Moreover, you may comprise by the single control part 6, and the some control part 6 may function in cooperation.
  • the camera 2 has a wide area around the vehicle including a bumper as a rear end portion of the own vehicle and a landscape at a position higher than the road surface along with the road surface behind the own vehicle by a plurality of fisheye lenses installed at the rear of the own vehicle. You can shoot. Further, the camera 2 has a control device, and when given an instruction for a cut-off angle of view from the control unit 6, a function of cutting out and providing a part of the original image at the angle of view according to the instruction is provided. I have.
  • control unit 6 gives an instruction to the camera 2 to cut out the central part with less distortion of the original image, and the camera 2 cuts out the central part from the original image according to this instruction (hereinafter “ The camera image ”is provided to the control unit 6.
  • the display unit 4 is a center display installed in or near the dashboard in the cabin of the host vehicle.
  • the center display is generated by performing image processing on the camera image acquired from the camera 2 by the control unit 6. A shooting screen based on the obtained image (details will be described later) is displayed.
  • the storage unit 8 includes, in addition to programs defining image processing performed by the control unit 6 and internal parameters specific to the camera 2 (ie, lens focal length, angle of view, number of pixels, etc.) in the world coordinate system. This is a non-volatile memory that stores external parameters indicating the position and orientation of the camera 2 (hereinafter referred to as “camera 2 mounting parameters”) and the like.
  • the storage unit 8 stores information indicating the bumper position of the host vehicle and the horizontal line position with respect to the host vehicle (hereinafter referred to as “bumper / horizon line position information”) in the original image.
  • the horizontal line position mainly indicates the boundary between the sky and the ground in the original image captured by the camera 2
  • the bumper position mainly indicates the boundary between the ground and the host vehicle in the original image captured by the camera 2. I can say that.
  • the bumper / horizontal line position information has, as viewed from the camera 2, the edge located at the end of the bumper at the rear of the vehicle (side extending in the vehicle width direction) as an edge, Bumper position information indicating in coordinates where each point constituting this edge position (ie, bumper position) is projected, and similarly a position indicating the horizontal direction when the camera 2 is the starting point ( That is, it is composed of horizontal line position information indicating in coordinates where the horizontal line position is projected in the original image.
  • the camera 2 attachment parameters include position information representing the attachment position of the camera 2 in three dimensions (X, Y, Z) with respect to the host vehicle in the world coordinate system, and the attachment angle of the camera 2 by roll, pitch,
  • the control unit 6 (or the control device of the camera 2) includes, for example, a camera calibration using the attachment parameters (and internal parameters) of the camera 2 to provide a bumper. -Horizontal line position information can be calculated in advance.
  • the bumper / horizontal position information (and thus the mounting parameters of the camera 2 and the like) can be calculated in advance according to the shape of the vehicle (the host vehicle) on which the camera 2 is installed. Even when the type (vehicle type) of the vehicle is different, the bumper position of the own vehicle and the horizontal line position with respect to the own vehicle in the original image can be calculated in advance.
  • an original image (or camera image) that can be acquired from the camera 2 and an image (a coordinate conversion image or a corrected image described later) generated by performing image processing by the control unit 6 are shown in FIG.
  • the area below the bumper position is an area that mainly indicates the bumper at the rear of the vehicle, so it is called a bumper area (also called an end area)
  • the area between the bumper position and the horizontal line position is Since it is an area mainly indicating the road surface state, it is referred to as a road surface area, and an area above the horizontal line position is referred to as an empty area because it is an area mainly indicating an empty landscape when there is no obstacle.
  • control unit 6 When this process is started, the control unit 6 first reads the bumper / horizontal line position information from the storage unit 8 in S110, and acquires the original image from the camera 2 in subsequent S120.
  • each of the three partitioned areas (bumpers) partitioned in the vertical direction by the bumper position and the horizontal line position in the original image is specified.
  • a coordinate group (collection of a plurality of coordinates) indicating each of the area, the road surface area, and the sky area is specified.
  • an instruction for cutting out the central portion of the original image with less distortion from the original image is supplied to the camera 2.
  • the camera 2 Upon receiving this instruction from the control unit 6, the camera 2 provides the above-described camera image to the control unit 6.
  • the ratio of each partition area is set in advance in the camera image based on the camera image acquired from the camera 2 in S140 and the coordinate group indicating each of the three partition areas specified in S130.
  • image correction including predetermined coordinate conversion so as to approach the target ratio, a virtual coordinate conversion image based on the original image acquired in S110 is generated.
  • image correction is performed so that at least the size of the bumper area and the sky area of each partitioned area approaches the target ratio within a range that does not exceed the size based on the target ratio. It has become.
  • the target ratio is determined in advance by a sensory test or the like so that each divided area (bumper area, road area, sky area) is visually distributed in a coordinate conversion image (and a corrected image described later). It is a predetermined ratio.
  • the mounting parameters of the camera 2 that is, position information and angle information related to the mounting of the camera 2 are used so that the road surface state can be easily recognized from the actual viewpoint from the camera 2.
  • a known viewpoint conversion process is performed to convert the viewpoint to the selected viewpoint. Further, in the image correction, the aspect ratio of the image is changed as necessary in addition to the viewpoint conversion process.
  • the image processing unit 6 permits the display unit 4 to display a shooting screen when the ratio of the three divided areas in the coordinate conversion image is equal to the target ratio (S160: YES) (S170).
  • an image (bumper image) simulating the rear end (bumper) of the host vehicle is used so that the bumper area has a size based on the target ratio.
  • first corrected image an image generated by performing a combining process for combining the bumper image with the coordinate conversion image in this way is displayed on the display unit 4.
  • the display is permitted and the process is terminated.
  • a bumper image of a corresponding size may be added to an area that is not large enough based on the target ratio in the bumper area, or all areas of the bumper area based on the target ratio are supported. You may join a bumper image of size.
  • the bumper image may be any image as long as it simulates the rear end portion (bumper) of the host vehicle. For example, a simple image may be a black-colored image.
  • an image (sky image) simulating the sky landscape so that the sky area has a size based on the target ratio. ) Is synthesized with at least a part of the sky region (see FIG. 5B), and the image (second image) generated by performing the synthesis process for synthesizing the sky image with the coordinate conversion image (or the first corrected image) in this way.
  • the display unit 4 is allowed to display a shooting screen based on (corrected image)), and the process is terminated.
  • a sky image of a corresponding size may be added to an area that is not large enough based on the target ratio in the sky area, or all areas of the sky area based on the target ratio are supported. You may join a sky image of size.
  • the sky image may be any image as long as it simulates the sky landscape.
  • a simple image may be an image filled with a blue color.
  • the vehicle periphery monitoring device 1 includes the camera 2, the control unit 6, and the display unit 4.
  • the camera 2 is attached to the host vehicle and photographs the vicinity of the vehicle including the road surface behind the host vehicle.
  • the display unit 4 displays a shooting screen (including a shooting screen based on the corrected image) based on the coordinate conversion image generated by the control unit 6 in a predetermined display area in the vehicle interior.
  • control unit uses the mounting parameters of the camera 2 that can calculate the edge position (bumper position) of the host vehicle and the horizontal line position with respect to the host vehicle in the original image taken by the camera 2, and the bumper position and A virtual coordinate conversion image based on the original image by performing image correction including predetermined coordinate conversion so that the ratio of each of the three divided areas divided in the vertical direction by the horizontal line position approaches a preset target ratio. Is generated.
  • each of the three partitioned areas in the coordinate conversion image is divided into a bumper area that is a lower area than the bumper position, a road surface area that is an area between the edge position and the horizontal line position, and a horizontal line position.
  • a bumper area that is a lower area than the bumper position As the sky area that is the upper area, it is possible to display a shooting screen in which the bumper area, the road surface area, and the sky area are distributed at a predetermined ratio in a balanced manner.
  • the vehicle periphery monitoring device 1 not only the state of the road surface but also the bumper position of the own vehicle and the horizontal line position with respect to the own vehicle can be easily shown to the vehicle driver as a coordinate conversion image on the display unit 4 in the vehicle interior.
  • the vehicle driver can intuitively recognize the positional relationship between the host vehicle and the road surface and information on the height direction from such a coordinate conversion image.
  • the control unit 6 permits the display unit 4 to display a shooting screen when the ratio of each of the three partitioned areas in the coordinate conversion image is equal to the target ratio.
  • the bumper position of the host vehicle and the horizontal line position with respect to the host vehicle are always kept constant, so that the vehicle driver is not made more uncomfortable. Can do.
  • the control unit 6 synthesizes an image simulating the rear end (bumper) of the host vehicle with a coordinate conversion image when the bumper area is small with respect to the target ratio.
  • the coordinate conversion image when the bumper position of the host vehicle is shifted downward with respect to the predetermined reference position, or when the end side position has disappeared, the end of the host vehicle is increased in order to improve the visibility.
  • the bumper position of the host vehicle can be adjusted to a predetermined reference position.
  • the control unit 6 is configured to synthesize an image simulating the sky landscape with the coordinate conversion image when the sky area is small with respect to the target ratio. That is, in the coordinate conversion image, when the horizontal line position with respect to the host vehicle is shifted upward with respect to a predetermined reference position, or when the horizontal line position has disappeared, an empty landscape is shown to improve visibility. By joining the simulated image, the horizontal line position with respect to the host vehicle can be adjusted to a predetermined reference position. As a result, it is possible to easily cope with a case where a display image in which a sky area is distributed with a desired balance cannot be obtained only by image correction including coordinate conversion, so that the vehicle driver can feel a sense of pressure. It can suppress suitably.
  • this indication is not limited to the above-mentioned embodiment, and can be carried out in various modes in the range which does not deviate from the gist of this indication.
  • the display unit 4 is configured by the center display of the host vehicle.
  • the display unit 4 is not limited to this, and various displays such as a meter display and a head-up display. It can be constituted by a device.
  • the camera 2 is installed in the rear part of the own vehicle, it is comprised by the rear view camera which image
  • the present invention is not limited to this, and it may be configured by a front view camera that is installed in the front part of the host vehicle and captures the vehicle periphery including the road surface ahead of the host vehicle.
  • the present invention is not limited to this.
  • the ratio of each divided area is within an allowable range set in advance based on the target ratio, it is based on the coordinate conversion image. It may be permitted to display the shooting screen on the display unit 4.
  • the shooting screen based on the coordinate conversion image is displayed. The display on the unit 4 may be permitted.
  • the vehicle periphery monitoring device of the present disclosure made to achieve the above object includes an imaging unit, an image processing unit, and a display unit.
  • photography part is attached to the own vehicle and image
  • the display unit displays a shooting screen based on the coordinate conversion image generated by the image processing unit in a predetermined display area in the vehicle interior.
  • the image processing unit uses the parameters that can calculate the edge position of the own vehicle and the horizontal line position with respect to the own vehicle in the original image taken by the photographing unit, and these edge position and horizontal line position.
  • a virtual coordinate conversion image based on the original image is generated by performing image correction including predetermined coordinate conversion so that the ratio of each of the three divided areas divided in the vertical direction by the above approaches a preset target ratio To do.
  • each of the three divided areas in the coordinate conversion image is divided into an end area which is an area below the end position, and a road surface area which is an area between the end position and the horizontal position.
  • the sky area is an area above the horizontal line position, it is possible to display a photographing screen in which the end area, the road surface area, and the sky area are distributed at a predetermined ratio in a balanced manner.
  • the above parameters include external parameters indicating the position and orientation of the photographing unit, and the image processing unit performs, for example, camera calibration using this parameter, so that the vehicle on which the photographing unit is mounted (own vehicle) ),
  • the edge position of the host vehicle in the original image and the horizontal line position with respect to the host vehicle can be calculated in advance. That is, even when the type (vehicle type) of the vehicle on which the photographing unit is mounted is different, it is possible to calculate in advance information about the edge position of the own vehicle and the horizontal line position with respect to the own vehicle in the original image.
  • the present disclosure can be distributed to the market as a program. Specifically, it is a program for causing a computer connected to the photographing unit and the display unit to function as the image processing unit.
  • This program can be integrated into one or a plurality of computers to obtain the same effect as that achieved by the vehicle periphery monitoring device of the present disclosure.
  • the program of the present disclosure may be stored in a ROM, flash memory, or the like incorporated in the computer, and loaded into the computer from the ROM, flash memory, or the like, or loaded into the computer via a network and used. May be.
  • the above program may be used by being recorded on a recording medium of any form readable by a computer.
  • the recording medium include a portable semiconductor memory (for example, a USB memory or a memory card (registered trademark)).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

　車両周辺監視装置は、自車両に取り付けられて、該自車両の前方および後方のうち少なくとも一方の路面を含む周辺を撮影する撮影部（２）と、原画像において、前記自車両の端辺位置および前記自車両に対する水平線位置を算出可能なパラメータを用いて、画像補正を施すことにより、該原画像に基づく仮想的な座標変換画像を生成する画像処理部（６）と、撮影画面を、車室内において所定の表示領域に表示する表示部（４）と、を備える。プログラムは、前記撮影部（２）および前記表示部（４）に接続されるコンピュータを前記画像処理部（６）として機能させる。

Description

車両周辺監視装置およびプログラム 関連出願の相互参照
　本出願は、２０１３年７月２６日に出願された日本国特許出願２０１３－１５５６６２号に基づくものであり、ここにその記載内容を参照により援用する。
　本開示は、自車両の前方および後方のうち少なくとも一方の路面を含む周辺を撮影して、その画像を車室内に表示することにより、路面の状態等を、車両運転者が車室内から監視する車両周辺監視装置、およびプログラムに関する。
　従来、この種の車両周辺監視装置は、車両の後部にバックカメラを取り付けて設置し、バックカメラが撮影した車両後方の原画像を加工して仮想的な鳥瞰画像を生成し、その鳥瞰画像を車室内の表示装置に表示する。
　このような車両周辺監視装置において、例えば原画像から鳥瞰画像への座標変換を行う際には、バックカメラの位置姿勢を示す外部パラメータを用いた座標変換が行われる。この場合、バックカメラの取付誤差や車両の揺れによって、バックカメラの位置姿勢が変動すると、座標変換に影響して鳥瞰画像を正しく生成できなくなるおそれがあるため、原画像から車両のバンパの位置を検出し、検出したバンパの位置に基づいてバックカメラの取付角度を算出することにより、外部パラメータを補正することが提案されている（例えば、特許文献１参照）。
　本月発明者は車両周辺監視装置について以下を見出した。従来の車両周辺監視装置では、例えば車室内の表示装置に鳥瞰画像として路面の状態だけが映し出される場合があり、このような鳥瞰画像からは車両と路面との位置関係や高さ方向の情報が車両運転者に伝わりにくく、車両運転者に違和感や圧迫感を与えるおそれがある。
日本国公開特許公報２００４－６４４４１号
　本開示の目的は、車室内の表示画像において、車両運転者の違和感や圧迫感をより抑制することが可能な車両周辺監視装置およびプログラムを提供することにある。
　本開示の一例によれば、自車両に取り付けられて、該自車両の前方および後方のうち少なくとも一方の路面を含む周辺を撮影する撮影部と、前記撮影部によって撮影された原画像において、前記自車両の端辺位置および前記自車両に対する水平線位置を算出可能なパラメータを用いて、前記端辺位置および前記水平線位置によって上下方向に区画される３つの各区画領域の割合が予め設定された目標割合に近づくように所定の座標変換を含む画像補正を施すことにより、該原画像に基づく仮想的な座標変換画像を生成する画像処理部と、前記画像処理部によって生成された座標変換画像に基づく撮影画面を、車室内において所定の表示領域に表示する表示部と、を備える車両周辺監視装置が提供される。
　さらに本開示の一例によれば、前記撮影部および前記表示部に接続されるコンピュータを前記画像処理部として機能させるためのプログラムが提供される。
　本開示に係る車両周辺監視装置およびプログラムによれば、例えば、座標変換画像における３つの各区画領域を、それぞれ、端辺位置より下側の領域である端部領域、端辺位置と水平線位置との間の領域である路面領域、水平線位置より上側の領域である空領域とすると、これら端部領域、路面領域、空領域が所定の割合でバランスよく配分された撮影画面を表示することが可能となる。
　つまり、本開示に係る車両周辺監視装置およびプログラムによれば、車室内の表示装置に座標変換画像として路面の状態だけでなく、自車両の端辺位置と自車両に対する水平線位置とをわかりやすく車両運転者に示すことができ、このような座標変換画像から自車両と路面との位置関係や高さ方向の情報を、車両運転者に直感的に認知させることが可能となる。
　したがって、本開示によれば、車室内の表示画像において、自車両と路面との位置関係が直感的に認知できないという違和感や、路面よりも高い位置の情報が得られないことに起因する圧迫感、つまり、車両運転者の違和感や圧迫感をより抑制することができる。
　なお、上記パラメータは、撮影部の位置姿勢を示す外部パラメータを含むものであり、画像処理部は、このパラメータを用いて例えばカメラキャリブレーションを行うことにより、撮影部が搭載される車両（自車両）の形状に応じて、予め原画像における自車両の端辺位置および自車両に対する水平線位置を算出しておくことができる。つまり、撮影部が搭載される車両の種類（車種）が異なる場合であっても、予め原画像における自車両の端辺位置および自車両に対する水平線位置に関する情報を算出しておくことができる。
　本開示についての上記および他の目的、特徴や利点は、添付の図面を参照した下記の詳細な説明から、より明確になる。添付図面において
図１は、車両周辺監視装置の全体構成を例示するブロック図であり、 図２は、自車両へのカメラの取り付け態様を例示する説明図であり、 図３は、画像において各区画領域を例示する説明図であり、 図４は、車両周辺監視装置が行う画像処理の内容を例示するフローチャートであり、 図５Ａは、画像処理における模擬画像（バンパ画像）の合成を例示する説明図であり、 図５Ｂは、画像処理における模擬画像（空画像）の合成を例示する説明図である。
　以下に、本開示の実施形態を図面と共に説明する。
　なお、本開示は、下記の実施形態によって何ら限定して解釈されない。また、下記の実施形態の一部を、課題を解決できる限りにおいて省略した態様も本開示の実施形態である。また、本開示の本質を逸脱しない限度において考え得るあらゆる態様が本開示の実施形態に含まれる。また、下記の実施形態の説明で用いる符号は本開示の理解を容易にする目的で使用しており、本開示の技術的範囲を限定する意図ではない。
　＜全体構成＞
　図１に示すように、本実施形態の車両周辺監視装置１は、車両に取り付けられて、その車両（以下「自車両」という）の前方および後方のうち少なくとも一方の路面を含む周辺を撮影するカメラ２と、自車両の車室内において所定の表示領域に画像を表示する表示部４と、後述する所定の座標変換を含む画像補正（以下「画像処理」という）を行う制御部６と、各種情報を記憶する記憶部８などを備えている。
　カメラ２は本開示の撮影部（または手段）の一例に相当し、表示部４は表示部（または手段）の一例に相当し、制御部６は画像処理部（または手段）の一例に相当する。
　制御部６は、マイクロコンピュータを中心に構成された周知の電子制御装置であり、この制御部６によって車両周辺監視装置１の各部が制御される。なお、制御部６は、車両周辺監視装置１の制御専用に用意されたものであってもよいし、車両周辺監視装置１以外の制御も行う汎用のものであってもよい。また、単一の制御部６で構成してもよいし、複数の制御部６が協働して機能するものであってもよい。
　カメラ２は、自車両の後部に設置された複数の魚眼レンズによって、自車両の後方の路面とともに、自車両の後端部としてのバンパや、路面よりも高い位置の風景を含む車両周辺を広域に撮影できるようになっている。また、カメラ２は、制御装置を有し、制御部６から切り出し画角の指示を与えられると、その指示に応じた画角にて原画像の一部を原画像から切り出して提供する機能を備えている。本実施形態では、制御部６からカメラ２に、原画像のうち歪みの少ない中央部を切り出すための指示が与えられ、カメラ２が、この指示に従って原画像から中央部を切り出した画像（以下「カメラ画像」という）を制御部６に提供する。
　表示部４は、自車両の車室内においてダッシュボードまたはその付近に設置されるセンターディスプレイであり、このセンターディスプレイには、制御部６がカメラ２から取得したカメラ画像に画像処理を施すことで生成した画像（詳細については後述する）に基づく撮影画面が表示されるようになっている。
　記憶部８は、制御部６が実施する画像処理を規定しているプログラムや、カメラ２固有の内部パラメータ（即ち、レンズの焦点距離、画角、画素数等）に加えて、ワールド座標系におけるカメラ２の位置姿勢を示す外部パラメータ（以下「カメラ２の取り付けパラメータ」という）等を記憶する不揮発性メモリである。また、記憶部８には、原画像において自車両のバンパ位置および自車両に対する水平線位置を示す情報（以下「バンパ・水平線位置情報」という）が格納されている。
　言い換えると、水平線位置は、カメラ２によって撮影された原画像における空と地面の境界を主に示し、バンパ位置は、カメラ２によって撮影された原画像における地面と自車両の境界を主に示すとも言える。
　詳細には、このバンパ・水平線位置情報は、図２に示すように、カメラ２から見て、車両後部のバンパのうち最も端に位置する辺（車幅方向に延びる辺）を端辺とし、この端辺位置（即ち、バンパ位置）を構成する各点が原画像のどこに投影されるかを座標で示すバンパ位置情報と、同様に、カメラ２を起点とした場合の水平方向を示す位置（即ち、水平線位置）が原画像のどこに投影されるかを座標で示す水平線位置情報とからなる。
　また、カメラ２の取り付けパラメータは、ワールド座標系において、自車両に対し、カメラ２の取り付け位置を３次元（Ｘ，Ｙ，Ｚ）で表す位置情報と、カメラ２の取り付け角度をロール、ピッチ、ヨーで表す角度情報とを含むものであり、制御部６（またはカメラ２の制御装置）は、このカメラ２の取り付けパラメータ（および内部パラメータ）を用いて、例えばカメラキャリブレーションを行うことにより、バンパ・水平線位置情報を予め算出しておくことができる。
　このため、バンパ・水平線位置情報（ひいてはカメラ２の取り付けパラメータ等）は、カメラ２が設置される車両（自車両）の形状に応じて、予め算出しておくことが可能であることから、自車両の種類（車種）が異なる場合であっても、予め原画像における自車両のバンパ位置および自車両に対する水平線位置を算出しておくことができる。
　なお、以下では、カメラ２から取得可能な原画像（またはカメラ画像）や、制御部６が画像処理を実施することで生成される画像（後述する座標変換画像または補正画像）において、図３に示すように、バンパ位置よりも下側の領域は、主に車両後部のバンパを示す領域となるためバンパ領域（端部領域とも呼ぶ）と称し、バンパ位置と水平線位置との間の領域は、主に路面の状態を示す領域となるため路面領域と称し、水平線位置よりも上側の領域は、障害物がない場合に主に空の風景を示す領域となるため空領域と称することにする。
　＜画像処理＞
　次に、制御部６が実施する画像処理について、図４のフローチャートに沿って説明する。なお、本処理は、例えばエンジン始動に伴い、シフト位置センサ（非図示）から供給される検知情報に基づいてシフトレンジの検知を行い、シフトレンジがＲに変更されると開始される。また、制御部６は、記憶部８に記憶されているプログラムに基づいて、本処理を実行するようになっている。
　本処理が開始されると、まず、制御部６は、Ｓ１１０において、記憶部８からバンパ・水平線位置情報を読み込み、続くＳ１２０において、カメラ２から原画像を取得する。
　そして、続くＳ１３０では、Ｓ１１０において読み込んだバンパ・水平線位置情報と、Ｓ１２０において取得した原画像とに基づいて、原画像においてバンパ位置および水平線位置によって上下方向に区画される３つの各区画領域（バンパ領域、路面領域および空領域）をそれぞれ示す座標群（複数の座標の集まり）を特定する。
　続くＳ１４０では、Ｓ１２０において取得した原画像に基づき、この原画像のうち歪みの少ない中央部を原画像から切り出すための指示をカメラ２に供給する。カメラ２は、この指示を制御部６から受け取ると、前述したカメラ画像を制御部６に提供することになる。
　そして、続くＳ１５０では、Ｓ１４０に伴ってカメラ２から取得したカメラ画像と、Ｓ１３０において特定した３つの各区画領域をそれぞれ示す座標群とに基づいて、カメラ画像において、各区画領域の割合が予め設定された目標割合に近づくように所定の座標変換を含む画像補正を施すことにより、Ｓ１１０において取得した原画像に基づく仮想的な座標変換画像を生成する。本実施形態では、カメラ画像において、少なくとも、各区画領域のうち、バンパ領域および空領域の大きさがそれぞれ目標割合に基づく大きさを超えない範囲で目標割合に近づくように画像補正を行うようになっている。
　なお、目標割合は、座標変換画像（および後述する補正画像）において、各区画領域（バンパ領域、路面領域、空領域）が視覚上バランスよく配分されるように、官能検査等によって予め決められた所定割合である。また、座標変換では、カメラ２の取り付けパラメータ（つまり、カメラ２の取り付けに関する位置情報や角度情報など）を用いて、カメラ２からの実際の視点から、路面の状態を認識しやすくなる程度に俯瞰した視点に変換する公知の視点変換処理が行われる。さらに、画像補正では、必要に応じ、視点変換処理に加えて、画像の縦横比が変更される。
　続くＳ１６０では、Ｓ１５０において生成した座標変換画像について、各区画領域の割合が目標割合と等しいか否かを判断し、ここで、肯定判断した場合には、Ｓ１７０に移行し、否定判断した場合には、Ｓ１８０に移行する。
　Ｓ１７０では、Ｓ１６０において各区画領域の割合が目標割合と等しいと判断した座標変換画像に基づく撮影画面を表示部４に表示させることを許可し、本処理を終了する。
　つまり、画像処理部６は、座標変換画像における３つの各区画領域の割合が目標割合と等しい場合（Ｓ１６０：ＹＥＳ）に、表示部４による撮影画面の表示を許可する（Ｓ１７０）。
　一方、Ｓ１８０では、Ｓ１６０において各区画領域の割合が目標割合と等しくないと判断した座標変換画像について、目標割合に対し、バンパ領域が少ないか否か（目標割合に基づく大きさに比べて、バンパ領域が小さいか否か）を判断し、バンパ領域が小さい場合には、Ｓ１９０に移行する。また、Ｓ１８０において否定判断した場合、即ち、バンパ領域が目標割合に基づく大きさである場合には、空領域が少ない（目標割合に基づく大きさに比べて、空領域が小さい）ことになり、Ｓ２１０に移行する。
　Ｓ１９０では、Ｓ１５０において生成した座標変換画像について、バンパ領域が目標割合に基づく大きさとなるように、自車両の後端部（バンパ）を模擬した画像（バンパ画像）を、バンパ領域の少なくとも一部に合成し（図５Ａ参照）、このようにバンパ画像を座標変換画像に合成する合成処理を施すことで生成した画像（以下「第１の補正画像」という）に基づく撮影画面を表示部４に表示させることを許可して、本処理を終了する。なお、この合成処理では、バンパ領域において目標割合に基づく大きさに足りない領域に、対応する大きさのバンパ画像を加入してもよいし、目標割合に基づくバンパ領域の全ての領域に対応する大きさのバンパ画像を加入してもよい。また、バンパ画像は、自車両の後端部（バンパ）を模擬した画像であれば、どのような画像でもよく、例えば簡易なものとしては黒系の色を塗りつぶした画像であってもよい。
　続くＳ２００では、Ｓ１６０において各区画領域の割合が目標割合と等しくないと判断した座標変換画像について、目標割合に対し、空領域が少ないか否か（目標割合に基づく大きさに比べて、空領域が小さいか否か）を判断し、空領域が小さい場合には、Ｓ２１０に移行し、ここで肯定判断した場合、即ち、空領域が目標割合に基づく大きさである場合には、本処理を終了する。
　最後に、Ｓ２１０では、Ｓ１５０において生成した座標変換画像（またはＳ１９０において生成した第１の補正画像）について、空領域が目標割合に基づく大きさとなるように、空の風景を模擬した画像（空画像）を、空領域の少なくとも一部に合成し（図５Ｂ参照）、このように空画像を座標変換画像（または第１の補正画像）に合成する合成処理を施すことで生成した画像（第２の補正画像）に基づく撮影画面を表示部４に表示させることを許可して、本処理を終了する。なお、この合成処理では、空領域において目標割合に基づく大きさに足りない領域に、対応する大きさの空画像を加入してもよいし、目標割合に基づく空領域の全ての領域に対応する大きさの空画像を加入してもよい。また、空画像は、空の風景を模擬した画像であれば、どのような画像でもよく、例えば簡易なものとしては青系の色を塗りつぶした画像であってもよい。
　＜効果＞
　以上説明したように、車両周辺監視装置１は、カメラ２と、制御部６と、表示部４とを備える。カメラ２は、自車両に取り付けられて、その自車両の後方の路面を含む車両周辺を撮影する。表示部４は、制御部６によって生成された座標変換画像に基づく撮影画面（補正画像に基づく撮影画面を含む）を、車室内において所定の表示領域に表示する。
　ここで、制御部は、カメラ２によって撮影された原画像において、自車両の端辺位置（バンパ位置）および自車両に対する水平線位置を算出可能なカメラ２の取り付けパラメータを用いて、これらバンパ位置および水平線位置によって上下方向に区画される３つの各区画領域の割合が予め設定された目標割合に近づくように所定の座標変換を含む画像補正を施すことにより、原画像に基づく仮想的な座標変換画像を生成する。
　このような構成では、座標変換画像における３つの各区画領域を、それぞれ、バンパ位置より下側の領域であるバンパ領域、端辺位置と水平線位置との間の領域である路面領域、水平線位置より上側の領域である空領域として、これらバンパ領域、路面領域、空領域が所定の割合でバランスよく配分された撮影画面を表示することが可能となる。
　つまり、車両周辺監視装置１では、車室内の表示部４に座標変換画像として路面の状態だけでなく、自車両のバンパ位置と自車両に対する水平線位置とをわかりやすく車両運転者に示すことができ、このような座標変換画像から自車両と路面との位置関係や高さ方向の情報を、車両運転者に直感的に認知させることが可能となる。
　したがって、車両周辺監視装置１によれば、車室内の表示画像において、自車両と路面との位置関係が直感的に認知できないという違和感や、路面よりも高い位置の情報が得られないことに起因する圧迫感、つまり、車両運転者の違和感や圧迫感をより抑制することができ、車両運転者にとってわかりやすく見映えのよい撮影画面を表示することができる。
　また、車両周辺監視装置１において、制御部６は、座標変換画像における３つの各区画領域の割合が目標割合と等しい場合に、表示部４による撮影画面の表示を許可するようにしている。このような構成によれば、車室内の表示画像において、自車両のバンパ位置および自車両に対する水平線位置が常に一定に保たれるため、車両運転者に対して違和感をより与えないようにすることができる。
　また、車両周辺監視装置１において、制御部６は、目標割合に対し、バンパ領域が少ない場合、自車両の後端部（バンパ）を模擬した画像を座標変換画像に合成するようにしている。つまり、座標変換画像において、自車両のバンパ位置が所定の基準位置に対して下方にずれている場合や、端辺位置が消失している場合等に、視認性を上げるために自車両の端部を示す模擬画像を加入することにより、自車両のバンパ位置を所定の基準位置に合わせることができる。
　これにより、座標変換を含む画像補正だけでは所望のバランスでバンパ領域が配分された表示画像を得ることができない場合にも、容易に対応することが可能となるため、車両運転者の違和感を好適に抑制することができる。なお、この場合、自車両と路面との位置関係において、実際よりも自車両のバンパ位置が前方または後方に出っ張った感覚を車両運転者に与えてしまう可能性もあるが、仮にそうなったとしても、自車両の運転にとっては安全方向に作用することになる（障害物との衝突を早期に回避させるように運転操作させ易くなる）ため、安全面からは問題がないと考えられる。
　また、車両周辺監視装置１において、制御部６は、目標割合に対し、空領域が少ない場合、空の風景を模擬した画像を座標変換画像に合成するようにしている。つまり、座標変換画像において、自車両に対する水平線位置が所定の基準位置に対して上方にずれている場合や、水平線位置が消失している場合等に、視認性を上げるために空の風景を示す模擬画像を加入することにより、自車両に対する水平線位置を所定の基準位置に合わせることができる。これにより、座標変換を含む画像補正だけでは所望のバランスで空領域が配分された表示画像を得ることができない場合にも、容易に対応することが可能となるため、車両運転者の圧迫感を好適に抑制することができる。
　＜他の実施形態＞
　以上、本開示の実施形態について説明したが、本開示は上記実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
　例えば、上記実施形態の車両周辺監視装置１では、表示部４が自車両のセンターディスプレイによって構成されているが、表示部４は、これに限らず、メータディスプレイやヘッドアップディスプレイ等の各種の表示装置によって構成され得る。
　また、上記実施形態の車両周辺監視装置１では、カメラ２が自車両の後部に設置されて自車両の後方の路面を含む車両周辺を撮影するリアビューカメラによって構成されているが、カメラ２は、これに限らず、自車両の前部に設置されて自車両の前方の路面を含む車両周辺を撮影するフロントビューカメラによって構成されてもよい。
　また、上記実施形態の画像処理では、Ｓ１５０において生成した座標変換画像について、各区画領域の割合が目標割合と等しい場合に（Ｓ１６０；ＹＥＳ）、この座標変換画像に基づく撮影画面を表示部４に表示させることを許可しているが（Ｓ１７０）、これに限らず、例えば、各区画領域の割合が目標割合に基づいて予め設定された許容範囲内である場合に、上記の座標変換画像に基づく撮影画面を表示部４に表示させることを許可してもよい。また、例えば、各区画領域のうちバンパ領域が目標割合に基づく大きさ以上であり、且つ、空領域が目標割合に基づく大きさ以上である場合に、上記の座標変換画像に基づく撮影画面を表示部４に表示させることを許可してもよい。
　上記目的を達成するためになされた本開示の車両周辺監視装置は、撮影部と、画像処理部と、表示部とを備える。撮影部は、自車両に取り付けられて、その自車両の前方および後方のうち少なくとも一方の路面を含む周辺を撮影する。表示部は、画像処理部によって生成された座標変換画像に基づく撮影画面を、車室内において所定の表示領域に表示する。
　ここで、本開示において、画像処理部は、撮影部によって撮影された原画像において、自車両の端辺位置および自車両に対する水平線位置を算出可能なパラメータを用いて、これら端辺位置および水平線位置によって上下方向に区画される３つの各区画領域の割合が予め設定された目標割合に近づくように所定の座標変換を含む画像補正を施すことにより、原画像に基づく仮想的な座標変換画像を生成する。
　このような構成では、例えば、座標変換画像における３つの各区画領域を、それぞれ、端辺位置より下側の領域である端部領域、端辺位置と水平線位置との間の領域である路面領域、水平線位置より上側の領域である空領域とすると、これら端部領域、路面領域、空領域が所定の割合でバランスよく配分された撮影画面を表示することが可能となる。
　つまり、本開示の構成では、車室内の表示装置に座標変換画像として路面の状態だけでなく、自車両の端辺位置と自車両に対する水平線位置とをわかりやすく車両運転者に示すことができ、このような座標変換画像から自車両と路面との位置関係や高さ方向の情報を、車両運転者に直感的に認知させることが可能となる。
　したがって、本開示によれば、車室内の表示画像において、自車両と路面との位置関係が直感的に認知できないという違和感や、路面よりも高い位置の情報が得られないことに起因する圧迫感、つまり、車両運転者の違和感や圧迫感をより抑制することができる。
　なお、上記パラメータは、撮影部の位置姿勢を示す外部パラメータを含むものであり、画像処理部は、このパラメータを用いて例えばカメラキャリブレーションを行うことにより、撮影部が搭載される車両（自車両）の形状に応じて、予め原画像における自車両の端辺位置および自車両に対する水平線位置を算出しておくことができる。つまり、撮影部が搭載される車両の種類（車種）が異なる場合であっても、予め原画像における自車両の端辺位置および自車両に対する水平線位置に関する情報を算出しておくことができる。
　また、本開示は、プログラムとして市場に流通させることができる。具体的には、撮影部および表示部に接続されるコンピュータを、上記の画像処理部として機能させるためのプログラムである。
　このプログラムは、１ないし複数のコンピュータに組み込まれることにより、本開示の車両周辺監視装置によって奏する効果と同等の効果を得ることができる。なお、本開示のプログラムは、コンピュータに組み込まれるＲＯＭやフラッシュメモリ等に記憶され、これらＲＯＭやフラッシュメモリ等からコンピュータにロードされて用いられてもよいし、ネットワークを介してコンピュータにロードされて用いられてもよい。
　また、上記のプログラムは、コンピュータにて読み取り可能なあらゆる形態の記録媒体に記録されて用いられてもよい。この記録媒体としては、例えば、持ち運び可能な半導体メモリ（例えばＵＳＢメモリやメモリカード（登録商標））等が含まれる。
　以上、本開示に係る実施の形態および構成を例示したが、本開示に係る実施の形態および構成は、上述した各実施の形態および各構成に限定されるものではない。異なる実施の形態および構成にそれぞれ開示された技術的要素を適宜組み合わせて得られる実施の形態および構成についても本開示に係る実施の形態および構成の範囲に含まれる。

Claims (7)

  1. 　自車両に取り付けられて、該自車両の前方および後方のうち少なくとも一方の路面を含む周辺を撮影する撮影部（２）と、
    　前記撮影部（２）によって撮影された原画像において、前記自車両の端辺位置および前記自車両に対する水平線位置を算出可能なパラメータを用いて、前記端辺位置および前記水平線位置によって上下方向に区画される３つの各区画領域の割合が予め設定された目標割合に近づくように所定の座標変換を含む画像補正を施すことにより、該原画像に基づく仮想的な座標変換画像を生成する画像処理部（６）と、
    　前記画像処理部（６）によって生成された座標変換画像に基づく撮影画面を、車室内において所定の表示領域に表示する表示部（４）と、
    　を備える車両周辺監視装置。
  2. 　前記画像処理部（６）は、前記座標変換画像における前記３つの各区画領域の割合が前記目標割合と等しい場合に、前記表示部（４）による前記撮影画面の表示を許可する請求項１に記載の車両周辺監視装置。
  3. 　前記座標変換画像における前記３つの各区画領域を、それぞれ、前記端辺位置より下側の領域である端部領域、前記端辺位置と前記水平線位置との間の領域である路面領域、前記水平線位置より上側の領域である空領域とし、
    　前記画像処理部（６）は、前記目標割合に対し、前記端部領域が少ない場合、前記自車両の端部を模擬した画像を前記座標変換画像に合成する請求項１または請求項２に記載の車両周辺監視装置。
  4. 　前記座標変換画像における前記３つの各区画領域を、それぞれ、前記端辺位置より下側の領域である端部領域、前記端辺位置と前記水平線位置との間の領域である路面領域、前記水平線位置より上側の領域である空領域とし、
    　前記画像処理部（６）は、前記目標割合に対し、前記空領域が少ない場合、空の風景を模擬した画像を前記座標変換画像に合成する請求項１ないし請求項３のいずれか１項に記載の車両周辺監視装置。
  5. 　請求項１ないし請求項４のいずれか１項に記載の前記撮影部（２）および前記表示部（４）に接続されるコンピュータを前記画像処理部（６）として機能させるためのプログラム。
  6. 　請求項５に記載のプログラムを記憶する、コンピュータ読み取り可能な非一時的な記憶媒体。
  7. 　前記水平線位置は、前記撮影部（２）によって撮影された原画像における空と地面の境界を示し、
    　前記端辺位置は、前記撮影部（２）によって撮影された原画像における前記地面と前記自車両の境界を示す、
    　請求項１ないし請求項４のいずれか一項に記載の車両周辺監視装置。
     
     
PCT/JP2014/003769 2013-07-26 2014-07-16 車両周辺監視装置およびプログラム Ceased WO2015011897A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112014003459.2T DE112014003459T5 (de) 2013-07-26 2014-07-16 Fahrzeugumgebungsüberwachungsvorrichtung und Programm
CN201480042246.3A CN105453558B (zh) 2013-07-26 2014-07-16 车辆周边监视装置
US14/906,838 US20160180179A1 (en) 2013-07-26 2014-07-16 Vehicle periphery monitoring apparatus and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-155662 2013-07-26
JP2013155662A JP5999043B2 (ja) 2013-07-26 2013-07-26 車両周辺監視装置およびプログラム

Publications (1)

Publication Number Publication Date
WO2015011897A1 true WO2015011897A1 (ja) 2015-01-29

Family

ID=52392962

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/003769 Ceased WO2015011897A1 (ja) 2013-07-26 2014-07-16 車両周辺監視装置およびプログラム

Country Status (5)

Country Link
US (1) US20160180179A1 (ja)
JP (1) JP5999043B2 (ja)
CN (1) CN105453558B (ja)
DE (1) DE112014003459T5 (ja)
WO (1) WO2015011897A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10152767B1 (en) * 2016-12-15 2018-12-11 The Mathworks, Inc. Memory efficient on-chip buffering for projective transformation
KR102551099B1 (ko) 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
JP6964276B2 (ja) * 2018-03-07 2021-11-10 パナソニックＩｐマネジメント株式会社 表示制御装置、車両周辺表示システムおよびコンピュータプログラム
JP7104916B2 (ja) * 2018-08-24 2022-07-22 国立大学法人岩手大学 移動物体検出装置および移動物体検出方法
CN109353276B (zh) * 2018-09-21 2022-02-11 上海豫兴电子科技有限公司 一种车载摄像头角度标定方法和标定装置
CN109353275B (zh) * 2018-09-21 2022-03-25 上海豫兴电子科技有限公司 一种车载摄像头角度标定贴膜及标定方法
CN109774603A (zh) * 2019-02-28 2019-05-21 上海豫兴电子科技有限公司 一种车载摄像头角度辅助标定方法和装置
CN111652937B (zh) * 2019-03-04 2023-11-03 广州汽车集团股份有限公司 车载相机标定方法和装置
CN110285779A (zh) * 2019-06-12 2019-09-27 智久(厦门)机器人科技有限公司 一种深度相机的角度误差补偿方法、装置、存储介质
JP6692981B1 (ja) * 2019-09-13 2020-05-13 マレリ株式会社 表示装置及び表示方法
CN112565629B (zh) * 2020-12-03 2022-08-16 宁波视睿迪光电有限公司 一种图像处理方法、装置、系统、可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369186A (ja) * 2001-06-07 2002-12-20 Sony Corp 車両後方画像表示装置、車両周囲画像表示方法
JP2002374523A (ja) * 2001-06-18 2002-12-26 Matsushita Electric Ind Co Ltd 監視システム
JP2003212041A (ja) * 2002-01-25 2003-07-30 Toyota Central Res & Dev Lab Inc 車輌後方表示装置
JP2010081245A (ja) * 2008-09-25 2010-04-08 Nissan Motor Co Ltd 車両用表示装置および表示方法
JP2010095086A (ja) * 2008-10-15 2010-04-30 Nissan Motor Co Ltd 車両用表示装置および表示方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4286294B2 (ja) * 2007-02-21 2009-06-24 三洋電機株式会社 運転支援システム
JP4924896B2 (ja) * 2007-07-05 2012-04-25 アイシン精機株式会社 車両の周辺監視装置
US8395824B2 (en) * 2008-07-17 2013-03-12 Samsung Electronics Co., Ltd. Method for determining ground line
JP5451497B2 (ja) * 2010-04-08 2014-03-26 パナソニック株式会社 運転支援表示装置
JP5519479B2 (ja) * 2010-11-29 2014-06-11 パナソニック株式会社 運転支援表示装置
JP5703255B2 (ja) * 2012-04-27 2015-04-15 株式会社東芝 画像処理装置、画像処理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369186A (ja) * 2001-06-07 2002-12-20 Sony Corp 車両後方画像表示装置、車両周囲画像表示方法
JP2002374523A (ja) * 2001-06-18 2002-12-26 Matsushita Electric Ind Co Ltd 監視システム
JP2003212041A (ja) * 2002-01-25 2003-07-30 Toyota Central Res & Dev Lab Inc 車輌後方表示装置
JP2010081245A (ja) * 2008-09-25 2010-04-08 Nissan Motor Co Ltd 車両用表示装置および表示方法
JP2010095086A (ja) * 2008-10-15 2010-04-30 Nissan Motor Co Ltd 車両用表示装置および表示方法

Also Published As

Publication number Publication date
DE112014003459T5 (de) 2016-04-14
US20160180179A1 (en) 2016-06-23
JP2015026989A (ja) 2015-02-05
CN105453558A (zh) 2016-03-30
CN105453558B (zh) 2018-09-04
JP5999043B2 (ja) 2016-09-28

Similar Documents

Publication Publication Date Title
JP5999043B2 (ja) 車両周辺監視装置およびプログラム
CN101978694B (zh) 图像处理装置和方法、驾驶支持系统、车辆
US8947533B2 (en) Parameter determining device, parameter determining system, parameter determining method, and recording medium
US7365653B2 (en) Driving support system
US8018490B2 (en) Vehicle surrounding image display device
US11528453B2 (en) Sensor fusion based perceptually enhanced surround view
JP6099333B2 (ja) 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法
CN111819571B (zh) 具有经调整适配的投影面的全景环视系统
JP6512016B2 (ja) 車両用表示装置
US20080043113A1 (en) Image processor and visual field support device
JP6257978B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP2021516390A5 (ja)
JP2019529242A (ja) 車両の車両周辺のバックミラー光景の提供方法
KR20170135952A (ko) 차량의 주변 영역을 표시하기 위한 방법
JP2009151524A (ja) 画像表示方法および画像表示装置
JP2007274377A (ja) 周辺監視装置、プログラム
JP7000383B2 (ja) 画像処理装置および画像処理方法
CN107249934B (zh) 无失真显示车辆周边环境的方法和装置
KR20220052172A (ko) 서라운드뷰 모니터링 시스템 및 그 제공 방법
JP2014165810A (ja) パラメータ取得装置、パラメータ取得方法及びプログラム
US12080075B2 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
JP5271186B2 (ja) 車両用画像表示装置
JP2007150658A (ja) 車載周辺画像表示装置
JP6148896B2 (ja) 画像生成装置及び画像生成方法
US20200231099A1 (en) Image processing apparatus

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480042246.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14829562

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14906838

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112014003459

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14829562

Country of ref document: EP

Kind code of ref document: A1