KR20210030751A - Apparatus for providing top view image of parking space and method thereof - Google Patents

Apparatus for providing top view image of parking space and method thereof Download PDF

Info

Publication number
KR20210030751A
KR20210030751A KR1020190112296A KR20190112296A KR20210030751A KR 20210030751 A KR20210030751 A KR 20210030751A KR 1020190112296 A KR1020190112296 A KR 1020190112296A KR 20190112296 A KR20190112296 A KR 20190112296A KR 20210030751 A KR20210030751 A KR 20210030751A
Authority
KR
South Korea
Prior art keywords
view image
top view
parking space
providing
panoramic
Prior art date
Application number
KR1020190112296A
Other languages
Korean (ko)
Inventor
이용준
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020190112296A priority Critical patent/KR20210030751A/en
Priority to US16/876,952 priority patent/US11615631B2/en
Priority to DE102020207199.3A priority patent/DE102020207199A1/en
Priority to CN202010531579.XA priority patent/CN112562384B/en
Publication of KR20210030751A publication Critical patent/KR20210030751A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/133—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops
    • G08G1/137—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops the indicator being in the form of a map
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021—Determination of steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/171—Vehicle or relevant part thereof displayed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B60K2370/152—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

The present invention relates to a parking space top-view image providing apparatus and a method thereof and, more specifically, to a parking space top-view image providing apparatus capable of capturing a top-view image for a parking space on a route where a vehicle drives, and providing a panorama top-view image connecting the current top-view image with a previous top-view image based on a steering angle in accordance with the driving of the vehicle, thereby enabling a user to freely choose an empty parking section on the current top-view image as well as an empty parking section on the previous top-view image, and a method thereof. To achieve the purpose, the parking space top-view image providing apparatus of the present invention includes: a steering angle sensor measuring a steering angle of a vehicle; a top-view image creation part creating a top-view image of a parking space in accordance with the driving of the vehicle; a display part displaying the top-view image created by the top-view image creation part; and a control part capturing the top-view image displayed by the display part, and creating a panorama top-view image by connecting the current top-view image created by the top-view image creation part with the captured previous top-view image based on the steering angle measured by the steering angle sensor.

Description

주차공간의 탑뷰 이미지 제공 장치 및 그 방법{APPARATUS FOR PROVIDING TOP VIEW IMAGE OF PARKING SPACE AND METHOD THEREOF}Apparatus and method for providing top view image of parking space {APPARATUS FOR PROVIDING TOP VIEW IMAGE OF PARKING SPACE AND METHOD THEREOF}

본 발명은 차량의 주차지원시스템에 의해 탐색된 주차공간의 탑뷰 이미지를 제공하는 기술에 관한 것이다.The present invention relates to a technology for providing a top view image of a parking space searched by a parking assistance system of a vehicle.

일반적으로, 주차공간의 탑뷰 이미지 제공 장치는 차량에 구비된 주차지원시스템과 연동하여, 도 1에 도시된 바와 같은 소정의 한정된 영역(일례로, 자차 기준 3~4m 영역)에 대한 탑뷰 이미지를 디스플레이한다. 이때, 차량이 서서히 전진하게 되면 복수의 카메라에 의해 촬영되는 주차공간에 대한 이미지가 변하게 되므로, 탑뷰 이미지 역시 그에 맞게 변한다.In general, the apparatus for providing a top view image of a parking space displays a top view image for a predetermined limited area (for example, a 3-4 m area based on the own vehicle) as shown in FIG. 1 in connection with a parking assistance system provided in the vehicle. do. At this time, when the vehicle gradually advances, the image of the parking space photographed by the plurality of cameras changes, so the top view image also changes accordingly.

주차공간의 탑뷰 이미지 제공 장치는 현재 디스플레이되고 있는 탑뷰 이미지상의 빈 주차구획에는 주차 가능함을 알리는 아이콘(11)을 표시하고, 현재 탑뷰 이미지상에 포함되지 않은 빈 주차구획(이전 탑뷰 이미지에 포함된 빈 주차구획)에는 주차 가능함을 알리는 아이콘을 직접 표시할 수 없기 때문에 빈 주차구획 방향으로 빈 주차구획이 있음을 알리는 아이콘(12)을 표시한다.The apparatus for providing a top view image of a parking space displays an icon 11 indicating that parking is available in an empty parking area on the currently displayed top view image, and an empty parking area not included in the current top view image (the empty parking area included in the previous top view image). In the parking zone), an icon indicating that parking is available cannot be directly displayed, so an icon 12 indicating that there is an empty parking zone in the direction of the empty parking zone is displayed.

이러한 종래의 주차공간의 탑뷰 이미지 제공 장치는 현재 시점의 주차공간에 대한 탑뷰 이미지만을 제공할 뿐, 이전 시점의 주차공간에 대한 탑뷰 이미지를 제공하지 못하기 때문에 사용자는 이전 시점의 탑뷰 이미지 상의 빈 주차구획을 선택할 수 없다.This conventional device for providing a top view image of a parking space only provides a top view image for the parking space at the current point of time, and cannot provide a top view image for the parking space at the previous point of time. You cannot select a division.

본 발명은 차량이 주행한 경로상의 주차공간에 대한 탑뷰 이미지를 캡처하고, 상기 차량의 주행에 따른 조향각을 기반으로 현재의 탑뷰 이미지와 이전의 탑뷰 이미지를 연결한 파노라마 탑뷰 이미지를 제공함으로써, 현재의 탑뷰 이미지상의 빈 주차구획은 물론 이전의 탑뷰 이미지상의 빈 주차구획을 사용자가 자유롭게 선택할 수 있도록 하는 주차공간의 탑뷰 이미지 제공 장치 및 그 방법을 제공하는데 그 목적이 있다.The present invention captures a top view image of a parking space on a path the vehicle has traveled, and provides a panoramic top view image in which a current top view image and a previous top view image are connected based on a steering angle according to the driving of the vehicle. An object of the present invention is to provide an apparatus and method for providing a top view image of a parking space allowing a user to freely select an empty parking segment on a top view image as well as an empty parking segment on a previous top view image.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention that are not mentioned can be understood by the following description, and will be more clearly understood by examples of the present invention. In addition, it will be easily understood that the objects and advantages of the present invention can be realized by the means shown in the claims and combinations thereof.

상기 목적을 달성하기 위한 본 발명의 장치는, 주차공간의 탑뷰 이미지 제공 장치에 있어서, 차량의 조향각을 측정하는 조향각센서; 상기 차량의 주행에 따른 주차공간의 탑뷰 이미지를 생성하는 탑뷰 이미지 생성부; 상기 탑뷰 이미지 생성부에 의해 생성된 탑뷰 이미지를 표시하는 표시부; 및 상기 표시부에 의해 표시되는 탑뷰 이미지를 캡처하고, 상기 조향각센서에 의해 측정된 조향각을 기반으로 상기 탑뷰 이미지 생성부에 의해 생성된 현재의 탑뷰 이미지와 상기 캡처된 이전의 탑뷰 이미지를 연결하여 파노라마 탑뷰 이미지를 생성하는 제어부를 포함할 수 있다.An apparatus of the present invention for achieving the above object is an apparatus for providing a top view image of a parking space, comprising: a steering angle sensor for measuring a steering angle of a vehicle; A top view image generating unit generating a top view image of a parking space according to the driving of the vehicle; A display unit that displays a top view image generated by the top view image generation unit; And capturing a top view image displayed by the display unit, and connecting the current top view image generated by the top view image generation unit and the captured previous top view image based on the steering angle measured by the steering angle sensor to create a panoramic top view. It may include a control unit that generates an image.

여기서, 상기 제어부는 상기 파노라마 탑뷰 이미지 중 캡처된 탑뷰 이미지에 음영을 적용할 수 있다. 이때, 상기 제어부는 상기 캡처된 탑뷰 이미지를 복수의 영역을 구분한 후 서로 다른 음영을 적용할 수 있다.Here, the controller may apply a shadow to the captured top view image among the panoramic top view images. In this case, the controller may apply different shades after dividing the captured top-view image into a plurality of regions.

또한, 상기 제어부는 상기 생성한 파노라마 탑뷰 이미지를 표시하도록 상기 표시부를 제어할 수 있다.Also, the control unit may control the display unit to display the generated panoramic top view image.

이러한 본 발명의 장치는 빈 주차구획 주변의 움직임을 감지하는 모션감지센서를 더 포함하고, 상기 제어부는 상기 모션감지센서에 의해 움직임이 감지된 빈 주차구획에 상응하는 상기 파노라마 탑뷰 이미지상의 위치에 경고 아이콘을 더 표시하도록 상기 표시부를 제어할 수 있다.The apparatus of the present invention further includes a motion detection sensor for detecting movement around an empty parking area, and the control unit warns a position on the panoramic top view image corresponding to the empty parking area in which movement is detected by the motion detection sensor. The display unit may be controlled to further display an icon.

또한, 상기 제어부는 상기 캡처한 탑뷰 이미지를 저장부에 저장하고, 상기 저장부에 저장되어 있는 탑뷰 이미지의 라이프타임이 임계시간을 초과하면 삭제할 수 있다.In addition, the controller may store the captured top-view image in a storage unit and delete the top-view image stored in the storage unit when the lifetime of the top-view image exceeds a threshold time.

상기 목적을 달성하기 위한 본 발명의 방법은, 주차공간의 탑뷰 이미지 제공 방법에 있어서, 차량의 주행에 따른 조향각을 측정하는 단계; 상기 차량의 주행에 따른 주차공간의 탑뷰 이미지를 생성하는 단계; 상기 생성된 탑뷰 이미지를 표시하는 단계; 상기 표시된 탑뷰 이미지를 캡처하는 단계; 및 상기 측정된 조향각을 기반으로, 상기 생성된 현재의 탑뷰 이미지와 상기 캡처된 이전의 탑뷰 이미지를 연결하여 파노라마 탑뷰 이미지를 생성하는 단계를 포함할 수 있다.A method of the present invention for achieving the above object, in the method of providing a top view image of a parking space, measuring a steering angle according to the driving of the vehicle; Generating a top view image of the parking space according to the driving of the vehicle; Displaying the generated top view image; Capturing the displayed top view image; And generating a panoramic top view image by connecting the generated current top view image and the captured previous top view image based on the measured steering angle.

여기서, 상기 파노라마 탑뷰 이미지를 생성하는 단계는, 상기 파노라마 탑뷰 이미지 중 캡처된 탑뷰 이미지에 음영을 적용하는 단계를 포함할 수 있다. 이때, 상기 음영을 적용하는 단계는, 상기 캡처된 탑뷰 이미지를 복수의 영역을 구분하는 단계; 및 각 영역에 서로 다른 음영을 적용하는 단계를 포함할 수 있다.Here, generating the panoramic top-view image may include applying a shadow to the captured top-view image among the panoramic top-view images. In this case, the applying of the shade may include dividing the captured top-view image into a plurality of areas; And applying different shades to each area.

이러한 본 발명의 방법은 상기 생성된 파노라마 탑뷰 이미지를 표시하는 단계; 빈 주차구획 주변의 움직임을 감지하는 단계; 및 상기 움직임이 감지된 빈 주차구획에 상응하는 상기 파노라마 탑뷰 이미지상의 위치에 경고 아이콘을 표시하는 단계를 더 포함할 수 있다.The method of the present invention includes the steps of displaying the generated panoramic top view image; Detecting movement around an empty parking area; And displaying a warning icon at a position on the panoramic top view image corresponding to the empty parking zone in which the motion is detected.

이러한 본 발명의 방법은 상기 캡처된 탑뷰 이미지를 저장하는 단계; 및 상기 저장된 탑뷰 이미지의 라이프타임이 임계시간을 초과하면 삭제하는 단계를 더 포함할 수 있다.This method of the present invention comprises the steps of storing the captured top view image; And deleting the stored top view image when the life time exceeds a threshold time.

본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치 및 그 방법은, 차량이 주행한 경로상의 주차공간에 대한 탑뷰 이미지를 캡처하고, 상기 차량의 주행에 따른 조향각을 기반으로 현재의 탑뷰 이미지와 이전의 탑뷰 이미지를 연결한 파노라마 탑뷰 이미지를 제공함으로써, 현재의 탑뷰 이미지상의 빈 주차구획은 물론 이전의 탑뷰 이미지상의 빈 주차구획을 사용자가 자유롭게 선택할 수 있도록 한다.The apparatus and method for providing a top view image of a parking space according to an embodiment of the present invention capture a top view image of a parking space on a path the vehicle has traveled, and a current top view image based on a steering angle according to the driving of the vehicle. By providing a panoramic top view image connecting the top view image and the previous top view image, the user can freely select the empty parking area on the previous top view image as well as the empty parking area on the current top view image.

도 1 은 일반적인 주차공간의 탑뷰 이미지에 대한 일예시도,
도 2 는 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치에 대한 구성도,
도 3 은 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치에 구비된 탑뷰 이미지 생성부의 상세 구성도,
도 4 는 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치가 생성한 파노라마 탑뷰 이미지를 나타내는 일예시도,
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치가 파노라마 탑뷰 이미지를 생성하는 과정을 나타내는 일예시도,
도 6 은 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치에 구비된 표시부가 파노라마 탑뷰 이미지를 표시한 상태를 나타내는 도면,
도 7 은 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치가 생성한 파노라마 탑뷰 이미지에 대한 다른 예시도,
도 8 은 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치가 파노라마 탑뷰 이미지를 생성하는 과정을 나타내는 다른 예시도,
도 9 는 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치가 빈 주차구획의 위치정보를 나타내는 도면,
도 10a 및 도 10b는 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치에 구비된 표시부가 파노라마 탑뷰 이미지상에 주의를 알리는 아이콘을 표시한 상태를 나타내는 도면,
도 11 은 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 방법에 대한 흐름도,
도 12 는 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.1 is an exemplary view of a top view image of a general parking space,
2 is a configuration diagram of an apparatus for providing a top view image of a parking space according to an embodiment of the present invention;
3 is a detailed configuration diagram of a top view image generator provided in the apparatus for providing a top view image of a parking space according to an embodiment of the present invention;
4 is an exemplary view showing a panoramic top view image generated by an apparatus for providing a top view image of a parking space according to an embodiment of the present invention;
5A and 5B are exemplary views illustrating a process of generating a panoramic top view image by an apparatus for providing a top view image of a parking space according to an embodiment of the present invention;
6 is a view showing a state in which a display unit provided in an apparatus for providing a top view image of a parking space according to an embodiment of the present invention displays a panoramic top view image;
7 is another exemplary view of a panoramic top view image generated by an apparatus for providing a top view image of a parking space according to an embodiment of the present invention;
8 is another exemplary view showing a process of generating a panoramic top view image by an apparatus for providing a top view image of a parking space according to an embodiment of the present invention;
9 is a view showing the location information of an empty parking section by the apparatus for providing a top view image of a parking space according to an embodiment of the present invention;
10A and 10B are views showing a state in which a display unit provided in the apparatus for providing a top view image of a parking space according to an embodiment of the present invention displays an icon indicating attention on a panoramic top view image;
11 is a flowchart of a method for providing a top view image of a parking space according to an embodiment of the present invention;
12 is a block diagram showing a computing system for executing a method of providing a top view image of a parking space according to an embodiment of the present invention.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail through exemplary drawings. In adding reference numerals to elements of each drawing, it should be noted that the same elements are assigned the same numerals as possible, even if they are indicated on different drawings. In addition, in describing an embodiment of the present invention, if it is determined that a detailed description of a related known configuration or function interferes with an understanding of the embodiment of the present invention, the detailed description thereof will be omitted.

본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In describing the constituent elements of the embodiment of the present invention, terms such as first, second, A, B, (a), (b), and the like may be used. These terms are for distinguishing the constituent element from other constituent elements, and the nature, order, or order of the constituent element is not limited by the term. In addition, unless otherwise defined, all terms including technical or scientific terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in the present application. Does not.

도 2 는 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치에 대한 구성도이다.2 is a block diagram of an apparatus for providing a top view image of a parking space according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치(100)는, 입력부(10), 탑뷰 이미지 생성부(20), 표시부(30), 저장부(40), 모션감지센서(50), 조향각센서(60), 및 제어부(controller, 70)를 포함할 수 있다. 이때, 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치(100)를 실시하는 방식에 따라 각 구성요소는 서로 결합되어 하나로 구현될 수도 있고, 일부의 구성요소가 생략될 수도 있다.As shown in FIG. 2, the apparatus 100 for providing a top view image of a parking space according to an embodiment of the present invention includes an input unit 10, a top view image generation unit 20, a display unit 30, and a storage unit 40. ), a motion detection sensor 50, a steering angle sensor 60, and a controller 70. In this case, according to a method of implementing the apparatus 100 for providing a top view image of a parking space according to an embodiment of the present invention, each component may be combined with each other to be implemented as one, or some components may be omitted.

상기 각 구성요소들에 대해 살펴보면, 먼저 입력부(10)는 사용자로부터 현재 주차공간의 탑뷰 이미지에 대한 표시명령을 입력받거나, 파노라마 탑뷰 이미지에 대한 표시명령을 입력받을 수 있다.Looking at each of the components, first, the input unit 10 may receive a display command for a top view image of a current parking space or a display command for a panorama top view image from a user.

입력부(10)는 화면 터치 방식, 버튼 입력 방식 등 다양한 방식으로 사용자의 요청을 입력받을 수 있다. 이때, 입력부(10)는 화면 터치 방식으로서 화면 이동을 위한 스와이프(swipe)를 입력받을 수도 있다.The input unit 10 may receive a user's request in various ways, such as a screen touch method and a button input method. In this case, the input unit 10 may receive a swipe for moving the screen as a screen touch method.

탑뷰 이미지 생성부(20)는 차량에 탑재되어 복수의 카메라에 의해 촬영된 주차공간의 2차원 이미지를 이용하여 주차공간의 탑뷰 이미지를 생성할 수 있다. 이하, 도 3을 참조하여 탑뷰 이미지 생성부(20)의 상세 구성에 대해 살펴보지만, 반드시 이에 한정되는 것은 아니다.The top view image generator 20 may generate a top view image of the parking space by using a two-dimensional image of the parking space mounted on a vehicle and photographed by a plurality of cameras. Hereinafter, a detailed configuration of the top-view image generating unit 20 will be described with reference to FIG. 3, but the configuration is not limited thereto.

도 3 은 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치에 구비된 탑뷰 이미지 생성부의 상세 구성도이다.3 is a detailed configuration diagram of a top view image generator provided in an apparatus for providing a top view image of a parking space according to an embodiment of the present invention.

도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치(100)에 구비된 탑뷰 이미지 생성부(20)는, 카메라(110), 지면 특징점 검출부(120), 제1 자세각 추정부(130), 제1 회전 변환부(140), 차선 검출부(150), 제2 자세각 추정부(160), 제2 회전 변환부(170), 및 이미지 합성부(180)를 포함할 수 있다.As shown in FIG. 3, the top view image generation unit 20 provided in the apparatus 100 for providing a top view image of a parking space according to an embodiment of the present invention includes a camera 110, a ground feature point detection unit 120, and The first posture angle estimating unit 130, the first rotation converting unit 140, the lane detection unit 150, the second posture angle estimating unit 160, the second rotation converting unit 170, and the image combining unit 180 ) Can be included.

카메라(110)는 차량의 좌측 사이드미러 하단에 설치되는 좌측 카메라(112), 차량의 우측 사이드미러 하단에 설치되는 우측 카메라(114), 차량의 전방에 설치되는 전방 카메라(116) 및 차량의 후방에 설치되는 후방 카메라(118)를 포함한다.The camera 110 includes a left camera 112 installed under the left side mirror of the vehicle, a right camera 114 installed under the right side mirror of the vehicle, a front camera 116 installed in the front of the vehicle, and the rear of the vehicle. It includes a rear camera 118 installed on.

좌측 카메라(112)는 차량의 좌측 지면을 촬영하여 좌측 영상(Ileft)을 프레임 단위로 생성하고, 우측 카메라(114)는 차량의 우측 지면을 촬영하여 우측 영상(Iright)을 프레임 단위로 생성한다.The left camera 112 photographs the left side of the vehicle and generates the left image (I left ) in units of frames, and the right camera 114 photographs the right side of the vehicle and generates the right image (I right ) in units of frames. do.

전방 카메라(116)는 차량의 전방 지면을 촬영하여 전방 영상(Ifront)을 프레임 단위로 생성하고, 후방 카메라(118)는 차량의 후방 지면을 촬영하여 후방 영상(Iback)을 프레임 단위로 생성한다.The front camera 116 photographs the front surface of the vehicle and generates a front image (I front ) in a frame unit, and the rear camera 118 photographs the rear surface of the vehicle and generates a rear image (I back ) in a frame unit. do.

지면 특징점 검출부(120)는 좌측 카메라(112)로부터 제공된 좌측 영상(Ileft)과 우측 카메라(114)로부터 제공된 우측 영상(Iright)과 전방 카메라(116)로부터 제공된 전방 영상(Ifront) 및 후방 카메라(118)로부터 제공된 후방 영상(Iback) 중에서 지면 특징점(Pground)의 검출이 가능한 적어도 하나의 영상으로부터 지면 특징점(Pground) 및 상기 지면 특징점(Pground)의 이동 벡터를 프레임 단위로 검출한다. 여기서, 상기 지면 특징점(Pground)의 검출이 가능한 영상은 좌측 영상 또는 우측 영상을 포함할 수 있다.The ground feature point detection unit 120 includes a left image (I left ) provided from the left camera 112, a right image (I right ) provided from the right camera 114, and a front image (I front ) and rear provided from the front camera 116. Detecting a ground feature point (P ground ) and a motion vector of the ground feature point (P ground ) in frame units from at least one image capable of detecting a ground feature point (P ground) among the rear images (I back) provided from the camera 118 do. Here, the image in which the ground feature point P ground can be detected may include a left image or a right image.

좌측 영상 또는 우측 영상으로부터 상기 지면 특징점(Pground) 및 상기 지면 특징점(Pground)의 이동 벡터를 검출하는 방법으로, 블록 매칭 방법(Block matching method), Horn-Schunck 알고리즘, Lucas-Kanade 알고리즘, Gunnar Farneback's 알고리즘 등과 같은 옵티컬 플로우(Optical Flow) 기반의 특징점 추출 알고리즘이 이용될 수 있다. 이때, 각 알고리즘은 공지의 기술이므로 이에 대한 상세 설명은 생략하기로 한다. A method of detecting a movement vector of the ground feature point (P ground ) and the ground feature point (P ground ) from the left image or the right image, and includes a block matching method, Horn-Schunck algorithm, Lucas-Kanade algorithm, and Gunnar. An optical flow-based feature point extraction algorithm such as Farneback's algorithm may be used. In this case, since each algorithm is a known technique, detailed description thereof will be omitted.

제1 자세각 추정부(130)는 지면 특징점 검출부(120)로부터 입력된 지면 특징점(Pground) 및 상기 지면 특징점(Pground)의 이동 벡터에 기초하여 좌측 카메라(112) 및 우측 카메라(114)의 제1 자세각을 추정하고, 추정된 제1 자세각을 행렬 형태로 나타낸 변환 행렬([M1])을 생성한다.The first posture angle estimating unit 130 includes the left camera 112 and the right camera 114 based on the ground feature point P ground input from the ground feature point detection unit 120 and the movement vector of the ground feature point P ground. A first posture angle of is estimated, and a transformation matrix [M 1 ] representing the estimated first posture angle in a matrix form is generated.

제1 회전 변환부(140)는 제1 자세각 추정부(130)로부터 입력된 변환 행렬([M1])을 기반으로, 좌측 영상(Ileft)과 우측 영상(Iright)을 각각 회전 변환하여 제1 탑뷰 이미지를 생성한다. 여기서, 제1 탑뷰 이미지는 변환 행렬([M1])을 이용하여 좌측 영상(Ileft)을 회전 변환한 좌측 탑뷰 영상(TILEFT), 및 변환 행렬([M1])을 이용하여 우측 영상(Iright)을 회전 변환한 우측 탑뷰 영상(TIRIGHT)을 포함한다.The first rotation transform unit 140 rotates each of the left image (I left ) and the right image (I right ) based on the transformation matrix ([M 1 ]) input from the first posture angle estimating unit 130 To generate a first top view image. Here, the first top view image of the transformation matrix ([M 1]) the use of the left image (I left) the rotation transformation the left top view image (TI LEFT), and the transformation matrix ([M 1]) of the right image using Includes a right top view image (TI RIGHT ) obtained by rotating (I right).

라인 검출부(150)는 제1 회전 변환부(140)로부터 입력된 좌측 탑뷰 이미지(TILEFT) 및 우측 탑뷰 이미지(TIRIGHT)로부터 제1 주차구획선(Pline1)을 검출한다. 여기서, 제1 주차구획선(Pline1)은 좌측 탑뷰 영상(TILEFT)으로부터 검출된 좌측 주차구획선선과 우측 탑뷰 영상(TIRIGHT)으로부터 검출된 우측 주차구획선을 포함한다.The line detection unit 150 detects the first parking partition line P line1 from the left top view image TI LEFT and the right top view image TI RIGHT input from the first rotation conversion unit 140. Here, the first parking segment line P line1 includes a left parking segment line detected from a left top view image TI LEFT and a right parking segment line detected from a right top view image TI RIGHT .

좌측 탑뷰 영상(TILEFT) 및 우측 탑뷰 영상(TIRIGHT)으로부터 좌측 주차구획선과 우측 주차구획선을 검출하는 방법으로, 라인 검출 알고리즘(Line detection algorithm)이 이용될 수 있으며, 본 발명은 라인 검출 알고리즘에 특징이 있는 것이 아니므로, 이에 대한 상세한 설명은 생략하며, 또한 이러한 라인 검출 알고리즘을 통해 라인은 물론, 라인의 두께, 방향 등과 같은 라인과 관련된 정보를 획득할 수 있음도 공지의 기술인 바, 이에 대한 상세 설명도 생략하기로 한다.As a method of detecting the left parking demarcation line and the right parking demarcation line from the left top view image (TI LEFT ) and the right top view image (TI RIGHT), a line detection algorithm may be used. Since there are no features, detailed descriptions thereof will be omitted, and it is a known technology that information related to lines such as line thickness, direction, etc., as well as lines can be obtained through such a line detection algorithm. A detailed description will also be omitted.

또한, 라인 검출부(150)는 상기 카메라(110)로부터 입력된 전방 영상(Ifront)과 후방 영상(Iback)으로부터 상기 제1 주차구획선(Pline1)에 연결된 제2 주차구획선(Pline2)을 검출한다. 여기서, 제2 주차구획선(Pline2)은 전방 영상(Ifront)으로부터 검출된 상단 주차구획선과 후방 영상(Iback)으로부터 검출된 하단 주차구획선을 포함한다.In addition, the line detection unit 150 detects a second parking segment line (P line2 ) connected to the first parking segment line (P line1) from the front image (I front ) and the rear image (I back) input from the camera 110. To detect. Here, the second parking segment line P line2 includes the upper parking segment line detected from the front image I front and the lower parking segment line detected from the rear image I back.

제2 자세각 추정부(160)는 상기 차선 검출부(150)로부터 입력된 제1 주차구획선(Pline1)의 특징 패턴과 제2 주차구획선(Pline2)의 특징 패턴 간의 대응 관계에 기초하여, 전방 카메라(116) 및 후방 카메라(118)의 제2 자세각을 추정하고, 추정된 제2 자세각을 행렬 형태로 나타낸 변환 행렬([M2])을 생성한다.The second posture angle estimation unit 160 is based on the correspondence between the characteristic pattern of the first parking demarcation line P line1 and the characteristic pattern of the second parking demarcation line P line2 input from the lane detection unit 150, The second posture angles of the camera 116 and the rear camera 118 are estimated, and a transformation matrix [M 2 ] representing the estimated second posture angle in a matrix form is generated.

제2 회전 변환부(170)는 상기 제2 자세각 추정부(160)로부터 입력된 변환 행렬([M2])을 이용하여 전방 영상(Ifront)과 /후방 영상(Iback)을 각각 회전 변환하여 제2 탑뷰 이미지를 생성한다. 여기서, 제2 탑뷰 이미지는 전방 영상(Ifront)을 상기 변환 행렬([M2])을 이용하여 회전 변환한 전방 탑뷰 영상(TIFRONT)과, 후방 영상(Iback)을 상기 변환 행렬([M2])을 이용하여 회전 변환한 후방 탑뷰 영상(TIBACK)을 포함한다.The second rotation conversion unit 170 rotates the front image (I front ) and /the rear image (I back ) using the transformation matrix ([M 2 ]) input from the second posture angle estimating unit 160, respectively. Convert to generate a second top view image. Here, the second top-view image is a front top-view image (TI FRONT ) obtained by rotationally transforming a front image (I front ) using the transformation matrix ([M 2 ]) and a rear image (I back ) as the transformation matrix ([ M 2 ]) to include a rear top view image (TI BACK) that is transformed by rotation.

이미지 합성부(180)는 제1 회전 변환부(140)로부터 입력된 제1 탑뷰 이미지(TILEFT, TIRIGHT)와, 제2 회전 변환부(170)로부터 입력된 제2 탑뷰 이미지(TIFRONT, TIBACK)을 합성하여 최종 탑뷰 이미지를 생성한다.The image synthesis unit 180 includes a first top-view image (TI LEFT , TI RIGHT ) input from the first rotation conversion unit 140, and a second top-view image (TI FRONT , TI FRONT) input from the second rotation conversion unit 170. TI BACK ) is synthesized to create a final top view image.

상술한 탑뷰 이미지 생성부(20)의 구성은 하나의 예로서, 탑뷰 이미지를 생성하는 기술 자체는 본 발명의 특징이 아니므로 어떠한 공지의 기술을 이용해도 무방하다.The configuration of the top view image generating unit 20 described above is an example, and since the technology for generating the top view image itself is not a feature of the present invention, any known technology may be used.

표시부(30)는 탑뷰 이미지 생성부(20)에 의해 생성된 주차공간의 탑뷰 이미지를 디스플레이한다. 이때, 상기 주차공간의 탑뷰 이미지는 경고 아이콘을 더 포함할 수 있다.The display unit 30 displays a top view image of the parking space generated by the top view image generating unit 20. In this case, the top view image of the parking space may further include a warning icon.

표시부(30)는 주차공간에 대한 현재의 탑뷰 이미지와 이전의 탑뷰 이미지가 연결된 파노라마 탑뷰 이미지를 디스플레이할 수도 있다.The display unit 30 may display a panoramic top view image in which a current top view image and a previous top view image of the parking space are connected.

표시부(30)는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light Emitting Diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.The display unit 30 includes a liquid crystal display (LCD), a thin film transistor liquid crystal display (TFT LCD), an organic light emitting diode (OLED), a flexible display, and It may include at least one of a 3D display and an e-ink display.

저장부(40)는 차량이 주행한 경로상의 주차공간에 대한 탑뷰 이미지를 캡처하고, 상기 차량의 주행에 따른 조향각을 기반으로 현재의 탑뷰 이미지와 이전의 탑뷰 이미지를 연결한 파노라마 탑뷰 이미지를 제공하는 과정에서 요구되는 각종 로직과 알고리즘 및 프로그램을 저장할 수 있다.The storage unit 40 captures a top view image of the parking space on the path the vehicle has traveled, and provides a panoramic top view image in which the current top view image and the previous top view image are connected based on a steering angle according to the driving of the vehicle. Various logics, algorithms and programs required in the process can be stored.

저장부(40)는 제어부(70)에 의해 캡처된 주차공간의 탑뷰 이미지를 저장할 수 있다.The storage unit 40 may store a top view image of the parking space captured by the control unit 70.

저장부(40)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.The storage unit 40 includes a flash memory type, a hard disk type, a micro type, and a card type (e.g., an SD card (Secure Digital Card) or an XD card (eXtream Digital)). Card)), RAM (RAM, Random Access Memory), SRAM (Static RAM), ROM (Read-Only Memory), PROM (Programmable ROM), EEPROM (Electrically Erasable PROM), Magnetic Memory (MRAM) , Magnetic RAM), a magnetic disk, and an optical disk type memory.

모션감지센서(50)는 차량의 후방, 우측, 좌측 등에 장착되어 빈 주차구획 주변의 움직임을 감지한다. 즉, 모션감지센서(50)는 빈 주차구획으로 접근하는 차량을 감지할 수도 있고, 주차구획을 벗어나는 차량을 감지할 수도 있다.The motion detection sensor 50 is mounted on the rear, right, left, etc. of the vehicle to detect movement around an empty parking area. That is, the motion detection sensor 50 may detect a vehicle approaching into an empty parking zone or detect a vehicle leaving the parking zone.

모션감지센서(50)는 초음파 센서, 후방 카메라, 레이더 중 적어도 하나 이상을 포함할 수 있다.The motion detection sensor 50 may include at least one of an ultrasonic sensor, a rear camera, and a radar.

조향각센서(60)는 차량의 주행에 따른 조향각을 측정한다.The steering angle sensor 60 measures a steering angle according to the driving of the vehicle.

제어부(70)는 상기 각 구성요소들이 제 기능을 정상적으로 수행할 수 있도록 전반적인 제어를 수행한다. 이러한 제어부(70)는 하드웨어 또는 소프트웨어의 형태로 구현되거나, 하드웨어 및 소프트웨어가 결합된 형태로 구현될 수 있다. 바람직하게는 제어부(70)는 마이크로프로세서로 구현될 수 있으나 이에 한정되는 것은 아니다.The control unit 70 performs overall control so that the respective components can normally perform their functions. The control unit 70 may be implemented in the form of hardware or software, or may be implemented in a form in which hardware and software are combined. Preferably, the control unit 70 may be implemented as a microprocessor, but is not limited thereto.

제어부(70)는 차량이 주행한 경로상의 주차공간에 대한 탑뷰 이미지를 캡처하고, 상기 차량의 주행에 따른 조향각을 기반으로 현재의 탑뷰 이미지와 이전의 탑뷰 이미지를 연결한 파노라마 탑뷰 이미지를 제공할 수 있다. 이때, 제어부(70)는 차량에 구비된 주차지원시스템과 연동하여 차량이 주행한 경로상의 주차공간에 대한 탑뷰 이미지를 캡처할 수도 있다.The controller 70 may capture a top view image of a parking space on a path the vehicle has traveled, and provide a panoramic top view image in which a current top view image and a previous top view image are connected based on a steering angle according to the driving of the vehicle. have. In this case, the control unit 70 may capture a top view image of a parking space on a path in which the vehicle has traveled in connection with a parking assistance system provided in the vehicle.

제어부(70)는 탑뷰 이미지 생성부(20)에 의해 생성된 주차공간의 탑뷰 이미지를 표시하도록 표시부(30)를 제어할 수 있다. 이때, 표시부(30)에 의해 표시되는 탑뷰 이미지는 실시간 이미지로서 도 1에 도시된 바와 같다.The control unit 70 may control the display unit 30 to display a top view image of the parking space generated by the top view image generation unit 20. At this time, the top view image displayed by the display unit 30 is a real-time image as shown in FIG. 1.

제어부(70)는 표시부(30)에 의해 표시되고 있는 주차공간의 탑뷰 이미지를 캡처하여 저장부(40)에 저장할 수 있다. 이때, 제어부(70)는 저장부(40)에 저장되어 있는 탑뷰 이미지의 라이프타임이 임계시간(일례로, 5분 또는 10분 등)을 초과하거나, 차량이 임계거리(30m 또는 50m)를 이동하면 유효성이 없는 것으로 판단하여 저장부(40)에 저장되어 있는 탑뷰 이미지를 삭제할 수도 있다. 즉, 제어부(70)는 저장부(40)에 저장되어 있는 탑뷰 이미지들 중에서 저장시간이 임계시간을 초과한 탑뷰 이미지들을 삭제할 수 있다.The control unit 70 may capture a top view image of the parking space displayed by the display unit 30 and store it in the storage unit 40. At this time, the control unit 70 may determine that the lifetime of the top view image stored in the storage unit 40 exceeds a critical time (for example, 5 minutes or 10 minutes), or the vehicle moves a critical distance (30m or 50m). If it is determined that there is no validity, the top view image stored in the storage unit 40 may be deleted. That is, the controller 70 may delete top view images whose storage time exceeds the threshold time from among the top view images stored in the storage unit 40.

제어부(70)는 탑뷰 이미지 생성부(20)에 의해 실시간으로 생성되는 현재의 탑뷰 이미지를 기준으로, 저장부(30)에 저장되어 있는 이전의 탑뷰 이미지를 순차적으로 연결하여 도 4에 도시된 바와 같은 파노라마 탑뷰 이미지를 생성할 수 있다.The control unit 70 sequentially connects the previous top view images stored in the storage unit 30 based on the current top view image generated in real time by the top view image generation unit 20, as shown in FIG. The same panoramic top view image can be created.

도 4 는 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치가 생성한 파노라마 탑뷰 이미지에 대한 일예시도이다.4 is an example diagram of a panoramic top view image generated by an apparatus for providing a top view image of a parking space according to an embodiment of the present invention.

도 4에서, '410'은 탑뷰 이미지 생성부(20)로부터 실시간으로 제공되는 주차공간의 탑뷰 이미지이고, '420'은 제어부(70)에 의해 캡처된 이전의 탑뷰 이미지이다. 이때, '420'은 캡처된 복수의 탑뷰 이미지가 연결된 상태를 나타낸다.In FIG. 4, '410' is a top-view image of a parking space provided in real time from the top-view image generator 20, and '420' is a previous top-view image captured by the controller 70. At this time, '420' denotes a state in which a plurality of captured top-view images are connected.

제어부(70)는 시인성을 높이기 위해 캡처된 이전의 탑뷰 이미지에 음영을 가할 수 있다. 예를 들어, 제어부(70)는 '421' 영역은 1단계로서 20%의 음영을 적용하고, '422' 영역은 2단계로서 50%의 음영을 적용할 수 있다. 여기서, 음영이 적용되는 영역의 수와 음영의 비율은 설계자의 의도에 따라 가변될 수 있다.The controller 70 may apply a shadow to the previously captured top view image to increase visibility. For example, the control unit 70 may apply 20% of shading as a first step to the '421' area and 50% shading as a second step to the '422' area. Here, the ratio of the number of areas to which the shadow is applied and the shadow may be varied according to the intention of the designer.

이하, 도 5a 및 도 5b를 참조하여 제어부(70)가 파노라마 탑뷰 이미지를 생성(합성)하는 과정에 대해 상세히 살펴보기로 한다.Hereinafter, a process in which the controller 70 generates (combines) a panoramic top view image will be described in detail with reference to FIGS. 5A and 5B.

도 5a 및 도 5b는 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치가 파노라마 탑뷰 이미지를 생성하는 과정을 나타내는 일예시도이다.5A and 5B are exemplary views illustrating a process of generating a panoramic top view image by an apparatus for providing a top view image of a parking space according to an embodiment of the present invention.

도 5a에서, Hp는 현재의 탑뷰 이미지를 나타내고, Hp-1는 이전의 탑뷰 이미지를 나타낸다. 이때, 탑뷰 이미지의 크기는 표시부(30)의 화면 크기와 동일하다.In FIG. 5A, H p represents a current top view image, and H p-1 represents a previous top view image. In this case, the size of the top view image is the same as the screen size of the display unit 30.

따라서, 제어부(70)는 현재의 탑뷰 이미지(Hp)를 기준으로 이전의 탑뷰 이미지(Hp-1)를 연결하여 파노라마 탑뷰 이미지를 생성할 수 있다.Accordingly, the control unit 70 may generate a panoramic image by connecting a top view before the top view image (H p-1) based on the current of the top view image (H p).

하지만, 도 5b에 도시된 바와 같이 최초 탑뷰 이미지(Hp-2)가 생성되고, 그 다음 탑뷰 이미지(Hp-1)가 생성되었으나, 현재의 탑뷰 이미지(Hp)와 이전의 탑뷰 이미지(Hp-1)가 겹치는 현상이 발생할 수 있다. 이때, 최초 탑뷰 이미지(Hp-2)와 그 다음 탑뷰 이미지(Hp-1)는 캡처된 이미지이고, 현재의 탑뷰 이미지(Hp)는 실시간 제공되는 이미지이다.However, as shown in FIG. 5B, the first top view image (H p-2 ) was created, and then the top view image (H p-1 ) was generated, but the current top view image (H p ) and the previous top view image ( H p-1 ) overlapping may occur. At this time, the first top -view image H p-2 and the next top -view image H p-1 are captured images, and the current top-view image H p is an image provided in real time.

이 경우, 기준은 현재의 탑뷰 이미지(Hp)이므로 이전의 탑뷰 이미지(Hp-1)에서 현재의 탑뷰 이미지(Hp)와 겹치는 부분을 절단한 후 현재의 탑뷰 이미지(Hp)에 나머지 탑뷰 이미지(Hp-1)와 최초 탑뷰 이미지(Hp-2)를 순차적으로 연결하여 파노라마 탑뷰 이미지를 생성한다.In this case, the reference is the current top view image (H p ), so after cutting the part that overlaps the current top view image (H p ) from the previous top view image (H p-1 ), the remainder of the current top view image (H p ). The top view image (H p-1 ) and the first top view image (H p-2 ) are sequentially connected to generate a panoramic top view image.

제어부(70)는 파노라마 탑뷰 이미지의 길이를 임의로 조절할 수도 있다. 즉, 제어부(70)는 표시부(30)에 표시되는 파노라마 탑뷰 이미지의 크기를 임의로 조절할 수 있다.The controller 70 may arbitrarily adjust the length of the panoramic top view image. That is, the control unit 70 may arbitrarily adjust the size of the panoramic top view image displayed on the display unit 30.

제어부(70)는 도 6에 도시된 바와 같이 파노라마 탑뷰 이미지를 표시하도록 표시부(30)를 제어할 수 있다.The controller 70 may control the display unit 30 to display a panoramic top view image as shown in FIG. 6.

도 6 은 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치에 구비된 표시부가 파노라마 탑뷰 이미지를 표시한 상태를 나타내는 도면이다.6 is a diagram illustrating a state in which a display unit provided in an apparatus for providing a top view image of a parking space according to an embodiment of the present invention displays a panoramic top view image.

도 6에 도시된 바와 같이, 표시부(30)는 부분 주차공간의 탑뷰 이미지 상에서는 디스플레이되지 않는 빈 주차구획을 운전자에게 알리기 위해 화살표로 주차 가능 공간의 방향을 표시하지만, 파노라마 탑뷰 이미지 상에서는 빈 주차구획이 디스플레이되므로 상기 화살표를 표시하지 않는다.As shown in FIG. 6, the display unit 30 indicates the direction of the available parking space with an arrow to inform the driver of an empty parking segment that is not displayed on the top view image of the partial parking space, but the empty parking segment is displayed on the panoramic top view image. As it is displayed, the above arrow is not displayed.

한편, 제어부(70)는 탑뷰 이미지 생성부(20)에 의해 생성된 탑뷰 이미지상의 빈 주차구획의 위치정보를 더 생성할 수도 있다.Meanwhile, the controller 70 may further generate location information of an empty parking lot on the top view image generated by the top view image generator 20.

도 7 은 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치가 생성한 파노라마 탑뷰 이미지에 대한 다른 예시도이다.7 is another exemplary view of a panoramic top view image generated by an apparatus for providing a top view image of a parking space according to an embodiment of the present invention.

도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치가 생성한 파노라마 탑뷰 이미지는, 탑뷰 이미지 생성부(20)로부터 실시간으로 제공되는 주차공간의 탑뷰 이미지(710)와, 제어부(70)에 의해 캡처된 이전의 탑뷰 이미지(721, 722)가 연결된 형태를 갖는다.As shown in FIG. 7, the panoramic top view image generated by the apparatus for providing a top view image of a parking space according to an embodiment of the present invention is a top view image 710 of the parking space provided in real time from the top view image generator 20. ) And the previous top-view images 721 and 722 captured by the controller 70 are connected.

제어부(70)는 시인성을 높이기 위해 캡처된 이전의 탑뷰 이미지에 음영을 가할 수 있다. 예를 들어, 제어부(70)는 '721' 영역은 1단계로서 20%의 음영을 적용하고, '722' 영역은 2단계로서 50%의 음영을 적용할 수 있다. 여기서, 음영이 적용되는 영역의 수와 음영의 비율은 설계자의 의도에 따라 가변될 수 있다.The controller 70 may apply a shadow to the previously captured top view image to increase visibility. For example, the control unit 70 may apply a 20% shading to the '721' area as a first step, and apply 50% shading to the '722' area as a second step. Here, the ratio of the number of areas to which the shadow is applied and the shadow may be varied according to the intention of the designer.

이하, 도 8을 참조하여 제어부(70)가 파노라마 탑뷰 이미지를 생성(합성)하는 과정에 대해 상세히 살펴보기로 한다.Hereinafter, a process in which the controller 70 generates (combines) a panoramic top view image will be described in detail with reference to FIG. 8.

도 8 은 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치가 파노라마 탑뷰 이미지를 생성하는 과정을 나타내는 다른 예시도이다.8 is another exemplary diagram illustrating a process of generating a panoramic top view image by an apparatus for providing a top view image of a parking space according to an embodiment of the present invention.

도 8에 도시된 바와 같이, Hp는 현재의 탑뷰 이미지를 나타내고, Hp-1과 바로 직전의 탑뷰 이미지를 나타내며, Hp-2는 그 이전의 탑뷰 이미지를 나타낸다. 이때, 차량이 우측으로 선회하고 있기 때문에 현재의 탑뷰 이미지와 이전 시점의 탑뷰 이미지 사이에 중첩 영역이 발생한다.As shown in FIG. 8, H p represents the current top view image, H p-1 represents the top view image immediately before, and H p-2 represents the previous top view image. At this time, since the vehicle is turning to the right, an overlapping area occurs between the current top view image and the top view image at the previous viewpoint.

따라서, 제어부(70)는 조향각센서(60)에 의해 측정된 조향각에 기초하여 현재의 탑뷰 이미지(Hp)와 이전의 탑뷰 이미지(Hp-1, Hp-2)를 연결하여 파노라마 탑뷰 이미지를 생성할 수 있다. 이때, 제어부(70)는 주지 관용의 기술인 파노라마 영상 생성 기술을 이용할 수 있다.Accordingly, the controller 70 connects the current top view image H p and the previous top view images H p-1 and H p-2 based on the steering angle measured by the steering angle sensor 60 to provide a panoramic top view image. Can be created. In this case, the control unit 70 may use a technology for generating a panoramic image, which is a commonly used technology.

도 9 는 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치가 빈 주차구획의 위치정보를 나타내는 도면이다.9 is a diagram illustrating location information of an empty parking zone by the apparatus for providing a top view image of a parking space according to an embodiment of the present invention.

도 9에서, 'xc'는 차량의 종방향 축을 나타내고, 'yc'는 차량의 횡방향 축을 나타내며, 'oc'는 기준점(0,0)으로서 차량의 후륜 축 중심을 나타내고, 'θ'는 빈 주차구획의 xc축으로부터의 각도(°)를 나타내며, ω는 조향각을 나타낸다.In FIG. 9,'xc' denotes the longitudinal axis of the vehicle,'yc' denotes the transverse axis of the vehicle,'oc' denotes the center of the rear wheel axis of the vehicle as a reference point (0, 0), and'θ' denotes the blank. It represents the angle (°) from the xc axis of the parking compartment, and ω represents the steering angle.

따라서, 빈 주차구획의 위치좌표는 (x,y,θ)와 같이 나타낼 수 있다. 여기서, 위치좌표는 차량을 기준으로 좌측에 빈 주차구획이 위치하는 경우에는 빈 주차구획의 좌측 상단 모서리의 위치를 나타내고, 우측에 빈 주차구획이 위치하는 경우에는 빈 주차구획의 우측 상단 모서리의 위치를 나타낸다. 또한, 'x'는 xc-yc 축을 기준으로 하는 x좌표로서 거리의 단위는 cm이고, 'y'는 xc-yc 축을 기준으로 하는 y좌표로서 거리의 단위는 cm이다. 예를 들어, x가 50이라면 xc축으로부터 50cm 이격되어 있음을 나타낸다.Therefore, the position coordinates of an empty parking segment can be expressed as (x,y,θ). Here, the positional coordinates represent the position of the upper left corner of the empty parking segment when an empty parking segment is located on the left side of the vehicle, and the position of the upper right corner of the empty parking segment when an empty parking segment is located on the right side. Represents. In addition,'x' is the x-coordinate based on the xc-yc axis, and the unit of the distance is cm, and'y' is the y-coordinate based on the xc-yc axis, and the unit of the distance is cm. For example, if x is 50, it indicates that it is 50cm apart from the xc axis.

부가로, 제어부(70)는 모션감지센서(50)에 의해 감지된 차량의 후방, 우측방, 좌측방에 위치한 빈 주차구획 주변에 움직임에 기초하여, 파노라마 탑뷰 이미지 내 상기 빈 주차구획에 경고 아이콘(1001)을 더 표시하도록 표시부(30)를 제어할 수도 있다. 이때, 표시부(30)에 의해 표시되는 탑뷰 이미지는 도 10a 및 도 10b에 도시된 바와 같다.In addition, the control unit 70 displays a warning icon in the empty parking area in the panoramic top view image based on the movement around the empty parking area located in the rear, right, and left sides of the vehicle detected by the motion detection sensor 50. The display unit 30 may be controlled to further display 1001. In this case, the top view image displayed by the display unit 30 is as shown in FIGS. 10A and 10B.

도 10a 및 도 10b는 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 장치에 구비된 표시부가 파노라마 탑뷰 이미지상에 경고 아이콘을 표시한 상태를 나타내는 도면이다.10A and 10B are diagrams illustrating a state in which a display unit provided in the apparatus for providing a top view image of a parking space according to an embodiment of the present invention displays a warning icon on a panoramic top view image.

도 10a 및 도 10b에 도시된 바와 같이, 파노라마 탑뷰 이미지에서 'P'로 표시된 영역은 빈 주차구획을 나타내고, 특정 빈 주차구획에 움직임이 감지되면 제어부(70)는 상기 특정 빈 주차구획에 경고 아이콘(1001)을 표시하도록 표시부(30)를 제어한다.As shown in FIGS. 10A and 10B, the area marked with'P' in the panoramic top view image indicates an empty parking area, and when motion is detected in a specific empty parking area, the controller 70 displays a warning icon in the specific empty parking area. The display unit 30 is controlled to display (1001).

이렇게 경고 아이콘(1001)이 표시된 빈 주차구획은 운전자의 확인이 필요한 공간으로서, 상기 경고 아이콘(1001)이 표시된 빈 주차구획에 주차를 하기 전에 반드시 운전자의 확인을 받은 후 주차가 이루어져야 한다. 이때, 상기 경고 아이콘(1001)이 표시된 빈 주차구획까지의 주차궤적이 산출되면 자동주차가 수행되고, 주차궤적이 산출되지 않으면 수동주차가 수행될 수 있다.In this way, the empty parking zone marked with the warning icon 1001 is a space that requires confirmation by the driver, and parking must be performed after receiving the driver's confirmation before parking in the empty parking zone marked with the warning icon 1001. In this case, when the parking trajectory to the empty parking segment on which the warning icon 1001 is displayed is calculated, automatic parking is performed, and if the parking trajectory is not calculated, manual parking may be performed.

도 11 은 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 방법에 대한 흐름도이다.11 is a flowchart illustrating a method of providing a top view image of a parking space according to an embodiment of the present invention.

먼저, 조향각센서(60)가 차량의 주행에 따른 조향각을 측정한다(1101).First, the steering angle sensor 60 measures a steering angle according to the driving of the vehicle (1101).

그리고, 탑뷰 이미지 생성부(20)가 차량의 주행에 따른 주차공간의 탑뷰 이미지를 생성한다(1102).Then, the top view image generating unit 20 generates a top view image of the parking space according to the driving of the vehicle (1102).

이후, 표시부(30)가 탑뷰 이미지 생성부(20)에 의해 생성된 탑뷰 이미지를 표시한다(1103).Thereafter, the display unit 30 displays the top view image generated by the top view image generation unit 20 (1103).

이후, 제어부(70)가 상기 표시부에 의해 표시된 탑뷰 이미지를 캡처한다(1104).Thereafter, the control unit 70 captures a top view image displayed by the display unit (1104).

이후, 제어부(70)가 조향각센서(60)에 의해 측정된 조향각을 기반으로, 탑뷰 이미지 생성부(20)에 의해 생성된 현재의 탑뷰 이미지와 상기 캡처된 이전의 탑뷰 이미지를 연결하여 파노라마 탑뷰 이미지를 생성한다(1105). 이때, 제어부(70)는 파노라마 탑뷰 이미지 중 캡처된 탑뷰 이미지에 음영을 적용할 수 있다. 즉, 제어부(70)는 켑처된 탑뷰 이미지를 복수의 영역으로 구분한 후 각 영역에 서로 다른 음영을 적용할 수 있다.Thereafter, the control unit 70 connects the current top view image generated by the top view image generation unit 20 and the captured previous top view image based on the steering angle measured by the steering angle sensor 60 to provide a panoramic top view image. (1105). In this case, the controller 70 may apply a shadow to the captured top view image among the panoramic top view images. That is, the controller 70 may divide the captured top view image into a plurality of areas and apply different shades to each area.

예를 들어, 제어부(70)는 상기 캡처된 이전의 탑뷰 이미지를 대상으로, 조향각이 30°미만이고 차량과의 거리가 10m 미만이면 1단계로서 20%의 음영을 적용하고, 조향각이 30°이상이고 차량과의 거리가 10m 이상 20m 미만이면 2단계로서 50%의 음영을 적용하며, 차량과의 거리가 20m 이상이면 3단계로서 80% 음영을 적용할 수 있다. 이때, 100%의 음영은 이미지 내 객체 식별이 불가능한 블랙을 나타낸다.For example, if the steering angle is less than 30° and the distance to the vehicle is less than 10m, the control unit 70 applies a shade of 20% as a first step to the captured top view image, and the steering angle is 30° or more. If the distance to the vehicle is 10m or more and less than 20m, 50% of the shade is applied as a second stage, and if the distance to the vehicle is 20m or more, 80% of the shade can be applied as a third stage. In this case, the shade of 100% represents black in which object identification in the image is impossible.

도 12 는 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.12 is a block diagram showing a computing system for executing a method of providing a top view image of a parking space according to an embodiment of the present invention.

도 12를 참조하면, 상술한 본 발명의 일 실시예에 따른 주차공간의 탑뷰 이미지 제공 방법은 컴퓨팅 시스템을 통해서도 구현될 수 있다. 컴퓨팅 시스템(1000)은 시스템 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.Referring to FIG. 12, the method for providing a top view image of a parking space according to an embodiment of the present invention described above may also be implemented through a computing system. The computing system 1000 includes at least one processor 1100 connected through the system bus 1200, a memory 1300, a user interface input device 1400, a user interface output device 1500, a storage 1600, and A network interface 1700 may be included.

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.The processor 1100 may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in the memory 1300 and/or the storage 1600. The memory 1300 and the storage 1600 may include various types of volatile or nonvolatile storage media. For example, the memory 1300 may include read only memory (ROM) and random access memory (RAM).

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, SSD(Solid State Drive), 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.Accordingly, the steps of the method or algorithm described in connection with the embodiments disclosed herein may be directly implemented in hardware executed by the processor 1100, a software module, or a combination of the two. The software module is a storage medium such as RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, register, hard disk, solid state drive (SSD), removable disk, CD-ROM (i.e., memory 1300) and/or It may reside in the storage 1600. An exemplary storage medium is coupled to the processor 1100, which is capable of reading information from and writing information to the storage medium. Alternatively, the storage medium may be integral with the processor 1100. The processor and storage media may reside within an application specific integrated circuit (ASIC). The ASIC may reside within the user terminal. Alternatively, the processor and storage medium may reside as separate components within the user terminal.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains will be able to make various modifications and variations without departing from the essential characteristics of the present invention.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the claims below, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

10: 입력부
20: 탑뷰 이미지 생성부
30: 표시부
40: 저장부
50: 모션감지센서
60: 조향각센서
70: 제어부10: input
20: Top view image generator
30: display
40: storage
50: motion detection sensor
60: steering angle sensor
70: control unit

Claims (16)

차량의 조향각을 측정하는 조향각센서;
상기 차량의 주행에 따른 주차공간의 탑뷰 이미지를 생성하는 탑뷰 이미지 생성부;
상기 탑뷰 이미지 생성부에 의해 생성된 탑뷰 이미지를 표시하는 표시부; 및
상기 표시부에 의해 표시되는 탑뷰 이미지를 캡처하고, 상기 조향각센서에 의해 측정된 조향각을 기반으로 상기 탑뷰 이미지 생성부에 의해 생성된 현재의 탑뷰 이미지와 상기 캡처된 이전의 탑뷰 이미지를 연결하여 파노라마 탑뷰 이미지를 생성하는 제어부
를 포함하는 주차공간의 탑뷰 이미지 제공 장치.
A steering angle sensor that measures a steering angle of a vehicle;
A top view image generating unit generating a top view image of a parking space according to the driving of the vehicle;
A display unit that displays a top view image generated by the top view image generation unit; And
A panoramic top view image by capturing a top view image displayed by the display unit and connecting the current top view image generated by the top view image generation unit and the previous top view image captured based on the steering angle measured by the steering angle sensor Control unit that generates
Device for providing a top view image of a parking space comprising a.
 제 1 항에 있어서,
상기 제어부는,
상기 파노라마 탑뷰 이미지 중 캡처된 탑뷰 이미지에 음영을 적용하는 것을 특징으로 하는 주차공간의 탑뷰 이미지 제공 장치.
The method of claim 1,
The control unit,
Apparatus for providing a top view image of a parking space, wherein a shadow is applied to the captured top view image among the panoramic top view images.
 제 2 항에 있어서,
상기 제어부는,
상기 캡처된 탑뷰 이미지를 복수의 영역을 구분한 후 서로 다른 음영을 적용하는 것을 특징으로 하는 주차공간의 탑뷰 이미지 제공 장치.
The method of claim 2,
The control unit,
The apparatus for providing a top view image of a parking space, characterized in that different shades are applied after dividing the captured top view image into a plurality of areas.
 제 1 항에 있어서,
상기 제어부는,
상기 생성한 파노라마 탑뷰 이미지를 표시하도록 상기 표시부를 제어하는 것을 특징으로 하는 주차공간의 탑뷰 이미지 제공 장치.
The method of claim 1,
The control unit,
The apparatus for providing a top view image of a parking space, characterized in that controlling the display unit to display the generated panoramic top view image.
 제 4 항에 있어서,
빈 주차구획 주변의 움직임을 감지하는 모션감지센서
를 더 포함하는 주차공간의 탑뷰 이미지 제공 장치.
The method of claim 4,
Motion detection sensor that detects motion around empty parking areas
A device for providing a top view image of a parking space further comprising a.
 제 5 항에 있어서,
상기 제어부는,
상기 모션감지센서에 의해 움직임이 감지된 빈 주차구획에 상응하는 상기 파노라마 탑뷰 이미지상의 위치에 경고 아이콘을 더 표시하도록 상기 표시부를 제어하는 것을 특징으로 하는 주차공간의 탑뷰 이미지 제공 장치.
The method of claim 5,
The control unit,
The apparatus for providing a top view image of a parking space, characterized in that the display unit controls the display to further display a warning icon at a position on the panoramic top view image corresponding to an empty parking segment in which motion is detected by the motion detection sensor.
 제 1 항에 있어서,
상기 제어부는,
상기 캡처한 탑뷰 이미지를 저장부에 저장하는 것을 특징으로 하는 주차공간의 탑뷰 이미지 제공 장치.
The method of claim 1,
The control unit,
An apparatus for providing a top view image of a parking space, characterized in that storing the captured top view image in a storage unit.
 제 7 항에 있어서,
상기 제어부는,
상기 저장부에 저장되어 있는 탑뷰 이미지의 라이프타임이 임계시간을 초과하면 상기 저장부에 저장되어 있는 탑뷰 이미지를 삭제하는 것을 특징으로 하는 주차공간의 탑뷰 이미지 제공 장치.
The method of claim 7,
The control unit,
When the lifetime of the top view image stored in the storage unit exceeds a threshold time, the top view image stored in the storage unit is deleted.
 제 7 항에 있어서,
상기 제어부는,
상기 차량이 임계거리를 이동하면 상기 저장부에 저장되어 있는 탑뷰 이미지를 삭제하는 것을 특징으로 하는 주차공간의 탑뷰 이미지 제공 장치.
The method of claim 7,
The control unit,
The apparatus for providing a top view image of a parking space, characterized in that when the vehicle moves a critical distance, a top view image stored in the storage unit is deleted.
 차량의 주행에 따른 조향각을 측정하는 단계;
상기 차량의 주행에 따른 주차공간의 탑뷰 이미지를 생성하는 단계;
상기 생성된 탑뷰 이미지를 표시하는 단계;
상기 표시된 탑뷰 이미지를 캡처하는 단계; 및
상기 측정된 조향각을 기반으로, 상기 생성된 현재의 탑뷰 이미지와 상기 캡처된 이전의 탑뷰 이미지를 연결하여 파노라마 탑뷰 이미지를 생성하는 단계
를 포함하는 주차공간의 탑뷰 이미지 제공 방법.
Measuring a steering angle according to the driving of the vehicle;
Generating a top view image of the parking space according to the driving of the vehicle;
Displaying the generated top view image;
Capturing the displayed top view image; And
Generating a panoramic top-view image by connecting the generated current top-view image and the captured previous top-view image based on the measured steering angle
A method of providing a top view image of a parking space comprising a.
 제 10 항에 있어서,
상기 파노라마 탑뷰 이미지를 생성하는 단계는,
상기 파노라마 탑뷰 이미지 중 캡처된 탑뷰 이미지에 음영을 적용하는 단계
를 포함하는 주차공간의 탑뷰 이미지 제공 방법.
The method of claim 10,
Generating the panoramic top view image,
Applying a shadow to the captured top view image among the panoramic top view images
A method of providing a top view image of a parking space comprising a.
 제 11 항에 있어서,
상기 음영을 적용하는 단계는,
상기 캡처된 탑뷰 이미지를 복수의 영역을 구분하는 단계; 및
각 영역에 서로 다른 음영을 적용하는 단계
를 포함하는 주차공간의 탑뷰 이미지 제공 방법.
The method of claim 11,
The step of applying the shading,
Dividing the captured top-view image into a plurality of areas; And
Steps to apply different shades to each area
A method of providing a top view image of a parking space comprising a.
 제 10 항에 있어서,
상기 생성된 파노라마 탑뷰 이미지를 표시하는 단계
를 더 포함하는 주차공간의 탑뷰 이미지 제공 방법.
The method of claim 10,
Displaying the generated panoramic top view image
A method of providing a top view image of a parking space further comprising a.
 제 13 항에 있어서,
빈 주차구획 주변의 움직임을 감지하는 단계; 및
상기 움직임이 감지된 빈 주차구획에 상응하는 상기 파노라마 탑뷰 이미지상의 위치에 경고 아이콘을 표시하는 단계
를 더 포함하는 주차공간의 탑뷰 이미지 제공 방법.
The method of claim 13,
Detecting movement around an empty parking area; And
Displaying a warning icon at a position on the panoramic top view image corresponding to the empty parking zone in which the motion is detected
A method of providing a top view image of a parking space further comprising a.
 제 10 항에 있어서,
상기 캡처된 탑뷰 이미지를 저장하는 단계; 및
상기 저장된 탑뷰 이미지의 라이프타임이 임계시간을 초과하면 상기 저장된 탑뷰 이미지를 삭제하는 단계
를 더 포함하는 주차공간의 탑뷰 이미지 제공 방법.
The method of claim 10,
Storing the captured top view image; And
Deleting the stored top-view image when the lifetime of the stored top-view image exceeds a threshold time
A method of providing a top view image of a parking space further comprising a.
 제 10 항에 있어서,
상기 캡처된 탑뷰 이미지를 저장하는 단계; 및
상기 차량이 임계거리를 이동하면 상기 저장된 탑뷰 이미지를 삭제하는 단계
를 더 포함하는 주차공간의 탑뷰 이미지 제공 방법.The method of claim 10,
Storing the captured top view image; And
Deleting the stored top view image when the vehicle moves a critical distance
A method of providing a top view image of a parking space further comprising a.
KR1020190112296A 2019-09-10 2019-09-10 Apparatus for providing top view image of parking space and method thereof KR20210030751A (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190112296A KR20210030751A (en) 2019-09-10 2019-09-10 Apparatus for providing top view image of parking space and method thereof
US16/876,952 US11615631B2 (en) 2019-09-10 2020-05-18 Apparatus and method for providing top view image of parking space
DE102020207199.3A DE102020207199A1 (en) 2019-09-10 2020-06-09 Device and method for providing a top view image of a parking lot
CN202010531579.XA CN112562384B (en) 2019-09-10 2020-06-11 Apparatus and method for providing overhead view image of parking space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190112296A KR20210030751A (en) 2019-09-10 2019-09-10 Apparatus for providing top view image of parking space and method thereof

Publications (1)

Publication Number Publication Date
KR20210030751A true KR20210030751A (en) 2021-03-18

Family

ID=74644310

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190112296A KR20210030751A (en) 2019-09-10 2019-09-10 Apparatus for providing top view image of parking space and method thereof

Country Status (4)

Country Link
US (1) US11615631B2 (en)
KR (1) KR20210030751A (en)
CN (1) CN112562384B (en)
DE (1) DE102020207199A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7212317B2 (en) * 2019-10-11 2023-01-25 トヨタ自動車株式会社 vehicle parking assist device

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5414625A (en) * 1991-04-01 1995-05-09 Nissan Motor Co., Ltd. System and method for providing steering control for autonomous vehicle
JP2010109452A (en) * 2008-10-28 2010-05-13 Panasonic Corp Vehicle surrounding monitoring device and vehicle surrounding monitoring method
TW201100279A (en) * 2009-06-23 2011-01-01 Automotive Res & Testing Ct Composite-image-type parking auxiliary system
KR101844476B1 (en) * 2011-02-16 2018-05-18 엘지이노텍 주식회사 Automobile camera module and method of Guiding Parking
KR101877570B1 (en) * 2012-04-04 2018-07-11 현대자동차주식회사 Apparatus for setting parking position based on around view image and method thereof
KR101375335B1 (en) * 2012-05-15 2014-03-18 삼성디스플레이 주식회사 Display Device and Control method thereof
KR101470240B1 (en) * 2013-11-14 2014-12-08 현대자동차주식회사 Parking area detecting apparatus and method thereof
KR101583998B1 (en) * 2014-10-17 2016-01-19 현대자동차주식회사 Smart parking assist apparatus and method thereof
CN105355083A (en) * 2015-12-14 2016-02-24 宁波裕兰信息科技有限公司 Vision-based 360-degree parking assist intelligent guiding system
KR101832466B1 (en) * 2016-06-14 2018-04-13 엘지전자 주식회사 Parking Assistance Apparatus and Vehicle Having The Same
KR101876032B1 (en) * 2016-06-27 2018-08-02 현대자동차주식회사 Apparatus and Method for displaying parking zone
RU2734643C1 (en) * 2017-07-07 2020-10-21 Ниссан Мотор Ко., Лтд. Parking assistance method for parking assistance device and parking assistance device
MX2019015110A (en) * 2017-07-07 2020-02-05 Nissan Motor Parking assistance method and parking assistance device.
CN112469599A (en) * 2018-07-09 2021-03-09 三菱电机株式会社 Parking assistance device and parking assistance method
US20200307616A1 (en) * 2019-03-26 2020-10-01 DENSO TEN AMERICA Limited Methods and systems for driver assistance
JP7296768B2 (en) * 2019-04-22 2023-06-23 フォルシアクラリオン・エレクトロニクス株式会社 Image processing device and image processing method
KR20200129292A (en) * 2019-05-08 2020-11-18 현대자동차주식회사 Apparatus for providing top view image of parking space and method thereof

Also Published As

Publication number Publication date
US20210073560A1 (en) 2021-03-11
CN112562384B (en) 2024-05-31
DE102020207199A1 (en) 2021-03-11
US11615631B2 (en) 2023-03-28
CN112562384A (en) 2021-03-26

Similar Documents

Publication Publication Date Title
US11417017B2 (en) Camera-only-localization in sparse 3D mapped environments
JP7240367B2 (en) Methods, apparatus, electronic devices and storage media used for vehicle localization
KR102452556B1 (en) Apparatus for controlling parking of vehicle, system having the same and method thereof
US20180246515A1 (en) Vehicle Automated Parking System and Method
CN108495089A (en) vehicle monitoring method, device, system and computer readable storage medium
US11003920B2 (en) Detection and planar representation of three dimensional lanes in a road scene
US20170030722A1 (en) Vehicle localization system
US20200158840A1 (en) Multi-mode multi-sensor calibration
EP3893148A1 (en) Method and device for controlling vehicle, and vehicle
CN112561841A (en) Point cloud data fusion method and device for laser radar and camera
CN109447901B (en) Panoramic imaging method and device
JP6726006B2 (en) Calculation of distance and direction of target point from vehicle using monocular video camera
CN111105695B (en) Map making method and device, electronic equipment and computer readable storage medium
JP2007102798A (en) Vehicle circumference monitoring system
US20220044032A1 (en) Dynamic adjustment of augmented reality image
CN102458923B (en) Method and device for extending a visibility area
KR20210030751A (en) Apparatus for providing top view image of parking space and method thereof
KR101470230B1 (en) Parking area tracking apparatus and method thereof
KR20200129292A (en) Apparatus for providing top view image of parking space and method thereof
US20230109473A1 (en) Vehicle, electronic apparatus, and control method thereof
US10303957B2 (en) Vehicle control system based on user input and method thereof
JP2009077022A (en) Driving support system and vehicle
JP2006252577A (en) Map data generating apparatus
US20120086798A1 (en) System and method for automatic dynamic guidelines
KR20210146487A (en) Vehicle parking apparatus and method using the same