KR20150051735A - Parking Guide System and the Method - Google Patents

Parking Guide System and the Method Download PDF

Info

Publication number
KR20150051735A
KR20150051735A KR1020130133612A KR20130133612A KR20150051735A KR 20150051735 A KR20150051735 A KR 20150051735A KR 1020130133612 A KR1020130133612 A KR 1020130133612A KR 20130133612 A KR20130133612 A KR 20130133612A KR 20150051735 A KR20150051735 A KR 20150051735A
Authority
KR
South Korea
Prior art keywords
information
vehicle
obstacle
camera
rider sensor
Prior art date
Application number
KR1020130133612A
Other languages
Korean (ko)
Inventor
조민재
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020130133612A priority Critical patent/KR20150051735A/en
Priority to CN201410317471.5A priority patent/CN104608692B/en
Publication of KR20150051735A publication Critical patent/KR20150051735A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/20—Steering systems

Abstract

The present invention relates to a parking guide system which provides information regarding the rear of a vehicle when parking the vehicle, and consults parking convenience of a driver, and to a method thereof. Compared to an existing technology which provides a rear image by using only a camera, according to the parking guide system of the present invention, the rear image of the vehicle and information of obstacles located at the rear are provided to the driver by blending the camera and a rider sensor so that accidents caused by a pedestrian or an obstacle which does not come into an angle of view of the camera can be prevented.

Description

주차 보조 시스템 및 그 방법 {Parking Guide System and the Method}[0001] Parking Assist System and Method [0002]

본 발명은 차량의 주차를 보조하는 시스템 및 그 방법에 관한 것으로서, 차량의 후방에 위치한 장애물에 대한 정보를 포함하는 영상정보를 디스플레이함으로써 운전자에게 주차 편의를 제공하는 주차 보조 시스템 및 방법에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a system and a method for assisting a parking of a vehicle, and more particularly, to a parking assistance system and method for providing parking to a driver by displaying image information including information on an obstacle located behind the vehicle.

주차 보조 시스템(PGS : Parking Guide System)은 차량의 주행 방향에 따라 AVN 화면에 전/후방 카메라 영상을 보여주고, 후진 주차시 주차 보조선 및 스티어링 휠 조작에 따른 차량의 예상 진행 궤적을 표시하여 주차를 돕는 장치이다.The parking guide system (PGS) displays the front / rear camera images on the AVN screen according to the driving direction of the vehicle, displays the anticipated progress trajectory of the vehicle according to the operation of the parking assist line and the steering wheel during backward parking, .

종래 기술은 후방카메라와 제어기로 분리 구성된 기존 조향장치(스티어링 휠)와 연동하여 차량 내에 구비된 차량 제어기 및 센서모듈로부터 변속 위치 정보 및 스티어링 각도 정보를 획득한다. 그리고 변속 위치 정보가 후진일 경우 상기 스티어링 각도 정보에 따라 실시간으로 차량의 예상 진행경로 데이터를 추정하여 후방카메라로 전송하는 보조 유닛과 촬영된 차량 후방 영상에 상기 보조 유닛에서 전송된 차량의 예상 진행경로 데이터를 중첩시켜 주차보조 정보로 디스플레이에 출력하는 후방카메라를 구비함으로써 전체적인 주차보조장치의 구성을 단순화하고 영상에 대한 신호처리 과정을 줄여 화질 저하도 방지하게 된다.The conventional technique acquires the shift position information and the steering angle information from the vehicle controller and the sensor module provided in the vehicle in cooperation with the conventional steering device (steering wheel) separated by the rear camera and the controller. And estimating the estimated traveling course data of the vehicle in real time according to the steering angle information when the shift position information is backward, and transmitting the estimated traveling course data to the rearview camera, And a rear camera for superimposing the data on the display and outputting the data to the display as parking assistance information, thereby simplifying the configuration of the parking assist device as a whole and reducing the signal processing process for the image, thereby preventing image quality degradation.

그러나 종래 기술은 후진시 후방카메라를 이용하여 주차공간 내를 인식하여 주차하기 때문에 카메라 화각의 영향과 여러 가지 돌발 상황에 대처하지 못할 수 있는 문제점이 존재한다. 예를 들어, 모니터에 출력되는 카메라의 영상만 보다가 다른 차량과 차의 측면부가 닿거나 카메라 화각에 들어오지 않은 장애물이나 보행자를 인식하지 못하여 사고의 위험에 대처하지 못할 수 있기 때문에 이에 대한 보완이 요구된다.
However, according to the related art, there is a problem that it is impossible to cope with the influence of the camera angle of view and various unexpected situations because the vehicle is parked in the parking space by using the rear camera in the backward direction. For example, since it is impossible to cope with the risk of accidents due to the fact that the side of the car that is different from that of the camera outputting on the monitor is different from the image of the camera on the monitor, or obstacles or pedestrians that are not in the camera angle of view are not recognized, do.

본 발명은 전술한 문제점을 해결하기 위하여, 카메라센서와 라이더센서를 융합하여 카메라센서를 통해 감지되지 않는 차량, 보행자 등에 대한 정보를 제공하는 주차 보조 시스템을 제공하는 것을 목적으로 한다.
SUMMARY OF THE INVENTION It is an object of the present invention to provide a parking assist system that fuses a camera sensor and a rider sensor to provide information on vehicles, pedestrians, and the like that are not detected through a camera sensor.

본 발명은 차량의 후방에 대한 영상정보를 획득하는 카메라센서; 상기 차량의 후방에 위치한 물체의 위치정보, 상기 물체까지의 거리정보를 획득하는 라이더센서; 및 상기 라이더센서를 통해 획득한 정보에 기초하여 상기 영상정보 내 좌표를 3차원 좌표로 변환하고, 상기 3차원 좌표에 기초하여 상기 영상정보 내에 위치한 장애물을 인식하는 제어부를 포함하는 주차 보조 시스템을 제공한다.The present invention relates to a camera sensor for acquiring image information about the rear of a vehicle; A rider sensor for acquiring positional information of an object located behind the vehicle and distance information to the object; And a control unit for converting coordinates in the image information into three-dimensional coordinates based on information acquired through the rider sensor, and recognizing an obstacle located in the image information based on the three-dimensional coordinates do.

본 발명의 일면에 따르면, 상기 제어부는 상기 3차원 좌표의 깊이정보를 확인하여 상기 깊이정보가 낮은 영역을 관심영역으로 설정하고, 상기 관심영역의 높이정보와 넓이정보를 확인하여 상기 관심영역에 장애물이 위치하는지 여부를 확인하는 것인 주차 보조 시스템을 제공한다.According to an embodiment of the present invention, the controller confirms the depth information of the three-dimensional coordinate, sets an area having the low depth information as an area of interest, confirms height information and area information of the area of interest, Is located in the parking assist system.

본 발명의 다른 일면에 따르면, 상기 제어부는 상기 영상정보 내에 위치하는 것으로 인식된 장애물에 상기 차량이 근접하면 알람을 출력하는 것인 주차 보조 시스템을 제공한다.According to another aspect of the present invention, the control unit outputs an alarm when the vehicle approaches the obstacle recognized as being located in the image information.

본 발명의 다른 일면에 따르면, 상기 라이더센서는 상기 차량의 기어정보 및 조향각정보를 수신하여 상기 라이더센서가 위치한 방향으로 상기 차량이 후진하면 작동하는 것인 주차 보조 시스템을 제공한다.According to another aspect of the present invention, the rider sensor receives the gear information and the steering angle information of the vehicle, and operates when the vehicle is moved backward in a direction in which the rider sensor is located.

본 발명은 차량의 후방카메라를 통해 영상정보를 획득하는 단계; 상기 차량의 후방에 설치된 라이더센서를 통해 깊이정보를 추출하는 단계; 상기 깊이정보를 이용하여 상기 영상정보 내 좌표를 3차원 좌표로 변환하는 단계; 상기 3차원 좌표의 깊이정보가 낮은 영역을 관심영역으로 설정하는 단계; 및 상기 관심영역에 장애물이 위치하는지 여부를 확인하고, 상기 차량의 후방 영상을 디스플레이하는 단계를 포함하는 주차 보조 방법을 제공한다.The present invention relates to a method and an apparatus for acquiring image information through a rear camera of a vehicle. Extracting depth information through a rider sensor installed at the rear of the vehicle; Transforming coordinates in the image information into three-dimensional coordinates using the depth information; Setting an area in which depth information of the three-dimensional coordinate is low as an area of interest; And confirming whether an obstacle is located in the area of interest, and displaying a rear image of the vehicle.

본 발명의 일면에 따르면, 상기 관심영역에 장애물이 위치하는지 여부를 확인하는 단계는 상기 관심영역의 높이정보와 넓이정보를 기설정된 값과 비교하는 단계; 및 상기 관심영역의 높이정보와 넓이정보가 기설정된 값보다 작으면 배경으로 인식하고, 상기 관심영역의 높이정보와 넓이정보가 기설정된 값 이상이면 장애물로 인식하는 단계를 포함하는 것인 주차 보조 방법을 제공한다.According to an aspect of the present invention, the step of verifying whether an obstacle is located in the ROI includes: comparing height information and width information of the ROI with predetermined values; And recognizing the height information and the width information of the ROI as a background if the height information and the width information are less than a preset value and recognizing the height information and the width information of the ROI as an obstacle if the height information and the width information are greater than a predetermined value. .

본 발명의 다른 일면에 따르면, 상기 깊이정보를 이용하여 상기 영상정보 내 좌표를 3차원 좌표로 변환하는 단계는 상기 후방카메라의 좌표계와 상기 라이더센서의 좌표계의 기하관계를 계산하는 단계를 포함하는 것인 주차 보조 방법을 제공한다.According to another aspect of the present invention, the step of converting the coordinates in the image information into the three-dimensional coordinates using the depth information includes calculating a geometric relationship between the coordinate system of the rear camera and the coordinate system of the rider sensor Parking assist method.

본 발명의 다른 일면에 따르면, 상기 차량의 후방카메라를 통해 영상정보를 획득하는 단계는 상기 차량이 후진기어 상태가 되면 상기 차량의 후방카메라를 작동시키는 단계를 포함하는 것인 주차 보조 방법을 제공한다.According to another aspect of the present invention, the step of acquiring image information through the rear camera of the vehicle includes a step of operating the rear camera of the vehicle when the vehicle is in the reverse gear state .

본 발명의 다른 일면에 따르면, 상기 차량의 후방에 설치된 라이더센서를 통해 깊이정보를 추출하는 단계는 상기 차량의 조향각을 감지하여 상기 차량이 후진하는 방향에 위치한 라이더센서를 작동시키는 단계를 포함하는 것인 주차 보조 방법을 제공한다.According to another aspect of the present invention, the step of extracting the depth information through the rider sensor installed at the rear of the vehicle includes sensing the steering angle of the vehicle and operating the rider sensor located in the direction in which the vehicle is moving backward Parking assist method.

본 발명의 다른 일면에 따르면, 상기 차량의 후방영상을 디스플레이하는 단계는 상기 차량과 상기 장애물과의 거리에 따라 알람을 출력하는 단계를 포함하는 것인 주차 보조 방법을 제공한다.
According to another aspect of the present invention, the step of displaying the rear image of the vehicle includes the step of outputting an alarm according to the distance between the vehicle and the obstacle.

본 발명은 카메라센서와 라이더센서를 융합한 주차 보조 시스템을 제공함으로써 야간과 같이 어두운 환경에서 주차를 하는 경우나 주차시 돌발 상황이 발생하는 경우에도 용이하게 대처할 수 있도록 하는 주차 보조 시스템 및 방법을 제공한다.
The present invention provides a parking assist system and a method for easily providing a parking assist system in which a camera sensor and a rider sensor are fused together to cope with an unexpected situation such as when parking in a dark environment such as at night, do.

도 1은 본 발명의 일실시예에 따른 주차 보조 시스템의 구조를 나타낸 도면.
도 2와 도 3은 본 발명의 일실시예에 따른 주차 보조 방법의 과정을 나타낸 흐름도.
도 4는 본 발명의 일실시예에 따른 주차 보조 시스템이 장애물의 3차원 위치를 검출하는 방법을 설명하기 위한 도면.
도 5는 본 발명의 일실시예에 따른 주차 보조 시스템에 의한 PGS 동작 화면을 나타낸 도면.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of a parking assistance system according to an embodiment of the present invention; FIG.
FIG. 2 and FIG. 3 are flowcharts illustrating a procedure of a parking assistant method according to an embodiment of the present invention.
4 is a view for explaining a method of detecting a three-dimensional position of an obstacle by a parking assist system according to an embodiment of the present invention.
5 is a view showing a PGS operation screen by a parking assist system according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의된다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is defined by the scope of the claims.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자에 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가함을 배제하지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. &Quot; comprises " and / or "comprising" when used in this specification is taken to specify the presence or absence of one or more other components, steps, operations and / Or add-ons. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 주차 보조 시스템(PGS : Parking Guide System)의 구조를 나타낸 도면이다.1 is a diagram illustrating a structure of a parking guide system (PGS) according to an embodiment of the present invention.

본 발명은 도 1에 도시된 바와 같이, 레이저를 발광한 후 물체로부터 반사된 레이저광의 시간과 파형을 분석하여 해당 물체의 위치정보와 Intensity 정보를 획득할 수 있는 3D 라이더(3D LIDAR)를 전/후방 카메라와 같이 차량에 설치하고, 라이더 데이터로부터 받은 거리정보와 영상정보를 합성하여 주차 공간 내의 차량, 보행자, 장애물을 검출하거나 운전자에게 알람, 소리, 진동 같은 경보를 주어 차량을 안전하게 보호하면서 주차할 수 있도록 하는 시스템이다.As shown in FIG. 1, a 3D rider (3D LIDAR) capable of acquiring position information and intensity information of an object by analyzing a time and a waveform of laser light reflected from an object after emitting a laser, It is installed in the vehicle like the rear camera, and the distance information and the image information received from the rider data are combined to detect the vehicle, pedestrian, and obstacle in the parking space, or alert the driver to alarms, sounds, .

본 발명의 일실시예에 따른 주차 보조 시스템은 카메라(100), 라이더센서(110) 및 제어부(120)를 포함한다.The parking assist system according to an embodiment of the present invention includes a camera 100, a rider sensor 110, and a control unit 120.

카메라(100)는 차량의 후방에 위치한 카메라를 의미하는 것으로서 차량의 후방 영상을 획득하고 획득한 영상정보를 제어부(120)로 전달한다. 카메라(100)는 제어부(120)가 기어신호를 획득하여 차량이 후진기어 상태인 것으로 확인되면 작동하도록 할 수도 있다.The camera 100 means a camera located behind the vehicle and acquires a rear image of the vehicle and transmits the acquired image information to the control unit 120. [ The camera 100 may cause the control unit 120 to operate when it is determined that the vehicle is in the reverse gear state by acquiring the gear signal.

라이더센서(110)는 차량의 좌/우측 후방에 위치하며 레이저광이 반사된 시간과 파형을 분석하여 3차원 물체의 위치정보 및 볼륨정보를 획득한다. 라이더센서(110)는 획득한 정보를 제어부(120)로 전달하며, 제어부(120)가 스티어링휠 센서로부터 차량의 조향각을 확인하고 차량의 핸들방향 즉, 차량이 후진하는 방향에 위치한 라이더센서(110)가 작동하도록 할 수도 있다.The rider sensor 110 is located at the left / right rear of the vehicle and analyzes the time and waveform of the reflected laser light to obtain position information and volume information of the three-dimensional object. The rider sensor 110 transmits the obtained information to the control unit 120. The control unit 120 confirms the steering angle of the vehicle from the steering wheel sensor and detects the direction of steering of the vehicle, ) May operate.

기존의 거리 인식 센서에 비하여 라이더센서(110)는 1) 기존 센서에 대비하여 거리에 대한 Resolution이 정밀하여 거리 값에 대해서 더 세밀한 정보를 얻을 수 있고(5~10cm 단위로 인식), 2) 광을 사용하기 때문에 응답속도가 매우 빨라 움직이는 물체도 잘 감지하며, 3) 라이더센서(110)를 통해서 받은 Intensity 정보가 재질을 구분할 수 있으므로 차량과 보행자를 구분하여 인식할 수 있는 장점이 있다.Compared to the conventional distance sensor, the rider sensor 110 can obtain more detailed information about the distance value (in the range of 5 to 10 cm) by 1) accurate resolution of the distance in comparison with the existing sensor, and 2) 3) Since the intensity information received through the rider sensor 110 can distinguish the material, there is an advantage that the vehicle and the pedestrian can be distinguished from each other.

이러한 라이더센서(110)의 장점을 결합한 새로운 주차 보조 시스템을 이용하면 협소한 공간에서 안전하게 주차할 수 있고, 운전자가 미처 발견하지 못한 차량 근처의 보행자도 감지하여 주차시 발생할 수 있는 사고를 미연에 방지할 수 있다.A new parking assist system that combines the advantages of the rider sensor 110 can be used to safely park in a narrow space and to detect pedestrians in the vicinity of vehicles that the driver can not detect, can do.

라이더센서(110)는 레이저를 이용하여 레이저광의 반사된 시간과 파형을 분석하여 3차원 물체의 위치정보와 볼륨정보를 얻을 수 있는 센서로서 높은 정확도로 장애물의 거리정보를 취득할 수 있지만 3차원 볼륨 이미지의 픽셀 dot 해상도가 낮아서 디스플레이하는 데는 어려움이 있다.The rider sensor 110 is a sensor capable of obtaining positional information and volume information of a three-dimensional object by analyzing the reflected time and waveform of laser light using a laser, and can acquire distance information of the obstacle with high accuracy. However, The pixel dot resolution of the image is low and difficult to display.

그러므로 본 발명에서는 라이더센서(110)를 통해 얻은 장애물(차량, 보행자, 벽, 나무 etc)을 인식하여 PGS 카메라 영상에 장애물의 위치와 거리정보를 표시해 주어 운전자에게 알려주는 시스템을 제공한다.Therefore, the present invention provides a system for recognizing obstacles (vehicles, pedestrians, walls, trees, etc.) obtained through the rider sensor 110 and displaying the position and distance information of the obstacles to the PGS camera image to inform the driver.

제어부(120)는 카메라(100)와 라이더센서(110)로부터 전달받은 정보를 이용하여 차량 후방의 영상 내에서 장애물을 인식하며, 인식한 장애물에 대한 정보를 디스플레이 등을 통해 운전자에게 제공한다.The controller 120 recognizes an obstacle in the image behind the vehicle using information received from the camera 100 and the rider sensor 110, and provides information on the recognized obstacle to the driver through a display or the like.

도 2는 제어부(120)에 의하여 수행되는 주차 보조 방법의 전반적인 과정을 나타낸 흐름도이다.2 is a flowchart illustrating an overall process of the parking assisting method performed by the control unit 120. Referring to FIG.

제어부(120)는 PGS 시스템을 초기화하고(S200), 기어신호로부터 차량이 후진기어 상태인지 여부를 확인하여(S210) 차량이 후진기어 상태이면 후방카메라를 작동시키고 스티어링 센서값을 확인한다(S220). 스티어링 센서값으로부터 차량의 핸들이 돌아가있는지 여부를 확인하여(S230) 핸들이 돌아가 있으면 핸들이 돌아가 있는 방향에 위치한 라이더센서(110)를 작동시킨다(S240).The control unit 120 initializes the PGS system (S200), checks whether the vehicle is in the reverse gear state from the gear signal (S210), and operates the rear camera and confirms the steering sensor value if the vehicle is in the reverse gear state (S220) . If it is determined that the handle of the vehicle is turned from the steering sensor value (S230), the rider sensor 110 is operated in the direction in which the handle is turned (S240).

그리고 카메라(100) 및 라이더센서(110)로부터 획득한 정보를 이용하여 차량 및 장애물을 인식하는 알고리즘을 수행하고(S250), 후방 주차 공간 영역을 디스플레이를 통해 출력하며 장애물에 근접할 경우에는 알람을 출력한다(S260).Then, an algorithm for recognizing the vehicle and the obstacle is performed using the information acquired from the camera 100 and the rider sensor 110 (S250), and the rear parking space area is output through the display. (S260).

도 3은 제어부(120)가 차량 후방 영상 내의 장애물을 인식하는 과정을 나타낸 흐름도이다.3 is a flowchart illustrating a process in which the controller 120 recognizes an obstacle in a vehicle rear image.

제어부(120)는 카메라(100)를 이용하여 영상을 획득하고(S300) 라이더센서(110)를 이용하여 Depth 정보를 추출하면(S310) 카메라(100) 좌표계와 라이더센서(110) 좌표계 사이의 기하학적인 관계를 계산한다(S320).The control unit 120 acquires an image using the camera 100 in operation S300 and extracts depth information using the rider sensor 110 in operation S310 to display the geometric relationship between the coordinate system of the camera 100 and the coordinate system of the rider sensor 110 (S320).

카메라(100)와 라이더센서(110) 사이의 기하학적인 관계는 수학식 1, 수학식 2, 수학식 3을 통해 알 수 있는데, 수학식 1, 2, 3을 통해 카메라(100)의 내부 변수(intrinsic parameter) K와 카메라(100)와 장애물의 표면 간에 기하학적인 관계(extrinsic parameter) PL을 알 수 있다.The geometric relationship between the camera 100 and the rider sensor 110 can be found through Equations 1, 2 and 3, and the internal variables of the camera 100 intrinsic parameter K and the extrinsic parameter P L between the camera 100 and the surface of the obstacle.

Figure pat00001
Figure pat00001

Figure pat00002
Figure pat00002

Figure pat00003
Figure pat00003

수학식 1, 2, 3에서 PC는 카메라(100)의 좌표계 기준의 3차원 좌표이고,

Figure pat00004
는 카메라(100)와 라이더센서(110)의 좌표계 사이의 회전 행렬,
Figure pat00005
는 카메라(100)와 라이더센서(110) 사이의 평행이동 벡터, K는 카메라의 내부 변수를 의미한다. p는 카메라(100)의 이미지상의 2차원 픽셀 위치로써 카메라 파라미터 K를 카메라 좌표 PC에 곱하면 계산할 수 있다.In Equations (1), (2) and (3), P C is the three-dimensional coordinate of the camera 100 based on the coordinate system,
Figure pat00004
A rotation matrix between the coordinate system of the camera 100 and the rider sensor 110,
Figure pat00005
Is a parallel movement vector between the camera 100 and the rider sensor 110, and K is an internal variable of the camera. p can be calculated by multiplying the camera coordinate K by the camera coordinate P C with the two-dimensional pixel position on the image of the camera 100.

카메라(100) 좌표계와 라이더센서(110) 좌표계의 기하관계를 계산한 후 카메라 이미지상 픽셀 위치를 3차원 좌표로 변환한다(S330).After the geometric relationship between the camera 100 coordinate system and the rider sensor 110 coordinate system is calculated, the pixel position on the camera image is converted into three-dimensional coordinates (S330).

카메라(100)와 라이더센서(110) 간에 캘리브레이션을 수행할 때는 이미지상에서 어떤 물체가 어느 정도 떨어져 있는지를 지정해 놓은 상태에서 R(카메라 좌표와 장애물 사이의 회전행렬), t(카메라 좌표와 장애물 사이의 평행이동벡터) 변수를 구하고나서 카메라(100)와 라이더센서(110) 간의 캘리브레이션 변수

Figure pat00006
,
Figure pat00007
가 구해지면 라이더센서(110)와 카메라(100)의 이미지 정보를 융합할 수 있다. 캘리브레이션 변수
Figure pat00008
,
Figure pat00009
를 구하기 위해 장애물 평면과의 수직벡터 N을 이용한 수학식 4를 통해 계산할 수 있다.When performing calibration between the camera 100 and the rider sensor 110, it is necessary to set R (a rotation matrix between the camera coordinates and the obstacle), t (a distance between the camera coordinates and the obstacle, And then calculates a calibration variable between the camera 100 and the rider sensor 110
Figure pat00006
,
Figure pat00007
The image information of the rider sensor 110 and the image of the camera 100 can be fused. Calibration variable
Figure pat00008
,
Figure pat00009
Can be calculated through Equation (4) using the vertical vector N with respect to the obstacle plane.

Figure pat00010
Figure pat00010

수학식 4를 이용하여 캘리브레이션을 수행할 수 있고 변수값의 정확도는 장애물 평면상의 위치와 각도를 달리하여 충분히 많은 PL와 N을 획득하여 계산할 수 있다.Calibration can be performed using Equation (4), and the accuracy of the variable values can be calculated by obtaining enough P L and N by varying the position and angle on the obstacle plane.

카메라(100)와 라이더센서(110) 간의 캘리브레이션이 완료되면 수학식 5를 통해서 2차원 이미지상의 어떤 장애물이 라이더센서(110) 좌표의 3차원 상에 어떤 위치에 있는지를 계산할 수 있다.When calibration between the camera 100 and the rider sensor 110 is completed, it can be calculated through Equation (5), which position on the three-dimensional coordinates of the rider sensor 110 coordinates which obstacle on the two-dimensional image.

Figure pat00011
Figure pat00011

구체적으로 설명하면, 제어부(120)는 변환된 3차원 좌표 중 Depth가 낮은 값을 관심영역으로 설정하고(S340), 관심영역의 Width와 Height가 임계값보다 작은지 여부를 확인한다(S350). 관심영역의 Width와 Height가 임계값보다 작으면 배경으로 분류하고(S360) 작지 않으면 장애물로 분류한다(S370).Specifically, the control unit 120 sets a low value of Depth among the transformed three-dimensional coordinates as a region of interest (S340), and determines whether the Width and Height of the ROI are smaller than the threshold (S350). If the Width and Height of the ROI are less than the threshold value, the ROI is classified into a background (S360). If the Width and Height are not small, the ROI is classified as an obstacle (S370).

도 5는 본 발명의 일실시예에 따른 주차 보조 시스템의 동작 예시로써 차량의 후방에 있는 장애물의 거리와 볼륨을 라이더센서를 이용하여 측정한 뒤 결과를 PGS 상에 보여주는 화면이다. 전술한 좌표 계산식을 이용하여 라이더센서로부터 받은 거리정보로부터 이미지상에 어떤 물체가 어느 정도 떨어져 있는지를 알 수 있다.FIG. 5 is a view illustrating an example of the operation of the parking assisting system according to an embodiment of the present invention. The distance and the volume of the obstacle behind the vehicle are measured using a rider sensor and the result is displayed on the PGS. From the distance information received from the lidar sensor, it is possible to know how far an object is located on the image by using the above-described coordinate calculation formula.

이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명의 본질적 특성을 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다. 따라서, 본 발명에 표현된 실시예들은 본 발명의 기술적 사상을 한정하는 것이 아니라, 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 특허청구범위에 의하여 해석되어야 하고, 그와 동등하거나, 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
The foregoing description is merely illustrative of the technical idea of the present invention and various changes and modifications may be made without departing from the essential characteristics of the present invention. Therefore, the embodiments described in the present invention are not intended to limit the scope of the present invention, but are intended to be illustrative, and the scope of the present invention is not limited by these embodiments. It is intended that the present invention cover the modifications and variations of this invention provided they come within the scope of the appended claims and their equivalents, which fall within the scope of the present invention as claimed.

100 : 카메라(센서)
110 : 라이더센서
120 : 제어부
130 : 스티어링휠센서 및 기어신호센서
140 : AVN(Audio Video Navigation)100: Camera (sensor)
110: Rider sensor
120:
130: Steering wheel sensor and gear signal sensor
140: AVN (Audio Video Navigation)

Claims (10)

차량의 후방카메라를 통해 영상정보를 획득하는 단계;
상기 차량의 후방에 설치된 라이더센서를 통해 깊이정보를 추출하는 단계;
상기 깊이정보를 이용하여 상기 영상정보 내 좌표를 3차원 좌표로 변환하는 단계;
상기 3차원 좌표의 깊이정보가 낮은 영역을 관심영역으로 설정하는 단계; 및
상기 관심영역에 장애물이 위치하는지 여부를 확인하고, 상기 차량의 후방 영상을 디스플레이하는 단계
를 포함하는 주차 보조 방법.
Acquiring image information through a rear camera of the vehicle;
Extracting depth information through a rider sensor installed at the rear of the vehicle;
Transforming coordinates in the image information into three-dimensional coordinates using the depth information;
Setting an area in which depth information of the three-dimensional coordinate is low as an area of interest; And
Confirming whether an obstacle is located in the area of interest, and displaying a rear image of the vehicle
And a parking assistant.
제1항에 있어서, 상기 관심영역에 장애물이 위치하는지 여부를 확인하는 단계는
상기 관심영역의 높이정보와 넓이정보를 기설정된 값과 비교하는 단계; 및
상기 관심영역의 높이정보와 넓이정보가 기설정된 값보다 작으면 배경으로 인식하고, 상기 관심영역의 높이정보와 넓이정보가 기설정된 값 이상이면 장애물로 인식하는 단계를 포함하는 것
인 주차 보조 방법.
The method of claim 1, wherein determining whether an obstacle is located in the region of interest
Comparing the height information and the width information of the ROI with predetermined values; And
Recognizing the height information and the width information of the ROI as a background if the height information and the width information are less than a preset value and recognizing the height information and the width information of the ROI as an obstacle if the height information and the width information are greater than a predetermined value
Parking assistant.
제1항에 있어서, 상기 깊이정보를 이용하여 상기 영상정보 내 좌표를 3차원 좌표로 변환하는 단계는
상기 후방카메라의 좌표계와 상기 라이더센서의 좌표계의 기하관계를 계산하는 단계를 포함하는 것
인 주차 보조 방법.
The method of claim 1, wherein the step of transforming the coordinates in the image information into three-dimensional coordinates using the depth information comprises:
And calculating a geometric relationship between the coordinate system of the rear camera and the coordinate system of the rider sensor
Parking assistant.
제1항에 있어서, 상기 차량의 후방카메라를 통해 영상정보를 획득하는 단계는
상기 차량이 후진기어 상태가 되면 상기 차량의 후방카메라를 작동시키는 단계를 포함하는 것
인 주차 보조 방법.
The method of claim 1, wherein acquiring image information through a rear camera of the vehicle
And operating the rear camera of the vehicle when the vehicle is in the reverse gear state
Parking assistant.
제1항에 있어서, 상기 차량의 후방에 설치된 라이더센서를 통해 깊이정보를 추출하는 단계는
상기 차량의 조향각을 감지하여 상기 차량이 후진하는 방향에 위치한 라이더센서를 작동시키는 단계를 포함하는 것
인 주차 보조 방법.
The method as claimed in claim 1, wherein the step of extracting depth information through a rider sensor installed behind the vehicle
And sensing a steering angle of the vehicle to operate a rider sensor located in a direction in which the vehicle is moving backward
Parking assistant.
제1항에 있어서, 상기 차량의 후방영상을 디스플레이하는 단계는
상기 차량과 상기 장애물과의 거리에 따라 알람을 출력하는 단계를 포함하는 것
인 주차 보조 방법.
The method of claim 1, wherein displaying the rear image of the vehicle further comprises:
And outputting an alarm according to the distance between the vehicle and the obstacle
Parking assistant.
차량의 후방에 대한 영상정보를 획득하는 카메라센서;
상기 차량의 후방에 위치한 물체의 위치정보, 상기 물체까지의 거리정보를 획득하는 라이더센서; 및
상기 라이더센서를 통해 획득한 정보에 기초하여 상기 영상정보 내 좌표를 3차원 좌표로 변환하고, 상기 3차원 좌표에 기초하여 상기 영상정보 내에 위치한 장애물을 인식하는 제어부
를 포함하는 주차 보조 시스템.
A camera sensor for acquiring image information about the rear of the vehicle;
A rider sensor for acquiring positional information of an object located behind the vehicle and distance information to the object; And
A controller for converting coordinates in the image information into three-dimensional coordinates based on information obtained through the rider sensor, and recognizing an obstacle located in the image information based on the three-
And a parking assist system.
제7항에 있어서, 상기 제어부는
상기 3차원 좌표의 깊이정보를 확인하여 상기 깊이정보가 낮은 영역을 관심영역으로 설정하고, 상기 관심영역의 높이정보와 넓이정보를 확인하여 상기 관심영역에 장애물이 위치하는지 여부를 확인하는 것
인 주차 보조 시스템.
8. The apparatus of claim 7, wherein the control unit
Dimensional coordinates to determine an area having a low depth information as an area of interest and checking height information and area information of the area of interest to check whether an obstacle is located in the area of interest
In parking assist system.
제7항에 있어서, 상기 제어부는
상기 영상정보 내에 위치하는 것으로 인식된 장애물에 상기 차량이 근접하면 알람을 출력하는 것
인 주차 보조 시스템.
8. The apparatus of claim 7, wherein the control unit
And outputting an alarm when the vehicle approaches the obstacle recognized as being located in the image information
In parking assist system.
제7항에 있어서, 상기 라이더센서는
상기 차량의 기어정보 및 조향각정보를 수신하여 상기 라이더센서가 위치한 방향으로 상기 차량이 후진하면 작동하는 것
인 주차 보조 시스템.
8. The apparatus of claim 7, wherein the rider sensor
Receiving the gear information and the steering angle information of the vehicle and operating the vehicle when the vehicle is backward in the direction in which the rider sensor is located
In parking assist system.
KR1020130133612A 2013-11-05 2013-11-05 Parking Guide System and the Method KR20150051735A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130133612A KR20150051735A (en) 2013-11-05 2013-11-05 Parking Guide System and the Method
CN201410317471.5A CN104608692B (en) 2013-11-05 2014-07-04 Parking auxiliary system and the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130133612A KR20150051735A (en) 2013-11-05 2013-11-05 Parking Guide System and the Method

Publications (1)

Publication Number Publication Date
KR20150051735A true KR20150051735A (en) 2015-05-13

Family

ID=53143418

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130133612A KR20150051735A (en) 2013-11-05 2013-11-05 Parking Guide System and the Method

Country Status (2)

Country Link
KR (1) KR20150051735A (en)
CN (1) CN104608692B (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107571862A (en) * 2016-07-05 2018-01-12 奥迪股份公司 Park auxiliary equipment and method
KR20180011663A (en) 2016-07-25 2018-02-02 송영우 Backward driving assistant system
CN109239720A (en) * 2018-10-18 2019-01-18 清华大学苏州汽车研究院（吴江） A kind of Intelligent Laser radar installations, system and its data processing method
CN109733284A (en) * 2019-02-19 2019-05-10 广州小鹏汽车科技有限公司 A kind of safety applied to vehicle, which is parked, assists method for early warning and system
CN109766757A (en) * 2018-12-11 2019-05-17 惠州市德赛西威汽车电子股份有限公司 A kind of parking position high-precision locating method and system merging vehicle and visual information
CN109895763A (en) * 2018-05-17 2019-06-18 华为技术有限公司 Parking space's detection method and terminal based on ultrasonic radar
KR20190074769A (en) * 2017-12-20 2019-06-28 주식회사 에스오에스랩 Apparatus for Light Detection and Ranging
US10366541B2 (en) 2017-07-21 2019-07-30 Ford Global Technologies, Llc Vehicle backup safety mapping
KR20200040153A (en) * 2018-10-08 2020-04-17 주식회사 만도 Back Warning Apparatus, Method thereof and Control System
KR102103944B1 (en) * 2019-05-23 2020-04-23 주식회사 모빌테크 Distance and position estimation method of autonomous vehicle using mono camera
CN111474559A (en) * 2016-04-28 2020-07-31 金元浩 Laser radar backing auxiliary system and method thereof
US11579254B2 (en) 2017-08-02 2023-02-14 SOS Lab co., Ltd Multi-channel lidar sensor module

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105857182A (en) * 2016-05-19 2016-08-17 奇瑞汽车股份有限公司 Electric vehicle
KR20170133743A (en) * 2016-05-26 2017-12-06 현대자동차주식회사 Vehicle control system based on user input and method thereof
JP6318204B2 (en) * 2016-08-31 2018-04-25 本田技研工業株式会社 Parking exit support device
CN106601076B (en) * 2016-11-11 2019-06-18 长安大学 A kind of automobile self training device and method based on inertial navigation and area array cameras
WO2018120470A1 (en) * 2016-12-30 2018-07-05 华为技术有限公司 Image processing method for use when reversing vehicles and relevant equipment therefor
WO2018195857A1 (en) 2017-04-27 2018-11-01 深圳市大疆创新科技有限公司 Method and device for controlling unmanned aerial vehicle, and method and device for prompting regarding obstacle
CN108171107A (en) * 2017-11-25 2018-06-15 深圳市元征科技股份有限公司 A kind of image-recognizing method and device
CN108569281B (en) * 2018-02-27 2020-12-11 蔚来(安徽)控股有限公司 System and method for automatically parking vehicle from narrow side parking space and electric vehicle
CN109131085A (en) * 2018-10-12 2019-01-04 清华大学苏州汽车研究院（吴江） A kind of reversing aid system
CN109624852A (en) * 2018-11-30 2019-04-16 北京长城华冠汽车科技股份有限公司 A kind of display methods and device of installed video
CN109709593A (en) * 2018-12-28 2019-05-03 国汽(北京)智能网联汽车研究院有限公司 Join automobile mounted terminal platform based on " cloud-end " tightly coupled intelligent network
CN110077320B (en) * 2019-04-11 2021-01-19 爱驰汽车有限公司 Reversing method and device based on radar
CN110979234A (en) * 2019-12-25 2020-04-10 宜宾凯翼汽车有限公司 Auxiliary reversing reminding system and method
CN113734048A (en) * 2020-05-29 2021-12-03 广州汽车集团股份有限公司 Backing warning method and device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8704887B2 (en) * 2010-12-02 2014-04-22 GM Global Technology Operations LLC Multi-object appearance-enhanced fusion of camera and range sensor data
KR20140006462A (en) * 2012-07-05 2014-01-16 현대모비스 주식회사 Apparatus and method for assisting safe driving
CN102815267B (en) * 2012-07-30 2015-09-23 江西好帮手电子科技有限公司 A kind of line holographic projections reverse image method and system thereof
CN102774325B (en) * 2012-07-31 2014-12-10 西安交通大学 Rearview reversing auxiliary system and method for forming rearview obstacle images
CN103559791B (en) * 2013-10-31 2015-11-18 北京联合大学 A kind of vehicle checking method merging radar and ccd video camera signal

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111474559A (en) * 2016-04-28 2020-07-31 金元浩 Laser radar backing auxiliary system and method thereof
CN107571862A (en) * 2016-07-05 2018-01-12 奥迪股份公司 Park auxiliary equipment and method
KR20180011663A (en) 2016-07-25 2018-02-02 송영우 Backward driving assistant system
US10366541B2 (en) 2017-07-21 2019-07-30 Ford Global Technologies, Llc Vehicle backup safety mapping
US11579254B2 (en) 2017-08-02 2023-02-14 SOS Lab co., Ltd Multi-channel lidar sensor module
KR20190074769A (en) * 2017-12-20 2019-06-28 주식회사 에스오에스랩 Apparatus for Light Detection and Ranging
CN109895763A (en) * 2018-05-17 2019-06-18 华为技术有限公司 Parking space's detection method and terminal based on ultrasonic radar
KR20200040153A (en) * 2018-10-08 2020-04-17 주식회사 만도 Back Warning Apparatus, Method thereof and Control System
CN109239720A (en) * 2018-10-18 2019-01-18 清华大学苏州汽车研究院（吴江） A kind of Intelligent Laser radar installations, system and its data processing method
CN109766757A (en) * 2018-12-11 2019-05-17 惠州市德赛西威汽车电子股份有限公司 A kind of parking position high-precision locating method and system merging vehicle and visual information
CN109766757B (en) * 2018-12-11 2023-09-01 惠州市德赛西威汽车电子股份有限公司 Parking space high-precision positioning method and system integrating vehicle and visual information
CN109733284A (en) * 2019-02-19 2019-05-10 广州小鹏汽车科技有限公司 A kind of safety applied to vehicle, which is parked, assists method for early warning and system
CN109733284B (en) * 2019-02-19 2021-10-08 广州小鹏汽车科技有限公司 Safe parking auxiliary early warning method and system applied to vehicle
WO2020235734A1 (en) * 2019-05-23 2020-11-26 주식회사 모빌테크 Method for estimating distance to and location of autonomous vehicle by using mono camera
KR102103944B1 (en) * 2019-05-23 2020-04-23 주식회사 모빌테크 Distance and position estimation method of autonomous vehicle using mono camera

Also Published As

Publication number Publication date
CN104608692A (en) 2015-05-13
CN104608692B (en) 2017-04-12

Similar Documents

Publication Publication Date Title
KR20150051735A (en) Parking Guide System and the Method
CN109017570B (en) Vehicle surrounding scene presenting method and device and vehicle
US10163016B2 (en) Parking space detection method and device
US8320628B2 (en) Method and system for assisting driver
JP4420011B2 (en) Object detection device
WO2019044185A1 (en) Video output device, video generation program, and non-transitory tangible computer-readable medium
KR101864896B1 (en) Method of capturing the surroundings of a vehicle
JP2008201178A (en) Parking assist device
KR20060021922A (en) Two camera based obstacle detection method and device
JP4948338B2 (en) Inter-vehicle distance measuring device
JP2022502642A (en) How to evaluate the effect of objects around the means of transportation on the driving operation of the means of transportation
KR101721442B1 (en) Avoiding Collision Systemn using Blackbox Rear Camera for vehicle and Method thereof
KR20130072709A (en) A parking assist system which based on technical composition of image recognition and supersonic sensor
KR101558586B1 (en) Device and method for display image around a vehicle
JP2009276906A (en) Travelling information providing device
JP2009186301A (en) Object detection device for vehicle
JP2004221871A (en) Device for monitoring periphery of vehicle
KR20160133386A (en) Method of Avoiding Collision Systemn using Blackbox Rear Camera for vehicle
JP6455380B2 (en) Vehicle driving support device and driving support method
US11794809B1 (en) Vehicle and trailer wheel path collision detection and alert
US10789850B2 (en) Obstacle detection device, driving assistance system, and obstacle detection method
WO2008037473A1 (en) Park assist system visually marking up dangerous objects
JP2007286873A (en) On-vehicle surrounding vehicle detector
JP2010148058A (en) Device and method for driving support
JP7034231B1 (en) Vehicle position detection device and vehicle position detection method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination