KR102135900B1 - Apparatus and Method for Assisting Parking - Google Patents

Apparatus and Method for Assisting Parking Download PDF

Info

Publication number
KR102135900B1
KR102135900B1 KR1020130146741A KR20130146741A KR102135900B1 KR 102135900 B1 KR102135900 B1 KR 102135900B1 KR 1020130146741 A KR1020130146741 A KR 1020130146741A KR 20130146741 A KR20130146741 A KR 20130146741A KR 102135900 B1 KR102135900 B1 KR 102135900B1
Authority
KR
South Korea
Prior art keywords
cameras
images
rotated
screen
image
Prior art date
Application number
KR1020130146741A
Other languages
Korean (ko)
Other versions
KR20150062277A (en
Inventor
주혜령
Original Assignee
현대모비스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스(주) filed Critical 현대모비스(주)
Priority to KR1020130146741A priority Critical patent/KR102135900B1/en
Priority to CN201410610869.8A priority patent/CN104670092B/en
Publication of KR20150062277A publication Critical patent/KR20150062277A/en
Application granted granted Critical
Publication of KR102135900B1 publication Critical patent/KR102135900B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 주차 보조 장치 및 방법에 대한 것으로, 특히 영상 기반 주차 지원 시스템에서 움직이는 객체를 검출하여 주차하는 과정에서 발생할 수 있는 충돌을 미연에 방지할 수 있는 주차 보조 장치 및 그 방법에 대한 것이다.
본 발명의 일 실시 예에 따른 주차 보조 방법은 차량의 스티어링 휠의 움직임이 감지되는 경우 상기 휠의 움직임 이전에 하나 이상의 카메라들로부터 촬영된 제1 영상들을 제공받아 미리 저장하는 단계, 상기 휠의 움직임 각도에 근거하여 주차 가이드 라인을 생성하는 단계, 상기 제1 영상들의 적어도 일부의 원본 영상과 상기 주차 가이드 라인을 합성한 제1 화면을 표시하는 단계, 상기 스티어링 휠의 움직임이 감지되는 경우 상기 하나 이상의 카메라들 중 적어도 일부를 상기 휠의 움직임 각도에 상응하여 회전시키는 단계, 상기 회전된 하나 이상의 카메라들로부터 제공된 제2 영상들의 적어도 일부를 합성하는 단계, 상기 제2 영상들의 적어도 일부로부터 합성된 영상 및 상기 차량이 전진 또는 후진할 때 상기 회전된 하나 이상의 카메라들로부터 제공된 제3 영상들의 적어도 일부로부터 움직임 객체를 검출하는 단계, 그리고, 상기 회전된 하나 이상의 카메라들로부터 제공된 제3 영상들의 적어도 일부로부터 합성된 영상과 상기 검출된 움직임 객체를 합성한 제2 화면을 표시하는 단계를 포함하여 이루어진다.The present invention relates to a parking assist device and method, and in particular, to a parking assist device and method capable of preventing a collision that may occur in the process of parking by detecting a moving object in an image-based parking assist system.
A parking assistance method according to an embodiment of the present invention includes receiving and pre-storing first images captured from one or more cameras prior to the movement of the wheel when a movement of a steering wheel of a vehicle is detected, and the movement of the wheel Generating a parking guide line based on an angle, displaying a first screen in which at least a portion of the original image of the first images and the parking guide line are combined, and when the movement of the steering wheel is detected, the at least one Rotating at least some of the cameras according to the movement angle of the wheel, synthesizing at least some of the second images provided from the rotated one or more cameras, an image synthesized from at least some of the second images, and Detecting a moving object from at least some of the third images provided from the rotated one or more cameras when the vehicle moves forward or backward, and synthesizing from at least some of the third images provided from the rotated one or more cameras And displaying a second screen obtained by combining the detected image and the detected moving object.

Description

주차 보조 장치 및 방법{Apparatus and Method for Assisting Parking}Apparatus and Method for Assisting Parking}

본 발명은 주차 보조 장치 및 방법에 대한 것으로, 특히 영상 기반 주차 지원 시스템에서 움직이는 객체를 검출하여 주차하는 과정에서 발생할 수 있는 충돌을 미연에 방지할 수 있는 주차 보조 장치 및 그 방법에 대한 것이다.
The present invention relates to a parking assist device and method, and in particular, to a parking assist device and method capable of preventing a collision that may occur in the process of parking by detecting a moving object in an image-based parking assist system.

일반적으로, 차량 주차 보조 장치는 차량의 전방 및 후방에 접근 물체를 감지하고, 그 거리를 측정하여 일정거리 이내에 물체가 감지될 시 경보음을 출력하는 전후방 경보 시스템을 예로 들 수 있다.In general, the vehicle parking assist device may be an example of a front-rear warning system that detects an approaching object at the front and rear of a vehicle, measures the distance, and outputs an alarm sound when an object is detected within a predetermined distance.

이러한 종래의 주차보조시스템은 전방 및 후방의 초음파 센서를 이용하여 전방 및 후방에 위치하는 물체를 감지하기 때문에 전방 또는 후방의 공간에 주차 시에 아무런 문제가 없는 물건 등이 놓여 있는 경우나 센서의 측정 반경에 벗어나 있는 첨예한 물건 등에 대하여 오판하는 문제가 빈번히 발생한다.Since such a conventional parking assistance system detects objects located in the front and rear using the front and rear ultrasonic sensors, there is no problem when parking in the front or rear space, or the measurement of the sensor. The problem of misjudgement occurs frequently for sharp objects that are out of radius.

또한, 이러한 종래의 문제점을 해결하고자 차량의 후방에 카메라를 설치하여 후진 시 운전자에게 후방영상을 제공하여 주차 시 참고도록 하는 기술이 제안되어 있다.In addition, in order to solve such a conventional problem, a technology has been proposed in which a camera is installed at the rear of a vehicle to provide a rear image to the driver when reversing to refer to it when parking.

그러나, 이러한 종래의 전후방 센서나 후방 카메라 등을 채용한 주차보조 시스템들은 단지 전후방의 물체를 감지하여 경보하여 주거나 후방의 화면만을 제공함으로써 운전자에게 주차에 필요한 주차공간으로 안내하는 기능이 전혀 없다.However, such conventional parking assistance systems employing front and rear sensors or rear cameras do not have a function of guiding the driver to a parking space required for parking by only detecting and alarming objects in the front and rear, or by providing only the rear screen.

따라서, 갈수록 주차공간이 부족해지고 운전자들에게 고난이도의 주차기술을 요하는 현재 및 미래의 상황에서 운전자들이 바르고 정확한 주차를 쉽고 빠르게 수행할 수 있도록 실질적으로 주차를 보조할 수 있는 기술이 요망된다Therefore, there is a need for a technology that can substantially assist parking so that drivers can perform correct and accurate parking easily and quickly in current and future situations where parking spaces are becoming scarce and drivers require high-level parking technology.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 상용하는 영상기반 주차지원시스템(PGS)에 움직이는 객체 검출 알고리즘을 결합하여 주차보조기능 외에 스티어링 휠 각도에 따라 장착된 카메라를 회전하여 운전자가 주차하려는 방향의 와이드 영상에서 움직이는 객체를 검출하여 차량의 전, 후방 외에 좌, 우측 영역의 움직이는 객체와의 충돌을 미연에 방지하고자 하는 것이다.The present invention has been devised to solve the above problems, and by combining a moving object detection algorithm with a commercially available image-based parking assistance system (PGS), the driver can rotate the camera mounted according to the steering wheel angle in addition to the parking assist function. This is to prevent collisions with moving objects in the left and right areas in addition to the front and rear of the vehicle by detecting moving objects in the wide image of the direction to be parked.

상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 주차 보조 방법은 차량의 스티어링 휠의 움직임 이전에 하나 이상의 카메라들로부터 촬영된 제1 영상들을 제공받아 미리 저장하는 단계, 상기 휠의 움직임 각도에 근거하여 주차 가이드 라인을 생성하는 단계, 상기 제1 영상들의 적어도 일부의 원본 영상과 상기 주차 가이드 라인을 합성한 제1 화면을 표시하는 단계, 상기 스티어링 휠의 움직임이 감지되는 경우 상기 하나 이상의 카메라들 중 적어도 일부를 상기 휠의 움직임 각도에 상응하여 회전시키는 단계, 상기 회전된 하나 이상의 카메라들로부터 제공된 제2 영상들의 적어도 일부를 합성하는 단계, 상기 제2 영상들의 적어도 일부로부터 합성된 영상 및 상기 차량이 전진 또는 후진할 때 상기 회전된 하나 이상의 카메라들로부터 제공된 제3 영상들의 적어도 일부로부터 움직임 객체를 검출하는 단계, 그리고, 상기 회전된 하나 이상의 카메라들로부터 제공된 제3 영상들의 적어도 일부로부터 합성된 영상과 상기 검출된 움직임 객체를 합성한 제2 화면을 표시하는 단계를 포함하여 이루어진다.A parking assistance method according to an embodiment of the present invention for achieving the above object includes receiving and pre-storing first images captured from one or more cameras prior to the movement of the steering wheel of the vehicle, and storing in advance the movement angle of the wheel. Generating a parking guide line based on, displaying a first screen in which the original image of at least a portion of the first images and the parking guide line are combined, and the one or more cameras when movement of the steering wheel is detected Rotating at least a portion of the wheel according to a movement angle of the wheel, synthesizing at least a portion of second images provided from the rotated one or more cameras, an image synthesized from at least a portion of the second images and the vehicle Detecting a moving object from at least a portion of the third images provided from the rotated one or more cameras when moving forward or backward, and an image synthesized from at least some of the third images provided from the rotated one or more cameras And displaying a second screen obtained by synthesizing the detected moving object.

본 발명의 다양한 실시 예에 따르면, 본 발명은 기존 주차보조 시스템에 움직이는 객체 검출 알고리즘을 결합하여 주차 보조 시스템에서 원거리 때문에 검출하지 못하는 움직이는 객체를 검출할 수 있는 효과가 있다.According to various embodiments of the present invention, by combining a moving object detection algorithm with an existing parking assistance system, the parking assistance system can detect a moving object that cannot be detected due to a long distance.

또한, 운전자 주차 시 움직임 객체 검출을 성공하여 미리 사용자에게 알람을 해 줌으로써 차량 또는 인명 사고위험을 줄이고 이를 미연에 방지할 수 있는 효과가 있다.In addition, it is possible to reduce the risk of vehicle or human accidents and prevent this by successfully detecting a moving object when the driver is parked and giving an alarm to the user in advance.

도 1은 본 발명의 바람직한 일 실시 예에 따른 주차 보조 시스템 상에서 주차 보조 화면을 표시하는 과정 및 알림 신호를 출력하는 과정을 도시한 흐름도 및 블록도이다.
도 2는 본 발명의 바람직한 일 실시 예에 따른 주차 보조 시스템 상에서 주차 보조 화면을 표시하는 상세 과정을 도시한 흐름도이다.
도 3은 본 발명의 바람직한 일 실시 예에 따른 전방 및 후방 와이드 뷰 합성 화면의 예들을 도시한 도면이다.
도 4는 본 발명의 바람직한 일 실시 예에 따른 움직이는 물체 검출 방법을 도시한 흐름도이다.
도 5는 본 발명의 바람직한 일 실시 예에 따른 주차 보조 영상과 움직임 객체 검출 영상을 동시에 표시하는 예를 도시한 도면이다.1 is a flowchart and a block diagram illustrating a process of displaying a parking assistance screen and outputting a notification signal on a parking assistance system according to an exemplary embodiment of the present invention.
2 is a flowchart illustrating a detailed process of displaying a parking assistance screen on a parking assistance system according to an exemplary embodiment of the present invention.
3 is a diagram illustrating examples of a front and rear wide view composite screen according to an embodiment of the present invention.
4 is a flowchart illustrating a method of detecting a moving object according to an exemplary embodiment of the present invention.
5 is a diagram illustrating an example of simultaneously displaying a parking assist image and a moving object detection image according to an exemplary embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, only these embodiments are intended to complete the disclosure of the present invention, and those skilled in the art to which the present invention pertains. It is provided to fully inform the person of the scope of the invention, and the invention is only defined by the scope of the claims. On the other hand, terms used in the present specification are for describing exemplary embodiments and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification, "comprises" and/or "comprising" refers to the presence of one or more other components, steps, operations and/or elements in which the recited component, step, operation and/or element is Or does not exclude additions.

도 1은 본 발명의 바람직한 일 실시 예에 따른 주차 보조 시스템 상에서 주차 보조 화면을 표시하는 과정 및 알림 신호를 출력하는 과정을 도시한 흐름도 및 블록도이다.1 is a flowchart and a block diagram illustrating a process of displaying a parking assistance screen and outputting a notification signal on a parking assistance system according to an exemplary embodiment of the present invention.

도 1을 참조하면, 차량의 스티어링 휠의 움직임 이전에 하나 이상의 카메라들로부터 제1 영상들을 미리 촬영하여 저장한다. (S10)Referring to FIG. 1, first images are pre-photographed and stored from one or more cameras before a steering wheel of a vehicle moves. (S10)

상기 휠의 움직임 각도에 근거하여 주차 가이드 라인을 생성한다. 상기 제1 영상들의 적어도 일부의 원본 영상과 상기 주차 가이드 라인을 합성한 제1 화면을 표시한다. (S16, S17)A parking guide line is generated based on the wheel movement angle. A first screen in which at least some of the original images of the first images and the parking guide line are combined is displayed. (S16, S17)

상기 스티어링 휠의 움직임이 감지되는 경우 상기 하나 이상의 카메라들 중 적어도 일부를 상기 휠의 움직임 각도에 상응하여 회전시킨다. (S11)When the movement of the steering wheel is detected, at least some of the one or more cameras are rotated according to the movement angle of the wheel. (S11)

상기 회전된 하나 이상의 카메라들로부터 제공된 제2 영상들의 적어도 일부를 합성한다. (S12, S13)At least some of the second images provided from the rotated one or more cameras are synthesized. (S12, S13)

상기 차량이 전진하는 경우, 전방 카메라, 좌/우 카메라들을 회전시키고, 해당 회전 카메라들로부터 제공된 영상들을 합성한다. (S12)When the vehicle advances, the front camera and left/right cameras are rotated, and images provided from the rotation cameras are synthesized. (S12)

상기 차량이 후진하는 경우, 후방 카메라, 좌/우 카메라들을 회전시키고, 해당 회전 카메라들로부터 제공된 영상들을 합성한다. (S13)When the vehicle moves backward, the rear camera and left/right cameras are rotated, and images provided from the rotation cameras are synthesized. (S13)

상기 제2 영상들의 적어도 일부로부터 합성된 영상 및 상기 차량이 전진 또는 후진할 때 상기 회전된 하나 이상의 카메라들로부터 제공된 제3 영상들의 적어도 일부로부터 움직임 객체를 검출한다. (S14, S15)A moving object is detected from an image synthesized from at least a portion of the second images and from at least a portion of the third images provided from the rotated one or more cameras when the vehicle moves forward or backward. (S14, S15)

상기 움직임 객체를 검출할 때, 상기 제2 영상들의 적어도 일부로부터 합성된 영상 및 상기 차량이 전진 또는 후진할 때 상기 하나 이상의 카메라들로부터 제공된 제3 영상들의 적어도 일부의 영상의 차영상이 임계치 이상일 때, 움직임 객체가 있는 것으로 판단한다. 그러나, 상기 차영상이 임계치 미만일 때, 움직임 객체가 없는 것으로 판단한다.When detecting the moving object, an image synthesized from at least a portion of the second images and a difference image between an image of at least a portion of the third images provided from the one or more cameras when the vehicle moves forward or backward is greater than or equal to a threshold , It is determined that there is a moving object. However, when the difference image is less than the threshold, it is determined that there is no moving object.

상기 차량이 전진하는 경우, 전방 카메라, 좌/우 카메라들을 회전시키고, 해당 회전 카메라들로부터 제공된 영상들을 합성한 화면으로부터 움직임 객체를 검출한다. (S14)When the vehicle advances, the front camera and left/right cameras are rotated, and a moving object is detected from a screen obtained by synthesizing images provided from the rotation cameras. (S14)

상기 차량이 후진하는 경우, 후방 카메라, 좌/우 카메라들을 회전시키고, 해당 회전 카메라들로부터 제공된 영상들을 합성한 화면으로부터 움직임 객체를 검출한다. (S15)When the vehicle moves backward, the rear camera and left/right cameras are rotated, and a moving object is detected from a screen obtained by synthesizing images provided from the rotation cameras. (S15)

상기 회전된 하나 이상의 카메라들로부터 제공된 제3 영상들의 적어도 일부로부터 합성된 영상과 상기 검출된 움직임 객체를 합성한 제2 화면을 표시한다. (S17)A second screen is displayed in which an image synthesized from at least some of the third images provided from the rotated one or more cameras and the detected moving object are synthesized. (S17)

상기 제2 화면에서 상기 하나 이상의 카메라들로부터 제공된 제3 영상들의 적어도 일부로부터 합성된 영상은 와이드 뷰로써 표시한다.An image synthesized from at least some of the third images provided from the one or more cameras on the second screen is displayed as a wide view.

바람직하게, 상기 제1 화면과 상기 제2 화면은 하나의 화면에 표시한다.Preferably, the first screen and the second screen are displayed on one screen.

이와 같은 과정을 이용하여 본 발명의 주차 보조 장치는 스티어링 휠(10)과, 상기 스티어링 휠(10)의 움직임 이전에 하나 이상의 카메라들(11)로부터 촬영된 제1 영상들을 제공받아 미리 저장하는 메모리(미도시), 상기 스티어링 휠(10)의 움직임이 감지되는 경우 적어도 일부가 상기 휠(10)의 움직임 각도에 상응하여 회전하는 하나 이상의 카메라들(11), 상기 휠(10)의 움직임 각도에 근거하여 주차 가이드 라인을 생성하고, 상기 제1 영상들의 적어도 일부의 원본 영상과 상기 주차 가이드 라인을 합성한 제1 화면을 표시하도록 제어하고, 상기 회전된 하나 이상의 카메라들로부터 제공된 제2 영상들의 적어도 일부를 합성하고, 상기 제2 영상들의 적어도 일부로부터 합성된 영상 및 상기 차량이 전진 또는 후진할 때 상기 회전된 하나 이상의 카메라들(11)로부터 제공된 제3 영상들의 적어도 일부로부터 움직임 객체를 검출하고, 상기 회전된 하나 이상의 카메라들(11)로부터 제공된 제3 영상들의 적어도 일부로부터 합성된 영상과 상기 검출된 움직임 객체를 합성한 제2 화면을 표시하도록 제어하는 주차 제어부(12), 그리고, 상기 제1 화면과 상기 제2 화면을 하나의 화면에 표시하는 표시부(13)를 포함하여 구성된다.Using such a process, the parking assist device of the present invention receives and stores first images taken from one or more cameras 11 before the steering wheel 10 and the steering wheel 10 move. (Not shown), when a movement of the steering wheel 10 is detected, at least a part of the camera 11 rotates according to the movement angle of the wheel 10, and the movement angle of the wheel 10 Based on the generated parking guide line, controlling to display a first screen in which at least a portion of the original image of the first images and the parking guide line are combined, and at least of second images provided from the rotated one or more cameras A moving object is detected from an image synthesized from at least a portion of the second images and from at least a portion of the third images provided from the rotated one or more cameras 11 when the vehicle is moving forward or backward, A parking control unit 12 for controlling to display a second screen in which an image synthesized from at least a portion of the third images provided from the rotated one or more cameras 11 and the detected moving object are synthesized, and the first And a display unit 13 that displays a screen and the second screen on one screen.

도 2는 본 발명의 바람직한 일 실시 예에 따른 주차 보조 시스템 상에서 주차 보조 화면을 표시하는 상세 과정을 도시한 흐름도이다.2 is a flowchart illustrating a detailed process of displaying a parking assistance screen on a parking assistance system according to an exemplary embodiment of the present invention.

도 2를 참조하면, 차량에 설치된 스티어링 휠 각도가 변함에 따라 다음과 같은 두 가지가 변한다. (S20)Referring to FIG. 2, as the angle of the steering wheel installed in the vehicle changes, the following two things change. (S20)

PGS 가이드라인이 스티어링 휠 각도에 따라 업데이트 된다. (S24, S27)The PGS guidelines are updated according to the steering wheel angle. (S24, S27)

전, 후방 및 좌, 우측 카메라의 장착이 스티어링 휠 각도에 따라 회전한다. (S21~S23)Front, rear and left and right cameras are mounted according to the steering wheel angle. (S21~S23)

운전자의 주차보조에 혼란을 주지 않게 하기 위하여 PGS 가이드라인 업데이트후 스티어링 휠 각도가 0°일때의 전, 후방 원본 영상에 가이드라인을 표시하여 디스플레이해야 한다. (S32)In order not to confuse the driver's parking assistance, the guideline should be displayed and displayed on the original image before and after the steering wheel angle is 0° after updating the PGS guideline. (S32)

이를 위해, 스티어링 휠 각도가 0°일때 즉 스티어링 휠을 회전하지 않았을 때의 전방(후방) 영상을 미리 저장한다.To this end, the front (rear) image when the steering wheel angle is 0°, that is, when the steering wheel is not rotated, is stored in advance.

주차보조를 위한 모니터 출력영상은 스티어링 휠 각도가 0°일때의 영상이다. The monitor output image for parking assistance is the image when the steering wheel angle is 0°.

즉, 운전자에게 주차하기 전 차량의 현위치에서 보여지는 실제 전(후)방 영상을 출력하여 영상에 스티어링 휠 각도에 따른 가이드라인을 표시하여 주차가이드를 진행해야 한다.In other words, it is necessary to output the actual front (rear) image displayed at the current position of the vehicle to the driver before parking and display a guideline according to the steering wheel angle on the image to proceed with the parking guide.

주차를 위해 전, 후진 전에 미리 움직이는 객체를 검출하기 위해서는 전, 후방 및 좌, 우측 카메라 영상이 스티어링 휠 각도에 따라 업데이트 된 후 전방와이드(전방+좌, 우측) 및 후방와이드(후방 + 좌, 우측) 영상에서 움직이는 객체를 검출한다. 즉 주차하려고 하는 방향에 위치한 움직임 객체를 미리 검출하기 위해서이다. (S30, S31)To detect moving objects before and after moving forward for parking, the front, rear, left and right camera images are updated according to the steering wheel angle, and then the front wide (front + left, right) and rear wide (rear + left, right) images are updated. ) Detect moving objects in the image. That is, to detect in advance a moving object located in the direction to be parked. (S30, S31)

주차하려는 방향의 움직임 객체를 검출할 때 운전자에게 차량의 전방뿐만 아니라 좌, 우측방향의 영역에서 움직이는 객체와의 충돌 알람을 주기 위하여 전방합성 와이드 뷰 및 후방합성 와이드 뷰 영상을 만든다.When detecting a moving object in the direction to be parked, the front composite wide view and rear composite wide view images are created to give the driver a collision alarm with objects moving in the left and right areas as well as in the front of the vehicle.

전방 합성영상은 스티어링 휠 각도에 대응하게 회전된 전방, 좌측, 우측 카메라로부터 얻은 영상을 합성하여 운전자가 전진 주차하려는 방향의 전방 와이드 뷰를 합성한다. (S25, S28)The front composite image synthesizes images obtained from the front, left, and right cameras rotated corresponding to the steering wheel angle to synthesize the front wide view in the direction the driver intends to park forward. (S25, S28)

후방 합성영상은 스티어링 휠 각도에 대응하게 회전된 후방, 좌측, 우측 카메라로부터 얻은 영상을 합성하여 운전자가 후진 주차하려는 방향의 후방 와이드 뷰를 합성한다. (S26, S29)The rear composite image synthesizes images obtained from the rear, left, and right cameras rotated corresponding to the steering wheel angle to synthesize the rear wide view in the direction the driver intends to park backward. (S26, S29)

도 3은 본 발명의 바람직한 일 실시 예에 따른 전방 및 후방 와이드 뷰 합성 화면의 예들을 도시한 도면이다.3 is a diagram illustrating examples of a front and rear wide view composite screen according to an embodiment of the present invention.

도 3을 참조하면, 전방 합성영상은 스티어링 휠 각도에 대응하게 회전된 전방, 좌측, 우측 카메라로부터 얻은 영상을 합성하여 운전자가 전진 주차하려는 방향의 전방 와이드 뷰를 합성한다.Referring to FIG. 3, the front composite image synthesizes images obtained from the front, left, and right cameras rotated corresponding to the steering wheel angle to synthesize the front wide view in the direction in which the driver intends to park forward.

후방 합성영상은 스티어링 휠 각도에 대응하게 회전된 후방, 좌측, 우측 카메라로부터 얻은 영상을 합성하여 운전자가 후진 주차하려는 방향의 후방 와이드 뷰를 합성한다.The rear composite image synthesizes images obtained from the rear, left, and right cameras rotated corresponding to the steering wheel angle to synthesize the rear wide view in the direction the driver intends to park backward.

도 4는 본 발명의 바람직한 일 실시 예에 따른 움직이는 물체 검출 방법을 도시한 흐름도이다.4 is a flowchart illustrating a method of detecting a moving object according to an exemplary embodiment of the present invention.

도 4를 참조하면, 운전자가 스티어링 휠을 회전한 다음부터(S40) 전진(혹은 후진)시작(S43)까지 일정한 시간을 가지게 된다. 그러므로, 카메라가 회전된 시점의 합성영상 Mt와 전진(혹은 후진)을 시작할 때의 합성영상 Mt+1의 차영상으로 충분히 움직이는 물체를 검출 할 수 있다.Referring to FIG. 4, after the driver rotates the steering wheel (S40) to the start (S43) of the forward (or backward) period has a certain time. Therefore, a sufficiently moving object can be detected by the difference between the composite image Mt at the time the camera is rotated and the composite image Mt+1 at the start of forward (or backward).

두 시각의 합성영상 Mt+1과 Mt의 같은 영역(N x N )에 대하여 차영상 σ을 구한다.(S44)The difference image σ is calculated for the same area (N x N) of the composite image Mt+1 and Mt of the two views (S44).

전방(후방)합성영상 화면에 움직이는 객체가 존재하는 경우 임계값 δ 보다 큰 차영상을 가지는 N x N 영역이 1개 이상 존재한다. (S47)When there is a moving object on the front (rear) composite image screen, there is at least one N x N area having a difference image greater than the threshold value δ. (S47)

전방(후방)합성영상 화면에 움직이는 객체가 존재하지 않는 경우 임계값 δ 보다 큰 차영상을 가지는 N x N 영역이 존재하지 않는다. (S46)When there is no moving object on the front (rear) composite image screen, there is no N x N area having a difference image greater than the threshold value δ. (S46)

최종 디스플레이의 기본 화면은 모니터 화면을 이분할 하여 좌측은 주차보조 영상(PGS가이드라인 표시)을, 우측은 움직임 객체 검출 영상을 표기한다.The basic screen of the final display divides the monitor screen into two, and the left side shows the parking assist image (PGS guideline display) and the right side shows the moving object detection image.

도 5는 본 발명의 바람직한 일 실시 예에 따른 주차 보조 영상과 움직임 객체 검출 영상을 동시에 표시하는 예를 도시한 도면이다.5 is a diagram illustrating an example of simultaneously displaying a parking assist image and a moving object detection image according to an exemplary embodiment of the present invention.

도 5를 참조하면, 주차보조 영상과 움직임 객체 검출 영상을 한 개 화면의 좌, 우측에 배치하여 운전자에게 주차보조와 동시에 움직임 객체 검출결과를 동시에 보여준다.Referring to FIG. 5, a parking assist image and a moving object detection image are arranged on the left and right sides of one screen to simultaneously display the parking assist and the motion object detection result to the driver.

화면좌측의 주차보조 영상은 자동차의 현시점에서의(휠 각도가 0°) 전방 또는 후방 원영상에 스티어링 휠 각도에 대응되는 PGS가이드라인을 표시한 영상이다.The parking assist image on the left side of the screen is an image showing the PGS guideline corresponding to the steering wheel angle on the front or rear original image at the current point of the car (wheel angle is 0°).

화면의 우측은 전방 또는 후방 와이드뷰 합성영상(전방+좌+우측영상 또는 후방+좌+우측영상)에 움직임 객체 결과를 표시한 영상이다.The right side of the screen is an image showing the motion object result in a front or rear wide view composite image (front + left + right image or rear + left + right image).

전방 또는 후방화면에서만 움직임 객체를 검출할 뿐만 아니라 차량의 좌우 영역에서도 움직임 객체를 검출하여 합성 와이드뷰 영상에 표시하여 운전자가 영상으로부터 쉽게 움직임 객체를 발견할 수 있다.In addition to detecting a moving object only in the front or rear screen, the moving object is detected in the left and right areas of the vehicle and displayed on the composite wide view image, so that the driver can easily find the moving object from the image.

좌측 화면은 스티어링 휠 각도가 0°일때의 영상에 스티어링 휠 각도에 대응되는 PGS 가이드라인을 디스플레이한다.The left screen displays the PGS guideline corresponding to the steering wheel angle in the image when the steering wheel angle is 0°.

우측 화면은 스티어링 휠 각도에 따라 회전된 합성영상과 그 영상에서 검출한 움직이는 객체를 디스플레이 한다.The right screen displays a composite image rotated according to the steering wheel angle and a moving object detected from the image.

각 화면의 캡션끝에 현재 스티어링 휠 각도를 표시하여 운전자에게 알린다.The current steering wheel angle is displayed at the end of each screen caption to inform the driver.

운전자가 모니터를 확인하지 못한 것을 대비하여 소리 및 시트벨트 진동으로 알람을 준다.It alerts the driver with sound and seat belt vibration in case the driver fails to check the monitor.

이상에서 설명한 본 발명의 실시 예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.The embodiments of the present invention described above are not implemented only through an apparatus and a method, but may be implemented through a program realizing a function corresponding to the configuration of the embodiment of the present invention or a recording medium in which the program is recorded. Implementation can be easily implemented by an expert in the technical field to which the present invention belongs from the description of the above-described embodiment.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니라, 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수 있다.The present invention described above is capable of various substitutions, modifications and changes within the scope of the technical spirit of the present invention to those of ordinary skill in the technical field to which the present invention belongs. It is not limited by the drawings, and all or some of the embodiments may be selectively combined so that various modifications may be made.

10 : 스티어링 휠
11 : 카메라들
12 : 주차 제어부
13 : 표시부10: steering wheel
11: cameras
12: parking control unit
13: display

Claims (9)

차량의 스티어링 휠의 움직임 이전에 하나 이상의 카메라들로부터 촬영되는 제1 영상들을 제공받아 미리 저장하는 단계;
상기 휠의 움직임 각도에 근거하여 주차 가이드 라인을 생성하는 단계;
상기 제1 영상들의 적어도 일부의 원본 영상과 상기 주차 가이드 라인을 합성한 제1 화면을 표시하는 단계;
상기 스티어링 휠의 움직임이 감지되는 경우 상기 하나 이상의 카메라들 중 적어도 일부를 상기 휠의 움직임 각도에 상응하여 회전시키는 단계;
상기 회전된 하나 이상의 카메라들로부터 제공된 제2 영상들의 적어도 일부를 합성하는 단계;
상기 제2 영상들의 적어도 일부로부터 합성된 영상 및 상기 차량이 전진 또는 후진할 때 상기 회전된 하나 이상의 카메라들로부터 제공된 제3 영상들의 적어도 일부로부터 움직임 객체를 검출하는 단계; 그리고,
상기 회전된 하나 이상의 카메라들로부터 제공된 제3 영상들의 적어도 일부로부터 합성된 영상과 상기 검출된 움직임 객체를 합성한 제2 화면을 표시하는 단계를 포함하여 이루어지는 것을 특징으로 하는 주차 보조 방법.Receiving first images captured from one or more cameras prior to movement of a steering wheel of the vehicle and storing in advance;
Generating a parking guide line based on the wheel movement angle;
Displaying a first screen in which the original image of at least a portion of the first images and the parking guide line are combined;
Rotating at least some of the one or more cameras according to a movement angle of the wheel when movement of the steering wheel is detected;
Synthesizing at least some of the second images provided from the one or more rotated cameras;
Detecting a moving object from an image synthesized from at least a portion of the second images and from at least a portion of third images provided from the rotated one or more cameras when the vehicle moves forward or backward; And,
And displaying a second screen in which an image synthesized from at least some of the third images provided from the rotated one or more cameras and the detected moving object are synthesized. 제 1 항에 있어서, 상기 회전시키는 단계 및 상기 합성하는 단계에서,
상기 차량이 후진하는 경우, 후방 카메라, 좌/우 카메라들을 회전시키고, 해당 회전 카메라들로부터 제공된 영상들을 합성하는 것을 특징으로 하는 주차 보조 방법.The method of claim 1, wherein in the rotating and synthesizing steps,
When the vehicle moves backward, the rear camera and the left/right cameras are rotated, and images provided from the rotation cameras are synthesized. 제 1 항에 있어서, 상기 회전시키는 단계 및 상기 합성하는 단계에서,
상기 차량이 전진하는 경우, 전방 카메라, 좌/우 카메라들을 회전시키고, 해당 회전 카메라들로부터 제공된 영상들을 합성하는 것을 특징으로 하는 주차 보조 방법.The method of claim 1, wherein in the rotating and synthesizing steps,
When the vehicle advances, the front camera and left/right cameras are rotated, and images provided from the rotation cameras are synthesized. 제 1 항에 있어서, 상기 제2 화면에서 상기 회전된 하나 이상의 카메라들로부터 제공된 제3 영상들의 적어도 일부로부터 합성된 영상은 와이드 뷰로써 표시하는 것을 특징으로 하는 주차 보조 방법.The method of claim 1, wherein an image synthesized from at least some of the third images provided from the one or more rotated cameras on the second screen is displayed as a wide view. 제 1 항에 있어서, 상기 제1 화면과 상기 제2 화면을 하나의 화면에 표시하는 것을 특징으로 하는 주차 보조 방법.The parking assist method according to claim 1, wherein the first screen and the second screen are displayed on one screen. 제 1 항에 있어서, 상기 움직임 객체를 검출하는 단계에서,
상기 제2 영상들의 적어도 일부로부터 합성된 영상 및 상기 차량이 전진 또는 후진할 때 상기 회전된 하나 이상의 카메라들로부터 제공된 제3 영상들의 적어도 일부의 영상의 차영상으로부터 움직임 객체를 검출하는 것을 특징으로 하는 주차 보조 방법.The method of claim 1, wherein in the step of detecting the moving object,
A moving object is detected from a difference image of an image synthesized from at least a portion of the second images and an image of at least a portion of the third images provided from the rotated one or more cameras when the vehicle moves forward or backward. Parking assist method. 스티어링 휠;
상기 스티어링 휠의 움직임 이전에 하나 이상의 카메라들로부터 촬영된 제1 영상들을 제공받아 미리 저장하는 메모리;
상기 스티어링 휠의 움직임이 감지되는 경우 적어도 일부가 상기 휠의 움직임 각도에 상응하여 회전하는 하나 이상의 카메라들;
상기 휠의 움직임 각도에 근거하여 주차 가이드 라인을 생성하고, 상기 제1 영상들의 적어도 일부의 원본 영상과 상기 주차 가이드 라인을 합성한 제1 화면을 표시하도록 제어하고, 상기 회전된 하나 이상의 카메라들로부터 제공된 제2 영상들의 적어도 일부를 합성하고, 상기 제2 영상들의 적어도 일부로부터 합성된 영상 및 차량이 전진 또는 후진할 때 상기 회전된 하나 이상의 카메라들로부터 제공된 제3 영상들의 적어도 일부로부터 움직임 객체를 검출하고, 상기 회전된 하나 이상의 카메라들로부터 제공된 제3 영상들의 적어도 일부로부터 합성된 영상과 상기 검출된 움직임 객체를 합성한 제2 화면을 표시하도록 제어하는 주차 보조 시스템; 그리고,
상기 제1 화면과 상기 제2 화면을 하나의 화면에 표시하는 표시부를 포함하여 구성되는 것을 특징으로 하는 주차 보조 장치.Steering wheel;
A memory that receives and stores first images captured from one or more cameras before the steering wheel moves;
One or more cameras, at least partially rotating in accordance with a movement angle of the wheel when movement of the steering wheel is detected;
A parking guide line is generated based on the angle of movement of the wheel, and a first screen obtained by synthesizing at least a portion of the original image of the first images and the parking guide line is displayed, and from the rotated one or more cameras Synthesizes at least a portion of the provided second images, and detects a moving object from an image synthesized from at least a portion of the second images and from at least a portion of the third images provided from the rotated one or more cameras when the vehicle moves forward or backward And a parking assistance system configured to display a second screen in which an image synthesized from at least a portion of third images provided from the rotated one or more cameras and the detected moving object are synthesized; And,
And a display unit for displaying the first screen and the second screen on one screen. 제 7 항에 있어서, 상기 스티어링 휠이 설치된 차량이 후진하는 경우, 후방 카메라, 좌/우 카메라들을 회전시키고, 해당 카메라들로부터 제공된 영상들을 합성하는 것을 특징으로 하는 주차 보조 장치.8. The parking assist apparatus according to claim 7, wherein when the vehicle equipped with the steering wheel moves backward, the rear camera and left/right cameras are rotated, and images provided from the corresponding cameras are synthesized. 제 7 항에 있어서, 상기 스티어링 휠이 설치된 차량이 전진하는 경우, 전방 카메라, 좌/우 카메라들을 회전시키고, 해당 카메라들로부터 제공된 영상들을 합성하는 것을 특징으로 하는 주차 보조 장치.8. The parking assistance apparatus of claim 7, wherein when the vehicle equipped with the steering wheel moves forward, the front camera and left/right cameras are rotated, and images provided from the corresponding cameras are synthesized.
KR1020130146741A 2013-11-29 2013-11-29 Apparatus and Method for Assisting Parking KR102135900B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130146741A KR102135900B1 (en) 2013-11-29 2013-11-29 Apparatus and Method for Assisting Parking
CN201410610869.8A CN104670092B (en) 2013-11-29 2014-11-04 Apparatus and method for assisting parking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130146741A KR102135900B1 (en) 2013-11-29 2013-11-29 Apparatus and Method for Assisting Parking

Publications (2)

Publication Number Publication Date
KR20150062277A KR20150062277A (en) 2015-06-08
KR102135900B1 true KR102135900B1 (en) 2020-08-26

Family

ID=53305871

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130146741A KR102135900B1 (en) 2013-11-29 2013-11-29 Apparatus and Method for Assisting Parking

Country Status (2)

Country Link
KR (1) KR102135900B1 (en)
CN (1) CN104670092B (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101953796B1 (en) * 2015-12-23 2019-03-05 에스엘 주식회사 Apparatus and method for monitoring environment of vehicle
CA3069114C (en) * 2017-07-07 2021-11-16 Nissan Motor Co., Ltd. Parking assistance method and parking assistance device
KR102473407B1 (en) * 2020-12-28 2022-12-05 삼성전기주식회사 Vehicle's svm system using tilt camera
CN114851963A (en) * 2022-06-14 2022-08-05 镁佳(北京)科技有限公司 Reversing monitoring system, method and device and electronic equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006327433A (en) 2005-05-26 2006-12-07 Aisin Aw Co Ltd Parking support method and parking support device
JP2010166196A (en) 2009-01-14 2010-07-29 Clarion Co Ltd Vehicle periphery monitoring device

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002036991A (en) * 2000-07-27 2002-02-06 Honda Motor Co Ltd Parking support device
JP4466200B2 (en) * 2004-04-19 2010-05-26 株式会社豊田自動織機 Parking assistance device
CN100400357C (en) * 2004-04-19 2008-07-09 株式会社丰田自动织机 Parking assistance apparatus
JP4818816B2 (en) * 2006-06-05 2011-11-16 富士通株式会社 Parking assistance program and parking assistance device
JP2009159241A (en) * 2007-12-26 2009-07-16 Aisin Aw Co Ltd Parking-time stop assisting system
JP4900326B2 (en) * 2008-06-10 2012-03-21 日産自動車株式会社 Parking assistance device and parking assistance method
WO2011014482A1 (en) * 2009-07-27 2011-02-03 Magna Electronics Inc. Parking assist system
JP5966394B2 (en) * 2011-02-02 2016-08-10 日産自動車株式会社 Parking assistance device
KR101329467B1 (en) * 2011-10-20 2013-11-13 엘지이노텍 주식회사 A parking assisting system
KR20130050682A (en) * 2011-11-08 2013-05-16 현대자동차주식회사 Parking guide apparatus
KR101912453B1 (en) * 2012-02-17 2018-10-26 현대모비스 주식회사 Apparatus And Method Detectinc Obstacle And Alerting Collision

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006327433A (en) 2005-05-26 2006-12-07 Aisin Aw Co Ltd Parking support method and parking support device
JP2010166196A (en) 2009-01-14 2010-07-29 Clarion Co Ltd Vehicle periphery monitoring device

Also Published As

Publication number Publication date
CN104670092B (en) 2017-04-12
KR20150062277A (en) 2015-06-08
CN104670092A (en) 2015-06-03

Similar Documents

Publication Publication Date Title
JP5099451B2 (en) Vehicle periphery confirmation device
US10131277B2 (en) Surroundings monitoring apparatus
US9043083B2 (en) Parking assistance apparatus
EP2578464B1 (en) Video-based warning system for a vehicle
CN108886602B (en) Information processing apparatus
JP2009083764A (en) Driving assisting device, driving assisting method, and computer program
WO2013088613A1 (en) Drive assistance device
JP2011035777A (en) Support system for perception of vehicle surroundings
JP2008013015A (en) Vehicle surroundings image producing device and image switching method
JP5182137B2 (en) Vehicle periphery display device
JP5516988B2 (en) Parking assistance device
EP3608179B1 (en) Display control device, display control system, display control method, and program
JP2012113605A (en) Driving support apparatus and driving support method
KR102135900B1 (en) Apparatus and Method for Assisting Parking
JP4600999B2 (en) Vehicle perimeter monitoring device
JP5402047B2 (en) Blind spot display device
JP2013109505A (en) Periphery monitoring device
JP2004201223A (en) Vehicle peripheral monitoring apparatus and steering angle detecting method
US11220213B2 (en) Rear display device
JP5083142B2 (en) Vehicle periphery monitoring device
JP2007251880A (en) On-vehicle image display device, and method of compositing images
JP4977482B2 (en) Image providing apparatus, vehicle, and image providing method
JP2017065351A (en) Parking support apparatus and parking support method
JP5040851B2 (en) Wakimi driving judgment device
JP2009044570A (en) Vehicle's blind spot assistant system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant