KR20140094794A - Apparatus for assisting parking and method for assisting thereof - Google Patents

Apparatus for assisting parking and method for assisting thereof Download PDF

Info

Publication number
KR20140094794A
KR20140094794A KR1020130007264A KR20130007264A KR20140094794A KR 20140094794 A KR20140094794 A KR 20140094794A KR 1020130007264 A KR1020130007264 A KR 1020130007264A KR 20130007264 A KR20130007264 A KR 20130007264A KR 20140094794 A KR20140094794 A KR 20140094794A
Authority
KR
South Korea
Prior art keywords
image data
current
parking space
parking
current object
Prior art date
Application number
KR1020130007264A
Other languages
Korean (ko)
Other versions
KR101715014B1 (en
Inventor
김재석
유관선
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020130007264A priority Critical patent/KR101715014B1/en
Publication of KR20140094794A publication Critical patent/KR20140094794A/en
Application granted granted Critical
Publication of KR101715014B1 publication Critical patent/KR101715014B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Provided are a parking assist apparatus and a parking assist method thereof. The parking assist apparatus comprises: a parking space photographing unit which receives a parking mode operating signal from a parking mode operating device when a driver tries parking a car and takes pictures of a parking space currently existing in the vicinity of the car using an around view monitor (AVM) camera; an object sensing unit which senses current object image data by receiving current parking space image data corresponding to the parking space currently existing in the vicinity of the car, which is taken by the parking space photographing unit, and senses location information of a current object corresponding to the current object image data by extracting at least one among distance information and angle information based on edges of the current object image data using a neural network and genetic algorithm; a control unit which receives the location information of the current object sensed by the object sensing unit and which includes a location information range of a preset reference object; a first judging unit which judges whether the location information of the current object is within the location information range of the reference object according to a control of the control unit; a first identifying unit which identifies a location state of the current object if the first judging unit judges that the location information of the current object is within the location information range of the reference object; and an operating unit which parks the car in the corresponding parking space by operating a steering system for parking in the corresponding parking space according to the control of the control unit if the first judging unit judges that the location information of the current object is beyond the location information range of the reference object.

Description

주차 보조 장치 및 그 주차 보조 방법{Apparatus for assisting parking and method for assisting thereof}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a parking assisting apparatus,

본 발명은 주차 보조 장치 및 그 주차 보조 방법에 관한 것이다.
The present invention relates to a parking assisting apparatus and a parking assisting method thereof.

일반적으로, 종래 주차 보조 장치는 주차시에 운전자에게 편리한 주차를 유도하도록 제공되었다.Generally, the conventional parking assist device is provided to guide the driver to a convenient parking at the time of parking.

그러나, 종래 주차 보조 장치는 주차시에 좌우측 직각 주차와 좌우측 평행 주차에 따라 주차 모드 동작 장치를 각각 선택하여 주차해야만 하므로, 주차의 편리함을 제공하는데에 한계가 있었다.However, since the conventional parking assist device must be parked by selecting the parking mode operation device according to right and left right angle parking and left and right parallel parking at the time of parking, there is a limitation in providing convenience of parking.

또한, 종래 주차 보조 장치는 해당 주차 공간으로 주차하려고 할 시에, 현재 물체의 존재 유무를 빠르게 판단하는데에 한계가 있으므로, 주차시에 주차의 편리함을 제공하는데에 한계가 있었다.In addition, since the conventional parking assisting device has a limitation in quickly determining whether or not an object exists at the time of parking the parking space, there is a limit in providing convenience of parking at the time of parking.

따라서, 최근에는 주차시에 주차의 편리함을 제공하면서 주차의 신뢰성을 향상시키고, 해당 주차 공간으로 빠르게 주차시킬 수 있는 개선된 주차 보조 장치 및 그 주차 보조 방법의 연구가 지속적으로 행해져 오고 있다.
Therefore, in recent years, research has been continuously conducted on an improved parking assisting device and its parking assisting method capable of improving the reliability of parking while providing convenience of parking at the time of parking, and rapidly parking the parking space.

본 발명의 목적은, 현재 물체가 존재할 경우 현재 물체의 위치 상태를 식별시켜 주차의 불가능한 상태를 식별시키면서, 현재 물체가 없을 경우 해당 주차 공간으로 주차시킬 수가 있으므로, 주차의 신뢰성을 향상시킬 수가 있는 주차 보조 장치 및 그 주차 보조 방법을 제공하는데에 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a parking space which can improve the reliability of parking by allowing parking in the parking space when there is no current object while identifying the state of the current object by identifying the current state of the object, An auxiliary device and a parking assisting method thereof.

본 발명의 다른 목적은, 현재 물체가 존재할 경우 현재 물체의 위치 상태를 식별시켜 주차의 불가능한 상태를 식별시키면서, 현재 물체가 없을 경우 현재 주차 공간의 주차 가능한 상황을 식별시켜 해당 주차 공간으로 주차시킬 수가 있으므로, 주차의 신뢰성을 향상시키면서 주차의 편리함을 제공할 수가 있는 주차 보조 장치 및 그 주차 보조 방법을 제공하는데에 있다.Another object of the present invention is to identify the current state of an object to identify the impossible state of the current object and to identify the present state of the current parking space when there is no object, Therefore, it is an object of the present invention to provide a parking assisting apparatus and a parking assisting method which can provide convenience of parking while improving reliability of parking.

본 발명의 또 다른 목적은, 현재 물체의 위치 상태를 빠르게 확인할 수가 있어 해당 주차 공간으로 더욱 빠르게 주차시킬 수가 있는 주차 보조 장치 및 그 주차 보조 방법을 제공하는데에 있다.
It is another object of the present invention to provide a parking assisting device and a parking assisting method which can promptly check the position of an object at present and can quickly park the parking space.

이러한 목적을 달성하기 위하여 본 발명은 차량을 주차할 시에 주차 모드 동작 장치로부터 주차 모드 동작 신호를 공급받아 AVM(Around View Monitor) 카메라를 이용하여 차량의 현재 주변 영역의 주차 공간을 촬영하는 주차 공간 촬영부와; 주차 공간 촬영부에서 촬영한 차량의 현재 주변 영역의 주차 공간에 해당하는 현재 주차 공간 이미지 데이터를 공급받아 현재 물체 이미지 데이터를 감지하되, 신경망(neural network)과 유전 알고리즘(Genetic Algorithm)를 통해 현재 물체 이미지 데이터의 가장자리 부분을 기준으로 거리 정보와 각도 정보중 적어도 하나를 추출하여 현재 물체 이미지 데이터에 해당하는 현재 물체의 위치 정보를 감지하는 물체 감지부와; 물체 감지부에서 감지한 현재 물체의 위치 정보를 공급받고, 이미 설정된 기준 물체의 위치 정보 범위를 포함하는 제어부와; 물체 감지부에서 감지한 현재 물체의 위치 정보가 기준 물체의 위치 정보 범위인지를 제어부의 제어에 따라 판단하는 제 1 판단부와; 제 1 판단부에서 현재 물체의 위치 정보가 기준 물체의 위치 정보 범위인 것으로 판단할 경우, 현재 물체의 위치 상태를 식별시키는 제 1 식별부; 및 제 1 판단부에서 현재 물체의 위치 정보가 기준 물체의 위치 정보 범위를 벗어나는 것으로 판단할 경우, 제어부의 제어에 따라 해당 주차 공간의 주차를 위한 조향 장치를 구동시켜 해당 주차 공간으로 주차시키는 구동부를 포함한다.In order to accomplish the above object, the present invention provides a parking space for photographing a parking space in a current peripheral area of a vehicle by using an AVM (Around View Monitor) camera, receiving a parking mode operation signal from the parking mode operation device when parking the vehicle, A photographing unit; The current parking space image data corresponding to the parking space of the current peripheral area of the vehicle photographed by the parking space photographing part is received and the current object image data is sensed and the current object image data is detected through the neural network and the genetic algorithm, An object detecting unit for extracting at least one of distance information and angle information based on an edge portion of the image data and detecting position information of a current object corresponding to the current object image data; A controller receiving positional information of a current object sensed by the object sensing unit and including a positional information range of a previously set reference object; A first judging unit for judging whether the position information of the current object detected by the object detecting unit is the position information range of the reference object according to the control of the controller; A first identifying unit for identifying a position state of the current object when the first determining unit determines that the position information of the current object is the position information range of the reference object; And a driving unit for driving the steering device for parking in the parking space according to the control of the control unit and parking the vehicle in the parking space when the first determination unit determines that the position information of the current object is out of the range of the position information of the reference object .

본 발명의 다른 특징에 따르면, 물체 감지부는 주차 공간 촬영부에서 촬영한 차량의 현재 주변 영역의 주차 공간에 해당하는 현재 주차 공간 이미지 데이터를 공급받아 현재 물체 이미지 데이터를 감지하되, 왜곡된 현재 물체 이미지 데이터를 탑-뷰(Top-view) 영상으로 변환하여 조감도를 생성하고, 신경망(neural network)으로 현재 물체 이미지 데이터 또는 지면 이미지 데이터인지를 판단하여 흑백 이미지 데이터로 전환하며, 전환된 흑백 이미지 데이터에서 현재 물체 이미지 데이터의 가장자리 부분을 기준으로 거리 정보와 각도 정보중 적어도 하나를 추출하여 유전 알고리즘(Genetic Algorithm)를 통해 현재 물체 이미지 데이터에 해당하는 현재 물체의 위치 정보를 감지하는 것을 특징으로 한다.According to another aspect of the present invention, an object detection unit receives current parking space image data corresponding to a parking space of a current peripheral area of a vehicle photographed by a parking space photographing unit, detects current object image data, Image data is converted into a top-view image to generate a bird's-eye view, and it is determined whether the current object image data or ground image data is a neural network to convert the data into monochrome image data. In the converted monochrome image data, Extracting at least one of distance information and angle information based on an edge portion of the current object image data, and detecting position information of a current object corresponding to the current object image data through a genetic algorithm.

본 발명의 또 다른 특징에 따르면, 제 1 식별부는 현재 물체 이미지 데이터에 해당하는 현재 물체의 위치 정보에서 현재 물체 이미지 데이터에 해당하는 영상 프레임을 갖는 영상 데이터중 제어부의 제어에 따라 일정 시간 동안의 영상별 프레임을 갖는 영상 데이터를 개별적으로 표시하여 현재 물체의 위치 상태를 식별시키는 것을 특징으로 한다.According to still another aspect of the present invention, the first identification unit is configured to extract, from the position information of the current object corresponding to the current object image data, video data having a video frame corresponding to the current object image data, The image data having a star frame is displayed separately to identify the position state of the current object.

본 발명의 또 다른 특징에 따르면, 제어부는 기준 주차 공간 이미지 데이터 범위를 더 포함하고; 제 1 판단부에서 현재 물체의 위치 정보가 기준 물체의 위치 정보 범위를 벗어나는 것으로 판단할 경우, 차량의 현재 주변 영역의 주차 공간에 해당하는 현재 주차 공간 이미지 데이터가 기준 주차 공간 이미지 데이터 범위인지를 제어부의 제어에 따라 판단하는 제 2 판단부를 더 포함하며; 제 2 판단부에서 현재 주차 공간 이미지 데이터가 기준 주차 공간 이미지 데이터 범위인 것으로 판단할 경우, 현재 주차 공간 이미지 데이터에 해당하는 현재 주차 공간의 상황을 식별시키는 제 2 식별부를 더 포함한다.According to another aspect of the present invention, the control unit further includes a reference parking space image data range; If it is determined in the first determination unit that the position information of the current object is out of the position information range of the reference object, it is determined whether the current parking space image data corresponding to the parking space in the current peripheral area of the vehicle is the reference parking space image data range. According to the control of the control unit; And a second identification unit for identifying a current parking space corresponding to the current parking space image data when the second determination unit determines that the current parking space image data is in the reference parking space image data range.

본 발명의 또 다른 특징에 따르면, 제 2 판단부는 현재 주차 공간 이미지 데이터에 해당하는 현재 주차 공간 이미지 패턴이 기준 주차 공간 이미지 데이터 범위에 해당하는 기준 주차 공간 이미지 패턴 범위인지를 제어부의 제어에 따라 판단하는 것을 특징으로 한다.According to another aspect of the present invention, the second determination unit determines whether the current parking space image pattern corresponding to the current parking space image data is a reference parking space image pattern range corresponding to the reference parking space image data range .

본 발명의 또 다른 특징에 따르면, 제 2 식별부는 현재 주차 공간 이미지 데이터에 해당하는 영상 프레임을 갖는 영상 데이터중 제어부의 제어에 따라 일정 시간 동안의 영상별 프레임을 갖는 영상 데이터를 개별적으로 표시하여 현재 주차 공간의 상황을 식별시키는 것을 특징으로 한다.According to another aspect of the present invention, the second identification unit separately displays image data having a frame per image for a predetermined time, under control of the control unit, among image data having an image frame corresponding to the current parking space image data, Thereby identifying the situation of the parking space.

또한, 본 발명은 차량을 주차할 시에 주차 모드 동작 장치로부터 주차 모드 동작 신호를 공급받아 AVM(Around View Monitor) 카메라를 이용하여 차량의 현재 주변 영역의 주차 공간을 주차 공간 촬영부에서 촬영하는 주차 공간 촬영 단계와; 주차 공간 촬영부에서 촬영한 차량의 현재 주변 영역의 주차 공간에 해당하는 현재 주차 공간 이미지 데이터를 공급받아 현재 물체 이미지 데이터를 감지하되, 신경망(neural network)과 유전 알고리즘(Genetic Algorithm)를 통해 현재 물체 이미지 데이터의 가장자리 부분을 기준으로 거리 정보와 각도 정보중 적어도 하나를 추출하여 현재 물체 이미지 데이터에 해당하는 현재 물체의 위치 정보를 물체 감지부에서 감지하는 물체 감지 단계와; 물체 감지부에서 감지한 현재 물체의 위치 정보가 제어부에 설정된 기준 물체의 위치 정보 범위인지를 제어부의 제어에 따라 제 1 판단부에서 판단하는 제 1 판단 단계와; 제 1 판단부에서 현재 물체의 위치 정보가 기준 물체의 위치 정보 범위인 것으로 판단할 경우, 현재 물체의 위치 상태를 제 1 식별부에서 식별시키는 제 1 식별 단계; 및 제 1 판단부에서 현재 물체의 위치 정보가 기준 물체의 위치 정보 범위를 벗어나는 것으로 판단할 경우, 제어부의 제어에 따라 구동부에서 해당 주차 공간의 주차를 위한 조향 장치를 구동시켜 해당 주차 공간으로 주차시키는 주차 동작 단계를 포함한다.According to the present invention, there is provided a parking space photographing apparatus for receiving a parking mode operation signal from a parking mode operation apparatus when a vehicle is parked and photographing the parking space in a current peripheral area of the vehicle using an AVM (Around View Monitor) A space photographing step; The current parking space image data corresponding to the parking space of the current peripheral area of the vehicle photographed by the parking space photographing part is received and the current object image data is sensed and the current object image data is detected through the neural network and the genetic algorithm, An object detecting step of extracting at least one of distance information and angle information based on an edge part of the image data and detecting position information of the current object corresponding to the current object image data by the object detecting part; A first determination step of determining, by a first control unit, whether the position information of the current object detected by the object detection unit is a position information range of the reference object set in the control unit; A first identifying step of identifying, by the first determining unit, a positional state of the current object when the first determining unit determines that the positional information of the current object is the positional information range of the reference object; And when the first determination unit determines that the position information of the current object is out of the position information range of the reference object, the driving unit drives the steering apparatus for parking the corresponding parking space under the control of the control unit, And a parking operation step.

본 발명의 다른 특징에 따르면, 물체 감지 단계는 주차 공간 촬영부에서 촬영한 차량의 현재 주변 영역의 주차 공간에 해당하는 현재 주차 공간 이미지 데이터를 공급받아 현재 물체 이미지 데이터를 감지하되, 왜곡된 현재 물체 이미지 데이터를 탑-뷰(Top-view) 영상으로 변환하여 조감도를 생성하고, 신경망(neural network)으로 현재 물체 이미지 데이터 또는 지면 이미지 데이터인지를 판단하여 흑백 이미지 데이터로 전환하며, 전환된 흑백 이미지 데이터에서 현재 물체 이미지 데이터의 가장자리 부분을 기준으로 거리 정보와 각도 정보중 적어도 하나를 추출하여 유전 알고리즘(Genetic Algorithm)를 통해 현재 물체 이미지 데이터에 해당하는 현재 물체의 위치 정보를 물체 감지부에서 감지하는 단계인 것을 특징으로 한다.According to another aspect of the present invention, in the object detecting step, the current parking space image data corresponding to the parking space of the current peripheral area of the vehicle photographed by the parking space photographing unit is received and the current object image data is detected, Converts the image data into a top-view image to generate a bird's-eye view, judges whether the object image data or the ground image data is a current neural network, converts the image data into monochrome image data, Extracting at least one of distance information and angle information based on an edge portion of the current object image data and detecting position information of the current object corresponding to the current object image data through a genetic algorithm .

본 발명의 또 다른 특징에 따르면, 제 1 식별 단계는 현재 물체 이미지 데이터에 해당하는 현재 물체의 위치 정보에서 현재 물체 이미지 데이터에 해당하는 영상 프레임을 갖는 영상 데이터중 제어부의 제어에 따라 일정 시간 동안의 영상별 프레임을 갖는 영상 데이터를 제 1 식별부에서 개별적으로 표시하여 현재 물체의 위치 상태를 식별시키는 단계인 것을 특징으로 한다.According to another aspect of the present invention, in the first identifying step, in the image data having the image frame corresponding to the current object image data in the position information of the current object corresponding to the current object image data, The image data having a frame per image is separately displayed in the first identifying unit to identify the position state of the current object.

본 발명의 또 다른 특징에 따르면, 제 1 판단 단계 이후에 제 1 판단부에서 현재 물체의 위치 정보가 기준 물체의 위치 정보 범위를 벗어나는 것으로 판단할 경우, 차량의 현재 주변 영역의 주차 공간에 해당하는 현재 주차 공간 이미지 데이터가 제어부에 설정된 기준 주차 공간 이미지 데이터 범위인지를 제어부의 제어에 따라 제 2 판단부에서 판단하는 제 2 판단 단계를 더 수행하고; 제 2 판단부에서 현재 주차 공간 이미지 데이터가 기준 주차 공간 이미지 데이터 범위인 것으로 판단할 경우, 현재 주차 공간 이미지 데이터에 해당하는 현재 주차 공간의 상황을 제 2 식별부에서 식별시키는 제 2 식별 단계를 더 수행하는 것을 특징으로 한다.According to another aspect of the present invention, when the first determination unit determines that the position information of the current object is out of the position information range of the reference object after the first determination, Further comprising: a second determination step of determining, by the second determination unit, whether the current parking space image data is in the reference parking space image data range set in the control unit, under the control of the control unit; If the second determination unit determines that the current parking space image data is in the range of the reference parking space image data, a second identification step of identifying the current parking space condition corresponding to the current parking space image data in the second identification unit .

본 발명의 또 다른 특징에 따르면, 제 2 판단 단계는 현재 주차 공간 이미지 데이터에 해당하는 현재 주차 공간 이미지 패턴이 기준 주차 공간 이미지 데이터 범위에 해당하는 기준 주차 공간 이미지 패턴 범위인지를 제어부의 제어에 따라 제 2 판단부에서 판단하는 단계인 것을 특징으로 한다.According to another aspect of the present invention, the second determination step determines whether the current parking space image pattern corresponding to the current parking space image data is a reference parking space image pattern range corresponding to the reference parking space image data range, And the second judgment unit judges that the second judging unit judges that the second judging unit judges that the second judging unit

본 발명의 또 다른 특징에 따르면, 제 2 식별 단계는 현재 주차 공간 이미지 데이터에 해당하는 영상 프레임을 갖는 영상 데이터중 제어부의 제어에 따라 일정 시간 동안의 영상별 프레임을 갖는 영상 데이터를 제 2 식별부에서 개별적으로 표시하여 현재 주차 공간의 상황을 식별시키는 단계인 것을 특징으로 한다.
According to still another aspect of the present invention, in the second identification step, the image data having the image-specific frame for a certain time according to the control of the control unit among the image data having the image frame corresponding to the current parking space image data, The parking space is displayed in the parking space.

상기한 바와 같이 이루어진 본 발명의 주차 보조 장치 및 그 주차 보조 방법에 따르면, 다음과 같은 효과를 얻을 수 있다.According to the parking assisting device and the parking assisting method of the present invention constructed as described above, the following effects can be obtained.

첫째, 현재 물체가 존재할 경우 현재 물체의 위치 상태를 식별시켜 주차의 불가능한 상태를 식별시키면서, 현재 물체가 없을 경우 해당 주차 공간으로 주차시킬 수가 있으므로, 주차의 신뢰성을 향상시킬 수 있는 효과가 있다.First, if there is an object present, it is possible to identify the position state of the current object to identify the impossible state of parking, and to park in the corresponding parking space when there is no current object, thereby improving the reliability of parking.

둘째, 현재 물체가 존재할 경우 현재 물체의 위치 상태를 식별시켜 주차의 불가능한 상태를 식별시키면서, 현재 물체가 없을 경우 현재 주차 공간의 주차 가능한 상황을 식별시켜 해당 주차 공간으로 주차시킬 수가 있으므로, 주차의 신뢰성을 향상시키면서 주차의 편리함을 제공할 수 있는 다른 효과가 있다.Second, if the current object exists, it is possible to identify the current position of the object, thereby identifying the impossible state of parking, and if the current object is not present, There is another effect that it is possible to provide convenience of parking while improving the efficiency of parking.

셋째, 현재 물체의 위치 상태를 빠르게 확인할 수가 있어 해당 주차 공간으로 더욱 빠르게 주차시킬 수 있는 또 다른 효과가 있다.
Third, it is possible to quickly check the position of the current object, which is another effect of parking the parking space more quickly.

도 1은 본 발명의 제 1 실시예에 따른 주차 보조 장치에 주차 모드 동작 장치 및 조향 장치가 연결된 상태를 나타낸 블럭 구성도.
도 2는 본 발명의 제 1 실시예에 따른 주차 보조 장치를 일예로 나타낸 블럭 구성도.
도 3a는 도 2에 도시한 주차 공간 촬영부를 통해 현재 주변 영역의 주차 공간을 촬영하는 과정을 보여주기 위한 평면도.
도 3b는 도 2에 도시한 물체 감지부를 통해 왜곡된 현재 물체 이미지 데이터에 대해 조감도를 생성하는 과정을 보여주기 위한 평면도.
도 3c는 도 2에 도시한 물체 감지부를 통해 현재 물체 이미지 데이터에 대해 bird's eye view 형태로 변환하는 과정을 보여주기 위한 평면도.
도 3d는 도 2에 도시한 물체 감지부를 통해 현재 물체의 위치 정보를 감지하는 과정을 보여주기 위한 평면도.
도 4는 본 발명의 제 1 실시예에 따른 주차 보조 장치의 주차 보조 방법을 나타낸 순서도.
도 5는 본 발명의 제 2 실시예에 따른 주차 보조 장치를 일예로 나타낸 블럭 구성도.
도 6은 본 발명의 제 2 실시예에 따른 주차 보조 장치의 주차 보조 방법을 나타낸 순서도.
도 7은 본 발명의 제 2 실시예에 따른 주차 보조 장치의 주차 보조 방법을 일예로 나타낸 순서도.1 is a block diagram showing a state in which a parking mode operating device and a steering device are connected to a parking assist device according to a first embodiment of the present invention;
2 is a block diagram showing an example of a parking assisting device according to a first embodiment of the present invention;
FIG. 3A is a plan view showing a process of photographing a parking space in a current peripheral area through the parking space photographing unit shown in FIG. 2. FIG.
FIG. 3B is a plan view showing a process of generating a bird's-eye view on distorted current object image data through the object detection unit shown in FIG.
FIG. 3C is a plan view showing a process of converting the current object image data into the bird's eye view form through the object detection unit shown in FIG. 2. FIG.
FIG. 3D is a plan view showing a process of detecting position information of a current object through the object detection unit shown in FIG. 2;
4 is a flowchart showing a parking assisting method of a parking assisting device according to the first embodiment of the present invention.
5 is a block diagram showing an example of a parking assisting device according to a second embodiment of the present invention.
6 is a flowchart showing a parking assisting method of a parking assisting device according to a second embodiment of the present invention.
7 is a flowchart showing an example of a parking assisting method of a parking assisting device according to a second embodiment of the present invention.

이하에서는 첨부된 도면을 참고로 하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

<제 1 실시예>&Lt; Embodiment 1 >

도 1은 본 발명의 제 1 실시예에 따른 주차 보조 장치에 주차 모드 동작 장치 및 조향 장치가 연결된 상태를 나타낸 블럭 구성도이고, 도 2는 본 발명의 제 1 실시예에 따른 주차 보조 장치를 일예로 나타낸 블럭 구성도이다.FIG. 1 is a block diagram showing a state in which a parking mode operating device and a steering device are connected to a parking assist device according to a first embodiment of the present invention. FIG. 2 is a block diagram of a parking assist device according to a first embodiment of the present invention, Fig.

도 3a는 도 2에 도시한 주차 공간 촬영부를 통해 현재 주변 영역의 주차 공간을 촬영하는 과정을 보여주기 위한 평면도이고, 도 3b는 도 2에 도시한 물체 감지부를 통해 왜곡된 현재 물체 이미지 데이터에 대해 조감도를 생성하는 과정을 보여주기 위한 평면도이다.FIG. 3A is a plan view for showing a process of photographing a parking space in a current peripheral area through the parking space photographing unit shown in FIG. 2. FIG. 3B is a view for explaining the current object image data distorted by the object detecting unit shown in FIG. A plan view for showing a process of generating a bird's-eye view.

도 3c는 도 2에 도시한 물체 감지부를 통해 현재 물체 이미지 데이터에 대해 bird's eye view 형태로 변환하는 과정을 보여주기 위한 평면도이고, 도 3d는 도 2에 도시한 물체 감지부를 통해 현재 물체의 위치 정보를 감지하는 과정을 보여주기 위한 평면도이다.FIG. 3C is a plan view showing a process of converting the current object image data into the bird's eye view form through the object detection unit shown in FIG. 2. FIG. FIG. 2 is a plan view showing a process of detecting a moving object; FIG.

도 1 내지 도 3d를 참조하면, 본 발명의 제 1 실시예에 따른 주차 보조 장치(100)는 주차 공간 촬영부(102)와 물체 감지부(104) 및 제어부(106)와 제 1 판단부(108) 및 제 1 식별부(110)와 구동부(112)를 포함한다.1 to 3, the parking assisting apparatus 100 according to the first embodiment of the present invention includes a parking space photographing unit 102, an object detecting unit 104, a control unit 106, 108, a first identifying unit 110, and a driving unit 112.

도 1 내지 도 3a에 도시된 바와 같이, 주차 공간 촬영부(102)는 차량을 주차할 시에 주차 모드 동작 장치(10)로부터 주차 모드 동작 신호를 공급받아, 도시하지는 않았지만 AVM(Around View Monitor) 카메라(미도시)를 이용하여 차량의 현재 주변 영역의 주차 공간(A)을 촬영하도록 제공된다.1 to 3A, the parking space photographing unit 102 receives a parking mode operation signal from the parking mode operating device 10 when the vehicle is parked. The parking space photographing unit 102 receives an AVM (Around View Monitor) And is provided to photograph the parking space A in the current peripheral area of the vehicle using a camera (not shown).

물체 감지부(104)는 주차 공간 촬영부(102)에서 촬영한 차량의 현재 주변 영역의 주차 공간(A)에 해당하는 현재 주차 공간 이미지 데이터를 공급받아 현재 물체 이미지 데이터(D1)를 감지하도록 제공된다.The object detection unit 104 receives the current parking space image data corresponding to the parking space A in the current peripheral area of the vehicle photographed by the parking space photographing unit 102 and provides the current object image data D1 to detect the current object image data D1 do.

이때, 도 3b에 도시된 바와 같이 물체 감지부(104)는 왜곡된 현재 물체 이미지 데이터(D1)를 탑-뷰(Top-view) 영상으로 변환하여 조감도를 생성하고, 신경망(neural network)으로 현재 물체 이미지 데이터(D1) 또는 지면 이미지 데이터(D2)인지를 판단하여 흑백 이미지 데이터로 전환하도록 제공된다.3B, the object detection unit 104 converts the distorted current object image data D1 into a top-view image to generate a bird's-eye view, and outputs the bird's-eye view as a neural network Object image data D1 or ground image data D2, and is provided to switch to monochrome image data.

이 후, 도 3c에 도시된 바와 같이 물체 감지부(104)는 현재 물체 이미지 데이터(D1)에 대해 bird's eye view 형태로 변환한 후, 도 3d에 도시된 바와 같이 물체 감지부(104)는 전환된 흑백 이미지 데이터에서 현재 물체 이미지 데이터(D1)의 가장자리 부분을 기준으로 거리 정보와 각도 정보중 적어도 하나를 추출하여 유전 알고리즘(Genetic Algorithm)를 통해 현재 물체 이미지 데이터에 해당하는 현재 물체(P)의 위치 정보를 감지하도록 제공된다.3C, the object detection unit 104 converts the current object image data D1 into a bird's eye view, and then, the object detection unit 104 detects the transition At least one of the distance information and the angle information is extracted based on the edge portion of the current object image data D1 in the monochrome image data of the current object P and the current object P is extracted from the current object image data D1 through the genetic algorithm And is provided to detect position information.

이때, 물체 감지부(104)는 도시하지는 않았지만, 현재 물체(P)의 위치 정보를 감지하기 위한 CCD 카메라(미도시)와 초음파 센서(미도시) 및 레이더 센서(미도시)와 적외선 센서(미도시) 및 사각지대 영역 검출(Blind Spot Detection, BSD) 센서(미도시)중 적어도 하나를 포함하여 제공될 수가 있고, 이에 한정하지 않고 현재 물체(P)의 위치 정보를 감지할 수 있는 모든 감지 수단이면 가능하다.At this time, the object detecting unit 104 includes a CCD camera (not shown), an ultrasonic sensor (not shown), a radar sensor (not shown) and an infrared sensor (not shown) for detecting the position information of the current object P And a blind spot detection (BSD) sensor (not shown) for detecting the current position of the object P, It is possible.

제어부(106)는 물체 감지부(104)에서 감지한 현재 물체(P)의 위치 정보를 공급받고, 이미 설정된 기준 물체의 위치 정보 범위를 포함하도록 제공된다.The control unit 106 receives the position information of the current object P sensed by the object sensing unit 104 and is provided to include the position information range of the already set reference object.

제 1 판단부(108)는 물체 감지부(104)에서 감지한 현재 물체(P)의 위치 정보가 기준 물체의 위치 정보 범위인지를 제어부(106)의 제어에 따라 판단하도록 제공된다.The first determination unit 108 is provided to determine whether the position information of the current object P sensed by the object detection unit 104 is the position information range of the reference object under the control of the control unit 106. [

이때, 제어부(106) 및 제 1 판단부(108)는 도시하지는 않았지만, 차량에 적용되는 메인 컴퓨터로 전체적인 동작을 제어하고 판단하거나, 엔진의 내부적인 동작을 제어하고 판단하는 통상적인 ECU(Electric Control Unit, Engine Control Unit, 미도시) 또는 단일 칩 내부에 프로세서와 메모리 및 입출력 장치를 갖춰 전체적인 동작을 제어하고 판단하는 통상적인 MCU(Micro Control Unit, 미도시)를 포함하여 제공될 수가 있으며, 이에 한정하지 않고 차량의 전체적인 동작을 판단하고 제어할 수 있는 모든 판단 제어 수단이면 가능하다.At this time, the controller 106 and the first determination unit 108 may be implemented by a general ECU (Electric Control) that controls and determines the overall operation of the vehicle, or controls and determines the internal operation of the engine, (MCU) (not shown) that controls and judges the overall operation by having a processor, a memory, and an input / output device in a single chip or a microcontroller unit (not shown) It is possible to use all of the judgment control means capable of judging and controlling the overall operation of the vehicle.

제 1 식별부(110)는 제 1 판단부(108)에서 현재 물체(P)의 위치 정보가 기준 물체의 위치 정보 범위인 것으로 판단할 경우, 현재 물체(P)의 위치 상태를 식별시키도록 제공된다.When the first determining unit 108 determines that the position information of the current object P is the position information range of the reference object, the first identifying unit 110 provides the position information of the current object P do.

이때, 제 1 식별부(110)는 현재 물체 이미지 데이터(D1)에 해당하는 현재 물체(P)의 위치 정보에서 현재 물체 이미지 데이터(D1)에 해당하는 영상 프레임을 갖는 영상 데이터중 제어부(106)의 제어에 따라 일정 시간 동안의 영상별 프레임을 갖는 영상 데이터를 개별적으로 표시하여 현재 물체(P)의 위치 상태를 식별시키도록 제공될 수가 있다.At this time, the first identification unit 110 selects one of the image data having the image frame corresponding to the current object image data D1 from the position information of the current object P corresponding to the current object image data D1, May be provided to separately display image data having a frame for each image for a predetermined period of time according to the control of the control unit 30 to identify the current position of the object P. [

여기서, 제 1 식별부(110)는 도시하지는 않았지만, 운전자가 차량의 정보나 상태를 식별하기 위해 제공되는 스피커(미도시)와 발광 부재(미도시) 및 HMI(Human Machine Interface) 모듈(미도시)과 HUD(Head-UP Display) 모듈(미도시)중 적어도 하나를 포함하여 스피커(미도시)의 음성 동작과 발광 부재(미도시)의 발광 동작 및 HMI(Human Machine Interface) 모듈(미도시)의 HMI(Human Machine Interface) 메시지 표시 동작과 HUD(Head-UP Display) 모듈(미도시)의 HUD(Head-UP Display) 메시지 표시 동작중 적어도 하나의 동작을 통해 현재 물체(P)의 위치 상태를 식별시킬 수가 있다.Although not shown, the first identification unit 110 may include a speaker (not shown), a light emitting member (not shown), and an HMI (human machine interface) module (not shown) provided for the driver to identify the vehicle information or status (Not shown), a light emitting operation of a light emitting member (not shown), and a HMI (Human Machine Interface) module (not shown), including at least one of a head- Of the current object P through at least one of an operation of displaying an HMI (Human Machine Interface) message of the HUD (Head-UP Display) module (not shown) and a displaying operation of a HUD Can be identified.

구동부(112)는 제 1 판단부(108)에서 현재 물체(P)의 위치 정보가 기준 물체의 위치 정보 범위를 벗어나는 것으로 판단할 경우, 제어부(106)의 제어에 따라 해당 주차 공간(A)의 주차를 위한 조향 장치(30)를 구동시켜 해당 주차 공간(A)으로 주차시키도록 제공된다.When the first determining unit 108 determines that the position information of the current object P is out of the positional information range of the reference object, the driving unit 112 controls the driving unit 112 to move And is provided to drive the steering apparatus 30 for parking and park the vehicle in the parking space A.

일예로, 구동부(112)는 제 1 판단부(108)에서 현재 물체(미도시)가 없는 것으로 판단하거나, 현재 물체(미도시)의 위치 정보가 기준 물체의 위치 정보 범위보다 멀리 떨어져 있는 것으로 판단할 경우, 제어부(106)의 제어에 따라 해당 주차 공간(A)의 주차를 위한 조향 장치(30)를 구동시켜 해당 주차 공간(A)으로 주차시키도록 제공될 수가 있다.For example, when the first determining unit 108 determines that the current object (not shown) is absent or that the position information of the current object (not shown) is farther than the position information range of the reference object The driver can be provided to drive the steering apparatus 30 for parking in the parking space A and park the vehicle in the parking space A under the control of the control unit 106. [

이러한, 본 발명의 제 1 실시예에 따른 주차 보조 장치(100)를 이용하여 주차를 보조하기 위한 주차 보조 방법을 살펴보면 다음 도 4와 같다.
A parking assistance method for assisting parking using the parking assist device 100 according to the first embodiment of the present invention will be described with reference to FIG.

도 4는 본 발명의 제 1 실시예에 따른 주차 보조 장치의 주차 보조 방법을 나타낸 순서도이다.4 is a flowchart showing a parking assisting method of the parking assisting device according to the first embodiment of the present invention.

도 4를 참조하면, 본 발명의 제 1 실시예에 따른 주차 보조 장치(도1 및 도2의 100)의 주차 보조 방법(400)은 주차 공간 촬영 단계(S402)와 물체 감지 단계(S404) 및 제 1 판단 단계(S406)와 제 1 식별 단계(S407) 및 주차 동작 단계(S408)를 포함한다.Referring to FIG. 4, the parking assisting method 400 of the parking assisting device (100 of FIGS. 1 and 2) according to the first embodiment of the present invention includes a parking space photographing step S402, an object detecting step S404, A first determination step S406, a first identification step S407, and a parking operation step S408.

주차 공간 촬영 단계(S402)는 차량을 주차할 시에 주차 모드 동작 장치(10)로부터 주차 모드 동작 신호를 공급받아 AVM(Around View Monitor) 카메라를 이용하여 차량의 현재 주변 영역의 주차 공간(도3a 내지 도3d의 A)을 주차 공간 촬영부(도2의 102)에서 촬영하는 단계를 수행한다.The parking space photographing step S402 receives a parking mode operation signal from the parking mode operation device 10 when the vehicle is parked and uses the AVM (Around View Monitor) camera to generate a parking space in the current peripheral area of the vehicle (A in FIG. 3D) is photographed in the parking space photographing section (102 in FIG. 2).

이 후, 물체 감지 단계(S404)는 주차 공간 촬영부(도2의 102)에서 촬영한 차량의 현재 주변 영역의 주차 공간(도3a의 A)에 해당하는 현재 주차 공간 이미지 데이터를 공급받아 현재 물체 이미지 데이터(도3b의 D1)를 감지하되, 왜곡된 현재 물체 이미지 데이터(도3b 및 도3c의 D1)를 탑-뷰(Top-view) 영상으로 변환하여 조감도를 생성하고, 신경망(neural network)으로 현재 물체 이미지 데이터(도3b 및 도3c의 D1) 또는 지면 이미지 데이터(도3b의 D2)인지를 판단하여 흑백 이미지 데이터로 전환하며, 전환된 흑백 이미지 데이터에서 현재 물체 이미지 데이터(도3d의 D1)의 가장자리 부분을 기준으로 거리 정보와 각도 정보중 적어도 하나를 추출하여 유전 알고리즘(Genetic Algorithm)를 통해 현재 물체 이미지 데이터(도3d의 D1)에 해당하는 현재 물체(도3d의 P)의 위치 정보를 물체 감지부(도2의 104)에서 감지하는 단계를 수행한다.Subsequently, the object detection step S404 receives the current parking space image data corresponding to the parking space (A in Fig. 3A) of the current peripheral area of the vehicle photographed by the parking space photographing part (102 in Fig. 2) (D1 in FIG. 3B), converts the distorted current object image data (D1 in FIGS. 3B and 3C) into a top-view image to generate a bird's-eye view, (D1 in FIG. 3B and FIG. 3C) or ground image data (D2 in FIG. 3B) to switch to monochrome image data. In the converted monochrome image data, current object image data (P in FIG. 3D) corresponding to the current object image data (D1 in FIG. 3D) is extracted through a genetic algorithm (Genetic Algorithm) by extracting at least one of the distance information and the angle information based on the edge portion of the current object Object detection It performs the step of detecting (Fig. 104 in Fig. 2).

이 후, 제 1 판단 단계(S406)는 물체 감지부(도2의 104)에서 감지한 현재 물체(도3d의 P)의 위치 정보가 제어부(도2의 106)에 설정된 기준 물체의 위치 정보 범위인지를 제어부(도2의 106)의 제어에 따라 제 1 판단부(도2의 108)에서 판단하는 단계를 수행한다.Subsequently, the first determining step S406 determines whether the position information of the current object (P in FIG. 3D) sensed by the object sensing unit 104 in FIG. 2 is within the position information range of the reference object set in the control unit (108 in FIG. 2) according to the control of the control unit 106 (FIG. 2).

이 후, 제 1 식별 단계(S407)는 제 1 판단부(도2의 108)에서 현재 물체(도3d의 P)의 위치 정보가 기준 물체의 위치 정보 범위인 것으로 판단할 경우, 현재 물체(도3d의 P)의 위치 상태를 제 1 식별부(도2의 110)에서 식별시키는 단계를 수행한다.Thereafter, in the first identifying step S407, if it is determined in the first determining unit 108 in FIG. 2 that the position information of the current object (P in FIG. 3D) is the position information range of the reference object, (P in FIG. 2) in the first identifying unit (110 in FIG. 2).

이때, 제 1 식별 단계(S407)는 현재 물체 이미지 데이터(도3d의 D1)에 해당하는 현재 물체(도3d의 P)의 위치 정보에서 현재 물체 이미지 데이터(도3d의 D1)에 해당하는 영상 프레임을 갖는 영상 데이터중 제어부(도2의 106)의 제어에 따라 일정 시간 동안의 영상별 프레임을 갖는 영상 데이터를 제 1 식별부(도2의 110)에서 개별적으로 표시하여 현재 물체(도3d의 P)의 위치 상태를 식별시키는 단계일 수가 있다.At this time, in the first identifying step S407, the position of the current object (P in FIG. 3D) corresponding to the current object image data (D1 in FIG. 3D) The image data having frames for each image for a predetermined period of time are separately displayed in the first identifying unit 110 (FIG. 2) according to the control of the control unit 106 (FIG. 2) ) Of the positional information of the first and second apparatuses.

마지막으로, 주차 동작 단계(S408)는 제 1 판단부(도2의 108)에서 현재 물체(미도시)의 위치 정보가 기준 물체의 위치 정보 범위를 벗어나는 것으로 판단할 경우, 제어부(도2의 106)의 제어에 따라 구동부(도2의 112)에서 해당 주차 공간(도3d의 A)의 주차를 위한 조향 장치(도1 및 도2의 30)를 구동시켜 해당 주차 공간(도3d의 A)으로 주차시키는 단계를 수행한다.
2), if the position information of the current object (not shown) is determined to be out of the positional information range of the reference object in the first determination unit 108 in FIG. 2, the parking operation step S408 1 and 2) for parking the corresponding parking space (A in Fig. 3d) is driven in the driving unit (112 in Fig. 2) according to the control of the driver Carry out the parking step.

이와 같은, 본 발명의 제 1 실시예에 따른 주차 보조 장치(100) 및 그 주차 보조 방법(400)은 주차 공간 촬영부(102)와 물체 감지부(104) 및 제어부(106)와 제 1 판단부(108) 및 제 1 식별부(110)와 구동부(112)를 포함하여 주차 공간 촬영 단계(S402)와 물체 감지 단계(S404) 및 제 1 판단 단계(S406)와 제 1 식별 단계(S407) 및 주차 동작 단계(S408)를 수행한다.The parking assisting device 100 and the parking assisting method 400 according to the first embodiment of the present invention can be applied to the parking space photographing section 102, the object detecting section 104, the control section 106, The parking space capturing step S402, the object sensing step S404, the first determining step S406, and the first identifying step S407 including the first determining unit 110 and the driving unit 112, And a parking operation step (S408).

따라서, 본 발명의 제 1 실시예에 따른 주차 보조 장치(100) 및 그 주차 보조 방법(400)은 현재 물체(도3a 내지 도3d의 P)가 존재할 경우 현재 물체(도3a 내지 도3d의 P)의 위치 상태를 식별시켜 주차의 불가능한 상태를 식별시키면서, 현재 물체(미도시)가 없을 경우 해당 주차 공간(도3d의 A)으로 주차시킬 수가 있으므로, 주차의 신뢰성을 향상시킬 수가 있게 된다.Therefore, the parking assisting device 100 and the parking assisting method 400 according to the first embodiment of the present invention can prevent the current object (P in Figs. 3A to 3D) when the current object (P in Figs. 3A to 3D) (FIG. 3D) in the absence of the current object (not shown) while identifying the impossible state of the parking by identifying the positional state of the parking space (FIG. 3D).

또한, 본 발명의 제 1 실시예에 따른 주차 보조 장치(100) 및 그 주차 보조 방법(400)은 일정 시간 동안의 영상별 프레임을 갖는 영상 데이터를 개별적으로 표시하여 현재 물체(도3a 내지 도3d의 P)의 위치 상태를 식별시킬 수가 있으므로, 현재 물체(도3a 내지 도3d의 P)의 위치 상태를 빠르게 확인할 수가 있어 해당 주차 공간(도3d의 A)으로 더욱 빠르게 주차시킬 수가 있게 된다.
In addition, the parking assisting device 100 and the parking assisting method 400 according to the first embodiment of the present invention individually display image data having a frame for each image for a predetermined period of time, The positional state of the current object (P in Figs. 3A to 3D) can be quickly checked, and parking can be performed more quickly in the parking space (A in Fig. 3D).

<제 2 실시예>&Lt; Embodiment 2 >

도 5는 본 발명의 제 2 실시예에 따른 주차 보조 장치를 일예로 나타낸 블럭 구성도이다.5 is a block diagram showing an example of a parking assisting device according to a second embodiment of the present invention.

도 5를 참조하면, 본 발명의 제 2 실시예에 따른 주차 보조 장치(500)는 제 1 실시예에 따른 주차 보조 장치(100)와 동일하게 주차 공간 촬영부(102)와 물체 감지부(104) 및 제어부(106)와 제 1 판단부(108) 및 제 1 식별부(110)와 구동부(112)를 포함한다.5, the parking assisting apparatus 500 according to the second embodiment of the present invention includes the parking space photographing unit 102 and the object detecting unit 104 (see FIG. 5) in the same manner as the parking assisting apparatus 100 according to the first embodiment, A control unit 106, a first determination unit 108, a first identification unit 110, and a driving unit 112.

이러한, 본 발명의 제 2 실시예에 따른 주차 보조 장치(500)에 해당하는 각각의 구성요소들에 대한 기능 및 그것들 간의 유기적인 연결 관계는 제 1 실시예에 따른 주차 보조 장치(100)에 해당하는 각각의 구성요소들에 대한 기능 및 그것들 간의 유기적인 연결 관계와 동일하므로, 이것에 대한 각각의 부연 설명들은 이하 생략하기로 한다.The function of each component corresponding to the parking assist device 500 according to the second embodiment of the present invention and the organic connection relation therebetween are the same as those of the parking assist device 100 according to the first embodiment The functions of the respective components and the organic connection relationship therebetween are the same, so that the respective further explanations thereof will be omitted below.

여기에, 본 발명의 제 2 실시예에 따른 주차 보조 장치(500)는 제 2 판단부(514)와 제 2 식별부(516)를 더 포함한다.The parking assisting device 500 according to the second embodiment of the present invention further includes a second determining unit 514 and a second identifying unit 516.

이때, 제어부(506)는 기준 주차 공간 이미지 데이터 범위를 더 포함한다.At this time, the control unit 506 further includes a reference parking space image data range.

즉, 제 2 판단부(514)는 제 1 판단부(108)에서 현재 물체(도3d의 P)의 위치 정보가 기준 물체의 위치 정보 범위를 벗어나는 것으로 판단할 경우, 차량의 현재 주변 영역의 주차 공간(도3d의 A)에 해당하는 현재 주차 공간 이미지 데이터가 기준 주차 공간 이미지 데이터 범위인지를 제어부(506)의 제어에 따라 판단하도록 제공된다.That is, when the first determination unit 108 determines that the position information of the current object (P in FIG. 3D) is out of the position information range of the reference object, the second determination unit 514 determines that the current position of the vehicle The controller 506 determines whether the current parking space image data corresponding to the space (A in FIG. 3D) is the reference parking space image data range under the control of the control unit 506. FIG.

이때, 제 2 판단부(514)는 현재 주차 공간 이미지 데이터에 해당하는 현재 주차 공간 이미지 패턴이 기준 주차 공간 이미지 데이터 범위에 해당하는 기준 주차 공간 이미지 패턴 범위인지를 제어부(506)의 제어에 따라 판단하도록 제공될 수가 있다.At this time, the second determination unit 514 determines whether the current parking space image pattern corresponding to the current parking space image data is a reference parking space image pattern range corresponding to the reference parking space image data range according to the control of the control unit 506 . &Lt; / RTI &gt;

여기서, 제 2 판단부(514)는 도시하지는 않았지만, 차량에 적용되는 메인 컴퓨터로 전체적인 동작을 판단하거나, 엔진의 내부적인 동작을 판단하는 통상적인 ECU(Electric Control Unit, Engine Control Unit, 미도시) 또는 단일 칩 내부에 프로세서와 메모리 및 입출력 장치를 갖춰 전체적인 동작을 판단하는 통상적인 MCU(Micro Control Unit, 미도시)를 포함하여 제공될 수가 있으며, 이에 한정하지 않고 차량의 전체적인 동작을 판단할 수 있는 모든 판단 수단이면 가능하다.Here, although not shown, the second determination unit 514 may be a general ECU (Electric Control Unit) (not shown) that determines the overall operation of the vehicle by a main computer applied to the vehicle or determines an internal operation of the engine, Or a conventional microcontroller (MCU) (not shown) that has a processor, a memory, and an input / output device in a single chip to determine the overall operation, and the present invention is not limited thereto. All means of judgment are possible.

또한, 제 2 식별부(516)는 제 2 판단부(514)에서 현재 주차 공간 이미지 데이터가 기준 주차 공간 이미지 데이터 범위인 것으로 판단할 경우, 현재 주차 공간 이미지 데이터에 해당하는 현재 주차 공간(도3d의 A)의 상황을 식별시키도록 제공된다.If the second determination unit 514 determines that the current parking space image data is in the reference parking space image data range, the second identification unit 516 determines that the current parking space corresponding to the current parking space image data To identify the situation of A).

이때, 제 2 식별부(516)는 현재 주차 공간 이미지 데이터에 해당하는 영상 프레임을 갖는 영상 데이터중 제어부(도5의 506)의 제어에 따라 일정 시간 동안의 영상별 프레임을 갖는 영상 데이터를 개별적으로 표시하여 현재 주차 공간(도3d의 A)의 상황을 식별시키도록 제공될 수가 있다.At this time, the second identification unit 516 extracts image data having a frame per image for a certain period of time according to the control of the control unit (506 in FIG. 5) among the image data having the image frame corresponding to the current parking space image data, And may be provided to identify the current parking space (A in Fig. 3d).

여기서, 제 2 식별부(516)는 도시하지는 않았지만, 운전자가 차량의 정보나 상태를 식별하기 위해 제공되는 스피커(미도시)와 발광 부재(미도시) 및 HMI(Human Machine Interface) 모듈(미도시)과 HUD(Head-UP Display) 모듈(미도시)중 적어도 하나를 포함하여 스피커(미도시)의 음성 동작과 발광 부재(미도시)의 발광 동작 및 HMI(Human Machine Interface) 모듈(미도시)의 HMI(Human Machine Interface) 메시지 표시 동작과 HUD(Head-UP Display) 모듈(미도시)의 HUD(Head-UP Display) 메시지 표시 동작중 적어도 하나의 동작을 통해 현재 주차 공간(도3d의 A)의 상황을 식별시킬 수가 있다.Although not shown, the second identification unit 516 may include a speaker (not shown), a light emitting member (not shown), and an HMI (human machine interface) module (not shown) provided for the driver to identify the vehicle information or status (Not shown), a light emitting operation of a light emitting member (not shown), and a HMI (Human Machine Interface) module (not shown), including at least one of a head- (A in FIG. 3d) through at least one operation of displaying the HMI (Human Machine Interface) message of the HUD (Head-UP Display) module (not shown) and the HUD Can be identified.

이러한, 본 발명의 제 2 실시예에 따른 주차 보조 장치(500)를 이용하여 주차를 보조하기 위한 주차 보조 방법을 살펴보면 다음 도 6 및 도 7과 같다.
A parking assistance method for assisting parking using the parking assist device 500 according to the second embodiment of the present invention will be described with reference to FIGS. 6 and 7. FIG.

도 6은 본 발명의 제 2 실시예에 따른 주차 보조 장치의 주차 보조 방법을 나타낸 순서도이고, 도 7은 본 발명의 제 2 실시예에 따른 주차 보조 장치의 주차 보조 방법을 일예로 나타낸 순서도이다.FIG. 6 is a flowchart showing a parking assisting method of a parking assisting apparatus according to a second embodiment of the present invention, and FIG. 7 is a flowchart showing an example of a parking assisting method of the parking assisting apparatus according to the second embodiment of the present invention.

도 6 및 도 7를 참조하면, 본 발명의 제 2 실시예에 따른 주차 보조 장치(500)의 주차 보조 방법(600, 700)은 제 1 실시예에 따른 주차 보조 장치(100)의 주차 보조 방법(400)과 동일하게 주차 공간 촬영 단계(S402)와 물체 감지 단계(S404) 및 제 1 판단 단계(S406)와 제 1 식별 단계(S407) 및 주차 동작 단계(S408)를 포함한다.6 and 7, the parking assisting method 600, 700 of the parking assisting device 500 according to the second embodiment of the present invention is similar to the parking assisting method 100 of the parking assisting device 100 according to the first embodiment (S402), an object detection step (S404), a first determination step (S406), a first identification step (S407), and a parking operation step (S408).

이러한, 본 발명의 제 2 실시예에 따른 주차 보조 장치(500)의 주차 보조 방법(600, 700)에 해당하는 각각의 단계들에 대한 기능 및 그것들 간의 유기적인 연결 관계는 제 1 실시예에 따른 주차 보조 장치(100)의 주차 보조 방법(400)에 해당하는 각각의 단계들에 대한 기능 및 그것들 간의 유기적인 연결 관계와 동일하므로, 이것에 대한 각각의 부연 설명들은 이하 생략하기로 한다.The function of each step corresponding to the parking assisting method 600, 700 of the parking assisting device 500 according to the second embodiment of the present invention and the organic connection relation between them are the same as those of the first embodiment The function of each step corresponding to the parking assisting method 400 of the parking assisting device 100 and the organic connection relation therebetween are the same as those of the parking assisting method 400. Hereinafter, respective additional descriptions thereof will be omitted.

여기에, 본 발명의 제 2 실시예에 따른 주차 보조 장치(500)의 주차 보조 방법(600, 700)은 제 1 판단 단계(S406) 이후에, 제 2 판단 단계(S606, S706)와 제 2 식별 단계(S607)를 더 수행한다.Hereinafter, the parking assisting method 600, 700 of the parking assisting device 500 according to the second embodiment of the present invention is configured such that after the first judging step S406, the second judging step (S606, S706) Step S607 is further performed.

일예로, 본 발명의 제 2 실시예에 따른 주차 보조 장치(500)의 주차 보조 방법(600, 700)은 제 1 판단 단계(S406) 이후에, 제 2 판단 단계(S606, S706)와 제 2 식별 단계(S607)를 더 수행할 수가 있다.For example, the parking assisting method 600, 700 of the parking assisting device 500 according to the second embodiment of the present invention may be configured such that after the first determining step S406, the second determining step (S606, S706) The identification step S607 may be further performed.

즉, 제 2 판단 단계(S606)는 제 1 판단부(108)에서 현재 물체(미도시)의 위치 정보가 기준 물체의 위치 정보 범위를 벗어나는 것으로 판단할 경우, 차량의 현재 주변 영역의 주차 공간(도3d의 A)에 해당하는 현재 주차 공간 이미지 데이터가 제어부(도5의 506)에 설정된 기준 주차 공간 이미지 데이터 범위인지를 제어부(도5의 506)의 제어에 따라 제 2 판단부(도5의 514)에서 판단하는 단계를 수행한다.That is, when the first determining unit 108 determines that the position information of the current object (not shown) is out of the positional information range of the reference object, the second determining step S606 determines whether or not the parking space 5D) in accordance with the control of the control unit (506 in FIG. 5) whether the current parking space image data corresponding to A in FIG. 3D is the reference parking space image data range set in the control unit (506 in FIG. 5) 514). &Lt; / RTI &gt;

이때, 도 7에 도시된 바와 같이 제 2 판단 단계(S706)는 현재 주차 공간 이미지 데이터에 해당하는 현재 주차 공간 이미지 패턴이 기준 주차 공간 이미지 데이터 범위에 해당하는 기준 주차 공간 이미지 패턴 범위인지를 제어부(도5의 506)의 제어에 따라 제 2 판단부(도5의 514)에서 판단하는 단계를 수행할 수가 있다.7, the second determination step S706 determines whether the current parking space image pattern corresponding to the current parking space image data is a reference parking space image pattern range corresponding to the reference parking space image data range, 5) of FIG. 5 according to the control of the second determination unit (Step 506 of FIG. 5).

이 후, 제 2 식별 단계(S607)는 제 2 판단부(도5의 514)에서 현재 주차 공간 이미지 데이터가 기준 주차 공간 이미지 데이터 범위인 것으로 판단할 경우, 현재 주차 공간 이미지 데이터에 해당하는 현재 주차 공간(도3d의 A)의 상황을 제 2 식별부(도5의 516)에서 식별시키는 단계를 수행한다.Thereafter, in the second identification step S607, if it is determined that the current parking space image data is in the range of the reference parking space image data in the second determination unit (514 in FIG. 5), the current parking space corresponding to the current parking space image data And performs the step of identifying the state of the space (A in FIG. 3D) at the second identification portion (516 in FIG. 5).

이때, 제 2 식별 단계(S607)는 현재 주차 공간 이미지 데이터에 해당하는 영상 프레임을 갖는 영상 데이터중 제어부(도5의 506)의 제어에 따라 일정 시간 동안의 영상별 프레임을 갖는 영상 데이터를 제 2 식별부(도5의 516)에서 개별적으로 표시하여 현재 주차 공간(도3d의 A)의 상황을 식별시키는 단계일 수가 있다.
At this time, in the second identification step S607, the control unit (506 in FIG. 5) of the image data having the image frame corresponding to the current parking space image data sets the image data having the image- The identification of the current parking space (A in Fig. 3d) by separately displaying them in the identification unit (516 in Fig. 5).

이와 같은, 본 발명의 제 2 실시예에 따른 주차 보조 장치(500) 및 그 주차 보조 방법(600, 700)은 주차 공간 촬영부(102)와 물체 감지부(104) 및 제어부(106)와 제 1 판단부(108) 및 제 1 식별부(110)와 구동부(112) 및 제 2 판단부(514)와 제 2 식별부(516)를 포함하여 주차 공간 촬영 단계(S402)와 물체 감지 단계(S404) 및 제 1 판단 단계(S406)와 제 1 식별 단계(S407) 및 제 2 판단 단계(S606, S706)와 제 2 식별 단계(S607) 및 주차 동작 단계(S408)를 수행한다.The parking assisting device 500 and the parking assisting methods 600 and 700 according to the second embodiment of the present invention are provided with the parking space photographing part 102, the object detecting part 104, the control part 106, The parking space photographing step S402 and the object detecting step S402 including the first judging unit 108 and the first identifying unit 110, the driving unit 112, the second judging unit 514 and the second identifying unit 516, The first determination step S404 and the first determination step S406, the first identification step S407, the second determination steps S606 and S706, the second identification step S607, and the parking operation step S408.

따라서, 본 발명의 제 2 실시예에 따른 주차 보조 장치(500) 및 그 주차 보조 방법(600, 700)은 현재 물체(도3a 내지 도3d의 P)가 존재할 경우 현재 물체(도3a 내지 도3d의 P)의 위치 상태를 식별시켜 주차의 불가능한 상태를 식별시키면서, 현재 물체(미도시)가 없을 경우 현재 주차 공간(도3d의 A)의 주차 가능한 상황을 식별시켜 해당 주차 공간(도3d의 A)으로 주차시킬 수가 있으므로, 주차의 신뢰성을 향상시키면서 주차의 편리함을 제공할 수가 있게 된다.Therefore, the parking assisting device 500 and the parking assisting methods 600 and 700 according to the second embodiment of the present invention can prevent a current object (P in FIGS. 3A to 3D) (P in Fig. 3d), and identifies a possible parking situation in the current parking space (A in Fig. 3d) when there is no current object (not shown) It is possible to provide convenience of parking while improving reliability of parking.

또한, 본 발명의 제 2 실시예에 따른 주차 보조 장치(500) 및 그 주차 보조 방법(600, 700)은 일정 시간 동안의 영상별 프레임을 갖는 영상 데이터를 개별적으로 표시하여 현재 물체(도3a 내지 도3d의 P)의 위치 상태를 식별시킬 수가 있으므로, 현재 물체(도3a 내지 도3d의 P)의 위치 상태를 빠르게 확인할 수가 있어 해당 주차 공간(도3d의 A)으로 더욱 빠르게 주차시킬 수가 있게 된다.
The parking assisting device 500 and the parking assisting methods 600 and 700 according to the second embodiment of the present invention individually display image data having a frame per image for a predetermined time period to detect a current object (P in Fig. 3D), it is possible to quickly check the position of the current object (P in Figs. 3A to 3D), and parking can be performed more quickly in the corresponding parking space .

본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It will be understood by those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. Therefore, it should be understood that the above-described embodiments are to be considered in all respects as illustrative and not restrictive, the scope of the invention being indicated by the appended claims rather than the foregoing description, It is intended that all changes and modifications derived from the equivalent concept be included within the scope of the present invention.

Claims (12)

차량을 주차할 시에 주차 모드 동작 장치로부터 주차 모드 동작 신호를 공급받아 AVM(Around View Monitor) 카메라를 이용하여 상기 차량의 현재 주변 영역의 주차 공간을 촬영하는 주차 공간 촬영부와;
상기 주차 공간 촬영부에서 촬영한 차량의 현재 주변 영역의 주차 공간에 해당하는 현재 주차 공간 이미지 데이터를 공급받아 현재 물체 이미지 데이터를 감지하되, 신경망(neural network)과 유전 알고리즘(Genetic Algorithm)를 통해 상기 현재 물체 이미지 데이터의 가장자리 부분을 기준으로 거리 정보와 각도 정보중 적어도 하나를 추출하여 상기 현재 물체 이미지 데이터에 해당하는 현재 물체의 위치 정보를 감지하는 물체 감지부와;
상기 물체 감지부에서 감지한 상기 현재 물체의 위치 정보를 공급받고, 이미 설정된 기준 물체의 위치 정보 범위를 포함하는 제어부와;
상기 물체 감지부에서 감지한 상기 현재 물체의 위치 정보가 상기 기준 물체의 위치 정보 범위인지를 상기 제어부의 제어에 따라 판단하는 제 1 판단부와;
상기 제 1 판단부에서 상기 현재 물체의 위치 정보가 상기 기준 물체의 위치 정보 범위인 것으로 판단할 경우, 상기 현재 물체의 위치 상태를 식별시키는 제 1 식별부; 및
상기 제 1 판단부에서 상기 현재 물체의 위치 정보가 상기 기준 물체의 위치 정보 범위를 벗어나는 것으로 판단할 경우, 상기 제어부의 제어에 따라 해당 주차 공간의 주차를 위한 조향 장치를 구동시켜 상기 해당 주차 공간으로 주차시키는 구동부를 포함하는 주차 보조 장치.
A parking space photographing unit for receiving a parking mode operation signal from the parking mode operation device when the vehicle is parked and photographing a parking space in a current peripheral area of the vehicle using an AVM (Around View Monitor) camera;
The parking space photographing unit receives the current parking space image data corresponding to the parking space of the current peripheral area of the vehicle and senses the current object image data, and detects the current object space image data by using the neural network and the genetic algorithm An object detecting unit for extracting at least one of distance information and angle information based on an edge portion of the current object image data and detecting position information of the current object corresponding to the current object image data;
A controller receiving positional information of the current object sensed by the object sensing unit and including a positional information range of a previously set reference object;
A first judging unit for judging whether the position information of the current object detected by the object detecting unit is a position information range of the reference object under the control of the controller;
A first identifying unit for identifying a position state of the current object when the first determining unit determines that the position information of the current object is the position information range of the reference object; And
When the first determination unit determines that the position information of the current object is out of the position information range of the reference object, drives the steering apparatus for parking the corresponding parking space under the control of the control unit, A parking assist device for parking the vehicle.
제 1항에 있어서,
상기 물체 감지부는,
상기 주차 공간 촬영부에서 촬영한 차량의 현재 주변 영역의 주차 공간에 해당하는 현재 주차 공간 이미지 데이터를 공급받아 현재 물체 이미지 데이터를 감지하되, 왜곡된 현재 물체 이미지 데이터를 탑-뷰(Top-view) 영상으로 변환하여 조감도를 생성하고, 상기 신경망(neural network)으로 상기 현재 물체 이미지 데이터 또는 지면 이미지 데이터인지를 판단하여 흑백 이미지 데이터로 전환하며, 전환된 흑백 이미지 데이터에서 상기 현재 물체 이미지 데이터의 가장자리 부분을 기준으로 거리 정보와 각도 정보중 적어도 하나를 추출하여 상기 유전 알고리즘(Genetic Algorithm)를 통해 상기 현재 물체 이미지 데이터에 해당하는 현재 물체의 위치 정보를 감지하는 것을 특징으로 하는 주차 보조 장치.
The method according to claim 1,
Wherein the object detection unit comprises:
A current parking space image data corresponding to a parking space of a current peripheral area of the vehicle photographed by the parking space photographing part is received and the current object image data is sensed and the distorted current object image data is top- Image data is converted into monochrome image data by judging whether the current object image data or ground image data is the current object image data or the ground image data with the neural network, Extracts at least one of distance information and angle information based on the current object image data, and detects position information of a current object corresponding to the current object image data through the genetic algorithm.
제 1항에 있어서,
상기 제 1 식별부는,
상기 현재 물체 이미지 데이터에 해당하는 현재 물체의 위치 정보에서 상기 현재 물체 이미지 데이터에 해당하는 영상 프레임을 갖는 영상 데이터중 상기 제어부의 제어에 따라 일정 시간 동안의 영상별 프레임을 갖는 영상 데이터를 개별적으로 표시하여 상기 현재 물체의 위치 상태를 식별시키는 것을 특징으로 하는 주차 보조 장치.
The method according to claim 1,
Wherein the first identification unit comprises:
The image data having an image frame corresponding to the current object image data is displayed separately from the position information of the current object corresponding to the current object image data under the control of the control unit among the image data having the image frame corresponding to the current object image data Thereby identifying the current position of the object.
제 1항에 있어서,
상기 제어부는 기준 주차 공간 이미지 데이터 범위를 더 포함하고;
상기 제 1 판단부에서 상기 현재 물체의 위치 정보가 상기 기준 물체의 위치 정보 범위를 벗어나는 것으로 판단할 경우, 상기 차량의 현재 주변 영역의 주차 공간에 해당하는 현재 주차 공간 이미지 데이터가 상기 기준 주차 공간 이미지 데이터 범위인지를 상기 제어부의 제어에 따라 판단하는 제 2 판단부를 더 포함하며;
상기 제 2 판단부에서 상기 현재 주차 공간 이미지 데이터가 상기 기준 주차 공간 이미지 데이터 범위인 것으로 판단할 경우, 상기 현재 주차 공간 이미지 데이터에 해당하는 현재 주차 공간의 상황을 식별시키는 제 2 식별부를 더 포함하는 주차 보조 장치.
The method according to claim 1,
Wherein the control unit further comprises a reference parking space image data range;
When the first determination unit determines that the position information of the current object is out of the position information range of the reference object, the current parking space image data corresponding to the parking space of the current peripheral region of the vehicle is the reference parking space image And a second determination unit for determining whether the data range is a data range according to the control of the control unit;
Further comprising a second identification unit for identifying a current parking space corresponding to the current parking space image data when the second determination unit determines that the current parking space image data is in the reference parking space image data range Parking aid.
제 4항에 있어서,
상기 제 2 판단부는,
상기 현재 주차 공간 이미지 데이터에 해당하는 현재 주차 공간 이미지 패턴이 상기 기준 주차 공간 이미지 데이터 범위에 해당하는 기준 주차 공간 이미지 패턴 범위인지를 상기 제어부의 제어에 따라 판단하는 것을 특징으로 하는 주차 보조 장치.
5. The method of claim 4,
The second determination unit may determine,
Wherein the control unit determines whether the current parking space image pattern corresponding to the current parking space image data is a reference parking space image pattern range corresponding to the reference parking space image data range according to the control of the control unit.
제 4항에 있어서,
상기 제 2 식별부는,
상기 현재 주차 공간 이미지 데이터에 해당하는 영상 프레임을 갖는 영상 데이터중 상기 제어부의 제어에 따라 일정 시간 동안의 영상별 프레임을 갖는 영상 데이터를 개별적으로 표시하여 상기 현재 주차 공간의 상황을 식별시키는 것을 특징으로 하는 주차 보조 장치.
5. The method of claim 4,
Wherein the second identification unit comprises:
Wherein the image data having an image frame corresponding to the current parking space image data is separately displayed according to the control of the control unit and having a frame for each image for a predetermined period of time to identify the current state of the current parking space Parking assist device.
차량을 주차할 시에 주차 모드 동작 장치로부터 주차 모드 동작 신호를 공급받아 AVM(Around View Monitor) 카메라를 이용하여 차량의 현재 주변 영역의 주차 공간을 주차 공간 촬영부에서 촬영하는 주차 공간 촬영 단계와;
상기 주차 공간 촬영부에서 촬영한 차량의 현재 주변 영역의 주차 공간에 해당하는 현재 주차 공간 이미지 데이터를 공급받아 현재 물체 이미지 데이터를 감지하되, 신경망(neural network)과 유전 알고리즘(Genetic Algorithm)를 통해 상기 현재 물체 이미지 데이터의 가장자리 부분을 기준으로 거리 정보와 각도 정보중 적어도 하나를 추출하여 상기 현재 물체 이미지 데이터에 해당하는 현재 물체의 위치 정보를 물체 감지부에서 감지하는 물체 감지 단계와;
상기 물체 감지부에서 감지한 상기 현재 물체의 위치 정보가 제어부에 설정된 기준 물체의 위치 정보 범위인지를 상기 제어부의 제어에 따라 제 1 판단부에서 판단하는 제 1 판단 단계와;
상기 제 1 판단부에서 상기 현재 물체의 위치 정보가 상기 기준 물체의 위치 정보 범위인 것으로 판단할 경우, 상기 현재 물체의 위치 상태를 제 1 식별부에서 식별시키는 제 1 식별 단계; 및
상기 제 1 판단부에서 상기 현재 물체의 위치 정보가 상기 기준 물체의 위치 정보 범위를 벗어나는 것으로 판단할 경우, 상기 제어부의 제어에 따라 구동부에서 해당 주차 공간의 주차를 위한 조향 장치를 구동시켜 상기 해당 주차 공간으로 주차시키는 주차 동작 단계를 포함하는 주차 보조 방법.
A parking space photographing step of taking a parking mode operation signal from a parking mode operation device when the vehicle is parked and taking a parking space in a current peripheral area of the vehicle using an AVM (Around View Monitor) camera;
The parking space photographing unit receives the current parking space image data corresponding to the parking space of the current peripheral area of the vehicle and senses the current object image data, and detects the current object space image data by using the neural network and the genetic algorithm An object detecting step of extracting at least one of distance information and angle information based on an edge portion of the current object image data and detecting position information of the current object corresponding to the current object image data by the object detecting unit;
A first determination step of determining, by the first determination unit, whether the position information of the current object detected by the object detection unit is a position information range of the reference object set in the control unit according to the control of the control unit;
A first identification step of identifying, in the first identification unit, a positional state of the current object when the first determination unit determines that the positional information of the current object is the positional information range of the reference object; And
When the first determining unit determines that the position information of the current object is out of the position information range of the reference object, the driving unit drives the steering device for parking the corresponding parking space under the control of the control unit, And parking the parking space.
제 7항에 있어서,
상기 물체 감지 단계는,
상기 주차 공간 촬영부에서 촬영한 차량의 현재 주변 영역의 주차 공간에 해당하는 현재 주차 공간 이미지 데이터를 공급받아 현재 물체 이미지 데이터를 감지하되, 왜곡된 현재 물체 이미지 데이터를 탑-뷰(Top-view) 영상으로 변환하여 조감도를 생성하고, 상기 신경망(neural network)으로 상기 현재 물체 이미지 데이터 또는 지면 이미지 데이터인지를 판단하여 흑백 이미지 데이터로 전환하며, 전환된 흑백 이미지 데이터에서 상기 현재 물체 이미지 데이터의 가장자리 부분을 기준으로 거리 정보와 각도 정보중 적어도 하나를 추출하여 상기 유전 알고리즘(Genetic Algorithm)를 통해 상기 현재 물체 이미지 데이터에 해당하는 현재 물체의 위치 정보를 물체 감지부에서 감지하는 단계인 것을 특징으로 하는 주차 보조 방법.
8. The method of claim 7,
The object sensing step may include:
A current parking space image data corresponding to a parking space of a current peripheral area of the vehicle photographed by the parking space photographing part is received and the current object image data is sensed and the distorted current object image data is top- Image data is converted into monochrome image data by judging whether the current object image data or ground image data is the current object image data or the ground image data with the neural network, Extracting at least one of the distance information and the angle information based on the current object image data and detecting the position information of the current object corresponding to the current object image data through the genetic algorithm Assistive methods.
제 7항에 있어서,
상기 제 1 식별 단계는,
상기 현재 물체 이미지 데이터에 해당하는 현재 물체의 위치 정보에서 상기 현재 물체 이미지 데이터에 해당하는 영상 프레임을 갖는 영상 데이터중 상기 제어부의 제어에 따라 일정 시간 동안의 영상별 프레임을 갖는 영상 데이터를 상기 제 1 식별부에서 개별적으로 표시하여 상기 현재 물체의 위치 상태를 식별시키는 단계인 것을 특징으로 하는 주차 보조 방법.
8. The method of claim 7,
Wherein the first identifying step comprises:
The image data having an image frame corresponding to the current object image data corresponding to the current object image data, the image data having a frame per image for a predetermined time under the control of the control unit, And identifying the position of the current object by individually displaying the position of the current object.
제 7항에 있어서,
상기 제 1 판단 단계 이후에,
상기 제 1 판단부에서 상기 현재 물체의 위치 정보가 상기 기준 물체의 위치 정보 범위를 벗어나는 것으로 판단할 경우, 상기 차량의 현재 주변 영역의 주차 공간에 해당하는 현재 주차 공간 이미지 데이터가 상기 제어부에 설정된 기준 주차 공간 이미지 데이터 범위인지를 상기 제어부의 제어에 따라 제 2 판단부에서 판단하는 제 2 판단 단계를 더 수행하고;
상기 제 2 판단부에서 상기 현재 주차 공간 이미지 데이터가 상기 기준 주차 공간 이미지 데이터 범위인 것으로 판단할 경우, 상기 현재 주차 공간 이미지 데이터에 해당하는 현재 주차 공간의 상황을 제 2 식별부에서 식별시키는 제 2 식별 단계를 더 수행하는 주차 보조 방법.
8. The method of claim 7,
After the first determination step,
Wherein when the first determination unit determines that the position information of the current object is out of the position information range of the reference object, the current parking space image data corresponding to the parking space of the current peripheral region of the vehicle is determined as the reference Further comprising: a second determination step of determining, by the second determination unit, whether the parking space is an image data range under the control of the control unit;
Wherein the second determination unit determines that the current parking space image data is in the reference parking space image data range, and identifies, in the second identification unit, the current parking space condition corresponding to the current parking space image data, Further comprising an identifying step.
제 10항에 있어서,
상기 제 2 판단 단계는,
상기 현재 주차 공간 이미지 데이터에 해당하는 현재 주차 공간 이미지 패턴이 상기 기준 주차 공간 이미지 데이터 범위에 해당하는 기준 주차 공간 이미지 패턴 범위인지를 상기 제어부의 제어에 따라 상기 제 2 판단부에서 판단하는 단계인 것을 특징으로 하는 주차 보조 방법.
11. The method of claim 10,
Wherein the second determination step comprises:
The second determination unit determines whether the current parking space image pattern corresponding to the current parking space image data is a reference parking space image pattern range corresponding to the reference parking space image data range under the control of the control unit Features a parking assistant method.
제 10항에 있어서,
상기 제 2 식별 단계는,
상기 현재 주차 공간 이미지 데이터에 해당하는 영상 프레임을 갖는 영상 데이터중 상기 제어부의 제어에 따라 일정 시간 동안의 영상별 프레임을 갖는 영상 데이터를 상기 제 2 식별부에서 개별적으로 표시하여 상기 현재 주차 공간의 상황을 식별시키는 단계인 것을 특징으로 하는 주차 보조 방법.
11. The method of claim 10,
Wherein the second identifying step comprises:
The image data having an image frame corresponding to a predetermined time according to the control of the control unit among the image data having the image frame corresponding to the current parking space image data is separately displayed in the second identification unit, The parking assisting method comprising the steps of:
KR1020130007264A 2013-01-23 2013-01-23 Apparatus for assisting parking and method for assisting thereof KR101715014B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130007264A KR101715014B1 (en) 2013-01-23 2013-01-23 Apparatus for assisting parking and method for assisting thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130007264A KR101715014B1 (en) 2013-01-23 2013-01-23 Apparatus for assisting parking and method for assisting thereof

Publications (2)

Publication Number Publication Date
KR20140094794A true KR20140094794A (en) 2014-07-31
KR101715014B1 KR101715014B1 (en) 2017-03-10

Family

ID=51740309

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130007264A KR101715014B1 (en) 2013-01-23 2013-01-23 Apparatus for assisting parking and method for assisting thereof

Country Status (1)

Country Link
KR (1) KR101715014B1 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105129295A (en) * 2015-09-24 2015-12-09 中联重科股份有限公司 Backing-up control method, device and system and rubbish transfer truck
CN106446811A (en) * 2016-09-12 2017-02-22 北京智芯原动科技有限公司 Deep-learning-based driver's fatigue detection method and apparatus
CN106891888A (en) * 2015-12-17 2017-06-27 福特全球技术公司 Steering signal of vehicle is detected
GB2548197A (en) * 2016-01-11 2017-09-13 Ford Global Tech Llc System and method for reverse perpendicular parking a vehicle
CN107284443A (en) * 2016-04-12 2017-10-24 福特全球技术公司 Detect available parking places
US10124730B2 (en) 2016-03-17 2018-11-13 Ford Global Technologies, Llc Vehicle lane boundary position
CN109726637A (en) * 2018-12-03 2019-05-07 初速度（苏州）科技有限公司 The parking site detecting system and method in parking stall region are indicated with resilient polygonal
CN109800658A (en) * 2018-12-26 2019-05-24 中汽研（天津）汽车工程研究院有限公司 Parking position type online recognition neural network based and positioning system and method
CN111491854A (en) * 2018-04-27 2020-08-04 宝马股份公司 Method, device, computer program and computer program product for driving maneuver assistance for a vehicle

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11783597B2 (en) 2020-12-30 2023-10-10 Continental Autonomous Mobility US, LLC Image semantic segmentation for parking space detection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100096757A (en) * 2009-02-25 2010-09-02 주식회사 만도 Method and apparatus for controlling parking
JP4765213B2 (en) * 2001-07-19 2011-09-07 日産自動車株式会社 Parking assistance device for vehicles
JP5459536B2 (en) * 2009-09-15 2014-04-02 アイシン精機株式会社 Parking space guidance system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4765213B2 (en) * 2001-07-19 2011-09-07 日産自動車株式会社 Parking assistance device for vehicles
KR20100096757A (en) * 2009-02-25 2010-09-02 주식회사 만도 Method and apparatus for controlling parking
JP5459536B2 (en) * 2009-09-15 2014-04-02 アイシン精機株式会社 Parking space guidance system

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105129295A (en) * 2015-09-24 2015-12-09 中联重科股份有限公司 Backing-up control method, device and system and rubbish transfer truck
CN106891888A (en) * 2015-12-17 2017-06-27 福特全球技术公司 Steering signal of vehicle is detected
CN106891888B (en) * 2015-12-17 2022-04-29 福特全球技术公司 Vehicle turn signal detection
GB2548197A (en) * 2016-01-11 2017-09-13 Ford Global Tech Llc System and method for reverse perpendicular parking a vehicle
US10124730B2 (en) 2016-03-17 2018-11-13 Ford Global Technologies, Llc Vehicle lane boundary position
CN107284443A (en) * 2016-04-12 2017-10-24 福特全球技术公司 Detect available parking places
CN106446811A (en) * 2016-09-12 2017-02-22 北京智芯原动科技有限公司 Deep-learning-based driver's fatigue detection method and apparatus
CN111491854A (en) * 2018-04-27 2020-08-04 宝马股份公司 Method, device, computer program and computer program product for driving maneuver assistance for a vehicle
US11820379B2 (en) 2018-04-27 2023-11-21 Bayerische Motoren Werke Aktiengesellschaft Method for driving maneuver assistance of a vehicle, device, computer program, and computer program product
CN109726637A (en) * 2018-12-03 2019-05-07 初速度（苏州）科技有限公司 The parking site detecting system and method in parking stall region are indicated with resilient polygonal
CN109800658A (en) * 2018-12-26 2019-05-24 中汽研（天津）汽车工程研究院有限公司 Parking position type online recognition neural network based and positioning system and method

Also Published As

Publication number Publication date
KR101715014B1 (en) 2017-03-10

Similar Documents

Publication Publication Date Title
KR101715014B1 (en) Apparatus for assisting parking and method for assisting thereof
US20200363534A1 (en) Imaging device and electronic device
US11688162B2 (en) Drive assist device
US8330816B2 (en) Image processing device
JP4412380B2 (en) Driving support device, driving support method, and computer program
TWI506601B (en) Vehicle monitoring system and method thereof
WO2017066956A1 (en) Vehicle surveillance method and apparatus
KR101729486B1 (en) Around view monitor system for detecting blind spot and method thereof
KR20060021922A (en) Two camera based obstacle detection method and device
KR20120086577A (en) Apparatus And Method Detecting Side Vehicle Using Camera
JP2005202787A (en) Display device for vehicle
KR101601500B1 (en) System and Method for assisting vehicle driving for using smartphone
JP2011103058A (en) Erroneous recognition prevention device
KR101585442B1 (en) Apparatus for assisting parking and method for assisting thereof
JP5720400B2 (en) Image processing apparatus and image processing method
JP2011191859A (en) Apparatus for monitoring surroundings of vehicle
CN104097572A (en) Vehicle driving auxiliary device and method
TW201441079A (en) Vehicle assistance system and vehicle assistance method
JP2009020647A (en) Three-dimensional object detection method and solid object detection device
KR101414572B1 (en) Apparatus for assisting in recognizing lane and method for assisting thereof
JP5157845B2 (en) Visual assistance device
KR101577660B1 (en) Apparatus for assisting parking and method for assisting thereof
JP2019099024A (en) Parking support apparatus
KR101391606B1 (en) Apparatus for controlling vehicle and method for controlling vehicle thereof
JP2009110065A (en) Driving support device

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 4