KR20210072213A - Apparatus for controlling a parking, system having the same and method thereof - Google Patents

Apparatus for controlling a parking, system having the same and method thereof Download PDF

Info

Publication number
KR20210072213A
KR20210072213A KR1020190161864A KR20190161864A KR20210072213A KR 20210072213 A KR20210072213 A KR 20210072213A KR 1020190161864 A KR1020190161864 A KR 1020190161864A KR 20190161864 A KR20190161864 A KR 20190161864A KR 20210072213 A KR20210072213 A KR 20210072213A
Authority
KR
South Korea
Prior art keywords
parking
map
vehicle
processor
parking lot
Prior art date
Application number
KR1020190161864A
Other languages
Korean (ko)
Inventor
박종호
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020190161864A priority Critical patent/KR20210072213A/en
Publication of KR20210072213A publication Critical patent/KR20210072213A/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18036Reversing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/076Slope angle of the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/087Interaction between the driver and the control system where the control system corrects or modifies a request from the driver
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0004In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005Processor details or data handling, e.g. memory registers or chip architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0026Lookup tables or parameter maps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/06Direction of travel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/15Road slope, i.e. the inclination of a road segment in the longitudinal direction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/50Barriers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

The present invention relates to a parking control apparatus, a system including the same, and a method therefor. The parking control apparatus according to one embodiment of the present invention may comprise: a processor for learning a parking lot environment based on image data and generating a parking lot map, and controlling a vehicle to automatically search and park a parking space based on the learned parking lot map; and a storage unit for storing the map. An embodiment of the present invention is to provide the parking control apparatus, the system including the same, and the method therefor, which are capable of learning the parking lot environment frequently sought by a user and generating the parking lot map.

Description

주차 제어 장치, 그를 포함한 시스템 및 그 방법{Apparatus for controlling a parking, system having the same and method thereof}Apparatus for controlling a parking, system having the same and method thereof

본 발명은 주차 제어 장치, 그를 포함한 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 주차장 맵을 생성 및 학습하여 자동 주차 제어를 수행하는 기술에 관한 것이다.The present invention relates to a parking control apparatus, a system including the same, and a method thereof, and more particularly, to a technology for performing automatic parking control by generating and learning a parking lot map.

사용자의 편의를 위해 차량의 주행 보조 시스템이 개발되고 있다. 차량의 주행 보조 시스템 중 하나로서 주차 보조 시스템이 존재한다. A driving assistance system for a vehicle is being developed for user convenience. As one of the driving assistance systems of a vehicle, a parking assistance system exists.

종래의 주차 보조 시스템은 직각주차나 평행 주차 시 사용자가 직접 주차공간 탐색 후, 주차 공간을 선택하며, 차량이 스스로 주차공간에 주차할 때까지 차량 근처에서 원격 조작장치를 통해 차량을 제어해야 한다. 또한, 평행 주차 시 사용자가 차량에 탑승한 상태에서만 주차 제어 가능하고, 직각 주차 시 사용자가 차량 근처에서만 주차 제어 가능하며, 주차공간에서 차량을 출차시키는 수준이다. In the conventional parking assistance system, in perpendicular parking or parallel parking, the user directly searches for a parking space, selects a parking space, and controls the vehicle through a remote control device near the vehicle until the vehicle parks itself in the parking space. In addition, in parallel parking, parking control is possible only when the user is in the vehicle, and in perpendicular parking, the user can control parking only near the vehicle, and the vehicle is pulled out of the parking space.

또한, GPS를 사용하는 경우 GPS 신호가 없는 실내에서 주차 보조 제어가 불가능하고, 통신 장비를 이용하여 주차 보조를 수행하는 경우 차량과 주차장 인프라에 추가적인 V2X 단말기 설치가 필요하다. In addition, when using GPS, it is impossible to control parking assistance indoors without a GPS signal, and when parking assistance is performed using communication equipment, additional V2X terminals need to be installed in the vehicle and parking lot infrastructure.

본 발명의 실시예는 별도의 무선 통신(V2X) 장치 없이 차량에 장착된 센싱 장치를 사용하여 사용자가 자주 찾는 주차장 환경을 학습하고 주차장 맵을 생성할 수 있는 주차 제어 장치, 그를 포함한 시스템 및 그 방법을 제공하고자 한다.An embodiment of the present invention provides a parking control device capable of learning a parking lot environment frequently visited by a user and generating a parking lot map using a sensing device mounted on a vehicle without a separate wireless communication (V2X) device, a system including the same, and a method therefor would like to provide

또한, 본 발명의 실시예는 사용자가 원하는 위치에 하차 후 학습한 주차장 환경을 바탕으로 차량 스스로 공간탐색 및 주차를 수행할 수 있는 주차 제어 장치, 그를 포함한 시스템 및 그 방법을 제공하고자 한다.In addition, an embodiment of the present invention is to provide a parking control device, a system including the same, and a method thereof, which can perform a space search and parking of a vehicle on its own based on a learned parking lot environment after a user gets off at a desired location.

또한, 본 발명의 실시예는 주차 후 사용자가 차량에 탑승하고자 하는 경우 사용자가 이전에 하차한 위치 또는 사전에 입력한 위치를 선택하여 차량이 해당 위치까지 스스로 출차 및 탑승하고자 하는 위치로 이동하도록 제어할 수 있는 주차 제어 장치, 그를 포함한 시스템 및 그 방법을 제공하고자 한다.In addition, in the embodiment of the present invention, when the user wants to get into the vehicle after parking, the user selects the location where the user got off before or the location entered in advance, and the vehicle is controlled to move to the location where the user wants to exit and board the vehicle by itself to the corresponding location. An object of the present invention is to provide a parking control device capable of performing the same, a system including the same, and a method therefor.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명의 일 실시 예에 따른 주차 제어 장치는 영상 데이터를 기반으로 주차장 환경을 학습하고 주차장 맵을 생성하여, 상기 학습된 주차장 맵을 바탕으로 차량이 자동으로 주차 공간을 탐색하여 주차하도록 제어하는 프로세서; 및 상기 맵을 저장하는 저장부;를 포함할 수 있다. A parking control apparatus according to an embodiment of the present invention learns a parking lot environment based on image data, generates a parking lot map, and controls the vehicle to automatically search a parking space and park based on the learned parking lot map. ; and a storage unit configured to store the map.

일 실시 예에 있어서, 상기 프로세서는, 주차장 주행 이력 정보를 기반으로 주차장 맵을 생성하는 것을 포함할 수 있다.In an embodiment, the processor may include generating a parking lot map based on parking lot driving history information.

일 실시 예에 있어서, 상기 프로세서는, 주차장 판단 조건을 통해 맵 생성 또는 학습 시점을 판단하는 것을 포함할 수 있다. In an embodiment, the processor may include determining a map generation or learning time based on a parking lot determination condition.

일 실시 예에 있어서, 상기 프로세서는, 차량이 일정 차속 이하로 주행하거나, 일정 거리를 주행할 때마다 방향을 전환하거나, 상기 영상 데이터 내에 주차장 관련 문구, 주차선, 주차장 픽토그램이 인식되거나 GPS 신호가 끊기는 경우, 상기 맵 생성 또는 학습을 시작하는 것을 포함할 수 있다. In an embodiment, the processor is configured such that the vehicle travels below a certain vehicle speed, changes a direction every time it travels a certain distance, recognizes a parking lot related phrase, a parking line, or a parking lot pictogram in the image data, or receives a GPS signal. In case of interruption, it may include starting the map creation or learning.

일 실시 예에 있어서, 상기 프로세서는, 차량이 일정 차속 이상 주행하거나, 방향 전환 없이 일정 거리 이상 주행하거나 GPS 신호가 다시 수신되거나, 상기 영상 데이터 내에 출구 관련 문구가 인식된 경우 상기 주차장 주행 이력 기록을 종료하는 것을 포함할 수 있다. In one embodiment, the processor records the parking lot driving history when the vehicle travels over a certain vehicle speed, travels over a certain distance without changing directions, a GPS signal is received again, or an exit related phrase is recognized in the image data It may include terminating.

일 실시 예에 있어서, 상기 프로세서는, 주행 가능한 도로 폭 내에서 양 쪽에 근접하여 탐색하여 탐색된 영역이 미리 정한 기준치 이상인 경우, 주차공간 내에 존재하지 않은 장애물의 비율이 미리 정한 기준치 이하일 경우, 생성된 맵의 총 주행 경로상 좌측 및우측 고정 장애물의 점유 비율이 미리 정한 기준치 이상인 경우 상기 맵이 학습된 상태인 것으로 판단하는 것을 포함할 수 있다. In an embodiment, the processor is configured to, when the searched area is greater than or equal to a predetermined reference value by proximate to both sides within the drivable road width, when the ratio of obstacles that do not exist in the parking space is less than or equal to the predetermined reference value, the generated The method may include determining that the map is in a learned state when the occupancy ratio of the left and right fixed obstacles on the total driving path of the map is equal to or greater than a predetermined reference value.

일 실시 예에 있어서, 상기 프로세서는, 사용자에 의한 요청이 있는 경우 수동 맵 학습을 수행하는 것을 포함할 수 있다. In an embodiment, the processor may include performing manual map learning when there is a request by a user.

일 실시 예에 있어서, 상기 프로세서는, 주차장 도로 기울기에 따라 주차 공간의 층간 이동을 판단하고, 층간 레이어에 대한 학습을 수행하는 것을 포함할 수 있다. In an embodiment, the processor may include determining the inter-floor movement of the parking space according to the slope of the parking lot road, and performing learning on the inter-floor layer.

일 실시 예에 있어서, 상기 프로세서는, 전방 카메라에 의한 영상 데이터를 기반으로 벽에 표시된 층수, 주차공간 번호, 주차구역 번호, 입구 및 출구 안내표시, 진행 방향 안내, 진입 금지 표시, 장애인 주차구역 표시, 전기차 주차구역 표시 중 적어도 하나 이상을 특징점으로 인식하여 상기 맵에 반영하는 것을 포함할 수 있다. In one embodiment, the processor is, based on the image data by the front camera, the number of floors displayed on the wall, parking space number, parking area number, entrance and exit guidance display, progress direction guidance, entry prohibition display, disabled parking area display , may include recognizing at least one or more of the display of the electric vehicle parking area as a feature point and reflecting it on the map.

일 실시 예에 있어서, 상기 프로세서는, SVM 카메라에 의한 영상 데이터를 기반으로, 주차 공간 번호, 진행 방향, 입구 및 출구, 주차 공간 종류, 주차 공간 크기, 고정 장애물, 주행 가능 공간 정보 중 적어도 하나 이상을 특징점으로 인식하여 상기 맵에 반영하는 것을 포함할 수 있다. In an embodiment, the processor is, based on the image data from the SVM camera, at least one or more of a parking space number, a traveling direction, an entrance and an exit, a parking space type, a parking space size, a fixed obstacle, and drivable space information may include recognizing as a feature point and reflecting it on the map.

일 실시 예에 있어서, 상기 프로세서는, 상기 맵 상에 승하차 구역, 주차 가능 구역, 주차 금지 구역, 주차 선호 구역, 주차 기피 구역을 반영하여 생성하는 것을 포함할 수 있다. In an embodiment, the processor may include generating by reflecting the boarding and disembarking zone, the parking available zone, the no-parking zone, the parking preference zone, and the parking avoidance zone on the map.

일 실시 예에 있어서, 상기 프로세서는, 사용자의 하차 후, 상기 사용자의 하차 위치를 상기 저장부에 저장하고, 차량의 자동 주차 제어를 수행하는 것을 포함할 수 있다. In an embodiment, the processor may include, after the user gets off, storing the user's getting off position in the storage unit, and performing automatic parking control of the vehicle.

일 실시 예에 있어서, 상기 프로세서는, 주차 완료 이후, 상기 사용자로부터 승차 호출을 받으면, 이전 하차 위치로 차량을 이동 제어하는 것을 포함할 수 있다. In an embodiment, the processor may include moving the vehicle to a previous disembarkation position when receiving a ride call from the user after parking is complete.

일 실시 예에 있어서, 상기 프로세서는, 상기 사용자의 하차 위치 및 차량의 주차 위치를 사용자의 이동 통신 단말로 전송하는 것을 포함할 수 있다. In an embodiment, the processor may include transmitting the user's getting off position and the parking position of the vehicle to the user's mobile communication terminal.

일 실시 예에 있어서, 상기 프로세서는, 텔레매틱스 단말, 홈 LOT, 이동 통신 단말을 통해 승차 요청을 수신하는 것을 포함할 수 있다. In an embodiment, the processor may include receiving a boarding request through a telematics terminal, a home LOT, and a mobile communication terminal.

일 실시 예에 있어서, 상기 프로세서는, 상기 주차 공간 탐색 또는 출차 중 기존 학습 결과에 존재하지 않는 장애물이 존재하는 경우, 상기 장애물이 경로 상에서 사라질 때까지 정차한 후 대기하거나, 상기 장애물을 회피할 수 있는 경로가 존재하는 경우 상기 회피 경로를 통해 회피 주행하거나, 상기 회피 경로가 존재하지 않는 경우, 역으로 후진하도록 제어하는 것을 포함할 수 있다. In an embodiment, when an obstacle that does not exist in the existing learning result exists during the search for the parking space or the vehicle exiting, the processor may stop and wait until the obstacle disappears on the path or avoid the obstacle. It may include controlling to avoid driving through the avoidance route when there is an existing route, or to reverse backward when the avoidance route does not exist.

본 발명의 일 실시 예에 따른 차량 시스템은 주차장 주변을 촬영하고 장애물을 센싱하는 센싱 장치; 및 상기 센싱 장치에 의한 영상 데이터를 기반으로 주차장 환경을 학습하고 주차장 맵을 생성하여, 상기 학습된 주차장 맵을 바탕으로 차량이 자동으로 주차 공간을 탐색하여 주차하도록 제어하는 주차 제어 장치;를 포함할 수 있다. A vehicle system according to an embodiment of the present invention includes a sensing device for photographing a parking lot and sensing an obstacle; and a parking control device that learns a parking lot environment based on the image data by the sensing device and generates a parking lot map, and controls the vehicle to automatically search and park a parking space based on the learned parking lot map. can

일 실시 예에 있어서, 상기 센싱 장치는, 차량의 전방의 원거리를 촬영하는 전방 카메라; 차량의 주변의 단거리를 촬영하는 SVM 카메라; 및 차량 주변의 장애물을 감지하는 초음파 센서;를 포함할 수 있다. In one embodiment, the sensing device, a front camera for photographing a distance in front of the vehicle; an SVM camera that shoots short distances around the vehicle; and an ultrasonic sensor that detects obstacles around the vehicle.

일 실시 예에 있어서, 상기 학습된 주차장 맵의 업로드 또는 다운로드를 수행하는 서버;를 더 포함할 수 있다. In one embodiment, a server that uploads or downloads the learned parking lot map; may further include.

본 발명의 일 실시 예에 따른 주차 제어 방법은 주차장 주변을 촬영하고 장애물을 센싱하는 단계; 상기 센싱된 데이터를 기반으로 주차장 환경을 학습하고 주차장 맵을 생성하는 단계; 및 상기 학습된 주차장 맵을 바탕으로 차량이 자동으로 주차 공간을 탐색하여 주차하도록 제어하는 단계;를 포함할 수 있다. A parking control method according to an embodiment of the present invention includes the steps of photographing around a parking lot and sensing an obstacle; learning a parking lot environment based on the sensed data and generating a parking lot map; and controlling the vehicle to automatically search for and park a parking space based on the learned parking lot map.

본 기술은 별도의 무선 통신(V2X) 장치 없이 차량에 장착된 센싱 장치를 사용하여 사용자가 자주 찾는 주차장 환경을 학습하고 주차장 맵을 생성할 수 있다. This technology uses a sensing device mounted on a vehicle without a separate wireless communication (V2X) device to learn the parking lot environment frequently visited by users and create a parking lot map.

본 기술은 사용자가 원하는 위치에 하차 후 학습한 주차장 환경을 바탕으로 차량 스스로 공간탐색 및 주차를 수행할 수 있다.This technology allows the vehicle to perform space search and parking by itself based on the learned parking lot environment after getting off at the location desired by the user.

본 기술은 주차 후 사용자가 차량에 탑승하고자 하는 경우 사용자가 이전에 하차한 위치 또는 사전에 입력한 위치를 선택하여 차량이 해당 위치까지 스스로 출차 및 탑승하고자 하는 위치로 이동하도록 제어할 수 있다.In this technology, when the user wants to get into the vehicle after parking, it is possible to select a location where the user got off before or a location entered in advance to control the vehicle to move to the location where the user wants to get out and board the vehicle by itself to the corresponding location.

이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.In addition, various effects directly or indirectly identified through this document may be provided.

도 1은 본 발명의 일 실시 예에 따른 주차 제어 장치를 포함하는 차량 시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 맵 학습 기반 주차 제어 방법을 나타내는 순서도이다.
도 3은 본 발명의 일 실시 예에 따른 주차장 환경 학습 및 맵 구축 방법을 나타내는 순서도이다.
도 4는 본 발명의 일 실시 예에 따른 주차장 맵의 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 전방 카메라를 이용하여 특징점을 추출하는 예를 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 서라운드 뷰 모니터(SVM;Surround View Monitoring) 시스템을 이용하여 특징점을 추출하는 예를 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시 예에 따른 영상 데이터를 기반으로 특징점을 추출하는 방법을 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시 예에 따른 센싱 장치를 기반으로 획득된 데이터의 예시도이다.
도 9는 본 발명의 일 실시 예에 따른 맵 학습 기반 주차장 환경의 예시도이다.
도 10은 본 발명의 일 실시 예에 따른 맵 학습 기반 주차장 환경의 예시도이다.
도 11은 본 발명의 일 실시 예에 따른 맵 학습 기반 주차장 환경의 예시도이다.
도 12는 본 발명의 일 실시 예에 따른 맵 학습 기반 주차장 환경의 예시도이다.
도 13은 본 발명의 일 실시 예에 따른 맵 학습 기반 주차장 환경의 예시도이다.
도 14는 본 발명의 일 실시 예에 따른 맵 학습 기반 주차장 환경의 예시도이다.
도 15는 본 발명의 일 실시 예에 따른 맵 학습 기반 주차장 환경의 예시도이다.
도 16은 본 발명의 일 실시 예에 따른 맵 학습 기반 주차장 환경의 예시도이다.
도 17은 본 발명의 일 실시 예에 따른 컴퓨팅 시스템을 도시한다.
1 is a block diagram illustrating a configuration of a vehicle system including a parking control apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a map learning-based parking control method according to an embodiment of the present invention.
3 is a flowchart illustrating a method for learning a parking lot environment and building a map according to an embodiment of the present invention.
4 is an exemplary view of a parking lot map according to an embodiment of the present invention.
5 is an exemplary diagram for explaining an example of extracting a feature point using a front camera according to an embodiment of the present invention.
6 is an exemplary diagram for explaining an example of extracting a feature point using a Surround View Monitoring (SVM) system according to an embodiment of the present invention.
7 is an exemplary diagram for explaining a method of extracting a feature point based on image data according to an embodiment of the present invention.
8 is an exemplary diagram of data obtained based on a sensing device according to an embodiment of the present invention.
9 is an exemplary diagram of a map learning-based parking lot environment according to an embodiment of the present invention.
10 is an exemplary diagram of a map learning-based parking lot environment according to an embodiment of the present invention.
11 is an exemplary diagram of a map learning-based parking lot environment according to an embodiment of the present invention.
12 is an exemplary diagram of a map learning-based parking lot environment according to an embodiment of the present invention.
13 is an exemplary diagram of a map learning-based parking lot environment according to an embodiment of the present invention.
14 is an exemplary diagram of a map learning-based parking lot environment according to an embodiment of the present invention.
15 is an exemplary diagram of a map learning-based parking lot environment according to an embodiment of the present invention.
16 is an exemplary diagram of a map learning-based parking lot environment according to an embodiment of the present invention.
17 illustrates a computing system according to an embodiment of the present invention.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated on different drawings. In addition, in describing the embodiment of the present invention, if it is determined that a detailed description of a related known configuration or function interferes with the understanding of the embodiment of the present invention, the detailed description thereof will be omitted.

본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In describing the components of the embodiment of the present invention, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the components from other components, and the essence, order, or order of the components are not limited by the terms. In addition, unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not

본 발명은 차량의 영상 장치를 통해 사용자가 자주 찾는 주차장 환경을 학습하고 맵을 자동 또는 수동으로 구축하고, 학습된 주차장 맵을 바탕으로 차량이 스스로 주차 공간을 탐색하고 주차 제어하도록 하며, 사용자가 승차를 원하는 경우 승차 위치로 차량이 자동 이동되는 구성을 개시한다. The present invention learns the parking lot environment frequently found by the user through the vehicle's imaging device, automatically or manually builds a map, allows the vehicle to search for a parking space and control the parking by itself based on the learned parking map, and allows the user to ride If desired, a configuration in which the vehicle is automatically moved to the riding position is disclosed.

이하, 도 1 내지 도 17을 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to FIGS. 1 to 17 .

도 1은 본 발명의 일 실시 예에 따른 주차 제어 장치를 포함하는 차량 시스템(10)의 구성을 나타내는 블록도이다.1 is a block diagram showing the configuration of a vehicle system 10 including a parking control device according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 차량 시스템은 외부의 서버(500) 및 사용자의 이동 통신 단말(600)과 통신을 수행할 수 있다. 차량 시스템은 주차장 맵을 서버(500)로부터 다운로드 또는 업로드 할수 있으며, 이동 통신 단말(600)로 맵 정보, 하차 위치, 승차 위치 등을 송신할 수 있다. 차량 시스템은 주차 제어 장치(100), 센싱 장치(200), 네비게이션 장치(300), 및 텔레매틱스 장치(400)를 포함할 수 있다.Referring to FIG. 1 , a vehicle system according to an embodiment of the present invention may communicate with an external server 500 and a user's mobile communication terminal 600 . The vehicle system may download or upload a parking lot map from the server 500 , and may transmit map information, a disembarkation position, a boarding position, and the like to the mobile communication terminal 600 . The vehicle system may include a parking control device 100 , a sensing device 200 , a navigation device 300 , and a telematics device 400 .

본 발명의 일 실시 예에 따른 주차 제어 장치(100)는 차량(10)의 내부에 구현될 수 있다. 이때, 주차 제어 장치(100)는 차량의 내부 제어 유닛들과 일체로 형성될 수 있으며, 별도의 장치로 구현되어 별도의 연결 수단에 의해 차량의 제어 유닛들과 연결될 수도 있다. The parking control apparatus 100 according to an embodiment of the present invention may be implemented inside the vehicle 10 . In this case, the parking control apparatus 100 may be integrally formed with the vehicle's internal control units, or may be implemented as a separate device and connected to the vehicle's control units by a separate connection means.

주차 제어 장치(100)는 영상 데이터를 기반으로 주차장 환경을 학습하고 주차장 맵을 생성하여, 상기 학습된 주차장 맵을 바탕으로 차량이 자동으로 주차 공간을 탐색하여 주차하도록 제어할 수 있다. 또한, 주차 제어 장치(100)는 사용자가 승차하고자 하는 경우, 사용자의 이전 하차 위치 또는 사용자에 의해 선택된 위치로 차량이 자동 이동하여 대기할 수 있도록 제어한다. The parking control apparatus 100 may learn a parking lot environment based on the image data and generate a parking lot map, and may control the vehicle to automatically search a parking space and park the vehicle based on the learned parking lot map. In addition, the parking control apparatus 100 controls the vehicle to automatically move to a user's previous disembarkation position or a position selected by the user to wait when the user wants to board the vehicle.

주차 제어 장치(100)는 통신부(110), 저장부(120), 표시부(130), 및 프로세서(130)를 포함할 수 있다. The parking control apparatus 100 may include a communication unit 110 , a storage unit 120 , a display unit 130 , and a processor 130 .

통신부(110)는 무선 또는 유선 연결을 통해 신호를 송신 및 수신하기 위해 다양한 전자 회로로 구현되는 하드웨어 장치로서, 본 발명에서는 차량 내 네트워크 통신 기술을 수행할 수 있으며, 차량 네트워크 통신 기술로는 CAN(Controller Area Network) 통신, LIN(Local Interconnect Network) 통신, 플렉스레이(Flex-Ray) 통신 등을 통해 차량 내 통신을 수행할 수 있다. 일 예로서, 통신부(110)는 네비게이션 장치(300), 텔레매틱스 장치(400) 등과 같은 차량 내 장치들과의 통신을 수행할 수 있다.The communication unit 110 is a hardware device implemented with various electronic circuits to transmit and receive signals through a wireless or wired connection. In the present invention, an in-vehicle network communication technology can be performed. In-vehicle communication may be performed through Controller Area Network) communication, LIN (Local Interconnect Network) communication, Flex-Ray communication, and the like. As an example, the communication unit 110 may communicate with in-vehicle devices such as the navigation device 300 and the telematics device 400 .

저장부(120)는 센싱 장치(200)의 센싱 결과(예, 영상 데이터 등) 및 프로세서(140)가 동작하는데 필요한 데이터 및/또는 알고리즘 등이 저장될 수 있다. The storage 120 may store a sensing result (eg, image data, etc.) of the sensing device 200 and data and/or an algorithm required for the processor 140 to operate.

일 예로서, 저장부(120)는 주차장 환경을 촬영한 영상 데이터, 초음파 센서 등을 통해 센싱된 주차장 환경 정보가 저장될 수 있다.As an example, the storage unit 120 may store parking lot environment information sensed through image data of a parking lot environment, an ultrasonic sensor, and the like.

저장부(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.The storage unit 120 includes a flash memory type, a hard disk type, a micro type, and a card type (eg, SD card (Secure Digital Card) or XD card (eXtream Digital) Card)), RAM (Random Access Memory), SRAM (Static RAM), ROM (Read-Only Memory), PROM (Programmable ROM), EEPROM (Electrically Erasable PROM), magnetic memory (MRAM) , a magnetic RAM), a magnetic disk, and an optical disk-type memory may include at least one type of storage medium.

표시부(130)는 사용자로부터의 제어 명령을 입력 받기 위한 입력수단과 장치(100)의 동작 상태 및 결과 등을 출력하는 출력수단을 포함할 수 있다. 여기서, 입력수단은 키 버튼을 포함할 수 있으며, 마우스, 조이스틱, 조그셔틀, 스타일러스 펜 등을 포함할 수도 있다. 또한, 입력수단은 디스플레이 상에 구현되는 소프트 키를 포함할 수도 있다. 출력수단은 디스플레이를 포함할 수 있으며, 스피커와 같은 음성출력수단을 포함할 수도 있다. 이때, 터치 필름, 터치 시트, 터치 패드 등의 터치 센서가 디스플레이에 구비되는 경우, 디스플레이는 터치 스크린으로 동작하며, 입력수단과 출력수단이 통합된 형태로 구현될 수 있다. 본 발명에서 출력수단은 주차장 맵 정보, 주차 제어 정보 등을 출력할 수 있다.The display unit 130 may include an input unit for receiving a control command from a user and an output unit for outputting an operation state and result of the apparatus 100 . Here, the input means may include a key button, and may include a mouse, a joystick, a jog shuttle, a stylus pen, and the like. In addition, the input means may include a soft key implemented on the display. The output means may include a display, and may include an audio output means such as a speaker. In this case, when a touch sensor such as a touch film, a touch sheet, or a touch pad is provided in the display, the display operates as a touch screen, and the input means and the output means are integrated. In the present invention, the output means may output parking map information, parking control information, and the like.

이때, 디스플레이는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 전계 방출 디스플레이(Feld Emission Display, FED), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.In this case, the display includes a liquid crystal display (LCD), a thin film transistor liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display (Flexible Display). , a field emission display (FED), and a three-dimensional display (3D display) may include at least one.

프로세서(140)는 통신부(110), 저장부(120), 표시부(130) 등과 전기적으로 연결될 수 있고, 각 구성들을 전기적으로 제어할 수 있으며, 소프트웨어의 명령을 실행하는 전기 회로가 될 수 있으며, 이에 의해 후술하는 다양한 데이터 처리 및 계산을 수행할 수 있다.The processor 140 may be electrically connected to the communication unit 110, the storage unit 120, the display unit 130, etc., and may electrically control each component, and may be an electrical circuit that executes a software command, Thereby, various data processing and calculations described later can be performed.

프로세서(140)는 주차 제어 장치(100)의 각 구성요소들 간에 전달되는 신호를 처리할 수 있다. 프로세서(140)는 예를 들어, 차량에 탑재되는 ECU(electronic control unit), MCU(Micro Controller Unit) 또는 다른 하위 제어기일 수 있다. The processor 140 may process a signal transmitted between each component of the parking control apparatus 100 . The processor 140 may be, for example, an electronic control unit (ECU), a micro controller unit (MCU), or other sub-controller mounted in a vehicle.

프로세서(140)는 센싱 장치(200)를 통해 사용자가 자주 찾는 주차장 환경을 학습하고 자동 또는 수동으로 맵을 구축하고, 학습된 주차장 환경 정보를 기반으로 차량이 스스로 주차 공간을 탐색하고 주차 제어를 수행할 수 있다. The processor 140 learns the parking lot environment frequently found by the user through the sensing device 200, builds a map automatically or manually, and based on the learned parking lot environment information, the vehicle searches for a parking space by itself and performs parking control can do.

또한 프로세서(140)는 사용자가 차량에서 하차 한 후, 차량이 자동으로 학습된 주차장 환경 정보를 기반으로 해당 주차장 내에서 주차 공간을 탐색하고 주차 제어를 수행할 수 있고, 하차 위치가 저장부(120)에 저장되도록 제어할 수 있다. In addition, after the user gets out of the vehicle, the processor 140 may search for a parking space in the corresponding parking lot and perform parking control based on the parking environment information that the vehicle has automatically learned, and the get-off location is stored in the storage unit 120 . ) can be controlled.

또한, 프로세서(140)는 주차 이후 사용자가 승차(탑승)하고자 하는 경우 이전 하차 위치 또는 사전에 입력한 위치로 차량이 이동하도록 제어할 수 있다. In addition, the processor 140 may control the vehicle to move to a previous disembarkation position or a previously input position when the user wants to get on (board) after parking.

프로세서(140)는 주차 주행 경로를 기반으로 자동 맵 학습을 수행할 수 있다. The processor 140 may perform automatic map learning based on the parking driving route.

프로세서(140)는 차량의 휠펄스 센서, 휠속 센서 및 스티어링 휠 앵글 센서를 사용하여 차량이 주행한 궤적을 계산할 수 있다. 또한, 프로세서(140)는 GPS 신호 수신 시, 차량의 휠펄스 센서, 휠속 센서 및 스티어링 휠 앵글 센서의 센싱 결과와 함께 GPS 신호를 사용하여 궤적을 계산할 수 있다.The processor 140 may calculate the trajectory of the vehicle by using a wheel pulse sensor, a wheel speed sensor, and a steering wheel angle sensor of the vehicle. In addition, when receiving the GPS signal, the processor 140 may calculate a trajectory by using the GPS signal together with the sensing results of the vehicle wheel pulse sensor, the wheel speed sensor, and the steering wheel angle sensor.

프로세서(140)는 1) 차량이 일정 차속 이하로 주행하거나, 2) 일정 거리를 주행할 때마다 방향을 전환하거나, 3) SVM 카메라 또는 전방 카메라가 "주차장", "주차", "입구", "Parking", "Park", "Entrance" 등의 문구, 주차선, 주차장 픽토그램을 인식하거나, 4) GPS 신호가 끊김이 발생하는 경우, 주차장에 진입한 것으로 판단할 수 있다.The processor 140 may 1) the vehicle travels below a certain vehicle speed, 2) change the direction every time the vehicle travels a certain distance, or 3) the SVM camera or the front camera detects "parking lot", "parking", "entrance", When phrases such as "Parking", "Park", "Entrance", parking lines, and parking lot pictograms are recognized, or 4) the GPS signal is interrupted, it can be determined that the vehicle has entered the parking lot.

프로세서(140)는 1) 판단된 시점 이전에 반복적인 방향전환을 하지 않던 시점, 2) GPS 신호가 끊기는 시점 (지하주차장으로 진입하는 시점), 3) SVM 카메라 또는 전방 카메라가 "주차", "입구", "Entrance" 문구를 인식한 시점 중 적어도 하나를 주차장 주행 이력 기록 시점으로 판단할 수 있다.The processor 140 detects: 1) a point in time when the direction was not repeatedly changed before the determined point in time, 2) a point in time when the GPS signal was cut off (the point in time when entering the underground parking lot), 3) when the SVM camera or the front camera "parked", " At least one of the time points at which the phrases "entrance" and "Entrance" are recognized may be determined as the time of recording parking lot driving history.

프로세서(140)는 1) 차량이 일정 차속 이상 주행, 2) 방향 전환 없이 일정 거리 이상 주행, 3) GPS 신호가 다시 수신, 4) SVM/전방카메라가 "출구", "Exit" 문구를 인식 중 적어도 하나가 수행되면 주차장 주행 이력 기록을 종료할 수 있다. The processor 140 detects that 1) the vehicle travels over a certain vehicle speed, 2) travels more than a certain distance without changing direction, 3) the GPS signal is received again, 4) the SVM/front camera is recognizing the phrases “exit” and “exit” When at least one is performed, the parking lot driving history recording may be terminated.

프로세서(140)는 맵이 생성된 지역을 사용자가 다시 주행하는 경우, 사용자가 주행한 궤적을 누적하여 주행 가능한 영역을 추가하여 주차장 주행 이력을 반복 학습할 수 있다. When the user drives again in the area where the map is generated, the processor 140 may repeatedly learn the parking lot driving history by adding a drivable area by accumulating the trajectory of the user's driving.

프로세서(140)는 사용자의 누적된 주행 이력 정보를 기반으로 자동 맵 학습을 수행할 수 있다.The processor 140 may perform automatic map learning based on the user's accumulated driving history information.

프로세서(140)는 사용자가 수 회 이상 주행하여 반복 학습을 통해 주행 궤적을 누적하여 안정적인 주차를 할 수 있는 맵이 학습되었는지를 판단하기 위해 아래의 조건을 만족하지를 판단할 수 있다.The processor 140 may determine whether the following condition is satisfied in order to determine whether a map for stable parking is learned by accumulating driving trajectories through repeated learning by the user driving several times or more.

1) 주행 가능한 도로 폭 내에서 양 쪽에 근접하여 탐색하여 가능한 한 많은 영역이 탐색된 경우 1) When as many areas are searched as possible by searching close to both sides within the drivable road width

1-1) 주행 가능한 도로 폭 양 끝으로부터 X[m] 이내로 근접하여 맵을 학습시킨 이력이 있어야 함1-1) Must have a history of learning the map within X[m] from both ends of the drivable road width

1-2) 상기 도로 양 끝으로부터 일정 거리 X는 도로 폭, 직선 구간/코너 구간에 따라 상이하게 설정할 수 있음1-2) A certain distance X from both ends of the road can be set differently depending on the road width and straight section/corner section

2) 주차공간 안에 있지 않은 자동차, 사람 등 임시 장애물의 비율이 일정 수준 이하일 경우 2) When the ratio of temporary obstacles such as cars and people not in the parking space is below a certain level

2-1) 직선 구간에서 직선 구간 거리 Y[m] 중 임시 장애물이 점유하고 있는 좌/우 각각의 비율이 Z[%] 이하인 경우2-1) When the ratio of each left/right occupied by the temporary obstacle in the straight section distance Y[m] in the straight section is less than or equal to Z[%]

2-2) 곡선 구간에서 곡선 구간 거리 Y'[m] 중 임시 장애물이 점유하고 있는 좌/우 각각의 비율이 Z'[%] 이하인 경우2-2) When the ratio of each left/right occupied by the temporary obstacle in the curve section distance Y'[m] in the curve section is less than Z'[%]

3) 생성된 맵의 총 주행 경로 T[m] 상 좌/우측 고정 장애물 (벽/기둥/바닥 마커) 의 점유 비율이 S[%] 이상인 경우 3) When the occupancy ratio of the left/right fixed obstacles (wall/pillar/floor markers) on the total driving route T[m] of the created map is S[%] or more

4) 이전 맵 학습 시 없던 임시 장애물을 발견하거나 이전 맵 학습 시 발견한 임시 장애물이 사라진 경우, 점유하지 않는 것으로 계산4) If a temporary obstacle that was not found during previous map learning or temporary obstacle discovered during previous map learning disappears, it is counted as not occupied.

프로세서(140)는 상기 조건 1), 2), 3), 4)를 만족하는 경우 즉 안정적인 주차를 할 수 있을 정도의 맵이 생성된 것으로 판단 시, 사용자에게 생성된 맵을 안내한다. When the conditions 1), 2), 3), and 4) are satisfied, that is, when it is determined that a map sufficient for stable parking is generated, the processor 140 informs the user of the generated map.

프로세서(140)는 맵 학습 여부 판단 후 사용자로부터 추가 맵 학습 여부를 선택받을 수 있다. After determining whether to learn the map, the processor 140 may receive a selection from the user whether to learn the additional map.

이후 단계는 수동 맵 학습단계와 동일하며, 이하 수동맵 학습 과정을 설명하기로 한다. The subsequent steps are the same as the manual map learning steps, and the manual map learning process will be described below.

프로세서(140)는 사용자로부터 수동 맵 학습 요청을 수신한 경우, 즉 사용자가 주차장 맵을 학습시키고자 하는 경우, 네비게이션 장치(300)의 주차장 맵 수동 학습 명령을 통해 수동 맵 학습을 시작한다.When the processor 140 receives a manual map learning request from the user, that is, when the user wants to learn the parking lot map, the manual map learning starts through the parking lot map manual learning command of the navigation device 300 .

프로세서(140)는 자동 맵 학습으로 기록된 GPS 신호가 끊기는 시점 (지하주차장으로 진입하는 시점)부터의 주행 이력을 맵 생성에 사용할 수 있다.The processor 140 may use the driving history from the point in time when the GPS signal recorded by automatic map learning is cut off (the point in time of entering the underground parking lot) to generate the map.

프로세서(140)는 사용자가 학습시키고자 하는 주행 경로를 최소 1회 사용자가 주행토록 안내하고, 사용자에게 학습을 통해 생성된 맵을 안내한다. 이때, 맵은 표시부(130)를 통해 표시될 수 있다.The processor 140 guides the user to drive the driving route that the user wants to learn at least once, and guides the user to the map generated through learning. In this case, the map may be displayed through the display unit 130 .

사용자가 주차장 맵을 학습시키는 동안에 사용자가 의도한 대로 맵이 생성되었는지 네비게이션 장치(300)를 통해 확인 요청을 할 수 있고, 사용자가 의도한 대로 맵이 생성되었는지 확인 후, 프로세서(140)는 생성된 맵의 신뢰성 확보를 위해 해당 맵에 대해 수 회 이상 주행하여 반복 학습을 통해 주행 궤적을 누적시켜 맵 데이터에 반영할 수 있다.While the user is learning the parking lot map, the user may request to confirm whether the map is generated as intended by the navigation device 300, and after confirming whether the map is generated as the user intended, the processor 140 is generated In order to secure the reliability of the map, the driving trajectory can be accumulated through repeated learning by driving the map several times or more and reflected in the map data.

도 4는 본 발명의 일 실시 예에 따른 주차장 맵의 예시도이다. 도 4의 401, 402는 주차장의 맵의 예시도이고 403은 맵 상에 하차 위치, 승차 위치, 기피 구역, 금지 구역, 선호 구역 등을 표시한 예이다. 4 is an exemplary view of a parking lot map according to an embodiment of the present invention. 401 and 402 of FIG. 4 are exemplary views of a map of a parking lot, and 403 is an example of displaying a disembarkation location, a boarding location, an avoidance area, a prohibited area, a preferred area, and the like on the map.

프로세서(140)는 여러 층의 주차 공간에 대해 학습할 수 있도록 레이어 구조를 가지도록 맵을 생성하고, 종가속도 센서, 휠속 센서, 영상 센서를 사용하여 도로의 기울기를 추정하고, 맵 생성 시 도로의 기울기가 급격하게 변하는 경우, 주차 공간의 층이 변경하는 것으로 판단한다. 또한, 프로세서(140)는 다른 층의 주차공간으로 이동 시 다른 레이어의 맵 간 처리가 용이하도록 층이 변경하는 영역의 경우 별도 레이어에 모두 학습할 수 있다. The processor 140 generates a map to have a layer structure so that it can learn about parking spaces on multiple floors, estimates the slope of the road using a longitudinal acceleration sensor, a wheel speed sensor, and an image sensor, and generates a map of the road. When the slope changes abruptly, it is determined that the floor of the parking space changes. In addition, when moving to a parking space on a different floor, the processor 140 may learn all of the area in which the floor changes so as to facilitate processing between maps of different layers in a separate layer.

프로세서(140)는 자동 맵 또는 수동 맵 생성 시, 전방 카메라를 사용하여 인식한 특징점들을 ID화시켜 해당 정보, 위치 정보, 및 방향 정보를 주차장 맵에 반영할 수 있다.When generating an automatic map or a manual map, the processor 140 may ID the feature points recognized using the front camera and reflect the corresponding information, location information, and direction information on the parking lot map.

프로세서(140)는 영상 데이터를 기반으로 인식한 특징점들의 3d좌표를 맵에 반영하고, 3D 기반 맵을 생성할 수 있다. The processor 140 may reflect the 3D coordinates of the feature points recognized based on the image data to the map, and generate a 3D-based map.

프로세서(140)는 영상 데이터 상의 벽에 표시된 층수/주차공간 번호/주차구역 번호, 입/출구 안내표시, 진행 방향 안내, 진입 금지 표시, 장애인 주차구역 표시, 전기차 주차구역 표시 등을 특징점으로 인식할 수 있다. The processor 140 recognizes the number of floors/parking space number/parking area number, entrance/exit guide display, progress direction guidance, entry prohibition display, disabled parking area display, electric vehicle parking area display, etc. as characteristic points displayed on the wall on the image data. can

도 5는 본 발명의 일 실시 예에 따른 전방 카메라를 이용하여 특징점을 추출하는 예를 설명하기 위한 예시도이다. 도 5의 501 및 502는 전방 카메라의 위치 및 촬영 범위를 나타낸다. 503은 주차장 벽면의 번호를 특징점으로서 인식한 예를 개시하고 504는 주차장 출입구의 "진입금지", "주차장 입구"를 특징점으로서 인식한 예이고, 505는 "출구", "지하1입구"를 특징점으로서 인식한 예이다. 5 is an exemplary diagram for explaining an example of extracting a feature point using a front camera according to an embodiment of the present invention. Reference numerals 501 and 502 of FIG. 5 indicate positions and shooting ranges of the front camera. 503 discloses an example in which the number of the parking lot wall is recognized as a feature point, 504 is an example in which "entry prohibited" and "parking lot entrance" of the parking lot entrance are recognized as a feature point, and 505 is an "exit" and "underground 1 entrance" as a feature point. This is an example recognized as

프로세서(140)는 자동 맵 또는 수동 맵 생성 시 SVM 카메라(210)를 사용하여 촬영된 영상 데이터를 이용할 수 있다. 프로세서(140)는 SVM 카메라(210)를 사용하여 인식한 특징점들을 ID화 시켜 해당 정보 및 위치 정보를 주차장 2D맵에 반영한다. 또한, 프로세서(140)는 특징점들의 6D정보를 포함하여 6D 맵을 생성한다.The processor 140 may use image data captured using the SVM camera 210 when generating an automatic map or a manual map. The processor 140 uses the SVM camera 210 to ID the recognized feature points and reflects the corresponding information and location information on the 2D map of the parking lot. In addition, the processor 140 generates a 6D map including 6D information of the feature points.

프로세서(140)는 주차 공간 번호, 진행 방향, 입구/출구 표시, 주차 공간 종류 표시 (장애인 주차구역, 전기차 등) 등을 특징점으로서 인식할 수 있다. The processor 140 may recognize a parking space number, a traveling direction, an entrance/exit indication, a parking space type indication (a parking area for the disabled, an electric vehicle, etc.) as a feature point.

프로세서(140)는 SVM 카메라(210)를 사용하여 인식된 주차선을 기반으로 주차공간 종류 및 크기 정보를 주차장 맵에 반영할 수 있다. 또한, 프로세서(140)는 SVM 카메라(210)를 사용하여 인식된 고정 장애물 (벽, 기둥, 연석) 정보를 주차장 맵에 반영하고, 인식된 주행 가능 공간 정보 (Free space) 정보를 주차장 맵에 반영한다.The processor 140 may reflect the parking space type and size information on the parking lot map based on the recognized parking line using the SVM camera 210 . In addition, the processor 140 reflects the fixed obstacle (wall, column, curb) information recognized using the SVM camera 210 on the parking lot map, and reflects the recognized drivable space information (free space) information on the parking lot map. do.

도 6은 본 발명의 일 실시 예에 따른 서라운드 뷰 모니터(SVM;Surround View Monitoring) 시스템을 이용하여 특징점을 추출하는 예를 설명하기 위한 예시도이다. 도 6의 601, 605에는 도로 상의 주행방향을 나타내는 화살표를 특징점으로 인식한 예가 개시되어 있고, 602에는 주차공간의 장애인 표시를 특징점으로 인식한 예가 개시되어 있고, 603, 604에는 주차선 상에 주차되어 있는 차량 등의 장애물을 인식한 예가 개시되어 있고, 606에는 도로 상의 주차 위치를 나타내는 번호를 특징점으로 인식한 예가 개시되어 있고, 607에는 주차 공간의 전기 차량 주차 공간 표시를 특징점으로 인식한 예가 개시되어 있고, 608, 609, 610에도 주차장 도로 내의 표시(OUT, IN, 입구 등)를 특징점으로 인식한 예가 개시되어 있다.6 is an exemplary diagram for explaining an example of extracting a feature point using a Surround View Monitoring (SVM) system according to an embodiment of the present invention. An example of recognizing an arrow indicating a driving direction on a road as a feature point is disclosed in 601 and 605 of FIG. 6 , an example of recognizing a disabled sign of a parking space as a feature point is disclosed in 602, and parking on a parking line in 603 and 604 An example of recognizing an obstacle such as a vehicle is disclosed, 606 discloses an example in which a number indicating a parking position on a road is recognized as a feature point, and 607 discloses an example in which an electric vehicle parking space display of a parking space is recognized as a feature point and 608, 609, and 610 also disclose examples of recognizing the marks (OUT, IN, entrance, etc.) in the parking lot road as a feature point.

도 7은 본 발명의 일 실시 예에 따른 영상 데이터를 기반으로 특징점을 추출하는 방법을 설명하기 위한 예시도이다. 도 7을 참조하면, 프로세서(140)는 각 영상 데이터 상에서 특징점을 구분하여 표시함을 알 수 있다. 7 is an exemplary diagram for explaining a method of extracting a feature point based on image data according to an embodiment of the present invention. Referring to FIG. 7 , it can be seen that the processor 140 distinguishes and displays feature points on each image data.

이와 같이 프로세서(140)는 전방 카메라 또는 SVM 카메라를 통해 촬영된 영상 데이터를 기반으로 맵 학습을 수행하는데, 전방 카메라와 SVM 카메라의 영상 정보가 다른 경우가 발생할 수 있다. 즉 전방 카메라를 이용하여 원거리에서 장애물을 인식하였는데 단거리에서 SVM 카메라로 촬영한 경우 장애물이 인식되지 않은 경우가 발생할 수 있다. 이에 프로세서(140)는 아래와 같은 상황별 보정을 행할 수 있다.As described above, the processor 140 performs map learning based on image data captured by the front camera or the SVM camera, but image information of the front camera and the SVM camera may be different. That is, when an obstacle was recognized from a long distance using the front camera, but the image was taken with the SVM camera at a short distance, the obstacle may not be recognized. Accordingly, the processor 140 may perform the following correction for each situation.

1) 고정 장애물: 전방카메라로 인식한 결과를 바탕으로 SVM 영상 인식 결과 보정1) Fixed obstacle: Correct the SVM image recognition result based on the result recognized by the front camera

2) 이동 장애물: 차량/사람 등 임시장애물 정보 맵 데이터 업데이트2) Moving obstacles: Update map data of temporary obstacles such as vehicles/people

3) 반사/빛/그림자 등 광원에 의한 미인식/오인식: 초음파센서 값 사용3) Unrecognized/misrecognized by light sources such as reflection/light/shadow: use of ultrasonic sensor value

4) 입체물 처럼 보이는 바닥 마커 : 초음파센서 값 사용4) Floor marker that looks like a three-dimensional object: using the ultrasonic sensor value

5) SVM이 인식하지 못하는 영역의 장애물은 전방카메라를 사용 (예: 소화전/차단게이트 등 바닥으로부터 떨어져있는 장애물)5) Use the front camera for obstacles in areas that the SVM cannot recognize (e.g., obstacles away from the floor such as fire hydrants/blocking gates)

이어 프로세서(140)는 맵 학습 시 장애물을 처리할 수 있다. 프로세서(140)는 주차 구획선 안에 주차되어 있지 않은 차량이 학습된 경우, 해당 영역 재학습을 통해 해당 영역에 차량이 지나가는 차량인지 확인하고, 재학습 시에도 차량이 동일한 위치에 학습된 경우, 해당 차량은 불법주차된 차량으로 맵에 학습할 수 있다. Then, the processor 140 may process obstacles during map learning. When a vehicle that is not parked within the parking dividing line is learned, the processor 140 checks whether a vehicle passes in the corresponding area through re-learning of the corresponding area, and when the vehicle is learned at the same location even during re-learning, the corresponding vehicle can learn from the map with illegally parked vehicles.

또한, 프로세서(140)는 사람/자전거 등 고정된 장애물이 아닌 물체가 맵에 학습된 경우, 해당 영역 재학습을 통해 해당 영역을 차량이 지나가는 장애물인지 확인하고, 재학습 시에도 장애물이 동일한 위치에 학습된 경우, 해당 장애물은 임시 장애물로 맵에 학습할 수 있다. In addition, when an object other than a fixed obstacle, such as a person/bicycle, is learned on the map, the processor 140 checks whether the vehicle passes through the corresponding area through re-learning of the area, and checks whether the obstacle is at the same location during re-learning. If learned, the corresponding obstacle may be learned on the map as a temporary obstacle.

또한, 프로세서(140)는 불법 주차 차량/임시 장애물의 경우 향후 맵 재학습 또는 주행 중 맵 학습 시 재확인하여 사라진 경우 맵에서 제거할 수 있다. In addition, the processor 140 may remove the illegally parked vehicle/temporary obstacle from the map if it disappears after re-checking during map re-learning or map learning in the future.

또한, 프로세서(140)는 도 4의 403과 같이 맵 상에 승/하차 구역, 주차 가능/금지 구역, 선호 구역/기피 구역을 지정하여 표시할 수 있다. In addition, the processor 140 may designate and display an on/off zone, a parking available/prohibited zone, and a preferred zone/avoidance zone on the map as shown in 403 of FIG. 4 .

프로세서(140)는 자동 맵 또는 수동 맵 생성 완료 시, 사용자가 원하는 승/하차 구역이 학습되었는지 확인한다.When the automatic map or manual map generation is completed, the processor 140 checks whether the user's desired boarding/alighting area has been learned.

프로세서(140)는 사용자가 원하는 승/하차 구역이 학습되지 않은 것으로 확인 시, 수동 맵 학습 절차와 동일하게 사용자가 원하는 승/하차 구역을 주행하도록 안내하여 맵에 반영할 수 있다. 또한, 프로세서(140)는 학습 시, 사용자가 수동 주행한 경로 정보도 맵에 저장하고, 학습 시, 주행 경로 근처에 위치한 주차공간도 탐색하여 맵에 저장한다. 또한, 사용자가 원하는 승/하차 구역이 학습된 것으로 확인하였거나, 승/하차 구역을 추가 학습 완료 시, 프로세서(140)는 사용자에게 학습을 통해 생성된 맵을 안내하고, 사용자가 생성된 맵에 승차 구역과 하차 구역을 지정할 수 있다. 또한 프로세서(140)는 층간 이동 레이어를 금지 구역으로 설정하나 사용자가 수동으로 해제할 수 있도록 한다. 생성된 맵은 차량 내 시스템에 저장하거나 텔레매틱스 장치(400)를 통해 사용자의 이동 통신 단말기(600)로 전송될 수 있다.When it is confirmed that the user-desired boarding/unloading zone has not been learned, the processor 140 may guide the user to drive the desired boarding/unloading zone in the same manner as in the manual map learning procedure and reflect it on the map. In addition, when learning, the processor 140 also stores route information that the user has manually driven in the map, and when learning, searches for a parking space located near the driving route and stores it in the map. In addition, when it is confirmed that the user-desired embarkation / disembarkation zone has been learned, or upon completion of additional learning of the embarkation / disembarkation zone, the processor 140 guides the user to the map generated through learning, and the user rides on the generated map Zones and drop-off zones can be specified. In addition, the processor 140 sets the inter-floor movement layer as a prohibited zone, but allows the user to manually release it. The generated map may be stored in an in-vehicle system or transmitted to the user's mobile communication terminal 600 through the telematics device 400 .

또한 프로세서(140)는 필요 시, 사용자로부터 네비게이션 장치(300) 또는 표시부(130) 화면, 이동 통신 단말기(600)를 통해 자차 정보(일반/장애인/전기 등)를 지정받을 수 있고, 학습된 맵 상에 주차 가능/금지 구역, 선호/기피 구역, 주행 불가 구역을 지정받을 수 있다. 또한, 프로세서(140)는 사전 설정에 따라 학습된 맵 내 구역에 차량 진입 시 각 구역 별로 하차 후 별도 조작 없이 또는 스마트키 또는 이동전화 단말기의 조작 또는 그 외 방법을 통해 자율주차 수행이 수행되도록 제어 할 수 있다.In addition, the processor 140 may receive, if necessary, the user's vehicle information (general/disabled person/electricity, etc.) designated through the navigation device 300 or the display unit 130 screen, the mobile communication terminal 600, and the learned map. Parking allowed/prohibited zones, preferred/avoided zones, and non-drivable zones can be designated on the top. In addition, the processor 140 controls so that when a vehicle enters a zone in the map learned according to a preset, autonomous parking is performed without a separate operation after getting off for each zone or through manipulation of a smart key or mobile phone terminal or other methods. can do.

또한, 프로세서(140)는 자차의 GPS 좌표가 주차장이 학습된 GPS 좌표를 지나가면 사용자에게 자율주차가 가능함을 네비게이션 장치(300) 또는 표시부(130)를 통해 안내할 수 있다.In addition, the processor 140 may guide the user through the navigation device 300 or the display unit 130 that autonomous parking is possible when the GPS coordinates of the own vehicle pass the learned GPS coordinates of the parking lot.

또한, 프로세서(140)는 차량이 학습된 주차 맵에 진입 후 전방 카메라 또는 SVM 카메라로 인식하는 특징점의 3D좌표와 학습된 특징점들의 3D 좌표를 비교하여 자차 위치를 보정한다.In addition, the processor 140 corrects the location of the vehicle by comparing the 3D coordinates of the learned feature points with the 3D coordinates of the feature points recognized by the front camera or the SVM camera after the vehicle enters the learned parking map.

또한, 프로세서(140)는 학습된 맵을 네비게이션 장치(300) 또는 표시부(130)에 표시되도록 하고, 자차 위치를 맵 상에 표시되도록 제어할 수 있다.Also, the processor 140 may control the learned map to be displayed on the navigation device 300 or the display unit 130 and the location of the own vehicle to be displayed on the map.

또한, 프로세서(140)는 차량이 학습된 주차 맵에 진입 후 자율주차 기능을 사용할 수 있음을 네비게이션 장치(300) 또는 표시부(130) 화면에 표시하여, 사용자가 네비게이션 장치(300) 또는 표시부(130)의 입력을 통해 자율주차를 수행시키고, 하차 후 사전 설정에 따라 별도 조작 없이 또는 스마트키 또는 이동통신 단말기의 조작을 통해 자율주차를 수행할 수 있도록 할 수 있다.In addition, the processor 140 displays on the screen of the navigation device 300 or the display unit 130 that the autonomous parking function can be used after the vehicle enters the learned parking map, so that the user can use the navigation device 300 or the display unit 130 . ) to perform autonomous parking, and after getting off, according to a preset, autonomous parking can be performed without a separate operation or through operation of a smart key or a mobile communication terminal.

또한, 프로세서(140)는 사용자가 사전에 설정한 하차 구역에 진입 시, 별도의 설정 없이 하차 후 사전 설정에 따라 별도 조작 없이 또는 스마트키 또는 이동전화 단말기의 조작을 통해 자율주차 수행을 할 수 있다.In addition, when the user enters a pre-set alighting zone, the processor 140 alights without a separate setting and then performs autonomous parking according to the pre-set without a separate operation or through the operation of a smart key or a mobile phone terminal. .

또한, 프로세서(140)는 사용자가 하차한 위치를 시스템에 기록할 수 있다. 주차 완료 이후 나중에 사용자가 다시 승차를 원할 때, 해당 위치로 차량을 호출할 수 있도록 하차한 위치를 저장해둘 수 있다.Also, the processor 140 may record the location where the user got off the system in the system. After parking is complete, when the user wants to get on again later, the location where he got off can be stored so that he can call the vehicle to that location.

프로세서(140)는 사용자 하차 이후 사전에 학습된 맵 및 학습에 사용된 주행 경로를 사용하여 주차 제어를 수행하고, 사용자가 수동 학습 시 주행한 경로를 이용하여 주차장 내 통행 가능 폭 및 회전 반경을 고려하여 주차 공간 탐색 궤적을 생성할 수 있다.After the user gets off, the processor 140 performs parking control using the map learned in advance and the driving path used for learning, and considers the passable width and the turning radius in the parking lot using the path traveled by the user during manual learning Thus, a parking space search trajectory may be generated.

또한, 프로세서(140)는 주차공간 탐색 중 기존 학습 결과에 없는 장애물에 대해서는 사전 학습된 맵 정보를 사용하여 회피할 수 있는 경로가 존재하는 지를 판단하고 회피할 수 있는 경로가 있는 경우 해당 방향으로 회피하며, 회피할 수 있는 경로가 없는 경우, 다른 경로로 주행할 수 있을 때까지 주행한 경로를 역으로 후진하도록 제어할 수 있다.In addition, the processor 140 determines whether there is a path that can be avoided by using the pre-learned map information for obstacles that are not in the existing learning result during parking space search, and if there is a path that can be avoided, avoid in the corresponding direction. And, if there is no route that can be avoided, the control can be performed to reverse the route traveled until it can travel on another route.

또한, 프로세서(140)는 공간 탐색 궤적 추종 시 주차공간을 탐색하며, 학습된 주차공간이 비어있거나, 새로운 주차공간이 탐색된 경우 다음 주차 공간 선택 과정으로 진행한다.In addition, the processor 140 searches for a parking space when following the space search trajectory, and when the learned parking space is empty or a new parking space is found, the process proceeds to the next parking space selection process.

또한, 프로세서(140)는 사전에 학습된 맵을 모두 탐색하였음에도 주차공간이 탐색되지 않는 경우, 텔레매틱스 장치(400)를 사용하여, 사용자의 이동 통신 단말(600)기(예, 스마트폰)로 경고를 송신할 수 있다. In addition, the processor 140 uses the telematics device 400 to warn the user's mobile communication terminal 600 (eg, a smartphone) when a parking space is not searched even after searching all the previously learned maps. can be sent.

프로세서(140)는 주차공간이 탐색된 경우, 사전에 사용자가 입력한 자차 정보 (일반/장애인/전기차 등) 및 설정한 선호 구역/기피 구역 정보를 바탕으로 탐색한 주차공간이 조건을 만족한 경우, 해당 주차 공간에 주차하며, 만족하지 않은 경우 주차 공간 탐색 단계로 되돌아간다.When a parking space is searched for, the processor 140 satisfies the condition of the searched parking space based on the user's vehicle information (general/disabled/electric vehicle, etc.) input by the user in advance and the set preferred zone/avoid zone information , parks in the corresponding parking space, and returns to the parking space search step if not satisfied.

또한, 프로세서(140)는 사전에 학습된 맵을 모두 탐색하였음에도 주차공간이 탐색되지 않아 텔레매틱스 장치(400)를 통해 사용자의 이동통신 단말기로 경고를 송신한 경우, 사용자로부터 맵 상에 차량을 주차할 위치를 수동으로 설정받을 수 있다. In addition, when the processor 140 transmits a warning to the user's mobile communication terminal through the telematics device 400 because the parking space is not searched even after searching all the previously learned maps, the user can park the vehicle on the map. The location can be set manually.

프로세서(140)는 차량에 장착된 초음파 센서와 SVM 카메라 정보를 사용, 선택한 주차 공간에 차량이 주차되도록 제어할 수 있다. 또한, 프로세서(140)는 주차가 완료된 후, 주차된 맵 상 위치를 기억하고, 텔레매틱스 장치(400)를 통해 사용자의 이동통신 단말기로 주차 위치를 송신할 수 있다. The processor 140 may control the vehicle to be parked in the selected parking space by using the ultrasonic sensor and SVM camera information mounted on the vehicle. Also, after parking is completed, the processor 140 may store the parked location on the map and transmit the parking location to the user's mobile communication terminal through the telematics device 400 .

또한, 프로세서(140)는 텔레매틱스 장치(400) 또는 home IOT로부터 승차 요청을 받으면, 이전 하차 위치 또는 사용자에 의해 입력된 위치로 차량이 이동하도록 제어할 수 있다. 또한, 프로세서(140)는 IOT 단말기 또는 스마트폰 단말기를 통해 차량을 호출할 위치로서, 사용자에 의해 선택된 하차한 위치 또는 맵 상에 임의 위치 정보를 수신할 수 있다. 이어 프로세서(140)는 이전 하차 위치, 사용자에 의해 선택된 위치로 주행 궤적을 생성하여 주행 제어를 수행할 수 있다.In addition, when receiving a boarding request from the telematics device 400 or the home IOT, the processor 140 may control the vehicle to move to a previous disembarkation location or a location input by the user. In addition, the processor 140 may receive arbitrary location information on a location selected by the user or a map as a location to call a vehicle through an IOT terminal or a smart phone terminal. Then, the processor 140 may perform driving control by generating a driving trajectory to the previous disembarkation position or a position selected by the user.

또한, 프로세서(140)는 주차공간 탐색/출차 중 기존 학습 결과에 없는 경로 상 보행자가 존재하는 경우, 보행자가 경로 상에서 사라질 때까지 정차한 후 계속 경로를 추종할 수 있다. In addition, when a pedestrian exists on a path that is not in the existing learning result during parking space search/exit, the processor 140 may stop and continue to follow the path until the pedestrian disappears from the path.

또한, 프로세서(140)는 주차공간 탐색/출차 중 기존 학습 결과에 없는 경로 상 장애물이 마주보고 다가오는 차량인 경우, 자차를 정차한 후 다가오는 차량을 사전 학습된 맵 정보를 사용하여 회피 가능한지를 판단하여, 회피할 수 있는 경로가 있는 경우 해당 방향으로 회피하며, 회피할 수 있는 경로가 없는 경우, 다른 경로로 주행할 수 있을 때까지 주행한 경로를 역으로 후진하도록 제어할 수 있다. In addition, the processor 140 determines whether it is possible to avoid an oncoming vehicle using pre-learned map information after stopping the own vehicle when an obstacle on the path that is not in the existing learning result during parking space search/exit is a vehicle facing and approaching. , when there is an avoidable route, it avoids in the corresponding direction, and when there is no avoidable route, the control can be controlled to reverse the route traveled until it can travel on another route.

또한, 프로세서(140)는 주차공간 탐색/출차 중 기존 학습 결과에 없는 경로 상 장애물이 선행하는 차량의 경우, 선행 차량과 일정 거리를 유지하며 경로 추종할 수 있다. 또한, 프로세서(140)는 주차공간 탐색/출차 중 기존 학습 결과에 없는 경로 상 장애물이 선행하는 차량의 후진등을 인식하여, 후진등을 인식한 결과를 선행 차량이 주차하고자 하는 의지가 있거나 전방 교통 체증으로 후진하는 것으로 판단하고, 사전 학습된 맵 정보를 사용하여 다른 경로로 주행할 수 있을 때까지 주행한 경로를 역으로 후진하도록 제어할 수 있다. In addition, in the case of a vehicle preceding an obstacle on a path that is not in the existing learning result during parking space search/exit, the processor 140 may follow the path while maintaining a predetermined distance from the preceding vehicle. In addition, the processor 140 recognizes the reversing light of the vehicle preceding the obstacle on the path that is not in the existing learning result during parking space search/exit, and the preceding vehicle has the will to park the reversing light or forward traffic. It is determined that the vehicle is reversing due to the congestion, and using the map information learned in advance, it can be controlled to reverse the route traveled until it can travel to another route.

또한, 프로세서(140)는 후진 시 후행하는 차량이 있는 경우, 후행 차량과 일정 거리를 유지하며 후진 경로 추종을 수행할 수 있다. In addition, when there is a vehicle following when reversing, the processor 140 may perform reverse path tracking while maintaining a predetermined distance from the following vehicle.

프로세서(140)는 자동 주차 맵 학습 기능을 사용하여 주차/출차 시 맵 업데이트를 수행할 수 있다. The processor 140 may update the map when parking/exiting by using the automatic parking map learning function.

이러한 자동 주차 맵은 네비게이션 장치(300), 텔레매틱스 장치(400), 이동 통신 단말(600) 등을 통해 서버(500)로부터 주차장의 학습 필요 없이 구입 또는 다운로드 될 수 있다. 또한, 본 발명에서와 같이 학습된 주차장의 정보가 서버(500)로 판매 또는 업로드 될 수 있다. Such an automatic parking map may be purchased or downloaded from the server 500 through the navigation device 300 , the telematics device 400 , the mobile communication terminal 600 , and the like without the need for learning about the parking lot. In addition, as in the present invention, the learned parking lot information may be sold or uploaded to the server 500 .

서버(500)에 저장된 주차 공간 영역으로 차량이 진입한 경우, 서버(500)는 네비게이션 장치(300), 텔레매틱스 장치(400), 또는 이동통신 단말(600)을 통해 주차 공간의 맵을 구입/다운로드할 지 의사를 확인할 수 있다.When a vehicle enters the parking space area stored in the server 500 , the server 500 purchases/downloads a map of the parking space through the navigation device 300 , the telematics device 400 , or the mobile communication terminal 600 . You can check with your doctor.

센싱 장치(200)는 주차장 입구 또는 출구 표지판, 주차장 내 주차선, 주행 방향선 등의 정보, 주차장 내 또는 주차장 주변에 위치한 장애물, 예를 들어, 주차되어 있는 차량, 주차장을 도보중인 사람, 주차장 벽 등을 측정하는 하나 이상의 센서를 포함할 수 있다.The sensing device 200 includes information such as a parking lot entrance or exit sign, a parking line in the parking lot, a driving direction line, etc., obstacles located in or around the parking lot, for example, a parked vehicle, a person walking in the parking lot, a parking lot wall It may include one or more sensors that measure the back.

센싱 장치(200)는 차량 외부 물체를 감지하기 위해 복수의 센서를 구비할 수 있으며, 외부 물체(장애물)의 위치, 외부 물체의 속도, 외부 물체의 이동 방향 및/또는 외부 물체의 종류(예: 차량, 보행자, 자전거 또는 모터사이클 등)에 대한 정보를 획득할 수 있다. 이를 위해, 센싱 장치(200)는 SVM 카메라(210), 전방 카메라(220), 초음파 센서(230) 등을 포함하며, 도 1에 개시되어 있지 않으나 레이더, 카메라, 레이저 스캐너 및/또는 코너 레이더, 라이다, 가속도 센서, 요레이트 센서, 토크 측정 센서 및/또는 휠스피드 센서, 조향각 센서 등을 더 포함할 수 있다. 본 발명에서는 초음파 센서를 이용하여 주차 공간을 탐색할 수 있고, SVM 카메라(210) 및 전방 카메라(220)를 이용하여 주차장 내의 장애물의 존재 유무를 판단할 수 있다.The sensing device 200 may include a plurality of sensors to detect an object external to the vehicle, and the position of the external object (obstacle), the speed of the external object, the moving direction of the external object, and/or the type of the external object (eg: information about vehicles, pedestrians, bicycles or motorcycles, etc.) can be obtained. To this end, the sensing device 200 includes an SVM camera 210, a front camera 220, an ultrasonic sensor 230, etc., which is not shown in FIG. 1, but includes a radar, a camera, a laser scanner and/or a corner radar; It may further include a lidar, an acceleration sensor, a yaw rate sensor, a torque measuring sensor and/or a wheel speed sensor, a steering angle sensor, and the like. In the present invention, a parking space may be searched using an ultrasonic sensor, and the presence or absence of an obstacle in the parking lot may be determined using the SVM camera 210 and the front camera 220 .

SVM 카메라(210)는 서라운드 뷰 모니터(Surround view monitor) 시스템에 적용된 카메라를 포함할 수 있고, 차량 전방, 차량 후방, 차량 측방에 장착될 수 있으며, 차량 주변을 촬영한 영상 데이터를 주차 제어 장치(100)로 제공할 수 있다. SVM 카메라(210)는 차량 전방위 근거리 볼 수 있으나, 입체물에 불리하고, 바닥 마커 인식에 용이하며, 맵 상에서 바라보는 시야와 유사한 특성을 가진다. The SVM camera 210 may include a camera applied to a surround view monitor system, and may be mounted on the front of the vehicle, the rear of the vehicle, or on the side of the vehicle, and transmit image data captured around the vehicle to the parking control device ( 100) can be provided. The SVM camera 210 can see the vehicle omnidirectionally, but it is disadvantageous to a three-dimensional object, it is easy to recognize a floor marker, and has characteristics similar to a view viewed on a map.

전방 카메라(220)는 차량의 윈드쉴드 글라스에 장착되어 차량 전방을 촬영하고 영상 데이터를 주차 제어 장치(100)로 제공할 수 있다. 전방 카메라(220)는 먼 영역의 전방 인식 가능하고, 실제 사용자 시야와 유사하며 입체물 인식에 유리하고 벽 마커 인식에 용이하다. 이에 전방 카메라(220)는 자율 공간 탐색을 위한 경로인식, 경로 상 장애물 인식, 맵 학습/자차위치 추정 위한 마커 등 특징점을 인식할 수 있다. The front camera 220 may be mounted on the windshield glass of the vehicle to photograph the front of the vehicle and provide image data to the parking control apparatus 100 . The front camera 220 is capable of recognizing the front of a distant area, similar to an actual user's field of view, and is advantageous for recognizing a stereoscopic object and recognizing a wall marker. Accordingly, the front camera 220 may recognize feature points such as path recognition for autonomous space search, obstacle recognition on a path, and a marker for map learning/own vehicle location estimation.

초음파 센서(230)는 차량 주변의 장애물, 차선, 주차선 등을 감지하여 주차 제어 장치(100)로 제공할 수 있다. 초음파 센서(230)는 극저조도, 노면반사, 카모플라주패턴 등 영상 한계상황을 보완할 수 있다. The ultrasonic sensor 230 may detect an obstacle, a lane, a parking line, etc. around the vehicle and provide it to the parking control apparatus 100 . The ultrasonic sensor 230 may compensate for image limitations such as extremely low illumination, road reflection, and camouflage pattern.

네비게이션 장치(300)는 주차장 주변 지도 정보 및 주차장 맵 정보 등을 주차 제어 장치(100)로 제공할 수 있다. The navigation device 300 may provide map information and parking lot map information around the parking lot to the parking control device 100 .

텔레매틱스 장치(400)는 사용자의 이동 통신 단말(600)기와 통신을 수행하여 생성된 맵을 사용자의 이동 통신 단말(600)기로 제공할 수 있다.The telematics apparatus 400 may provide a map generated by communicating with the user's mobile communication terminal 600 to the user's mobile communication terminal 600 .

이하, 도 2를 참조하여 본 발명의 일 실시 예에 따른 맵 학습 기반 주차 제어 방법을 구체적으로 설명하기로 한다. 도 2는 본 발명의 일 실시 예에 따른 맵 학습 기반 주차 제어 방법을 나타내는 순서도이다.Hereinafter, a map learning-based parking control method according to an embodiment of the present invention will be described in detail with reference to FIG. 2 . 2 is a flowchart illustrating a map learning-based parking control method according to an embodiment of the present invention.

이하에서는 도 1의 주차 제어 장치(100)가 도 2의 프로세스를 수행하는 것을 가정한다. 또한, 도 2의 설명에서, 장치에 의해 수행되는 것으로 기술된 동작은 주차 제어 장치(100)의 프로세서(140)에 의해 제어되는 것으로 이해될 수 있다.Hereinafter, it is assumed that the parking control apparatus 100 of FIG. 1 performs the process of FIG. 2 . Also, in the description of FIG. 2 , an operation described as being performed by the device may be understood as being controlled by the processor 140 of the parking control device 100 .

도 2를 참조하면 주차 제어 장치(100)는 센싱 장치(200)에 의해 획득된 차량 주변 영상 데이터를 이용하여 사용자가 자주 찾는 주차장 환경을 학습하고 맵을 구축한다(S201). 즉, 주차 제어 장치(100)는 별도의 V2V 통신 장치 없이 차량에 장착된 SVM 카메라(210), 전방 카메라(220), 및 텔레매틱스 장치(400)를 사용하여 사용자가 자주 찾는 주차장 환경을 학습할 수 있다.Referring to FIG. 2 , the parking control device 100 uses the image data around the vehicle acquired by the sensing device 200 to learn the parking lot environment frequently sought by the user and build a map ( S201 ). That is, the parking control device 100 can learn the parking lot environment frequently found by the user by using the SVM camera 210, the front camera 220, and the telematics device 400 mounted on the vehicle without a separate V2V communication device. have.

주차 제어 장치(100)는 학습한 주차장 환경을 바탕으로 스스로 공간 탐색 및 주차를 수행할 수 있다(S201).The parking control apparatus 100 may perform space search and parking by itself based on the learned parking lot environment (S201).

사용자가 원하는 위치에서 하차한 후, 주차 제어 장치(100)는 학습한 주차장 환경을 기반으로 주차장 내에 빈 주차 공간을 탐색하고 차량이 스스로 탐색된 주차 공간으로 이동하여 주차되도록 주차 제어를 수행한다. After the user gets off at a desired location, the parking control device 100 searches for an empty parking space in the parking lot based on the learned parking lot environment and performs parking control so that the vehicle moves to and parks in the searched parking space by itself.

주차 완료 후, 사용자가 탑승하고자 하는 경우, 주차 제어 장치(100)는 주차 시 하차 위치 또는 사전에 입력된 하차 위치로 차량 이동 제어를 수행한다(S203). 이에 사용자가 주차 시 하차 위치 또는 사전에 입력된 하차 위치를 선택하면 차량이 해당 위치로 이동함으로써, 사용자가 원하는 위치에서 차량에 바로 탑승할 수 있다.After the parking is completed, when the user wants to board the vehicle, the parking control apparatus 100 performs vehicle movement control to the get-off position or the pre-entered get-off position during parking (S203). Accordingly, when the user selects a disembarkation position or a pre-entered disembarkation position during parking, the vehicle moves to the corresponding position, so that the user can directly get into the vehicle at the desired position.

이처럼 본 발명은 사용자가 직접 주차 공감을 탐색하여 주차하지 않고, 사용자가 주차장 진입 후 또는 주차장 주변에서 하차하더라도 차량 스스로 주차 공간을 탐색하고 자동 주차하며, 주차 후 차량 탑승을 위해 사용자가 주차된 차량을 찾아 주차된 위치로 이동하지 않고도, 사용자의 이전 하차 위치로 차량이 이동함으로써 이전 하차 위치에서 바로 탑승할 수 있어 사용자의 편의성이 증대될 수 있다. As such, the present invention does not park the user by directly searching for parking sympathy, and even if the user gets off after entering the parking lot or gets off the parking lot, the vehicle itself searches for a parking space and automatically parks the vehicle, and after parking, the user selects the parked vehicle for boarding the vehicle. By moving the vehicle to the user's previous disembarkation position without moving to a searched and parked position, the user can get on directly from the previous disembarkation position, thereby increasing the user's convenience.

이하, 도 3을 참조하여 본 발명의 일 실시 예에 따른 주차장 환경 학습 및 맵 구축 방법을 구체적으로 설명하기로 한다. 도 3은 본 발명의 일 실시 예에 따른 주차장 환경 학습 및 맵 구축 방법을 나타내는 순서도이다.Hereinafter, a method for learning a parking lot environment and building a map according to an embodiment of the present invention will be described in detail with reference to FIG. 3 . 3 is a flowchart illustrating a method for learning a parking lot environment and building a map according to an embodiment of the present invention.

이하에서는 도 1의 주차 제어 장치(100)가 도 3의 프로세스를 수행하는 것을 가정한다. 또한, 도 3의 설명에서, 장치에 의해 수행되는 것으로 기술된 동작은 주차 제어 장치(100)의 프로세서(140)에 의해 제어되는 것으로 이해될 수 있다.Hereinafter, it is assumed that the parking control apparatus 100 of FIG. 1 performs the process of FIG. 3 . In addition, in the description of FIG. 3 , an operation described as being performed by the apparatus may be understood as being controlled by the processor 140 of the parking control apparatus 100 .

도 2를 참조하면 주차 제어 장치(100)는 사용자 주행 이력을 누적하고(S301), 누적된 사용자 주행 이력을 기반으로 자동 맵 학습을 수행한다(S302).Referring to FIG. 2 , the parking control apparatus 100 accumulates a user driving history ( S301 ), and performs automatic map learning based on the accumulated user driving history ( S302 ).

이어 주차 제어 장치(100)는 맵 생성 여부를 판단하고(S303), 맵이 생성되어 있는 경우 사용자에게 주차장 학습을 제안한다(S304).Then, the parking control device 100 determines whether a map is generated (S303), and if the map is generated, suggests parking lot learning to the user (S304).

주차 제어 장치(100)는 맵의 주차장 정보에 승차/하차 위치가 포함되어 있는 지를 판단하고(S305), 승차/하차 위치가 포함되어 있는 경우, 사용자 승차/하차 위치를 학습한다(S306).The parking control device 100 determines whether the boarding/unloading location is included in the parking lot information of the map (S305), and if the boarding/unloading location is included, learns the user's boarding/unloading location (S306).

반면, 맵의 주차장 정보에 승차/하차 위치가 포함되어 있지 않은 경우 주차 제어 장치(100)는 사용자 승차/하차 위치를 추가 등록한다(S307).On the other hand, when the parking lot information of the map does not include the getting on/off position, the parking control device 100 additionally registers the user's getting on/off position (S307).

또한 주차 제어 장치(100)는 사용자가 주차장 학습을 요청한 경우(S401), GPS 좌표 기반 사용자 수동 맵 학습을 수행한다(S402).In addition, when the user requests parking lot learning (S401), the parking control device 100 performs user manual map learning based on GPS coordinates (S402).

주차 제어 장치(100)는 맵이 생성되어 있는 지를 판단하고(S403), 맵이 생성되어 있는 경우, 맵의 주차장 정보에 승차/하차 위치가 포함되어 있는 지를 판단하고(S305), 승차/하차 위치가 포함되어 있는 경우, 사용자 승차/하차 위치를 학습한다(S306).The parking control device 100 determines whether a map is generated (S403), and if the map is generated, determines whether the boarding/alighting location is included in the parking lot information of the map (S305), and the boarding/alighting location If is included, the user's getting on/off position is learned (S306).

반면, 맵의 주차장 정보에 승차/하차 위치가 포함되어 있지 않은 경우 주차 제어 장치(100)는 사용자 승차/하차 위치를 추가 등록한다(S307).On the other hand, when the parking lot information of the map does not include the getting on/off position, the parking control device 100 additionally registers the user's getting on/off position (S307).

도 8 내지 도 16은 본 발명의 일 실시 예에 따른 맵 학습 기반 주차장 환경의 예시도이다. 8 to 16 are exemplary views of a map learning-based parking lot environment according to an embodiment of the present invention.

도 8에서는 지하1층 주차장과 지하 2층 주차장의 맵을 생성한 예로서, 전방 카메라 및 SVM 카메라의 영상 데이터를 기반으로 인식된 특징점이 맵에 반영된 예를 개시한다.In FIG. 8 , as an example of creating a map of a parking lot on the first basement level and a parking lot on the second basement floor, an example in which a feature point recognized based on image data of a front camera and an SVM camera is reflected on the map is disclosed.

도 9 및 도 10에서는 1층에서 주차로로 진입하여 지하 1층까지의 주차로에 대한 맵을 개시한다. 도 10을 참조하면, GPS 신호가 끊기는 시점에 주차장에 진입한 것으로 판단하고 맵 학습을 시작하고 도로 기울기가 급격이 변하는 구간이 발생하면 층간 이동 레이어로 판단하고 도로 기울기가 안정화 되는 구간은 주차장에서의 층간 이동이 완료된 것으로 판단할 수 있다.In FIGS. 9 and 10 , a map of the parking path from the first floor to the first basement level is disclosed. Referring to FIG. 10 , when it is determined that the parking lot is entered at the time when the GPS signal is cut off, map learning is started, and a section in which the road slope changes abruptly occurs, it is determined as an inter-floor movement layer, and the section where the road slope is stabilized is in the parking lot. It can be determined that the inter-floor movement has been completed.

도 11에서는 층간 이동 완료 후 지하1층 주차장에서 공간을 탐색하는 예가 개시되고 도 12에서는 주차된 차량과 주차선, 특징점들을 표시한 예를 개시한다. 도 13의 1301 및 1302는 도로 기울기가 급격히 변하는 구간 진입 시 층간 이동 레이어에 학습(진입 영역 레이어 대비 -0.5층)을 수행하고, 도로 기울기가 안정화 되는 구간 진입 시 층간 이동 레이어 학습을 완료하는 예를 개시한다. In FIG. 11 , an example of searching for a space in a parking lot on the first basement floor after completion of interfloor movement is disclosed, and in FIG. 12 , an example of displaying a parked vehicle, a parking line, and characteristic points is disclosed. 1301 and 1302 of FIG. 13 show an example of performing learning (-0.5 layer compared to the entry area layer) on the inter-floor movement layer when entering a section in which the road slope changes rapidly, and completing the learning of the inter-floor movement layer when entering the section where the road slope is stabilized. start

도 14에서는 지하2층 주차장에서 층간 이동 레이어 학습을 수행하는 예를 개시하고, 도 15에서는 지하2층 주차장 맵을 개시한다. 도 16에서는 진입부, 지하1층, 지하 2층의 전체 주차장 맵을 표시한다. 14 discloses an example of performing inter-floor movement layer learning in the 2nd basement parking lot, and FIG. 15 discloses a 2nd basement parking lot map. 16 shows the entire parking lot map of the entrance, the first basement floor, and the second basement floor.

이와 같이 본 발명은 사용자의 주행 이력 누적을 통해 주차장 환경에 대한 자동 맵을 생성한다. 또한 본 발명은 맵의 생성 및 학습 시점을 주차장 판단 조건을 통해 수행하고 주행 이력 기록 시점/종료 시점을 판단하여 맵 생성을 수행할 수 있다. 또한, 본 발명은 반복 주행 학습을 통해 주차 고정물/임시 장애물 등을 판단하고 맵에 반영 여부를 선별할 수 있으며, 사용자에 의해 주차장 수동 맵학습 명령을 수행할 수 있다. 또한, 본 발명은 맵 생성 시 주차장의 특징 및 인식 표시물들을 판단하고 맵에 반영할 수 있다. As described above, the present invention generates an automatic map for the parking lot environment by accumulating the user's driving history. In addition, according to the present invention, the map generation and learning time can be performed through the parking lot determination condition and the map generation can be performed by determining the driving history recording time/end time. In addition, the present invention can determine parking fixtures/temporary obstacles, etc. through repeated driving learning and select whether to be reflected on the map, and can perform a manual parking lot map learning command by the user. In addition, the present invention can determine the characteristics and recognition marks of the parking lot when creating a map and reflect it on the map.

도 17은 본 발명의 일 실시 예에 따른 컴퓨팅 시스템을 도시한다.17 illustrates a computing system according to an embodiment of the present invention.

도 17을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다. Referring to FIG. 17 , the computing system 1000 includes at least one processor 1100 , a memory 1300 , a user interface input device 1400 , a user interface output device 1500 , and storage connected through a bus 1200 . 1600 , and a network interface 1700 .

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다. The processor 1100 may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in the memory 1300 and/or the storage 1600 . The memory 1300 and the storage 1600 may include various types of volatile or nonvolatile storage media. For example, the memory 1300 may include read only memory (ROM) and random access memory (RAM).

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. Accordingly, the steps of a method or algorithm described in connection with the embodiments disclosed herein may be directly implemented in hardware, a software module, or a combination of the two executed by the processor 1100 . A software module resides in a storage medium (ie, memory 1300 and/or storage 1600 ) such as RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, a removable disk, a CD-ROM. You may.

예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.An exemplary storage medium is coupled to the processor 1100 , the processor 1100 capable of reading information from, and writing information to, the storage medium. Alternatively, the storage medium may be integrated with the processor 1100 . The processor and storage medium may reside within an application specific integrated circuit (ASIC). The ASIC may reside within the user terminal. Alternatively, the processor and storage medium may reside as separate components within the user terminal.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. The above description is merely illustrative of the technical spirit of the present invention, and various modifications and variations will be possible without departing from the essential characteristics of the present invention by those skilled in the art to which the present invention pertains.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

Claims (20)

영상 데이터를 기반으로 주차장 환경을 학습하고 주차장 맵을 생성하여, 상기 학습된 주차장 맵을 바탕으로 차량이 자동으로 주차 공간을 탐색하여 주차하도록 제어하는 프로세서; 및
상기 맵을 저장하는 저장부;
를 포함하는 주차 제어 장치.
a processor for learning a parking lot environment based on image data and generating a parking lot map, and controlling the vehicle to automatically search and park a parking space based on the learned parking lot map; and
a storage unit for storing the map;
A parking control device comprising a.
청구항 1에 있어서,
상기 프로세서는,
주차장 주행 이력 정보를 기반으로 주차장 맵을 생성하는 것을 특징으로 하는 주차 제어 장치.
The method according to claim 1,
The processor is
A parking control device, characterized in that for generating a parking lot map based on the parking lot driving history information.
청구항 2에 있어서,
상기 프로세서는,
주차장 판단 조건을 통해 맵 생성 또는 학습 시점을 판단하는 것을 특징으로 하는 주차 제어 장치.
3. The method according to claim 2,
The processor is
A parking control device, characterized in that for determining the time of map generation or learning through the parking lot determination condition.
청구항 2에 있어서,
상기 프로세서는,
차량이 일정 차속 이하로 주행하거나, 일정 거리를 주행할 때마다 방향을 전환하거나, 상기 영상 데이터 내에 주차장 관련 문구, 주차선, 주차장 픽토그램이 인식되거나 GPS 신호가 끊기는 경우, 상기 맵 생성 또는 학습을 시작하는 것을 특징으로 하는 주차 제어 장치.
3. The method according to claim 2,
The processor is
When the vehicle travels below a certain vehicle speed, changes direction every time it travels a certain distance, when a parking lot related phrase, parking line, or parking lot pictogram is recognized in the image data, or when the GPS signal is cut off, the map creation or learning starts Parking control device, characterized in that.
청구항 4에 있어서,
상기 프로세서는,
차량이 일정 차속 이상 주행하거나, 방향 전환 없이 일정 거리 이상 주행하거나 GPS 신호가 다시 수신되거나, 상기 영상 데이터 내에 출구 관련 문구가 인식된 경우 상기 주차장 주행 이력 기록을 종료하는 것을 특징으로 하는 주차 제어 장치.
5. The method according to claim 4,
The processor is
Parking control device, characterized in that when the vehicle travels more than a certain vehicle speed, travels more than a certain distance without changing direction, a GPS signal is received again, or an exit related phrase is recognized in the image data, the parking control device, characterized in that it ends the recording of the parking lot driving history.
청구항 1에 있어서,
상기 프로세서는,
주행 가능한 도로 폭 내에서 양 쪽에 근접하여 탐색하여 탐색된 영역이 미리 정한 기준치 이상인 경우, 주차공간 내에 존재하지 않은 장애물의 비율이 미리 정한 기준치 이하일 경우, 생성된 맵의 총 주행 경로상 좌측 및우측 고정 장애물의 점유 비율이 미리 정한 기준치 이상인 경우 상기 맵이 학습된 상태인 것으로 판단하는 것을 특징으로 하는 주차 제어 장치.
The method according to claim 1,
The processor is
If the searched area is greater than or equal to a predetermined threshold by searching on both sides within the drivable width of the road, if the ratio of obstacles that do not exist in the parking space is less than or equal to the predetermined threshold, the left and right sides of the created map are fixed on the total driving path The parking control device, characterized in that it is determined that the map is in a learned state when the occupancy ratio of the obstacle is equal to or greater than a predetermined reference value.
청구항 1에 있어서,
상기 프로세서는,
사용자에 의한 요청이 있는 경우 수동 맵 학습을 수행하는 것을 특징으로 하는 주차 제어 장치.
The method according to claim 1,
The processor is
Parking control device, characterized in that when there is a request by the user to perform manual map learning.
청구항 1에 있어서,
상기 프로세서는,
주차장 도로 기울기에 따라 주차 공간의 층간 이동을 판단하고, 층간 레이어에 대한 학습을 수행하는 것을 특징으로 하는 주차 제어 장치.
The method according to claim 1,
The processor is
A parking control device, characterized in that it determines the inter-floor movement of the parking space according to the slope of the parking lot road, and performs learning on the inter-floor layer.
청구항 1에 있어서,
상기 프로세서는,
전방 카메라에 의한 영상 데이터를 기반으로 벽에 표시된 층수, 주차공간 번호, 주차구역 번호, 입구 및 출구 안내표시, 진행 방향 안내, 진입 금지 표시, 장애인 주차구역 표시, 전기차 주차구역 표시 중 적어도 하나 이상을 특징점으로 인식하여 상기 맵에 반영하는 것을 특징으로 하는 주차 제어 장치.
The method according to claim 1,
The processor is
Based on the image data from the front camera, at least one or more of the number of floors displayed on the wall, parking space number, parking area number, entrance and exit information display, direction guidance, entry prohibition display, disabled parking area display, and electric vehicle parking area display is displayed. A parking control device, characterized in that it is recognized as a feature point and reflected on the map.
청구항 1에 있어서,
상기 프로세서는,
SVM 카메라에 의한 영상 데이터를 기반으로, 주차 공간 번호, 진행 방향, 입구 및 출구, 주차 공간 종류, 주차 공간 크기, 고정 장애물, 주행 가능 공간 정보 중 적어도 하나 이상을 특징점으로 인식하여 상기 맵에 반영하는 것을 특징으로 하는 주차 제어 장치.
The method according to claim 1,
The processor is
Based on the image data from the SVM camera, at least one or more of parking space number, progress direction, entrance and exit, parking space type, parking space size, fixed obstacles, and drivable space information is recognized as a feature point and reflected on the map A parking control device, characterized in that.
청구항 1에 있어서,
상기 프로세서는,
상기 맵 상에 승하차 구역, 주차 가능 구역, 주차 금지 구역, 주차 선호 구역, 주차 기피 구역을 반영하여 생성하는 것을 특징으로 하는 주차 제어 장치.
The method according to claim 1,
The processor is
A parking control device, characterized in that generating by reflecting the boarding and disembarking zone, the parking available zone, the no-parking zone, the parking preference zone, and the parking avoidance zone on the map.
청구항 1에 있어서,
상기 프로세서는,
사용자의 하차 후, 상기 사용자의 하차 위치를 상기 저장부에 저장하고, 차량의 자동 주차 제어를 수행하는 것을 특징으로 하는 주차 제어 장치.
The method according to claim 1,
The processor is
After the user gets off, the parking control device, characterized in that the user's get-off position is stored in the storage unit, and automatic parking control of the vehicle is performed.
청구항 12에 있어서,
상기 프로세서는,
주차 완료 이후, 상기 사용자로부터 승차 호출을 받으면, 이전 하차 위치로 차량을 이동 제어하는 것을 특징으로 하는 주차 제어 장치.
13. The method of claim 12,
The processor is
After parking is completed, when receiving a ride call from the user, the parking control device, characterized in that the vehicle is controlled to move to a previous disembarkation position.
청구항 13에 있어서,
상기 프로세서는,
상기 사용자의 하차 위치 및 차량의 주차 위치를 사용자의 이동 통신 단말로 전송하는 것을 특징으로 하는 주차 제어 장치.
14. The method of claim 13,
The processor is
Parking control device, characterized in that for transmitting the user's getting off position and the parking position of the vehicle to the user's mobile communication terminal.
청구항 1에 있어서,
상기 프로세서는,
텔레매틱스 단말, 홈 LOT, 이동 통신 단말을 통해 승차 요청을 수신하는 것을 특징으로 하는 주차 제어 장치.
The method according to claim 1,
The processor is
A parking control device, characterized in that it receives a ride request through a telematics terminal, a home LOT, and a mobile communication terminal.
청구항 1에 있어서,
상기 프로세서는,
상기 주차 공간 탐색 또는 출차 중 기존 학습 결과에 존재하지 않는 장애물이 존재하는 경우, 상기 장애물이 경로 상에서 사라질 때까지 정차한 후 대기하거나, 상기 장애물을 회피할 수 있는 경로가 존재하는 경우 상기 회피 경로를 통해 회피 주행하거나, 상기 회피 경로가 존재하지 않는 경우, 역으로 후진하도록 제어하는 것을 특징으로 하는 주차 제어 장치.
The method according to claim 1,
The processor is
When there is an obstacle that does not exist in the existing learning result during the search for the parking space or the vehicle exiting, the vehicle stops and waits until the obstacle disappears on the path, or if there is a path that can avoid the obstacle, the avoidance path is selected A parking control device, characterized in that it controls the vehicle to avoid driving through the evasion route or to reverse reverse when the avoidance route does not exist.
주차장 주변을 촬영하고 장애물을 센싱하는 센싱 장치; 및
상기 센싱 장치에 의한 영상 데이터를 기반으로 주차장 환경을 학습하고 주차장 맵을 생성하여, 상기 학습된 주차장 맵을 바탕으로 차량이 자동으로 주차 공간을 탐색하여 주차하도록 제어하는 주차 제어 장치;
를 포함하는 것을 특징으로 하는 차량 시스템.
Sensing device for photographing the parking area and sensing obstacles; and
a parking control device that learns a parking lot environment based on the image data by the sensing device and generates a parking lot map, and controls the vehicle to automatically search and park a parking space based on the learned parking lot map;
A vehicle system comprising a.
청구항 17에 있어서,
상기 센싱 장치는,
차량의 전방의 원거리를 촬영하는 전방 카메라;
차량의 주변의 단거리를 촬영하는 SVM 카메라; 및
차량 주변의 장애물을 감지하는 초음파 센서;
를 포함하는 것을 특징으로 하는 차량 시스템.
18. The method of claim 17,
The sensing device is
A front camera for photographing a distance in front of the vehicle;
an SVM camera that shoots a short distance around the vehicle; and
an ultrasonic sensor that detects obstacles around the vehicle;
A vehicle system comprising a.
청구항 18에 있어서,
상기 학습된 주차장 맵의 업로드 또는 다운로드를 수행하는 서버;
를 더 포함하는 것을 특징으로 하는 차량 시스템.
19. The method of claim 18,
a server that uploads or downloads the learned parking lot map;
Vehicle system, characterized in that it further comprises.
주차장 주변을 촬영하고 장애물을 센싱하는 단계;
상기 센싱된 데이터를 기반으로 주차장 환경을 학습하고 주차장 맵을 생성하는 단계; 및
상기 학습된 주차장 맵을 바탕으로 차량이 자동으로 주차 공간을 탐색하여 주차하도록 제어하는 단계;
를 포함하는 것을 특징으로 하는 주차 제어 방법.
Filming around the parking lot and sensing obstacles;
learning a parking lot environment based on the sensed data and generating a parking lot map; and
controlling the vehicle to automatically search for and park a parking space based on the learned parking lot map;
A parking control method comprising a.
KR1020190161864A 2019-12-06 2019-12-06 Apparatus for controlling a parking, system having the same and method thereof KR20210072213A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190161864A KR20210072213A (en) 2019-12-06 2019-12-06 Apparatus for controlling a parking, system having the same and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190161864A KR20210072213A (en) 2019-12-06 2019-12-06 Apparatus for controlling a parking, system having the same and method thereof

Publications (1)

Publication Number Publication Date
KR20210072213A true KR20210072213A (en) 2021-06-17

Family

ID=76603612

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190161864A KR20210072213A (en) 2019-12-06 2019-12-06 Apparatus for controlling a parking, system having the same and method thereof

Country Status (1)

Country Link
KR (1) KR20210072213A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114435348A (en) * 2022-02-28 2022-05-06 重庆长安汽车股份有限公司 Intelligent parking method based on memory type parking
KR20230019643A (en) * 2021-08-02 2023-02-09 주식회사 앤씨앤 Appratus and method for controlling vehicle for parking

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230019643A (en) * 2021-08-02 2023-02-09 주식회사 앤씨앤 Appratus and method for controlling vehicle for parking
CN114435348A (en) * 2022-02-28 2022-05-06 重庆长安汽车股份有限公司 Intelligent parking method based on memory type parking

Similar Documents

Publication Publication Date Title
US10479362B2 (en) Autonomous driving assistance system, autonomous driving assistance method, and computer program
US11124181B2 (en) Vehicle control apparatus, a system including the same, and a method thereof
CN107003134B (en) Server for operating parking lot
WO2018047222A1 (en) Dispatch support method and device
JP4613881B2 (en) Parking guidance device
US20180037223A1 (en) Autonomous driving assistance system, autonomous driving assistance method, and computer program
US20160347327A1 (en) Autonomous vehicle driving assist system, method, and program
KR20190119502A (en) Apparatus for controlling lane change of vehicle, system having the same and method thereof
US20180120844A1 (en) Autonomous driving assistance system, autonomous driving assistance method, and computer program
KR100946525B1 (en) Automatic Driving System for a Vehicle
RU2746684C1 (en) Parking control method and parking control equipment
CN107850456A (en) Path guiding device and path guide method
JP6361403B2 (en) Automatic driving support system, automatic driving support method, and computer program
JP7323074B2 (en) Parking Lot Identification System, Parking Lot Identification Method, Control Device, Center Device, and Parking Area Identification Method
CN113167592A (en) Information processing apparatus, information processing method, and information processing program
US20190107402A1 (en) Navigation device, destination guiding system, and non-transitory recording medium
KR20210072213A (en) Apparatus for controlling a parking, system having the same and method thereof
KR20180012128A (en) Apparatus for estimating 3d position of vehicle and method thereof
CN115662171A (en) Lane change prompting method and device, electronic equipment and vehicle
JP2017181392A (en) Route search device and computer program
CN114194186B (en) Vehicle travel control device
JP7076582B2 (en) Automatic operation instruction device and automatic operation instruction method
EP4300468A1 (en) Route search device and computer program
KR102531722B1 (en) Method and apparatus for providing a parking location using vehicle's terminal
CN115042812A (en) Automatic stop parking method, device, medium and electronic equipment

Legal Events

Date Code Title Description
A201 Request for examination