KR101401063B1 - Terminal and method providing vehicle moving path, and vehicle using the same - Google Patents
Terminal and method providing vehicle moving path, and vehicle using the same Download PDFInfo
- Publication number
- KR101401063B1 KR101401063B1 KR1020120095657A KR20120095657A KR101401063B1 KR 101401063 B1 KR101401063 B1 KR 101401063B1 KR 1020120095657 A KR1020120095657 A KR 1020120095657A KR 20120095657 A KR20120095657 A KR 20120095657A KR 101401063 B1 KR101401063 B1 KR 101401063B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- terminal
- movement path
- actual
- route
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 14
- 238000004088 simulation Methods 0.000 claims description 15
- 230000001133 acceleration Effects 0.000 claims description 12
- 230000005484 gravity Effects 0.000 claims description 5
- 235000012813 breadcrumbs Nutrition 0.000 claims 1
- 238000004891 communication Methods 0.000 description 9
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
- G08G1/096877—Systems involving transmission of navigation instructions to the vehicle where the input to the navigation device is provided by a suitable I/O arrangement
- G08G1/096894—Systems involving transmission of navigation instructions to the vehicle where the input to the navigation device is provided by a suitable I/O arrangement where input is assisted by the navigation device, i.e. the user does not type the complete name of the destination, e.g. using zip codes, telephone numbers, progressively selecting from initial letters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
- H04W4/185—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals by embedding added-value information into content, e.g. geo-tagging
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
Abstract
본 발명은 카메라모듈을 통해 촬영된 영상을 표시하는 디스플레이모듈과; 이동 경로 애플리케이션을 실행하여, 상기 디스플레이모듈에 표시된 영상을 사용하여 사용자로부터 입력된 차량 이동 경로를, 지면을 기반으로 하는 실제 차량 이동 경로로 변환하고, 상기 실제 이동 경로를 차량에 전송하도록 하는 애플리케이션 실행부를 포함하는 차량 이동 경로 제공 단말기를 제공한다.A display module for displaying an image photographed through a camera module; Executing an application program that executes a navigation application to convert the vehicle navigation path input from the user into an actual vehicle navigation path based on the ground using the image displayed on the display module and to transmit the actual navigation route to the vehicle The present invention also provides a vehicle movement path providing terminal including:
Description
본 발명은 차량 이동 경로 제공 단말기에 관한 것으로서, 보다 상세하게는, 차량 이동 경로 제공 단말기 및 방법과, 이를 사용한 차량에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle movement route providing terminal, and more particularly, to a vehicle travel route providing terminal and method, and a vehicle using the same.
차량의 수가 급격하게 증가함에 따라 주차 문제가 사회의 이슈로 등장하고 있다. 특히, 협소한 공간에 차량을 주차할 때 운전자가 어려움을 겪게 되며, 운전경력이 많은 사람이라도 협소한 공간에 주차를 하려면, 차량을 수차례 전후진하는 것을 반복하여야 주차가 가능한 경우가 많다.As the number of vehicles increases dramatically, parking problems are emerging as social issues. Particularly, when a driver parks a vehicle in a narrow space, the driver will have difficulty. Even if a driver has a lot of driving experience, parking can be performed only after repeatedly moving the vehicle back and forth several times in order to park in a narrow space.
이와 같은 주차의 어려움을 해소하기 위해, 최근에는 카메라나 거리센서 등의 주차보조장치가 차량에 장착되고 있다. In order to solve such a difficulty of parking, a parking assist device such as a camera or a distance sensor is recently mounted on the vehicle.
그런데, 이와 같은 주차보조장치를 사용하여 주차를 하더라도, 운전자는 차량 내부에서 카메라로 촬영된 영상을 주시하면서 차량을 지속적으로 조작하여야 하는 불편함이 여전히 존재한다. However, even if parking is performed by using such a parking assist device, there is still the inconvenience that the driver must constantly operate the vehicle while watching an image shot by the camera in the vehicle.
따라서, 보다 간단하고 편리하게 주차를 보조할 수 있는 방안이 절실히 요구되고 있는 실정이다.
Therefore, there is an urgent need for a method of assisting parking in a simpler and more convenient manner.
본 발명은, 간단하고 편리하게 주차를 보조할 수 있는 방안을 제공하는 데 과제가 있다.
SUMMARY OF THE INVENTION The present invention has a problem to provide a simple and convenient parking assisting method.
전술한 바와 같은 과제를 달성하기 위해, 본 발명은 카메라모듈을 통해 촬영된 영상을 표시하는 디스플레이모듈과; 이동 경로 애플리케이션을 실행하여, 상기 디스플레이모듈에 표시된 영상을 사용하여 사용자로부터 입력된 차량 이동 경로를, 지면을 기반으로 하는 실제 차량 이동 경로로 변환하고, 상기 실제 이동경로를 차량에 전송하도록 하는 애플리케이션 실행부를 포함하는 차량 이동 경로 제공 단말기를 제공한다.According to an aspect of the present invention, there is provided a display device including a display module for displaying an image photographed through a camera module; Executing an application program that executes a navigation application to convert the vehicle navigation path input from the user into an actual vehicle navigation path based on the ground using the image displayed on the display module and to transmit the actual navigation route to the vehicle The present invention also provides a vehicle movement path providing terminal including:
여기서, 상기 단말기의 자세각을 검출하는 중력가속도모듈을 포함하고, 상기 검출된 자세각을 활용하여, 상기 입력된 차량 이동 경로를 상기 실제 차량 이동 경로로 변환할 수 있다.Here, the mobile terminal may include a gravity acceleration module that detects the attitude angle of the terminal, and may convert the inputted vehicle moving route into the actual vehicle moving route by utilizing the detected attitude angle.
상기 카메라모듈을 통해 촬영된 상기 차량의 크기를 검출하고, 상기 검출된 차량의 크기와 상기 검출된 자세각을 활용하여, 상기 입력된 차량 이동 경로를 상기 실제 차량 이동 경로로 변환할 수 있다. The size of the vehicle photographed through the camera module may be detected and the inputted vehicle movement path may be converted into the actual vehicle movement path by utilizing the detected vehicle size and the detected attitude angle.
상기 실제 차량 이동 경로에 대해 시뮬레이션을 하여, 시뮬레이션 결과를 상기 디스플레이모듈에 표시하며, 상기 시뮬레이션 결과에 대해 상기 사용자가 승인하면, 상기 실제 차량 이동 경로를 상기 차량에 전송할 수 있다.Simulating the actual vehicle movement path, displaying a simulation result on the display module, and transmitting the actual vehicle movement path to the vehicle when the user approves the simulation result.
상기 단말기는 상기 차량 내에 직접 장착될 수 있다.The terminal can be mounted directly in the vehicle.
상기 카메라모듈은 상기 차량에 장착되며, 상기 카메라모듈의 장착 위치와 장착 각도를 활용하여, 상기 입력된 차량 이동 경로를 상기 실제 차량 이동 경로로 변환할 수 있다.The camera module is mounted on the vehicle, and can convert the inputted vehicle movement path into the actual vehicle movement path by utilizing the mounting position and the mounting angle of the camera module.
다른 측면에서, 본 발명은 카메라모듈을 통해 촬영된 영상을 단말기의 디스플레이모듈을 통해 표시하는 단계와; 상기 디스플레이모듈에 표시된 영상을 사용하여 사용자로부터 입력된 차량 이동 경로를, 지면을 기반으로 하는 실제 차량 이동 경로로 변환하는 단계와; 상기 실제 이동 경로를 차량에 전송하는 단계를 포함하는 차량 이동 경로 제공 방법을 제공한다.According to another aspect of the present invention, there is provided a method for displaying an image, comprising: displaying an image photographed through a camera module through a display module of the terminal; Converting the vehicle movement path input from the user into an actual vehicle movement path based on the ground using the image displayed on the display module; And transmitting the actual movement route to the vehicle.
여기서, 중력가속도모듈을 통해 상기 단말기의 자세각을 검출하는 단계를 포함하고, 상기 검출된 자세각을 활용하여, 상기 입력된 차량 이동 경로를 상기 실제 차량 이동 경로로 변환할 수 있다. Here, the step of detecting the attitude angle of the terminal through the gravitational acceleration module may be used to convert the inputted vehicle moving route into the actual vehicle moving route by utilizing the detected attitude angle.
상기 카메라모듈을 통해 촬영된 상기 차량의 크기를 검출하고, 상기 검출된 차량의 크기와 상기 검출된 자세각을 활용하여, 상기 입력된 차량 이동 경로를 상기 실제 차량 이동 경로로 변환하는 단계를 포함할 수 있다. Detecting the size of the vehicle photographed through the camera module and using the detected vehicle size and the detected attitude angle to convert the input vehicle travel route into the actual vehicle travel route .
상기 실제 차량 이동 경로에 대해 시뮬레이션을 하여, 시뮬레이션 결과를 상기 디스플레이모듈에 표시하는 단계와; 상기 시뮬레이션 결과에 대해 상기 사용자가 승인하면, 상기 실제 차량 이동 경로를 상기 차량에 전송하는 단계를 포함할 수 있다.Performing a simulation on the actual vehicle movement path and displaying a simulation result on the display module; And transmitting the actual vehicle movement path to the vehicle when the user approves the simulation result.
상기 단말기는 상기 차량 내에 직접 장착될 수 있다.The terminal can be mounted directly in the vehicle.
상기 카메라모듈은 상기 차량에 장착되며, 상기 카메라모듈의 장착 위치와 장착 각도를 활용하여, 상기 입력된 차량 이동 경로를 상기 실제 차량 이동 경로로 변환할 수 있다. The camera module is mounted on the vehicle, and can convert the inputted vehicle movement path into the actual vehicle movement path by utilizing the mounting position and the mounting angle of the camera module.
또 다른 측면에서, 본 발명은 단말기로부터 실제 차량 이동 경로 정보를 전송받는 통신부와; 상기 전송된 실제 차량 이동 경로 정보에 따라 차량을 운행하는 자동 운행 시스템을 포함하고, 상기 실제 차량 이동 경로 정보는, 카메라모듈을 통해 촬영되어 상기 단말기의 디스플레이모듈에 표시된 영상을 사용하여 사용자가 상기 단말기에 입력한 차량 이동 경로 정보를 지면을 기반으로 하여 변환한 정보인 차량을 제공한다.According to another aspect of the present invention, there is provided a communication system comprising: a communication unit for receiving actual vehicle movement route information from a terminal; Wherein the actual vehicle movement route information is obtained by using the image displayed through the camera module and displayed on the display module of the terminal, Which is information converted based on the ground.
여기서, 상기 단말기는, 상기 단말기의 자세각을 검출하는 중력가속도모듈을 포함하고, 상기 검출된 자세각을 활용하여 상기 입력된 차량 이동 경로 정보를 상기 실제 차량 이동 경로 정보로 변환할 수 있다.Here, the terminal may include a gravitational acceleration module for detecting an attitude angle of the terminal, and may convert the input vehicle movement route information into the actual vehicle movement route information using the detected orientation angle.
상기 단말기는, 상기 카메라모듈을 통해 촬영된 상기 차량의 크기를 검출하고, 상기 검출된 차량의 크기와 상기 검출된 자세각을 활용하여, 상기 입력된 차량 이동 경로를 상기 실제 차량 이동 경로로 변환할 수 있다.The terminal detects the size of the vehicle photographed through the camera module and converts the inputted vehicle movement path into the actual vehicle movement path by utilizing the detected vehicle size and the detected attitude angle .
상기 단말기는, 상기 실제 차량 이동 경로에 대해 시뮬레이션을 하여, 시뮬레이션 결과를 상기 디스플레이모듈에 표시하며, 상기 시뮬레이션 결과에 대해 상기 사용자가 승인하면, 상기 실제 차량 이동 경로를 상기 차량에 전송할 수 있다.The terminal may simulate the actual vehicle movement path, display the simulation result on the display module, and when the user approves the simulation result, the terminal may transmit the actual vehicle movement path to the vehicle.
상기 단말기는 상기 차량 내에 직접 장착될 수 있다.The terminal can be mounted directly in the vehicle.
상기 카메라모듈은 상기 차량에 장착되며, 상기 카메라모듈의 장착 위치와 장착 각도를 활용하여, 상기 입력된 차량 이동 경로가 상기 실제 차량 이동 경로로 변환될 수 있다.
The camera module is mounted on the vehicle, and the inputted vehicle movement path can be converted into the actual vehicle movement path by utilizing the mounting position and the mounting angle of the camera module.
본 발명에 따르면, 차량 사용자가 단말기를 통해 차량의 이동 경로를 입력하면, 입력된 이동 경로를 실제 차량 이동 경로로 변환하고, 변환된 실제 차량 이동 경로에 따라 차량은 자동으로 이동할 수 있게 된다. According to the present invention, when the vehicle user inputs the moving path of the vehicle through the terminal, the inputted moving path is converted into the actual vehicle moving path, and the vehicle can be automatically moved according to the converted actual vehicle moving path.
따라서, 사용자는 간단하고 편리하게 차량을 주차할 수 있으며, 이에 더 나아가 출차나 주행 또한 가능하게 된다.Therefore, the user can park the vehicle easily and conveniently, and furthermore, it is possible to depart or travel.
더욱이, 본 발명에서는, 사용자가 직접 경로를 판단하여 차량을 이동시킬 수 있게 된다. 이에 따라, 기존의 자동주차 시스템에서 주변 환경 인식을 위해 필수적으로 사용되는 거리센서 및 초음파센서가 구비될 필요가 없게 된다. 이에 따라, 부품 및 비용의 절감이 이루어질 수 있게 된다.
Further, in the present invention, the user can directly determine the route and move the vehicle. Accordingly, it is not necessary to provide a distance sensor and an ultrasonic sensor, which are indispensable for recognition of the surrounding environment in the existing automatic parking system. As a result, parts and cost can be reduced.
도 1은 본 발명의 제1실시예에 따른 차량 이동 경로 제공 단말기와 차량을 개략적으로 도시한 도면.
도 2는 도1의 단말기를 개략적으로 도시한 도면.
도 3a 및 3b는 각각 본 발명의 실시예에 따라 사용자가 차량 외부 및 내부에서 단말기에 차량 주차 경로를 입력하는 모습을 도시한 도면.
도 4는 본 발명의 실시예에 따라 사용자에 의해 입력된 차량 주차 경로에 따라 차량이 자동으로 주차하는 모습을 도시한 도면.
도 5는 본 발명의 실시예에 따른 차량 이동 경로 제공 방법을 개략적으로 도시한 흐름도.
도 6은 본 발명의 실시예에 따라 사용자가 차량에 직접 장착된 단말기에 차량 주차 경로를 입력하는 모습을 나타낸 도면.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a schematic view showing a vehicle travel path providing terminal and a vehicle according to a first embodiment of the present invention; FIG.
Figure 2 schematically illustrates the terminal of Figure 1;
Figures 3A and 3B illustrate how a user enters a vehicle parking path into a terminal outside and inside the vehicle, respectively, in accordance with an embodiment of the present invention.
FIG. 4 is a view showing a vehicle automatically parked according to a vehicle parking path input by a user according to an embodiment of the present invention; FIG.
5 is a flow chart schematically illustrating a method of providing a vehicle movement path according to an embodiment of the present invention.
6 is a view illustrating a user inputting a vehicle parking route to a terminal mounted directly on the vehicle according to an embodiment of the present invention;
본 발명에서는, 차량 사용자가 단말기를 통해 차량의 이동 경로를 입력하면, 입력된 이동 경로를 실제 차량 이동 경로로 변환하고, 변환된 실제 차량 이동 경로에 따라 차량은 이동하게 된다. 이를 통해, 사용자는 간단하고 손쉽게 차량을 주차할 수 있으며, 이에 더 나아가 출차나 주행 또한 가능하게 된다.According to the present invention, when the vehicle user inputs the moving path of the vehicle through the terminal, the inputted moving path is converted into the actual vehicle moving path, and the vehicle moves according to the converted actual vehicle moving path. This makes it possible for the user to park the vehicle easily and easily, and furthermore, to be able to depart or drive.
이와 같은 본 발명의 실시예에 대해 도면을 참조하여 이하에서 보다 상세하게 설명한다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
도 1은 본 발명의 제1실시예에 따른 차량 이동 경로 제공 단말기와 차량을 개략적으로 도시한 도면이고, 도 2는 도1의 단말기를 개략적으로 도시한 도면이다.FIG. 1 is a view schematically showing a vehicle travel path providing terminal and a vehicle according to a first embodiment of the present invention, and FIG. 2 is a view schematically showing the terminal of FIG.
도 1을 참조하면, 본 발명의 실시예에 따른 차량 이동 경로 제공 단말기(200)는 사용자가 입력한 차량 이동 경로를 지면 기반의 실제 차량 이동 경로로 변환하고, 변환된 실제 차량 이동 경로를 차량(300)에 전송하게 된다.Referring to FIG. 1, a vehicle movement
이에 따라, 차량(300)은 전송받은 실제 차량 이동 경로를 따라 이동하여 주차나 출차 또는 주행을 할 수 있게 된다. Accordingly, the
여기서, 본 발명의 실시예에 따른 차량(300)으로서, 전송받은 실제 차량 이동 경로에 따라 사용자의 조작 없이 전자적으로 자동 운행될 수 있는 자동 운행 방식이 적용된 차량이 사용되는 것이 바람직하다. 이를 위해, 차량(300)은 단말기(200)와의 통신을 위한 통신부와, 단말기(200)로부터 전송된 정보에 따라 자동 운행을 수행하는 자동 운행 시스템이 구비될 수 있다.Here, as the
그리고, 본 발명의 실시예에 따른 단말기(200)로서, 사용자가 차량 이동 경로를 입력하고 이를 전송하는 기능을 갖는 전자기기, 예를 들면, 스마트폰(smart phone)이나 스마트패드(smart pad)와 같은 스마트장치가 사용될 수 있는데, 이에 한정되지는 않는다. 예를 들면, 차량(300)에 직접 장착되어 고정된 빌트인(built-in) 형태의 내비게이션장치가 단말기(200)로서 사용될 수 있다. As the
휴대 가능한 스마트장치가 단말기(200)로 사용되는 경우에는, 단말기(200)와 차량(300)은 WIFI, bluetooth, 3G, 4G 등의 무선 통신 방식을 통해 서로 신호를 송수신할 수 있다.When a portable smart device is used as the
한편, 차량에 직접 장착된 내비게이션장치가 단말기(200)로 사용되는 경우에, 단말기(200)와 차량(300)은 유선 통신으로 서로 신호를 송수신할 수 있다.Meanwhile, when the navigation device directly mounted on the vehicle is used as the
본 발명의 실시예에서는, 설명의 편의를 위해, 휴대 가능한 스마트장치를 단말기(200)로 사용한 경우를 위주로 하여 설명한다.
In the embodiment of the present invention, for the sake of convenience of explanation, a portable smart device is used as the
도 2를 더욱 참조하면, 단말기(200)는 통신부(210)와, 카메라모듈(220)과, 디스플레이모듈(230)과, 터치센서모듈과(240)과, 중력가속도센서모듈(250)과, 애플리케이션(application) 실행부(260)와, 제어부(270)를 포함할 수 있다. 2, the
제어부(270)는 단말기(200)를 구성하는 전술한 구성요소들의 동작을 전반적으로 제어하는 구성에 해당된다. The
통신부(210)는 신호를 송수신하는 구성으로서, 도면에 도시되지 않았지만, 듀플렉서(duplexer)와 송신부 및 수신부를 포함할 수 있다. 여기서, 듀플렉서는 안테나를 통해 무선으로 송수신되는 신호를 분리한다. 송신부는 소정의 중간주파수 신호를 무선주파수로 변환하여 상기 듀플렉서로 출력한다. 수신부는 안테나를 통해 수신되는 무선신호를 상기 듀플렉서를 통해 입력받아 소정의 중간주파수 신호로 변환하여 출력한다.The
카메라모듈(220)은 주변 환경을 촬영하는 촬영소자이다. 카메라모듈(260)을 통해 촬영된 영상은 디스플레이모듈(230)에 표시된다. The
사용자는 카메라모듈(220)을 통해 촬영되는 영상을 실시간으로 디스플레이모듈(230)을 통해 확인할 수 있게 되며, 카메라모듈(220)의 촬영 방향을 조절하여 차량 이동 경로를 입력하기 위한 영상이 디스플레이모듈(230)에 표시되도록 할 수 있다.The user can check the image photographed through the
터치센서모듈(240)은 사용자가 차량 이동 경로를 단말기(200)에 입력하기 위한 수단에 해당된다. 터치센서모듈(240)은 디스플레이모듈(230)과 결합되어 구성될 수 있다.The
이와 같은 카메라모듈(220)을 통해 촬영된 영상이 디스플레이모듈(230)의 화면 상에 표시되면, 표시된 영상을 기반으로 사용자는 펜과 같은 터치용 도구나 손가락을 사용하여 차량 이동 경로를 터치센서모듈(240)을 통해 입력하게 된다. When the image photographed through the
사용자의 차량 이동 경로 입력과 관련하여서는 도 3a 및 3b를 참조할 수 있다. 도 3a 및 3b는 각각 본 발명의 실시예에 따라 사용자가 차량 외부 및 내부에서 단말기(200)에 차량 주차 경로를 입력하는 모습을 보여주고 있다.Referring to FIG. 3A and FIG. 3B with reference to the input of the user's vehicle movement path, FIG. 3A and 3B illustrate how a user inputs a vehicle parking path to the terminal 200 outside and inside the vehicle, according to an embodiment of the present invention.
한편, 입력된 차량 이동 경로는 촬영된 영상에 표시되도록 구성될 수 있게 된다. 이에 따라, 사용자는 자신이 입력한 차량 이동 경로를 시각적으로 손쉽게 확인할 수 있게 된다. On the other hand, the inputted vehicle movement path can be configured to be displayed on the photographed image. Accordingly, the user can easily visually confirm the vehicle travel path inputted by the user.
중력가속도센서모듈(240)은 단말기(200)가 지면을 기준으로 기울어진 각도인 자세각을 검출하는 구성에 해당된다. 이에 따라, 중력가속도센서모듈(240)을 통해, 차량 이동 경로가 입력된 영상 촬영시의 단말기(200)의 자세각을 검출할 수 있다. 이와 같은 검출된 자세각 정보를 사용하여, 입력된 차량 이동 경로를 지면을 기반으로한 차량 관점에서의 실제 이동 경로를 생성할 수 있게 된다.The gravitational
애플리케이션 실행부(260)는 단말기(200)에 저장된 소위 이동 경로 애플리케이션(261)을 로드(load)하여, 해당 애플리케이션(261)과 관련된 제반 동작을 실행하는 구성에 해당된다.The
이와 관련하여, 이동 경로 애플리케이션(261)이 실행되면, 전술한 카메라모듈(220), 터치센서모듈(240), 중력가속도센서모듈(250)은 활성화 상태가 되어 해당 구성들이 동작하게 된다. 이들 구성들의 동작에 따라 얻어진 정보는, 애플리케이션 실행부(260)에 전송되어 처리되며, 이에 따라 차량의 실제 이동 경로가 생성될 수 있게 된다.In this regard, when the movement route application 261 is executed, the
이와 관련하여 예를 들면, 카메라모듈(220)을 통해 촬영된 영상은 애플리케이션 실행부(260)에 전송된 후 디스플레이모듈(230)로 전송되어 표시될 수 있다. In this regard, for example, an image photographed through the
터치센서모듈(240)은, 카메라모듈(220)을 통해 촬영된 영상에 대해 사용자가 입력한 차량 이동 경로를 검출하게 된다.The
그리고, 중력가속도센서모듈(250)은 차량 이동 경로가 입력된 단말기(200)의 자세각을 검출하게 된다.The gravitational
위와 같이 입력된 차량 이동 경로 및 자세각 정보는 애플리케이션 실행부(260)로 전달된다. The entered vehicle movement path and attitude angle information are transmitted to the
애플리케이션 실행부(260)는 입력된 차량 이동 경로 정보를 디스플레이모듈(220)에 전송하게 되며, 이에 따라 화면 상에 입력 차량 이동 경로가 표시될 수 있게 된다. 이처럼, 본 발명의 실시예에서는 촬영된 영상에 사용자 입력 정보를 합성하여 표시하는 증강 현실 기술을 사용한다.The
한편, 화면 상에 표시된 차량 이동 경로에 대해, 단말기(200)가 움직임 등으로 인해 자세나 위치 등이 변경되어 촬영되는 영상이 변경되더라도, 변경된 영상에 맞게 변환되어 표시될 수 있도록 구성될 수 있다.On the other hand, the terminal 200 may be configured to be converted and displayed according to the changed image even if the image to be photographed is changed due to a change in posture, position, or the like due to movement of the terminal 200 on the screen.
또한, 애플리케이션 실행부(260)는 입력된 차량 이동 경로 및 자세각 정보를 기초로, 차량의 실제 이동 경로를 생성하고, 이를 차량(300)에 전송하게 된다. 여기서, 차량의 실제 이동 경로는 디스플레이모듈(200)에 전송되어 표시될 수 있으며, 이에 따라 사용자가 차량의 실제 이동 경로를 시각적으로 확인할 수 있게 된다.The
한편, 애플리케이션 실행부(260)는 카메라모듈(220)을 통해 촬영된 영상에서 차량(300)의 크기 정보를 추출하고, 이를 통해 차량(300)과 단말기(200) 사이의 위치 정보를 획득할 수 있다. 특히, 단말기(200)의 자세각 정보와 차량(300)의 크기 정보를 융합함으로써, 차량(300)과 단말기(200) 사이의 위치 정보가 보다 정확하게 보정될 수 있다. The
단말기(200)로부터 전송된 차량의 실제 이동 경로에 응답하여, 차량(300)은 실제 이동 경로에 따라 이동할 수 있게 된다.In response to the actual movement path of the vehicle transmitted from the terminal 200, the
전술한 사용자의 이동 경로 입력에 따른 차량의 이동과 관련하여서는 도 4를 참조할 수 있다. 도 4는 본 발명의 실시예에 따라 사용자에 의해 입력된 차량 주차 경로에 따라 차량이 자동으로 주차하는 모습을 보여주고 있다.
Referring to FIG. 4, it is possible to refer to the movement of the vehicle according to the movement path input of the user. FIG. 4 illustrates a state in which a vehicle automatically parks according to a vehicle parking path input by a user according to an embodiment of the present invention.
위와 같이 구성된 단말기(200)를 사용하여 차량 이동 경로를 제공하는 방법에 대해 도 5를 더욱 참조하여 상세하게 설명한다. 도 5는 본 발명의 실시예에 따른 차량 이동 경로 제공 방법을 개략적으로 도시한 흐름도이다.A method of providing a vehicle movement path using the terminal 200 configured as above will be described in detail with reference to FIG. 5 is a flowchart schematically showing a method of providing a vehicle movement path according to an embodiment of the present invention.
도 5를 참조하면, 사용자가 이동 경로 애플리케이션(261)을 실행한 후, 단말기(200)의 화면 상에 차량 이동 경로를 입력한다 (st1). Referring to FIG. 5, after the user executes the route route application program 261, a vehicle travel route is entered on the screen of the terminal 200 (st1).
이에 따라, 터치센서모듈(240)을 통해 입력된 차량 이동 경로가 검출되며, 또한 단말기(200)의 자세각이 검출된다. 이와 같이 입력된 차량 이동 경로 및 자세각 정보는 애플리케이션 실행부(260)에 전달된다. Accordingly, the vehicle movement path inputted through the
다음으로, 애플리케이션 실행부(260)는 자세각 정보를 사용하여, 입력 차량 이동 경로를 보정하여 지면 기반의 실제 차량 이동 경로를 생성하게 된다 (st2). 여기서, 실제 차량 이동 경로를 생성함에 있어, 차량의 최소 회전 반경이 고려될 수 있다.Next, the
다음으로, 애플리케이션 실행부(260)는 실제 차량 이동 경로에 따라 차량의 움직임을 시뮬레이션(simulation)하게 된다 (st3).Next, the
다음으로, 애플리케이션 실행부(260)는 전술한 시뮬레이션 결과를 디스플레이모듈(230)에 전달하고, 이에 따라 해당 결과는 단말기(200)의 화면에 표시된다 (st4). 여기서, 단말기(200)의 자세나 위치가 변경되는 경우에, 이와 같은 변경 사항이 반영된 시뮬레이션 결과가 디스플레이모듈(230)에 전달되어 표시될 수 있다.Next, the
다음으로, 사용자는 디스플레이모듈(230)을 통해 가시화된 시뮬레이션 결과를 확인하고, 차량(300)에 실제 차량 이동 경로를 제공하는 것을 승인할 것인지 결정하게 된다 (st5). 이와 관련하여 예를 들면, 사용자는 이동 경로 상에 방해물이 존재하는지 여부 등을 확인하여, 이동 경로에 문제가 있는지를 판단하게 된다.Next, the user confirms the simulation result visualized through the
확인 결과 차량의 이동 경로에 문제가 없다고 사용자가 판단하게 되면, 사용자는 승인 요청을 하게 되며, 이에 따라 실제 차량 이동 경로 정보는 통신부(210)를 통해 차량으로 전송되게 된다.If the user determines that there is no problem in the moving route of the vehicle, the user makes an approval request. Accordingly, the actual vehicle moving route information is transmitted to the vehicle through the
한편, 확인 결과 차량의 이동 경로에 문제가 있다고 사용자가 판단하게 되면, 사용자는 승인 거부를 하게 된다. 이와 같은 경우에는, 초기 단계로 돌아갈 수 있게 된다. 이에 따라, 사용자는 다른 차량 이동 경로를 단말기(200)에 입력하게 되며, 그 후에 전술한 바와 같은 과정이 재차 수행될 수 있다.
On the other hand, if the user determines that there is a problem in the moving route of the vehicle as a result of confirmation, the user rejects the approval. In such a case, it is possible to return to the initial stage. Accordingly, the user inputs another vehicle movement path to the terminal 200, and then the above-described process can be performed again.
전술한 바에서는, 차량 이동 경로를 제공함에 있어 휴대 가능한 스마트장치를 이용한 경우를 예로 들어 주로 설명하였다.In the above description, a portable smart device is used to provide a vehicle movement path.
한편, 다른 예로서 차량에 직접 장착되어 고정된 빌트인(built-in) 형태의 내비게이션장치가 단말기로서 사용될 수 있다. 이처럼, 차량에 직접 설치된 단말기가 사용되는 경우에는, 해당 단말기는 카메라모듈과 중력가속도센서모듈을 별도로 구비하지 않을 수 있다. On the other hand, as another example, a built-in type navigation device that is mounted and fixed directly on a vehicle can be used as a terminal. In this way, when a terminal installed directly on the vehicle is used, the terminal may not include a camera module and a gravitational acceleration sensor module separately.
이와 관련하여, 단말기는 차량에 직접 장착된 카메라모듈을 통해 영상을 얻을 수 있고, 이와 같이 얻어진 영상을 기반으로 차량 이동 경로가 입력될 수 있다. In this regard, the terminal can acquire an image through a camera module directly mounted on the vehicle, and a vehicle movement path can be inputted based on the obtained image.
이와 같이 차량에 직접 장착된 단말기를 사용한 사용자의 차량 이동 경로 입력과 관련하여서는 도 6을 참조할 수 있는다. 도 6은 본 발명의 실시예에 따라 사용자가 차량에 직접 장착된 단말기(200)에 차량 주차 경로를 입력하는 모습을 보여주고 있다.Referring to FIG. 6, it is possible to refer to the input of the vehicle movement path by the user using the terminal mounted directly on the vehicle. FIG. 6 shows a state in which a user inputs a vehicle parking route to a terminal 200 mounted directly on the vehicle, according to an embodiment of the present invention.
그리고, 차량의 카메라모듈의 장착 위치와 장착 각도 정보를 활용함으로써, 입력된 차량 이동 경로를 실제 차량 이동 경로로 변환할 수 있다. 여기서, 카메라모듈의 장착 위치와 장착 각도 정보는, 사전에 단말기나 차량 내에 구비된 메모리 등에 저장되고, 이동 경로 애플리케이션 실행시 해당 정보를 읽어들여 경로 변환이 수행될 수 있을 것이다.
By using the mounting position and the mounting angle information of the camera module of the vehicle, the inputted vehicle moving route can be converted into the actual vehicle moving route. Here, the mounting position and the mounting angle information of the camera module may be stored in a memory or the like provided in the terminal or the vehicle in advance, and the corresponding information may be read and path conversion may be performed when the moving route application is executed.
전술한 바와 같이, 본 발명의 실시예에 따르면, 차량 사용자가 단말기를 통해 차량의 이동 경로를 입력하면, 입력된 이동 경로를 실제 차량 이동 경로로 변환하고, 변환된 실제 차량 이동 경로에 따라 차량은 이동할 수 있게 된다. As described above, according to the embodiment of the present invention, when the vehicle user inputs the moving path of the vehicle through the terminal, the inputted moving path is converted into the actual vehicle moving path, and according to the converted actual vehicle moving path, It becomes movable.
따라서, 사용자는 간단하고 편리하게 차량을 주차할 수 있으며, 이에 더 나아가 출차나 주행 또한 가능하게 된다.Therefore, the user can park the vehicle easily and conveniently, and furthermore, it is possible to depart or travel.
더욱이, 본 발명의 실시예에서는, 사용자가 직접 경로를 판단하여 차량을 이동시킬 수 있게 된다. 이에 따라, 기존의 자동주차 시스템에서 주변 환경 인식을 위해 필수적으로 사용되는 거리센서 및 초음파센서가 구비될 필요가 없게 된다. 이에 따라, 부품 및 비용의 절감이 이루어질 수 있게 된다.
Further, in the embodiment of the present invention, the user can directly determine the route and move the vehicle. Accordingly, it is not necessary to provide a distance sensor and an ultrasonic sensor, which are indispensable for recognition of the surrounding environment in the existing automatic parking system. As a result, parts and cost can be reduced.
전술한 본 발명의 실시예는 본 발명의 일예로서, 본 발명의 정신에 포함되는 범위 내에서 자유로운 변형이 가능하다. 따라서, 본 발명은, 첨부된 특허청구범위 및 이와 등가되는 범위 내에서의 본 발명의 변형을 포함한다.
The embodiment of the present invention described above is an example of the present invention, and variations are possible within the spirit of the present invention. Accordingly, the invention includes modifications of the invention within the scope of the appended claims and equivalents thereof.
200: 단말기 210: 통신부
220: 카메라모듈 230: 디스플레이모듈
240: 터치센서모듈 250: 중력가속도센서모듈
260: 애플리케이션 실행부 261: 이동 경로 애플리케이션
270: 제어부200: terminal 210:
220: camera module 230: display module
240: touch sensor module 250: gravity acceleration sensor module
260: application executing section 261: moving route application
270:
Claims (18)
카메라모듈을 통해 촬영된 영상을 표시하는 디스플레이모듈과;
이동 경로 애플리케이션을 실행하여,
상기 디스플레이모듈에 표시된 영상을 사용하여 사용자로부터 입력된 차량 이동 경로를, 지면을 기반으로 하는 실제 차량 이동 경로로 변환하고,
상기 실제 이동 경로를 차량에 전송하도록 하는 애플리케이션 실행부와;
상기 단말기의 자세각을 검출하는 중력가속도모듈을 포함하고,
상기 카메라모듈을 통해 촬영된 상기 차량의 크기를 검출하고,
상기 검출된 차량의 크기와 상기 검출된 자세각을 활용하여, 상기 입력된 차량 이동 경로를 상기 실제 차량 이동 경로로 변환하는
차량 이동 경로 제공 단말기.
A vehicle movement route providing terminal,
A display module for displaying an image photographed through a camera module;
By running the breadcrumb application,
A display unit for displaying an image displayed on the display module; a vehicle movement path input from a user using the image displayed on the display module;
An application execution unit for causing the vehicle to transfer the actual movement route;
And a gravity acceleration module for detecting an attitude angle of the terminal,
Detecting a size of the vehicle photographed through the camera module,
Using the detected size of the vehicle and the detected attitude angle, converts the inputted vehicle moving route into the actual vehicle moving route
A vehicle movement path providing terminal.
상기 실제 차량 이동 경로에 대해 시뮬레이션을 하여, 시뮬레이션 결과를 상기 디스플레이모듈에 표시하며,
상기 시뮬레이션 결과에 대해 상기 사용자가 승인하면, 상기 실제 차량 이동 경로를 상기 차량에 전송하는
차량 이동 경로 제공 단말기.
The method according to claim 1,
Simulating the actual vehicle movement path, displaying a simulation result on the display module,
When the user approves the simulation result, transmits the actual vehicle movement route to the vehicle
A vehicle movement path providing terminal.
상기 디스플레이모듈에 표시된 영상을 사용하여 사용자로부터 입력된 차량 이동 경로를, 지면을 기반으로 하는 실제 차량 이동 경로로 변환하는 단계와;
상기 실제 이동 경로를 차량에 전송하는 단계를 포함하고,
중력가속도모듈을 통해 상기 단말기의 자세각을 검출하며,
상기 카메라모듈을 통해 촬영된 상기 차량의 크기를 검출하고,
상기 검출된 차량의 크기와 상기 검출된 자세각을 활용하여, 상기 입력된 차량 이동 경로를 상기 실제 차량 이동 경로로 변환하는
차량 이동 경로 제공 방법.
Displaying an image photographed through the camera module through a display module of the terminal;
Converting the vehicle movement path input from the user into an actual vehicle movement path based on the ground using the image displayed on the display module;
And transmitting the actual movement route to the vehicle,
Detects the attitude angle of the terminal through the gravitational acceleration module,
Detecting a size of the vehicle photographed through the camera module,
Using the detected size of the vehicle and the detected attitude angle, converts the inputted vehicle moving route into the actual vehicle moving route
A method of providing a vehicle movement path.
상기 실제 차량 이동 경로에 대해 시뮬레이션을 하여, 시뮬레이션 결과를 상기 디스플레이모듈에 표시하는 단계와;
상기 시뮬레이션 결과에 대해 상기 사용자가 승인하면, 상기 실제 차량 이동 경로를 상기 차량에 전송하는 단계
를 포함하는 차량 이동 경로 제공 방법.
8. The method of claim 7,
Performing a simulation on the actual vehicle movement path and displaying a simulation result on the display module;
When the user approves the simulation result, transmitting the actual vehicle movement path to the vehicle
Wherein the vehicle travel path includes a plurality of roads.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120095657A KR101401063B1 (en) | 2012-08-30 | 2012-08-30 | Terminal and method providing vehicle moving path, and vehicle using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120095657A KR101401063B1 (en) | 2012-08-30 | 2012-08-30 | Terminal and method providing vehicle moving path, and vehicle using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140028724A KR20140028724A (en) | 2014-03-10 |
KR101401063B1 true KR101401063B1 (en) | 2014-05-29 |
Family
ID=50642068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120095657A KR101401063B1 (en) | 2012-08-30 | 2012-08-30 | Terminal and method providing vehicle moving path, and vehicle using the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101401063B1 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102288362B1 (en) * | 2014-11-11 | 2021-08-10 | 현대모비스 주식회사 | Driver Alarm System and Method |
US10919574B2 (en) | 2015-11-10 | 2021-02-16 | Hyundai Motor Company | Automatic parking system and automatic parking method |
US10906530B2 (en) | 2015-11-10 | 2021-02-02 | Hyundai Motor Company | Automatic parking system and automatic parking method |
US10606257B2 (en) | 2015-11-10 | 2020-03-31 | Hyundai Motor Company | Automatic parking system and automatic parking method |
KR101892026B1 (en) | 2015-11-10 | 2018-08-27 | 현대자동차주식회사 | Remote control car parking method and apparatus |
CN106114623A (en) * | 2016-06-16 | 2016-11-16 | 江苏大学 | A kind of automatic parking paths planning method based on human vision and system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090122942A (en) * | 2007-05-30 | 2009-12-01 | 아이신세이끼가부시끼가이샤 | Parking assisting device |
KR20100096757A (en) * | 2009-02-25 | 2010-09-02 | 주식회사 만도 | Method and apparatus for controlling parking |
KR101103231B1 (en) * | 2010-11-11 | 2012-01-05 | 임용순 | Interface device for vehicles features of the mobile devices function |
KR20120024010A (en) * | 2010-09-03 | 2012-03-14 | 현대모비스 주식회사 | Apparatus for assisting parking |
-
2012
- 2012-08-30 KR KR1020120095657A patent/KR101401063B1/en not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090122942A (en) * | 2007-05-30 | 2009-12-01 | 아이신세이끼가부시끼가이샤 | Parking assisting device |
KR20100096757A (en) * | 2009-02-25 | 2010-09-02 | 주식회사 만도 | Method and apparatus for controlling parking |
KR20120024010A (en) * | 2010-09-03 | 2012-03-14 | 현대모비스 주식회사 | Apparatus for assisting parking |
KR101103231B1 (en) * | 2010-11-11 | 2012-01-05 | 임용순 | Interface device for vehicles features of the mobile devices function |
Also Published As
Publication number | Publication date |
---|---|
KR20140028724A (en) | 2014-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101401063B1 (en) | Terminal and method providing vehicle moving path, and vehicle using the same | |
US10145703B2 (en) | Electronic apparatus, control method thereof, computer program, and computer-readable recording medium | |
CN108860141B (en) | Parking method, parking device and storage medium | |
CN103180800B (en) | The advanced remote of the host application program of use action and voice command controls | |
US11518384B2 (en) | Method for displaying lane information and apparatus for executing the method | |
JPWO2018167891A1 (en) | Information processing apparatus, information processing method, and information processing program | |
CN108349503B (en) | Driving support device | |
US20160327405A1 (en) | System and method for providing route guidance service for visually impaired people | |
EP2708982A2 (en) | Method for guiding controller to move to within recognizable range of multimedia apparatus, the multimedia apparatus, and target tracking apparatus thereof | |
CN111137278A (en) | Parking control method and device for automobile and storage medium | |
KR20120094397A (en) | Automobile camera module and method of guiding parking | |
KR20160065724A (en) | Electronic apparatus, control method of electronic apparatus, computer program and computer readable recording medium | |
JP5795386B2 (en) | Display device and control method | |
CN107666507B (en) | Solution for remotely controlling a motor vehicle inside a parking lot | |
CN113590070A (en) | Navigation interface display method, navigation interface display device, terminal and storage medium | |
EP3432556B1 (en) | Mobile electronic device, mobile electronic device control method, and mobile electronic device control program | |
JP6909386B2 (en) | Car finder system | |
JP2014033320A (en) | Vehicle outgoing direction and calling over position recognition device | |
US20180061413A1 (en) | Electronic device, control method, and computer code | |
KR20200070100A (en) | A method for detecting vehicle and device for executing the method | |
US20110228081A1 (en) | Video processing apparatus, video processing method and video imaging apparatus | |
WO2012096282A1 (en) | Controller, model device and control method | |
KR101856255B1 (en) | Navigation display system | |
CN111316064A (en) | In-vehicle device, recording medium, and notification method | |
JP6848635B2 (en) | Information collection system, vehicle, information collection method, program, recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |