KR102392998B1 - Route guidandce apparatus and control method for the same - Google Patents

Route guidandce apparatus and control method for the same Download PDF

Info

Publication number
KR102392998B1
KR102392998B1 KR1020150109647A KR20150109647A KR102392998B1 KR 102392998 B1 KR102392998 B1 KR 102392998B1 KR 1020150109647 A KR1020150109647 A KR 1020150109647A KR 20150109647 A KR20150109647 A KR 20150109647A KR 102392998 B1 KR102392998 B1 KR 102392998B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
destination
distance
view image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150109647A
Other languages
Korean (ko)
Other versions
KR20170016203A (en
KR102392998B9 (en
Inventor
김건우
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020150109647A priority Critical patent/KR102392998B1/en
Publication of KR20170016203A publication Critical patent/KR20170016203A/en
Application granted granted Critical
Publication of KR102392998B1 publication Critical patent/KR102392998B1/en
Publication of KR102392998B9 publication Critical patent/KR102392998B9/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/3623Destination input or retrieval using a camera or code reader, e.g. for optical or magnetic codes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)

Abstract

본 발명은 경로 안내 장치 및 그 제어 방법에 관한 것으로서, 본 발명의 일 실시예에 따른 경로 안내 장치의 제어 방법은, 차량의 위치와 기 입력된 목적지 간의 거리를 확인하는 단계; 상기 거리가 기준거리 미만인 경우, 외부 서버로부터 상기 목적지로부터 소정 범위에 대한 제1 로드뷰 영상을 획득하는 단계; 상기 차량의 주변 영상을 생성하는 단계; 상기 제1 로드뷰 영상과 상기 주변 영상으로부터 적어도 하나 이상의 공통 이미지를 검출하는 단계; 상기 공통 이미지를 기초로, 상기 차량의 위치를 보정하는 단계; 상기 외부 서버로부터 상기 보정된 위치에 대한 제2 로드뷰 영상을 획득하는 단계; 및 상기 제2 로드뷰 영상을 이용하여, 상기 목적지까지의 경로를 안내하는 단계;를 포함한다.The present invention relates to a route guidance apparatus and a control method thereof, and the method for controlling the route guide apparatus according to an embodiment of the present invention includes: checking a distance between a location of a vehicle and a pre-inputted destination; when the distance is less than the reference distance, obtaining a first road view image for a predetermined range from the destination from an external server; generating an image around the vehicle; detecting at least one common image from the first road view image and the surrounding image; correcting the position of the vehicle based on the common image; obtaining a second load view image for the corrected position from the external server; and guiding a route to the destination by using the second road view image.

Figure R1020150109647
Figure R1020150109647

Description

경로 안내 장치 및 그 제어 방법{ROUTE GUIDANDCE APPARATUS AND CONTROL METHOD FOR THE SAME}ROUTE GUIDANDCE APPARATUS AND CONTROL METHOD FOR THE SAME

본 발명은 경로 안내 장치 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 로드뷰 영상을 이용하여, 소정 목적지에 대한 정확한 경로를 제공하는 경로 안내 장치 및 그 제어 방법에 관한 것이다.The present invention relates to a route guide apparatus and a control method thereof, and more particularly, to a route guide apparatus and control method for providing an accurate route to a predetermined destination by using a road view image.

종래 기술에 따른, 차량용 경로 안내 장치의 경우, 사용자로부터 목적지가 입력되면, 차량의 현 위치로부터 해당 목적지까지의 경로를 생성한 후, 실시간 또는 주기적으로 GPS(Global Positioning System) 위성으로부터 제공되는 차량의 GPS 좌표를 전자맵과 매칭하여, 차량의 현재 위치를 파악하고, 파악된 현재 위치가 화살표 등과 같은 그래픽 객체로 나타나는 화면을 디스플레이함으로써, 운전자가 목적지까지 차량을 운행하는 데에 도움을 주고 있다. In the case of a route guidance device for a vehicle according to the prior art, when a destination is input from a user, a route is generated from the current location of the vehicle to the corresponding destination, and then, in real time or periodically, the information of the vehicle provided from the GPS (Global Positioning System) satellite By matching GPS coordinates with an electronic map, the current location of the vehicle is identified, and a screen in which the identified current location is displayed as a graphic object such as an arrow is displayed, thereby helping the driver to drive the vehicle to the destination.

이와 같은 GPS(Global Positioning System) 시스템은, 미국의 국방성에서 개발한 범세계 측위 시스템이다. 일 예로, 복수 개의 GPS 위성은 기울임각(inclination angle)이 55°인 6개의 원형 궤도면(circular orbit)에 각각 4개씩 배치되어, 약 12시간의 주기를 가지고 이동하면서 각기 자신의 위치정보신호를 송신하고, 차량에 구비된 GPS 모듈은 복수의 GPS 위성들 중에서 최소한 4개 이상으로부터 위치정보를 수신하고, 경로 안내 장치는 GPS 위성과 차량 간의 거리 및 GPS 위성의 위치벡터를 검출하며, 이를 통해 최종적으로 차량의 위치(예, 위도, 경도, 고도)를 산출한다.Such a GPS (Global Positioning System) system is a global positioning system developed by the US Department of Defense. As an example, a plurality of GPS satellites are arranged in each of six circular orbits with an inclination angle of 55°, each of which transmits their own location information signals while moving with a period of about 12 hours. Transmitting, the GPS module provided in the vehicle receives location information from at least four or more of the plurality of GPS satellites, and the route guide device detects the distance between the GPS satellites and the vehicle and the location vector of the GPS satellites, through which the final to calculate the vehicle's location (eg latitude, longitude, altitude).

다만, GPS 위성으로부터 수신되는 위치정보는, GPS 위성 간의 거리(도 1 참조), 전파 과정에서 통과하게 되는 전리층이나 대류층, GPS 위성과 GPS 수신기 각각에 내장된 시계, 차량 주변의 지형 지물 등으로 인하여, 100%의 정밀도를 확보하지 못하여, 실제 차량의 위치와 경로 안내 장치에 의해 파악된 차량의 위치 간의 오차가 발생한다.However, the location information received from the GPS satellites is based on the distance between the GPS satellites (see FIG. 1), the ionosphere or convective layer that passes through the propagation process, the clocks built into each GPS satellite and the GPS receiver, and topographical features around the vehicle. As a result, 100% precision cannot be ensured, and an error occurs between the actual vehicle position and the vehicle position identified by the route guide device.

즉, 종래의 경로 안내 장치는, 차량의 위치를 오차 범위(예, 약 3~100m) 내에서 대략적으로 안내해 줄 수 있을 뿐이었다. 이로 인해, 차량이 기 입력된 목적지까지 실제로 도착하지 않았음에도, 경로 안내가 종료되어, 운전자의 혼란이 증대된다는 문제점을 가지고 있다.That is, the conventional route guide apparatus can only roughly guide the location of the vehicle within an error range (eg, about 3 to 100 m). For this reason, even though the vehicle does not actually arrive at the previously input destination, the route guidance is terminated, and there is a problem in that the driver's confusion is increased.

본 발명은 전술한 문제점을 해결하기 위해서 안출된 것으로서, 본 발명의 실시예들에 따르면, 차량이 목적지 근처에 도달한 경우, 로드뷰 영상을 이용하여, 차량이 해당 목적지까지 실제로 도착할 수 있도록 하는 경로를 안내하는, 경로 안내 장치 및 그 제어 방법을 제공하는 것을 목적으로 한다.The present invention has been devised to solve the above-described problem. According to embodiments of the present invention, when a vehicle arrives near a destination, using a road view image, a route that allows the vehicle to actually arrive to the destination An object of the present invention is to provide a route guidance device and a control method thereof for guiding the user.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 차량의 위치와 기 입력된 목적지 간의 거리를 확인하는 단계; 상기 거리가 기준거리 미만인 경우, 외부 서버로부터 상기 목적지로부터 소정 범위에 대한 제1 로드뷰 영상을 획득하는 단계; 상기 차량의 주변 영상을 생성하는 단계; 상기 제1 로드뷰 영상과 상기 주변 영상으로부터 적어도 하나 이상의 공통 이미지를 검출하는 단계; 상기 공통 이미지를 기초로, 상기 차량의 위치를 보정하는 단계; 상기 외부 서버로부터 상기 보정된 위치에 대한 제2 로드뷰 영상을 획득하는 단계; 및 상기 제2 로드뷰 영상을 이용하여, 상기 목적지까지의 경로를 안내하는 단계;를 포함하는 경로 안내 장치의 제어방법에 제공된다.According to an aspect of the present invention to achieve the above or other object, the method comprising: checking a distance between a vehicle location and a pre-entered destination; when the distance is less than the reference distance, obtaining a first road view image for a predetermined range from the destination from an external server; generating an image around the vehicle; detecting at least one common image from the first road view image and the surrounding image; correcting the position of the vehicle based on the common image; obtaining a second load view image for the corrected position from the external server; and guiding a route to the destination by using the second road view image.

또한, 상기 차량의 위치는, 상기 차량의 GPS 좌표를 기 저장된 전자맵과 매칭하여 산출된 것일 수 있다.In addition, the location of the vehicle may be calculated by matching the GPS coordinates of the vehicle with a pre-stored electronic map.

또한, 상기 기준거리는, 상기 GPS 좌표의 오차 범위를 기초로 기 설정된 것일 수 있다.Also, the reference distance may be preset based on an error range of the GPS coordinates.

또한, 상기 공통 이미지를 검출하는 단계는, 상기 주변 영상으로부터 소정의 오브젝트를 검출하는 단계; 및 상기 제1 로드뷰 영상 중, 상기 오브젝트와의 유사도가 임계값 이상인 영역을 상기 공통 이미지로 검출하는 단계;를 포함할 수 있다.The detecting of the common image may include: detecting a predetermined object from the surrounding image; and detecting, as the common image, a region in the first road view image having a similarity with the object equal to or greater than a threshold value.

또한, 상기 공통 이미지는, 상기 목적지 주변의 시설물에 대응하는 것일 수 있다.Also, the common image may correspond to a facility around the destination.

또한, 상기 차량의 위치를 보정하는 단계는, 상기 제1 로드뷰 영상 속 상기 공통 이미지의 크기 및 위치를, 상기 주변 영상 속 공통 이미지의 크기 및 위치와 비교하여, 각각의 차이를 산출하는 단계; 및 상기 차이를 기초로, 상기 차량의 위치를 보정하는 단계;를 포함할 수 있다.In addition, the step of correcting the position of the vehicle, comparing the size and position of the common image in the first road view image with the size and position of the common image in the surrounding image, calculating each difference; and correcting the position of the vehicle based on the difference.

또한, 상기 목적지까지의 경로를 안내하는 단계는, 상기 경로를 안내하기 위한 그래픽 객체를 생성하는 단계; 및 상기 제2 로드뷰 영상 및 상기 그래픽 객체를 디스플레이하는 단계;를 포함할 수 있다.In addition, the step of guiding the route to the destination, generating a graphic object for guiding the route; and displaying the second load view image and the graphic object.

한편, 본 발명의 다른 측면에 따르면, 차량의 위치와 기 입력된 목적지 간의 거리를 확인하는 단계; 상기 거리가 기준거리 미만인 경우, 상기 차량의 주변에 설치된 3이상의 서로 다른 무선신호 송신원들으로부터 전송되는 무선 신호들 각각의 세기 및 도달 시간 중 적어도 어느 하나를 측정하는 단계; 상기 측정된 값을 기초로, 상기 무선신호 송신원들 각각과 상기 차량 간의 거리를 산출하는 단계; 상기 무선신호 송신원들 각각과 상기 차량 간의 거리를 기초로, 상기 차량의 위치를 보정하는 단계; 상기 외부 서버로부터 상기 보정된 위치에 대한 로드뷰 영상을 획득하는 단계; 및 상기 로드뷰 영상을 이용하여, 상기 목적지까지의 경로를 안내하는 단계;를 포함하는 경로 안내 장치의 제어방법이 제공된다.On the other hand, according to another aspect of the present invention, the method comprising: checking a distance between a vehicle location and a pre-entered destination; When the distance is less than the reference distance, measuring at least one of the strength and arrival time of each of the radio signals transmitted from three or more different radio signal transmission sources installed in the vicinity of the vehicle; calculating a distance between each of the radio signal transmission sources and the vehicle based on the measured value; correcting the position of the vehicle based on the distance between each of the radio signal transmission sources and the vehicle; obtaining a load view image for the corrected position from the external server; and guiding a route to the destination by using the road view image.

한편, 본 발명의 또 다른 측면에 따르면, GPS 위성으로부터 GPS 신호를 수신하는 통신부; 상기 차량의 주변 영상을 생성하는 영상 생성부; 전자맵을 저장하는 정보 저장부; 및 상기 디스플레이부, 통신부, 영상 생성부 및 정보 저장부의 동작을 제어하는 제어부;를 포함하되, 상기 제어부는, 상기 GPS 신호를 기초로, 상기 차량의 위치를 산출하고, 상기 차량의 위치와 기 입력된 목적지 간의 거리를 확인하며, 상기 거리가 기준거리 미만인 경우, 상기 통신부 또는 상기 정보 저장부 중 어느 하나로부터 상기 목적지에 대한 제1 로드뷰 영상을 획득하고, 상기 제1 로드뷰 영상과 상기 주변 영상으로부터 적어도 하나 이상의 공통 이미지를 검출하며, 상기 공통 이미지를 기초로, 상기 차량의 위치를 보정하고, 상기 통신부 또는 상기 정보 저장부 중 어느 하나로부터 상기 보정된 위치에 대한 제2 로드뷰 영상을 획득하며, 상기 제2 로드뷰 영상을 이용하여, 상기 목적지까지의 경로 안내 정보를 생성하는, 경로 안내 장치가 제공된다.On the other hand, according to another aspect of the present invention, a communication unit for receiving a GPS signal from a GPS satellite; an image generating unit generating an image of the vehicle's surroundings; an information storage unit for storing the electronic map; and a control unit for controlling operations of the display unit, the communication unit, the image generation unit, and the information storage unit, wherein the control unit calculates the location of the vehicle based on the GPS signal, and inputs the location and the information of the vehicle Check the distance between the destinations, and when the distance is less than the reference distance, obtain a first road view image for the destination from either the communication unit or the information storage unit, and the first road view image and the surrounding image Detects at least one common image from, corrects the position of the vehicle based on the common image, and obtains a second road view image for the corrected position from either the communication unit or the information storage unit, , A route guide apparatus is provided for generating route guide information to the destination by using the second road view image.

본 발명에 따른 경로 안내 장치 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.The effect of the route guide apparatus and the control method thereof according to the present invention will be described as follows.

본 발명의 실시예들 중 적어도 하나에 의하면, 차량이 목적지에 근접한 경우, 해당 목적지에 대한 로드뷰 영상과 차량의 주변 영상을 비교한 결과를 이용하여, 차량의 위치를 보정할 수 있다는 장점이 있다.According to at least one of the embodiments of the present invention, when the vehicle is close to the destination, there is an advantage that the position of the vehicle can be corrected using the result of comparing the road view image for the destination and the image around the vehicle. .

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 보정된 차량의 위치에 대한 로드뷰 영상을 이용하여, 차량이 목적지에 실제로 도착할 때까지 경로 안내를 수행함으로써, 종래 목적지 근처에서 경로 안내가 종료됨으로 인한 운전자 혼란과 사고 가능성을 저감할 수 있다.In addition, according to at least one of the embodiments of the present invention, by using the corrected road view image for the location of the vehicle, the route guide is performed until the vehicle actually arrives at the destination, thereby terminating the route guide near the conventional destination. This can reduce driver confusion and the possibility of accidents.

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 차량의 주변 영상에 나타나는 소정 오브젝트의 크기를 기초로, 차량의 위치를 보정하기 위한 보정값을 산출함으로써, 차량의 위치를 실제에 보다 부합하게 보정할 수 있다.In addition, according to at least one of the embodiments of the present invention, by calculating a correction value for correcting the position of the vehicle based on the size of a predetermined object appearing in the surrounding image of the vehicle, the position of the vehicle more closely matches reality. can be corrected

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.

도 1은 종래 기술의 문제점을 설명하기 위해 참조되는 예시도이다.
도 2는 본 발명의 일 실시예에 따른 경로 안내 장치의 블록 다이어그램을 보여준다.
도 3은 본 발명의 제1 실시예에 따른 경로 안내 장치의 제어 방법을 보여주는 순서도이다.
도 4a 내지 도 4c는 본 발명의 제1 실시예에 따른 경로 안내 장치를 설명하기 위해 참조되는 도면이다.
도 5는 본 발명의 제2 실시예에 따른 경로 안내 장치의 제어 방법을 보여주는 순서도이다.
도 6은 본 발명의 제2 실시예에 따른 경로 안내 장치가 차량의 현재 위치를 보정하는 동작을 설명하기 위해 참조되는 도면이다.
1 is an exemplary diagram referenced to explain the problems of the prior art.
2 shows a block diagram of a route guidance device according to an embodiment of the present invention.
3 is a flowchart illustrating a method for controlling a route guidance apparatus according to a first embodiment of the present invention.
4A to 4C are diagrams referred to for explaining a route guidance device according to the first embodiment of the present invention.
5 is a flowchart illustrating a method for controlling a route guidance apparatus according to a second embodiment of the present invention.
6 is a diagram referenced to explain an operation of correcting a current location of a vehicle by a route guidance apparatus according to a second exemplary embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, the embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but the same or similar components are assigned the same reference numbers regardless of reference numerals, and redundant description thereof will be omitted. The suffixes "module" and "part" for components used in the following description are given or mixed in consideration of only the ease of writing the specification, and do not have distinct meanings or roles by themselves. In addition, in describing the embodiments disclosed in the present specification, if it is determined that detailed descriptions of related known technologies may obscure the gist of the embodiments disclosed in the present specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in the present specification, and the technical idea disclosed herein is not limited by the accompanying drawings, and all changes included in the spirit and scope of the present invention , should be understood to include equivalents or substitutes.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including an ordinal number such as 1st, 2nd, etc. may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being “connected” or “connected” to another component, it may be directly connected or connected to the other component, but it is understood that other components may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The singular expression includes the plural expression unless the context clearly dictates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, terms such as “comprises” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

도 2는 본 발명의 일 실시예에 따른 경로 안내 장치(100)의 블록 다이어그램을 보여준다. 2 shows a block diagram of the route guidance apparatus 100 according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 경로 안내 장치(100)는, 통신부(110), 영상 생성부(120), 정보 저장부(130), 디스플레이부(140) 및 제어부(150)를 포함한다.Referring to FIG. 2 , the route guidance apparatus 100 according to an embodiment of the present invention includes a communication unit 110 , an image generation unit 120 , an information storage unit 130 , a display unit 140 , and a control unit 150 . ) is included.

통신부(110)는 외부 기기와의 유선 또는 무선 기반의 데이터 송수신을 수행한다. 구체적으로, 통신부(110)는 복수의 GPS 위성들로부터 GPS 신호를 수신하는 적어도 하나 이상의 GPS 모듈(112)을 포함할 수 있다. The communication unit 110 performs wired or wireless data transmission/reception with an external device. Specifically, the communication unit 110 may include at least one GPS module 112 for receiving GPS signals from a plurality of GPS satellites.

또한, 통신부(110)는 적어도 하나 이상의 와이파이(Wi-Fi) 모듈(114)을 포함할 수 있다. 와이파이 모듈(114)은 예컨대, 도로에 인접하게 설치된 액세스 포인트(access point)와 연결될 수 있다.Also, the communication unit 110 may include at least one Wi-Fi module 114 . The Wi-Fi module 114 may be connected to, for example, an access point installed adjacent to a road.

또한, 통신부(110)는 적어도 하나 이상의 무선 통신 모듈(116)을 포함할 수 있다. 무선 통신 모듈(116)은, 도로 또는 도로 주변에 설치된 인프라 기기(예, CCTV, 기지국) 등과 데이터 송수신을 수행할 수 있다. 무선 통신 모듈(116)은 와이파이 모듈(114)과는 다른 방식(예, 4G(fourth generation mobile communication) 방식)을 기반으로, 외부 기기와의 무선 통신을 수행할 수 있다.Also, the communication unit 110 may include at least one wireless communication module 116 . The wireless communication module 116 may transmit/receive data to and from an infrastructure device (eg, CCTV, base station) installed on or around a road. The wireless communication module 116 may perform wireless communication with an external device based on a method different from that of the Wi-Fi module 114 (eg, a fourth generation mobile communication (4G) method).

영상 생성부(120)는 차량의 주변을 촬영하여, 주변 영상을 생성한다. 이를 위해, 영상 생성부(120)는 적어도 하나 이상의 카메라(122)를 포함할 수 있다. 예를 들어, 영상 생성부(120)에 포함된 어느 하나의 카메라(122)는 차량의 전방 일측에 장착되어, 차량의 전방 영상을 생성할 수 있다. 다른 예를 들어, 영상 생성부(120)는 차량의 전후좌우의 일측에 장착되는 4대의 카메라를 포함할 수 있다. 이러한 4대의 카메라(122)에 의해 생성되는 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상은 후술할 제어부(150)에 의해 합성될 수 있다. 이러한 합성 과정에 의해, 차량을 마치 위에서 아래로 내려보다는 것과 같은 어라운드 뷰 영상이 생성될 수 있다. 이하에서는 설명의 편의를 위해, 영상 생성부(120)가 차량의 전방 영상을 생성하는 한 대의 카메라(122)를 포함하는 것으로 가정한다.The image generator 120 generates an image of the surroundings by photographing the surroundings of the vehicle. To this end, the image generator 120 may include at least one or more cameras 122 . For example, any one camera 122 included in the image generator 120 may be mounted on one side of the front of the vehicle to generate a front image of the vehicle. For another example, the image generating unit 120 may include four cameras mounted on one side of the front, rear, left, and right sides of the vehicle. The front image, the rear image, the left image, and the right image generated by these four cameras 122 may be synthesized by the controller 150 to be described later. By this synthesizing process, an around-view image as if looking down the vehicle from top to bottom may be generated. Hereinafter, for convenience of description, it is assumed that the image generator 120 includes one camera 122 that generates an image of the front of the vehicle.

정보 저장부(130)는 차량과 관련된 각종 정보를 저장한다. 정보 저장부(130)는 지도 저장 모듈(132) 및 영상 저장 모듈(134)을 포함할 수 있다.The information storage unit 130 stores various information related to the vehicle. The information storage unit 130 may include a map storage module 132 and an image storage module 134 .

정보 저장부(130)의 지도 저장 모듈(132)은 전자맵을 저장할 수 있다. 구체적으로, 전자맵에는 위치별 도로 정보(예, 커브, 방지턱, 주변 건물, 스쿨존, 차선 수, 제한속도, 경사도, 사고 다발 여부, 안개 주의 여부, 교차로, 일방통행, 주유소, 휴게소, 신호등, 과속감시카메라, 하이패스, 톨게이트 등에 대한 정보)가 포함될 수 있다. 또한, 지도 저장 모듈(132)에는 위치별 로드뷰 영상이 저장될 수 있으며, 이러한 로드뷰 영상은 전자맵과 위치별(예, 위도별, 경도별, 고도별)로 매칭되어 저장될 수 있다. 이러한 로드뷰 영상은 예를 들어, 전술한 통신부(110)가 외부 서버로부터 수신한 것이거나, 사용자가 개인 PC 등을 이용하여 다운로드한 것일 수 있다.The map storage module 132 of the information storage unit 130 may store an electronic map. Specifically, the electronic map contains road information for each location (e.g., curves, bumps, surrounding buildings, school zones, number of lanes, speed limit, inclination, frequent accidents, fog alerts, intersections, one-way streets, gas stations, rest stops, traffic lights, Information on speed cameras, high-passes, toll gates, etc.) may be included. In addition, the map storage module 132 may store a road view image for each location, and the road view image may be stored by matching the electronic map with each location (eg, by latitude, longitude, and altitude). Such a load view image may be, for example, received by the communication unit 110 from an external server or downloaded by a user using a personal PC.

또한, 정보 저장부(130)의 영상 저장 모듈(134)은 영상 생성부(120)에 의해 생성된 주변 영상을 영구 또는 임시적으로 저장할 수 있다.Also, the image storage module 134 of the information storage unit 130 may permanently or temporarily store the surrounding image generated by the image generation unit 120 .

또한, 정보 저장부(130)는 제어부(150)의 동작을 위한 각종 프로그램이나, 입출력되는 데이터들을 임시 저장할 수도 있다.Also, the information storage unit 130 may temporarily store various programs for the operation of the control unit 150 or input/output data.

또한, 정보 저장부(130)는 후술한 제어부(150)의 요청에 따라, 기 저장된 각종 정보 중 적어도 일부를 제어부(150)로 제공할 수 있다. In addition, the information storage unit 130 may provide at least some of the various types of pre-stored information to the control unit 150 according to a request from the control unit 150 , which will be described later.

이러한 정보 저장부(130)는, 램(random access memory; RAM), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), SSD 타입(Solid State Disk type), 플래시 정보 저장부(130) 타입(flash memory type), 하드디스크 타입(hard disk type), 카드 타입의 정보 저장부(130), 자기 디스크, 광디스크 등의 각종 타입의 저장매체 중 적어도 하나를 포함할 수 있다. The information storage unit 130 includes a random access memory (RAM), a read-only memory (ROM), an electrically erasable programmable read-only memory (EEPROM), a programmable read-only memory (PROM), and an SSD type. (Solid State Disk type), flash information storage 130 type (flash memory type), hard disk type (hard disk type), card type information storage 130, magnetic disk, various types of storage such as optical disk It may include at least one of the media.

디스플레이부(140)는 경로 안내 장치(100)에서 처리 또는 생성되는 각종 정보를 표시한다. 대표적으로, 디스플레이부(140)는 제어부(150)의 제어에 따라, 차량의 현 위치에 대응하는 그래픽 객체가 나타나는 경로 안내 화면을 출력할 수 있다. 또한, 디스플레이부(140)는 경로 안내 장치(100)에서 구동되는 응용 프로그램의 실행화면 정보(예, UI(User Interface))를 표시할 수 있다.The display unit 140 displays various types of information processed or generated by the route guide apparatus 100 . Representatively, the display 140 may output a route guidance screen in which a graphic object corresponding to the current location of the vehicle is displayed under the control of the controller 150 . Also, the display unit 140 may display information on an execution screen (eg, a user interface (UI)) of an application program driven by the route guide apparatus 100 .

이러한 디스플레이부(140)는 터치 센서가 구비된 터치 스크린을 포함할 수 있다. 또한, 디스플레이부(140)는 차량의 프론트 윈도우도 각종 정보에 대응하는 영상을 투사하는 HUD(Head Up Display)를 포함할 수 있다.The display unit 140 may include a touch screen provided with a touch sensor. Also, the display unit 140 may include a head-up display (HUD) that projects images corresponding to various types of information on the front window of the vehicle.

제어부(150)는 경로 안내 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 제어부(150)는 통신부(110), 영상 생성부(120), 정보 저장부(130) 및 디스플레이부(140)를 통해 입출력되는 신호, 데이터, 정보 등을 처리할 수 있다. 또한, 제어부(150)는 정보 저장부(130)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공할 수 있다.The controller 150 controls the overall operation of the route guide apparatus 100 . Specifically, the control unit 150 may process signals, data, information, etc. input/output through the communication unit 110 , the image generation unit 120 , the information storage unit 130 , and the display unit 140 . In addition, the control unit 150 may provide appropriate information or functions to the user by driving the application program stored in the information storage unit 130 .

이러한 제어부(150)는 위치 산출 모듈(152), 영상 처리 모듈(154), 위치 보정 모듈(156) 및 경로 안내 모듈(158)을 포함할 수 있다.The controller 150 may include a location calculation module 152 , an image processing module 154 , a location correction module 156 , and a route guide module 158 .

위치 산출 모듈(152)은 통신부(110)에 의해 수신된 GPS 신호를 기초로, 차량의 위치를 산출한다. 예를 들어, 위치 산출 모듈(152)은 GPS 신호를 기초로, 차량의 위치(예, 위도, 경도, 고도)를 산출할 수 있다.The location calculation module 152 calculates the location of the vehicle based on the GPS signal received by the communication unit 110 . For example, the location calculation module 152 may calculate the location (eg, latitude, longitude, and altitude) of the vehicle based on the GPS signal.

또한, 위치 산출 모듈(152)은 차량의 위치와 기 입력된 목적지 간의 거리를 확인할 수 있다. 일 예로, 위치 산출 모듈(152)은 차량의 위치에 대응하는 좌표값을 목적지의 좌표값과 비교하여, 두 좌표값 간의 차이를 기초로, 차량의 위치와 기 입력된 목적지 간의 거리를 확인할 수 있다.Also, the location calculation module 152 may check the distance between the location of the vehicle and the previously input destination. As an example, the location calculation module 152 compares a coordinate value corresponding to the location of the vehicle with the coordinate value of the destination, and determines the distance between the location of the vehicle and the previously input destination based on the difference between the two coordinate values. .

만약, 차량의 위치와 기 입력된 목적지 간의 거리가, 기 설정된 기준거리 미만인 경우, 위치 산출 모듈(152)은 목적지로부터 소정 범위에 대한 로드뷰 영상인 제1 로드뷰 영상을 획득할 수 있다. 여기서, 기준거리는, 예컨대 GPS 좌표의 오차 범위를 기초로 설정되는 것일 수 있다. 일 예로, GPS 좌표의 최대 오차가 50m인 경우, 기준거리는 50m로 설정될 수 있다. 다른 예로, GPS 위성으로부터 제공되는 GPS 신호의 수신 감도가 낮아질수록, 위치 산출 모듈(152)은 기준거리를 증가시킬 수 있다. 제1 로드뷰 영상에 대한 설명은 후술하기로 한다.If the distance between the vehicle location and the input destination is less than the preset reference distance, the location calculation module 152 may obtain a first road view image that is a road view image for a predetermined range from the destination. Here, the reference distance may be, for example, set based on an error range of GPS coordinates. For example, when the maximum error of the GPS coordinates is 50 m, the reference distance may be set to 50 m. As another example, as the reception sensitivity of the GPS signal provided from the GPS satellite decreases, the location calculation module 152 may increase the reference distance. A description of the first road view image will be described later.

영상 처리 모듈(154)은 영상 생성부(120)에 의해 생성된 차량의 주변 영상으로부터 적어도 하나 이상의 오브젝트를 검출한다. 영상 처리 모듈(154)에 의해 검출되는 오브젝트는, 예를 들어 신호등, 교통표지판, 건물의 간판 등 목적지 주변의 시설물의 적어도 일부분일 수 있다. The image processing module 154 detects at least one object from the image around the vehicle generated by the image generator 120 . The object detected by the image processing module 154 may be, for example, at least a part of a facility near a destination, such as a traffic light, a traffic sign, or a sign of a building.

또한, 영상 처리 모듈(154)은 주변 영상으로부터 검출된 오브젝트를 제1 로드뷰 영상과 비교하여, 공통 이미지를 검출할 수 있다. 여기서, 제1 로드뷰 영상은 목적지로부터 소정 범위 내에 속하는 공간에 대한 영상으로서, 정보 저장부(130)에 기 저장된 것이거나, 통신부(110)가 외부 서버로부터 수신한 것일 수 있다. 이때, 제1 로드뷰 영상은, 해당 제1 로드뷰 영상이 촬영된 지점에 대한 정확한 위치값을 포함할 수 있다.Also, the image processing module 154 may detect a common image by comparing an object detected from the surrounding image with the first road view image. Here, the first road view image is an image of a space falling within a predetermined range from the destination, and may be pre-stored in the information storage unit 130 or received by the communication unit 110 from an external server. In this case, the first road-view image may include an accurate position value for the point at which the first road-view image was captured.

또한, 공통 이미지는 제1 로드뷰 영상의 전체 영역 중, 오브젝트와의 유사도가 임계값 이상인 영역을 의미할 수 있다. 이때, 영상 처리 모듈(154)이 주변 영상으로부터 검출한 오브젝트가 복수개인 경우, 공통 이미지도 복수개일 수 있다. Also, the common image may mean a region having a similarity with an object equal to or greater than a threshold value among the entire region of the first road view image. In this case, when there are a plurality of objects detected by the image processing module 154 from the surrounding image, a plurality of common images may also be present.

위치 보정 모듈(156)은 영상 처리 모듈(154)에 의해 검출된 오브젝트 및 공통 이미지 중 적어도 어느 하나를 기초로, 위치 산출 모듈(152)에 의해 산출된 차량의 위치를 보정한다. 전술한 바와 같이, 위치 산출 모듈(152)에 의해 산출된 차량의 위치는 GPS 신호의 오차로 인해 정확도가 100% 미만인 대략적인 위치에 불과하므로, 위치 보정 모듈(156)은 오브젝트 및 공통 이미지 중 적어도 어느 하나를 기초로, 보정값을 산출하고, 산출된 보정값을 이용하여, 위치 산출 모듈(152)에 의해 산출된 차량의 위치를 보정함으로써, 종래의 방식에 비하여 차량의 실제 위치에 근접한 위치값을 산출할 수 있다.The position correction module 156 corrects the position of the vehicle calculated by the position calculation module 152 based on at least one of an object and a common image detected by the image processing module 154 . As described above, since the position of the vehicle calculated by the position calculation module 152 is only an approximate position with less than 100% accuracy due to an error of the GPS signal, the position correction module 156 is configured to perform at least one of an object and a common image. By calculating a correction value based on any one, and correcting the position of the vehicle calculated by the position calculation module 152 using the calculated correction value, a position value closer to the actual position of the vehicle compared to the conventional method can be calculated.

일 예로, 위치 보정 모듈(156)은 제1 로드뷰 영상 속 공통 이미지의 크기 및 위치를, 주변 영상 속 공통 이미지의 크기 및 위치와 비교하여, 각각의 차이를 산출하고, 산출된 차이를 기초로, 차량의 위치를 보정할 수 있다.For example, the position correction module 156 compares the size and position of the common image in the first road view image with the size and position of the common image in the surrounding image, calculates each difference, and based on the calculated difference , it is possible to correct the position of the vehicle.

구체적으로, 위치 보정 모듈(156)은 주변 영상에 나타나는 공통 이미지의 크기가 제1 크기이고, 제1 로드뷰 영상에 나타나는 해당 공통 이미지의 크기가 제2 크기인 경우, 제1 크기와 제2 크기의 차이를 기초로, 차량의 위치를 보정할 수 있다. Specifically, when the size of the common image appearing in the surrounding image is the first size and the size of the common image appearing in the first road view image is the second size, the position correction module 156 determines the first size and the second size. Based on the difference in , the position of the vehicle may be corrected.

예를 들어, 차량으로부터 멀리 떨어진 오브젝트일수록 주변 영상에는 해당 오브젝트가 작게 나타나게 되므로, 위치 보정 모듈(156)은 제1 크기와 제2 크기가 동일한 경우, 차량이 제1 로드뷰 영상이 촬영된 위치와 동일한 위치에 있는 것으로 판단하여, 종방향에 대한 보정값을 0으로 산출할 수 있다.For example, since the object further away from the vehicle appears smaller in the surrounding image, the position correction module 156 determines the position of the vehicle at the location where the first road view image was captured when the first size and the second size are the same. By determining that they are in the same position, a correction value for the longitudinal direction may be calculated as 0.

다른 예를 들어, 제1 크기가 제2 크기보다 제1 값만큼 작은 경우, 위치 보정 모듈(156)은 제1 로드뷰 영상이 촬영된 위치로부터 종방향으로 제1 거리만큼 떨어진 곳에 차량이 위치하는 것으로 판단하여, 제1 거리에 대응하는 제1 보정값을 산출할 수 있다. 만약, 제1 크기가 제2 크기보다 제2 값(>제1 값)만큼 작은 경우, 위치 보정 모듈(156)은 제1 로드뷰 영상이 촬영된 위치로부터 종방향으로 제2 거리(>제1 거리)만큼 떨어진 곳에 차량이 위치하는 것으로 판단하여, 제2 거리에 대응하는 제2 보정값(>제1 보정값)을 산출할 수 있다.For another example, when the first size is smaller than the second size by a first value, the position correction module 156 determines that the vehicle is located at a distance of a first distance in the longitudinal direction from the position where the first road view image was captured. , it is possible to calculate a first correction value corresponding to the first distance. If the first size is smaller than the second size by a second value (> first value), the position correction module 156 sets a second distance (> first value) in the longitudinal direction from the position where the first road view image was captured. By determining that the vehicle is located at a distance), a second correction value (>first correction value) corresponding to the second distance may be calculated.

한편, 위치 보정 모듈(156)은 주변 영상에 나타나는 공통 이미지의 위치가 제1 위치이고, 제1 로드뷰 영상에 나타나는 해당 공통 이미지의 위치가 제2 위치인 경우, 제1 위치와 제2 위치의 차이를 기초로, 차량의 위치를 보정할 수 있다.On the other hand, when the position of the common image appearing in the surrounding image is the first position, and the position of the corresponding common image appearing in the first road view image is the second position, the position correction module 156 is configured of the first position and the second position. Based on the difference, it is possible to correct the position of the vehicle.

예를 들어, 공통 이미지가 주변 영상에서 좌측에 위치하는 반면, 제1 로드뷰 영상에서는 중앙에 위치하는 경우, 위치 보정 모듈(156)은 두 영상 속 공통 이미지의 위치 차이를 기초로, 황방향에 대한 보정값을 산출하고, 산출된 보정값을 이용하여 차량의 위치를 보정할 수 있다.For example, if the common image is located on the left side in the surrounding image, whereas it is located at the center in the first road view image, the position correction module 156 is located in the yellow direction based on the difference in position of the common image in the two images. It is possible to calculate a correction value for , and correct the position of the vehicle using the calculated correction value.

경로 안내 모듈(158)은 위치 보정 모듈(156)에 의해 보정된 차량의 위치에 대한 제2 로드뷰 영상을 기초로, 목적지까지의 경로를 안내한다. 일 예로, 제2 로드뷰 영상은, 통신부(110)가 외부 서버로부터 수신한 것일 수 있다. 다른 예로, 제2 로드뷰 영상은, 정보 저장부(130)에 위치별로 기 저장된 복수개의 로드뷰 영상 중, 위치 보정 모듈(156)에 의해 보정된 차량의 위치에 대응하는 로드뷰 영상일 수 있다. 물론, 로드뷰 영상에 대응하는 위치(즉, 로드뷰 영상이 촬영된 위치)는 정보 저장부(130)에 기 저장된 전자맵과 매칭된 상태일 수 있음은 당업자에게 자명하다.The route guide module 158 guides the route to the destination based on the second road view image of the vehicle location corrected by the location correction module 156 . As an example, the second load view image may be received by the communication unit 110 from an external server. As another example, the second road view image may be a road view image corresponding to the position of the vehicle corrected by the position correction module 156 among a plurality of road view images previously stored for each position in the information storage unit 130 . . Of course, it is apparent to those skilled in the art that the location corresponding to the road view image (ie, the location where the road view image is captured) may be in a state matched with the electronic map pre-stored in the information storage unit 130 .

경로 안내 모듈(158)은 다양한 방식을 통해, 목적지까지의 경로를 안내할 수 있다. 예컨대, 경로 안내 모듈(158)은 보정된 위치를 기초로, 목적지까지의 경로를 산출하고, 산출된 경로를 안내하기 위한 그래픽 객체를 생성한 후, 해당 그래픽 객체를 제2 로드뷰 영상과 함께 표시하도록, 디스플레이부(140)를 제어할 수 있다. 일 예로, 그래픽 객체는 로드뷰 영상에 오버레이되는 방식으로 표시될 수 있다. 이때, 산출된 경로를 안내하기 위한 그래픽 객체는 방향(예, 직진, 좌회전, 우회전, 차선 이동)을 지시하기 위한 인디케이터, 보정된 위치로부터 목적지까지의 남은 거리를 안내하기 위한 인디케이터 등을 포함할 수 있다.The route guidance module 158 may guide a route to a destination through various methods. For example, the route guide module 158 calculates a route to a destination based on the corrected location, generates a graphical object for guiding the calculated route, and displays the graphical object together with the second load view image To do so, the display unit 140 may be controlled. As an example, the graphic object may be displayed in a way that it is overlaid on the road view image. At this time, the graphic object for guiding the calculated route may include an indicator for indicating a direction (eg, straight ahead, left turn, right turn, lane movement), an indicator for guiding the remaining distance from the corrected position to the destination, etc. there is.

이에 따르면, 차량이 목적지 근방에 도달한 경우, 해당 목적지에 대응하는 로드뷰 영상을 통해 경로가 안내되므로, GPS 신호의 오차가 존재하더라도, 사용자가 차량의 현재 위치와 자신이 입력된 목적지 간의 거리 차를 직관적으로 파악할 수 있고, 차량이 목적지에 실제로 도착할 때까지 경로가 안내되므로, 사용자 편의성이 향상될 수 있다.According to this, when the vehicle arrives near the destination, the route is guided through the road view image corresponding to the destination, so even if there is an error in the GPS signal, the distance difference between the current location of the vehicle and the destination to which the user is input can intuitively be grasped, and the route is guided until the vehicle actually arrives at the destination, so user convenience can be improved.

또한, 도 2를 참조하여 전술한 경로 안내 장치(100)는 차량에 장착될 수 있다.Also, the route guidance apparatus 100 described above with reference to FIG. 2 may be mounted on a vehicle.

도 3은 본 발명의 제1 실시예에 따른 경로 안내 장치(100)의 제어 방법을 보여주는 순서도이다. 3 is a flowchart illustrating a control method of the route guidance apparatus 100 according to the first embodiment of the present invention.

도 3을 참조하면, 제어부(150)는 차량의 현재 위치와 목적지 간의 거리를 확인한다(S312). 차량의 현재 위치는, 제어부(150)가 GPS 신호를 기초로, 차량의 GPS 좌표를 획득하고, 획득된 GPS 좌표를 기 저장된 전자맵과 매칭하여 산출된 것일 수 있다.Referring to FIG. 3 , the controller 150 checks the distance between the current location of the vehicle and the destination ( S312 ). The current location of the vehicle may be calculated by the controller 150 obtaining GPS coordinates of the vehicle based on the GPS signal, and matching the obtained GPS coordinates with a pre-stored electronic map.

다음으로, 제어부(150)는 단계 S312를 통해 확인된 거리가 기준거리 미만인지 판단할 수 있다(S314). 여기서, 기준거리는 고정된 값이거나, 제어부(150)가 GPS 신호의 수신 감도 등을 기준으로 설정한 값일 수 있다. 예컨대, GPS 신호의 수신 감도가 약할수록, 이를 기초로 산출되는 차량의 현재 위치의 불확실성이 커지므로, 제어부(150)는 GPS 신호의 수신 감도에 반비례하는 기준 거리를 설정할 수 있다.Next, the controller 150 may determine whether the distance confirmed through step S312 is less than the reference distance (S314). Here, the reference distance may be a fixed value or a value set by the controller 150 based on the reception sensitivity of the GPS signal. For example, the weaker the reception sensitivity of the GPS signal, the greater the uncertainty of the current location of the vehicle calculated based on it. Therefore, the controller 150 may set a reference distance inversely proportional to the reception sensitivity of the GPS signal.

이어서, 제어부(150)는 단계 S314에서 차량의 현재 위치와 목적지 간의 거리가 기준거리 미만인 것으로 판단 시, 목적지에 대한 제1 로드뷰 영상을 획득할 수 있다(S316). 여기서, 제1 로드뷰 영상은, 목적지로부터 소정 범위에 대하여 기 촬영된 영상으로서, 통신부(110)가 외부 서버로부터 수신한 것이거나, 정보 저장부(130)에 기 저장된 것일 수 있다. 이러한 제1 로드뷰 영상에는 목적지 또는 목적지임을 가리키는 시설의 적어도 일부가 나타날 수 있다. Subsequently, when it is determined that the distance between the current location of the vehicle and the destination is less than the reference distance in step S314, the controller 150 may acquire a first road view image for the destination (S316). Here, the first road view image is an image pre-photographed for a predetermined range from the destination, and may be received by the communication unit 110 from an external server or may be pre-stored in the information storage unit 130 . In the first road view image, at least a part of a destination or a facility indicating the destination may appear.

한편, 전술한 단계 S312, 단계 S314 및 단계 S316가 수행되는 동안, 제어부(150)는 차량의 주변 영상을 생성할 수 있다(S320). 예컨대, 제어부(150)는 영상 생성부(120)에 포함된 적어도 하나 이상의 카메라(122)를 이용하여, 차량의 전방 영상을 생성할 수 있다. 한편, 제어부(150)는 단계 S314에서 차량의 현재 위치와 목적지 간의 거리가 기준거리 미만인 것으로 판단되는 경우에 한하여, 단계 S320을 수행할 수도 있다.Meanwhile, while the aforementioned steps S312, S314, and S316 are performed, the controller 150 may generate an image around the vehicle (S320). For example, the controller 150 may generate a front image of the vehicle using at least one or more cameras 122 included in the image generating unit 120 . Meanwhile, the controller 150 may perform step S320 only when it is determined in step S314 that the distance between the current location of the vehicle and the destination is less than the reference distance.

이어서, 제어부(150)는 단계 S316을 통해 획득한 제1 로드뷰 영상과 단계 S320을 통해 생성한 주변 영상으로부터, 적어도 하나 이상의 공통 이미지를 검출할 수 있다(S330). 여기서, 공통 이미지란, 제1 로드뷰 영상과 주변 영상에 공통적으로 나타나는 오브젝트의 이미지를 의미할 수 있다.Next, the controller 150 may detect at least one common image from the first road view image acquired in step S316 and the surrounding image generated in step S320 ( S330 ). Here, the common image may mean an image of an object that appears in common in the first road view image and the surrounding image.

구체적으로, 제어부(150)는 주변 영상으로부터 소정의 오브젝트(예, 목적지인 소정 건물에 설치된 간판)를 검출할 수 있다. 또한, 제어부(150)는 제1 로드뷰 영상 중, 주변 영상에서 검출한 오브젝트와의 유사도가 임계값 이상인 영역을 공통 이미지로 검출할 수 있다. 만약, 단계 S330을 통해 단 하나의 공통 이미지도 검출되지 않은 경우, 제어부(150)는 전술한 S312, 단계 S314, 단계 S316 및 단계 S320을 반복할 수 있다.Specifically, the controller 150 may detect a predetermined object (eg, a sign installed in a predetermined building that is a destination) from the surrounding image. In addition, the controller 150 may detect, as a common image, a region having a similarity with an object detected in the surrounding image equal to or greater than a threshold value among the first road view images. If even a single common image is not detected through step S330, the controller 150 may repeat steps S312, S314, S316, and S320 described above.

다음으로, 제어부(150)는 단계 S330을 통해 검출한 공통 이미지를 기초로, 차량의 현재 위치를 보정할 수 있다(S340). Next, the controller 150 may correct the current location of the vehicle based on the common image detected in step S330 (S340).

구체적으로, 제어부(150)는 주변 영상에 나타나는 제1 공통 이미지와 제1 로드뷰 영상에 나타나는 제2 공통 이미지 사이의 크기 및 위치 각각의 차이를 산출하고, 산출된 크기 및 위치 각각의 차이를 기초로, 차량의 현재 위치를 보정하기 위한 보정값을 산출할 수 있다. 예를 들어, 제1 공통 이미지와 제2 공통 이미지 사이의 크기 차이를 기초로, 차량의 현재 위치를 종방향으로 보정하기 위한 제1 보정값을 산출하고, 제1 공통 이미지와 제2 공통 이미지 사이의 수평 위치 차이를 기초로, 차량의 현재 위치를 횡방향으로 보정하기 위한 제2 보정값을 산출할 수 있다. 아울러, 제어부(150)는 제1 공통 이미지와 제2 공통 이미지 사이의 수직 위치 차이를 기초로, 차량의 현재 위치를 수직 방향으로 보정하기 위한 제3 보정값을 산출할 수도 있다.Specifically, the control unit 150 calculates the difference in size and position between the first common image appearing in the surrounding image and the second common image appearing in the first road view image, and based on the calculated difference in size and position, respectively Thus, it is possible to calculate a correction value for correcting the current position of the vehicle. For example, based on the size difference between the first common image and the second common image, a first correction value for correcting the current position of the vehicle in the longitudinal direction is calculated, and between the first common image and the second common image Based on the horizontal position difference of , a second correction value for correcting the current position of the vehicle in the lateral direction may be calculated. In addition, the controller 150 may calculate a third correction value for correcting the current position of the vehicle in the vertical direction based on the vertical position difference between the first common image and the second common image.

이어서, 제어부(150)는 단계 S340을 통해 보정된 차량의 현재 위치에 대한 제2 로드뷰 영상을 획득할 수 있다(S350). 여기서, 제2 로드뷰 영상은, 보정된 차량의 위치에서 기 촬영된 영상으로서, 통신부(110)가 외부 서버로부터 수신한 것이거나, 정보 저장부(130)에 기 저장된 것일 수 있다. Subsequently, the controller 150 may acquire a second road view image of the current position of the vehicle corrected through step S340 (S350). Here, the second road view image is an image previously taken at the corrected location of the vehicle, and may be received by the communication unit 110 from an external server or may be pre-stored in the information storage unit 130 .

다음으로, 제어부(150)는 단계 S350을 통해 획득한 제2 로드뷰 영상을 기초로, 경로 안내 정보를 생성할 수 있다(S360). 여기서, 경로 안내 정보란, 보정 전 차량의 위치가 GPS 신호의 오차 범위에 속하는 경우, 보정된 차량의 위치로부터 목적지까지의 실제 남은 거리에 대한 경로를 안내하기 위한 정보일 수 있다. 제어부(150)는 경로를 안내하기 위한 그래픽 객체를 생성하고, 디스플레이부(140)를 이용하여, 제2 로드뷰 영상 및 그래픽 객체를 함께 표시할 수 있다. Next, the controller 150 may generate route guidance information based on the second road view image obtained in step S350 ( S360 ). Here, the route guidance information may be information for guiding a route for the actual remaining distance from the corrected location of the vehicle to the destination when the location of the vehicle before correction falls within the error range of the GPS signal. The controller 150 may generate a graphic object for guiding a route, and display the second road view image and the graphic object together using the display unit 140 .

한편, 전술한 단계 S312 내지 단계 S360는 차량이 실제로 목적지에 도착할 때까지(즉, 보정된 차량의 위치와 목적지의 위치가 동일할 때까지) 실시간 또는 주기적으로 반복될 수 있다.Meanwhile, the aforementioned steps S312 to S360 may be repeated in real time or periodically until the vehicle actually arrives at the destination (ie, the corrected location of the vehicle and the location of the destination are the same).

도 4a 내지 도 4c는 본 발명의 제1 실시예에 따른 경로 안내 장치(100)를 설명하기 위해 참조되는 도면이다.4A to 4C are diagrams referenced to explain the route guidance apparatus 100 according to the first embodiment of the present invention.

먼저, 도 4a를 참조하면, 경로 안내 장치(100)는 차량의 현재 위치와 목적지 간의 거리가 기준 거리 미만인 경우, 이를 알리는 적어도 하나 이상의 그래픽 객체를 디스플레이부(140)에 표시할 수 있다. 예컨대, 도시된 바와 같이, 디스플레이부(140)에는 지도 영상, 지도 영상 중 차량의 현재 위치를 가리키는 제1 인디케이터(401), 목적지의 위치를 가리키는 제2 인디케이터(402), 목적지까지의 남은 거리를 가리키는 제3 인디케이터(403) 및 차량의 현재 위치와 목적지 사이의 경로를 가리키는 제4 인디케이터(404)가 표시될 수 있다.First, referring to FIG. 4A , when the distance between the current location of the vehicle and the destination is less than a reference distance, the route guidance apparatus 100 may display at least one graphic object indicating this on the display unit 140 . For example, as shown, the display unit 140 displays the map image, the first indicator 401 indicating the current location of the vehicle among the map images, the second indicator 402 indicating the location of the destination, and the remaining distance to the destination. A third indicator 403 pointing to it and a fourth indicator 404 indicating a path between the current location of the vehicle and the destination may be displayed.

이때, 경로 안내 장치(100)는, 보정된 차량의 위치를 이용하여 목적지에 대한 경로를 안내할지 여부를 선택받기 위한 메뉴(410)를 표시하도록 디스플레이부(140)를 제어할 수 있다.In this case, the route guide apparatus 100 may control the display unit 140 to display a menu 410 for receiving a selection of whether to guide a route to a destination using the corrected location of the vehicle.

제어부(150)는 해당 메뉴(410)를 선택하는 사용자 입력을 수신 시, 차량의 현재 위치를 보정하기 위한 동작을 수행할 수 있는 바, 이하에서 계속하여 살펴보기로 한다.When the control unit 150 receives a user input for selecting the corresponding menu 410 , the control unit 150 may perform an operation for correcting the current position of the vehicle, which will be described below.

도 4b의 (a)는 차량의 현재 위치에서 영상 생성부(120)에 의해 생성되는 주변 영상(420)의 일 예를 보여주고, 도 4b의 (b)는 목적지로부터 소정 범위에 대한 로드뷰 영상인 제1 로드뷰 영상(430)의 일 예를 보여준다. FIG. 4B (a) shows an example of the surrounding image 420 generated by the image generator 120 at the current location of the vehicle, and FIG. 4B (b) is a road view image for a predetermined range from the destination. An example of the first road view image 430 is shown.

도 4b의 (a)에 따르면, 제어부(150)는 주변 영상(420)으로부터 적어도 하나 이상의 오브젝트(421)를 검출할 수 있다. According to (a) of FIG. 4B , the controller 150 may detect at least one object 421 from the surrounding image 420 .

또한, 제어부(150)는 주변 영상(420)으로부터 검출한 오브젝트(421)와 동일한 오브젝트(431)가 도 4b의 (b)에 도시된 제1 로드뷰 영상(430)에도 존재하는지 판단할 수 있다. 도 4b의 (b)를 참조하면, 제1 로드뷰 영상(430)에는 주변 영상(420)에 나타나는 오브젝트(421)와 유사도가 임계값 이상인 오브젝트(431)가 존재할 수 있다. 이 경우, 제어부(150)는 이러한 두 오브젝트(421, 431)를 공통 이미지로 검출할 수 있다.In addition, the controller 150 may determine whether the same object 431 as the object 421 detected from the surrounding image 420 also exists in the first load view image 430 shown in (b) of FIG. 4B . . Referring to (b) of FIG. 4B , in the first road view image 430 , an object 431 having a similarity greater than or equal to a threshold value to an object 421 appearing in the surrounding image 420 may exist. In this case, the controller 150 may detect these two objects 421 and 431 as a common image.

한편, 도 4b의 (a)에 도시된 주변 영상(420)에서 오브젝트(421)는 제1 크기(폭 W1, 높이 H1)를 가지고, 도 4b의 (b)에 도시된 제1 로드뷰 영상(430)에서 오브젝트(431)는 제2 크기(폭 W2, 높이 H2)를 가지는 바, 제어부(150)는 두 영상(420, 430) 각각에 나타나는 오브젝트(421, 431) 간의 크기 차이를 기초로, 차량의 현재 위치를 보정할 수 있다.On the other hand, in the peripheral image 420 shown in (a) of FIG. 4B, the object 421 has a first size (width W1, height H1), and the first road view image ( In 430), the object 431 has a second size (width W2, height H2), and the controller 150 controls the two images 420 and 430 based on the difference in size between the objects 421 and 431 respectively. It is possible to correct the current position of the vehicle.

일 예로, 제1 크기가 제2 크기의 50%인 경우, 제어부(150)는 차량의 현재 위치를 제1 로드뷰 영상(430)이 촬영된 위치로부터 100m 떨어진 위치가 되도록 보정하고, 제1 크기가 제2 크기의 70%인 경우, 제어부(150)는 차량의 현재 위치를 제1 로드뷰 영상(430)이 촬영된 위치로부터 40m 떨어진 위치가 되도록 보정하며, 제1 크기가 제2 크기의 100%인 경우, 제어부(150)는 차량의 현재 위치를 제1 로드뷰 영상(430)이 촬영된 위치와 동일한 위치가 되도록 보정할 수 있다.For example, when the first size is 50% of the second size, the controller 150 corrects the current position of the vehicle to be a position 100 m away from the position where the first road view image 430 is captured, and the first size When is 70% of the second size, the controller 150 corrects the current position of the vehicle to be a position 40 m away from the position where the first road view image 430 is captured, and the first size is 100 of the second size. %, the controller 150 may correct the current location of the vehicle to be the same location as the location where the first road view image 430 was captured.

한편, 도 4b에서는 두 오브젝트(421, 431) 간의 크기를 기초로, 차량의 현재 위치를 보정하는 방법만을 설명하였으나, 두 오브젝트(421, 431)가 주변 영상(420)과 제1 로드뷰 영상(430)에 나타나는 위치의 차이를 기초로, 차량의 현재 위치를 보정할 수도 있다.Meanwhile, in FIG. 4B , only the method of correcting the current position of the vehicle based on the size between the two objects 421 and 431 has been described. 430), the current position of the vehicle may be corrected based on the difference in position shown in FIG.

도 4c는 경로 안내 장치(100)가 보정된 차량의 위치에 대한 제2 로드뷰 영상을 기초로, 경로 안내 정보를 생성 및 제공하는 일 예를 보여준다.4C shows an example in which the route guidance apparatus 100 generates and provides route guidance information based on the second road view image of the corrected vehicle location.

도 4c를 참조하면, 제어부(150)는 보정된 차량의 위치에 대한 로드뷰 영상인 제2 로드뷰 영상(440)을 획득할 수 있다. 도 4b의 (a)와 비교할 때, 도 4b의 (a)에 도시된 주변 영상(420)은 현재 촬영된 영상인 반면, 제2 로드뷰 영상(440)은 기 촬영된 영상이므로, 두 영상 간에는 일부 차이가 있을 수 있다. 일 예로, 도 4b의 (a)에 도시된 주변 영상(420)에 나타나는 타차량(422, 423)은, 도 4c에 도시된 제2 로드뷰 영상(440)에는 나타나지 않을 수 있다.Referring to FIG. 4C , the controller 150 may acquire a second road view image 440 that is a road view image of the corrected vehicle position. Compared with (a) of FIG. 4B, the surrounding image 420 shown in (a) of FIG. 4B is a currently photographed image, whereas the second road view image 440 is a previously photographed image, so between the two images There may be some differences. For example, the other vehicles 422 and 423 appearing in the surrounding image 420 illustrated in (a) of FIG. 4B may not appear in the second road view image 440 illustrated in FIG. 4C .

도시된 바와 같이 디스플레이부(140)는 제어부(150)의 제어에 따라 제2 로드뷰 영상(440)을 출력할 수 있으며, 제2 로드뷰 영상(440)에는 보정된 차량의 위치에 대응하여 경로를 안내하기 위한 적어도 하나 이상의 그래픽 객체(441, 442)가 오버레이되어 표시될 수 있다.As shown, the display unit 140 may output a second road view image 440 under the control of the controller 150 , and the second road view image 440 contains a path corresponding to the corrected vehicle position. At least one or more graphic objects 441 and 442 for guiding may be displayed overlaid.

예컨대, 제1 로드뷰 영상(430)과 주변 영상(420) 각각으로부터 검출된 공통 이미지 간의 차이를 기초로 산출된, 목적지까지의 남은 거리를 안내하는 인디케이터(441) 및, 해당 목적지까지의 방향 전환을 안내하는 인디케이터(442)가 제2 로드뷰 영상(440)과 함께 표시될 수 있다. For example, the indicator 441 for guiding the remaining distance to the destination calculated based on the difference between the common image detected from each of the first road view image 430 and the surrounding image 420, and the direction change to the destination An indicator 442 for guiding may be displayed together with the second road view image 440 .

한편, 도 4a에 도시된 인디케이터(403)는 보정 전 차량의 위치를 기초로 목적지까지의 남은 거리가 30m임을 안내하고 있는 반면, 도 4c에 도시된 인디케이터(441)는 보정 후 차량의 위치를 기초로 목적지까지의 남은 거리가 33m임을 안내하고 있다. 즉, 경로 안내 장치(100)는 로드뷰 영상을 활용함으로써, GPS 신호만을 기초로 경로 안내를 수행하는 경우에 비하여, 정확도가 향상된 정보를 사용자에게 제공할 수 있다.On the other hand, the indicator 403 shown in FIG. 4A guides that the remaining distance to the destination is 30 m based on the position of the vehicle before correction, whereas the indicator 441 shown in FIG. 4C is based on the position of the vehicle after correction indicates that the remaining distance to the destination is 33m. That is, by utilizing the road view image, the route guidance apparatus 100 may provide the user with information with improved accuracy compared to the case where route guidance is performed based on only the GPS signal.

또한, 도 4c에 따르면, 실제 촬영된 영상(440)과 가상적으로 생성된 그래픽 객체(441, 442)를 합성함으로써, 증가 현실을 구현할 수 있으며, 이에 따라 사용자에게 종래 방식보다 더욱 직관적인 정보를 제공하는 인터페이스를 제공할 수 있다.In addition, according to FIG. 4C , by synthesizing the actually captured image 440 and the virtual generated graphic objects 441 and 442 , augmented reality can be realized, and thus more intuitive information is provided to the user than the conventional method. interface can be provided.

도 5는 본 발명의 제2 실시예에 따른 경로 안내 장치(100)의 제어 방법을 보여주는 순서도이다.5 is a flowchart illustrating a control method of the route guide apparatus 100 according to the second embodiment of the present invention.

도 5을 참조하면, 제어부(150)는 차량의 현재 위치와 목적지 간의 거리를 확인한다(S510). 차량의 현재 위치는, 제어부(150)가 GPS 신호를 기초로, 차량의 GPS 좌표를 획득하고, 획득된 GPS 좌표를 기 저장된 전자맵과 매칭하여 산출된 것일 수 있다.Referring to FIG. 5 , the controller 150 checks the distance between the current location of the vehicle and the destination ( S510 ). The current location of the vehicle may be calculated by the controller 150 obtaining GPS coordinates of the vehicle based on the GPS signal, and matching the obtained GPS coordinates with a pre-stored electronic map.

다음으로, 제어부(150)는 단계 S510를 통해 확인된 거리가 기준거리 미만인지 판단할 수 있다(S520). 여기서, 기준거리는 고정된 값이거나, 제어부(150)가 GPS 신호의 수신 감도 등을 기준으로 설정한 값일 수 있다. 예컨대, GPS 신호의 수신 감도가 약할수록, 이를 기초로 산출되는 차량의 현재 위치의 불확실성이 커지므로, 제어부(150)는 GPS 신호의 수신 감도에 반비례하는 기준 거리를 설정할 수 있다.Next, the controller 150 may determine whether the distance confirmed through step S510 is less than the reference distance (S520). Here, the reference distance may be a fixed value or a value set by the controller 150 based on the reception sensitivity of the GPS signal. For example, the weaker the reception sensitivity of the GPS signal, the greater the uncertainty of the current location of the vehicle calculated based on it. Therefore, the controller 150 may set a reference distance inversely proportional to the reception sensitivity of the GPS signal.

이어서, 제어부(150)는 단계 S520에서 차량의 현재 위치와 목적지 간의 거리가 기준거리 미만인 것으로 판단 시, 3 이상의 서로 다른 무선신호 송신원들로부터 전송되는 무선 신호들을 수신한다(S530). 이러한 무선 신호들 각각에는 해당 무선 신호를 송신하는 무선신호 송신원들의 고유 식별 정보, 전송 시간 및 설치된 지점의 좌표를 알리는 위치 정보가 포함될 수 있다. 예컨대, 제1 무선신호 송신원은 제1 ID, 제1 전송 시간 및 제1 좌표값이 포함된 제1 무선신호를 전송하고, 제2 무선신호 송신원은 제2 ID, 제1 전송 시간 및 제2 좌표값이 포함된 제2 무선신호를 전송할 수 있다. 이에 따라, 이러한 무선신호들을 수신하는 경로 안내 장치(100)는, 각각의 무선신호가 어느 무선신호 송신원으로부터 어느 시점에 전송된 것인지 구별할 수 있다.Subsequently, when it is determined that the distance between the current location of the vehicle and the destination is less than the reference distance in step S520 , the controller 150 receives wireless signals transmitted from three or more different wireless signal transmission sources ( S530 ). Each of these radio signals may include unique identification information of radio signal transmitters that transmit the radio signal, transmission time, and location information informing the coordinates of the installed point. For example, the first wireless signal transmission source transmits a first wireless signal including a first ID, a first transmission time, and a first coordinate value, and the second wireless signal transmission source includes a second ID, a first transmission time, and a second coordinate value. A second wireless signal including a value may be transmitted. Accordingly, the route guide apparatus 100 receiving these radio signals can distinguish which radio signal is transmitted from which radio signal transmission source and at which point in time.

이하에서는, 설명의 편의를 위해, 통신부(110)가 서로 다른 세 무선신호 송신원들로부터 무선 신호를 수신하는 것으로 가정한다.Hereinafter, for convenience of description, it is assumed that the communication unit 110 receives radio signals from three different radio signal transmission sources.

다음으로, 제어부(150)는 통신부(110)를 이용하여, 단계 S530을 통해 수신되는 무선신호들 각각의 세기 및 도달 시간 중 적어도 어느 하나를 측정할 수 있다(S540).Next, the control unit 150 may measure at least one of the strength and arrival time of each of the wireless signals received through the step S530 using the communication unit 110 ( S540 ).

이어서, 제어부(150)는 단계 S540을 통해 측정된 값을 기초로, 무선신호 송신원들 각각과 차량 간의 거리를 산출할 수 있다(S550). 즉, 차량이 각각의 무선신호 송신원들과 어느 정도로 떨어진 곳에 위치하는지 연산할 수 있다. 예를 들어, 어느 한 무선신호가 수신된 시간을, 해당 무선신호가 전송된 시간과 비교하여, 그 차이를 거리로 환산할 수 있다. 다른 예를 들어, 무선신호의 세기가 감소하는 경우, 감소된 세기에 대응하는 거리만큼, 해당 무선신호를 전송한 무선신호 송신원과 차량이 멀어진 것으로 판단할 수 있다.Next, the controller 150 may calculate a distance between each of the radio signal transmission sources and the vehicle based on the value measured in step S540 ( S550 ). That is, it is possible to calculate how far the vehicle is located from each of the radio signal transmission sources. For example, the time at which a radio signal is received may be compared with the time at which the radio signal is transmitted, and the difference may be converted into a distance. As another example, when the strength of the wireless signal is decreased, it may be determined that the vehicle is farther from the wireless signal transmission source that has transmitted the wireless signal by a distance corresponding to the decreased strength.

다음으로, 제어부(150)는 단계 S540을 통해 산출한 무선신호 송신원들과의 거리를 기초로, 차량의 현재 위치를 보정할 수 있다(S560). Next, the controller 150 may correct the current location of the vehicle based on the distance to the wireless signal transmission sources calculated in step S540 ( S560 ).

구체적으로, 제어부(150)는 삼각측량법을 이용하여, 차량의 현재 위치를 보정할 수 있다. 예를 들어, 제1 내지 제3 무선신호 송신원들의 설치 위치가 각각 제1 위치, 제2 위치, 제3 위치이고, 제1 내지 제3 무선신호 송신원들과 차량 간의 거리가 각각 제1 거리, 제2 거리, 제3 거리인 경우, 제어부(150)는 제1 위치를 중심으로하고 제1 거리를 반지름으로 하는 제1 원, 제2 위치를 중심으로하고 제21 거리를 반지름으로 하는 제2 원 및 제3 위치를 중심으로하고 제3 거리를 반지름으로 하는 제3 원을 생성하고, 제1 내지 제3 원이 모두 지나는 하나의 교차점을 차량의 실제 위치로 산출하여, 차량의 현재 위치를 보정할 수 있다.Specifically, the controller 150 may correct the current position of the vehicle by using the triangulation method. For example, the installation positions of the first to third radio signal transmission sources are the first position, the second position, and the third position, respectively, and the distance between the first to third radio signal transmission sources and the vehicle is the first distance, the second position, respectively. In the case of the 2nd distance and the 3rd distance, the control unit 150 controls a first circle centered on the first position and having the first distance as a radius, a second circle centered on the second position and a 21st distance as a radius, and The current position of the vehicle can be corrected by generating a third circle centered at the third position and having the third distance as the radius, and calculating one intersection point through which all of the first to third circles pass as the actual position of the vehicle. there is.

이어서, 제어부(150)는 단계 S560을 통해 보정된 차량의 현재 위치에 대한 로드뷰 영상을 획득할 수 있다(S570). 여기서, 로드뷰 영상은, 보정된 차량의 위치에서 기 촬영된 영상으로서, 통신부(110)가 외부 서버로부터 수신한 것이거나, 정보 저장부(130)에 기 저장된 것일 수 있다. Subsequently, the controller 150 may acquire a road view image for the current location of the vehicle corrected through step S560 (S570). Here, the road view image is an image pre-photographed at the corrected location of the vehicle, and may be received by the communication unit 110 from an external server or may be pre-stored in the information storage unit 130 .

다음으로, 제어부(150)는 단계 S570을 통해 획득한 로드뷰 영상을 기초로, 경로 안내 정보를 생성할 수 있다(S580). 여기서, 경로 안내 정보란, 보정 전 차량의 위치가 GPS 신호의 오차 범위에 속하는 경우, 보정된 차량의 위치로부터 목적지까지의 실제 남은 거리에 대한 경로를 안내하기 위한 정보일 수 있다. 제어부(150)는 경로를 안내하기 위한 그래픽 객체를 생성하고, 디스플레이부(140)를 이용하여, 로드뷰 영상 및 그래픽 객체를 함께 표시할 수 있다. Next, the controller 150 may generate route guidance information based on the road view image obtained in step S570 (S580). Here, the route guidance information may be information for guiding a route for the actual remaining distance from the corrected location of the vehicle to the destination when the location of the vehicle before correction falls within the error range of the GPS signal. The controller 150 may generate a graphic object for guiding a route, and use the display unit 140 to display the load view image and the graphic object together.

한편, 전술한 단계 S510 내지 단계 S580은 차량이 실제로 목적지에 도착할 때까지(즉, 보정된 차량의 위치와 목적지의 위치가 동일할 때까지) 실시간 또는 주기적으로 반복될 수 있다.Meanwhile, the aforementioned steps S510 to S580 may be repeated in real time or periodically until the vehicle actually arrives at the destination (ie, the corrected location of the vehicle and the location of the destination are the same).

도 6은 본 발명의 제2 실시예에 따른 경로 안내 장치(100)가 차량(1)의 현재 위치를 보정하는 동작을 설명하기 위해 참조되는 도면이다.6 is a diagram referenced to explain an operation of correcting the current position of the vehicle 1 by the route guidance apparatus 100 according to the second embodiment of the present invention.

도 6의 (a)를 참조하면, 차량(1)의 주변에는 3이상의 서로 다른 무선신호 송신원들(601, 602, 603)이 존재할 수 있다. 일 예로, 무선신호 송신원은 도로의 인프라 중 하나일 수 있다. 이러한 무선신호 송신원들(601, 602, 603)은 예컨대, 액세스 포인트일 수 있다. 이때, 제어부(150)는 차량(1)의 현재 위치와 목적지 간의 거리가 기준거리 미만인 경우에, 통신부(110)를 이용하여 주변의 무선신호 송신원(601, 602, 603)에 대하여 측량 요청 신호를 전송할 수 있다. 이러한 측량 요청 신호에 대한 응답으로 각각의 무선신호 송신원(601, 602, 603)은 무선 신호를 차량(1)으로 송출할 수 있다.Referring to FIG. 6A , three or more different radio signal transmission sources 601 , 602 , and 603 may exist around the vehicle 1 . For example, the wireless signal transmission source may be one of road infrastructure. These radio signal transmission sources (601, 602, 603) may be, for example, an access point. At this time, when the distance between the current location and the destination of the vehicle 1 is less than the reference distance, the control unit 150 uses the communication unit 110 to send a survey request signal to the nearby wireless signal transmission sources 601 , 602 , and 603 . can be transmitted In response to such a survey request signal, each of the radio signal transmission sources 601 , 602 , 603 may transmit a radio signal to the vehicle 1 .

이어, 도 6의 (b)를 참조하여, 제어부(150)가 통신부(110)를 통해 수신한 무선신호를 기초로, 차량(1)의 실제 위치를 산출하는 개념을 설명한다. 전술한 바와 같이, 제어부(150)는 무선신호 각각의 도달 신간 또는 세기를 기초로, 차량(1)과 각각의 무선신호 송신원(601, 602, 603) 간의 거리(R1, R2, R3)를 산출할 수 있다.Next, a concept in which the controller 150 calculates the actual location of the vehicle 1 based on the wireless signal received through the communication unit 110 will be described with reference to FIG. 6B . As described above, the controller 150 calculates the distances R1, R2, and R3 between the vehicle 1 and each of the radio signal transmission sources 601, 602, and 603 based on the arrival or strength of each radio signal. can do.

무선신호 송신원들과의 거리 산출이 완료되면, 제어부(150)는 무선신호 송신원 각각의 설치 위치(P1, P2, P3)를 중심으로 하고 차량(1)과의 거리(R1, R2, R3)를 반지름으로 하는 제1 내지 제3 원(611, 612, 613)을 생성할 수 있다. 또한, 무선신호 송신원 각각의 설치 위치(P1, P2, P3)는 이미 획득된 상태(무선신호에 포함)이므로, 제어부(150)는 제1 내지 제3 원(611, 612, 613)이 모두 지나는 교차점이 차량(1)의 실제 위치(P5)인 것으로 처리할 수 있다. 즉, GPS 신호만을 기초로 산출된 차량(1)의 현재 위치(P4)를 차량(1)의 실제 위치(P5)가 되도록 보정할 수 있다.When the distance calculation with the radio signal transmission sources is completed, the control unit 150 sets the distances (R1, R2, R3) from the vehicle 1 centered on the respective installation positions (P1, P2, P3) of the radio signal transmission sources. First to third circles 611 , 612 , and 613 having radii may be generated. In addition, since the respective installation positions (P1, P2, P3) of the wireless signal transmission sources are already acquired (included in the wireless signal), the control unit 150 controls the first to third circles 611, 612, and 613 to pass through. It can be treated that the intersection point is the actual location P5 of the vehicle 1 . That is, the current position P4 of the vehicle 1 calculated based on only the GPS signal may be corrected to be the actual position P5 of the vehicle 1 .

한편, 이상에서는 제1 실시예와 제2 실시예를 구별하여 설명하였으나, 본 발명에 따른 경로 안내 장치(100)는 제1 실시예와 제2 실시예를 조합하여 경로 안내에 활용할 수 있음은 당업자에게 자명하다. Meanwhile, in the above, the first embodiment and the second embodiment have been separately described, but it is understood by those skilled in the art that the route guidance apparatus 100 according to the present invention can be utilized for route guidance by combining the first and second embodiments. self-evident to

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.The embodiment of the present invention described above is not implemented only through the apparatus and method, and may be implemented through a program for realizing a function corresponding to the configuration of the embodiment of the present invention or a recording medium in which the program is recorded. The implementation can be easily implemented by those skilled in the art to which the present invention pertains from the description of the above-described embodiments.

또한, 이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니라, 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수 있다.In addition, the present invention described above, various substitutions, modifications and changes are possible within the scope without departing from the technical spirit of the present invention for those of ordinary skill in the art to which the present invention pertains. It is not limited by the accompanying drawings, and all or part of each embodiment may be selectively combined so that various modifications may be made.

100: 경로 안내 장치
110: 통신부
120: 영상 생성부
130: 정보 저장부
140: 디스플레이부
150: 제어부
100: route guidance device
110: communication department
120: image generating unit
130: information storage unit
140: display unit
150: control unit

Claims (9)

차량의 위치와 기 입력된 목적지 간의 거리를 확인하는 단계;
상기 거리가 기준거리 미만인 경우, 상기 목적지로부터 소정 범위에 대한 제1 로드뷰 영상을 획득하는 단계;
상기 차량의 주변 영상을 생성하는 단계;
상기 주변 영상으로부터 적어도 하나의 오브젝트를 검출하는 단계;
상기 제1 로드뷰 영상과 상기 주변 영상으로부터 검출된 오브젝트를 비교하여, 적어도 하나 이상의 공통 이미지를 검출하는 단계;
상기 공통 이미지를 기초로, 상기 차량의 위치를 보정하는 단계;
외부 서버로부터 상기 보정된 위치에 대한 제2 로드뷰 영상을 획득하는 단계; 및
상기 제2 로드뷰 영상을 이용하여, 상기 목적지까지의 경로를 안내하는 단계;
를 포함하고,
상기 차량의 위치는 상기 차량의 GPS 좌표를 기 저장된 전자맵과 매칭하여 산출하고, 상기 기준거리는 상기 GPS 좌표의 오차 범위를 기초로 설정되되,
상기 목적지까지의 경로를 안내하는 단계는,
상기 보정된 차량의 위치와 목적지 간의 거리가 상기 기준거리 미만인 경우, 상기 경로를 안내하기 위한 그래픽 객체를 생성하는 단계; 및
상기 제2 로드뷰 영상 및 상기 그래픽 객체를 디스플레이하는 단계를 포함하는, 경로 안내 장치의 제어방법.
checking a distance between the location of the vehicle and a pre-entered destination;
when the distance is less than the reference distance, obtaining a first road view image for a predetermined range from the destination;
generating an image around the vehicle;
detecting at least one object from the surrounding image;
detecting at least one common image by comparing the first road view image with an object detected from the surrounding image;
correcting the position of the vehicle based on the common image;
obtaining a second load view image for the corrected position from an external server; and
guiding a route to the destination by using the second road view image;
including,
The location of the vehicle is calculated by matching the GPS coordinates of the vehicle with a pre-stored electronic map, and the reference distance is set based on an error range of the GPS coordinates,
The step of guiding the route to the destination is,
generating a graphic object for guiding the route when the corrected distance between the location of the vehicle and the destination is less than the reference distance; and
Including the step of displaying the second road view image and the graphic object, the control method of the route guidance device.
삭제delete 삭제delete 제1항에 있어서,
상기 공통 이미지를 검출하는 단계는,
상기 주변 영상으로부터 소정의 오브젝트를 검출하는 단계; 및
상기 제1 로드뷰 영상 중, 상기 오브젝트와의 유사도가 임계값 이상인 영역을 상기 공통 이미지로 검출하는 단계;
를 포함하는, 경로 안내 장치의 제어방법.
According to claim 1,
The step of detecting the common image comprises:
detecting a predetermined object from the surrounding image; and
detecting, as the common image, an area of the first road view image having a similarity with the object equal to or greater than a threshold value;
Including, a control method of a route guidance device.
삭제delete 제1항에 있어서,
상기 차량의 위치를 보정하는 단계는,
상기 제1 로드뷰 영상 속 상기 공통 이미지의 크기 및 위치를, 상기 주변 영상 속 공통 이미지의 크기 및 위치와 비교하여, 각각의 차이를 산출하는 단계; 및
상기 차이를 기초로, 상기 차량의 위치를 보정하는 단계;
를 포함하는, 경로 안내 장치의 제어방법.
According to claim 1,
The step of correcting the position of the vehicle,
Comparing the size and position of the common image in the first road view image with the size and position of the common image in the surrounding image, calculating each difference; and
correcting the position of the vehicle based on the difference;
Including, a control method of a route guidance device.
삭제delete 차량의 위치와 기 입력된 목적지 간의 거리를 확인하는 단계;
상기 거리가 기준거리 미만인 경우, 상기 차량의 주변에 설치된 3이상의 서로 다른 무선신호 송신원들으로부터 전송되는 무선 신호들 각각의 세기 및 도달 시간 중 적어도 어느 하나를 측정하는 단계;
상기 측정된 값을 기초로, 상기 무선신호 송신원들 각각과 상기 차량 간의 거리를 산출하는 단계;
상기 무선신호 송신원들 각각과 상기 차량 간의 거리를 기초로, 상기 차량의 위치를 보정하는 단계;
외부 서버로부터 상기 보정된 위치에 대한 로드뷰 영상을 획득하는 단계; 및
상기 로드뷰 영상을 이용하여, 상기 목적지까지의 경로를 안내하는 단계;
를 포함하고,
상기 차량의 위치는 상기 차량의 GPS 좌표를 기 저장된 전자맵과 매칭하여 산출하고, 상기 기준거리는 상기 GPS 좌표의 오차 범위를 기초로 설정되되,
상기 목적지까지의 경로를 안내하는 단계는,
상기 보정된 차량의 위치와 목적지 간의 거리가 상기 기준거리 미만인 경우, 상기 경로를 안내하기 위한 그래픽 객체를 생성하는 단계; 및
상기 로드뷰 영상 및 상기 그래픽 객체를 디스플레이하는 단계를 포함하는, 경로 안내 장치의 제어방법.
checking a distance between the location of the vehicle and a pre-entered destination;
If the distance is less than the reference distance, measuring at least one of the strength and arrival time of each of the radio signals transmitted from three or more different radio signal transmission sources installed in the vicinity of the vehicle;
calculating a distance between each of the radio signal transmission sources and the vehicle based on the measured value;
correcting the position of the vehicle based on the distance between each of the radio signal transmission sources and the vehicle;
obtaining a road view image for the corrected position from an external server; and
guiding a route to the destination by using the road view image;
including,
The location of the vehicle is calculated by matching the GPS coordinates of the vehicle with a pre-stored electronic map, and the reference distance is set based on an error range of the GPS coordinates,
The step of guiding the route to the destination is,
generating a graphic object for guiding the route when the corrected distance between the location of the vehicle and the destination is less than the reference distance; and
Including the step of displaying the road view image and the graphic object, the control method of the route guidance device.
차량에 구비되는 경로 안내 장치에 있어서,
GPS 위성으로부터 GPS 신호를 수신하는 통신부;
상기 차량의 주변 영상을 생성하는 영상 생성부;
전자맵을 저장하는 정보 저장부; 및
디스플레이부, 통신부, 영상 생성부 및 정보 저장부의 동작을 제어하는 제어부;를 포함하되,
상기 제어부는,
상기 GPS 신호를 기초로, 상기 차량의 위치를 산출하고,
상기 차량의 위치와 기 입력된 목적지 간의 거리를 확인하며,
상기 거리가 기준거리 미만인 경우, 상기 통신부 또는 상기 정보 저장부 중 어느 하나로부터 상기 목적지에 대한 제1 로드뷰 영상을 획득하고,
상기 제1 로드뷰 영상과 상기 주변 영상으로부터 적어도 하나 이상의 공통 이미지를 검출하며,
상기 공통 이미지를 기초로, 상기 차량의 위치를 보정하고,
상기 통신부 또는 상기 정보 저장부 중 어느 하나로부터 상기 보정된 위치에 대한 제2 로드뷰 영상을 획득하며,
상기 제2 로드뷰 영상을 이용하여, 상기 목적지까지의 경로 안내 정보를 생성하되,
상기 차량의 위치는 상기 차량의 GPS 좌표를 기 저장된 전자맵과 매칭하여 산출하고, 상기 기준거리는 상기 GPS 좌표의 오차 범위를 기초로 설정되되,
상기 제어부는, 상기 보정된 차량의 위치와 목적지 간의 거리가 상기 기준거리 미만인 경우, 상기 경로를 안내하기 위한 그래픽 객체를 생성하고, 상기 제2 로드뷰 영상 및 상기 그래픽 객체를 디스플레이하는, 경로 안내 장치.
In the route guidance device provided in a vehicle,
a communication unit for receiving a GPS signal from a GPS satellite;
an image generating unit generating an image of the vehicle's surroundings;
an information storage unit for storing the electronic map; and
A control unit for controlling the operation of the display unit, the communication unit, the image generation unit, and the information storage unit; including,
The control unit is
Based on the GPS signal, calculating the location of the vehicle,
Check the distance between the location of the vehicle and the pre-entered destination,
When the distance is less than the reference distance, obtaining a first road view image for the destination from either the communication unit or the information storage unit,
Detecting at least one common image from the first road view image and the surrounding image,
correcting the position of the vehicle based on the common image,
Obtaining a second load view image for the corrected position from either the communication unit or the information storage unit,
Using the second road view image to generate route guidance information to the destination,
The location of the vehicle is calculated by matching the GPS coordinates of the vehicle with a pre-stored electronic map, and the reference distance is set based on an error range of the GPS coordinates,
The control unit, when the distance between the corrected location of the vehicle and the destination is less than the reference distance, generates a graphic object for guiding the path, and displays the second road view image and the graphic object, a path guidance device .
KR1020150109647A 2015-08-03 2015-08-03 Route guidandce apparatus and control method for the same Active KR102392998B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150109647A KR102392998B1 (en) 2015-08-03 2015-08-03 Route guidandce apparatus and control method for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150109647A KR102392998B1 (en) 2015-08-03 2015-08-03 Route guidandce apparatus and control method for the same

Publications (3)

Publication Number Publication Date
KR20170016203A KR20170016203A (en) 2017-02-13
KR102392998B1 true KR102392998B1 (en) 2022-05-02
KR102392998B9 KR102392998B9 (en) 2023-03-23

Family

ID=58156083

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150109647A Active KR102392998B1 (en) 2015-08-03 2015-08-03 Route guidandce apparatus and control method for the same

Country Status (1)

Country Link
KR (1) KR102392998B1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022006B (en) * 2017-11-24 2020-07-24 浙江大学 A data-driven approach to accessibility probability and area generation
KR102541069B1 (en) * 2017-12-28 2023-06-07 현대오토에버 주식회사 Apparatus and method for guiding destination
KR102584440B1 (en) * 2018-12-06 2023-10-05 한국전자통신연구원 Driving Guide Apparatus and System for Providing with a Language Description of Image Characteristics
KR102241906B1 (en) * 2019-06-13 2021-04-20 주식회사 가린시스템 System and method for guiding parking location of a vehicle
KR102662730B1 (en) * 2020-03-04 2024-05-02 주식회사 에이치엘클레무브 Driver assistance apparatus and method thereof
CN112577524A (en) * 2020-12-16 2021-03-30 北京百度网讯科技有限公司 Information correction method and device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070064052A (en) * 2005-12-16 2007-06-20 주식회사 대우일렉트로닉스 Map matching car navigation device
KR100873474B1 (en) * 2006-12-04 2008-12-15 한국전자통신연구원 Vehicle location estimation device and method using pixel size and location of traffic facilities on image
KR20120092866A (en) * 2011-02-14 2012-08-22 주식회사 인프라웨어 The method of selecting image cadidates for vision based detecting system using geographic data
KR20130089068A (en) * 2012-02-01 2013-08-09 현대모비스 주식회사 Apparatus and method correcting location of car using camera
KR102111784B1 (en) * 2013-07-17 2020-05-15 현대모비스 주식회사 Apparatus and method for discernmenting position of car
KR20150034997A (en) * 2013-09-27 2015-04-06 네이버 주식회사 Method and system for notifying destination by route guide
KR101569354B1 (en) * 2014-01-08 2015-11-17 인하대학교 산학협력단 Method and Apparatus for Error Correction of Global Navigation Satellite System Signal using Imaging Sensor

Also Published As

Publication number Publication date
KR20170016203A (en) 2017-02-13
KR102392998B9 (en) 2023-03-23

Similar Documents

Publication Publication Date Title
KR102392998B1 (en) Route guidandce apparatus and control method for the same
US11530931B2 (en) System for creating a vehicle surroundings model
KR102695518B1 (en) Method and apparatus for guiding vehicle route
EP2737338B1 (en) Method for ensuring continuity of service of a personal navigation device and device thereof
US10240934B2 (en) Method and system for determining a position relative to a digital map
EP2881710B1 (en) Camera parameter computation device, navigation system, and camera parameter computation method
US9367962B2 (en) Augmented image display using a camera and a position and orientation sensor
US20070208507A1 (en) Current position sensing system, map display system and current position sensing method
CN111386440B (en) Distance measuring apparatus and control method thereof
JP2016014647A (en) Own vehicle position recognition device and own vehicle position recognition method
EP2703780A2 (en) Navigation apparatus and display method thereof
JP2017215653A (en) Detailed route creation device, automatic drive system for vehicle and detailed route creation program
US20150300834A1 (en) Navigation apparatus having lane guidance function and method for performing the same
KR100976964B1 (en) Navigation system and road lane recognition method thereof
US20150066364A1 (en) Navigation system
KR20160032452A (en) Drive assist device, and controlling method thereof
US11187815B2 (en) Method of determining location of vehicle, apparatus for determining location, and system for controlling driving
JP6554679B2 (en) Positioning system
KR20060096729A (en) Route guidance method in personal navigation system and personal navigation system
JP6988859B2 (en) Self-location sharing system, vehicle and terminal
US20200217665A1 (en) Mobile platform, image capture path generation method, program, and recording medium
KR102473765B1 (en) Positioning apparatus for vehicle and method thereof
KR102406489B1 (en) Electronic apparatus, control method of electronic apparatus, computer program and computer readable recording medium
CN105283873B (en) Method and system for discovering one or more persons passing by a vehicle
JP7654319B2 (en) Surveying system, surveying equipment, surveying method and program

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150803

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200731

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20150803

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20211025

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220414

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220427

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220428

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
G170 Re-publication after modification of scope of protection [patent]
PG1701 Publication of correction

Patent event code: PG17011E01I

Patent event date: 20230320

Comment text: Request for Publication of Correction

Publication date: 20230323

PR1001 Payment of annual fee

Payment date: 20250325

Start annual number: 4

End annual number: 4