KR20170064093A - Driving Route at The Intersection of Leaving and Re-search Method using Image Recognition System - Google Patents

Driving Route at The Intersection of Leaving and Re-search Method using Image Recognition System Download PDF

Info

Publication number
KR20170064093A
KR20170064093A KR1020150168893A KR20150168893A KR20170064093A KR 20170064093 A KR20170064093 A KR 20170064093A KR 1020150168893 A KR1020150168893 A KR 1020150168893A KR 20150168893 A KR20150168893 A KR 20150168893A KR 20170064093 A KR20170064093 A KR 20170064093A
Authority
KR
South Korea
Prior art keywords
intersection
image
navigation
recognition system
camera
Prior art date
Application number
KR1020150168893A
Other languages
Korean (ko)
Other versions
KR102464587B1 (en
Inventor
유왕건
Original Assignee
현대엠엔소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대엠엔소프트 주식회사 filed Critical 현대엠엔소프트 주식회사
Priority to KR1020150168893A priority Critical patent/KR102464587B1/en
Publication of KR20170064093A publication Critical patent/KR20170064093A/en
Application granted granted Critical
Publication of KR102464587B1 publication Critical patent/KR102464587B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3623—Destination input or retrieval using a camera or code reader, e.g. for optical or magnetic codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)

Abstract

본 발명은 영상 인식 시스템을 이용한 교차로에서의 주행 경로 이탈 및 재탐색 방법에 관한 것으로서, 더욱 상세하게는 차량이 교차로를 진출입할 시에 상기 차량이 상기 교차로에서 주행경로를 이탈 했을 때 GPS가 재 수신되지 않아도 카메라의 영상 획득과 저장되어 있는 영상 데이터를 이용하여 경로이탈을 감지하고 경로를 빠르게 재탐색할 수 있도록 하는 것으로서, 높은 빌딩이 존재하는 도심의 교차로와 같은 지역에서 GPS 신호가 없거나 부정확한 할 때 현재의 위치를 파악하고 이탈 시 다음 예상 주행 경로를 빠르게 재탐색하게 하는 효과와 교차로와 같은 특정 지역의 실제 도로 영상만을 저장하고, 이를 카메라의 영상과 비교 및 매칭함으로서, 교차로와 같은 영상인식이 필요한 시점에서만 작동되게 하여 시스템의 부하를 줄이는 효과가 있는 영상 인식 시스템을 이용한 교차로에서의 주행 경로 이탈 및 재탐색 방법에 기술적 특징이 있다.[0001] The present invention relates to a method and apparatus for disassembling and re-searching a traveling route at an intersection using an image recognition system, and more particularly, It is possible to detect the departure of the route and retrieve the route quickly by using the image data of the camera and the stored image data without the GPS signal in the area where the high building is located, In this paper, we propose a method to estimate the current location of a road by comparing the location of the intersection with the location of the intersection. It has the effect of reducing the load on the system by making it operate only when necessary. There is a technical feature in the method of departure and re - search of the traveling route at the intersection using the image recognition system.

Description

영상 인식 시스템을 이용한 교차로에서의 주행 경로 이탈 및 재탐색 방법{Driving Route at The Intersection of Leaving and Re-search Method using Image Recognition System}BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to an image retrieval system,

본 발명은 영상 인식 시스템을 이용한 교차로에서의 주행 경로 이탈 및 재탐색 방법에 관한 것으로서, 더욱 상세하게는 차량이 교차로를 진출입할 시에 카메라의 영상 획득과 저장되어 있는 영상 데이터를 비교하여 GPS가 재 수신되지 않아도 경로 이탈을 감지하고 경로를 빠르게 재탐색할 수 있도록 하는 영상 인식 시스템을 이용한 교차로에서의 주행 경로 이탈 및 재탐색 방법에 관한 것이다.
[0001] The present invention relates to a method and apparatus for navigating an intersection by using an image recognition system, and more particularly, The present invention relates to a method and apparatus for detecting a departure from a route, and a method for re-searching a route in an intersection using an image recognition system.

일반적으로 내비게이션 시스템은 위성위치확인시스템(Global Positioning System: 이하 "GPS"라 함)을 이용하여 측정된 자신의 위치를 지도데이터에 맵매칭하고, 사용자로부터 경유지 및/또는 목적지를 입력받고 상기 목적지까지의 경로를 탐색하고 상기 지도데이터에 탐색된 경로를 매핑하여 표시하고 상기 경로를 따라 길안내를 수행하는 시스템이다.Generally, the navigation system map-maps its position measured by a global positioning system (hereinafter referred to as "GPS") to map data, inputs a stopover point and / or a destination from the user, Maps the route searched for in the map data, displays the route, and performs route guidance along the route.

그러나 종래의 상기 내비게이션 시스템은 주행경로를 이탈했을 때 GPS 신호가 정확할 경우에는 바로 경로 재탐색을 시행하고 경로이탈에 대한 재탐색을 수행하지만, GPS가 수신 되지 않는 지역이나 신호가 미약한 지역 또는 GPS 신호가 부정확한 경우 오동작하거나 잘못된 경로를 계속 제공하게 되는 문제점이 있다.However, in the navigation system of the related art, when the GPS signal is correct when departing from the traveling route, the route search is performed and the search for the route departure is performed again. However, in the area where GPS is not received, If the signal is inaccurate, there is a problem that it malfunctions or the wrong path is continuously provided.

특히 높은 빌딩이나 GPS 수신 장애물이 존재하는 도심의 교차로와 같은 지역에서는 상기와 같은 GPS의 수신이 원활하지 못하여 더욱 더 상기 내비게이션 시스템이 오동작하거나 잘못된 경로를 계속 제공하게 되는 문제점이 발생할 수 있다.In particular, in an area such as a high building or an intersection in a city center where GPS reception obstacles exist, reception of the GPS is not smoothly performed, so that the navigation system may malfunction or continue to provide a wrong route.

그러므로 추가적으로 GPS 외에 영상인식을 이용하여 GPS 신호가 부정확하거나 수신되지 않는 지역에서도 경로이탈을 감지하여 경로를 재탐색하는 방법이 요구되어진다.Therefore, in addition to GPS, there is a need for a method of searching for the path again by sensing the departure from the area where the GPS signal is inaccurate or not received by using image recognition.

상기와 같은 문제를 개선하기 위한 종래의 기술로서는 대한민국 공개특허공보 제10-2013-0133455호의 경로 이탈을 고려한 다중 경로 탐색방법 및 이를 적용한 단말기가 공지되어 있다. 상기 종래의 기술은 경로 안내를 받는 주행 차량이 교차로에서 경로를 이탈하는 경우, 교차로 통과 전 미리 탐색하여 저장한 다중 경로 중 이탈 경로에 해당하는 경로를 바로 호출하여 새로운 경로 안내를 시작함으로써, 경로 이탈 후에 경로 재탐색으로 인해 새로운 경로 안내까지 지연되는 시간을 현저히 감소시키는 것이다.As a conventional technique for solving the above problem, Korean Patent Laid-Open Publication No. 10-2013-0133455 discloses a multipath search method considering a path deviation and a terminal to which the multipath search method is applied. In the conventional technique, when a driving vehicle that is guided by a route leaves a route at an intersection, a route corresponding to a departure route is directly called out of the multi-routes searched for and stored before intersection passage to start a new route guidance, It is possible to remarkably reduce the delay time until the new route guidance due to the route re-searching.

그러나 상기 종래의 기술은 경로이탈에 대한 재탐색 방법은 있지만, 경로 이탈의 방법을 GPS 만을 사용하여 GPS 가 수신 되지 않는 지역이나 신호가 미약한 지역에서는 오동작할 소지가 있다.
However, although the conventional technique has a method of re-searching for a path deviation, there is a possibility that the path deviation method may malfunction in a region where the GPS is not received or a region where the signal is weak using only the GPS.

상기와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 본 발명은 교차로에서의 차량 주행 시 GPS 외에 카메라를 통한 영상인식을 이용하여 GPS 신호가 부정확하거나 수신되지 않는 지역에서도 경로 이탈을 감지하여 경로를 재탐색하도록 하는 목적이 있다.In order to solve the above problems, the present invention has been made to solve the above-mentioned problems of the prior art, and it is an object of the present invention to provide a navigation system, So that the user can search for it.

또한, 본 발명은 교차로가 예상 되는 지점 일정 거리 전에서 카메라와 영상인식 시스템을 구동하여 교차로 주위의 일정 영역에 한하여 저장되어있는 실제 도로 영상 데이터를 비교 매칭함으로서 주행 경로 이탈 및 재탐색을 하기 위한 다른 목적이 있다.
In addition, the present invention drives the camera and the image recognition system at a predetermined distance before the intersection is anticipated to compare and match the actual road image data stored only in a certain area around the intersection, There is a purpose.

본 발명의 상기 목적은 차량용 내비게이션의 교차로 진출입 시 주행 경로 이탈 및 재탐색 방법에 있어서, 상기 교차로의 각 주행 방향에 해당하는 일정 영역의 도로 영상을 상기 내비게이션의 지도 영상 DB에 저장하는 제1단계, 상기 내비게이션이 상기 교차로를 인지하고 상기 내비게이션의 영상 인식 시스템과 카메라를 ON하는 제2단계, 상기 내비게이션이 상기 카메라를 통하여 상기 교차로 진입 방향에 대한 도로 영상을 획득하는 제3단계, 상기 차량이 상기 교차로를 통과한 후 상기 내비게이션이 상기 차량의 진행 방향에 따른 상기 카메라가 획득하는 도로 영상과 상기 지도 영상 DB의 영상을 상기 영상 인식 시스템에서 매칭 비교하여 상기 교차로에서 어느 방향으로 진출하였는지를 판단하는 제4단계, 상기 제4단계에 따른 상기 차량의 진출 방향이 상기 내비게이션의 목적지 안내경로와 불일치하면 상기 내비게이션이 상기 교차로에서 진입한 방향을 기준으로 경로 이탈 판정을 하고 경로 재탐색을 실행하는 제5단계와 상기 제4단계에 따른 상기 차량의 진출 방향이 상기 내비게이션의 목적지 안내 경로와 일치하면 상기 영상 인식 시스템과 상기 카메라가 OFF되는 제6단계를 더 포함하여 이루어지는 것을 특징으로 달성된다.
The above object of the present invention can be achieved by a method for disassembling and re-searching a driving route at an intersection entry / exit of a vehicle navigation system, comprising the steps of: storing a road image in a predetermined area corresponding to each driving direction of the intersection, A second step of the navigation recognizing the intersection and turning on the camera and the image recognition system of the navigation; a third step of the navigation acquiring a road image for the intersection entry direction through the camera; And the navigation system compares the road image acquired by the camera with the image of the map image DB in the image recognition system in accordance with the traveling direction of the vehicle and determines in which direction the vehicle has entered the intersection , The advancing direction of the vehicle according to the fourth step A navigation step of navigating the intersection, and a route re-search based on a direction in which the navigation enters the intersection when the navigation is inconsistent with the destination guidance route of the navigation system, And a sixth step in which the image recognition system and the camera are turned off if they coincide with the destination guide path of the image recognition system.

따라서 본 발명의 영상 인식 시스템을 이용한 교차로에서의 주행 경로 이탈 및 재탐색 방법은 높은 빌딩이 존재하는 도심의 교차로와 같은 지역에서 GPS 신호가 재 수신되지 않거나 부정확할 때 현재의 위치를 파악하고 이탈 시 다음 예상 주행 경로를 빠르게 재탐색하게 하는 효과가 있다.Therefore, when the GPS signal is not received again or is inaccurate in an intersection such as an urban center where a high building is present, It has an effect to promptly re-search the next estimated travel route.

또한, 본 발명은 교차로와 같은 특정 지역의 실제 도로 영상만을 저장하고, 이를 카메라의 영상과 비교 매칭함으로서, 영상인식이 필요한 시점에서만 작동되게 하여 시스템의 부하를 줄이는 효과가 있다.
Also, according to the present invention, only an actual road image in a specific area such as an intersection is stored and compared with a camera image, the system is operated only at a time when image recognition is required, thereby reducing the load on the system.

도 1은 본 발명의 일실시예에 따른 영상 인식 시스템을 이용한 교차로에서의 주행 경로 이탈 및 재탐색 방법의 흐름도이고,
도 2는 본 발명의 일실시예에 따른 영상 인식 시스템이 포함된 내비게이션과 카메라의 연동을 나타내는 구성도이고,
도 3은 본 발명의 일실시예에 따른 영상 인식 시스템을 이용한 교차로에서의 주행 경로를 판단하기 위한 경로를 나타내는 예시도이다.FIG. 1 is a flowchart illustrating a method of moving away and re-searching a route in an intersection using an image recognition system according to an embodiment of the present invention,
FIG. 2 is a block diagram illustrating a navigation system including an image recognition system and an interworking camera according to an exemplary embodiment of the present invention.
3 is a diagram illustrating an example of a path for determining a driving route in an intersection using an image recognition system according to an embodiment of the present invention.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms and the inventor may appropriately define the concept of the term in order to best describe its invention It should be construed as meaning and concept consistent with the technical idea of the present invention.

따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention and are not intended to represent all of the technical ideas of the present invention. Therefore, various equivalents It should be understood that water and variations may be present.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 영상 인식 시스템을 이용한 교차로에서의 주행 경로 이탈 및 재탐색 방법의 흐름도이다.FIG. 1 is a flowchart of a method of departing and re-searching a driving route at an intersection using an image recognition system according to an embodiment of the present invention.

도시와 같이 본 발명은 차량용 내비게이션(200)의 교차로 진출입 시 주행 경로 이탈 및 재탐색 방법에 있어서, 상기 교차로에 대한 각 방향에 해당하는 도로 영상을 상기 내비게이션의 지도 영상 DB(210)에 저장하는 제1단계(S100), 상기 차량의 교차로 인지 및 상기 내비게이션의 영상 인식 시스템(220)과 카메라(100)를 ON하는 제2단계(S200), 상기 카메라(100)가 도로 영상을 획득하는 제3단계(S300), 상기 교차로 중에 어느 방향으로 진출하였는지를 판단하는 제4단계(S400), 경로 이탈 판정 시 경로 재탐색을 실행하는 제5단계(S500) 및 상기 영상 인식 시스템(220)과 상기 카메라(100)를 OFF하는 제6단계(S600)로 이루어지는 것을 특징으로 하는 영상 인식 시스템(220)을 이용한 교차로에서의 주행 경로 이탈 감지 방법으로 구성되어진다.The present invention relates to a method and apparatus for navigating a vehicle navigation system in an intersection approaching and leaving a vehicle navigation system, the method comprising the steps of: storing a road image corresponding to each direction of the intersection in a map image DB 210 of the navigation system; A second step S200 of turning on the image recognition system 220 and the camera 100 of the navigation system to determine whether the vehicle is an intersection and a third step S200 of obtaining the road image by the camera 100, A fourth step S400 of determining in which direction the intersection has advanced in the intersection, a fifth step S500 of performing a route search in the path departure determination, and a fifth step S500 of determining whether the camera 100 And a sixth step S600 of turning off the vehicle at the intersection using the image recognition system 220.

또한, 도 2는 본 발명의 일실시예에 따른 영상 인식 시스템이 포함된 내비게이션과 카메라의 연동을 나타내는 구성도를 보여준다.2 is a block diagram illustrating a navigation system including an image recognition system and an interworking camera according to an exemplary embodiment of the present invention.

도시와 같이 본 발명의 구성은 상기 차량의 전방 도로 주위를 촬영하기 위하여 상기 차량의 전면부에 설치되는 촬영 장치인 카메라(100)와 내비게이션(200)에 포함되어 있는 교차로의 각 주행 방향에 해당하는 일정 영역의 도로 영상을 저장하는 지도 영상 DB(210)와 상기 카메라(100)의 획득 영상과 상기 지도 영상 DB(210)의 영상 정보를 실시간 비교 및 매칭하여 영상 인식을 수행하는 장치인 영상 인식 시스템(220)을 포함하여 구성되어진다.As shown in the drawing, the configuration of the present invention includes a camera 100, which is a photographing device installed in a front portion of the vehicle, for photographing the vicinity of the front road of the vehicle, and a camera 100 that corresponds to each running direction of an intersection included in the navigation system 200 An image recognition system which is a device for performing image recognition by real-time comparing and matching the image information of the acquired image of the camera 100 and the image information of the map image DB 210, (220).

이를 자세히 설명하면 다음과 같다.This is explained in detail as follows.

상기 제1단계(S100)는 상기 교차로의 각 주행 방향에 해당하는 일정 영역의 도로 영상을 상기 내비게이션의 지도 영상 DB(210)에 저장하는 단계이다.The first step S100 is a step of storing a road image in a certain area corresponding to each running direction of the intersection in the map image DB 210 of the navigation.

상기 교차로의 각 주행 방향에 해당하는 일정 영역의 도로 영상이란 예를 들어 4방향 교차로에 있어서는 상기 교차로의 진입 전 경로 영상, 상기 교차로 직진 후의 경로 영상, 상기 교차로 좌회전 후 경로 영상 및 상기 교차로 우회전 후 경로 영상중의 어느 하나 이상의 방향에 해당하는 일정 영역의 도로 영상을 의미한다. For example, in a four-direction intersection, a road image of a certain area corresponding to each running direction of the intersection is a path image before the intersection, a path image after the intersection straight ahead, a path image after the intersection left turn, Means a road image in a certain area corresponding to at least one direction of the image.

이때 상기 도로 영상은 지도 제공 업체에서 거리뷰, 로드뷰 또는 스트리트뷰라는 명칭으로 제공하는 도로 상의 실제 영상 데이터로서, 상기 내비게이션은 상기 도로 영상에서 상기 교차로 주위의 일정 영역에 한하여 상기 영상 데이터를 상기 지도 제공 업체로부터 제공받아 상기 지도 영상 DB(210)에 저장하게 되는 것이다.Here, the road image is real image data on the road provided by a map provider under the name of a map review, a road view, or a street view, and the navigation may map the image data only to a certain area around the intersection in the road image, And is stored in the map image database 210 by the provider.

그리고 상기 교차로의 각 주행 방향에 해당하는 일정 영역의 도로 영상을 상기 지도 제공 업체로부터 제공받아 저장하게 되는 것은 차량의 목적지 설정 시, 상기 내비게이션이 목적지 경로를 설정할 때 상기 목적지까지의 경로 내에서 존재하는 교차로에 대하여 일정 영역의 도로 영상을 제공받을 수 있는 것이다.The road image of a certain area corresponding to each driving direction of the intersection is provided and stored from the map provider when the destination of the vehicle is set and when the navigation sets the destination route, It is possible to receive a road image of a certain area with respect to an intersection.

이후 차량의 주행 시, 상기 제2단계(S200)는 상기 내비게이션이 상기 교차로 진입을 상기 내비게이션의 현 위치정보에 의하여 인지하고 상기 내비게이션의 영상 인식 시스템(220)과 카메라(100)를 ON하는 단계이다.In the next step S200, the navigation recognizes the entry of the intersection by the present position information of the navigation system and turns on the image recognition system 220 and the camera 100 of the navigation system .

그리고 상기 영상 인식 시스템(220)과 카메라(100)가 ON 되어지는 시점은 상기 내비게이션이 상기 교차로에 대한 정보 안내를 제공하는 시점 또는 상기 교차로가 예상되는 일정 거리 전 중의 어느 한 지점에서 상기 영상 인식 시스템(220)과 카메라(100)가 ON 되는 것을 의미한다.The point of time when the image recognition system 220 and the camera 100 are turned on may be determined based on a time at which the navigation provides information guidance for the intersection or a predetermined distance before the intersection is expected. (220) and the camera (100) are turned on.

여기서 상기 교차로가 예상되는 일정 거리 전 중의 어느 한 지점이란 상기 내비게이션이 상기 교차로에 대한 정보 안내 시점부터 상기 차량의 속도에 의해 계산되어지는 상기 교차로 일정 거리 전 지점 또는 위치가 될 수 있다.Here, any one of the points before the expected distance of the intersection may be a point or a position before the intersection a certain distance calculated by the speed of the vehicle from the information guidance time of the intersection.

또한, 상기 제2단계(S200)에서는 상기 내비게이션이 상기 교차로에 대한 정보 안내 시점 또는 상기 교차로가 예상되는 일정 거리 전 중의 어느 한 지점에서 상기 내비게이션의 지도 영상 DB(210)에 저장되어진 상기 교차로의 각 주행 방향에 해당하는 일정 영역의 도로 영상데이터를 상기 영상 인식 시스템(220)이 읽어오게 되는 것이다.Also, in the second step S200, the navigation is stored in the map image DB 210 of the navigation at any one of the information guidance time of the intersection or a predetermined distance before the intersection is anticipated, The image recognition system 220 reads road image data in a certain area corresponding to the driving direction.

상기 제3단계(S300)는 상기 내비게이션이 상기 카메라(100)를 통하여 상기 교차로 진입 방향에 대한 도로 영상을 획득하는 단계이다.The third step S300 is a step in which the navigation obtains a road image for the entering direction of the intersection through the camera 100. [

이때 상기 제3단계(S300)에서 상기 카메라(100)가 획득한 도로 영상과 상기 지도 영상 DB(210)의 교차로의 진입 전 주행 방향의 경로 영상을 상기 영상 인식 시스템(220)에서 매칭 및 비교하여 상기 차량의 교차로 진입 전 현재 위치를 파악할 수 있다.In the third step S300, the road image acquired by the camera 100 and the route image in the traveling direction before entering the intersection of the map image DB 210 are matched and compared in the image recognition system 220 The current position of the vehicle before entering the intersection can be grasped.

상기 매칭 및 비교한다는 것은 상기 카메라(100)에서 획득되어지는 실제 교차로 주변 도로 영상과 상기 지도 영상 DB(210)에는 저장되어 있는 주행 방향의 경로 영상 중에 포함된 시설물, 표지판 또는 랜드마크와 같은 영상 객체에 대한 크기와 방향에 대하여 상기 영상 인식 시스템(220)에서 빠르게 영상 비교를 한다는 것을 의미한다.The matching and comparison means that the actual intersection road image acquired by the camera 100 and the image object such as a facility, a sign, or a landmark included in the path image in the driving direction stored in the map image DB 210 The image recognition system 220 performs a quick image comparison with respect to the size and direction of the image.

상기 제4단계(S400)는 상기 차량이 상기 교차로를 통과한 후 상기 내비게이션이 상기 차량의 진행 방향에 따른 상기 카메라(100)가 획득하는 도로 영상과 상기 지도 영상 DB(210)의 영상을 상기 영상 인식 시스템(220)에서 매칭 및 비교하여 상기 교차로에서 어느 방향으로 진출하였는지를 판단하는 단계이다.In the fourth step S400, after the vehicle passes through the intersection, the navigation device displays the road image acquired by the camera 100 along the traveling direction of the vehicle and the image of the map image DB 210, The recognition system 220 matches and compares and determines which direction the intersection has advanced in.

이때 상기 제4단계(S400)는 상기 카메라(100)가 획득하는 도로 영상과 상기 지도 영상 DB(210)에 저장되어 있는 상기 교차로 직진 후의 경로 영상, 상기 교차로 좌회전 후 경로 영상 및 상기 교차로 우회전 후 경로 영상중의 어느 하나 이상을 상기 영상 인식 시스템(220)에서 매칭 및 비교하여 교차로에서의 주행 경로 이탈을 감지할 수 있다.In the fourth step S400, the road image acquired by the camera 100 and the route image after the intersection straight ahead stored in the map image DB 210, the route image after the intersection left turn, The image recognition system 220 can detect the departure of the driving route at the intersection by matching and comparing at least one of the images.

이후 상기 제5단계(S500)는 상기 제4단계(S400)에 따른 상기 차량의 진출 방향이 상기 내비게이션의 목적지 진출 경로와 불일치하면 상기 내비게이션이 상기 교차로에서 진입한 방향을 기준으로 경로 이탈 판정을 하고 경로 재탐색을 실행하는 단계이다.Then, in the fifth step S500, if the direction of advancement of the vehicle according to the fourth step S400 is inconsistent with the destination advancement route of the navigation, the route departure determination is made based on the direction in which the navigation enters the intersection And a step of performing a route re-search.

상기 제6단계(S600)는 상기 제4단계(S400)에 따른 상기 차량의 진출 방향이 상기 내비게이션의 목적지 진출 경로와 일치하면 상기 영상 인식 시스템(220)과 상기 카메라(100)가 OFF되는 단계이다.The sixth step S600 is a step in which the image recognition system 220 and the camera 100 are turned off if the advance direction of the vehicle according to the fourth step S400 coincides with the destination advance path of the navigation .

도 3은 본 발명의 일실시예에 따른 영상 인식 시스템을 이용한 교차로에서의 주행 경로를 판단하기 위한 경로를 나타내는 예시도이다.3 is a diagram illustrating an example of a path for determining a driving route in an intersection using an image recognition system according to an embodiment of the present invention.

도시와 같이 차량의 진행시에 목적지 안내 경로에 교차로가 존재함을 인지하고, 내비게이션은 상기 교차로에 대한 정보 안내를 제공한다.As shown in the figure, when the car travels, it recognizes that an intersection exists in the destination guide route, and navigation provides information guidance about the intersection.

이때 상기 차량은 상기 내비게이션의 상기 교차로에 대한 정보 안내 시점 또는 상기 정보 안내 이후의 상기 교차로가 예상되는 일정 거리 전 중의 어느 한 지점에서 상기 내비게이션의 지도 영상 DB(210)에 저장되어진 상기 교차로의 각 주행 방향에 해당하는 일정 영역의 도로 영상데이터를 지도 영상 DB(210)에서 상기 영상 인식 시스템(220)이 읽어오고, 상기 카메라(100)가 ON 되어 상기 교차로 진입 방향에 대한 도로 영상을 획득하게 된다.At this time, the vehicle may be displayed at any one of an information guidance point of the intersection of the navigation or a predetermined distance before the intersection after the information guidance, for each running of the intersection stored in the map image DB 210 of the navigation The image recognition system 220 reads the road image data in a certain area corresponding to the direction of the intersection and acquires the road image in the intersection entrance direction.

그리고 상기 영상 인식 시스템(220)은 상기 카메라(100)가 획득하는 도로 영상과 지도 영상 DB(210)에서 읽어 온 상기 교차로의 각 주행 방향에 해당하는 일정 영역의 도로 영상데이터와 비교하여 예정된 목적지 안내 경로와 실제 차량 경로를 판단한다.The image recognition system 220 compares the road image obtained by the camera 100 with the road image data of a certain area corresponding to each running direction of the intersection read from the map image DB 210, Determine the path and the actual vehicle path.

상기 영상 인식 시스템(220)의 판단에 따라 상기 차량의 진출 방향이 상기 내비게이션의 목적지 안내경로와 불일치하면 상기 내비게이션이 상기 교차로에서 진입한 방향을 기준으로 경로 이탈 판정을 하고 경로 재탐색을 실행하거나, 상기 차량의 진출 방향이 상기 내비게이션의 목적지 안내 경로와 일치하면 상기 영상 인식 시스템(220)과 상기 카메라(100)를 OFF하게 되는 것이다.If the direction of advance of the vehicle is inconsistent with the destination guidance route of the navigation according to the determination of the image recognition system 220, the navigation system performs a route departure determination based on the direction in which the navigation enters the intersection, The image recognition system 220 and the camera 100 are turned off when the advance direction of the vehicle matches the destination guide route of the navigation.

이상과 같이 본 발명은 차량이 교차로를 진출입할 시에 상기 차량이 상기 교차로에서 주행경로를 이탈 했을 때 GPS가 부정확하거나 재 수신되지 않더라도 카메라(100)의 영상 획득과 저장되어 있는 영상 데이터를 이용하여 경로이탈을 감지하고 경로를 빠르게 재탐색할 수 있도록 하는 영상 인식 시스템(220)을 이용한 교차로에서의 주행 경로 이탈 및 재탐색을 제공할 수 있는 것이다.As described above, according to the present invention, even if the GPS is inaccurate or not re-received when the vehicle leaves the driving route at the intersection when the vehicle enters and leaves the intersection, the image data of the camera 100 and stored image data are used It is possible to provide departure and re-search of a driving route at an intersection using an image recognition system 220 that detects a departure from the route and enables quick re-searching of the route.

본 발명은 이상에서 살펴본 바와 같이 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation, Various changes and modifications will be possible.

100 : 카메라 200 : 내비게이션
210 : 지도 영상 DB 220 : 영상 인식 시스템100: camera 200: navigation
210: map image DB 220: image recognition system

Claims (7)

차량용 내비게이션의 교차로 진출입 시 주행 경로 이탈 및 재탐색 방법에 있어서,
상기 교차로의 각 주행 방향에 해당하는 일정 영역의 도로 영상을 상기 내비게이션의 지도 영상 DB에 저장하는 제1단계,
상기 내비게이션이 상기 교차로를 인지하고 상기 내비게이션의 영상 인식 시스템과 카메라를 ON하는 제2단계,
상기 내비게이션이 상기 카메라를 통하여 상기 교차로 진입 방향에 대한 도로 영상을 획득하는 제3단계,
상기 차량이 상기 교차로를 통과한 후 상기 내비게이션이 상기 차량의 진행 방향에 따른 상기 카메라가 획득하는 도로 영상과 상기 지도 영상 DB의 영상을 상기 영상 인식 시스템에서 매칭 및 비교하여 상기 교차로에서 어느 방향으로 진출하였는지를 판단하는 제4단계 및
상기 제4단계에 따른 상기 차량의 진출 방향이 상기 내비게이션의 목적지 안내경로와 불일치하면 상기 내비게이션이 상기 교차로에서 진입한 방향을 기준으로 경로 이탈 판정을 하고 경로 재탐색을 실행하는 제5단계로 이루어지는 것을 특징으로 하는 영상 인식 시스템을 이용한 교차로에서의 주행 경로 이탈 및 재탐색 방법.

A navigation method of a vehicle navigation system,
A first step of storing a road image of a certain area corresponding to each running direction of the intersection in a map image DB of the navigation,
A second step of the navigation recognizing the intersection and turning on the image recognition system and the camera of the navigation,
A third step for the navigation to obtain a road image for the intersection entry direction through the camera,
Wherein the navigation system is adapted to match and compare the road image acquired by the camera along the traveling direction of the vehicle with the image of the map image DB in the image recognition system after the vehicle passes through the intersection, A fourth step of judging whether or not
And a fifth step of performing a route departure determination based on the direction in which the navigation enters the intersection when the advance direction of the vehicle according to the fourth step is inconsistent with the destination guidance route of the navigation, A method of departure and re - search of a driving route at an intersection using a feature recognition system.

제1 항에 있어서,
상기 제2단계는 상기 내비게이션이 상기 교차로에 대한 정보 안내 시점 또는 상기 교차로가 예상되는 일정 거리 전 중의 어느 한 지점에서 상기 카메라가 ON 되는 것을 특징으로 하는 영상 인식 시스템을 이용한 교차로에서의 주행 경로 이탈 및 재탐색 방법.
The method according to claim 1,
Wherein the camera is turned on at any one of an information guidance time of the intersection or a predetermined distance before the intersection is anticipated in the second step. Re-search method.
제2 항에 있어서,
상기 교차로가 예상되는 일정 거리 전 중의 어느 한 지점은 상기 내비게이션이 상기 교차로에 대한 정보 안내 시점부터 상기 차량의 속도에 의해 계산되어지는 상기 교차로 일정 거리 전 지점인 것을 특징으로 하는 영상 인식 시스템을 이용한 교차로에서의 주행 경로 이탈 및 재탐색 방법.
3. The method of claim 2,
Characterized in that the point of time before the expected distance of the intersection is a point before the predetermined distance from the intersection calculated by the speed of the vehicle from the point of time when the navigation is informed about the intersection, A method of departure and re - search of a driving route in a vehicle.
제1 항에 있어서,
상기 제2단계는 상기 내비게이션이 상기 교차로에 대한 정보 안내 시점 또는 상기 교차로가 예상되는 일정 거리 전 중의 어느 한 지점에서 상기 내비게이션의 지도 영상 DB에 저장되어진 상기 교차로의 각 주행 방향에 해당하는 일정 영역의 도로 영상데이터를 상기 영상 인식 시스템이 읽어오는 것을 특징으로 하는 영상 인식 시스템을 이용한 교차로에서의 주행 경로 이탈 및 재탐색 방법.
The method according to claim 1,
The second step may be a step of determining whether or not the navigation is a predetermined region corresponding to each traveling direction of the intersection stored in the map image DB of the navigation at any one of the information guidance time of the intersection or a predetermined distance before the intersection is expected And the road image data is read by the image recognition system.
제1 항에 있어서,
상기 제3단계는 상기 카메라가 ON되어 획득한 도로 영상과 상기 지도 영상 DB의 교차로의 진입 전 주행 방향의 영상을 상기 영상 인식 시스템에서 매칭 및 비교하여 상기 차량의 현재 위치를 파악하는 것을 더 포함하는 것을 특징으로 하는 영상 인식 시스템을 이용한 교차로에서의 주행 경로 이탈 및 재탐색 방법.
The method according to claim 1,
The third step further includes checking the current position of the vehicle by matching and comparing the road image acquired by turning on the camera and the image of the driving direction before entering the intersection of the map image DB in the image recognition system A method of departure and re-search of a traveling path at an intersection using an image recognition system.
제1 항에 있어서,
상기 제4단계는 상기 카메라가 획득하는 도로 영상과 상기 지도 영상 DB에 저장되어 있는 상기 교차로의 직진 후의 경로 영상, 좌회전 후 경로 영상 및 우회전 후 경로 영상중의 어느 하나 이상의 방향에 해당하는 일정 영역의 도로 영상데이터를 상기 영상 인식 시스템에서 매칭 및 비교하는 것을 특징으로 하는 영상 인식 시스템을 이용한 교차로에서의 주행 경로 이탈 및 재탐색 방법.
The method according to claim 1,
The fourth step may include the step of determining whether the road image acquired by the camera and the road image obtained after the rectilinear path of the intersection stored in the map image DB, the path image after the left turn and the path image after the right turn, And the road image data is matched and compared in the image recognition system.
제1 항에 있어서,
상기 제4단계에 따른 상기 차량의 진출 방향이 상기 내비게이션의 목적지 안내 경로와 일치하면 상기 영상 인식 시스템과 상기 카메라가 OFF되는 제6단계를 더 포함하여 이루어지는 것을 특징으로 하는 영상 인식 시스템을 이용한 교차로에서의 주행 경로 이탈 및 재탐색 방법.The method according to claim 1,
Further comprising a sixth step of turning off the image recognition system and the camera if the advancing direction of the vehicle according to the fourth step coincides with the destination guide path of the navigation. A method of departure and re - search of a driving route.
KR1020150168893A 2015-11-30 2015-11-30 Driving Route at The Intersection of Leaving and Re-search Method using Image Recognition System KR102464587B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150168893A KR102464587B1 (en) 2015-11-30 2015-11-30 Driving Route at The Intersection of Leaving and Re-search Method using Image Recognition System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150168893A KR102464587B1 (en) 2015-11-30 2015-11-30 Driving Route at The Intersection of Leaving and Re-search Method using Image Recognition System

Publications (2)

Publication Number Publication Date
KR20170064093A true KR20170064093A (en) 2017-06-09
KR102464587B1 KR102464587B1 (en) 2022-11-08

Family

ID=59220141

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150168893A KR102464587B1 (en) 2015-11-30 2015-11-30 Driving Route at The Intersection of Leaving and Re-search Method using Image Recognition System

Country Status (1)

Country Link
KR (1) KR102464587B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108151759A (en) * 2017-10-31 2018-06-12 捷开通讯(深圳)有限公司 A kind of air navigation aid, intelligent terminal and navigation server
CN110530385A (en) * 2019-08-21 2019-12-03 西安华运天成通讯科技有限公司 City navigation method and its system based on image recognition
CN112800153A (en) * 2019-11-14 2021-05-14 百度在线网络技术（北京）有限公司 Method, device and equipment for mining isolation zone information and computer storage medium
EP4145393A1 (en) * 2018-03-14 2023-03-08 Five AI Limited Vehicle localization
CN116972870A (en) * 2023-09-21 2023-10-31 南京遇简信息科技有限公司 Road navigation enhancement method, system and medium based on computer image recognition

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100224326B1 (en) * 1995-12-26 1999-10-15 모리 하루오 Car navigation system
KR20120067479A (en) * 2010-12-16 2012-06-26 에스케이플래닛 주식회사 Navigation system using picture and method of cotnrolling the same
KR20130021137A (en) * 2011-08-22 2013-03-05 현대모비스 주식회사 Apparatus and method controlling front camera based on map

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100224326B1 (en) * 1995-12-26 1999-10-15 모리 하루오 Car navigation system
KR20120067479A (en) * 2010-12-16 2012-06-26 에스케이플래닛 주식회사 Navigation system using picture and method of cotnrolling the same
KR20130021137A (en) * 2011-08-22 2013-03-05 현대모비스 주식회사 Apparatus and method controlling front camera based on map

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108151759A (en) * 2017-10-31 2018-06-12 捷开通讯(深圳)有限公司 A kind of air navigation aid, intelligent terminal and navigation server
CN108151759B (en) * 2017-10-31 2022-02-11 捷开通讯(深圳)有限公司 Navigation method, intelligent terminal and navigation server
EP4145393A1 (en) * 2018-03-14 2023-03-08 Five AI Limited Vehicle localization
CN110530385A (en) * 2019-08-21 2019-12-03 西安华运天成通讯科技有限公司 City navigation method and its system based on image recognition
CN112800153A (en) * 2019-11-14 2021-05-14 百度在线网络技术（北京）有限公司 Method, device and equipment for mining isolation zone information and computer storage medium
CN112800153B (en) * 2019-11-14 2023-10-31 百度在线网络技术（北京）有限公司 Isolation belt information mining method, device, equipment and computer storage medium
CN116972870A (en) * 2023-09-21 2023-10-31 南京遇简信息科技有限公司 Road navigation enhancement method, system and medium based on computer image recognition
CN116972870B (en) * 2023-09-21 2023-12-15 南京遇简信息科技有限公司 Road navigation enhancement method, system and medium based on computer image recognition

Also Published As

Publication number Publication date
KR102464587B1 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
JP6491929B2 (en) Automatic driving support system, automatic driving support method, and computer program
JP6559453B2 (en) Automatic driving support system, automatic driving support method, and computer program
JP4980118B2 (en) Car navigation system
WO2017154674A1 (en) Automatic operation assistance device and computer program
JP4088336B2 (en) Destination prediction apparatus and destination prediction method
US9568327B2 (en) Navigation system for determining route change of vehicle
KR101998041B1 (en) Path guide device and path guide method
KR20170064093A (en) Driving Route at The Intersection of Leaving and Re-search Method using Image Recognition System
US8145425B2 (en) Navigation device and navigation method
KR970002798A (en) Automotive Navigation Device
RU2743519C1 (en) Driving assistance method and related device
US20160123747A1 (en) Drive assist system, method, and program
KR20170124816A (en) Apparatus and Method for deciding Course allowed for Vehicular driving Situation
JP5811666B2 (en) Stop line detection system, stop line detection device, stop line detection method, and computer program
US10152887B2 (en) Route searching device and route searching method
JP2017106862A (en) Movement guide system, movement guide method and computer program
KR102496819B1 (en) Method, apparatus and system for guiding route
KR102523103B1 (en) Device for guiding a driving route of the vehicle considering the environment of a narrow road link and method thereof
KR20160049695A (en) Method for map matching of vehicle and apparatus thereof
KR101780282B1 (en) navigation Route departure prevention system and method thereof
JP2007192584A (en) Navigation device
JP5691915B2 (en) Movement guidance system, movement guidance apparatus, movement guidance method, and computer program
JP5803489B2 (en) Movement guidance system, movement guidance apparatus, movement guidance method, and computer program
JP5810721B2 (en) Movement guidance system, movement guidance apparatus, movement guidance method, and computer program
KR102599263B1 (en) Apparatus, method and system for guiding route

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant