KR101241171B1 - 영상센서를 이용한 ｇｐｓ 위치정보 보정방법 - Google Patents

Abstract

본 발명은 GPS 수신 불능구간에서 영상센서에 의한 영상정보를 통해 경로를 설정하여 자차의 위치를 정확하게 제공하도록 한 것으로, 주행차량에 장착된 영상센서를 통해 주행 중 촬영된 영상으로 영상 내 구조물의 특징점을 분류하는 특징점 분류단계; 분류된 구조물의 특징점을 통해 주행차량의 이동정보를 연산하는 이동정보 연산단계; 주행경로에 이동정보를 적용하여 경로를 생성하는 경로 생성단계;를 포함하는 영상센서를 이용한 경로 보정방법이 소개된다.

Description

영상센서를 이용한 ＧＰＳ 위치정보 보정방법{Method for Correcting GPS Position Information by image sensor}

본 발명은 GPS 수신 불능구간에서 영상센서에 의한 영상정보를 통해 경로를 설정하여 운전자에게 자차의 위치를 정확하게 제공할 수 있도록 한 영상센서를 이용한 GPS 위치정보 보정방법에 관한 것이다.

지도를 저장매체에 담아 컴퓨터와 같은 단말기수단을 이용하여 사용자들이 쉽게 지도를 표시하여 살펴볼 수 있도록 하는 지리정보시스템(GIS ; Geographic Information System)을 시작으로, 근래에 이르러서는 인공위성을 이용하는 범용지구측위시스템(GPS ; Global Positioning System) 정보를 이용하여 자신의 위치를 검출, 확인하고, 이의 위치로부터 원하는 위치까지의 거리 및 최단거리 루트(route)를 쉽게 찾아 볼 수 있도록 하는 네비게이션 시스템의 기술이 급속도록 발전하고 상용화되어 많은 부가적인 서비스가 가능하게 되었다.

GPS 위성에서 송신된 신호를 수신 처리하기 위하여 GPS 수신기를 사용하게 되는데, 이러한 GPS(Global Positioning System) 수신기는 위성으로부터 발사한 무선신호를 수신받아 그 수신기가 현재 위치한 지리적 좌표를 측정할 수 있게 하는 것으로서, 최근 항공운항, 측량, 군사적 응용뿐만 아니라 레저, 차량항법(Car Navigation) 시스템, 도로교통정보 표시기 등 현재 가장 광범위하게 사용되고 있다.

그 원리는 최소 3개 이상의 위성으로부터 발사된 전파신호를 지상의 GPS 수 신기가 수신하여 각각의 위성으로부터 수신된 전파의 시간차를 계산하여 현재의 위치를 판별하는 것으로서, 상용제품의 경우 최대 오차 100미터 이내, 통상 30미터 이내의 좌표오차를 갖는다.

그러나 GPS 수신기는 인공위성으로부터 전파를 수신하여 위치를 파악하므로, 위성신호가 약하거나 수신을 할 수 없는 경우에는 정확한 위치파악이 곤란한 문제점이 있다. 즉, 차량이 터널 내부를 운행하는 동안이나, 도심협곡(고층건물이 밀집된 지역이나 좁은 도로주위로 빌딩이 밀집되어 있는 지역을 지나가는 동안에는 위성신호의 수신이 차단 또는 충분히 찾을 수 없는 경우가 생길 수 있고, 이로 인하여 운전자가 정확한 위치정보 안내를 받을 수 없거나 매우 부정확하게 되는 문제점이 있다.

이러한 단점을 해결하기 위하여 차량항법 장치 내부에 자이로 센서 등을 설치하여 차량의 운동방향과 속도를 연속적으로 측정하고, 위성신호가 차단되는 순간에 속도와 운동방향을 연산하여 위성신호가 수신되지 않는 동안에도 위치안내를 할 수 있도록 하는 기술이 제공되고 있다.

그러나 이러한 종래기술에 따르면, GPS 수신값을 기본값으로 한 상태에서 자이로 센서를 통해 이후 변화량을 측정한 후 그 변화량을 적분하여 도출하기 때문에 일시적인 위치보정시에는 적절한 성능을 내지만 오차가 누적됨으로 인해 지속적으로 위치를 추정하는 데는 어려움에 있음은 물론 정확한 경로를 제공하지 못하는 문제점이 있었다. 더욱이 저속시에 차량의 진동이나 약간의 흔들림에도 오차가 발생됨으로 인해 누적오차를 줄일 수 있는 별도의 센서를 사용하여야 되는 문제점이 있었다.

또한, GPS 수신기와 별개로 설치되는 차량항법장치 내부에 자이로 센서 등이 구비되므로, 자이로 센서 등이 없는 차량항법장치를 가진 차량은 위치보정 시스템을 사용하려면 차량항법장치 전체를 교체하여야 하는 문제점이 있었다.

상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.

본 발명은 이러한 문제점을 해결하기 위하여 제안된 것으로, GPS 수신불능 구간에서 영상센서에 의한 경로설정을 통해 현재 위치가 잘못 계산되는 것을 보정함으로써 운전자에게 자차의 위치를 정확하게 제공할 수 있도록 한 영상센서를 이용한 GPS 위치정보 보정방법을 제공하는 데 그 목적이 있다.

또한, GPS 수신구간에서도 GPS 위치정보와 영상센서에 의한 정보를 결합함으로써 GPS 기반의 조밀한 경로설정이 가능하여 자차의 위치를 정확하게 파악할 수 있는 영상센서를 이용한 GPS 위치정보 보정방법을 제공하는 데 그 목적이 있다.

상기의 목적을 달성하기 위한 본 발명에 따른 영상센서를 이용한 GPS 위치정보 보정방법은 주행차량에 장착된 영상센서를 통해 주행 중 촬영된 영상으로 영상 내 구조물의 특징점을 분류하는 특징점 분류단계; 분류된 구조물의 특징점을 통해 주행차량의 이동정보를 연산하는 이동정보 연산단계; 주행경로에 이동정보를 적용하여 경로를 생성하는 경로 생성단계;를 포함한다.

상기 특징점 분류단계는, 차량의 전방측 영상센서와 후방측 영상센서에서 촬영한 영상의 특징점을 매칭시키는 제1매칭단계와, 차량의 전방측 영상센서에서 촬영한 현재 영상과 이전 영상의 특징점을 매칭시켜 분류하는 제2매칭단계와, 제1매칭단계와 제2매칭단계를 통해 영상의 특징점을 분류하는 분류단계를 포함하도록 할 수 있다.

상기 제1매칭단계는 스테레오 카메라 기법을 통해 주행차량에서 영상 내 구조물까지의 거리정보를 계산하도록 하고, 상기 제1매칭단계는 차량의 전방측 영상센서에서 촬영한 영상과 차량의 후방측 영상센서에서 촬영한 영상에서 구조물의 특징점을 각각 검출하는 후방영상검출단계와, 전방영상과 후방영상에서 검출된 특징점을 서로 매칭시키는 특징점 매칭단계와, 매칭에 따른 불일치여부를 통해 거리값을 계산하는 거리값 계산단계를 포함할 수 있다.

상기 제2매칭단계는 주행차량의 이동방향 정보를 계산하도록 하고, 상기 제2매칭단계는 차량의 전방측 영상센서에서 촬영한 현재 영상과 이전 영상에서 특징점을 각각 검출하는 이전영상검출단계와, 현재 영상과 이전 영상에서 검출된 특징점을 서로 매칭시키는 영상매칭단계를 포함할 수 있다.

상기 이동정보 연산단계는, 분류된 특징점들을 통해 호모그래피(Homography)를 계산하는 호모그래피계산단계와, 계산된 호모그래피를 실제 거리로 환산하여 주행차량의 실제 이동거리 및 이동방향을 계산하는 이동량 계산단계를 포함할 수 있고, 상기 호모그래피계산단계 전에 분류된 특징점들에서 란삭(ransac)을 통해 아웃라이어(outlier)를 제거하는 란삭단계를 거치도록 할 수 있다.

상기 경로 생성단계를 통해 생성된 경로는 GPS 수신 불능구간에서 GPS 수신불능 이전 GPS값을 기본값으로 하여 주행차량의 위치를 보정하도록 할 수 있고, 또한 GPS 수신구간에서 GPS 신호주기보다 조밀하게 차량의 위치를 추정하여 GPS 수신값 사이에서 주행차량 위치를 보정하도록 할 수 있다.

상술한 바와 같은 방법으로 이루어진 영상센서를 이용한 GPS 위치정보 보정방법에 따르면, 첫째 GPS 수신 불능구간(음영지역)에서 영상센서에 의한 경로설정을 통해 자차의 위치를 정확하게 파악할 수 있고, 둘째 영상센서의 신호주기가 GPS신호주기에 비해 빠름으로 인해 보다 조밀하게 차량의 위치를 추정할 수 있으며, 셋째 기존 차량에 장착되어 있는 카메라시스템을 영상센서로 활용할 수 있어 추가로 장착하지 않아도 되고, 넷째 스마트장치와 차량간 또는 인프라와 차량간의 차량 제어시스템에서 연속적으로 정확하게 자차의 위치를 제공할 수 있는 효과가 있다.

도 1은 도심지역에서 GPS 신호를 통한 차량의 위치 검출에 따른 오차발생예를 보인 이미지,
도 2는 본 발명에 따른 영상센서를 이용한 GPS 경로 보정을 위한 개략적인 흐름도,
도 3은 본 발명에 따른 스테레오 카메라 기법을 통해 촬영된 영상 내 구조물의 특징점을 보인 이미지,
도 4는 본 발명의 일 실시예에 따른 영상센서를 이용한 GPS 위치정보 보정방법의 순서도.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 따른 영상센서를 이용한 GPS 위치정보 보정방법에 대하여 살펴본다.

도 1은 도심지역에서 GPS 신호를 통한 차량의 위치 검출에 따른 오차발생예를 보인 이미지로서, 직진도로에서 차량을 직진으로 운행하면서 GPS 신호로 얻은 차량의 위치를 보인 것이며, 도심지역과 같이 건물 밀집지역에서는 위성신호의 음영지역이 발생하게 되어 차량의 위치가 부정확함을 알 수 있다.

물론 이외에도 GPS위성과 GPS수신기의 시간차이로 인한 오차, 수신기의 중심변동으로 인한 오차 및 수신기의 노이즈에 의한 오차가 발생할 수 있다.

이를 위해, 본 발명에서는 GPS에서 측정한 위치자료에 대해 차량의 위치를 보정함으로써 오차를 줄여 현재 위치를 정확하게 파악하도록 하기 위하여 영상센서를 이용하여 차량의 이동방향 및 이동거리를 계산함으로써 GPS 위치를 보정하도록 하고 있다.

본 발명의 일 실시예에 따른 영상센서를 이용한 GPS 위치정보 보정방법은 도 2에 도시된 바와 같이, 주행차량에 장착된 영상센서를 통해 주행 중 촬영된 영상을 통해 영상 내 구조물의 특징점을 분류한 후 그 특징점으로 주행차량의 이동량을 계산하여 경로를 생성하게 되는 것으로, 영상센서를 통해 촬영된 영상으로 영상 내 구조물의 특징점을 분류하는 특징점 분류단계(S100)와, 분류된 구조물의 특징점을 통해 주행차량의 이동정보를 연산하는 이동정보 연산단계(S200)와, 주행경로에 이동정보를 적용하여 경로를 생성하는 경로 생성단계(S300)를 포함한다.

상기 특징점 분류단계(S100)에서는 주행차량과 영상 내 구조물과의 거리정보에 따른 주행차량의 이동거리와 이동방향을 계산하기 위한 단계로서, 두개의 영상센서를 이용하여 이동거리를 계산하고, 그 중 하나의 영상센서로 차량의 이동방향을 계산하여 특징점을 분류하게 된다.

구체적으로, 상기 특징점 분류단계는 스테레오 카메라 기법을 이용하여 차량의 전방측 영상센서와 후방측 영상센서에서 촬영한 영상의 특징점을 매칭시키는 제1매칭단계(S110)와, 차량의 전방측 영상센서에서 촬영한 현재 영상과 이전 영상의 특징점을 매칭시켜 분류하는 제2매칭단계(S120)와, 제1매칭단계와 제2매칭단계를 통해 영상의 특징점을 분류하는 분류단계(S130)를 포함하게 되고, 상기 제1매칭단계(S110)에서는 위와 같이 스테레오 카메라 기법을 이용하여 주행차량에서 영상 내 구조물까지의 거리정보를 계산하게 되며, 상기 제2매칭단계(S120)에서는 차량 전방에 장착된 영상센서를 통해 주행차량의 이동방향 정보를 계산하게 된다.

상기 제1매칭단계에 사용되는 영상센서는 주행차량의 전방과 후방에 각각 하나씩 장착되고, 서로 평행하게 설치되어 진다. 상기 영상센서는 차량에 별도로 장착하거나 기존의 차량에 장착되어 있는 카메라시스템의 기하학적인 관계를 찾아내어 이를 영상센서로 활용할 수도 있다.

상기 제1매칭단계의 구체적인 과정을 보면, 차량의 전방측 영상센서에서 촬영한 영상과 차량의 후방측 영상센서에서 촬영한 영상에서 구조물의 특징점을 검출하는 영상검출단계(S112)와, 전방영상과 후방영상에서 검출된 특징점을 서로 매칭시키는 특징점 매칭단계(S114)와, 매칭에 따른 불일치여부를 통해 거리값을 계산하는 거리값 계산단계(S116)를 포함하게 되고, 제1매칭단계를 통해 상기 거리값 계산단계를 통해 차량에서부터 영상 내 구조물까지의 거리정보를 획득할 수 있는 것이다.

또한, 상기 제2매칭단계의 구체적인 과정을 보면, 차량의 전방측 영상센서에서 촬영한 현재 영상과 이전 영상에서 특징점을 각각 검출하는 영상검출단계(S122)와, 현재 영상과 이전 영상에서 검출된 특징점을 서로 매칭시키는 특징점 매칭단계(S124)를 포함하게 되고, 제2매칭단계를 통해 주행 중 일정 시간 간격으로 촬영된 영상을 매칭시킴으로써 차량의 이동방향 정보를 획득할 수 있는 것이다.

위에서와 같이, 두 대의 영상센서에서 얻어지는 영상 즉, 차량 전방측 영상센서에서 촬영한 영상과 차량 후방측 영상센서에서 촬영한 영상에서 FAST특징점을 구하여 영상 내에 코너나 에지 좌표를 검출하게 되고, 각 특징점 좌표에서 지역적이고 스케일(scale)이나 회전(rotation) 등에 불변(invariant)한 성질을 이용하기 위하여 SURF(speeded up robust feature)특징 서술을 구하여 각 특징점 좌표마다 서술벡터를 계산하며, 각 영상의 변화량을 계산하기 위해 특징점을 매칭하게 되는데, 이 경우 차량의 이동에 의해 영상내의 구조물이 이동하였으나 동일한 좌표를 매칭할 수 있도록 K-NN(Nearest Neighbor)방법으로 매칭하면 된다.

도 3은 본 발명에 따른 스테레오 카메라 기법을 통해 촬영된 영상 내 구조물의 특징점을 보인 이미지로서, (a)에서와 같이 두 대의 영상센서에서 촬영한 영상에서 FAST특징점을 구하여 영상 내에 코너나 에지 좌표를 검출할 수 있고, (b)에서와 같이 (a)에 비해 더 강건한 결과를 얻기 위해 (a)의 특징점 좌표들에서 후술되는 란삭단계를 거쳐 아웃라이어 좌표들을 제거할 수 있다.

상기 이동정보 연산단계에서는 영상 내의 분류된 특징점들을 통해 호모그래피(Homography)를 계산하는 호모그래피계산단계(S220)와, 계산된 호모그래피를 실제 거리로 환산하여 주행차량의 실제 이동거리 및 이동방향을 계산하는 이동량 계산단계(S230)를 포함한다. 이때, 상기 호모그래피계산단계를 거치기 전에는 분류된 특징점들에서 란삭(ransac)을 통해 아웃라이어(outlier)를 제거하는 란삭단계(S210)를 거칠 수 있다.

이와 같은 본 발명의 GPS 위치를 보정하기 위해 영상센서를 이용하여 생성되는 경로는 GPS 수신 불능구간에서 GPS 수신불능 이전 GPS값을 기본값으로 하여 주행차량의 위치를 보정하도록 할 수 있고, 또한 GPS 수신구간에서도 GPS 신호주기보다 조밀하게 차량의 위치를 추정하도록 하여 GPS 수신값 사이에서 주행차량 위치를 보정하도록 할 수 있다.

이와 같이, 영상센서를 통해 차량의 이동방향과 이동거리를 연속적으로 측정하고, GPS 위성신호가 차단되는 순간 또는 GPS 위성신호가 수신되는 구간에서 차량의 이동량(이동방향, 이동거리)을 연산하여 차량의 위치안내를 정확하게 할 수 있는 것이다.

도 4는 본 발명의 일 실시예에 따른 영상센서를 이용한 GPS 위치정보 보정방법의 순서도로서, 주행차량의 이동거리를 계산하기 위해 스테레오 카메라 기법을 이용하기 위해 차량의 전방측 영상센서에서 촬영한 영상에서 구조물의 특징점을 검출하고, 차량의 후방측 영상센서에서 촬영한 영상에서 구조물의 특징점을 검출하는 영상검출단계(S112)를 수행한 후 전방영상과 후방영상에서 검출된 각 특징점을 서로 매칭시키는 특징점 매칭단계(S114)를 수행하고, 매칭에 따른 불일치여부를 통해 차량에서 영상 내 구조물까지의 거리값을 계산한다(S116).

이 후, 주행차량의 이동방향을 계산하기 위해 차량의 전방측 영상센서에서 촬영한 현재 영상에서 특징점을 검출하고, 이전 영상에서 특징점을 검출하는 영상검출단계(S122)를 수행한 후 현재 영상과 이전 영상에서 검출된 특징점을 서로 매칭시키는 특징점 매칭단계(S124)를 수행하여 차량의 이동방향 정보를 획득한다.

그리고 나서, 영상 내의 분류된 특징점들에서 아웃라이어(outlier)를 제거하는 란삭단계(S210)를 수행한 후 호모그래피(Homography)를 계산(S220)한 다음 실제 거리로 환산하여 주행차량의 이동량(이동거리 및 이동방향)을 계산하고(S230), 이전 GPS 수신위치에서 주행차량의 이동량을 적용하여 경로를 업데이트(S240)하여 GPS 수신 불능구간에서 자차의 위치를 파악하게 되는 것이다.

본 발명은 특정한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당 업계에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.

S100: 특징점 분류단계 S110: 제1매칭단계
S112: 영상검출단계 S114: 특징점 매칭단계
S116: 거리값 계산단계 S120: 제2매칭단계
S122: 영상검출단계 S124: 특징점 매칭단계
S130: 분류단계 S200: 이동량 연산단계
S210: 란삭단계 S220: 호모그래피계산단계
S230: 실제 이동량 계산단계 S300: 경로 생성단계

Claims (10)

1. 주행차량에 장착된 영상센서를 통해 주행 중 촬영된 영상으로 영상 내 구조물의 특징점을 분류하는 특징점 분류단계;
   분류된 구조물의 특징점을 통해 주행차량의 이동정보를 연산하는 이동정보 연산단계;
   주행경로에 이동정보를 적용하여 경로를 생성하는 경로 생성단계;를 포함하여 구성되고,
   상기 특징점 분류단계는, 차량의 전방측 영상센서와 후방측 영상센서에서 촬영한 영상의 특징점을 매칭시키는 제1매칭단계와, 차량의 전방측 영상센서에서 촬영한 현재 영상과 이전 영상의 특징점을 매칭시켜 분류하는 제2매칭단계와, 제1매칭단계와 제2매칭단계를 통해 영상의 특징점을 분류하는 분류단계를 포함하는 것을 특징으로 하는 영상센서를 이용한 GPS 위치정보 보정방법.
2. 삭제
3. 청구항 1에 있어서,
   상기 제1매칭단계는 스테레오 카메라 기법을 통해 주행차량에서 영상 내 구조물까지의 거리정보를 계산하는 것을 특징으로 하는 영상센서를 이용한 GPS 위치정보 보정방법.
4. 청구항 3에 있어서,
   상기 제1매칭단계는, 차량의 전방측 영상센서에서 촬영한 영상과 차량의 후방측 영상센서에서 촬영한 영상에서 구조물의 특징점을 각각 검출하는 영상검출단계와, 전방영상과 후방영상에서 검출된 특징점을 서로 매칭시키는 특징점 매칭단계와, 매칭에 따른 불일치여부를 통해 거리값을 계산하는 거리값 계산단계를 포함하는 것을 특징으로 하는 영상센서를 이용한 GPS 위치정보 보정방법.
5. 청구항 1에 있어서,
   상기 제2매칭단계는 주행차량의 이동방향 정보를 계산하는 것을 특징으로 하는 영상센서를 이용한 GPS 위치정보 보정방법.
6. 청구항 5에 있어서,
   상기 제2매칭단계는, 차량의 전방측 영상센서에서 촬영한 현재 영상과 이전 영상에서 특징점을 각각 검출하는 영상검출단계와, 현재 영상과 이전 영상에서 각각 검출된 특징점을 서로 매칭시키는 특징점 매칭단계를 포함하는 것을 특징으로 하는 영상센서를 이용한 GPS 위치정보 보정방법.
7. 청구항 1에 있어서,
   상기 이동정보 연산단계는, 분류된 특징점들을 통해 호모그래피(Homography)를 계산하는 호모그래피계산단계와, 계산된 호모그래피를 실제 거리로 환산하여 주행차량의 실제 이동거리 및 이동방향을 계산하는 이동량 계산단계를 포함하는 것을 특징으로 하는 영상센서를 이용한 GPS 위치정보 보정방법.
8. 청구항 7에 있어서,
   상기 호모그래피계산단계 전에 분류된 특징점들에서 란삭(ransac)을 통해 아웃라이어(outlier)를 제거하는 란삭단계를 거치는 것을 특징으로 하는 영상센서를 이용한 GPS 위치정보 보정방법.
9. 청구항 1에 있어서,
   상기 경로 생성단계를 통해 생성된 경로는 GPS 수신 불능구간에서 GPS 수신불능 이전 GPS값을 기본값으로 하여 주행차량의 위치를 보정하는 것을 특징으로 하는 영상센서를 이용한 GPS 위치정보 보정방법.
10. 청구항 1에 있어서,
    상기 경로 생성단계를 통해 생성된 경로는 GPS 수신구간에서 GPS 신호주기보다 조밀하게 차량의 위치를 추정하여 GPS 수신값 사이에서 주행차량 위치를 보정하는 것을 특징으로 하는 영상센서를 이용한 GPS 위치정보 보정방법.

Images