KR101402088B1

KR101402088B1 - 위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위방법 및 장치

Info

Publication number: KR101402088B1
Application number: KR1020120124279A
Authority: KR
Inventors: 김남혁; 박지호; 이충희; 임영철; 김종환
Original assignee: 재단법인대구경북과학기술원
Priority date: 2012-11-05
Filing date: 2012-11-05
Publication date: 2014-06-02
Also published as: KR20140057919A

Abstract

위성항법 시스템과 비전 시스템 융합 기술 기반 자동 항법 기술이 개시된다. 본 발명의 일 면에 따른 자기위치 측위장치는 이동체 전방의 영상 획득을 위한 영상 획득부와, GPS(Global Positioning System) 위성으로부터 송신되는 신호를 수신하여 상기 이동체의 위치정보 데이터를 획득하는 위치정보 수신부와, 상기 영상 획득부에서 매 시각(epoch)마다 획득된 영상을 처리하여 객체를 인식하고 인식된 객체와 상기 이동체 사이의 거리를 연산한 비전 데이터를 출력하는 비전 처리부와, 상기 위치정보 수신부와 상기 비전 처리부(30)가 동기화된 데이터를 출력하도록 상기 위치정보 수신부와 상기 비전 처리부 사이의 시간 동기를 수행하는 시간 동기화부를 포함한다. 여기서, 상기 시간 동기화부는 상기 위치정보 수신부의 시간을 기준으로 상기 비전 처리부의 시계를 보정하는 것을 특징으로 한다.

Description

위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위방법 및 장치{Method for estimating location based on technology convergence of satellite navigation system and a vision system}

본 발명은 위성항법 시스템과 비전 시스템 융합 기술 기반 자동 항법 기술에 관한 것이다.

일반적인 항법 시스템에 가정 보편적으로 사용되는 센서는 GPS를 꼽을 수 있다. 위성의 신호를 받아 삼각측량 방식으로 이동 객체의 위치를 추정하는 방식으로, 위성 신호를 받을 수 있는 곳에서는 쉽게 위치를 추정할 수 있다는 장점이 있다. 하지만 위성신호를 받기 힘든 환경(실내 혹은 빌딩 주위)에서는 정확도가 떨어지거나, 심지어는 위치를 추정할 수 없게 된다.

관성 센서를 이용한 관성 시스템은 GPS가 보편화되기 이전부터 개발되어 GPS와 함께 항법 시스템의 주요 시스템의 하나로 계속 사용되는 있는 시스템이다. 초기에는 관성력을 측정하는 관성 센서의 크기와 무게가 작지 않았으며, 센서 축을 항상 일정하게 유지시켜주기 위한 기구부도 필요했으므로 전체적인 크기와 무게가 상당했었다. 하지만 이후 MEMS 기술의 발달로 인해, 반도체 타입의 관성센서들이 개발되었고, 외부 장치의 필요성도 사라져 오늘날 작고 가벼운 관성측정장치(Inertial Measurement Unit)들이 개발되고 있다.

관성 센서를 이용한 관성 항법 시스템(Inertial Navigation System, INS)는 시간의 흐름에 따라 오차가 누적되어 항법을 위해서는 정밀도가 높은 관성측정장치를 사용해야 하나 가격적인 문제로 인해 상업화가 어려운 실정이다.

다양한 작업환경이 아닌 일정한 작업환경에서 사용하기 위해, RFID나 Beacon 등을 이용하기도 하며, 거리를 측정할 수 있는 장비인 초음파나 레이저 거리 측정기를 이용하여 이동 객체의 위치를 측정하기도 하나 새로운 환경에 적용하기 힘든 문제가 있고, 이와 같은 문제를 해결하기 위해 최근 블랙박스 카메라 등과 같은 비전 시스템을 융합한 항법 시스템 개발이 진행되고 있다.

이와 같이 두 개의 시스템을 융합하기 위해서는 시간 동기가 중요하다. 위성항법시스템은 20 Hz까지 데이터의 출력이 가능하나 보통 1초에 한번 데이터를 출력한다. 이에 반해 비전 시스템은 동영상의 프레임에서 객체를 인식하므로 초당 30 프레임 이상의 데이터를 처리하여 출력해야 한다.

위성항법 시스템은 위성에서 보낸 신호가 수신기에 도착할 때까지 시간을 측정하여 위성에서 수신기까지의 거리를 측정하여 위치를 계산한다. 따라서 위성항법 시스템은 매우 정확한 시계를 사용한다. 그러나 비전 시스템은 기본적으로 컴퓨터를 통해 객체를 인식하고 데이터를 저장하므로 컴퓨터의 메인보드 시간이 비전 시스템에 사용된다. 위성항법 시스템과 비전 시스템을 융합하기 위해서는 두 시스템의 시간을 동기화하여야 한다. 또한, 비전 시스템 영상 프레임 중 위성항법 시스템 데이터 출력 시각에 가장 근접한 데이터를 추려내야 두 개의 시스템에서 출력되는 데이터를 융합할 수 있으므로 비전 시스템에서 출력되는 데이터의 필터링이 필요하다.

본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 위성항법 시스템과 비전 시스템의 융합시 발생하는 시간 오차를 해결하여 이동체의 고정밀 측위를 가능하게 하는 방법을 제공하는 것을 목적으로 한다.

본 발명의 다른 목적은 비전 시스템에서 불필요한 데이터를 걸러내고 위성항법 시스템과 시간 동기된 프레임에서 비전 시스템을 작동시켜 데이터 처리 시간을 단축시킬 수 있는 방법을 제공하는 것이다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 목적을 달성하기 위한 본 발명의 일 면에 따른 자기위치 측위장치는 이동체 전방의 영상 획득을 위한 영상 획득부와, GPS(Global Positioning System) 위성으로부터 송신되는 신호를 수신하여 상기 이동체의 위치정보 데이터를 획득하는 위치정보 수신부와, 상기 영상 획득부에서 매 시각(epoch)마다 획득된 영상을 처리하여 객체를 인식하고 인식된 객체와 상기 이동체 사이의 거리를 연산한 비전 데이터를 출력하는 비전 처리부와, 상기 위치정보 수신부와 상기 비전 처리부(30)가 동기화된 데이터를 출력하도록 상기 위치정보 수신부와 상기 비전 처리부 사이의 시간 동기를 수행하는 시간 동기화부를 포함한다. 여기서, 상기 시간 동기화부는 상기 위치정보 수신부의 시간을 기준으로 상기 비전 처리부의 시계를 보정하는 것을 특징으로 한다.

상기 시간 동기화부는 상기 시간 동기화부는 상기 위치정보 수신부 및 상기 비전 처리부의 시간을 모니터링하고, 상기 위치정보 수신부의 시간을 기준으로 상기 위치정보 수신부와 상기 비전 처리부 사이의 시간 차가 기 설정된 임계치 범위 내에 있도록 상기 비전 처리부의 시계를 보정하는 것을 특징으로 한다.

상기 비전 처리부는 상기 영상 획득부에서 초 당 획득한 영상 프레임 중에서 동기된 시간을 기준으로 상기 위치정보 수신부의 데이터 출력 시각에 근접한 일부 영상 프레임을 선별하는 것을 특징으로 한다.

또한, 상기 비전 처리부는 상기 위치정보 수신부의 데이터 출력 시각에 가장 근접한 영상 프레임과 상기 영상 프레임의 전/후 영상 프레임을 선별하고, 선별된 3개의 영상 프레임에 대해서만 객체를 인식하고 인식된 객체와 상기 이동체 사이의 거리를 연산하는 것을 특징으로 한다.

또한, 상기 비전 처리부는 선별된 3개의 영상 프레임에 대한 영상 처리 결과 출력된 3개의 거리 데이터를 평균한 값을 상기 비전 데이터로 출력하는 것을 특징으로 한다.

본 발명의 다른 면에 따른 위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위방법은 상기 위성항법 시스템의 시간과 상기 비전 시스템의 시간을 동기화하는 단계와, 상기 위성항법 시스템의 위치정보 데이터 출력 시간에 맞춰 상기 비전 시스템이 처리해야 하는 영상 프레임을 선택하는 단계와, 선택된 영상 프레임에 대해서만 영상 처리를 수행하여 비전 데이터를 출력하는 단계와, 상기 위치정보 데이터와 상기 비전 데이터를 융합하여 상기 이동체의 위치 정보를 생성하는 단계를 포함한다.

여기서, 상기 시간을 동기화하는 단계는 상기 위성항법 시스템의 시간을 기준으로 상기 위성항법 시스템과 상기 비전 시스템 사이의 시간 차가 기 설정된 임계치 범위 내에 있도록 상기 비전 시스템의의 시계를 보정하는 단계를 포함한다.

상기 선택하는 단계는 상기 위성항법 시스템의 데이터 출력 시각에 가장 근접한 영상 프레임과 상기 영상 프레임의 전/후 영상 프레임을 선택하는 단계를 포함한다.

상기 비전 데이터를 출력하는 단계는 선택된 3개의 영상 프레임에 대해서만 객체를 인식하고 인식된 객체와 상기 이동체 사이의 거리를 연산하고, 상기 3개의 영상 프레임에서 획득된 3개의 거리 데이터를 평균한 값을 출력하는 단계를 포함한다.

한편, 본 발명의 일 면에 따른 위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위방법은 컴퓨터에서 실행시키기 위한 프로그램으로 구현되어 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다.

시간 동기는 측위오차에 가장 큰 영향을 주는 요소라 볼 수 있다. 특히 이동체가 고속으로 움직이는 경우 약간의 시간오차도 측위 결과에 큰 오차를 가져온다. 본 발명은 위성항법 시스템과 비전 시스템의 융합시 가장 큰 문제인 시간 동기화 부분을 해결하여 융합시스템이 고정밀 측위를 가능하게 한다. 특히, 새로운 시간발생 장치가 아닌 GNSS 수신기 시계를 사용하여 시간동기를 하므로 상대적으로 가격 경쟁력이 있다.

또한, 융합을 위한 비전 시스템에서 불필요한 데이터를 걸러내고 위성항법 시스템과 시간 동기된 프레임에서 비전 시스템을 동작시키므로 불필요한 데이터 처리 시간을 단축시킬 수 있는 이점이 있다.

도 1은 본 발명의 일 실시예에 따른 위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위방법이 적용되는 상황을 도시한 상황 설명도.
도 2는 본 발명의 일 실시예에 따른 위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위장치의 블록도.
도 3은 본 발명의 일 실시예에서 비전 시스템에서 출력되는 프레임 중 시간동기된 프레임을 선별하는 출력하는 일 예를 도시한 예시도.
도 4는 본 발명의 다른 실시예에 따른 위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위방법을 도시한 순서도.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위방법이 적용되는 상황을 도시한 상황 설명도이다.

도 1에 도시된 바와 같이 위성항법 시스템은 3차원 위치측위를 하므로 항상 4개 이상의 위성항법시스템으로부터 위치정보 데이터를 수신해야 위치를 계산할 수 있다. 물론 많은 위성항법 시스템으로부터 위치정보 데이터를 수신할 경우 더욱 정확한 위치 계산이 가능하다. 하지만 도심이나 산악 지역에서는 위성항법 시스템으로부터 송신되는 위치정보 데이터가 높은 건물이나 산에 의해 수신기에서 제대로 수신할 수 없는 상황이 빈번히 발생한다. 이러한 경우 정밀도가 떨어지거나 음영지역이 발생하게 된다. 따라서 외부 장애물에 의한 음영지역 발생을 해결하기 위해 여러 매체를 이용하는 기술들이 제안되고 있는데, 본 발명은 위성항법 시스템과 비전 시스템을 결합한 융합 기술 기반 측위 방법을 제안한다.

아래 수학식 1은 정상적인 상황에서 위성항법 시스템으로부터 위치정보 데이터를 수신하는 경우의 측정방정식 결정 과정을 나타낸다. 4개의 위성항법 시스템으로부터 위치정보 데이터를 수신하는 것으로 가정하였다.

[수학식 1]

여기서,

는 의사거리,

는 수신기 위치, CB(Clock Bias)는 시계오차를 나타낸다.

하지만 많은 지역에서 항상 4개 이상의 위성항법 시스템으로부터 위치정보 데이터를 수신 받기는 어렵다. 이런 이유로 경우에 따라서는 4개 이상 또는 4개 이항의 위성항법 시스템으로부터 위치정보 데이터를 받는다. 이동체의 위치 정확도는 위성항법 시스템의 수에 따라 계속 변하게 된다. 이러한 문제점을 해결하기 위하여 비전 시스템과의 융합이 본 발명에서 제안된다.

즉, 위치 측위에 열악한 환경인 도심지역에 특정 건물마다 미리 정확한 위치 데이터 값을 결정해 놓는다. 그리고 카메라가 설치된 이동체는 정확한 위치 데이터 값을 가지고 있는 건물을 비전 시스템을 이용하여 인식한다. 건물을 인식한 이동체는 건물에 이미 정해진 위치 데이터 값을 파악하고, 현재 부족한 위성항법 시스템으로부터 수신 받고 있는 위치정보 데이터와 건물의 위치 데이터 값을 이용하여 자신의 위치를 계산한다. 수신기는 위치 계산에 부족한 위치정보 데이터를 특정 건물을 이용하여 파악한 후 보정값으로 계산하는 것이다.

이동체는 이동하면서 정해진 특정 건물들을 파악하고, 계속 자신의 위치정보 데이터를 계산하고 수정할 수 있다. 이 경우 카메라로 특정 건물을 인식하고 이 특정 건물로부터 위치정보에 필요한 데이터를 파악할 수 있어 위성항법 시스템이 갖고 있는 한계를 비전 시스템과의 융합하여 해결할 수 있다.

수학식 2는 위성항법 시스템이 3개인 경우의 측정방정식이다.

[수학식 2]

여기에 비전 시스템을 이용하여 특정 건물로부터 얻은 정확한 위치데이터 값을 아래 수학식 3과 같은 수식으로 변형할 수 있다.

[수학식 3]

=

여기서,

는 특정 건물의 위치 데이터,

는 건물과 이동체 사이의 거리를 의미한다.

수학식 3은 정확한 위치정보 데이터를 가지고 있는 특정 건물로부터 비전 시스템을 이용하여 얻은 값이므로 어떠한 조건에서도 그 값은 정확하고 변동이 없다는 장점을 가지고 있다. 정상적인 환경에서 위성항법 시스템으로부터 항법정보 데이터를 수신 받기 어려운 경우에 위성항법 시스템과 비전 시스템을 이용하여 수학식 2 및 수학식 3을 구하여 이동체의 정확한 위치정보 데이터를 계산할 수 있다.

이하, 도 2를 참조하여 위성항법 시스템과 비전 시스템 융합 기술 기반 측위 시스템의 구체적인 구성을 설명한다. 도 2는 본 발명의 일 실시예에 따른 위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위장치의 블록도이다.

본 발명의 일 실시예에 따른 위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위장치는 도 2에 도시된 바와 같이 영상 획득부(10)와 위치정보 수신부(20)와 비전 처리부(30)와 시간 동기화부(40)와 제어부(50)를 포함하여 구성된다.

영상 획득부(10)는 이동체의 위치를 추정하는 수단으로서 기본적으로 이동체 진행 방향을 향한 장면의 영상을 획득하며 일정 범위의 시야각을 가진다.

위치정보 수신부(20)는 GPS(Global Positioning System) 위성으로부터 송신되는 신호를 수신하여 GPS 위성과 위치정보 수신부(20)가 탑재된 이동체 사이의 거리를 연산하고, GPS 위성이 3차원 좌표계에서 가지는 절대 좌표 위치 정보와 상기 연산된 거리를 이용하여 전술한 수학식 1을 이용하여 이동체의 위치정보 획득한다.

전술한 바와 같이, 위치정보 수신부(20)가 이동체의 위치정보에 대한 정확한 연산을 하기 위해서는 적어도 4개 이상의 위성항법 시스템으로부터 위치정보 데이터를 수신 해야 한다. 만약 어느 하나의 위성항법 시스템으로부터 위치정보 데이터를 수신하지 못한 경우에는 이를 보완할 필요가 있으며, 본 발명에서는 비전 처리부(30)에서 출력된 데이터가 여기에 이용된다.

비전 처리부(30)는 영상 획득부(10)에서 매 시각(epoch)마다 획득된 영상을 처리하여 객체를 인식하고 인식된 객체와 이동체 사이의 거리를 연산하여 전술한 수학식 3과 같은 측정방정식을 산출한다. 비전을 이용한 항법 시스템에서 가관측성(observability)을 보장하기 위해 영상 내에 존재하는 각각의 객체는 랜드마크(Landmark)로 저장될 수 있다. 랜드마크는 해당 위치가 이미 정확히 알려진 위치이므로 영상 정보를 통한 위치 추정 과정 없이 사전 정보를 이용하여 객체에 대한 정확한 위치 할당이 이루어질 수 있다.

위치정보 수신부(20)에서 출력된 데이터와 비전 처리부(30)에서 출력된 데이터, 예를 들어 수학식 2의 측정방정식과 수학식 3의 측정방정식을 융합하여 이동체의 위치를 추정하기 위해서는 시간동기가 필요하다. 왜냐하면, 위성항법 시스템(Global Navigation Satellite System, GNSS)와 비전 시스템이 사용하는 시간이 다를 수 있기 때문이다.

시간 동기화부(40)는 위치정보 수신부(20)와 비전 처리부(30)가 동기화된 데이터를 출력하도록 위치정보 수신부(20)와 비전 처리부(30) 사이의 시간 동기를 수행한다. 이를 위해, 시간 동기화부(40)는 위치정부 수신부(20)와 비전 처리부(30)의 시간을 모니터링하고 시간 차를 매 초마다 계산한다.

예를 들어, 위치정보 수신부(20)가 사용하는 GNSS의 현재 시각이 15시 40분 12초이고 비전 처리부(30)에서의 현재 시각이 15시 40분 12.45초라면, GNSS의 시계가 상당히 정확하므로 GNSS의 시각에 맞춰 비전 처리부(30)의 시각을 동기화한다. 구체적으로, 두 시계 사이의 시간 차는 0.45초가 될 것인데 만약 사용자가 원하는 시간 오차가 0.30초 이내라고 가정하면, 0.45초의 시간 차가 0.30초 이내가 되도록 시간 동기화부(40)는 비전 처리부(30)의 시계를 보정한다.

전술한 바와 같이, 위치정보 수신부(20)는 매 초마다(1초에 한번씩) 이동체에 대한 위치정보 데이터를 출력하는 반면, 비전 처리부(30)는 매 초마다 30개 정도의 영상 프레임을 처리(30 frame/Sec 처리 기준)해야 한다. 영상 획득부(10)는 초당 30 프레임 정도의 영상을 획득하기 때문에 획득된 영상에 대하여 비전 처리부(30)도 초당 30회의 데이터 처리가 필요한 것이다.

본 발명에서의 비전 처리부(30)는 위치정보 수신부(20)에 동기된 시간을 기준으로 위치정보 수신부(20)의 데이터 출력 시각에 가장 가까운 영상 프레임에 대해서만 영상 처리를 수행한다. 즉, 비전 처리부(30)는 영상 내의 객체 인식, 추적, 거리 연산 등의 처리를 매 초마다 획득된 30개 정도의 영상 프레임에 대해 수행하는 것이 아니라, 동기된 시간을 기준으로 위치정보 수신부(20)의 데이터 출력 시각에 가장 인정한 영상 프레임만을 선정하는 프로세스를 가진다. 이로 인해, 비전 처리부(30)이 처리해야 하는 연산량이 줄어들어 연산 속도가 현저하게 빨라지게 된다.

이하, 비전 시스템에서 출력되는 프레임 중 시간 동기된 프레임을 선별하는 출력하는 일 예를 도 3을 참조하여 구체적으로 설명한다.

도 3에 도시된 바와 같이, 영상 획득부(10)에서 출력되는 영상 데이터는 1초에 30회 정도되므로 30개의 데이터 중 위치정보 수신부(20)의 데이터 출력 시간에 가장 가까운 데이터 하나를 추출해야 한다. 상기의 시간 동기화 방법의 처리시간이 매우 짧은 시간 내에 이루어진다면 30개의 프레임 중 위치정보 수신부(20)의 데이터 출력 시간인 12.00초에 가장 가까운 데이터만을 선택하여 융합하면 된다. 그러나 시간동기 시스템의 프로세스 시간을 고려하여 12.00초에 가장 가까운 프레임의 데이터와 앞 뒤 데이터를 합쳐 평균적인 데이터를 획득하여 이를 위치정보 수신부(20)에서 출력되는 데이터와 융합한다.

예를 들면, 도 3에 도시된 바와 같이 시간의 흐름에 따라 비전 데이터가 출력된다고 하면 12.00초에 가장 가까운 데이터는 12.03초에 출력된 데이터이다. 그러나 시간 동기화 프로세싱 시간 및 비전 데이터의 오차를 고려하기 위해서 앞뒤의 각각 한 프레임씩의 데이터를 추가한다. 즉, 총 3개의 프레임만을 선별하고, 이 프레임 내에서 비전 시스템의 인식, 추적 및 거리 측정의 프로세스를 수행한다. 위치정보 수신부(20)에서 출력된 데이터와 융합되는 최종 거리 데이터는 이 3개의 프레임에서 획득된 거리 데이터의 평균 값이다.

제어부(50)는 위치정보 수신부(20) 및 비전 처리부(30)에서 출력된 데이터를 융합하여 이동체의 최종적인 좌표 정보를 산출한다.

이와 같은 본 발명에 따르면 비전 시스템과 위성항법 시스템의 시간 동기가 이루어질 뿐만 아니라, 비전 시스템의 프로세싱 시간도 크게 단축되는 효과가 있다.

도 4는 본 발명의 다른 실시예에 따른 위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위방법을 도시한 순서도이다. 본 실시예에 따른 자기위치 추정방법은 이상에서 설명된 자기위치 추정장치에서 처리되는 단계들로 구성된다. 따라서 이하 생략된 내용이라 하더라도 측위장치에 관하여 기술된 내용은 본 실시예에 따른 측위방법에도 그대로 적용될 수 있다.

먼저 위성항법 시스템의 시간에 맞춰 비전 시스템의 시간 동기가 이루어진다(S410). 이를 위해, 위성항법 시스템의 시간과 비전 시스템의 시간은 모니터링 되고 있으며, 위성항법 시스템의 시각에 맞춰 비전 시스템의 시각을 보정한다.

다음으로, 위성항법 시스템의 데이터 출력 시각에 맞춰 동기된 시간을 기준으로 비전 시스템 출력 데이터를 선별한다(S420). 전술한 바와 같이, 위성항법 시스템에서는 초 당 1개의 데이터를 출력하는 반면, 비전 시스템은 초 당 30개의 데이터를 처리해야 한다. 따라서, 위성항법 데이터의 출력 시각에 가장 근접한 비전 데이터를 선별한다. 동기화 프로세싱 및 오차 시간 등을 고려하여 가장 근접한 비전 데이터와 앞 뒤로 1개의 데이터, 즉 총 3개의 프레임이 선별될 수 있다.

이후, 선별된 영상 프레임 내에서 객체 인식, 추적 및 거리 연산의 프로세스가 수행된다(S430). 각각의 프레임의 영상 처리 결과 연산된 이동체와 객체 사이의 거리 정보는 평균되어 출력되고, 거리의 평균 값이 위성항법 시스템의 출력 데이터와 융합하는데 사용된다.

마지막으로, 위성항법 시스템 출력 데이터와 S430 단계 결과 출력된 비전 시스템의 출력 데이터는 융합되어 이동체의 좌표 정보가 연산된다(S440).

상술한 본 발명에 따른 측위 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

이동체 전방의 영상 획득을 위한 영상 획득부;
GPS(Global Positioning System) 위성으로부터 송신되는 신호를 수신하여 상기 이동체의 위치정보 데이터를 획득하는 위치정보 수신부;
상기 영상 획득부에서 매 시각(epoch)마다 획득된 영상을 처리하여 객체를 인식하고 인식된 객체와 상기 이동체 사이의 거리를 연산한 비전 데이터를 출력하는 비전 처리부; 및
상기 위치정보 수신부와 상기 비전 처리부가 동기화된 데이터를 출력하도록 상기 위치정보 수신부와 상기 비전 처리부 사이의 시간 동기를 수행하는 시간 동기화부를 포함하되,
상기 시간 동기화부는 상기 위치정보 수신부 및 상기 비전 처리부의 시간을 모니터링하고, 상기 위치정보 수신부의 시간을 기준으로 상기 위치정보 수신부와 상기 비전 처리부 사이의 시간 차가 기 설정된 임계치 범위 내에 있도록 상기 비전 처리부의 시계를 보정하는 것
인 위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위장치.
삭제
제1항에 있어서, 상기 비전 처리부는,
상기 영상 획득부에서 초 당 획득한 영상 프레임들 중에서 동기된 시간을 기준으로, 상기 위치정보 수신부의 데이터 출력 시각에 가장 근접한 영상 프레임을 선별하는 것
인 위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위장치.
제1항에 있어서, 상기 비전 처리부는,
상기 영상 획득부에서 초 당 획득한 영상 프레임들 중에서 동기된 시간을 기준으로, 상기 위치정보 수신부의 데이터 출력 시각에 가장 근접한 영상 프레임과 상기 영상 프레임의 전/후 영상 프레임을 선별하고, 선별된 3개의 영상 프레임에 대해서만 객체를 인식하고 인식된 객체와 상기 이동체 사이의 거리를 연산하는 것
인 위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위장치.
제4항에 있어서, 상기 비전 처리부는,
선별된 3개의 영상 프레임에 대한 영상 처리 결과 출력된 3개의 거리 데이터를 평균한 값을 상기 비전 데이터로 출력하는 것
인 위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위장치.
위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위방법에 있어서,
상기 위성항법 시스템의 시간과 상기 비전 시스템의 시간을 동기화하는 단계;
상기 위성항법 시스템의 위치정보 데이터 출력 시간에 맞춰 상기 비전 시스템이 처리해야 하는 영상 프레임을 선택하는 단계;
선택된 영상 프레임에 대해서만 영상 처리를 수행하여 비전 데이터를 출력하는 단계; 및
상기 위치정보 데이터와 상기 비전 데이터를 융합하여 상기 이동체의 위치 정보를 생성하는 단계
를 포함하는 위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위방법.
제6항에 있어서, 상기 시간을 동기화하는 단계는,
상기 위성항법 시스템의 시간을 기준으로 상기 위성항법 시스템과 상기 비전 시스템 사이의 시간 차가 기 설정된 임계치 범위 내에 있도록 상기 비전 시스템의의 시계를 보정하는 단계를 포함하는 것
인 위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위방법.
제6항에 있어서, 상기 선택하는 단계는,
상기 위성항법 시스템의 데이터 출력 시각에 가장 근접한 영상 프레임과 상기 영상 프레임의 전/후 영상 프레임을 선택하는 단계를 포함하는 것
인 위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위방법.
제8항에 있어서, 상기 비전 데이터를 출력하는 단계는,
선택된 3개의 영상 프레임에 대해서만 객체를 인식하고 인식된 객체와 상기 이동체 사이의 거리를 연산하고, 상기 3개의 영상 프레임에서 획득된 3개의 거리 데이터를 평균한 값을 출력하는 단계를 포함하는 것
인 위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위방법.
제6항 내지 제9항 중 어느 한 항의 이동체의 자기위치 측위방법이 컴퓨터가 읽을 수 있는 코드로서 구현된 프로그램이 기록된 컴퓨터로 실행 가능한 기록매체.