KR20100060472A

KR20100060472A - 위치 측정 방법 및 이를 이용한 휴대 단말기

Info

Publication number: KR20100060472A
Application number: KR1020080119071A
Authority: KR
Inventors: 홍현수; 신계중
Original assignee: 삼성전자주식회사
Priority date: 2008-11-27
Filing date: 2008-11-27
Publication date: 2010-06-07
Also published as: KR101573289B1

Abstract

본 발명은 카메라를 통해 실시간으로 촬영되는 실사 이미지에 포함된 지형지물을 인식하고, 인식된 지형지물의 위치 정보와 지형지물과 휴대기기간의 상대적 방향각 정보를 이용하여 휴대기기의 위치를 추정하는 방법 및 이를 이용한 휴대기기에 관한 것이다.

위치 측정, 영상 인식, 방향각,

Description

위치 측정 방법 및 이를 이용한 휴대 단말기{APPARATUS AND METHOD FOR RECONGNIZING POSITION USING CAMERA}

본 발명은 디지털 카메라와 방향센서를 갖춘 휴대기기의 위치정보 추정 방법 및 이를 이용한 휴대기기에 관한 것으로서, 특히, 카메라를 통해 실시간으로 촬영되는 실사 이미지에 포함된 지형지물을 인식하고, 인식된 지형지물의 위치 정보와 지형지물과 휴대기기간의 상대적 방향각 정보를 이용하여 휴대기기의 위치를 추정하는 방법에 관한 것이다.

휴대기기의 위치를 측정하는 방법으로는 GPS수신기를 장착하여 위치 정보를 얻거나 이동통신 기지국이나 무선랜(WLAN)의 무선 전파를 이용하여 위치를 구하는 무선전파 측위 방법이 일반적으로 알려져 있다. 또한, 휴대 기기가 카메라를 구비하는 경우, 상기 휴대 기기는 카메라를 이용하여 위치를 측정할 수도 있다.

카메라 영상인식을 이용하여 위치를 구하는 경우, 휴대기기는 내장된 카메라로 촬영된 지형지물이나 시설물의 영상을 인식하고, 자신의 위치를 상기 인식한 지 형지물이나 시설물의 위치 좌표, 또는 해당 위치 주변의 한 점으로 결정한다.

종래 카메라 영상에 잡힌 지형지물을 인식하여 위치를 구하는 방법은 지형지물 근처에 휴대기기가 존재하므로 지형지물과 휴대기기 간의 거리를 카메라 초점거리나 카메라 촬영이 가능한 유효 거리 등으로 가정하여 휴대기기의 위치를 계산하는 것이다. 이러한 방법은 휴대기기의 위치를 대략적으로 구하는 것으로 향후 위치기반 서비스 등을 위해서는 정밀하게 위치를 구하는 방법이 필요하다.

따라서, 본 발명의 목적은 실제 세계의 영상정보를 입력받아 영상 내에 존재하는 지형 지물을 인식하고, 인식된 지형 지물의 위치 정보와 방향센서를 이용하여 휴대기기의 위치를 추정하는 디지털 카메라와 방향센서를 이용한 위치 제공 방법을 제시한다.

본 발명의 다른 목적은 휴대기기에 장착된 GPS수신기 및 기타 위치 측정 장치의 위치 오차를 카메라 영상인식과 방향센서를 이용하여 보정함으로써 정확한 위치정보를 제공할 수 있는 방법 및 이를 적용한 휴대기기 장치를 제공한다.

본 발명의 또 다른 목적은 카메라를 이용하여 정확한 지형 지물에 대한 지리정보를 제공함으로써, 카메라 영상을 이용하는 진보된 네비게이션 시스템 및 서비스를 구축하여 사용자에게 이로움을 제공하고자 한다.

본 발명의 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 위치정보　제공 기능을 갖는 휴대기기는 실사 영상을　촬영하기 위한 카메라와;　영상인식을 위한 지형지물 영상 DB와; 카메라로부터 촬영된 실사 영상정보를 입력받아 영상인식을 통해 영상 내 존재하는 지형지물을 인식하는 지형지물 영상인식 시스템과; 지형지물　위치정보가 저장된　지형지물 정보 DB와; 촬영 방위각을 취득하는 방향측정 센서와; 휴대기기의 위치를 계산하는 위치계산부와; 최종적으로 위치계산의 정확도 가 충분함을 결정하는 위치결정부를 포함하여 구성되는 것을 특징으로 한다.

방향측정 센서로는 대표적으로 지자기(地磁器)를 이용하는 전자나침반이 사용될 수 있고, 지형지물 정보 DB는 메모리에 저장되어 휴대기기 내에 위치할 수도 있고 온라인 서버에 저장되어 무선통신망으로 휴대기기로 전송될 수도 있다.　

본 발명에 따른 위치 추정 기능을 갖는 휴대기기 장치의 세부적 구성의 특징은 상기 실사 영상정보가 정지 영상이거나,　프리뷰(preview) 기능에 의한 연속적인 영상인 점이다.　

본 발명에 따른 위치 추정 기능을 갖는 휴대기기 장치의 다른 세부적 구성의 특징은 상기 메모리가 탈착 가능한 점이다.　

본 발명에 따른 위치 추정 기능을 갖는 휴대기기 장치의 다른 세부적 구성의 특징은 상기 디스플레이 장치는 지형지물의 정보를 벡터(vector)방식이나 비트맵(bitmap)방식으로 표시하는 점이다.

상술한 바와 같이 영상정보를 입력받아 영상 내에 존재하는 지형 지물을 인식하고, 인식된 지형 지물의 위치 정보와 방향센서를 이용하여 휴대기기의 위치를 추정함으로써, 랜드마크 영상을 인식하여 사용자의 위치를 대략적으로 결정하는 방법에 비해 정밀한 방법이라고 할 수 있으며, 이를 이용하여 기존 위치 측정 방법들에 의한 위치 오차를 보정할 수 있다.

이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하 본 발명은 휴대 기기에서 지형 지물의 위치 정보와 방향센서를 이용하여 위치를 추정하기 위한 기술에 대해 설명한다.

도 1은　본 발명의 바람직한 실시에 따른 휴대단말 장치의 내부 구성을 개략적으로 나타낸 블럭도이다.

상기 도 1에 도시된 바와 같이 휴대단말 장치는 영상을　촬영하기 위한 카메라(110)와 영상인식을 위한 영상 데이터 베이스(DB)(111)와 전자나침반(e-compass) 등의 방향센서를 이용하여 상기 카메라(110)가 향하고 있는 절대　방위각　정보를 얻는 방향센서부(112)와　상기 카메라(110), 영상 DB(111), 방향센서부(112) 등의 입력 장치를 제어하고 위치결정이 완료될 때까지 전체 시스템을 제어하는 제어부(120)와 상기 카메라(110)에 의해 촬영된 실사 이미지　정보와 영상 DB(111)를 근거로 영상인식기법을 이용하여 상기 카메라(110)에 의해 촬영된 영상에 포함된 지형지물을 인식하는 영상인식부(130)와 영상인식 결과를 근거로 주요　지형지물의 DB에서 위치 정보를 가져오는 지형지물DB(131)와 인식된 지형지물의 위치 좌표와 카 메라 방위각을 사용하여 카메라가 내장된 휴대단말의 위치를 구하는 위치계산부(140)와 위치 계산부에서 구한 위치의 정확도 여부를 판단하여 최종 위치를 결정하는 위치결정부(150)를 포함하여 구성된다. 여기에, 실시간으로 현재 위치 정보를 수신하는 GPS 수신기(210)는 선택적으로 포함될 수 있다.

예를 들어,　상기 카메라부(110)는　고체촬상소자를 구동하여 화상신호를 얻고, 이것을 디지털 화상신호로 프로세싱하여 메모리에 임시 저장한다. 이후, 상기 영상 인식부(130)는 영상인식기법을 이용하여 실사 이미지에 포함된 지형지물을 인식하고 상기 영상DB(111)에 저장된 시설위치 정보를 검색하여 매칭되는 지형지물의 위치 정보를 추출한다.

여기서, 영상인식기법으로는 특징(Feature)추출비교나, 윤곽선추출비교 등 다양한 인식기술이 적용될 수 있고, 이러한 방식의 경우는 각종 지형지물의 영상으로부터 비교에 필요한 특징점이나 윤곽선점들로 이루어진 데이터로 구성된 영상 DB(111)를 필요로 한다. 실 예로써, 특징추출비교방식의 경우는 저장된 지형지물 영상 DB(111)내에서 각 지형지물의 특징점 데이터와 현재 카메라에 비추어진 지형지물의 화상신호로부터 추출된 특징점 데이터를 비교하여 영상 DB(111)내에 등록된 지형지물 데이터 중 일치(matching)율이 가장 높은 것을 찾는 것으로 인식을 수행한다. 일반적으로 이러한 비교 과정은 많은 연산량을 요구하므로 휴대기기 내 GPS 수신기로부터 얻는 위치 정보와 전자나침반 센서로부터 얻는 방향 정보를 이용하여 영상인식 속도와 정확도를 증가시키기도 한다.

구체적으로는 카메라에 잡힌 화면의 위치를 일정 범위로 한정하면 비교대상 이 되는 지형지물 DB내의 인식 후보 데이터의 수를 크게 낮출 수 있어 영상인식 속도와 정확도를 크게 증가시킬 수 있다.

영상인식에 의해 인식된 지형지물의 위치 정보를 근거로 현재 사용자의 위치정보를 추정하는 과정은 다음과 같다.

도 2은 본 발명의 일실시예에 따라 카메라로부터 촬영된 영상이 디스플레이 상에서 표시되는 화면을 나타낸다.

상기 도 2에서 화면 상에는 두 개의 건물 A와 B가 위치해 있다. 화면 상의 건물에 대한 인식을 수행하여 각각의 건물을 인식한 상태라면 각 건물의 위치정보를 지형지물 DB로부터 얻을 수 있다. 진북 방향을 0도로 정의할 때, 건물 A는 휴대기기의 정면방향에 대해 -10도 방향에 위치에 있고, 건물 B는 휴대기기의 정면방향에 대해 +10도 방향에 위치에 있다. 이러한 방향각 정보는 전자나침반을 통해 얻을 수 있다.

도 3은 본 발명의 일실시예에 따라 두개 건물의 위치정보와 방향 정보를 이용하여 현재 휴대기기의 위치를 결정하는 방법을 도시한다.

상기 도 3은 각 건물의 위치정보와 방향 정보를 이용하여 현재 휴대기기의 위치를 결정하는 원리를 나타내고 있다. 각 건물에서 휴대기기를 바라보았을 때의 각을 구해보면 휴대기기는 건물 A에서 +170도 방향에 위치에 있고, 건물 B에서는 +190도 방향에 위치에 있다. 건물 A와 휴대기기를 잇는 직선을 a로 두고, 건물 B와 휴대기기를 잇는 직선을 b로 둔다면, 휴대기기는 a와 b의 교점 상에 위치해야 하므로, a와 b의 교점을 구하면 휴대기기의 위치를 구할 수 있다.

도 4는 4개의 건물로부터 휴대기기의 위치를 결정하는 방법을 도시한다.　

상기 도 4와 같이 여러 건물에 대한 위치와 방향 정보를 얻은 경우에는 각 건물의 위치에서 현재 휴대기기 위치를 거쳐 지나가는 각 직선들의 교점을 구하여 현재 휴대기기의 위치를 구할 수 있다. 건물의 인식이 잘되었다는 가정 하에서는 건물의 수가 많아질 수록 위치 정확도는 높아진다.

도 5는 본 발명의 다른 실시예에 따라 한 개의 건물만 촬영되는 경우를 도시한다.

상기 도 5의 경우처럼 카메라 화면에 한 개의 건물만 포함된 경우에는 우선, 현재 화면내의 건물을 인식하여 1개의 직선을 구한 뒤, 휴대기기를 회전시켜 다른 건물을 카메라로 포착하고 인식하여 도 6과 같이 새로운 직선을 구하여 2 개 이상의 직선들이 교차하는 교점을 구하면 휴대기기의 현재 위치를 구할 수 있다. 단, 이때 휴대기기를 처음 방향을 기준으로 180도 회전한 상태에서 새로운 직선을 구하게 되면 두 직선은 동일한 것으로 교점을 구할 수 없다.

　도 7은 본 발명에 따른 지리정보 제공방법의 진행과정을 나타낸 흐름도이다.

먼저, 단말기는 내장된 카메라를 이용하여 인식하고자 하는 지형지물 및 시설물의 영상을 촬영한다. 이때, 영상은 정지영상이거나 단말기의 프리뷰(preview)기능을 이용한 연속 영상이 될 수도　있다.　상기 단말기는 영상인식부를 이용하여 획득된 실사 이미지를 사용하여 실사 이미지에 포함된 지형지물 또는 시설물을 인식한다(701). 이때, 인식된 지형지물 또는 시설물을 인식물 A라고 칭하기로 한다. 이때, 상기 단말기는 영상인식부에서 인식된 지형지물 또는 시설물의 정보를　주요 지형지물 및 시설물의 위치정보가 저장된 데이터 베이스로부터 찾아　해당　위치 정보를 가져온다(703).　한편으로, 상기 단말기는 전자나침반과 같은 방향 센서를　이용해 카메라가 향하고 있는 방위각　정보를　획득한다(705).　

　상기 단말기는 획득된 위치 좌표와 방위각을 사용하여 상기 도 3에서와 같이 인식물 A로부터 카메라로 이어지는 직선 a를 구한다(707). 이어서, 상기 단말기는 현단계까지 구한 직선들의 교점을 구하는 방식으로 위치 계산을 수행한다(709). 이때, 상기 단말기는 위치 결정에 필요한 2개 이상의 직선을 구하기 위해 추가적인 영상인식이 필요한지 판단하고(711), 카메라 영상 내에 존재하는 또 다른 지형지물 또는 시설물에 대해 상기 과정을 반복하여 인식물 B와 카메라로 이어지는 직선 b를 구한다(707). 이와 같은 과정의 반복 수행은 사용자가 미리 설정한 인식 개수나 인식 한계 시간, 또는 화면 내 존재하는 지형지물 또는 시설물의 수에 의해 조정된다. 한편, 카메라 영상 내부에 한 개의 지형지물 또는 시설물이 존재할 경우, 상기 단말기는 사용자가 또 다른 지형지물이나 시설물이 나타날 때까지 회전한 후, 상기 인식 과정 및 직선 계산 과정이 수행되도록 한다. 이와 같은 과정을 거쳐 얻어진 직선들을 이용하여 최종적으로 카메라를 장착한 휴대기기의 위치가 결정된다.

　도 8은 GPS수신기가 내장된 휴대기기에서 GPS의 위치 정보를 영상인식에 이용하는 부분이 추가된 순서도이다.

먼저, 단말기는 GPS의 위치 정보를 획득하여 영상인식 과정으로 전달한다(801).

상기 단말기는 내장된 카메라를 이용하여 인식하고자 하는 지형지물 및 시설물의 영상을 촬영한다. 이때, 영상은 정지영상이거나 단말기의 프리뷰(preview)기능을 이용한 연속 영상이 될 수도　있다.　또한, 영상인식 과정에서는 참조해야할 지형지물이나 시설물의 영상 DB를 GPS로부터 얻은 위치 좌표의 주변에 존재하는 지형지물이나 시설물의 DB로 한정한다.

상기 단말기는 영상인식부를 이용하여 획득된 실사 이미지를 사용하여 실사 이미지에 포함된 지형지물 또는 시설물을 인식한다(803). 이때, 인식된 지형지물 또는 시설물을 인식물 A라고 칭하기로 한다. 이때, 상기 단말기는 영상인식부에서 인식된 지형지물 또는 시설물의 정보를　주요 지형지물 및 시설물의 위치정보가 저장된 데이터 베이스로부터 찾아　해당　위치 정보를 가져온다(805).　한편으로, 상기 단말기는 전자나침반과 같은 방향 센서를　이용해 카메라가 향하고 있는 방위각　정보를　획득한다(807).　

　상기 단말기는 획득된 위치 좌표와 방위각을 사용하여 상기 도 3에서와 같이 인식물 A로부터 카메라로 이어지는 직선 a를 구한다(809). 이어서, 상기 단말기는 현단계까지 구한 직선들의 교점을 구하는 방식으로 위치 계산을 수행한다(811). 이때, 상기 단말기는 위치 결정에 필요한 2개 이상의 직선을 구하기 위해 추가적인 영상인식이 필요한지 판단하고(813), 카메라 영상 내에 존재하는 또 다른 지형지물 또는 시설물에 대해 상기 과정을 반복하여 인식물 B와 카메라로 이어지는 직선 b를 구한다(809). 이와 같은 과정의 반복 수행은 사용자가 미리 설정한 인식 개수나 인식 한계 시간, 또는 화면 내 존재하는 지형지물 또는 시설물의 수에 의해 조정된 다. 한편, 카메라 영상 내부에 한 개의 지형지물 또는 시설물이 존재할 경우, 상기 단말기는 사용자가 또 다른 지형지물이나 시설물이 나타날 때까지 회전한 후, 상기 인식 과정 및 직선 계산 과정이 수행되도록 한다. 이와 같은 과정을 거쳐 얻어진 직선들을 이용하여 최종적으로 카메라를 장착한 휴대기기의 위치가 결정된다.

이와 같은 과정은 발명의 동작설명에서 설명한대로 인식 속도와 정확도를 높일 수 있어, 궁극적으로는 영상인식을 통한 위치 추정 성능을 향상시키게 되며, GPS의 위치를 보정하는 기능으로 응용이 가능하다. 　

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

도 1은　본 발명의 바람직한 실시에 따른 휴대단말 장치의 내부 구성을 개략적으로 나타낸 블럭도,

도 2은 본 발명의 일 실시 예에 따라 카메라로부터 촬영된 영상이 디스플레이 상에서 표시되는 화면,

도 3은 본 발명의 일 실시 예에 따라 두개 건물의 위치정보와 방향 정보를 이용하여 현재 휴대기기의 위치를 결정하는 방법을 도시한 도면,

도 4는 4개의 건물로부터 휴대기기의 위치를 결정하는 방법을 도시한 도면,

도 5는 본 발명의 다른 실시 예에 따라 한 개의 건물만 촬영되는 경우를 도시한 도면,

도 6은 휴대기기의 위치를 결정하는 방법을 도시한 도면,

도 7은 본 발명에 따른 지리정보 제공방법의 진행과정을 나타낸 순서도, 및

도 8은 GPS수신기가 내장된 휴대기기에서 GPS의 위치 정보를 영상인식에 이용하는 부분이 추가된 순서도.

Claims

지형지물 영상을　촬영하는 카메라;　

지형지물의 위치정보 및 영상정보를 포함하는 지형지물 정보 Data Base(DB);

카메라의 촬영 방위각을 취득하는 방향측정 센서;

카메라로부터 입력된 영상정보를 지형지물 정보 DB의 영상정보와 비교하여 적어도 두 개 이상의 지형지물을 인식하는 지형지물 인식부; 및

상기 인식된 두 개 지형지물의 시야 각으로부터 휴대 기기의 위치를 계산하는 위치계산부를 구비하는 휴대 기기.
제1항에 있어서,

상기 방향측정 센서로는, 대표적으로 지자기(地磁器)를 이용하는 전자나침반이 사용되는 휴대 기기.
제1항에 있어서,

상기 지형지물 정보 DB가 저장되는 메모리를 구비하는 휴대 기기.
제1항에 있어서,

상기 메모리가 탈착 가능한 휴대기기.
제1항에 있어서,

상기 지형지물 정보DB는, 외부의 온라인 서버에 저장되고 무선통신망으로 전송되는 휴대 기기.
제1항에 있어서,

상기 카메라에 의해 입력되는 영상정보는 정지 영상이거나,　프리뷰(preview) 기능에 의한 연속적인 영상인 휴대 기기.　
제1항에 있어서,

상기 지형지물 인식부는, 동일 영상 내에서 두 개 이상의 지형지물을 인식하는 휴대기기.
제1항에 있어서,

상기 지형지물 인식부는, 복수 개의 영상 내에서 각각 한 개 이상의 지형지물을 인식하는 휴대기기.