KR101415016B1 - 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기 - Google Patents

Abstract

본 발명은 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기에 관한 것으로서, 특히, 별도의 영상 데이터베이스 없이 오직 영상과 실내 지도만에 의하여 사용자의 실내 위치 검출이 가능한 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기에 관한 것이다.
이를 위하여, 본 발명에 의한 영상기반 실내 위치 검출방법은, (a) 사용자 단말기에 내장된 카메라를 이용하여 사용자의 하나 이상의 방향에 대한 영상을 획득하는 단계; (b) 상기 획득된 사용자의 방향에 해당하는 영상에서 건물 내부의 피처(feature)를 추출하는 단계; (d) 상기 사용자의 방향과 추출된 영상의 피처를 건물 실내 지도 정보와 매칭하는 단계; (e) 상기 영상과 맵의 매칭 프로세스를 통해 사용자 단말기의 위치를 추정하는 단계를 포함하여 이루어진다.

Description

영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기{Method of Indoor Position Detection Based on Images and Mobile Device Employing the Method}

본 발명은 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기에 관한 것으로서, 특히, 별도의 영상 데이터베이스 없이 오직 영상과 실내 지도만으로 사용자의 실내 위치 검출이 가능한 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기에 관한 것이다.

최근 개발되는 스마트폰을 비롯한 휴대용 통신기기들은 GPS 수신장치를 내장하고 있으며, GPS 기술을 이용한 위치 확인 기능과 현재 위치 전송 및 위치 기반에 의한 다양한 형태의 어플리케이션이 실행되어 GPS 기반의 서비스가 제공되고 있다.

통상적인 GPS 기반의 서비스는 휴대용 단말기에 내장된 GPS 수신기에 현재 위치의 GPS 정보를 수신받아 오차 범위 내의 위치 정보 파악이 가능하도록 하고 있으며, 휴대용 단말기에 내장된 기능을 이용하여 이 위치 정보를 송신할 수 있고, 제한적으로 휴대용 단말기의 위치를 추적할 수 있도록 할 수 있다.

실내에서의 위치검출 기술과 관련하여, 실외에서는 위성항법시스템을 이용하여 수 m 정확도의 위치 제공이 가능한 반면, 실내의 경우는 실외보다 환경적으로 더 좁고 복잡하기 때문에, 보행자가 실제 사용 가능한 수준 정확도의 위치 정보를 제공하는 기술이 필요하다.

현재 실내에서 보행자가 실제 사용 가능한 수준의 위치 정확도를 제공하는 기술로는 PDR (Pedestrian Dead Reckoning) 기술을 들 수 있는데, 해당 기술은 특정 위치에 대한 상대적인 위치정보만을 제공할 뿐 정확한 위치 제공은 불가능하다. 따라서 PDR 기술 적용 이전에 정확한 실내 위치를 제공하는 기술이 필요한 실정이다.

관련하여, 위치를 제공하는 대표적인 기술로서 WIPS(WiFi based Indoor Positioning System)를 들 수 있는데, 이는 WiFi AP의 RSSI를 데이터베이스화해야 하며 또한 위치 정확도가 대략 5 m ~ 수십 m에 달하는 문제점이 있다.

한편, 영상을 이용하는 기술의 경우, 현재까지의 기술은 영상 데이터베이스를 갖고 있는 상태에서 데이터베이스와의 비교를 통해 위치를 측위하는 것이다. 그러나, 이 기술 또한 데이터베이스 제작의 어려움과 함께, 데이터베이스를 이용함에 따른 정확도가 상대적으로 떨어지는 단점이 있으며, 현재 제안되는 시스템은 10 ~ 수십 m의 정확도를 가진다.

본 발명은 상술한 문제점을 해결하고자 창안된 것으로서, 영상 데이터베이스 없이 오직 영상과 실내 지도만으로 맵 상에서 모듈의 위치에 대한 포인트 포지셔닝(point positioning)의 오차율이 보행자가 실제 사용 가능한 수준 이내의 범위가 되도록 하는 것이 가능한, 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기를 제공하는 것을 목적으로 한다.

이러한 과제를 달성하기 위하여 본 발명에 의한 영상기반 실내 위치 검출방법은, (a) 사용자 단말기에 내장된 카메라를 이용하여 사용자의 하나 이상의 방향에 대한 영상을 획득하는 단계; (b) 상기 획득된 사용자의 방향에 해당하는 영상에서 건물 내부의 피처(feature)를 추출하는 단계; (c) 상기 사용자의 방향과 추출된 영상의 피처를 건물 실내 지도 정보와 매칭하는 단계; (d) 상기 영상과 맵의 매칭 프로세스를 통해 사용자 단말기의 위치를 추정하는 단계를 포함하여 이루어진다.

상기 (b) 단계와 (c) 단계 사이에, 상기 영상에서 추출된 피처에 기초하여 특정 물체에 대한 인지를 수행하는 단계를 더 포함할 수 있다.

상기 (b) 단계에서, 단말기 자세에 해당하는 영상정보를 얻기 위하여 사용자의 방향 및 자세 정보를 필요로 하며, 상기 사용자의 방향 및 자세 정보는 단말기 내부 또는 외부에 구비된 센서를 이용해 추정하도록 구성되며, 상기 센서는 가속도계, 자이로스코프, 디지털컴파스 중 어느 하나 이상을 포함할 수 있다.

상기 건물 실내 지도 정보는 사용자 단말기와 네트워크를 통해 연결된 맵데이터 서버를 통해 수신된 건물의 정보와 고도 정보에 기초하여 추출된 단말기 사용자의 개략적 위치에 해당하는 지도인 것을 특징으로 한다.

여기서, 상기 단말기 사용자의 개략적인 위치에 해당하는 지도는, WIPS 방법에 의한 개략적인 사용자의 위치추정과 함께 기압센서를 통한 고도 추정 및 고도에 해당하는 건물 지도 정보에 의하여 추출된다.

한편, 상기 건물 내부의 피처 추출은 복도, 코너, 홀 등의 내부 환경에 따라 달라진다.

먼저 복도의 경우, 사용자의 위치 기준으로 적어도 상기 복도의 앞쪽과 뒤쪽을 촬영하는 단계 및 상기 촬영된 영상 이미지로부터 카메라 이미지의 퍼스펙티브 라인(perspective line)을 검출하는 단계를 포함한다.

상기 퍼스펙티브 라인의 검출단계는: 에지 검출을 위해 원본 영상을 흑백처리하는 단계; 상기 퍼스펙티브 라인의 방향에 해당하는 에지 성분만을 추출하는 단계; 상기 원본 영상의 선분을 허프 변환 도메인(Hough transform domain)에서 포인트화하고, 추출된 모든 라인 중 가장 길이가 긴 라인을 추출하는 단계; 및 역 허프 변환(Inverse Hough transform)을 수행하여 퍼스펙티브 라인을 검출하는 단계를 포함하여 이루어진다.

그리고, 상기 퍼스펙티브 라인에 대하여 깊이(depth) 보정을 위한 모델을 적용하는 단계를 더 포함하는 것이 바람직하다.

상기 모델은, 수학식

에 의한 가중 함수 모델링(Depth weighting function modeling; ω( PL ))인 것을 특징으로 한다.

한편, 코너에 대한 인지는, i) 퍼스펙티브 라인이 관찰되는 뷰(view)가 90도 혹은 270도 간격으로 존재하는 경우, ii) 퍼스펙티브 라인이 관찰되는 뷰가 한 방향을 제외하고 90도 간격으로 존재하는 경우, 및 iii) 퍼스펙티브 라인이 관찰되는 뷰가 90도 간격으로 전 방향 존재하는 경우 중 적어도 어느 하나에 해당하는 것을 특징으로 한다.

상기 코너가 90도가 아닌 경우, 퍼스펙티브 라인이 180도 간격으로 존재하지 않을 경우 코너로 인지하는 것을 특징으로 한다.

상기 코너는, 2개의 퍼스펙티브 라인의 길이를 비교하여 짧은 라인을 가진 쪽이 꺾이는 방향, 및 퍼스펙티브 라인에 대한 가상의 레이(ray)를 만들어서 레이 상에서 비어있는 부분이 꺾이는 부분이라고 인지하는 것을 특징으로 한다.

또한, 홀의 경우, 사용자의 현재 위치에서 전 방향에 대한 영상을 촬영하는 단계; 상기 영상 촬영에 대한 방향정보와 영상 정보를 함께 획득하는 단계; 각각의 뷰(view)에서 관찰되는 특정 구조물의 피처를 추출하고, 해당 피처를 피처 데이터베이스와 비교하여 패턴을 인지하는 단계; 상기 사용자의 단말기의 자세 및 방향 정보를 이용하여, 영상에서 패턴이 있는 뷰의 각도를 추정하는 단계; 인지된 구조물로부터 추출된 각도를 이용하여 가상의 라인을 생성하는 단계; 및 상기 각각의 가상의 라인이 교차하는 부분에 대한 최적추정(estimation)을 수행하여, 사용자의 위치를 추정하는 단계를 포함하여 이루어진다.

아울러, 앞서 설명한 과제를 달성하기 위하여 본 발명에 의한 휴대용 단말기는, 상술한 영상기반 실내 위치 검출방법을 수행하도록 구성되며, 동 과제는 영상 데이터베이스 없이 영상기반 실내 위치 검출이 가능한 휴대용 단말기를 제공함에 의하여 달성될 수 있다.

이와 같이, 본 발명에 의하면, 기존의 사용하던 영상 데이터베이스 없이 오직 영상과 실내 지도만으로 맵 상에서 모듈의 위치에 대한 포인트 포지셔닝이 종래에 비하여 현저히 낮은 오차율로 보행자가 사용 가능한 범위 이내로 구현하는 것이 가능하게 된다.

도 1은 본 발명에 따른 단말기 위치추정 방법의 순서도,
도 2는 본 발명에 따른 단말기 위치추정 방법의 예시도,
도 3은 본 발명에 따른 단말기 위치추정 방법에 적용되는 실내 맵 예시도,
도 4는 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 개념도,
도 5는 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 순서도,
도 6은 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 중 홀 환경 개략도,
도 7은 도 6에 의한 홀 환경에서의 사용자 위치 추정 예시도,
도 8은 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 중 복도 간 구별기법 개념도,
도 9는 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 중 복도 환경에서의 사용자 위치 추정방법 개념도,
도 10은 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 중 복도 환경에서의 이미지 피처 추출 예시 영상,
도 11은 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 중 복도 환경에서의 퍼스펙티브 라인(perspective line)의 추출기법에 대한 순서도,
도 12는 도 11에서의 스텝 1 영상,
도 13은 도 11에서의 스텝 2 영상,
도 14는 도 13에서의 스티어러블 필터 아키텍쳐(steerable filter architecture)의 예시도,
도 15는 도 11에서의 스텝 3 영상,
도 16은 도 11에서의 스텝 4 영상,
도 17에 모델링된 퍼스펙티브 라인과 깊이 가중 함수에 대한 그래프,
도 18에 깊이 가중 함수 적용 유무에 따른 추정 위치 및 오차에 대한 그래프,
도 19는 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 중 코너 인지 방법 개념도,
도 20은 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 중 코너 검출 영상을 나타낸다.

이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1은 본 발명에 따른 단말기 위치추정 방법의 전체 순서도이며, 도 2는 본 발명에 따른 단말기 위치추정 방법의 예시도를 나타낸다.

도 1에 도시된 바와 같이, 본 발명에 의한 영상데이터베이스 작동없이 영상기반 실내 위치 검출(S2)을 위해서는 기본적으로 단말기 사용자의 개략적인 위치에 해당하는 지도 추출(S1)을 필요로 하며, 이러한 지도 추출은 WiFi에 의한 WIPS 등의 방법에 의해 개략적인 사용자의 위치추정과 함께 기압센서 등을 통한 고도 추정 및 고도에 해당하는 건물 지도 정보에 의하여 수행될 수 있다.

보다 구체적으로 살펴보면, 도 1 및 도 2에 도시된 바와 같이, 먼저 사용자 단말기에 내장된 카메라를 이용하여 사용자의 여러(하나 이상의) 방향에 대한 영상을 획득한다(S201).

이러한 단말기 자세에 해당하는 영상정보를 얻기 위해서는 사용자의 방향 및 자세 정보를 필요로 하며, 이러한 사용자의 방향/자세 정보는 단말기 내부 혹은 외부에 구비된 센서를 이용해 추정 가능하다. 이러한 센서로서 가속도계, 자이로스코프, 디지털컴파스 등을 예시로 들 수 있다.

다음, 추정된 사용자의 방향에 해당하는 영상에서 건물의 특징, 복도, 코너, 기둥, 계단, 모서리 정보 등과 같은 피처(feature)를 추출한다(S202).

이와같이 영상에서 추출된 피처에 기초하여 특정 물체에 대한 인지를 수행하게 된다(S203).

그 후, 추정된 사용자의 방향/자세와 추출된 영상의 피처를 실내 지도 정보와 매칭하는 작업을 수행한다(S204). 실내 지도 정보는 휴대용 단말기와 네트워크를 통해 연결된 맵데이터 서버를 통해 수신된 건물의 정보와 고도 정보 등을 포함할 수 있다.

마지막으로, 영상과 맵의 매칭 프로세스를 통해 사용자 단말기의 위치를 추정할 수 있게 된다(S205).

한편, 본 발명에 의한 영상기반 실내 위치 검출방법은, 기본적으로는 "단말기의 자세정보를 얻고 획득한 영상에서 피처를 추출한 후 맵상에서 매칭"하는 작업을 통해 사용자의 위치를 추정하는 시스템에 해당하고, 위치 추정을 위한 영상은 1장 이상의 이미지 정보를 이용하여야 하지만, 구체적인 실내 환경, 즉 홀, 복도, 코너에 조금씩 다르게 적용됨에 주의하여야 한다.

이하, 실내 맵 예시도인 도 3에 기초하여 상세히 설명한다.

먼저, 도 3에 의한 실내 맵에 있어서 실내 구조는 크게 복도(hallway), 홀(또는 로비), 코너 및 기타 각종 구조물(가령, 계단, 게시판 등)로 나눌 수 있으며, 이들에 대한 상황 인지가 필요하다.

도 4는 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 개념도이며, 도 5는 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 순서도를 나타낸다.

먼저, 복도의 경우는 복도의 앞쪽과 뒤쪽을 촬영하고, 해당 2장의 영상 이미지를 이용한다.

이렇게 촬영된 영상 이미지로부터 카메라 이미지의 퍼스펙티브 라인(perspective line) 검출한다.

여기서, 촬영된 영상은 일반 단말기의 카메라 이미지이므로, 검출된 퍼스펙티브 라인은 원근감, 즉 깊이(depth) 정보를 포함하지 않음에 주의해야 한다. 따라서 이러한 퍼스펙티브 라인의 길이 정보와 실제 길이 사이에는 왜곡이 발생한다.

이러한 왜곡 발생의 문제점을 방지하기 위하여, 복도 퍼스펙티브 라인의 깊이(depth) 보정을 위한 모델을 이용하여 퍼스펙티브 라인에서 깊이 정보를 획득한다.

결국 복도의 양쪽 사진에서 퍼스펙티브 라인을 통한 깊이 정보를 추출하고, 이를 기반으로 사용자가 복도의 어느 위치에 있는지 추정하게 된다.

한편, 사용자가 코너에 있을 경우, 마찬가지로 사용자 주위의 (다수의) 이미지 정보를 획득한다.

이러한 이미지의 에지 추출(edge detection)을 통해 코너 정보를 파악하며, 이미지 촬영 시, 사용자의 자세 정보와 이미지에서의 코너의 위치 정보를 기반으로 사용자가 어느 코너 상에 위치하는지에 대한 추정이 가능하다.

마지막으로, 사용자가 홀에 있을 경우, 마찬가지로 사용자 주위의 (다수의) 이미지 정보를 획득한 후, 각 이미지에서 에지, 코너, 복도, 기둥, 계단 등과 같은 피처를 추출한다.

그 후, 사용자 단말기의 자세 정보와 해당 이미지의 추출된 피처 정보를 커플링하고, 단말기의 자세와 영상의 피처 및 맵 정보 사이의 매칭 작업을 통해 사용자의 위치를 추정한다.

다만, 유의할 것은, 비록 실내 구조물 별로 세부 방법에서 차이가 있을 뿐, 도 5에 의해서도 확인되는 바와 같이, 기본적으로 "사용자 주위 영상 획득 -> 단말기 자세에 해당하는 영상 정보 획득 -> 영상 보정 정보와 함께 영상에서 피처 추출 -> 피처 기반 영상인지 -> 맵 정보에 기초한 영상 피처와 맵 매칭 프로세스 -> 사용자 위치 추정" 과 같은 전체 알고리즘은 동일하다.

홀 환경에서의 위치 검출방법

이는, 사용자가 홀에 있을 때 사용자의 위치를 추정하는 기술이다.

이를 위하여는, 홀 상에서 사용자의 위치를 추정하고, 단말기의 카메라를 이용하며, 이미지 데이터베이스를 사용하지 않고 실내 지도를 사용하여야 하는 조건이 요구된다.

도 6은 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 중 홀 환경 개략도로서, 도 6에 도시된 바와 같이 홀의 일반적인 특징은, 홀의 중앙이 일반적으로 넓은 공간으로 형성된다는 점과, 문, 기둥, 계단, 복도입구, 코너, (설치된) 의자 등이 존재하는 구조적 특징이 있다는 점을 들 수 있다.

이러한 홀 검출 기법에 대하여 도 7을 참조하여 설명한다. 도 7은 도 6에 의한 홀 환경에서의 사용자 위치 추정 예시도를 나타낸다.

먼저, 현재 위치에서 전(모든) 방향에 대한 영상을 촬영한다.

촬영 방향정보와 영상 정보를 함께 획득하는데, 이러한 방향 정보는 단말기의 가속도센서, 지자기센서, 자이로 센서 등으로부터 3차원 자세 및 방향 정보 획득이 가능하다.

각각의 뷰(view)에서 관찰되는 특정 구조물(가령, 문, 기둥, 의자 등)의 피처를 추출하고, 해당 피처를 피처 데이터베이스와 비교하여 패턴을 인지한다.

그리고, 단말기의 자세 및 방향 정보를 이용하여, 단말기로부터 구조물에 대한 각도 정보를 인지하게 된다.

그 후, 인지된 구조물로부터 추출된 각도를 이용하여 가상의 라인을 생성하게 되며, 마지막으로, 각각의 가상의 라인이 교차하는 부분에 대한 최적추정(estimation)을 수행하여, 사용자의 위치를 추정한다.

복도 환경에서의 위치 검출방법

이는, 사용자가 복도 상에 있을 때, 복도 상에서의 사용자의 위치를 추정하는 기술에 해당한다.

이에 대한 요구사항으로서, 복도의 길이와 상관없이 보행자가 사용 가능한 범위 내의 정확도로 사용자의 위치 추정이 가능하여야 하며, 단말기의 카메라를 이용하고, 또한 이미지 데이터베이스를 사용하지 않고 실내 지도를 사용하여야 한다는 점이다.

도 8을 참조하면, 먼저, 사용자의 현 위치를 중심으로 전방인 복도 앞쪽과 후방인 복도 뒤쪽의 영상을 촬영하는데, 영상 촬영 시, 단말기의 자세/방향 정보를 획득한다.

다음, 이미지에서 복도의 길이 정보 L_L, L_R 추출을 위한 피처를 추출한다.

그 후, 앞서 설명한 왜곡 문제를 해결하기 위하여 추출된 피처를 이용하여 깊이 정보를 추정한다.

마지막으로, 피처와 복도의 길이와 같은 맵 정보를 서로 매칭하여 L_L, L_R을 추정하여 결국 사용자의 위치를 추정하게 된다.

한편, 도 9는 전체 맵 상에서 복도 간 구별기법에 관한 것이다.

도 9에 도시된 ①과 ②는 지자기 센서로부터 얻는 절대적인 방향 정보로 구별할 수 있으며, ①과 ③은 좌, 우 퍼스펙티브 라인의 길이를 비교하여 바라보는 코너가 왼쪽방향인지 혹은 오른쪽방향인지를 구별할 수 있다. 즉, 퍼스펙티브 라인의 왼쪽이 더 짧으면 왼쪽으로 회전하는 코너이며, 퍼스펙티브 라인의 오른쪽이 더 짧으면 오른쪽으로 회전하는 코너, 그리고, 퍼스펙티브 라인의 길이가 같으면 막혔다고 판단한다.

이하, 복도 환경의 측위에 있어서, 이미지에서 피처를 추출하는 방법에 대해 보다 상세하게 설명한다.

실내 복도 영상의 경우에는 도 10에 나타낸 붉은 선과 같은 일정한 패턴의 퍼스펙티브(perspective)한 라인이 존재하는데, 원본 영상으로부터 에지를 검출한 후, 퍼스펙티브한 라인을 인지하여 해당 뷰가 복도임을 판단한다.

한편, 도 10에서도 확인되는 바와 같이 복도 영상의 퍼스펙티브 라인을 보면, 원근감 즉 깊이(depth) 정보가 제대로 반영되지 않음을 알 수 있다. 이는 깊이 정보를 2차원 이미지에 담기 때문에 깊이 정보가 누락되기 때문이다.

따라서, 퍼스펙티브 라인의 길이 등을 이용하여 복도의 길이를 추정하는 것이 사실상 불가능하게 된다. 이에 대한 보정에 대해서는 다시 설명하도록 한다.

본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 중 복도 환경에서의 피처 추출기법에 대한 순서도가 도 11에 도시되어 있다.

도 11에서와 같이, 먼저 에지 검출을 위해 원본 영상을 흑백처리하고(S301, 도 12 참조), 특정방향, 즉 퍼스펙티브 라인의 방향에 해당하는 에지 성분만을 추출한다(S302). 이는 도 11 및 도 13에 도시된 바와 같이, 스티어러블 피라미드 디컴포지션(steerable pyramid decomposition) 방법에 의하여 수행될 수 있으며 이를 위한 스티어러블 필터 아키텍쳐(steerable filter architecture)가 도 14에 예시되어 있다. 한편, 이들 각각 그 자체는 이미 이미징 프로세싱 분야에서의 당업자에게 통상적으로 알려진 기술에 해당하므로 본 명세서에서는 구체적인 설명을 생략하도록 한다.

그 다음, 에지 영상의 모든 라인을 추출하는데, 도 15에 도시된 바와 같이 원 영상의 선분을 허프 변환 도메인(Hough transform domain)에서 포인트화하고(S303), 이렇게 추출된 모든 라인 중 가장 길이가 긴 라인을 추출한다(S304). 한편, 허프 변환은 영상 전 영역에 걸친 패턴 추출에 이용되는 일반적인 기술이다. 기본 개념은 다양한 형태를 가지는 영상의 에지에 대하여 수학식으로 표현될 수 있는 직선을 찾는 것으로서, 영상의 직선을 기울기와 길이로 변환하는데 사전 프로세싱으로 에지 검출(detection) 알고리즘이 필요하다.

마지막으로, 역 허프 변환(Inverse Hough transform)을 수행하여 영상에서 가장 긴 에지를 검출한다.

한편, 앞서 언급한 바와 같이, 촬영된 영상은 일반 단말기의 카메라 이미지이므로, 검출된 퍼스펙티브 라인은 원근감에 해당하는 깊이(depth) 정보를 포함하고 있지 않다. 이로 인하여 퍼스펙티브 라인의 길이 정보와 실제 길이 사이에는 왜곡이 발생한다.

이러한 왜곡 발생의 문제점을 방지하기 위하여, 복도 퍼스펙티브 라인의 깊이 보정을 위한 모델을 이용하여 퍼스펙티브 라인에서 깊이 정보를 획득한다.

이와 같은 퍼스펙티브 라인에 없는 깊이 정보를 보상하는 깊이 가중 함수 모델링(Depth weighting function modeling; ω( PL ))은 아래 수학식 1로 표현된다.

퍼스펙티브 라인에 없는 깊이 정보를 보상하게 되면 수학식 2(깊이 정보 무)로부터 수학식 3(깊이 정보 유)으로 변환되며, 도 17에 모델링된 퍼스펙티브 라인(a)과 깊이 가중 함수(b)에 대한 그래프가 각각 도시되어 있다.

이러한 깊이 가중 함수를 고려한 추정 위치와 이를 고려하지 않은 추정 위치 사이의 결과치 등은 도 18로부터 확인된다.

도 18은 (a)는 깊이 가중 함수를 고려하지 않은 경우의 추정위치, (b)는 깊이 가중 함수를 고려하지 않은 경우의 오차, (c)는 깊이 가중 함수를 고려한 경우의 추정위치, 그리고 (d)는 깊이 가중 함수를 고려한 경우의 오차를 각각 나타낸다.

동 그래프에서 확인되는 바와 같이, 깊이 정보를 보상하지 않은 경우, 최대 약 13 m 정도의 오차를 보인 반면, 깊이 정보를 보상한 경우, 약 2 m 이내의 오차를 보인다.

코너 환경에서의 위치 검출방법

이는 사용자가 코너 상에 있을 때, 사용자의 위치를 추정하는 기술이다.

일반적인 환경에서 사용자가 있을 수 있는 코너는 도 19에서와 같이, 퍼스펙티브 라인이 관찰되는 뷰(view)가 90도 혹은 270도 간격으로 존재하는 경우(Case 1), 퍼스펙티브 라인이 관찰되는 뷰가 한 방향을 제외하고 90도 간격으로 존재하는 경우(Case 2), 그리고, 퍼스펙티브 라인이 관찰되는 뷰가 90도 간격으로 전 방향 존재하는 경우(Case 3)와 같이 크게 3가지 경우로 분류 판단된다. 코너가 90도가 아닌 경우, 퍼스펙티브 라인이 180도 간격으로 존재하지 않으면 코너로 인지한다. 그 외 코너에 대해서도 같은 알고리즘과 맵을 적용하여 위치를 추정할 수 있다.

영상에서의 코너는, 2개의 퍼스펙티브 라인의 길이를 비교하여 짧은 라인을 가진 쪽이 꺾이는 방향, 및 퍼스펙티브 라인에 대한 가상의 레이(ray)를 만들어서 레이 상에서 비어있는 부분이 꺾이는 부분이라고 인지한다(도 20 참조).

코너 검출 알고리즘은, 지자기 센서를 이용하여 퍼스펙티브 라인이 인지된 뷰로부터 일정 각도 간격으로 퍼스펙티브 라인의 유무를 조사한다. 그 후, 전체 맵에서 지자기 센서의 절대방향 정보와 코너의 사이 각을 검출하여 매칭하게 된다.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 청구범위의 균등 범위 내에서 다양한 변형 및 수정이 가능함은 물론이다.

Claims (16)

1. 영상기반 실내 위치 검출방법으로서,
   (a) 사용자 단말기에 내장된 카메라를 이용하여 사용자의 하나 이상의 방향에 대한 영상을 획득하는 단계;
   (b) 상기 획득된 사용자의 방향에 해당하는 영상에서 건물 내부의 피처(feature)를 추출하는 단계;
   (c) 상기 사용자의 방향과 추출된 영상의 피처를 건물 실내 지도 정보와 매칭하는 단계;
   (d) 상기 영상과 맵의 매칭 프로세스를 통해 사용자 단말기의 위치를 추정하는 단계;를 포함하되,
   상기 건물 실내 지도 정보는 사용자 단말기와 네트워크를 통해 연결된 맵데이터 서버를 통해 수신된 건물의 정보와 고도 정보에 기초하여 추출된 단말기 사용자의 개략적 위치에 해당하는 지도인 것을 특징으로 하는 영상기반 실내 위치 검출방법.
   
2. 제1항에 있어서,
   상기 (b) 단계에서, 단말기 자세에 해당하는 영상정보를 얻기 위하여 사용자의 방향 및 자세 정보를 필요로 하며, 상기 사용자의 방향 및 자세 정보는 단말기 내부 또는 외부에 구비된 센서를 이용해 추정하는 것을 특징으로 하는 영상기반 실내 절대위치 검출방법.
   
3. 제2항에 있어서,
   상기 센서는 가속도계, 자이로스코프, 디지털컴파스 중 어느 하나 이상을 포함하는 것을 특징으로 하는 영상기반 실내 위치 검출방법.
   
4. 삭제
5. 제1항에 있어서,
   상기 단말기 사용자의 개략적인 위치에 해당하는 지도는, WIPS 방법에 의한 개략적인 사용자의 위치추정과 함께 기압센서를 통한 고도 추정 및 고도에 해당하는 건물 지도 정보에 의하여 추출되는 것을 특징으로 하는 영상기반 실내 위치 검출방법.
   
6. 제1항에 있어서,
   상기 건물 내부의 피처 추출은 복도, 코너, 홀, 계단에 따라 달라지는 것을 특징으로 하는 영상기반 실내 위치 검출방법.
   
7. 제6항에 있어서,
   상기 복도의 경우, 사용자의 위치 기준으로 적어도 상기 복도의 앞쪽과 뒤쪽을 촬영하는 단계 및 상기 촬영된 영상 이미지로부터 카메라 이미지의 퍼스펙티브 라인(perspective line)을 검출하는 단계를 포함하는 것을 특징으로 하는 영상기반 실내 위치 검출방법.
   
8. 제7항에 있어서,
   상기 퍼스펙티브 라인의 검출단계는:
   원본 영상을 흑백처리하는 단계;
   상기 퍼스펙티브 라인의 방향에 해당하는 에지 성분만을 추출하는 단계;
   상기 원본 영상의 선분을 허프 변환 도메인(Hough transform domain)에서 포인트화하고, 추출된 모든 라인 중 가장 길이가 긴 라인을 추출하는 단계; 및
   역 허프 변환(Inverse Hough transform)을 수행하여 퍼스펙티브 라인을 검출하는 단계를 포함하여 이루어지는 것을 특징으로 하는 영상기반 실내 위치 검출방법.
   
9. 제8항에 있어서,
   상기 퍼스펙티브 라인에 대하여 깊이(depth) 보정을 위한 모델을 적용하는 단계를 더 포함하는 것을 특징으로 하는 영상기반 실내 위치 검출방법.
   
10. 제9항에 있어서,
    상기 모델은, 수학식

    

    에 의한 가중 함수 모델링(Depth weighting function modeling; ω( PL ))인 것을 특징으로 하는 영상기반 실내 위치 검출방법.
    
11. 제6항에 있어서,
    상기 코너에 대한 인지는, i) 퍼스펙티브 라인이 관찰되는 뷰(view)가 90도 혹은 270도 간격으로 존재하는 경우, ii) 퍼스펙티브 라인이 관찰되는 뷰가 한 방향을 제외하고 90도 간격으로 존재하는 경우, 및 iii) 퍼스펙티브 라인이 관찰되는 뷰가 90도 간격으로 전 방향 존재하는 경우 중 적어도 어느 하나에 해당하는 것을 특징으로 하는 영상기반 실내 위치 검출방법.
    
12. 제11항에 있어서,
    상기 코너가 90도가 아닌 경우, 퍼스펙티브 라인이 180도 간격으로 존재하지 않을 경우 코너로 인지하는 것을 특징으로 하는 영상기반 실내 위치 검출방법.
    
13. 제11항에 있어서,
    상기 코너는, 2개의 퍼스펙티브 라인의 길이를 비교하여 짧은 라인을 가진 쪽이 꺾이는 방향, 및 퍼스펙티브 라인에 대한 가상의 레이(ray)를 만들어서 레이 상에서 비어있는 부분이 꺾이는 부분이라고 인지하는 것을 특징으로 하는 영상기반 실내 위치 검출방법.
    
14. 제6항에 있어서,
    상기 홀의 경우,
    사용자의 현재 위치에서 전 방향에 대한 영상을 촬영하는 단계;
    상기 영상 촬영에 대한 방향정보와 영상 정보를 함께 획득하는 단계;
    각각의 뷰(view)에서 관찰되는 특정 구조물의 피처를 추출하고, 해당 피처를 피처 데이터베이스와 비교하여 패턴을 인지하는 단계;
    상기 사용자의 단말기의 자세 및 방향 정보를 이용하여, 영상에서 패턴이 있는 뷰의 각도를 추정하는 단계;
    인지된 구조물로부터 추출된 각도를 이용하여 가상의 라인을 생성하는 단계; 및
    상기 각각의 가상의 라인이 교차하는 부분에 대한 최적추정(estimation)을 수행하여, 사용자의 위치를 추정하는 단계
    를 포함하여 이루어지는 것을 특징으로 하는 영상기반 실내 위치 검출방법.
    
15. 제 1 항에 있어서,
    상기 (b) 단계와 (c) 단계 사이에, 상기 영상에서 추출된 피처에 기초하여 특정 물체에 대한 인지를 수행하는 단계를 더 포함하는, 영상기반 실내 위치 검출 방법.
    
16. 삭제

Images