KR102406084B1 - 이미지 및 무선 단어에 기초한 모바일 장치의 개선된 로컬화 - Google Patents

Abstract

본 발명은 시각 정보 및 무선 정보의 조합을 사용하여 토폴로지 맵에서 자체 위치를 결정할 수 있는 모바일 장치에 관한 것이다. 모바일 장치는 그 환경의 이미지를 캡처하고, 수신가능 무선 송신기를 검출하며, 모바일 장치의 현재 위치에 존재하는 시각 단어 및 무선 단어를 정의하는 관찰 벡터를 구축한다. 그런 다음 이 관찰 벡터를 기준 위치에 해당하는 기준 벡터와 비교하고, 시각 단어와 무선 단어 간의 상관 관계에 기초하여 기준 위치들 중에서 모바일 장치의 위치를 식별한다.

Description

이미지 및 무선 단어에 기초한 모바일 장치의 개선된 로컬화

본 발명은 모바일 장치 로컬화(localization) 분야에 관한 것이다. 보다 구체적으로, 이는 일련의 가능한 기준 위치들 중 모바일 장치의 로컬화 결정에 관한 것이다.

인간과 상호 작용하는 저렴한 모바일 로봇이 대규모로 배치됨에 따라, 모바일 장치, 예를 들어 로봇의 실내 위치는 점점 더 요구되고 있다. 이를 통해 로봇은 환경을 매핑하고 이동하는 위치를 지속적으로 파악할 수 있는 저렴한 솔루션이 필요하다. 그러나 대부분의 최신 솔루션은 레이저 거리 측정기와 같은 고가의 센서를 사용하며 특정 플랫폼용으로 설계되고 있다.

문헌 Cummins, M. & Newman, P. (2008), FAB-MAP: "Probabilistic localization and mapping in the space of appearance", The International Journal of Robotics Research, 27(6), 647-665 and Cummins, M. & Newman, P. (2011), "Appearance-only SLAM at large scale with FAB-MAP 2.0", The International Journal of Robotics Research, 30(9), 1100-1123 은 이미지 센서의 사용을 기반으로 저비용 로컬화 솔루션을 제공하는 FABMAP(Fast Appearance-Based Algorithm) 알고리즘을 개시하고 있다.

FABMAP 알고리즘은 환경을 연속적인 토폴로지 노드로 분할하고, 각 노드는 하나 이상의 시각 관찰과 관련된 위치 Li를 구성한다. 각 위치에 대한 이미지는 예를 들어 Sivic, J., & Zisserman, A. (2003, October). Video Google: A text retrieval approach to object matching in videos. In Computer Vision, 2003. Proceedings. Ninth IEEE International Conference on (p. 1470). IEEE 에 의해 개시된 바와 같이 이미지에 나타난 시각 단어를 결정하기 위해 분석된다. 따라서, 각 시각 단어가 일 위치에 존재하는지 여부를 나타내는 이진을 포함하는 참조 벡터가 각 위치에 대해 정의된다.

로봇이 카메라를 사용하여 이미지를 캡처할 때, FABMAP 알고리즘은 이미지에 어떤 시각 단어가 포함되어 있는지 판단하기 위해 이미지를 분석한다. 그런 다음 이진 값을 포함하는 관찰 벡터를 구축하며, 각 이진 값은 시각 단어가 이미지에 존재하는지 여부를 규정하고, 관찰 벡터와 각 위치와 관련된 참조 벡터를 비교하여 각 위치에 있을 로봇의 확률을 계산한다. FABMAP은 로봇이 존재 가능성이 가장 높은 위치에 있다고 판단한다.

FABMAP과 같은 시각적 특징에 기초한 로컬화 알고리즘은 대부분의 로봇에 존재하는 저렴한 센서를 사용하기 때문에 저렴한 비용으로 정확한 로컬화 솔루션을 제공한다. 그러나 이들은 지각 앨리어싱(perceptual aliasing) 문제에 직면해 있다. 이 문제는 서로 다른 두 위치가 유사한 모양과 시각적 기능을 공유할 때 발생한다. 이 문제는 종종 사무실, 주차장 또는 보다 일반적으로, 규칙적인 시각적 패턴이 특징인 실내 환경과 같은 반복적인 환경에서 발생한다. 이 문제는 많은 잘못된 로컬화를 생성하므로 시각적 특징을 기반으로 로컬화 알고리즘의 견고성을 크게 저하시킨다.

최근에는 로컬화를 향상시키기 위해 Wi-Fi 및 시각적 데이터를 병합하는 것을 목표로하고 있다. 예를 들어, Schwiegelshohn, F., Nick, T., & Gotze, J.(2013, March), "Localization based on fusion of rfid and stereo image data", In Positioning Navigation and Communication (WPNC), 2013 10th Workshop on (pp. 1-6). IEEE; 및 Quigley, M., Stavens, D., Coates, A., & Thrun, S. (2010, October), "Sub-meter indoor localization in unmodified environments with inexpensive sensors:, In Intelligent Robots and Systems (IROS), 2010 IEEE/RSJ International Conference on (pp. 2039-2046) 을 참조할 수 있다. IEEE는 Wi-Fi 및 시각적 로컬화를 융합하기 위해 입자 필터를 사용한다. 그러나 이러한 솔루션에서 입자 필터는 움직임만으로 수렴한다.

Nowicki, M. (2014), "WiFi-guided visual loop closure for indoor navigation using mobile devices", Journal of Automation Mobile Robotics and Intelligent Systems, 8(3), 10-18 은 Wi-Fi 데이터에서 가능한 위치 세트를 정의하고 그에 대한 시각적 로컬화를 수행한다. Biswas, J., & Veloso, M. (2013, June), "Multi-sensor mobile robot localization for diverse environments", In Robot Soccer World Cup (pp. 468-479). Springer, Berlin, Heidelberg 는 시각 또는 Wi-Fi 데이터를 기반으로 로컬화를 수행하고 현재 추정에 가장 신뢰할 수 있는 센서를 선택한다. 그러나 이 두 가지 솔루션은 하나의 잘못된 센서로 인해 큰 어려움을 겪게 된다.

따라서, 종래 기술 솔루션 중 어느 것도 저렴한 비용으로 강력한 로컬화 솔루션을 제공하지 않으며, 어떤 경우에도 강력하고 안정적인 로컬화를 제공하면서 광범위하게 이용 가능하고 저렴한 센서를 사용하여 실내 환경에서 자신을 정확하게 위치시킬 수 있는 모바일 장치가 필요하다.

이 효과를 위해, 본 발명은 하나 이상의 디지털 이미지 센서; 무선 수신기; 시각 단어 세트, 적어도 무선 송신기의 식별자에 의해 규정되는 무선 단어 세트, 시각 단어 및 무선 단어와 관련하여, 대응하는 기준 위치에서 각각 존재 또는 부재를 규정하는 이진 값들을 포함하는 기준 위치 벡터와 각각 관련되는 기준 위치 세트를 저장하는 하나 이상의 메모리에 대한 통신 링크: 상기 하나 이상의 디지털 이미지 센서로부터 모바일 장치의 환경의 이미지를 획득하기 위한 적응 메커니즘, 상기 무선 수신기를 이용하여 수신가능 무선 송신기를 검출하기 위한 적응 메커니즘, 이미지 내 시각 단어의 존재 또는 부재를 규정하는 이진 값들과, 무선 단어의 존재 또는 부재를 규정하는 이진 값들을 포함하는 관찰 벡터를 생성하기 위한 적응 메커니즘; 수신가능 무선 송신기 내 상기 기준 위치 및 상기 관찰 벡터에 기초하여 적어도 기준 위치 세트 중에서 모바일 장치의 현 위치를 결정하기 위한 적응 메커니즘을 포함하는 프로세싱 로직에 대한 통신 링크를 포함하는 모바일 장치를 개시한다.

본 출원에서, 용어 "시각 단어"는 로컬화 및 이미지 분석 분야에서 통상적 인 의미로 이해되어야 한다. 따라서 시각 단어는 이미지의 키포인트에 해당할 수 있는 단어 어휘이다.

본 출원에서, 용어 "무선 단어"(radio word)는 용어 "시각 단어"와 유사하게, 모바일 장치에 의해 수신된 무선 신호의 특징을 특성화할 수 있는 요소를 정의한다. 예를 들어, 무선 단어는 무선 송신기의 식별자에 의해 특징지워질 수 있다. 무선 단어는 또한 무선 송신기의 식별자 및 대응하는 신호 강도의 범위의 조합에 의해 정의될 수 있다. Wi-Fi 신호를 사용하는 실시예에서, 무선 단어는 Wi-Fi 서명을 사용하여 검출될 수 있다. 예를 들어, Wi-Fi 단어는 액세스 포인트의 MAC 어드레스, 또는 액세스 포인트의 MAC 어드레스 및 액세스 포인트로부터 수신된 신호의 강도의 조합에 의해 정의될 수 있다.

무선 송신기는 그것이 방출하는 무선파가 모바일 장치의 무선 수신기에 의해 수신될 때 그리고 무선 송신기가 상기 무선파를 사용하여 식별될 수 있는 경우 "수신가능"한 것으로 간주된다.

본 출원에서, 프로세싱 로직은 소프트웨어 명령, 프로세서의 하드웨어 구성, 또는 이들의 조합에 따라 동작하는 프로세서일 수 있다. 본 명세서에서 논의된 기능들 중 일부 또는 전부는 순수한 하드웨어 구현으로 및/또는 소프트웨어 명령에 따라 동작하는 프로세서에 의해 및/또는 소프트웨어 명령에 따라 동작하는 프로세서 및 머신 학습 엔진 또는 신경망의 구성에 의해 구현될 수 있음을 이해해야 한다. 프로세싱 로직은 또한 병렬로 동작을 수행하는 멀티-코어 프로세서, 일련의 직렬 프로세서, 또는 이들의 조합 일 수 있다. 또한 임의의 또는 모든 소프트웨어 명령이 비일시적 컴퓨터 판독 가능 매체에 저장될 수 있음을 이해해야 한다. "프로세싱 로직의 적응 메커니즘"이라는 용어는 동작을 실행하기 위해 프로세싱 로직을 적응시키는 임의의 수단(예를 들어, 하드웨어 구성, 소프트웨어 명령, 기계 학습, 훈련 또는 신경망, 또는 임의의 다른 적응 메커니즘 또는 이들의 조합)을 의미한다.

모바일 장치의 위치결정을 위한 시각 단어 사용은 정확한 위치에 속하는 카메라로부터 이미지의 정확한 특징을 식별함으로써 정확한 극소화를 결정할 수 있게 한다. 그러나 매우 먼 이미지에서 동일한 시각 단어들이 감지될 수 있다.

고정된 위치를 갖는 무선 송신기와 함께 사용될 때, 모바일 장치의 위치를 결정하기 위해 무선 단어의 사용은 매우 강력하다.

따라서, 시각 단어와 무선 단어를 모두 포함하는 관찰 벡터 및 기준 위치 벡터에 기초한 로컬화는 모바일 장치의 동작 조건에 관계없이, 무선 로컬화의 견고성과 동시에 시각 단어의 검출의 정밀도를 잇점으로 한다. 한편, 시각 및 무선 수신기는 대부분의 모바일 장치에서 저렴하고 일반적으로 사용되는 장비이기 때문에 이 솔루션은 경제적으로 구현할 수 있다.

바람직하게는, 모바일 장치의 현재 위치를 결정하기 위한 적응 메커니즘은 모바일 장치가 대응하는 기준 위치에 있을 때 관찰 벡터를 관찰할 가능성을 기준 위치 벡터에 대해 연산하기 위한 적응 메커니즘을 포함한다.

로봇이 대응하는 기준 위치에 있을 때 관찰 벡터를 관찰할 가능성의 계산은 모바일 장치가 각각의 기준 위치에 있을 때 관찰 벡터를 관찰할 가능성을 효율적으로 비교할 수 있게 한다. 따라서 로봇의 현재 위치에 가장 적합한 후보를 결정하는 효율적인 방법을 제공한다.

바람직하게는, 로봇이 대응하는 기준 위치에 있을 때 관찰 벡터를 관찰할 가능성을 상기 기준 위치 벡터에 대해 연산하는 것은, 관찰 벡터, 기준 위치 벡터, 및 관찰 및 기준 위치 벡터의 요소의 상관 트리에 기초한다.

각각의 기준 위치에서 관찰 벡터가 관찰될 가능성은 간단한 비교, 예를 들어 기준 위치 벡터와 관찰의 이진 값들 중에서 공유되는 양의 값의 수를 카운트함으로써 수행될 수 있다. 그러나 이것은 시각 단어와 무선 단어 사이에 존재하는 상관 관계를 나타내지는 않는다. 반대로, 관찰 및 기준 위치 벡터의 요소들의 상관 관계 트리를 사용하면 단어 간의, 예를 들어 학습 단계에서 동일 벡터에서 발생하는 시각적 및/또는 무선 단어 간의, 상관 관계를 고려하면서 관찰 벡터를 관찰할 가능성을 계산할 수 있다.

바람직하게는, 상기 프로세싱 로직은, 모바일 장치의 현재 위치가 상기 기준 위치 중 하나에 있는지 여부를 결정하기 위한 상기 적응 메커니즘이 모바일 장치가 상기 기준 위치 중 어느 것에도 없는 것으로 판정한 경우, 기준 위치 세트 내 관찰 벡터를 기준 위치 벡터로서 갖는 추가 기준 위치를 추가하기 위한 적응 메커니즘을 더 포함한다.

이것은 이전에 모바일 장치에 의해 방문되지 않은 위치에 새로운 위치 벡터를 추가한다.

더 긴 기간에, 이것은 위치 세트가 관련 기준 벡터와 관련된 모바일 장치에 의해 이미 방문된 모든 위치를 포함할 수 있게 한다.

바람직하게는, 무선 단어 세트는 상기 환경의 탐색 동안 무선 송신기의 검출을 포함하는 단일 트레이닝 단계 동안 구축된다.

이것은 무선 단어 세트에서 검출되고 통합될 수 있는 무선 단어의 보다 미세한 제어를 가능하게 한다. 예를 들어, 모바일 장치의 환경은 환경의 고정된 무선 송신기만이 수신가능한 야간에 탐색될 수 있다. 따라서 고정 무선 송신기만 로컬화에 사용된다. 따라서 로컬화가 보다 정밀하고 강력해진다.

바람직하게는, 상기 프로세싱 로직은, 상기 무선 수신기를 이용하여 수신가능 무선 송신기를 검출하기 위한 상기 적응 메커니즘이 상기 무선 단어 중 어느 것과도 관련없는 수신가능 무선 송신기를 검출한 경우, 상기 무선 단어 세트 내에서 상기 수신가능 무선 송신기와 관련된 무선 단어를 추가하기 위한 적응 메커니즘을 더 포함한다.

이것은 모바일 장치가 훈련 단계 필요없이 로컬화를 시작할 수 있게 한다. 또한, 무선 단어는 대응하는 무선 송신기가 검출됨에 따라 추가될 수 있다.

바람직하게는, 상기 무선 수신기를 이용하여 수신가능 무선 송신기와 관련된 무선 단어를 추가하기 위한 상기 적응 메커니즘은, 현재 위치에 대응하는 기준 벡터 내 상기 무선 단어의 존재를 나타내는 이진 값과, 각각의 다른 기준 위치 내에 상기 무선 단어의 부재를 나타내는 이진 값을 추가하기 위해 기준 위치 벡터를 수정하기 위한 적응 메커니즘을 포함한다. .

새로운 무선 단어가 식별될 때, 그것이 이전에 검출되지 않았기 때문에, 이전에 추가된 모든 기준 위치에는 없지만 현재 위치에 존재한다고 가정할 수 있다. 따라서 이 새로 추가된 무선 단어가 현재 위치에 존재하고 이전에 추가된 기준 위치에 없음을 나타내면, 정확한 것으로 추정되는 추가 위치 정보가 추가되므로 향후 로컬화가 더욱 강력해진다.

바람직하게는, 모바일 장치의 현재 위치를 결정하기 위한 상기 적응 메커니즘은 모바일 장치가 상기 기준 위치에 있을 때, 기준 벡터 및 관찰 요소들 간의 상관 관계 및 상기 기준 위치 벡터에 기초하여, 관찰 벡터를 관찰할 가능성을 각각의 기준 위치에 대해 컴퓨팅하기 위한 적응 메커니즘을 포함한다.

관찰 요소 또는 기준 위치 벡터의 요소의 상관은 위치 또는 관찰에서 동시에 존재하는 시각 단어 및/또는 무선 단어를 나타낸다. 이들은 모바일 장치 가있을 수 있는 위치에 대해 보다 강력하고 정확한 표시를 제공한다. 따라서, 이러한 상관 관계를 비교하면 모바일 장치의 로컬화의 신뢰성과 효율성이 향상된다.

바람직하게는, 모바일 장치가 상기 기준 위치에 있을 때 각각의 기준 위치에 대해 관찰 벡터를 관찰할 가능성을 컴퓨팅하기 위한 상기 적응 메커니즘은 시각 단어와 관련된 요소 및 무선 단어와 관련된 요소의 상관을 별도로 컴퓨팅하기 위한 적응 메커니즘을 포함한다. .

시각 단어 및 무선 단어는 특정한 상관 관계를 가질 수 있다. 시각 단어의 존재 또는 부재와 무선 단어의 존재 또는 부재를 나타내는 이진 값의 상관 관계를 개별적으로 비교하면 보다 정확한 상관 관계를 분석할 수 있고 모바일 장치의 로컬화의 신뢰성이 향상된다.

바람직하게는, 모바일 장치의 현재 위치를 결정하기 위한 상기 적응 메커니즘은, 적어도 무선 단어 세트로부터 랜덤하게 생성된 수신가능 무선 송신기의 인위적 리스트를 이용하여 구축된 인위적 기준 위치 벡터 세트에 기초하여 미지의 위치에 모바일 장치가 있을 때, 관찰 벡터를 관찰할 확률을 컴퓨팅하기 위한 적응 메커니즘을 포함한다. .

모바일 장치의 환경에 존재하는 무선 송신기를 포함하는 랜덤하게 생성된 무선 송신기 목록을 사용함으로써, 인위적이지만 무선 단어 세트로부터의 무선 단어를 포함하는, 그래서, 모바일 장치가 인위적 위칭에 있을 때, 인위적 사용 사례시 관찰 벡터를 관찰할 0이 아닌 확률에 관련되는, 무선 단어를 포함하는 관찰을 인위적으로 생성하는 효율적인 방법을 제공할 수 있다.

바람직하게는, 무선 단어는 대응하는 무선 송신기로부터 수신된 신호 강도의 범위에 의해 추가로 정의되며; 무선 수신기가 대응하는 신호 세기를 갖는 대응하는 무선 송신기로부터 신호를 수신하는 경우, 관찰 벡터를 생성하기 위한 상기 적응 메커니즘은 무선 단어가 관찰 벡터 내에 존재함을 나타내는 적응 메커니즘을 포함한다.

무선 송신기로부터 수신된 신호의 강도는 모바일 장치로부터 무선 송신기까지의 거리에 적어도 부분적으로 의존하기 때문에, 모바일 장치의 로컬화에 관한 통찰(insight)을 제공한다. 따라서, 무선 단어 구축을 위해 무선 송신기로부터 수신된 신호의 강도를 사용하여 모바일 장치의 로컬화의 정밀도를 증가시킨다.

이는 무선 단어의 존재 또는 부재 사이의 상관이 사용되는 경우에 더욱 그러하다. 실제로, 무선 송신기와 이들로부터 수신되는 신호 강도 모두를 나타내는 무선 단어들 사이의 상관 관계는 무선 송신기들로부터 모바일 장치의 상대 거리에 대한 신뢰성있는 통찰력을 제공하며, 따라서 모바일 장치의 로컬화에 대한 신뢰성있는 통찰력을 제공한다.

바람직하게는, 모바일 장치의 현재 위치를 결정하기 위한 상기 적응 메커니즘은, 상기 관찰 벡터 및 상기 기준 위치 벡터에 기초하여 모바일 장치가 각각의 기준 위치에 있는 확률을 계산하고; 모바일 장치의 현재 위치가 확률이 가장 높은 기준 위치라고 결정하기 위한 적응 메커니즘을 더 포함한다.

기준 위치 벡터가 관찰 벡터와 정확히 일치하지 않는 경우, 모바일 장치의 현재 위치가 관찰 벡터 및 대응하는 기준 위치 벡터 간의 비교에 기초하여 기준 위치와 일치할 확률을 계산하고, 가장 높은 확률의 위치를 선택함으로써, 모바일 장치의 실제 위치일 가능성이 가장 큰 기준 위치를 효과적으로 비교할 수 있다.

바람직하게는, 모바일 장치가 각각의 기준 위치에 있을 확률을 계산하기 위한 상기 적응 메커니즘은, 모바일 장치가 미지의 위치에 있을 확률을 계산하기 위한 적응 메커니즘을 더 포함하고, 모바일 장치가 기준 위치에 있는 확률과, 모바일 장치가 미지의 위치에 있을 확률의 합이 1이다.

모바일 장치가 이전에 전체 환경을 탐색하지 않은 경우, 모바일 장치는 미지의 위치에 위치될 수 있다. 따라서, 모바일 장치가 미지의 위치에 있을 확률을 계산하면, 모바일 장치가 기준 위치, 또는 새로운 미지의 위치 중 하나에 있을 가능성이 더 높은지를 결정하고, 따라서, 기준 위치 세트에 새로운 위치를 추가할 수 있다.

본 발명은 또한, 모바일 장치의 온보드형 하나 이상의 디지털 이미지 센서로부터 모바일 장치의 환경의 이미지를 획득하는 단계; 상기 모바일 장치의 온보드 무선 수신기를 사용하여 수신가능 무선 송신기를 검출하는 단계; 시각 단어 세트; 적어도 무선 송신기의 식별자에 의해 규정되는 무선 단어 세트; 대응하는 기준 위치에서 시각 단어 및 무선 단어의 존재 또는 부재를 규정하는 이진 값들을 포함하는 기준 위치 벡터와 각각 관련된 기준 위치 세트를 저장하는 메모리에 액세스하는 단계; 수신가능 무선 송신기에서의 무선 단어의 존재 또는 부재를 정의하는 이진 값과 이미지 내 시각 단어의 존재 또는 부재를 규정하는 이진 값을 포함하는 관찰 벡터를 생성하는 단계; 상기 관찰 벡터 및 상기 기준 위치 벡터에 기초하여 상기 모바일 장치의 현재 위치가 상기 기준 위치 중 하나에 있는지를 결정하는 단계를 포함하는 방법을 개시한다.

본 발명은, 모바일 장치의 온보드형 하나 이상의 디지털 이미지 센서로부터 모바일 장치의 환경의 이미지를 획득하고; 상기 모바일 장치의 온보드 무선 수신기를 사용하여 수신가능 무선 송신기를 검출하며; 시각 단어 세트; 적어도 무선 송신기의 식별자 어드레스에 의해 정의되는 무선 단어 세트; 대응하는 기준 위치에서 시각 단어 및 무선 단어의 존재 또는 부재를 정의하는 이진 값을 포함하는 기준 위치 벡터와 각각 관련된 기준 위치를 갖는 기준 위치 세트를 저장하는 메모리에 액세스하고; 이미지에서 시각 단어의 존재 또는 부재를 정의하는 이진 값과, 수신가능 무선 송신기를 이용하여 무선 단어의 존재 또는 부재를 규정하는 이진 값을 포함하는 관찰 벡터를 생성하며; 상기 관찰 벡터 및 상기 기준 위치 벡터들에 기초하여 상기 모바일 장치의 현재 위치가 상기 기준 위치들 중 하나에 있는지를 결정하도록 구성되는 컴퓨터 코드 명령어를 포함하는 컴퓨터 프로그램 제품을 또한 개시한다.

본 발명은 예시적 용도로만 제공된 다수의 예시적 실시예에 대한 다음의 설명 및 첨부 도면으로부터 더 잘 이해될 것이며, 그 다양한 특징 및 장점이 나타날 것이다.
도 1은 본 발명의 다수의 실시예에서 로봇의 물리적 아키텍처를 도시한다.
도 2는 본 발명의 다수의 실시예에서 모바일 장치의 기능적 아키텍처를 도시한다.
도 3은 본 발명의 다수의 실시예에서 데이터 구조에 대한 동작을 나타내는 흐름도를 도시한다.
도 4는 본 발명에 따른 모바일 장치 환경의 맵 및 2 개의 이미지를 도시한다.
도 5a 및 5b는 본 발명 및 종래 기술에 따른 비전 및/또는 Wi-Fi 정보의 조합을 사용하는 모바일 장치 로컬화 방법의 로컬화 에러율의 두 가지 예를 도시한다.
도 6은 본 발명에 따른 방법의 예를 도시한다.

도 1은 본 발명의 다수의 실시예에서 로봇의 물리적 아키텍처를 도시한다.

로봇(100)은 본 발명이 구현될 수 있는 모바일 장치의 예를 통해서만 제공된다는 점에 유의해야 한다. 로봇(100)이 휴머노이드 로봇이지만, 본 발명은 로봇이 그 환경 내에서 변위될 수 있고 이미지를 캡처할 수 있고, 와이-파이 모듈을 장착하고 있을 경우, 애완 동물 로봇 또는 바퀴 달린 로봇과 같은 다른 종류의 이동 로봇에 구현될 수 있다. 본 발명은 이미징 기능, 무선 수신 기능 및 컴퓨팅 기능에 대한 링크를 포함하는 다른 종류의 모바일 장치에도 적용 가능하다. 예를 들어, 본 발명은 드론, 스마트 폰 또는 자율 주행 차에 적용 가능하다.

도면상의 로봇의 하지는 보행을 위해 기능하지 않지만, 로봇이 놓인 표면 상에서 구르는 베이스(140)상에서 임의의 방향으로 이동할 수 있다. 본 발명은 걷기에 적합한 로봇에서 쉽게 구현될 수 있다. 예로서, 이 로봇은 약 120 cm 일 수 있는 높이(110), 65cm 정도의 깊이, 및 40cm 정도의 폭(130)을 갖는다. 특정 실시예에서, 본 발명의 로봇은 메시지(오디오, 비디오, 웹 페이지)를 그 환경과 통신하거나 태블릿의 촉각 인터페이스를 통해 사용자로부터 엔트리를 수신할 수 있는 태블릿(150)을 갖는다. 태블릿의 프로세서 외에, 본 발명의 로봇은 또한 자체 마더보드의 프로세서를 사용하는데, 이는 예를 들어 인텔 ™의 ATOM ™ Z530 일 수 있다. 본 발명의 로봇은 또한 발명의 특정 실시예에서, 로봇이 휠로 이용하는 볼과 팔다리의 관절의 모터를 제어하는 센서와, 마더보드와 특히 MRE(Magnetic Rotary Encoders)를 장착한 보드 사이의 데이터 흐름을 처리하기 위한 전용의 프로세서를 유리하게 포함한다. 모터는 한정된 관절을 위해 필요한 최대 토크의 크기에 따라 상이한 유형의 것일 수 있다. 예를 들어 e-minebea ™의 브러시 DC 코어리스 모터(예: SE24P2CTCA) 또는 Maxon ™의 브러시리스 DC 모터(예: EC45_70W)를 사용할 수 있다. MRE는 바람직하게는 12 또는 14 비트 정밀도의 홀 효과를 사용하는 유형이다.

본 발명의 실시예에서, 도 1에 표시된 로봇은 또한 다양한 종류의 센서를 포함한다. 그들 중 일부는 로봇의 위치와 움직임을 제어하는 데 사용된다. 이것은 예를 들어 로봇의 몸통에 위치하며 3-축 자이로스코프 및 3-축 가속도계를 포함하는 관성 유닛의 경우이다. 또한 로봇은, 초당 5 프레임의 5백만 화소 해상도 및 가로 약 57 ° 및 세로 44 °의 FOV(Field of View)와 함께, Shenzen V-Vision Technology Ltd ™의 제품(OV5640)과 같은, SOC(System On Chip) 유형의, 로봇의 이마(상단 및 하단)에 2 개의 2D 컬러 RGB 카메라(160)를 포함할 수 있다. 하나의 3D 센서(170)는 2D 카메라와 거의 동일한 FOV를 갖는, 초당 20 프레임에서 0.3 메가 픽셀의 해상도를 갖는, ASUS XTION ™ SOC 센서와 같이, 로봇의 눈 뒤에 포함될 수 있다. 본 발명의 로봇에서는 또한, 레이저 라인 생성기가, 예를 들어 헤드(180a)에 3 개 및 베이스(180b)에 3 개씩 장착되어, 환경 내의 물체/생물에 대한 상대 위치를 감지할 수 있다. 본 발명의 다른 실시예에서, 로봇은 베이스에만 레이저 라인 생성기를 갖는다. 본 발명의 로봇은 또한 그 환경에서 소리를 감지할 수 있는 마이크로폰을 포함할 수 있다. 일 실시예에서, 1kHz에서 300mV/Pa +/- 3dB의 감도 및 300Hz 내지 12kHz(1kHz에 대한 -10dB)의 주파수 범위를 갖는 4 개의 마이크로폰이 로봇의 헤드에 이식될 수 있다. 본 발명의 로봇은 또한 환경의 물체/인간까지의 거리를 측정하기 위해 베이스의 전방 및 후방에 위치될 수 있는 2 개의 소나 센서(sonar sensors)(190)를 포함할 수 있다.

로봇은 또한 인간과의 상호 작용을 허용하기 위해 머리와 손에 촉각 센서를 포함할 수 있다. 또한 경로에서 발생하는 장애물을 감지하기 위해 베이스에 범퍼 1B0을 포함할 수 있다.

로봇은 또한 계획된 궤도와 실제 궤도 사이의 차이를 계산함으로써 상부 부재와 접촉하는 물체와의 접촉을 감지할 수 있다. 이 효과에 대한 방법은 n° EP14305848.5 으로 동일한 출원인에 의해 같은 날 출원된 유럽 특허 출원에 개시되어 있다.

그 감정을 변환하고 그 환경에서 인간과 의사소통하기 위해, 본 발명의 로봇은 또한 다음을 포함할 수 있다:

- 예를 들어 눈, 귀 및 어깨에 있는 LED;

- 귀에 위치한 스피커(예: 2 개).

본 발명의 로봇은 이더넷 RJ45 또는 WiFi 802.11 연결을 통해 기지국 또는 다른 로봇과 통신할 수 있다.

본 발명의 로봇은 약 400 Wh의 에너지를 갖는 리튬 철 인산염 배터리에 의해 구동될 수 있다. 로봇은 포함된 배터리 유형에 맞는 충전 스테이션에 액세스할 수 있다.

센서의 측정 관점에서, 로봇의 위치/이동은 각 팔다리에 의해 정의된 체인과 각 팔다리 말단에 형성된 이펙터를 활성화시키는 알고리즘을 사용하여 모터에 의해 제어된다.

센서(160, 170, 180, 190, 1A0 또는 1B0)로부터, 또는 상부 부재와 물체의 접촉의 평가 결과로부터, n° EP14305849.3에 따라 출원된 유럽 특허 출원에 의해 개시된 바와 같이, 로봇의 컴퓨팅 모듈은 그 환경 내 장애물의 로컬 맵을 컴퓨팅할 수 있다.

도 2는 본 발명의 다수의 실시예에서 모바일 장치의 기능적 아키텍처를 도시한다.

모바일 장치(200)는 하나 이상의 디지털 이미지 센서(210)를 포함한다. 본 발명은 임의의 유형의 디지털 이미지 센서로 제한되지 않는다. 하나 이상의 디지털 이미지 센서(210)는 단독으로 또는 조합하여 사용되는, 임의의 유형의 공지된 이미지 센서, 예를 들어 반도체 CCD(Charge-Coupled Device), CMOS(Complementary Metal-Oxide-Semiconductor) 또는 N-MOS(N-type Metal-Oxide Semiconductor) 센서일 수 있다. 위에서 논의된 바와 같이, 도 2는 로봇을 나타내지만, 본 발명의 다양한 실시예에 따르면, 모바일 장치(200)는 임의의 종류의 모바일 장치, 예를 들어 로봇일 수 있다. 도 1은 본 발명의 로봇의 예를 도시한다.

하나 이상의 이미지 센서(210)는 모바일 장치의 환경의 이미지를 캡처한다. 이들은 고정된 속도로, 또는 프로세싱 로직(240)의 요청에 따라, 이미지를 캡처할 수 있다.

모바일 장치(200)는 무선 수신기(220)를 더 포함한다. 본 발명은 무선 송신기를 검출 및 식별할 수 있는 임의의 유형의 무선 수신기로 제한되지 않는다. 예를 들어, 무선 수신기(220)는 Wi-Fi 모듈, 블루투스 모듈, 지그비 모듈 또는 이들의 조합 일 수 있다.

모바일 장치(200)는 하나 이상의 메모리(230)에 대한 통신 링크를 더 포함한다. 본 발명의 다양한 실시예에 따르면, 하나 이상의 메모리(230)는 무선으로 액세스된 거리 장치 상에 위치된 모바일 장치(200) 상에 내장될 수 있다. 또는 이들의 조합도 가능하다.

하나 이상의 메모리(230)는 시각 단어 세트를 저장한다. 위에서 논의된 바와 같이, 시각 단어는 하나 이상의 이미지 센서(210)에 의해 캡처된 이미지의 내용을 설명하기 위한 어휘를 제공한다. 본 발명은 이미지의 내용을 설명할 수 있게하는 임의의 어휘 또는 시각 단어 세트에 제한되지 않는다. 예를 들어, Sivic, J., & Zisserman, A. (2003, October). Video Google: A text retrieval approach to object matching in videos. In null (p. 1470). IEEE에서는 시각 단어를 정의하기 위한 적절한 방법을 개시한다.

하나 이상의 메모리(230)는 무선 단어 세트를 추가로 저장한다. 본 발명의 다양한 실시예에 따르면, 무선 단어는 무선 송신기에 대한 임의의 데이터에 의해 정의될 수 있다. 예를 들어, 무선 단어는 무선 송신기의 식별자에 의해 정의될 수 있다. 무선 송신기의 식별자는 무선 신호를 전송한 무선 송신기의 식별을 허용하는 임의의 정보일 수 있다. 예를 들어, 무선 단어는 Wi-Fi 액세스 포인트의 MAC 어드레스, 블루투스 장치의 어드레스 또는 지그비 장치의 어드레스에 의해 정의될 수 있다.

본 발명의 다수의 실시예에서, 모바일 장치는 단일 프로토콜, 예를 들어 Wi-Fi 액세스 포인트, 블루투스 장치 또는 지그비 장치만을 사용하여 무선 송신기를 검출한다. 본 발명의 다른 실시예에서, 모바일 장치는 상이한 여러 프로토콜, 예를 들어 Wi-Fi 액세스 포인트, 블루투스 장치 및 지그비 장치를 사용하여 무선 송신기를 검출한다. 이를 통해 모바일 장치는 더 많은 소스를 사용하여 자신의 위치를 결정할 수 있다. 이러한 실시예들에서, 무선 단어는 또한 장치의 어드레스에 더하여 사용된 프로토콜을 정의할 수 있다. 본 발명의 다수의 실시예에서, 무선 단어는 무선 송신기의 식별자 및 무선 송신기로부터 모바일 장치에 의해 수신된 무선 신호의 신호 강도의 범위의 조합에 의해 정의된다. 이것은 상이한 범위의 신호 수신에 대해 단일 무선 송신기에 대한 복수의 무선 단어를 정의할 수 있게 한다. 본 발명의 다양한 실시예에 따르면, 임의의 스케일의 신호 강도가 사용될 수 있다. 예를 들어, Wi-Fi 액세스 포인트에 대한 무선 단어는 Wi-Fi 액세스 포인트의 MAC 어드레스와, mW(밀리와트), dBm(밀리와트 대비 상대적인 데시벨) 또는 RSSI(Received Signal Strength Indication) 스케일(가령, 0 내지 255 범위)로 표현되는 와이-파이 신호의 세기의 조합으로, 와이-파이 액세스 포인트에 대해 규정될 수 있다. 본 발명의 다양한 실시예에 따르면, 무선 송신기의 식별자 및 신호 강도 범위의 임의의 적절한 조합이 사용될 수 있다.

예를 들어, Wi-Fi 액세스 포인트에 대응하는 무선 단어는 [0 dBm; -10dBm]의 신호 세기 범위에 대해 MAC 어드레스 M1에 의해 규정될 수 있고, 제 2 무선 단어는 [-10dBm; -20dBm]의 범위의 신호로 수신되는 동일 MAC 어드레스 M1에 의해 동일한 Wi-Fi 액세스 포인트에 대해 규정될 수 있으며, 등등이다. 본 발명의 다수의 실시예에서, 신호 강도는 수신 신호 강도 표시(RSSI)에 대응한다.

본 발명의 다양한 실시예에 따르면, 무선 단어 세트는 다수의 상이한 방식으로 관리될 수 있다.

예를 들어, 무선 단어 세트는 모바일 장치의 환경을 탐색하는 동안 무선 송신기의 검출을 포함하는, 단일 트레이닝 단계 동안 구축될 수 있다. 이 실시예는 예를 들어 상점에서 이동하는 모바일 장치, 또는 보다 일반적으로 상업용 실내 환경에 사용될 수 있다. 낮에는 무선 송신기를 들고 있는 많은 사람들이 이 환경에서 움직일 수 있다(예를 들어 인기있는 Wi-Fi 핫스팟 기능을 사용하는 스마트 폰 또는 Bluetooth가 활성화된 스마트 폰을 가진 경우). 이러한 무선 송신기는 무선 단어 세트에서 추가적인 무선 단어를 생성할 수 있으며, 이는 모바일 방식이거나 사라질 수 있는 무선 송신기에 해당한다. 이러한 세트는 로컬화 방법의 효율성을 저하시킨다. 이 문제를 극복하기 위해, 모바일 장치는 고정된 무선 송신기만이 활성화된 밤에 그 환경을 탐색하고, 이들 고정된 무선 송신기에 대응하는 무선 단어만을 무선 단어 세트에 추가할 수 있다.

본 발명의 다수의 실시예에서, 새로운 무선 송신기가 검출될 때마다 무선 단어가 추가될 수 있다.

그러나, 본 발명은 이들 예에 제한되지 않으며, 무선 단어 세트를 관리하는 임의의 적절한 방법이 사용될 수 있음에 유의해야 한다.

하나 이상의 메모리(230)는 한 세트의 기준 위치를 추가로 저장한다. 본 출원에서, 각각의 기준 위치는 Li로 표시될 것이며, i는 위치의 인덱스이다. 그러나, 본 발명은 이러한 규칙에 제한되지 않으며, 토폴로지 맵에서 위치를 식별할 수 있는 임의의 참조가 사용될 수 있다.

하나 이상의 메모리(230)는 각각의 위치 Li에 대해 기준 위치 벡터를 추가로 저장한다. 기준 위치 벡터는 각각의 위치에 대해 기준 위치에 시각 단어 및 무선 단어 중 어느 것이 존재 또는 부재하는지를 정의한다. 예를 들어, 기준 위치 벡터는 이진 값으로 형성될 수 있으며, 각각의 이진 값은 시각 단어 또는 무선 단어의 존재 또는 부재를 정의한다. 기준 위치 벡터는 위치 Li에서의 시각 관찰 및 무선 수신에 기초하고, 그로부터 어느 시각 단어 및 무선 단어가 해당 위치에 존재하는 지를 결정함으로써 구축될 수 있다.

따라서, 각각의 위치는 기준 위치에서 수행된 하나 이상의 관찰로부터 생성된 기준 위치 벡터와 관련된 토폴로지 노드를 형성한다. 관찰은 시각 및 무선 관찰로 구성된다. 이 두 가지 유형의 관찰은 서로 다른 센서를 사용하여 수행되며, 시각 관찰은 상이한 센서를 이용하여 수행되며, 일반적으로 시각 관찰이 무선 관찰보다 높은 속도로 수집된다. 본 발명의 다양한 실시예에 따르면, 시각 및 무선 관찰은 다수의 상이한 방식으로 단일 기준 위치 벡터에 병합될 수 있다. 예를 들어, 탐색 단계에서 시각 관찰은 가장 가까운 무선 관찰과 연관될 수 있다. 시각 관찰과 무선 관찰 사이의 거리는 예를 들어 오도메트리(odometry)에 의해, 또는 관찰의 타임 스탬프를 비교하고 가장 가까운 시간의 시각 관찰 벡터를 무선 관찰 벡터에 추가함으로써, 계산될 수 있다.

모바일 장치(200)는 프로세싱 로직(240)에 대한 통신 링크를 더 포함한다. 본 발명의 다양한 실시예들에 따르면, 프로세싱 로직(240)은 모바일 장치에 온보드 방식으로 위치하거나 원격 머신에 위치하여 원격으로 액세스될 수 있다. 후자의 경우는, 예를 들어, 모바일 장치가 제어 장치(예를 들어 스마트 폰, 서버 또는 개인용 컴퓨터)로부터 제어되는 경우 수행될 수 있다.

프로세싱 로직(240)은 상기 하나 이상의 디지털 이미지 센서로부터 환경의 이미지를 획득하기 위한 적응 메커니즘(241)을 포함한다. 본 발명의 다수의 실시예에서, 적응 메커니즘(241)은 하나 이상의 디지털 이미지 센서(210)로부터 이미지를 주기적으로 수신한다. 예를 들어, 적응 메커니즘(241)은 초당 25 개의 이미지를 수신할 수 있다. 본 발명의 다른 실시예에서, 적응 메커니즘(241)은 필요할 때마다 이미지를 캡처하기 위해 하나 이상의 이미지 센서(210)에 명령을 전송한다. 모바일 장치가 하나보다 많은 디지털 이미지 센서를 포함하는 실시예에서, 적응 메커니즘(241)은 복수의 디지털 이미지 센서로부터 수신된 이미지를 단일 이미지로 조립하도록 구성될 수 있다.

프로세싱 로직(240)은 무선 수신기(220)를 사용하여 수신가능 무선 송신기를 검출하기 위한 적응 메커니즘(242)을 더 포함한다. 본 발명의 다수의 실시예에서, 무선 수신기(220)는 Wi-Fi 서명을 주기적으로 수집하는 Wi-Fi 모듈이다. 즉, 이는 대응하는 MAC 어드레스를 갖는 수신가능한 무선 액세스 포인트의 목록 및 신호가 수신되는 강도(RSSI)를 포함한다.

프로세싱 로직은 이미지 내의 시각 단어의 존재 또는 부재, 및 수신가능 무선 송신기를 사용하여 무선 단어의 존재 또는 부재를 정의하는 관찰 벡터를 생성하기 위한 적응 메커니즘(243)을 더 포함한다. 현재의 설명에서 관찰 벡터는 일반적으로 Z로 표시될 것이다.

따라서, 관찰 벡터는 모바일 장치에 의해 현재 위치에서 어느 시각 단어 및 무선 단어가 검출되는지를 표시한다. 기준 위치 벡터와 유사하게, 본 발명은 임의의 형태의 관찰 벡터로 제한되지 않으며, 관찰 벡터는 특히, 이미지에서 각각의 시각 단어의 존재 또는 부재, 및 수신가능 무선 송신기에 따라 각각의 무선 단어의 존재 또는 부재를 표시하는 이진 값들로 형성될 수 있다.

시각 및 무선 관찰이 일관되게하기 위해, 시각 및 무선 관찰은 동일한 시간 프레임 내에서 수행될 필요가 있다. 본 발명의 다수의 실시예에서, 캡쳐 시간이 사전 정의된 임계 값 미만인 경우, 시각 및 무선 관찰로부터 관찰 벡터가 형성된다. 일반적으로 시각 관찰은 무선 관찰보다 빠른 속도로 수행된다. 본 발명의 다수의 실시예에서, 수신가능 무선 송신기를 나타내는 무선 관찰은 적응 메커니즘(242)에 의해 주기적으로 수행되고, 가장 최근의 시간에 하나 이상의 이미지 센서(210)에 의해 캡처된 무선 관찰 및 시각 관찰로부터 각각의 시간 단계에서, 관찰 벡터가 생성된다. 가장 가까운 시간에 캡처된 시각 관찰의 결정은 예를 들어 시각 및 무선 관찰의 타임 스탬프를 비교함으로써 수행될 수 있다.

시각 단어의 검출은 다수의 상이한 방식으로 수행될 수 있다. 예를 들어, 단어 백 방식은 Sivic, J., & Zisserman, A. (2003, October), "Video Google: A text retrieval approach to object matching in videos", In Computer Vision, 2003, Proceedings Ninth IEEE International Conference on IEEE pp. 1470-1477 에서 기술된 문장 표현(Bag of Words)이 사용될 수 있다. 이 접근법은 이미지의 키포인트 디스크립터를 추출하고, 이러한 디스크립터를 어휘의 단어와 연관시키는 것으로 구성된다. 따라서, 어휘에 N 개의 시각 단어가 포함된 경우, 관찰 벡터 Z(및 기준 위치 벡터)는 이미지 내 해당 시각 단어의 존재 또는 부재를 나타내는 N개의 이진 값을 포함할 것이다.

본 발명의 다수의 실시예에서, 어휘는 오프라인 학습 단계에서 오고, 예를 들어 큰 이미지 데이터베이스로부터 추출된 키포인트 디스크립터에 대해 k- 평균(k-means)과 같은 클러스터링 방법을 사용하여 구축될 수 있다. 이러한 데이터베이스는 무작위로 선택된 이미지, 또는 모바일 장치의 환경의 이미지와 유사한 이미지로부터 형성될 수 있다. 예를 들어, 모바일 장치가 사무실 환경에서 작동하도록 의도된 경우, 실내 사무실의 이미지 데이터베이스를 사용하여 시각 단어 세트를 구축할 수 있다. 그러나, 본 발명은 시각적 디스크립터의 어휘를 구축하는 임의의 특정 수단으로 제한되지 않으며, 임의의 적절한 어휘가 사용될 수 있다. 오프라인 학습 단계는 다수의 상이한 장치, 예를 들어 모바일 장치 자체, 컴퓨터 또는 서버에 의해 수행될 수 있다.

프로세싱 로직(240)은 상기 관찰 벡터 및 상기 기준 위치 벡터에 기초하여 적어도 기준 위치 세트 중 모바일 장치의 현재 위치를 결정하기 위한 적응 메커니즘(244)을 더 포함한다.

본 발명의 다수의 실시예에서, 가장 관련성이 높은 기준 위치가 모바일 장치의 현재 위치로 선택된다.

모바일 장치의 현재 위치의 결정은 다수의 상이한 방식으로 수행될 수 있다. 예를 들어, 관찰 벡터를 관찰할 가능성은 각각의 기준 위치에 대해 계산될 수 있다. 이것은 여러 가지 다른 방식으로 수행될 수 있다. 일반적으로, 관찰 벡터와 기준 위치 벡터 사이의 유사성이 높을수록, 모바일 장치가 대응하는 기준 위치에 있을 가능성이 높아진다. 예를 들어, 관찰 벡터와 기준 위치 벡터에 동시에 존재하는 단어의 수를 계산할 수 있고, 모바일 장치의 현재 위치는 관찰 벡터와 공통인 최고 개수의 단어들을 가진 기준 위치 벡터를 가진 기준 위치로 결정된다.

본 발명의 다수의 실시예에서, 적응 메커니즘(244)은 관찰시 단어 사이에 존재하는 상관을 사용한다. 예를 들어, 특정 시각 단어는 종종 동시에 감지되며, 이러한 시각 단어의 동시 감지는 로봇이 특정 기준 위치에 있을 수 있다는 강력한 표시이다. 유사하게, 무선 단어가 가까운 곳에 위치한 무선 송신기에 대응하여 종종 동일한 시간에 검출될 때, 무선 단어 사이의 일부 상관 관계가 결정될 수 있다.

본 발명의 다수의 실시예에서, 적응 메커니즘(244)은 각각의 기준 위치에 대해, 모바일 장치가 기준 위치에 있을 때, 관찰 벡터, 대응하는 기준 위치 벡터, 및 시각 및/또는 무선 단어의 검출 간 상관 관계를 나타내는 상관 트리에 기초하여 대응하는 참조를 기초로하여 관찰 벡터를 관찰할 가능성을 계산한다. 본 발명의 다수의 실시예에서, 트리는 차우-류우 트리(Chow-Liu tree)이다. 이러한 검출의 예는 도 3을 참조하여 더 상세하게 제공된다.

본 발명의 다른 실시예에서, 적응 메커니즘(244)은 현재 기준 위치 중 어느 것도 관찰 벡터와 일치하지 않을 때, 모바일 장치가 미지의 위치에 있음을 검출하도록 구성된다. 이 경우에, 프로세싱 로직은 현재 관찰 벡터인 기준 위치 벡터를 가진 기준 위치를 추가하기 위한 적응 메커니즘을 더 포함한다.

도 3은 본 발명의 다수의 실시예에서 데이터 구조에 대한 동작을 나타내는 흐름도를 도시한다.

도 3을 참조하여 논의된 동작은 단지 예로서 제공되며, 본 발명의 범위를 제한하지 않는다. 도 3에 제공된 예제는 Chow-Liu 트리를 사용하여 단어 사이의 상관 관계를 정의하고 관찰 벡터를 기반으로 모바일 장치가 각 기준 위치에 있을 확률을 컴퓨팅한다. 도 3의 예에서 로봇은 이미지와 Wi-Fi의 조합을 사용하여 자신의 위치를 결정한다. 따라서 도 3의 예에서 무선 단어는 Wi-Fi 액세스 포인트에만 관련하여 정의된다. 위에서 강조된 바와 같이, 본 발명은 다른 종류의 무선 송신기에도 적용될 수 있으며, 다른 유형의 무선 송신기들이 동일한 모바일 장치에 의해 검출될 수 있다.

도 3에 표시된 데이터 구조에 대한 동작은 연속적인 시간 단계에서 수행될 수 있고, 시간 단계는 k로 표시되며, k = 1, 2, 3,… 이다.

전술한 바와 같이, 이미지(310)는 적응 메커니즘(241)에 의해 획득되고, 수신가능한 무선 액세스 포인트는 예를 들어 Wi-Fi 서명(320)의 형태로 적응 메커니즘(242)에 의해 검출된다.

적응 메커니즘(243)은 시각 단어(333) 세트로부터 이미지(310)에 존재하는 시각 단어(331)를 식별한다. 또한, Wi-Fi 서명(334)에 존재하는 무선 단어(332)를 식별한다. 마지막으로, 적응 메커니즘(243)은 각각의 시각 단어 및 무선 단어의 존재 또는 부재를 나타내는 이진 값을 포함하는 관찰 벡터 Z_k(330)을 단계 k에서 형성한다.

전술한 바와 같이, 본 발명의 다수의 실시예에서, 무선 단어는 Wi-Fi 액세스 포인트의 MAC 어드레스에 의해서만 정의된다. 이 경우, 대응하는 MAC 어드레스를 갖는 액세스 포인트가 Wi-Fi 서명(320)에 존재하면 무선 단어가 존재한다. 본 발명의 다른 실시예에서, 무선 단어는 MAC 어드레스 및 신호 강도의 범위의 두가지를 특징으로 한다. 이 경우, Wi-Fi 서명이 대응하는 MAC 어드레스 및 신호 강도(예를 들어 RSSI에 의해 정의됨)를 갖는 Wi-Fi 액세스 포인트를 포함하는 경우 무선 단어가 존재한다.

도 3의 예에서, 관찰 벡터(Z_k)는 시각 관찰 벡터(Z_vision)와 Wi-Fi 관찰 벡터(Z_Wi-Fi)의 연결로부터 형성된다. 벡터 Z_vision의 크기는 시각 단어 세트(333)의 크기와 동일하고, 벡터 Z_Wi-Fi의 크기는 무선 단어 세트(334)의 Wi-Fi 단어의 수와 동일하다.

관찰 벡터가 획득되면, 적응 메커니즘(244)은 모바일 장치가 위치 Li에 있을 때 벡터 Zk가 관찰될 확률 p(Zk | Li)를 각각의 기준 위치 Li에 대해 컴퓨팅한다. 이 확률은 어휘의 상이한 단어들 간의 상관 관계를 캡처하는 Chow-Liu 트리를 사용하여 계산된다. 본 발명의 다수의 실시예에서, 2 개의 분리된 차우-류우 트리가 사용되는데, 하나는 시각 단어 사이의 상관을 캡처하기 위한 것이고 다른 하나는 무선 단어 사이의 상관을 캡처하기 위한 것이다.

본 발명의 다수의 실시예에서, 적응 메커니즘(244)은 또한 모바일 장치가 미지의 위치에 있을 때 관찰 벡터를 획득할 확률을 컴퓨팅한다. "정규화"(normalizaton)라고도 하는 이 동작은 미지의 위치에서 관찰 벡터가 얻어지지 않았음을 보장한다. 이는 모바일 장치가 해당 환경을 완전히 탐색하지 않은 경우 특히 유용하다.

이것은 임의의 미지의 세계를 형성하는 실제 위치로부터의 이미지 데이터베이스를 사용하고, 미지의 세계의 기준 위치 벡터의 세트를 얻기 위해 이들 이미지에 존재하는 시각 단어를 검출함으로써, 시각 단어에 대해 수행될 수 있다. 이어서, 미지의 위치로부터 관찰 벡터가 획득될 확률은 각각의 미지의 세계 기준 위치 벡터로부터 얻기 위한 확률들의 합으로서 계산될 수 있다.

이 해결책은 시각 단어의 경우 만족스럽다. 실제로 시각 단어는 여러 가지 상이한 출처와 위치들의 이미지에서 발견되는 물체나 모양을 나타낸다. 따라서, 시각 단어 세트로부터의 이러한 시각 단어는 임의의 소스로부터의 이미지에서 식별될 수 있으며, 이에 따라 적합한 미지 세계의 기준 위치 벡터를 제공한다. 그러나 무선 단어와 동일한 방법을 사용하는 것은 효과적이지 않다. 실제로, 임의로 수집된 Wi-Fi 서명과 같은 무선 신호는 실제로 모바일 장치의 환경에 관련된 임의의 무선 단어를 가질 기회가 전혀 없으며, 이는 임의적 장소에서 수집된 Wi-Fi MAC 어드레스와 같은 무선 송신기의 식별자가, 정의에 의해, 모바일 장치의 환경에서 수집된 무선 송신기의 식별자와 상이하기 때문이다.

이 문제를 극복하기 위해, 적어도 무선 단어 세트(334)에 기초하여 무선 단어의 랜덤 분포를 생성함으로써, 무선 단어와 관련된 미지 세계의 기준 위치 벡터 세트가 구축될 수 있다. 예를 들어, 모바일 장치가 환경을 탐색할 때 수집된 Wi-Fi 서명에서 인식된 액세스 포인트 수의 평균 μ 및 표준 편차 σ를 컴퓨팅하여, WiFi 서명에서 인식된 액세스 포인트 수의 정규 분포 N(μ, σ)을 획득하는 것이 가능하다. 따라서, 정규 분포 N(μ, σ)을 따르는 크기를 가진 Wi-Fi 서명을 생성함으로써, 그리고 미지의 세계에 대한 인위적 기준 위치 벡터를 구축하기 위해 Wi-Fi 서명에 존재하는 무선 단어를 검증함으로써 다수 n_s의 가상 위치가 규정될 수 있다. 본 발명의 다양한 실시예에 따르면, Wi-Fi 서명은 무선 단어 세트(334)에 대응하는 무선 액세스 포인트만을 이용하여, 또는 미지의 위치로부터의 무선 액세스 포인트 및 무선 단어 세트(334)에 대응하는 무선 액세스 포인트의 조합을 사용하여, 구축될 수 있다.

정규화의 출력에서, 적응 메커니즘(244)은 예를 들어 아래 공식을 사용하여 각각의 위치 Li에 있을 확률을 계산할 수 있다:

여기서:

Z_k는 단계 k에서의 관찰 벡터이고;

Z^k는 단계 k까지의 관찰 벡터의 집합이며(역으로, Z^k-1은 단계 k-1까지의 관찰 벡터의 단계이고);

보다 간단하게 알 수 있는

로 표시되는

는 단계 k에서 위치

로부터 관찰 벡터를 관찰할 확률이고;

은 이전 시간 단계에서 관찰치 Z^k-1 세트를 기반으로 위치

에 있을 확률이다. 따라서 이 용어는 이전 위치에 대한 지식과, 현재 위치에 대한 통찰력을 제공하기 위해 토폴로지 노드 간의 관계를 사용한다.

정규화 항이라고도 하가은 이전 관찰 벡터 Z^k-1의 세트에 기초하여 관찰 벡터 Z_k를 관찰할 수 있는 전역 확률을 제공한다.

이 정규화 단계의 용어

및

는 예를 들어 Cummins, M., & Newman, P. (2008), FAB-MAP: "Probabilistic localization and mapping in the space of appearance", The International Journal of Robotics Research, 27(6), 647-665 and Cummins, M., & Newman, P. (2011), "Appearance-only SLAM at large scale with FAB-MAP 2.0", The International Journal of Robotics Research, 30(9), 1100-1123에 의해 개시된 FABMAP 알고리즘에 사용된 정규화와 유사한 방식으로 계산될 수 있다

정규화의 출력에서, 적응 메커니즘(344)은 관찰 벡터 Z_k 및 이전 단계에서의 관찰 벡터에 기초하여, 모바일 장치가 각각의 기준 위치 L₁, L₂에 있는 확률 p(L₁, Z^k), p(L₂, Z^k),...의 세트(350)를 계산한다. 따라서, 가장 높은 확률을 갖는 위치가 현재 위치로서 선택될 수 있다. 위의 방정식에서 정규화 항을 사용하면, 모든 확률의 합은 1과 같다.

미지의 위치가 가장 높은 확률을 갖는 위치로 선택되는 경우, 모바일 장치는 이전에 탐색되지 않은 위치에 있음을 이해할 수 있다. 따라서, 기준 위치 벡터 로서 현재 관찰 벡터 Z^k를 갖는 새로운 기준 위치가 추가될 수 있다.

일부 경우에, 모바일 장치가 그 환경의 새로운 위치를 탐색할 때, 무선 단어 세트(334)에 존재하지 않는 새로운 무선 액세스 포인트가 수신가능해질 수 있다. 이 경우에, 세트(334)에 존재하는 무선 단어 외에, Wi-Fi 서명(320)은 새로운 무선 액세스 포인트를 포함할 수 있다. 이 경우, 대응하는 무선 단어가 정의되어 무선 단어 세트(334)에 추가될 수 있다. 따라서, 모든 기준 위치 벡터는 각각의 기준 위치에서 새롭게 정의된 무선 단어의 존재 또는 부재를 정의하는 새로운 이진 값으로 확장되어야 한다. 모바일 장치가 새로운 무선 액세스 포인트 검출없이 다른 기준 위치를 이미 방문했기 때문에, 무선 단어가 검출되면 현재 위치에 존재하고 다른 모든 기준 위치에는 존재하지 않는 것으로 가정될 수 있다. 따라서, 새로운 무선 단어의 존재를 정의하는 이진 값이 현재 위치의 기준 위치 벡터에 추가될 수 있고, 다른 모든 기준 위치 벡터에서 새로운 무선 단어의 부재를 정의하는 이진 값이 추가될 수 있다.

이 예는 FABMAP 알고리즘의 프레임 워크 내에서 본 발명의 실시예의 예시로만 제공된다. 그러나, 본 발명은 이 예에 제한되지 않으며, 필요에 따라 시각적 및/또는 Wi-Fi 단어의 정의의 적응 메커니즘을 사용하여 임의의 위상 위치 프레임 워크 내에서 구현될 수 있다.

도 4는 본 발명에 따른 모바일 장치 환경의 맵 및 2 개의 이미지를 표시한다.

환경(400)은 사무실 건물의 바닥이다. 토폴로지 노드는 오피스 빌딩의 다수의 위치, 예를 들어 제 1 위치(410) 및 제 2 위치(420)를 정의할 수 있다. 이미지(411)는 제 1 위치(410)의 뷰를 제공하고 이미지(421)는 제 2 위치(420)의 뷰를 제공한다. 도 4에 도시된 바와 같이, 이미지(421 및 422)는 매우 유사하며 많은 시각적 특징을 공유한다. 이 상황은 사무실 환경에서 매우 흔하다.

그러나, 시각적 특징에만 기초한 로컬화는 실행하기 매우 어려운데, 왜냐하면, 제 1 위치(410) 및 제 2 위치(420)와 같은 위치를 시각적 특징에만 기초하여 구분하는 것이 어렵기 때문이다.

무선 송신기로부터 수신된 신호는 그러한 환경에서 모바일 장치의 위치를 정확하게 식별하기 위한 귀중한 통찰력을 제공할 수 있다.

예를 들어, Wi-Fi 액세스 포인트는 범위(430) 내에서 수신가능하고, 고정된 블루투스 장치에 의해 방출된 블루투스 신호는 범위(440) 내에서 수신가능하다. 따라서, 모바일 장치가 위치(410)에 있을 때 Wi-Fi 무선 액세스 포인트만 검출하고, 모바일 장치가 제 2 위치(420)에 있을 때는, Wi-Fi 액세스 포인트 및 고정 블루투스 장치를 모두 검출한다. 이 정보는 강력하며, 사무실의 벽에서 폐색되지 않는다. 따라서, 본 발명의 모바일 장치는 상술한 바와 같이 이 정보를 이용하여 제 1 위치와 제 2 위치를 구별할 수 있다.

본 발명의 다수의 실시예에서, (예를 들어, Wi-Fi 액세스 포인트로부터 수신된 신호의 경우 Wi-Fi 서명의 RSSI 필드를 통한) 무선 신호의 신호 강도의 사용은 무선 정보추가의 개선을 가능하게 한다. 예를 들어, Wi-Fi 액세스 포인트의 신호는 범위(431) 내에서 -30 dBm보다 높은 강도와, 범위(431 및 430) 사이에서 -30 dBm보다 낮은 신호 강도로 수신될 수 있다. 따라서 두 개의 개별 무선 단어는 -30 dBm 이하 또는 이상의 강도로 Wi-Fi 액세스 포인트에서 신호를 수신하도록 정의할 수 있다. 이 예에서, 신호는 제 1 위치(410)에서 -30 dBm보다 높은 신호 강도 및 제 2 위치(420)에서 -30 dBm보다 낮은 신호 강도로 수신된다. 따라서, 이 정보는 제 1 위치(410)와 제 2 위치(420) 사이에서 모바일 장치의 위치를 추가로 구별할 수 있게 한다.

도 5a 및 5b는 본 발명 및 종래 기술에 따른 시각 및/또는 Wi-Fi 정보를 사용하는 모바일 장치 로컬화 방법의 로컬화 에러율의 두 가지 예를 도시한다.

도 5a 및 5b는 관련 토폴로지 노드에 대응하는 모바일 장치의 추정된 포즈와 (정확한 위치에 대응하는) 모바일 장치의 실제 포즈 간의 거리(d)에 따른 시각 정보 및 Wi-Fi 정보의 조합을 사용하여 상이한 위치결정 방법의 에러율(즉, 잘못된 위치의 상대량)을 더 구체적으로 표시한다. 도 5a 및 5b에 도시된 예는 보다 구체적으로 로봇 위치에 관한 것이다.

수직축(501a, 501b)은 실험 시험 동안의 다수의 잘못된 로컬화를 시험 동안의 총 로컬화 수로 나눈 것으로서, 에러율을 나타낸다. 축(501b)의 방향은 축(501a)의 방향과 비교하여 반전되고, 비네트(570)는 낮은 거리 및 낮은 에러율로의 줌을 나타낸다.

도 5a 및 5b에서, 곡선은 각각 다음을 나타낸다:

- 곡선(510a, 510b 및 511b): 본 발명에 따른 로컬화 방법의 거리에 따른 에러율의 변화;

- 곡선(520a, 520b 및 521b): 시각적 로컬화를 순차적으로 수행한 다음 Wi-Fi 정보에 기초하여 이 로컬화를 점검하는 위치 결정 방법의 거리에 따른 에러율의 변화;

- 곡선(530a, 530b 및 531b): 시각 정보만을 기초로한 로컬화 방법의 거리에 따른 에러율의 변화;

- 곡선(540a, 540b 및 541b): Wi-Fi 기반 로컬화에 이어 시각 정보를 이용하여 이 로컬화를 개선시키는 방법의 거리에 따른 에러율의 변화;

- 곡선(550a, 550b 및 551b): Wi-Fi 기반 로컬화와 시각적 기반 로컬화를 개별적으로 수행하고, 그 후, 입자 필터를 사용하여 정보를 융합시키는 로컬화 방법의 거리에 따른 에러율의 변화;

- 곡선(560a, 560b 및 561b): Wi-Fi만을 기반으로하는 로컬화 방법의 거리에 따른 에러율의 변화.

도 5a 및 5b는 본 발명의 로컬화 방법이 모든 거리에서 다른 모든 시각적, Wi-Fi 또는 혼합 방법보다 훨씬 우수한 로컬화 결과를 제공함을 분명히 보여준다.

도 6은 본 발명에 따른 방법의 예를 도시한다.

방법(600)은 그 환경에서 모바일 장치의 위치 결정 방법이다.

방법(600)은 모바일 장치에 탑재된 하나 이상의 디지털 이미지 센서로부터 모바일 장치의 환경 이미지를 획득하는 제 1 단계(610)를 포함한다.

방법(600)은 상기 모바일 장치의 온보드 무선 수신기를 사용하여 수신가능 무선 송신기를 검출하는 제 2 단계(620)를 더 포함한다.

방법(600)은 시각 단어 세트와, 적어도 무선 송신기의 식별자에 의해 정의되는 무선 단어들로 구성된 무선 단어 세트와, 대응하는 기준 위치에서, 시각 단어 및 무선 단어의 존재 또는 부재를 규정하는 이진 값들을 포함하는 기준 위치 벡터와 각각 관련된 기준 위치들을 가진 기준 위치 세트를 저장하는 메모리에 액세스하는 제 3 단계(630)를 더 포함한다.

방법(600)은 이미지에서 시각 단어의 존재 또는 부재를 정의하는 이진 값, 및 수신가능한 무선 전파 송신기를 사용하여 무선 단어의 존재 또는 부재를 정의하는 이진 값을 포함하는 관찰 벡터를 생성하는 제 4 단계(640)를 더 포함한다.

방법(650)은 모바일 장치의 현재 위치가 상기 관찰 벡터 및 상기 기준 위치 벡터에 기초하여 상기 기준 위치들 중 하나에 있는지를 결정하는 제 5 단계를 더 포함한다.

도 1 내지 도 4를 참조하여 논의된 모든 실시예는 방법(600)에 각각 적용 가능하다.

전술한 예는 본 발명의 실시예의 비 제한적 예시로서 제공된다. 이들은 다음의 청구 범위에 의해 정의된 본 발명의 범위를 제한하지 않는다.

Claims (15)

1. 모바일 장치(200)로서,
   - 하나 이상의 디지털 이미지 센서(210);
   - 무선 수신기(220);
   - 하나 이상의 메모리(230)에 대한 통신 링크;
   - 프로세싱 로직(240)에 대한 통신 링크를 포함하되,
   상기 메모리는,
   o 시각 단어 세트(333);
   o 적어도 무선 송신기의 식별자에 의해 정의되는 무선 단어들을 가진 무선 단어 세트(334);
   o 대응하는 기준 위치에서 시각 단어 및 무선 단어의 존재 또는 부재를 각각 정의하는 이진 값들을 포함하는 기준 위치 벡터와 각각 관련된 기준 위치들을 가진 기준 위치 세트를 저장하며,
   상기 프로세싱 로직(240)은,
   o 상기 하나 이상의 디지털 이미지 센서로부터 모바일 장치의 환경의 이미지(310)를 획득하기 위한 적응 메커니즘(241);
   o 상기 무선 수신기를 사용하여 수신가능 무선 송신기(320)를 검출하기 위한 적응 메커니즘(242);
   o 이미지에서 시각 단어(331)의 존재 또는 부재를 정의하는 이진 값(335) 및 수신가능 무선 송신기에서 무선 단어(332)의 존재 또는 부재를 정의하는 이진 값(336)을 포함하는 관찰 벡터(330)를 생성하기 위한 적응 메커니즘(243); 및
   o 상기 관찰 벡터 및 상기 기준 위치 벡터에 기초하여 적어도 기준 위치 세트 중에서 모바일 장치의 현재 위치를 결정하기 위한 적응 메커니즘(244, 344)을 포함하며,
   상기 모바일 장치의 현재 위치를 결정하기 위한 적응 메커니즘은, 상기 모바일 장치가 대응하는 기준 위치에 있을 때 관찰 벡터를 관찰할 가능성을 기준 위치 벡터에 대하여 계산하기 위한 적응 메커니즘을 포함하는, 모바일 장치.
2. 삭제
3. 제 1 항에 있어서, 상기 모바일 장치가 대응하는 기준 위치에 있을 때 관찰 벡터를 관찰할 가능성을 상기 기준 위치 벡터에 대하여 계산하는 것은 상기 관찰 벡터, 상기 기준 위치 벡터, 및 상기 관찰 및 기준 위치 벡터의 요소들의 상관 트리에 기초하는, 모바일 장치.
4. 제 1 항 또는 제 3 항에 있어서, 상기 프로세싱 로직은, 상기 모바일 장치의 현재 위치가 상기 기준 위치들 중 하나에 있는지 여부를 결정하기 위한 상기 적응 메커니즘이, 상기 모바일 장치가 상기 기준 위치들 중 어느 것에도 속하지 않았다고 결정하였을 때, 관찰 벡터를 기준 위치 벡터로 가진 추가 기준 위치를 기준 위치 세트에 추가하기 위한 적응 메커니즘을 더 포함하는, 모바일 장치.
5. 제 1 항 또는 제 3 항에 있어서, 상기 무선 단어 세트는 상기 환경의 탐색 중 무선 송신기의 검출을 포함하는 단일 트레이닝 단계 동안 구축되는, 모바일 장치.
6. 제 1 항 또는 제 3 항에 있어서, 상기 프로세싱 로직은, 상기 무선 수신기를 사용하여 수신가능 무선 송신기를 검출하기 위한 상기 적응 메커니즘이, 상기 무선 단어들 중 어느 것과도 관련이 없는 수신가능 무선 송신기를 검출한 경우, 상기 수신가능 무선 송신기와 관련된 무선 단어를 상기 무선 단어 세트에 추가하기 위한 적응 메커니즘을 더 포함하는, 모바일 장치.
7. 제 4 항에 있어서, 상기 수신가능 무선 송신기와 관련된 무선 단어를 추가하기 위한 상기 적응 메커니즘은 다음을 추가하기 위해 기준 위치 벡터를 수정하기 위한 적응 메커니즘을 포함하는, 모바일 장치.
   - 현재 위치에 대응하는 기준 벡터에서의 상기 무선 단어의 존재를 나타내는 이진 값;
   - 서로 다른 기준 위치에 상기 무선 단어의 부재를 나타내는 이진 값.
8. 제 1 항에 있어서, 상기 모바일 장치의 현재 위치를 결정하기 위한 상기 적응 메커니즘은 상기 기준 위치 벡터와, 관찰 및 기준 벡터의 요소들 간의 상관 관계에 기초하여, 모바일 장치가 각각의 기준 위치에 있을 때 관찰 벡터를 관찰할 가능성을 각각의 기준 위치에 대해 컴퓨팅하기 위한 적응 메커니즘을 포함하는, 모바일 장치.
9. 제 8 항에 있어서, 상기 모바일 장치가 각각의 기준 위치에 있을 때 상기 관찰 벡터를 관찰할 가능성을 각각의 기준 위치에 대해 컴퓨팅하기 위한 상기 적응 메커니즘은 시각 단어와 관련된 요소들과 무선 단어들에 관련된 요소들과의 상관 관계를 개별적으로 컴퓨팅하기 위한 적응 메커니즘을 포함하는, 모바일 장치.
10. 제 9 항에 있어서, 상기 모바일 장치의 현재 위치를 결정하기 위한 상기 적응 메커니즘은 적어도 무선 단어 세트로부터 임의적으로 생성된 수신가능 무선 송신기들의 인위적 목록을 이용하여 구축된 인위적 기준 위치 벡터 세트에 기초하여, 상기 모바일 장치가 미지의 위치에 있을 때 관찰 벡터를 관찰할 확률을 컴퓨팅하기 위한 적응 메커니즘을 포함하는, 모바일 장치.
11. 제 1 항에 있어서,
    - 무선 단어는 대응하는 무선 송신기로부터 수신된 신호 강도의 범위에 의해 추가로 정의되며;
    - 무선 수신기가 대응하는 신호 강도로 대응하는 무선 송신기로부터 신호를 수신하는 경우, 관찰 벡터를 생성하기 위한 상기 적응 메커니즘은 무선 단어가 관찰 벡터에 존재함을 나타내기 위한 적응 메커니즘을 포함하는, 모바일 장치.
12. 제 1 항에 있어서, 상기 모바일 장치의 현재 위치를 결정하기 위한 상기 적응 메커니즘은:
    - 상기 관찰 벡터 및 상기 기준 위치 벡터에 기초하여 모바일 장치가 각각의 기준 위치에 있을 확률(350)을 계산하기 위한 적응 메커니즘과;
    - 모바일 장치의 현재 위치가 최고 확률을 가진 기준 위치임을 결정하기 위한 적응 메커니즘을 더 포함하는, 모바일 장치.
13. 제 12 항에 있어서,
    - 모바일 장치가 각각의 기준 위치에 있을 확률을 계산하기 위한 상기 적응 메커니즘은 모바일 장치가 미지의 위치에 있을 확률을 계산하기 위한 적응 메커니즘을 더 포함하고;
    - 모바일 장치가 기준 위치에 있을 확률과 모바일 장치가 미지의 위치에 있을 확률의 합은 1인, 모바일 장치.
14. 방법(600)에 있어서,
    - 모바일 장치에 탑재된 하나 이상의 디지털 이미지 센서로부터 모바일 장치의 환경의 이미지를 획득하는 단계(610);
    - 상기 모바일 장치에 탑재된 무선 수신기를 사용하여 수신가능 무선 송신기를 검출하는 단계(620);
    - 메모리에 액세스하는 단계(630); 상기 메모리는:
    o 시각 단어 세트(333);
    o 적어도 무선 송신기의 식별자에 의해 정의되는 무선 단어들을 가진 무선 단어 세트(334);
    o 대응하는 기준 위치에서 시각 단어 및 무선 단어의 존재 또는 부재를 각각 정의하는 이진 값들을 포함하는 기준 위치 벡터와 각각 관련된 기준 위치들을 가진 기준 위치 세트를 저장함;
    - 이미지에서 시각 단어의 존재 또는 부재를 정의하는 이진 값(335) 및 수신가능 무선 송신기에서 무선 단어의 존재 또는 부재를 정의하는 이진 값(336)을 포함하는 관찰 벡터를 생성하는 단계(640); 및
    - 상기 관찰 벡터 및 상기 기준 위치 벡터에 기초하여 적어도 기준 위치 세트 중에서 모바일 장치의 현재 위치를 결정하는 단계(650)를 포함하며,
    상기 모바일 장치의 현재 위치를 결정하는 단계는, 상기 모바일 장치가 대응하는 기준 위치에 있을 때 관찰 벡터를 관찰할 가능성을 기준 위치 벡터에 대하여 계산하는 단계를 포함하는, 방법.
15. - 모바일 장치에 탑재된 하나 이상의 디지털 이미지 센서로부터 모바일 장치의 환경의 이미지를 획득하도록 구성되고;
    - 상기 모바일 장치에 탑재된 무선 수신기를 사용하여 수신가능 무선 송신기를 검출하도록 구성되며;
    - 메모리에 액세스하도록 구성되고; 상기 메모리는,
    o 시각 단어 세트;
    o 적어도 무선 송신기의 식별자 어드레스에 의해 정의되는 무선 단어들을 가진 무선 단어 세트;
    o 대응하는 기준 위치에서 시각 단어 및 무선 단어의 존재 또는 부재를 각각 정의하는 이진 값들을 포함하는 기준 위치 벡터와 각각 관련된 기준 위치들을 가진 기준 위치 세트를 저장하고,
    - 이미지에서 시각 단어의 존재 또는 부재를 정의하는 이진 값(335) 및 수신가능 무선 송신기를 이용하여 무선 단어의 존재 또는 부재를 정의하는 이진 값(336)을 포함하는 관찰 벡터를 생성하도록 구성되며,
    - 상기 관찰 벡터 및 상기 기준 위치 벡터에 기초하여 적어도 기준 위치 세트 중에서 모바일 장치의 현재 위치를 결정하도록 구성되며,
    상기 모바일 장치의 현재 위치를 결정하는 구성은, 상기 모바일 장치가 대응하는 기준 위치에 있을 때 관찰 벡터를 관찰할 가능성을 기준 위치 벡터에 대하여 계산하도록 구성되는,
    컴퓨터 코드 명령어를 포함하는 컴퓨터 판독가능 기록 매체에 저장된 컴퓨터 프로그램.

Images