KR20220046504A - 보행자용 핸즈프리 네비게이션 시스템 및 방법 - Google Patents

Abstract

보행자용 핸즈프리 네비게이션 방법은, 사용자의 머리에 (i) 사용자의 시선 앞에 시각적 이미지를 투영하기 위한 디스플레이, 및 (ii) IMU를 장착하는 단계, 및 사용자가 소지한 GPS 유닛으로부터 사용자를 컴퓨터화된 맵 안에서 위치설정하기 위한 근사 사용자 위치를 획득하는 단계를 포함한다.
사용자의 시간이 사용자에게 보이는 특정 랜드마크를 향해 지향된다는 확인이 사용자로부터 획득되고, 사용자 위치와 컴퓨터화된 맵으로부터 추출된 랜드마크 위치 사이에서 방위각이 계산된다.
음성 프롬프트가 제공되고, 보조적인 시각적 프롬프트가 디스플레이 상에 투영되어 보행자를 네비게이션한다.
시스템에서, 사용자는 IMU와 디스플레이를 포함하는 헤드-마운트 디바이스를 착용하고, GPS 유닛 및 GPS 유닛에 커플링되고 이러한 방법을 수행하도록 프로그램되는 휴대용 컴퓨팅 디바이스를 소지한다.

Description

보행자용 핸즈프리 네비게이션 시스템 및 방법{HANDS-FREE PEDESTRIAN NAVIGATION SYSTEM AND METHOD}

본 발명은 보행자 네비게이션 시스템에 관한 것이다. 일부 실시형태들에서, 본 발명은 보행자의 운동 방향이 소망되는 목적지에 맞다는 것을 보장하기 위하여 관성 자기 유닛(IMU) 내의 자력계를 교정하는 것에 관한 것이다.

본 발명의 배경과 관련되는 것으로 여겨지는 선행 기술 참조 문헌이 다음에 나열되고, 이들의 내용은 본 명세서에서 원용에 의해 통합된다. 본 명세서에서 이러한 참조 문헌을 확인하는 것은 어떠한 경우에도 본 명세서에 개시된 발명의 특허성에 이들이 관련된다는 것을 의미하는 것으로 추론되어서는 안 된다. 각각의 참조 문헌은 대괄호 안의 번호로 식별되고, 이에 따라서 종래 기술이 본 명세서 전체에 걸쳐서 대괄호 안의 번호에 의해서 지칭될 것이다.

[1] Nehla Ghouaiel, Jean-Marc Cieutat, Jean Pierre Jessel. Haptic System for Eyes Free and Hands Free Pedestrian Navigation. ACHI 2013: The Sixth International Conference on Advances in Computer-Human Interactions, Feb 2013, France pp.330-335 <hal-00908028>

[2] McGookin, D., Brewster, S., & Priego, P. (2009). Audio Bubbles: Employing Non-speech Audio to Support Tourist Wayfinding. In M. Ercan Altinsoy, U. Jekosch, & S. Brewster (Eds.), Haptic and Audio Interaction Design: 4th International Conference, HAID 2009 Dresden, Germany, September 10-11, 2009 Proceedings (Vol. 5763, pp. 41-50). Springer. https://doi.org/10.1007/978-3-642-04076-4_5

[3] Ioannis Giannopoulos et al. GazeNav: Gaze-Based Pedestrian Navigation, Mob ileHCI '15, August 25 - 29, 2015, Copenhagen, Denmark

[4] Michael Minock et al. A Test-Bed for Text-to-Speech-Based Pedestrian Navigation Systems

[5] Johan Boye et al. Walk This Way: Spatial Grounding for City Exploration J. Mariani et al. (eds.), Natural Interaction with Robots, Knowbots and Smartphones: Putting Spoken Dialog Systems into Practice, DOI 10.1007/978-1-4614-8280-2 6, ⓒ Springer Science+Business Media New York 2014

[6] D.W.F. van Krevelen and R. Poelman A Survey of Augmented Reality Technologies, Applications and Limitations in The International Journal of Virtual Reality, 2010, 9(2):1-20

[7] Bartie P, Mackaness W, Lemon O, Dalmas T, Janarthanam S, Hill R, Dickinson A & Liu X (2018) A dialogue based mobile virtual assistant for tourists: The SpaceBook Project, Computers, Environment and Urban Systems, 67, pp. 110-123.

[8] Gabriel Skantze Error Handling in Spoken Dialogue Systems PhD Thesis, Stockholm, Sweden 2007

[9] Ricky Jacob, PhD Thesis "Integrating Haptic Feedback into Mobile Location Based Services" Department of Computer Science National University of Ireland Maynooth, July 2013

스마트폰이 널리 보급됨에 따라서, 스마트폰과 폰의 표준 내장 GPS의 유비퀴터스 성질을 활용하는 다수의 변형된 개인 또는 보행자 네비게이션 시스템이 탄생해 왔다. 통상적인 시스템은 핸드-헬드형인데, 이것은 사용자의 스마트폰의 GPS 좌표에 기반하여 다운로드되는 사용자의 바로 근방의 맵을 읽기 위해서 사용자가 이들을 수동으로 자주 홀딩해야 한다는 것을 의미한다.

스마트폰을 한 손에 들고 스크린을 아래로 바라보거나 스크린을 사용자의 시선까지 들어올리는 것은 지장을 주기 때문에, 이러한 접근법에 환영받지 못하는 제한이 부과된다. 예를 들어, 외국 도시의 거리를 걷고 있는 관광객은 풍경을 보는 데에 정신이 쏠려 있다. 관광객이 특정 관광 장소에 도달하기 위한 지시가 필요하고, 따라서 그의 시선을 그의 스마트폰의 스크린으로 돌리도록 제약된다면, 이것은 부당한 간섭이 된다. 이러한 시스템은 또한 관광객이 그의 스마트폰을 손에 들도록 요구하는데, 이것도 역시 바람직하지 않을 수 있다.

이러한 불편함에 대한 인식에 기인하여 소위 핸즈프리 네비게이션 시스템이 나타났다.

Ghouaiel 등 [1]은 햅틱 모달리티에서 도시의 환경에 있는 보행자를 손과 눈이 자유로운 네비게이션을 통해서 인도하기 위하여 진동 요소 및 증강 현실을 사용하는 핸즈프리 네비게이션 시스템을 개시한다.

McGookin 등 [2]은 오디오 버블(Audio Bubble)의 개념을 도입하는데, 이것은 물리적 랜드마크에 지리적 중심이 있는, 오디오로 채워진 가상의 구이고, 사용자가 더 쉽게 랜드마크의 위치를 결정할 수 있게 하는 네비게이션 호밍(homing) 정보를 제공한다.

Giannopoulos 등 [3]은 사용자가 바라보는 도로가 사용자가 따라가야 할 도로인지의 네비게이션 정보를 제공하는, 보행자 네비게이션용 시선-기반 상호작용을 제공하기 위하여 헤드 마운트 눈 추적기를 사용하는 것을 개시한다.

Minock 등 [4]은 아이-프리, 핸즈프리 네비게이션을 도시 전체에서 지원하기 위한 안드로이드 시스템을 제공한다. 하나의 모드에서, 인간 운영자는 텍스트 메시지를 전송하고, 이것이 TTS를 통해서 사용자의 이어피스로 들어간다. 운영자는 맵 상에서 피험자의 GPS 위치를 발견하고, 피험자의 말을 들으며, 목걸이로서 착용되는 피험자의 폰으로부터 얻어진 1 fps 무비를 시청한다.

Boye 등 [5]은 다양한 접지 전략을 사용함으로써 GPS 판독치에 있는 잡음의 문제를 해결하는, 스톡홀름 내의 보행자 네비게이션을 위한 구어체 프로토타입을 기술한다. 이것은, 네비게이션 시스템에 첫 번째 지역으로 가기 위한 방향을 제공하기 이전에, 사용자의 현재 위치와 방위가 근방에 있는 레퍼런스 랜드마크를 이용하여 요구되는 것에 관련된다.

이러한 논문에서 그라운딩(grounding)에 대한 논의는 본 발명이 관련된 것과 유사한 문제점을 해결하기 때문에 본 발명에 관련된다. 하지만 제안된 솔루션은 매우 다르다. 구체적으로 설명하면, Boye 등 [5]은 사용자를 맵 내의 최초 노드로 인도하기 위해서 랜드마크를 사용하고, 그 후에 지정된 노드로 향한 사용자의 진행을 실시간으로 모니터링한다. 다음 노드까지의 거리가 감소하고 있기만 하면 모든 것은 괜찮다. 만일, 다음 노드까지의 거리가 증가하기 시작하면, 시스템은 연속 노드 B까지의 거리를 역시 점검하여 사용자가 기대된 노드 A를 지나쳤고 정확한 방향으로 계속 진행하고 있는지 여부를 결정한다. 하지만, 기대된 다음 노드 A 및 기대된 연속적인 노드 B 양자 모두까지의 거리가 모두 증가하고 있고 이러한 패턴이 10 초 동안 지속되는 것으로 결정되면, 시스템은 사용자가 잘못된 방향으로 걷고 있으며, 리플래닝(re-planning)이 발행될 것이라고 가정한다.

이것이 의미하는 것은, Boye 등 [5]이 모바일 사용자를 지정된 목적지로 정확하게 지향시키는 것 그리고 사용자의 위치를 정밀하게 결정하기 위한 GPS의 단점의 문제에 맞춰져 있고, 이들은 방향 오차를 정정하기 위해서 시행착오 접근법을 사용한다는 것이다. 다르게 말하면, 이러한 접근법은 랜드마크-기반 인도가 결과적으로 보행자가 소망되는 목적지로부터 벗어나게 걷는 것을 초래할 수 있지만, 이들은 오류를 검출하고, 적절한 교정 동작을 취한다.

Krevelen 등 [6]은 머리 추적을 위한 설명을 포함하는 AR 기법의 상세한 개요를 제공한다. 이들은, 타이밍된 정보가 정확한 기수방위 정보와 결합되면 위치를 추정하기 위한 실용적인 데드레코닝(dead-reckoning) 방법을 제공할 수 있는 가속도계 및 자이로스코프를 관성 네비게이션 시스템이 채용한다는 것에 주의한다. 추정치는 정확한 측정치로 주기적으로 업데이트되어서 드리프트에 기인한 오차를 최소화해야 한다. 또한, 이들은 미준비 환경에서의 추적을 리뷰하고, 이러한 디바이스의 교정이 여전히 의심스럽다는 것을 확인한다.

Bartie 등 [7]은 이와 유사하게, 사용자의 시선 내에 있는 장면을 이미징하고 이미지를 사용자의 스마트폰을 통해서 네비게이션 서버에 송신하기 위하여 헤드-마운트 카메라를 통상적으로 채용하는 증강 현실(AR) 애플리케이션을 포함하는 보행자 네비게이션 시스템의 전체적인 개요를 제공한다. 이러한 접근법의 문제점은 디지털 이미지를 송신하기 위해서 상대적으로 높은 대역폭이 요구되고, 이것이 스마트폰의 배터리를 소모한다는 것이다. 이러한 논문은 글로벌 네비게이션 위성 시스템(GNSS) 방향 값을 신뢰할 수 없을 때에 어느 방향으로 보행을 시작할지를 분명하게 할 필요성에 대해서도 논의하는데, 그 이유는 GNSS가 이동 이력으로부터만 배향을 계산할 수 있기 때문이다. 이들은, 폰이 평평하게 쥐어지지 않았고, 그 대신에 사용자의 포켓 또는 가방 안에 위치되어서 매우 잡음이 많은 출력을 초래하기 때문에, 스마트폰 자력계가 사용될 수 없다는 것에 주의한다.

사용자를 배향시키기 위해서 [7] 에 의해 제안된 솔루션은, 잘 알려져 있는 인접한 랜드마크를 참조하고, 사용자에게 출발할 때 이들을 좌측이나 우측에서 계속 유지하도록 요청하는 것이다(예를 들어 "블랙웰의 서점을 당신의 우측에 계속 유지하세요" 임). 그러면, GNSS가 궤적 이력으로부터 양호한 방향 기수방위를 유도할 수 있기 때문에 사용자가 역추적될 필요가 없다는 것이 보장된다.

Bartie 등 [7]은 시스템이 어떤 건물을 부르는 것이 사용자의 시야와 매칭되도록, 사용자의 접근 각도에 기반하여 명칭 선택을 맞춤화할 필요성에도 관련된다. 이것은 주어진 점유 도로 주소 정보를 도로망과 링크시켜서, 각각의 점유 포인트에 방향이 지정되게 함으로써 이루어진다.

또한, Skantze [8]는 보행자 네비게이션 및 그라운딩과 관련된 많은 문제점들에 대한 배경을 제공한다. §6.1에서, 저자는 보행자를 음성 대화를 사용하여 인도하기 위해서 가상 도시의 시뮬레이션된 3D 모델 내에서 사용되는 히긴즈 구어 대화 시스템(Higgins Spoken Dialogue System)을 기술한다. 이러한 시스템은 임의의 위치결정 디바이스에 의한 사용자의 위치에 대한 액세스를 가지지 않는다. 그 대신에, 이것은 사용자가 주변을 설명하는 대화에서 결속시킴으로써 위치를 알아내야 한다. 하지만 저자는, 도시를 완벽하게 모델링하는 것은 불가능할 것이고, 실제 애플리케이션이 GPS를 활용할 것이기 때문에, 실제 도시 내에서는 이것이 불가능하다는 것을 확인한다.

US2003/018430은 표준 소형 관성 네비게이션 시스템(INS) 모듈을 가속도측정 신호의 소스로서 사용하는, 데드 레코닝 모드(dead reckoning mode)에서 동작하는 보행자 네비게이션 방법 및 장치를 개시한다. 도 12K는 디지털 자기 나침반 및/또는 최초에는 나침반 출력과 정렬되는 하나 이상의 자이로스코프에 의해 제공된 변위의 방위각의 비교에 기반하여 디지털 자기 나침반의 자기 교란을 자동으로 검출 및 정정하기 위한 알고리즘을 보여주는 흐름도이다.

US2015/0354951은 디바이스 및 해당 디바이스를 쥐고 있거나 착용하고 있는 보행자 사이의 상이한 배향에서의 오정렬을 제약되거나 제약이 없는 방식으로 결정하기 위한 방법 및 장치를 개시한다. 디바이스는 스마트 유리, 스마트 고글, 귀 장착 시스템, 헬멧 상의 시스템과 같은 헤드 마운트형일 수 있다. 일 실시형태는 디바이스 기수방위 및 보행자 기수방위 사이의 오정렬을 정정하기 위한 보행자 데드-레코닝을 제공한다.

US2013/0322667은 사용자의 귀로 소리를 출력하기 위한 스피커를 가지는 헤드 마운트 청취 디바이스를 포함하는 개인용 네비게이션 시스템을 개시하는데, 청취 디바이스는, 사용자가 사용자의 머리 상의 그 의도된 동작 위치에 청취 디바이스를 착용할 때에, 사용자의 기수방위 요(head yaw)를 결정하기 위한 관성 자기 유닛을 수용한다. 이러한 시스템은, 사용자의 지리적 위치를 결정하기 위한 GPS 유닛, 오디오 신호를 스피커로 출력하도록 연결된 사운드 발생기, 및 양이(binaural) 음향 사운드 신호를 생성하기 위해서 사운드 발생기 및 스피커 사이에 병렬로 연결되는 기수방위-관련 전달 함수가 있는 필터의 쌍을 포함하는데, 스피커는 사운드를 사용자의 귀를 향해 방출함으로써, 사운드가 기수방위-관련 전달 함수에 대응하는 방향에 위치된 사운드 소스로부터 오고 있는 것으로 사용자에 의해 지각되게 하도록 구성된다.

US20120050144는 방향을 결정하기 위한 자력계 또는 자이로스코프를 포함할 수 있는 착용가능한 헤드 마운트 증강 현실 컴퓨팅 장치를 개시한다. 가시 범위의 배향을 정확하게 결정하기 위해서 사용될 수 있도록, INS를 구성하는 센서 모음은 사용자의 머리에 장착될 필요가 있다. 이러한 장치는 보행자를 위한 라우팅/네비게이션에서 사용될 수 있다. 이러한 목적을 위해서, 디스플레이(스마트폰의 일부로 도시됨) 및 반사 디바이스가 머리에 착용된 하네스에 부착되고, 디스플레이된 정보가 현실에 중첩되어 시청될 수 있도록 구성된다. 네비게이션을 돕기 위해서 이러한 피쳐를 통합하라는 제안이 있지는 않지만, 마이크로폰 및 이어폰이 음성 커맨드 및 오디오 출력을 제공하기 위해서 하네스에 부착될 수 있다. 사실상, 이러한 장치의 제안된 애플리케이션이 네비게이션을 위한 것이지만, 이러한 장치가 이러한 목적을 위해서 어떻게 사용될 수 있는지에 대해서는 설명이 제공되지 않고, 설명은 사용자의 시선의 방향을 결정할 수 있게 하는 센서를 가지는 스마트폰을 사용될 수 있는 헤드-마운트 시스루 디스플레이를 제공하는 것으로만 한정되어 있다. 이러한 장치는 번거롭고, 스마트폰을 지지하기 위해서 맞춤형 하네스를 요구하며, 이것은 규칙적으로 사용하기 위해서 스마트폰에 접근하는 것을 크게 방해할 수 있다.

US20200195833은 RF 비콘을 각각 포함하고 사용자 신체의 우측 및 좌측과 연관되는 두 개의 착용가능한 디바이스를 포함하는 시스템을 개시한다. 머리의 자세 또는 시선 검출은 착용가능한 디바이스로부터 오는 RF 신호의 디지털 카메라 디바이스에서의 신호 강도(예컨대, RSSI) 또는 위상을 비교함으로써 추정된다. 시선 검출 및 카메라(예컨대, 시선) 사이의 각도 편차가 추정되고, 카메라는 각도 편차를 설정된 임계와 비교하는 것에 기반하여 활성화되거나 제어된다.

사람의 운동 또는 위치설정을 위해 IMU를 사용하는 것이 Masaryk University의 Martin Veskrna에 의한 석사 논문인 Faculty of Informatics dated 2013, entitled: "Positioning system for small devices using principles of inertial navigation system", 및 2007 IEEE International Conference on Robotics and Automation (Rome, Italy, 10-14 Apr. 2007) entitled: "Self-Contained Position Tracking of Human Movement Using Small Inertial/Magnetic Sensor Module"에 공개된 Xiaoping Yun 등의 논문에서 설명된다.

이러한 논문들 양자 모두는 보행자 네비게이션 및 자기 센서의 드리프트를 정정하기 위해서 관성 네비게이션 시스템을 교정해야 할 필요성에 관련된다. 그 외의 기법들이 채용된다. 예를 들어, 방향성 신호를 제공하기 위해서 자이로스코프가 공통적으로 제공된다.

Jacobs [9]는 보행자 네비게이션을 위한 당시의(2013) 접근법의 상세한 서베이를 제공하고, 모바일 기반 위치 서비스(mobile based location service; MBLS)에 대해서, MLBS에서 가장 인기 있는 상호작용 방법은 네비게이션 지원 및 공간적 질의 응답을 위한 정보의 맵 상의 오버레이를 사용하는 것이라는 것을 관찰한다. 일부 시스템은 회전마다의 방향이 있는 문자 피드백을 제공했지만, 다른 시스템은 랜드마크 정보 및 사진을 통합했다. 연구원들도 역시, 장소의 파노라마 이미지 또는 다른 지오-태깅된 이미지를 사용자에게 피드백을 제공하기 위한 정보 오버레이와 통합했다. 연구원은, 순수 위치-기반 시스템으로부터 저비용 온-보드 디지털 나침반을 사용할 수 있는 배향-인식(aware) 시스템으로 천이하는 것이, 그에 따라서 베어링 기반(bearing based) 모바일 공간적 상호작용의 인기를 더 증가시키는 것을 망라한다는 것에 주의한다.

또한, 연구원은 모바일 공간적 상호작용 시스템 내에서 증강 현실을 사용하는 것을 언급하는데, 여기에서 모바일 디바이스의 위치 및 배향은 실시간 이미지 상에 오버레이된 공간 정보를 사용자에게 제공하기 위해서 디바이스의 카메라와 함께 사용된다.

US20160224855는 모바일/스마트폰과 같은 휴대용 디바이스 및 디바이스를 소지한 사람 사이의 기수방위 오정렬을 추정하기 위해서 광 센서를 사용한다. 통상적인 관성 네비게이션 시스템에서는 플랫폼 내에 관성 센서를 정렬시키는 것(예를 들어, 관성 센서를 포함하는 휴대용 전자 디바이스를 플랫폼의 순방향, 측방향, 및 수직 축들과 정렬시키는 것)이 통상적으로 요구된다. 관성 센서가 적합하게 정렬되지 않는 경우, 관성 센서로부터의 측정치를 사용하여 계산된 위치 및 자세는 플랫폼의 상태를 나타내지 않을 것이다. 이를 고려하여, 고정확도 네비게이션 솔루션을 달성하기 위해서는, 관성 센서가 플랫폼 내에서 테더링되어야 한다.

앞선 리뷰는 보행자 네비게이션 시스템, 및 관성 유도 시스템의 초기화 또는 교정을 제공하거나, 일부 경우에는 그럴 필요성을 회피하는 핸즈프리 시스템을 제공하기 위한 여러 변형된 노력을 일부만을 단순하게 살펴본 것이다. 따라서, Bartie 등 [7]은 스마트폰의 자력계에 의존할 필요성을 없애는 순수한 음성-기반 네비게이션 시스템을 제공함으로써 이러한 필요성을 회피한다.

이러한 접근법은 매우 불편할 수 있다. 이것은 일정하고 끊임없는 음성 대화를 통해서 이것은 익숙하지 않은 환경에 있는 한 명의 관광객에게 계속하여 주의를 환기할 수 있을 수 있지만, 실제로는 사용자의 주의를 네비게이션 시스템에만 고정시킨다. 휴가를 온 커플이 이러한 시스템을 사용하면 지속적으로 방해받지 않고서 대화를 유지하는 것이 어려울 것이다.

Boye 등 [5]은 정렬 오차가 시행 착오에 의해 정정되는 음성-기반 시스템을 더 채용한다.

본 출원의 출원인의 WO 2019/215739는 탈부착가능한 안경-장착형 증강 현실(AR) 디바이스 및 클립-온 유닛을 개시한다. 이러한 디바이스는 클립-온 유닛을 탈부착가능하게 지지하는 하우징, 사용자가 장면을 보는 하우징 내의 출사 윈도우 및 입사 윈도우, 핸드-헬드 디바이스에 커플링되기 위한 통신 인터페이스, 및 사용자의 시선을 장면 내의 지정된 피쳐를 향해 지향시키기 위하여 적어도 하나의 마커를 사용자의 가시 범위에 디스플레이하기 위해서 IMU에 동작하도록 커플링된 시선 가이드 유닛, 및 사용자가 바라보는 장면에 중첩되도록 일정 거리에 마커를 투영하는, 하우징 내의 광학기를 포함한다.

미국 특허 번호 제 10,012,506은 두 개의 웨이포인트들 사이의 소망되는 선형 이동 경로를 결정하기 위하여, 그리고 사용자의 이동 방향을 모니터링하기 위하여 전자 나침반을 활용하는 네비게이션 유도 시스템을 개시한다. 이동 방향이 구축된 공차 내에 속한다고 시스템이 결정하면, 이것은 사용자에게 하나 이상의 경고 표시자 컴포넌트를 통해서 경고한다.

US2016/189426은 가상 프록시 객체를 생성하기 위한 방법을 개시하고, 가상 프록시 객체를 증강 현실 환경 내에서 제어하는 것이 설명된다. 헤드-마운트 디스플레이 디바이스(HMD)는, 가상 프록시 객체를 생성하기 위한 실세계 객체를 식별하고, 실세계 객체와 대응하는 가상 프록시 객체를 생성하며, 가상 프록시 객체를 HMD를 사용하여 디스플레이함으로써, 가상 프록시 객체가 HMD의 최종 사용자에게 디스플레이된 증강 현실 환경 내에 존재하는 것으로 지각되게 할 수 있다.

본 발명의 목적은 전술된 단점들 중 일부를 회피하는 보행자 네비게이션 시스템 및 방법을 제공하는 것이다.

구체적으로 설명하면, 본 발명은 사용자의 안경 프레임에 클리핑될 수 있고, 보행자가 지정된 랜드마크를 향해서 방위를 정하게 하고, 요구된 목적지로의 음성 유도 및 사용자의 먼 가시 범위에 시스루 디스플레이를 통해서 투영되는 시각적 마킹의 형태인 보조 유도 양자 모두를 수신하기 위한 IMU, 마이크로-디스플레이, 광학기, 및 오디오-인터페이스를 포함하는 콤팩트하고 경량인 부속품에 대한 필요성을 해결하는 솔루션을 제공한다.

IMU는 사용자를 맵에 대해서 배향시키기 위한 내장 GPS를 가지는 스마트폰을 사용하고, 사용자를 요청된 방향으로 인도하기 위한 음성 명령을 제공하는 핸즈프리 네비게이션 시스템 내에서 방향 신호를 제공하는 자력계 및/또는 자이로를 포함한다.

또한, 본 발명은 사용자를 소망되는 목적지까지의 정확한 경로를 따라서 지향시키기 위한 정확한 네비게이션 커맨드가 발행될 수 있도록, 사용자를 맵에 정확하게 배향시키기 위한 방법을 제공한다.

본 발명은 최초 정렬을 제공하기 위한 카메라를 요구하지 않고, 따라서 이러한 시스템의 증가된 대역폭 요구 사항을 피하는 네비게이션 시스템 내에 채용될 수 있다. 또한, 보행자가 잘못된 방향으로 걷고 있어서 걸어 온 길을 되돌아가야 한다는 것을 인식하기 전에 이미 수 백 미터를 걷게 된다면 실망스러울 것이기 때문에, 본 발명은 시행 착오에 의한 정정을 피하고자 한다.

본 발명은, 사용자가 목적지에 도착하도록 보조하기 위한 핸즈프리 보행자 네비게이션 방법으로서,

(a) 사용자의 머리에 (i) 사용자의 시선(gaze) 앞에 시각적 이미지를 투영하기 위한 시스루 디스플레이, 및 (ii) IMU를 장착하는 단계;

(b) 사용자가 소지한 GPS 유닛으로부터 근사 사용자 위치를 획득하는 단계;

(c) 상기 근사 사용자 위치를 사용하여 사용자를 포함하는 영역의 컴퓨터화된 맵 내에서 사용자의 위치를 결정하는 단계;

(d) 상기 영역 내에서 사용자의 시야(view) 내의 알려진 랜드마크 위치를 가지는 랜드마크를 결정하는 단계;

(e) 사용자의 시선이 상기 랜드마크를 향해 지향된다는 확인을 사용자로부터 획득하는 단계;

(f) 사용자 위치와 상기 컴퓨터화된 맵으로부터 추출된 랜드마크 위치 사이의 계산된 방위각을 결정하는 단계; 및

(g) 음성 프롬프트를 제공하고 보조적인 시각적 프롬프트를 시스루 디스플레이를 통해 투영함으로써 보행자를 네비게이션하는 단계를 포함하는, 핸즈프리 보행자 네비게이션 방법을 제공한다.

이러한 접근법은 사용자의 위치뿐만 아니라 같은 중요도로 사용자의 이동 방향도 구축하는 모든 네비게이션 시스템에 내재되는 문제점에 대한 매우 가벼운 솔루션을 제공한다. 이것이 구축되면, 컴퓨터화된 네비게이션 시스템이 사용자를 맵 상에서 배향시키고, 사용자가 방향을 변경할 필요가 있을 때에만 선명한 음성 명령을 제공하는 차량 네비게이션 시스템과 유사한 방식으로 사용자를 요청된 목적지를 향해 지향시킬 수 있다. 그러므로, 보행자가 우회전을 해야 하는 교차로에 도달하면, 다음 도로에서 우회전하고 링컨 애비뉴를 따라서 500 미터 계속 진행하라는 음성 명령이 제공될 수 있다. 이러한 시스템은, 사용자가 명령에 따라왔다는 것을 IMU의 측정된 방향에 기반하여 구별할 것이고, 따라서 다른 방향 변경이 필요할 때까지 추가적인 명령을 제공하지 않을 수 있다.

반대로, 사용자가 회전을 잘못한 경우, 시스템은 이것을 즉시 구별하고 사용자에게 실시간으로: "이번 도로가 아니므로, 주 도로로 되돌아가서 100 미터 더 진행한 후 우회전 하세요"라고 경고할 수 있고, 또는 시스템은 루트를 재교정된 루트가 원래의 루트보다 훨씬 최적성이 떨어지는지 여부와 공동으로 미리-프로그래밍된 설정에 의존하여 경로를 재교정할 수 있다. 만일, 사실상 사용자가 지금 우회전하거나 앞으로 100 미터에서 우회전하는 것이 거의 차이가 없다면, 시스템은 번거로울 수 있는 음성 경고를 내리는 것이 아니라 그냥 놔두도록 결정할 수 있다.

일부 실시형태들에서 교정은 사용자가 시스템에 의해 선택된 랜드마크를 바라보도록 지시함으로써 네비게이션 시스템에 의해서 개시될 수 있다. 또는, 사용자는 그의 가시 범위 내의 랜드마크를 선택하고, 그의 시선이 특정된 랜드마크를 향해 지향된다는 것을 네비게이션 시스템에게 음성으로 통보할 수 있다. 일부 실시형태들에서, IMU는 사용자가 그의 가시 범위 내에서 떨어져 있는 객체에 마커를 투영시키게 할 수 있는 시스루 디스플레이를 포함하는 디바이스의 부품이다. 이러한 경우에, 사용자는 그의 시선이 특정된 랜드마크를 향해 지향된다는 것을 네비게이션 시스템에게 음성으로 통보하여, IMU가 전술된 바와 같이 교정되게 할 수 있다.

디바이스는 바람직하게는 머리에 장착되고, IMU 및 사용자의 스마트폰으로의 통신 인터페이스를 포함하는데, 이것은 통상적으로 블루투스™와 같은 무선 연결이지만 유선 연결도 핸즈프리 네비게이션을 여전히 허용하기 때문에 유선 연결도 가능하다. 사용자는 명령을 스마트폰을 통해서 청취하는데, 하지만 프라이버시 및 매너를 위해서, 음성 명령은 이어폰으로 전달되고, 이것도 근거리 무선 인터페이스 또는 유선으로 스마트폰에 커플링될 수 있다. 사용자는 가청 명령을 의상에 클리핑될 수 있거나 유선 또는 무선으로 스마트폰에 유사하게 커플링될 수 있지만 바람직하게는 블루투스™ 연결을 통한 무선 연결인 디바이스의 일부일 수 있는 소형 마이크로폰을 통해서 통신할 수 있다.

일부 실시형태들에서, 네비게이션 시스템은 전술된 WO 2019/215739에 개시된 바와 같은 콤팩트한 시각 기반 부속품과 공동으로 사용되는 아마존 알렉사와 같은, 음성 제어 가상 어시스턴트 AI 기술에 기반한다. 이것은 필요할 경우 에코 프레임 또는 Bose 프레임, 또는 마이크로폰 및 이어폰을 지지하는 임의의 안경 프레임과 같은 안경 프레임에 클립될 수 있고, 이를 통하여 현실 상에 오버레이된 시각적 명령과 함께 친근한 음성 -기반 대화가 가능하게 한다.

본 발명을 더 잘 이해하고 이것이 어떻게 실제로 실시될 수 있는지를 알기 위하여, 첨부 도면을 참조하여 오직 비한정적인 예로서 실시형태들이 이제 설명될 것이다:
도 1a는 본 발명에 따른 디바이스를 착용한 사용자의 그림 표현이다;
도 1b는 통상적인 치수를 보여주는 디바이스의 그림 표현이다;
도 2는 본 발명에 따른 시스템을 보여주는 블록도이다;
도 3a 및 도 3b는 후면 및 전면에서 각각 바라볼 때의 탈부착가능한 디바이스의 그림 표현이다;
도 3c는 그 안에 포함된 광학기의 부분적인 세부사항을 보여주는, 후면으로부터 바라볼 때의 탈부착가능한 디바이스의 부분적 파쇄도이다;
도 3d는 광학기의 개략도이다;
도 4a 및 도 4b는 무선 및 유선 구성 각각에서의 디바이스의 블록도이다;
도 5는 IMU 자력계를 교정하고 네비게이션 명령을 사용자에게 제공하기 위한 방법과 연관된 주요 동작들을 보여준다;
도 6은 사용자가 정확한 루트를 따라가고 있다고 검증하기 위한 방법과 연관된 주요 동작을 보여준다; 그리고
도 7은 구별가능한 랜드마크가 식별될 수 없는 경우에 자력계를 교정하기 위한 대안적 실시형태를 그림으로 보여준다.

도 1a는 사용자(12)가 착용한 안경 프레임(11)의 전면에 탈부착가능하게 클립-장착되는 디바이스(10)를 도시한다. 이러한 수단에 의해서, 디바이스(10)는 사용자의 눈 바로 앞에 장착되어, 사용자가 출사 윈도우(13)를 통해서 장면을 관찰하게 한다. 또한, 사용자는 탈부착가능한 디바이스(10)에 의해서 그의 눈에 투영되고 실제 장면 상에 오버레이된 그래픽 주석을 볼 수 있다. 바람직하게는, 안경 프레임(11)은 마이크로폰 및 이어폰을 지지하는 소위 "스마트 프레임"이지만, 이들은 추가적인 별개의 마이크로폰 및 이어폰으로써 종래의 안경 프레임에 리트로핏되거나 독립적 부속품으로서 별개로 장착될 수 있다. 바람직하게는, 디바이스(10)는 그 컴포넌트 중 어느 것도 사용자의 안경의 관자놀이 피스(측면 암)에 장착되지 않고서 안경 프레임의 전면에 부착되도록 구성되는 일체형 부속품이고, 따라서 디바이스가 종래의 안경 프레임에 부착되게 한다. 그러나, 본 발명은 컴포넌트 중 일부가 종래의 프레임의 측면 암 내에 장착되거나 구축되는 것을 배제하지 않는다.

도 1b는 바람직한 실시형태에 따른 디바이스(10)의 통상적 치수를 보여주는데, 이것의 최소의 컴포넌트는 IMU, 마이크로-디스플레이를 포함하는 시스루 디스플레이, 도 2 및 도 3을 참조하여 후술되는 바와 같은 반-투명 미러 및 광학기, 및 통신 수단이다. 이러한 소형화가 가능해지게 하기 위해서, 시스루 디스플레이의 FOV는 작고, 디바이스를 측방향으로 조절하면 광학적 출사 윈도우가 사용자의 눈과 정렬되도록 이동될 수 있다. 무선 통신이 사용되는 경우, 디바이스는 소형 배터리를 포함한다. 전력 소모를 줄이기 위해서, 가장 필수적인 컴포넌트만이 사용되거나 심지어 포함된다. 가장 중요하게는, 부분적으로는 크기를 줄이기 위해서지만 주로는 과다한 전력 소모, 이미지 압축을 위한 추가적인 전자장비, 비디오를 스마트폰으로 전송하기 위한 고대역폭 통신(예컨대, WiFi)을 피하기 위해서 카메라가 요구되지 않고 생략될 수 있고, 이들 모두는 디바이스의 크기를 키우고 배터리를 소모한다.

도 2는 GPS 유닛(22) 및 호스트 스마트폰 애플리케이션(23)을 가지는 스마트폰(21)을 호스트 클라우드 애플리케이션(24)으로 표시되는 음성-제어 네비게이션 시스템 및 클립-온 디바이스(10)와 통합하는 시스템(20)의 블록도이다. 클립-온 디바이스(10)는 IMU(25) 및 마이크로-디스플레이(26)를 포함하고, BLE(블루투스™ 로우 에너지)를 통해서 스마트폰 제어 애플리케이션(27)에 연결된다. 스마트 프레임(11)은 블루투스™를 통해서 호스트 스마트폰 애플리케이션(23)에 연결된다. 스마트 프레임은 마이크로폰 및 이어폰(28)을 일체형 컴포넌트로서 가지는 아마존 에코 프레임일 수 있고, 호스트 클라우드 애플리케이션(24)은 아마존 알렉사 및 스킬즈일 수 있다. 이러한 구현형태는 오디오 컴포넌트를 디바이스(10) 내에 통합시킬 필요성을 없애지만, 이러한 옵션은 일부 추가적인 크기와 증가된 배터리 소모를 희생함에도 불구하고 여전히 가능한 것이 명백하다. 설명을 쉽고 일관적으로 하기 위하여, 스마트폰 애플리케이션으로서 스마트폰에 로딩되는 소프트웨어 애플리케이션을 언급하는 반면에, 인터넷을 통해서 작동되는 소프트웨어 애플리케이션은 클라우드 애플리케이션이라고 불릴 것이다.

스마트폰 제어 애플리케이션(27)은 네비게이션 애플리케이션 클라우드(29)에 연결되는데, 여기에서 모든 네비게이션 태스크가 수행되고 인터넷을 거쳐 제어 애플리케이션으로 송수신된다. 호스트 스마트폰 애플리케이션(23)은 인터넷을 통해서 호스트 클라우드 애플리케이션(24)에 연결된다. 도면에서, 근거리 블루투스™ 통신은 검정 화살표로 표시되는 반면에, 인터넷 통신은 흰색 화살표로 표시된다. 호스트 스마트폰 애플리케이션(23)은 음성/텍스트 변환을 수행하고, 인터넷을 거쳐서 네비게이션 애플리케이션 클라우드(29)에 인터페이싱한다. 아마존 쉐어링 알렉사 스킬즈가 데이터를 호스트 클라우드 애플리케이션(24) 및 네비게이션 애플리케이션 클라우드(29) 사이에서 전달하기 위하여 사용되고, 또한 필요한 기능, 예컨대 네비게이션이 네비게이션 애플리케이션 클라우드(29)에서 활성화될 수 있게 한다. 좀 더 구체적으로는, 아마존은 디바이스 제조사가 알렉사의 음성 성능을 알렉사 음성 서비스(AVS), 알렉사와 인터페이싱하기 위한 API를 제공하는 클라우드-기반 서비스를 사용해서 그들의 연결된 제품 내에 통합할 수 있게 한다. 그러려면 호스트 스마트폰 애플리케이션(23) 및 스마트폰 제어 애플리케이션(27) 사이의 통신이 클라우드(24 및 29)를 통해서 중재되어야 한다. 그러나, 다른 플랫폼은 두 개의 스마트폰 애플리케이션(23 및 27) 사이의 직접 내부 통신을 수용할 수 있다.

도 3a는 디바이스(10)의 배면도를 보여주는 그림 표현이다. 사용자(12)는 실제 장면을 출사 윈도우(30)를 통해서 보게 되고, 또한 이러한 장면 상에 오버레이된 그래픽 주석을 보게 된다. 이러한 주석은 마크, 텍스트, 그래픽 형상 등을 포함할 수 있다. 탈부착가능한 디바이스는 WO 2019/215739에서 설명된 것과 같은 클립-온 유닛(미도시)을 지지하기 위한 고정된 장착 브라켓(32)이 존재하는 하우징(31)을 가지는데, 이것을 사용하여 디바이스(10)가 사용자의 안경 앞에 클리핑된다. 디바이스(10)는 대안적으로 사용자의 안경에 자석식으로 부착될 수 있고, 또는 이것은 임의의 다른 종류의 헤드-마운트 디바이스일 수 있다. 선택적으로, 디바이스(10)를 스마트폰(19)에 커플링하기 위해서 USB 커넥터(34)가 제공된다.

도 3b는 앞에서 볼 때, 즉 사용자(12)를 향해서 바라볼 때의 탈부착가능한 디바이스(10)의 정면도를 도시한다. 일부 실시형태들에서, 디바이스 내에 위치되고 도 3c의 점 개략도에 개략적으로 도시된 광학 빌트인 카메라(37)가 외부 장면을 이미징하는 선택적인 윈도우(36)가 제공된다. 또한, 장면으로부터의 광이 사용자가 관찰하도록 출사 윈도우(30)로 전달되는 입사 윈도우(30')가 도시된다. 제공될 경우, 카메라는 WO 2019/215739에서 전술된 바와 같이 설명되는 보충적인 네비게이션 도움으로서 사용될 수 있고, 또한 구글의 라이브 뷰와 같은 방식이지만 사용자가 그의 스마트폰을 손에 쥘 필요가 없다는 장점을 가지고 IMU를 교정하기 위하여 사용될 수도 있다.

도 3c는 디바이스(10)의 내부 구조를 더 상세히 도시한다. 인쇄 회로 보드(PCB)(38)는 탈부착가능한 디바이스의 전자 동작을 위한 전자 회로를 지지한다. 또한, IMU(25), USB 커넥터(34)(유선 통신이 사용될 때에만 필요함) 마이크로-디스플레이(26) 및 선택적인 빌트인 카메라(37)가 PCB(38)에 연결된다.

마이크로-디스플레이(26)는 다음 메인 특성을 가지는 고-휘도 흑백 디스플레이이다:

픽셀 개수: 304x256

픽셀 크기: 12 μm x12 μm

활성 영역: 3.648 mm x 3.972 mm

디바이스(10)는 도 3d에 도시되는 광학기(40)를 수용하는데, 이것은 두 개의 더블렛(doublet; 41, 41') 및 결합형 프리즘(42)을 포함한다. 더블렛(41, 41')은 등가 초점 길이가 21mm인 결합형 대물렌즈를 생성한다. 마이크로-디스플레이(26)의 발광면은 이러한 결합형 대물렌즈의 초점면에 위치됨으로써, 디스플레이의 이미지가 무한대에서 생성하여 사용자(12)가 실제 장면 상에 투영된 디스플레이 상에서 이미지를 보게 한다. 스크린의 통상적인 이미지는 사용자가 그의 가시 범위 내의 객체를 지정하기 위해서 사용하는 십자 형상 마커 또는 레티클을 포함한다. 이미지는 화살표에 의해 표시된 것처럼 우선 결합형 프리즘(42)의 미러면(45)에 의해서 추가적으로 폴딩된 후, 부분 미러면(46)에 의해서 사용자(12)의 눈으로 지향되는데, 이것은 디스플레이(26)로부터의 광이 사용자의 눈에 도달하게 하고, 동시에 사용자가 도 3b의 출사 윈도우(30)를 통해서 부분 미러면(46)을 통해 투과된 실제 장면을 볼 수 있게 한다. 통상적으로, 부분 미러면(46)은 약 50%의 반사 및 약 50%의 반사를 가진다. 결합형 더블렛의 초점 길이가 21mm이기 때문에, 디스플레이 스크린은 H의 가시 범위를 캡쳐한다: 10 x V: 8.3 도(13 도 대각선임). 이러한 광학적 설계는 사용자가 4.5mm 직경의 눈 모션 박스를 가지게 한다.

이러한 구성은, 출사 윈도우(30)가 사용자의 눈과 정렬됨으로써 더 큰 광학기를 사용하게 할 대형 눈 모션 박스에 대한 필요성을 피하게 하도록 측방향 조절을 허용하는 방식으로, 매우 콤팩트한 디바이스가 사용자의 안경 프레임에 장착될 수 있게 한다. 종래의 많은 시스루 AR 시스템은 그래픽 주석을 현실 위에 디스플레이하기 위해서 큰 가시 범위를 요구한다. 이러한 시스템은 무겁고, 번거로우며, 고가이다. 더욱이, 많은 시스템이 네비게이션 시스템이 랜드마크 이미지에 기반하여 사용자의 위치를 결정할 수 있도록 하기 위해서 랜드마크를 이미징하기 위해 빌트인 카메라를 사용한다. 그러면 AR 디바이스의 크기가 더 커지고, 통신 대역폭에 오버헤드가 추가된다.

본 발명에 따른 디바이스에서는, 마커 및 방향만을 위한 최소의 AR 주석화를 가지는 작은 가시 범위 및 카메라에 의존하지 않음으로써 콤팩트한 디바이스가 가능해진다. 이것을 음성과 결합함으로써, 복잡한 주석(즉 랜드마크의 명칭, 복잡한 방향)이 음성으로 주어지고, 작은 가시 범위를 사용할 수 있게 된다. 이것은 결과적으로 콤팩트한 AR 핸즈프리 실시간(on-the-go) 보행자 네비게이션을 초래한다.

도 4a 및 도 4b는 무선 및 유선 구성 각각에서의 디바이스(10)의 블록도이다. 따라서, 도 4a에 도시된 바와 같이, 광학기(40)는 전술된 바와 같이 사용자(12)의 눈에 마이크로-디스플레이(26)를 투영시키고, 이것의 스크린 이미지는 이제 외부 장면 상에 오버레이된다. 디바이스(10)는 디바이스의 운동 및 이를 통하여 사용자의 머리의 운동을 추적하기 위한 관성 자기 유닛(IMU)(25)을 수용한다. 마이크로-디스플레이(26) 및 IMU(25)는 마이크로콘트롤러(72)에 연결된다. 마이크로콘트롤러(72)는 또한, RF 안테나(75)를 통해서 저에너지(LE) 블루투스™ 유닛(74)과 양-방향 통신하도록 데이터를 처리한다. 블루투스™ 유닛(74)은 스마트폰(21) 내의 블루투스™ 유닛(76)과 통신한다. 빌트인 배터리(77)가 디바이스 컴포넌트에 전력을 제공한다.

도 4b는 USB 유선 통신을 사용하는 대안적인 실시형태를 도시한다. 마이크로콘트롤러(72)는 SPI(시리얼 주변 인터페이스) 드라이버 및 디스플레이(26) 및 IMU(25)를 각각 USB 허브(79)에 연결하는 USB-SPI 컨버터(78, 78')를 포함한다. USB 허브(79)는 USB 케이블을 통하여 스마트폰(21)에 연결된다.

도 5는 IMU 자력계를 교정하고 사용자에게 네비게이션 명령을 제공하기 위한 방법과 연관된 주요 동작을 보여준다. 명확화를 위하여, 자력계는 IMU(25)의 컴포넌트이고, 도면에서 별개로 도시되지 않는다. 사용자(12)는 우선 디바이스(10)를 안경 프레임(11)에 부착하고, 스위치를 켠다. 제 1 단계에서, 사용자가 알려진 랜드마크를 응시할 때에 지구 좌표계에 대한 디바이스(10)의 배향을 구축하기 위해서 자력계 교정이 수행된다.

이러한 자력계 교정(80)은 다음과 같이 수행된다.

스마트폰 제어 애플리케이션(27)은 스마트폰 GPS 유닛(22)으로부터 GPS 데이터를 획득한다.

스마트폰 제어 애플리케이션은 '가시 영역(area of sight)'을 결정하고, GPS 위치 및 추정된 관측 영역에 기반하여, GPS/맵 데이터베이스, 즉 구글 맵으로부터 관련된 랜드마크를 획득한다. 맵은 네비게이션 애플리케이션 클라우드(29)에 저장되고, 그로부터 '가시 영역'에 대응하는 맵의 관련된 부분이 스마트폰에 다운로드된다. 스마트폰 제어 애플리케이션은 사용자의 근방의 가시적인 랜드마크(예를 들어 알려진 백화점)를 식별하고, 디바이스(10)의 디스플레이(26) 상에 마커를 그리며, 사용자에게 그의 시야를 마커가 이러한 랜드마크 상에 오버레이될 때까지 이러한 랜드마크를 향해서 지향시키도록 명령한다. 사용자는 그의 시선이 랜드마크를 향한다는 것을 음성으로 확정한다.

스마트폰 제어 애플리케이션 자력계에 의해 측정된 방위각을 판독하고, 사용자 위치 및 랜드마크 위치 사이의 방위각을 맵에 기반하여 계산하며, 자력계를 교정하고, 디스플레이 상에 "V"를 표시하며, 그러면 사용자는 이제 네비게이션을 시작할 수 있다.

비록 랜드마크가 스마트폰 애플리케이션(27)에 의해서 제안될 수 있지만, 이것은 사용자에 의해서 제안될 수도 있다. 이러한 경우에, 사용자는 "우측에 스타벅스 커피숍이 보여"라고 말할 수 있고, 시스템이 이것을 인식할 것이며, 이제 프로세스가 전술된 바와 같이 진행될 것이다. 이것은, 사용자가 요청을 말하는 알렉사의 종래의 사용에 대응한다. 알렉사는 음성을 텍스트로 변환하고, 이것을 알렉사 클라우드로 전달하며, 거기에서 텍스트가 파싱되고 처리되어 텍스트 스트링으로서 사용자에게 전달되는 적절한 응답으로 처리되는데, 이것은 이제 로컬에서 음성으로 변환되고, 발화된다.

자력계가 교정되면, 스마트폰 애플리케이션(27)은 마이크로-디스플레이(26) 상에 그 방향이 자북을 가리키는 화살표와 같은 보조적인 시각적 프롬프트를 디스플레이함으로써 계산된 이동 방향을 그래픽으로 표시하거나, 및/또는 북북서(North-North West)와 같이 텍스트로 표시할 수 있다. 디스플레이 이미지는 광학기(40)에 의해서 외부 장면 상에 중첩된다. 그러나, 시스루 디스플레이가 없는 단순화된 디바이스에서는 IMU가 임의의 마커의 투영이 없거나 구글 글래스와 같이 비-시스루 디스플레이를 사용한 마커의 투영이 있는 상태로 머리에 장착될 수 있다. 명명된 랜드마크와의 정렬은 음성으로 간단하게 확인되고, 사용자의 배향은 스마트폰 애플리케이션(27)에 전달된 IMU 측정치에 기반하여 결정된다. 이것은 정확도가 좀 떨어질 수 있지만, 여전히 사용자가 랜드마크를 바라보게 할 수 있고, 이것은 스마트폰 애플리케이션(27)이 사용자를 배향시키고 광범위한 네비게이션 명령을 제공할 수 있게 한다. 또한, 비록 음성 커맨드가 바람직하지만, 본 발명은 클립-온 디바이스(10) 상의 푸시버튼 마이크로-스위치를 사용하는 것도 구성하며, 이것은 사용자의 시선이 랜드마크를 향해 지향될 때 사용자에 의해서 눌러져서 스마트폰 애플리케이션에 확인을 보낼 수 있다. 물론, 이것은 완전한 핸즈프리 동작은 아니지만, 여전히 스마트폰과의 수동 상호작용을 요구하지 않는다. 더욱이, 교정이 네비게이션 애플리케이션을 초기화할 때에만 그리고 검증하는 동안에만 실행되기 때문에, 이러한 변형예는 모든 의도 및 목적에 대해서 여전히 음성 네비게이션 시스템이라고 불릴 수 있다.

교정이 이루어지면, 네비게이션(81)이 시작될 수 있다.

사용자는 시스템에게 어디를 가고 싶은지 이야기한다.

스마트폰 애플리케이션은 루트를 계산하고, 루트를 따라서 랜드마크를 컴파일하며, IMU 및 GPS 데이터를 획득하고, 준비가 되면 디스플레이(26) 상에 사용자가 향해야 하는 방향을 보여주는 화살표와 같은 그래픽 네비게이션 도움을 디스플레이하며, 및/또는 네비게이션에서 보조하기 위한 음성 명령을 전달한다.

네비게이션 중에, 스마트폰 애플리케이션은 사용자에게 음성 명령 및 그래픽 주석을 제공한다.

네비게이션 중에, 사용자 또는 스마트폰 애플리케이션 중 하나는 사용자가 여전히 제 길을 가고 있다는 것을 보장하기 위해서 검증 모드를 개시할 수 있다.

도 6은 사용자가 정확한 루트를 따라가고 있다고 검증하기 위한 방법과 연관된 주요 동작을 보여준다. 도시된 바와 같이, 검증은, 예를 들어 의심이 들 때에 82에서 표시된 바와 같이 사용자에 의해서 개시되거나, 83에 표시된 바와 같이 스마트폰 애플리케이션에 의해서 개시될 수 있다. 사용자에 의해서 개시되는 경우, 사용자는 지나가고 있는 랜드마크를 음성으로 식별한다(예를 들어, "우측에 스타벅스가 보여"). 스마트폰 애플리케이션은 이것이 정확한지 점검하고, 그렇다면 "좋아요, 계속 걸어가세요"라고 응답한다. 그렇지 않으면, 스마트폰 애플리케이션 사용자를 인접한 랜드마크로 지향시키고, 사용자에게 도 5에 80으로서 표시된 것과 유사한 교정 루틴을 수행하게 지시하며, 필요한 경우에는 네비게이션 명령을 업데이트할 것이다.

스마트폰 검증(83)은, 스마트폰이 사용자에게 시야 안에 있어야 하는 랜드마크가 사용자에 의해서 정확하게 보이는지를 확인하도록 음성으로 촉구한다는 것을 제외하고는 초기 교정과 유사한 방식으로 동작한다. 검증이 사용자 또는 스마트폰 애플리케이션에 의해 개시되는지와 무관하게, 랜드마크는 사용자 또는 스마트폰 애플리케이션 중 어느 하나에 의해서 선택될 수 있다. 예를 들어, 사용자는 단순하게 "도와줘"라고 말할 수 있고, 스마트폰 애플리케이션이 검증 프로토콜(83)을 수행할 것이다.

위에서 언급된 바와 같이, 본 발명의 양태는 디스플레이가 없이, 오직 IMU, 마이크로폰 및 이어폰을 포함하는 스마트 안경 프레임 또는 이어폰만 가지고서 구현될 수 있다.

이러한 경우에, 교정 또는 검증이 필요하다면 사용자는 그의 머리를 랜드마크의 대략적인 방향으로 향하게 한다. 비록 이러한 방식으로 결정된 배향이 투영된 마커를 사용하여 획득된 것보다 정확도가 떨어지지만, 이것은 여전히 자력계를 제공하는 것에 의해서 가능한 것보다는 정확하다. 그럼에도 불구하고, 이러한 경우에 그래픽 주석은 가능하지 않고, 음성 지시만 이용가능하다는 것은 분명하다.

도 7은 구별가능한 랜드마크가 식별될 수 없는 경우에 IMU를 교정하기 위한 대안적 실시형태를 그림으로 보여준다. 이것은 사용자를 둘러싼 요소들이 임의의 특별한 속성을 가지지 않는 상황, 예를 들어 건물에는 표지판이 없어서 사용자와 시스템 어느 누구도 사용자 주위의 임의의 객체를 음성으로 기술할 수 없는 상황에서 일어날 수 있다. 이러한 경우에, 스마트폰 애플리케이션은 사용자의 GPS 위치에 기반하여 사용자에게 그의 가시 영역의 파노라마 포토를 사용자의 폰으로 제공할 것이다. 이러한 포토는 스트리트 뷰 클라우드 데이터베이스 등으로부터 취출될 수 있다. 사용자는 바라보고 있는 객체의 위치를 디스플레이된 파노라마 포토에서 결정하고, 그것을 클릭한다. 파노라마 포토 내의 선택된 영역에 기반하여, 스마트폰 애플리케이션은 선택된 이미지를 사용자가 바라보고 있는 실제 객체와 상관시키고, 이것을 식별함으로써 사용자의 시선 방향을 구축할 수 있을 것이다.

청구된 바와 같은 본 발명의 범위로부터 벗어나지 않고서 변형이 이루어질 수 있다는 것이 이해될 것이다. 예를 들어, 마이크로폰 및 이어폰은 안경 프레임 안에 통합될 필요가 없다. 마이크로폰은 사용자의 재킷에 클리핑되고, 이어폰과 같이 스마트폰에 커플링될 수 있다. 이러한 경우에, 이들 중 하나 또는 양자 모두는, 통상적으로 스마트폰 블루투스™ 인터페이스를 사용하여 스마트폰에 무선으로 커플링될 수 있고, 또는 적절한 케이블을 통해서 연결될 수 있다.

실시형태들이 자력계를 채용하는 IMU의 교정을 특히 참조하여 설명되었지만, 위에서 언급된 바와 같이 IMU는 상대적인 각도 변위를 제공하는 자이로스코프를 채용할 수도 있다는 것에도 주의해야 한다. 이러한 경우에, IMU의 교정이 알려진 랜드마크에 대한 보행자의 초기 방위각을 결정하고, 자이로스코프는 IMU의 상대적인 회전을 표시하고, 따라서 초기 방위각에 대한 사용자의 상대 회전을 표시한다.

본 발명은 시스루는 아니지만 시각적 네비게이션 신호를 제공하는 디스플레이를 사용해서 구현될 수 있다. 예를 들어, 상이한 색상 또는 기하학적 형태를 가지는 LED들이 헤드-마운트 디바이스와 공간적 연관성을 가지고 장착됨으로써, 사용자가 어느 정도 거리를 향해 바라볼 때 이들을 볼 수 있게 할 수 있다. 조명된 LED는 첨예한 초점은 아니지만 사용자에게 보이게될 것이고, 방향을 표시할 수 있다. 사용자는 자신의 시선을 이러한 LED들 중 특정한 하나를 통해서 지향시킬 수 있고, 또는 교정 또는 검증이 이전에 설명된 바와 같이 요구되는 경우에는 그의 머리를 랜드마크의 대략적인 방향으로 위치시킬 수 있다. LED는 안경 렌즈 앞에 빌트인되거나 장착될 수 있다.

하나 이상의 실시형태를 참조하여 설명된 피쳐들이 그러한 실시형태를 한정하는 것이 아니라 예시하는 방식으로 설명된다는 것에 주의해야 한다. 따라서, 달리 진술되지 않는 한 또는 특정 조합이 명백하게 허용될 수 없는 경우가 아니라면, 일부 실시형태들만 참조하여 설명된 선택적인 피쳐들은 모든 다른 실시형태에도 유사하게 적용가능하다고 추정된다.

또한, 본 발명에 따른 소프트웨어가 본 발명의 방법을 실행하기 위하여 컴퓨터 프로세서에 의해 판독될 수 있는 컴퓨터 프로그램에 의해서 구현될 수 있다는 것이 이해될 것이다. 본 발명은 본 발명의 방법을 실행하기 위한 머신에 의해서 실행될 수 있는 명령들의 프로그램을 유형으로(tangibly) 구현하는 머신-판독가능 메모리를 더 고찰한다.

Claims (20)

1. 사용자가 목적지에 도착하도록 보조하기 위한 핸즈프리 보행자 네비게이션 방법으로서,
   (a) (i) 사용자의 시선(gaze) 앞에 시각적 이미지를 투영하기 위한 디스플레이, 및 (ii) IMU를 사용자의 머리에 장착하는 단계;
   (b) 사용자가 소지한 GPS 유닛으로부터 근사 사용자 위치를 획득하는 단계;
   (c) 상기 근사 사용자 위치를 사용하여 사용자를 포함하는 영역의 컴퓨터화된 맵 내에서 사용자의 위치를 결정하는 단계;
   (d) 상기 영역 내에서 사용자의 시야(view) 내의 알려진 랜드마크 위치를 가지는 랜드마크를 결정하는 단계;
   (e) 사용자의 시선이 상기 랜드마크를 향해 지향된다는 확인을 사용자로부터 획득하는 단계;
   (f) 사용자 위치와 상기 컴퓨터화된 맵으로부터 추출된 랜드마크 위치 사이의 계산된 방위각을 결정하는 단계;
   (g) 계산된 방위각을 사용하여 사용자의 시선과 목적지 사이의 각도 배향을 결정하는 단계; 및
   (h) 음성 프롬프트를 제공하고 보조적인 시각적 프롬프트를 디스플레이를 통해 투영함으로써 사용자를 네비게이션하는 단계를 포함하는, 핸즈프리 보행자 네비게이션 방법.
2. 제 1 항에 있어서,
   상기 방법은,
   (a) 사용자의 시선이 상기 랜드마크를 향해 지향될 때 상기 IMU 내의 헤드-마운트 자력계로부터 측정된 방위각을 획득하는 단계; 및
   (b) 측정된 방위각과 계산된 방위각 사이의 오프셋을 계산함으로써 사용자를 배향시키는 단계를 더 포함하는, 핸즈프리 보행자 네비게이션 방법.
3. 제 1 항에 있어서,
   (i) 사용자의 시선이 상기 랜드마크를 향해 지향된다는 사용자로부터의 확인;
   (ii) 상기 랜드마크의 ID(identification); 및
   (iii) 상기 목적지의 ID
   중 적어도 하나가 음성으로 전달되는, 핸즈프리 보행자 네비게이션 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 랜드마크는,
   사용자가 소지하는 스마트폰에 가시 영역(area of sight)의 파노라마 포토(panoramic photo)를 디스플레이하고, 상기 파노라마 포토 내에서 사용자에 의해 선택된 객체를 식별함으로써 식별되는, 핸즈프리 보행자 네비게이션 방법.
5. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 방법은,
   상기 디스플레이를 통하여 마커를 사용자의 가시 범위 상에 투영하고, 상기 마커가 상기 랜드마크와 정렬되면 사용자의 시선이 상기 랜드마크를 향해 지향된다는 확인을 사용자로부터 획득하며, 상기 디스플레이를 통해 사용자의 가시 범위 내에 시각적 표시를 디스플레이함으로써 사용자가 정확한 루트를 따라가고 있다는 것을 선택적으로 증명하고, 상기 디스플레이를 통해 사용자의 가시 범위 내에 시각적 표시를 디스플레이함으로써 사용자가 정확한 루트로부터 벗어나고 있다는 것을 사용자에게 선택적으로 경고하는 단계를 더 포함하는, 핸즈프리 보행자 네비게이션 방법.
6. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 사용자는 상기 네비게이션 서버에 커플링된 제삼자 가상 어시스턴트(virtual assistant)로의 인터페이스를 가지는 소프트웨어 애플리케이션을 통하여 정보를 음성으로 전달하는, 핸즈프리 보행자 네비게이션 방법.
7. 제 6 항에 있어서,
   상기 제삼자 가상 어시스턴트는
   아마존(Amazon)™ 알렉사 및 스킬즈(Alexa and Skills)를 지원하는 클라우드 애플리케이션이고, 인터넷을 거쳐 상기 네비게이션 서버에 커플링되는, 핸즈프리 보행자 네비게이션 방법.
8. 컴퓨터 프로그램 제품으로서,
   컴퓨터 처리 유닛에 의해 실행될 때 제 1 항 내지 제 3 항 중 어느 한 항에 따른 방법을 수행하는 프로그램 코드 명령을 저장하는 컴퓨터-판독가능 메모리를 포함하는, 컴퓨터 프로그램 제품.
9. 사용자를 목적지로 지향시키기 위한 보행자 네비게이션 시스템으로서,
   사용자에 의해 소지된 GPS 유닛;
   IMU 및 시각적 이미지를 사용자의 시선 앞에 투영시키기 위한 디스플레이를 포함하는, 사용자가 착용하기 위한 헤드-마운트(head-mountable) 디바이스; 및
   상기 GPS 유닛 및 상기 헤드-마운트 디바이스에 동작하도록 커플링되고, 메모리 및 처리 유닛을 가지는, 사용자에 의해 소지되는 휴대용 컴퓨팅 디바이스를 포함하고, 상기 처리 유닛은,
   (a) 사용자에 의해 소지된 GPS 유닛으로부터 근사 사용자 위치를 획득하고,
   (b) 상기 근사 사용자 위치를 사용하여 사용자를 포함하는 영역의 컴퓨터화된 맵 내에서 사용자의 위치를 결정하며,
   (c) 상기 영역 내에서 사용자의 시야 내의 알려진 랜드마크 위치를 가지는 랜드마크를 결정하고,
   (d) 사용자의 시선이 상기 랜드마크를 향해 지향된다는 확인을 사용자로부터 획득하며,
   (e) 사용자 위치와 상기 컴퓨터화된 맵으로부터 추출된 랜드마크 위치 사이의 계산된 방위각을 결정하고,
   (f) 계산된 방위각을 사용하여 사용자의 시선과 목적지 사이의 각도 배향을 결정하며,
   (g) 음성 프롬프트를 제공하고 보조적인 시각적 프롬프트를 디스플레이를 통해 투영함으로써 사용자를 네비게이션하도록
   프로그래밍된, 보행자 네비게이션 시스템.
10. 제 9 항에 있어서,
    상기 처리 유닛은,
    (a) 사용자의 시선이 상기 랜드마크를 향해 지향될 때 상기 헤드-마운트 디바이스 내의 자력계로부터 측정된 방위각을 획득하고,
    (b) 측정된 방위각과 계산된 방위각 사이의 오프셋을 계산함으로써 보행자를 배향시키도록
    더 프로그래밍된, 보행자 네비게이션 시스템.
11. 제 9 항 또는 제 10 항에 있어서,
    상기 시스템은,
    상기 컴퓨터화된 맵을 상기 휴대용 컴퓨팅 디바이스로 전송하기 위하여 상기 휴대용 컴퓨팅 디바이스와 통신하고 맵 데이터를 저장하는 원격 네비게이션 서버를 더 포함하는, 보행자 네비게이션 시스템.
12. 제 9 항 또는 제 10 항에 있어서,
    상기 휴대용 컴퓨팅 디바이스는 빌트인된 GPS 유닛을 포함하는 스마트폰인, 보행자 네비게이션 시스템.
13. 제 9 항 또는 제 10 항에 있어서,
    상기 헤드-마운트 디바이스는 안경 프레임에 탈부착가능하게 장착되고,
    상기 디스플레이는, 이미지를 디스플레이하기 위한 마이크로-디스플레이 및 이미지를 사용자에 의해 시청되는 장면에 투영하기 위한 광학기를 포함하며,
    선택적으로, 마이크로폰 및 이어폰이 상기 안경 프레임에 빌트인되고, 사용자를 요구된 목적지를 향해 지향시키기 위하여 음성 정보를 상기 휴대용 컴퓨팅 디바이스에 전송하고 음성 명령을 전송하기 위하여 상기 휴대용 컴퓨팅 디바이스에 커플링되도록 구성된, 보행자 네비게이션 시스템.
14. 제 13 항에 있어서,
    상기 이미지는 사용자의 시선이 상기 랜드마크와 정렬될 때 상기 랜드마크 상에 투영되는 마커인, 보행자 네비게이션 시스템.
15. 제 13 항에 있어서,
    상기 처리 유닛은, 네비게이션 도움(navigation aid)을 상기 마이크로-디스플레이에 전송하도록 프로그래밍된, 보행자 네비게이션 시스템.
16. 제 9 항 또는 제 10 항에 있어서,
    사용자를 요구된 목적지를 향해 지향시키기 위하여 음성 정보를 상기 휴대용 컴퓨팅 디바이스에 전송하고 음성 명령을 전송하기 위하여 상기 휴대용 컴퓨팅 디바이스에 커플링된 마이크로폰 및 이어폰을 더 포함하는, 보행자 네비게이션 시스템.
17. 제 9 항 또는 제 10 항에 있어서,
    상기 휴대용 컴퓨팅 디바이스는 네비게이션 서버에 커플링된 제삼자 가상 어시스턴트로의 인터페이스를 가지는 소프트웨어 애플리케이션을 실행하고,
    선택적으로, 마이크로폰 및 이어폰은 상기 휴대용 컴퓨팅 디바이스 내의 호스트 애플리케이션에 블루투스™를 통해 연결되며,
    상기 호스트 애플리케이션은 아마존™ 알렉사 및 스킬즈를 지원하는 클라우드 애플리케이션과 인터넷을 거쳐 통신하도록 구성된, 보행자 네비게이션 시스템.
18. 제 17 항에 있어서,
    상기 안경 프레임은 아마존™ 에코 프레임(Echo Frame)이고,
    상기 휴대용 컴퓨팅 디바이스는 네비게이션 서버에 커플링된 제삼자 가상 어시스턴트로의 인터페이스를 가지는 소프트웨어 애플리케이션을 실행하며,
    상기 안경 프레임은 상기 휴대용 컴퓨팅 디바이스 내의 호스트 애플리케이션에 블루투스™를 통해 연결되고,
    상기 호스트 애플리케이션은 아마존™ 알렉사 및 스킬즈를 지원하는 클라우드 애플리케이션과 인터넷을 거쳐 통신하도록 구성된, 보행자 네비게이션 시스템.
19. 제 17 항에 있어서,
    호스트 스마트폰 애플리케이션은 음성/텍스트 변환을 수행하도록 구성되고, 인터넷을 거쳐 네비게이션 애플리케이션 클라우드에 인터페이싱하며,
    네비게이션 애플리케이션 클라우드에서 네비게이션 기능의 활성화를 가능하게 하고 네비게이션 명령을 인터넷을 거쳐 상기 호스트 스마트폰 애플리케이션으로 되전송하기 위하여, 아마존™ 쉐어링 알렉사 스킬즈(Sharing Alexa Skills)가 상기 호스트 클라우드 애플리케이션과 상기 네비게이션 애플리케이션 클라우드 사이에서 데이터를 전송하기 위하여 사용된, 보행자 네비게이션 시스템.
20. 제 9 항 또는 제 10 항에 있어서,
    상기 디스플레이는 시스루 디스플레이인, 보행자 네비게이션 시스템.

Images