KR20170015454A

KR20170015454A - 의도된 타겟을 결정하기 위한 장치 및 방법

Info

Publication number: KR20170015454A
Application number: KR1020177000031A
Authority: KR
Inventors: 로버트 하디; 리 스크립척; 바샤르 아흐마드; 패트릭 랑돈; 시몬 고드실
Original assignee: 재규어 랜드 로버 리미티드
Priority date: 2014-07-04
Filing date: 2015-07-06
Publication date: 2017-02-08
Also published as: EP3164786B1; EP3164786A1; CN106471443A; GB2528245A; JP6438579B2; GB201511789D0; GB2530847A; US10719133B2; US20180173314A1; GB2527891A; GB201506485D0; WO2016001446A1; JP2017525074A; GB201411997D0

Abstract

본 발명의 실시예들은 사용자 인터페이스와 관련하여 오브젝트의 의도된 타겟을 결정하는 인간-머신 상호 작용 방법을 제공하는데, 이는, 복수의 시간 간격들에서의 오브젝트의 3차원 위치를 결정하는 단계, 사용자 인터페이스의 복수의 항목들 각각과 관련된 메트릭을 결정하는 단계- 이러한 메트릭은 각각의 항목이 오브젝트의 의도된 타겟임을 나타내며, 메트릭은 모델 및 복수의 시간 간격들에서의 3차원에 있는 오브젝트의 위치에 기초하여 결정됨 -, 및 복수의 항목들 각각과 관련된 메트릭에 기초하여 사용자 인터페이스의 복수의 항목들로부터 의도된 타겟을, 베이지안(Bayesian) 추론 프로세스를 사용하여, 결정하는 단계를 포함한다.

Description

의도된 타겟을 결정하기 위한 장치 및 방법{APPARATUS AND METHOD FOR DETERMINING AN INTENDED TARGET}

본 개시내용은 오브젝트의 의도된 타겟을 결정하기 위한 장치 및 방법에 관한 것이다.

이후 포인팅 제스처라고 하는 포인팅 선택 행위를 통해 사용자가 소위 HMI(human machine interaction)라 하는 머신과 상호 작용하는 것은 일반적이다. 예를 들어, 사용자는 터치 감지 디스플레이 디바이스에 디스플레이될 수 있는 GUI(graphical user interface)와 같은 버튼 또는 다른 제어 또는 대화형 디스플레이를 포인팅할 수 있다. 그러나, 특히 잘못된 선택(들)을 초래하는 사용자 입력에서의 불규칙하고 예측할 수 없는 교란에 이를 수 있는 이동 차량들에서 이러한 제스처들이 사용될 때, 특히 사용자가 차량의 운전자이면, 이는 시스템 이용 가능성을 손상시킬 수 있고 바람직하지 않은 양의 사용자의 주의를 묶어둘 수 있다.

본 발명의 실시예들의 목적은 종래 기술의 문제점들 중 하나 이상을 적어도 완화시키는 것이다. 본 발명의 실시예들의 목적은 포인팅 제스처의 지속시간을 감소시키는 것이다. 본 발명의 실시예들의 목적은 포인팅 제스처의 정확성을 향상시키는 것이다.

본 발명의 양상에 따르면, 첨부된 청구 범위에 제시되는 바와 같은 방법 및 장치가 제공된다.

본 발명의 양상에 따르면, 사용자 인터페이스와 관련하여 오브젝트의 의도된 타겟을 결정하는 인간-머신 상호 작용 방법이 제공되는데, 이는, 복수의 시간 간격들에서의 오브젝트의 3차원 위치를 결정하는 단계; 사용자 인터페이스의 복수의 항목들 각각과 관련된 메트릭을 결정하는 단계- 이러한 메트릭은 각각의 항목이 오브젝트의 의도된 타겟임을 나타내며, 메트릭은 모델 및 복수의 시간 간격들에서의 3차원에 있는 오브젝트의 위치에 기초하여 결정됨 -; 및 복수의 항목들 각각과 관련된 메트릭에 기초하여 사용자 인터페이스의 복수의 항목들로부터 의도된 타겟을, 베이지안(Bayesian) 추론 프로세스를 사용하여, 결정하는 단계를 포함한다.

사용자 인터페이스와 관련하여 오브젝트의 의도된 타겟을 결정하기 위한 HMI(human-machine interface) 시스템은, 오브젝트의 3차원 위치를 결정하기 위한 위치 결정 수단; 복수의 순간들에서의 오브젝트의 위치를 3차원으로 나타내는 데이터를 저장하기 위한 메모리 수단; 및 처리 수단을 포함하고, 이러한 처리 수단은, 각각의 항목이 오브젝트의 의도된 타겟인 사용자 인터페이스의 복수의 항목들 각각과 관련된 메트릭을 결정하도록- 이러한 메트릭은 모델 및 복수의 시간 간격들에서의 오브젝트의 위치에 기초하여 결정됨 -; 그리고 복수의 항목들 각각과 관련된 메트릭에 기초하여 사용자 인터페이스의 복수의 항목들로부터 의도된 타겟을, 베이지안(Bayesian) 추론 프로세스를 사용하여, 결정하도록 구성된다.

본 발명의 양상에 따르면 오브젝트의 의도된 타겟을 결정하는 방법이 제공되는데, 이는, 복수의 시간 간격들에서의 오브젝트의 위치를 결정하는 단계; 복수의 항목들 각각과 관련된 메트릭을 결정하는 단계- 이러한 메트릭은 각각의 타겟이 오브젝트의 의도된 타겟임을 나타내며, 메트릭은 모델 및 복수의 시간 간격들에서의 오브젝트의 위치에 기초하여 결정됨 -; 및 복수의 타겟들 각각과 관련된 메트릭에 기초하여 복수의 타겟들로부터 의도된 타겟을, 베이지안(Bayesian) 추론 프로세스를 사용하여, 결정하는 단계를 포함한다.

선택적으로, 의도된 타겟은 오브젝트의 위치에 기초하여 결정된다. 오브젝트가 타겟에 도달하기 전에 의도된 타겟이 결정될 수 있다.

본 방법은 오브젝트의 궤적을 결정하는 단계를 포함할 수 있다. 오브젝트의 궤적은 복수의 시간 간격들에서의 오브젝트의 위치를 나타내는 데이터를 포함할 수 있다. 오브젝트의 궤적을 사용하는 것은 의도된 타겟의 결정을 향상시킬 수 있다.

본 방법은 오브젝트의 궤적을 필터링하는 단계를 포함할 수 있다. 필터링하는 단계는 오브젝트의 궤적을 매끄럽게 할 수 있고 및/또는 필터링하는 단계는 오브젝트의 의도되지 않은 이동들 및/또는 궤적으로부터의 노이즈를 감소시킬 수 있다. 유리하게도 궤적을 필터링하는 단계는 점프들 또는 요동들과 같은 의도되지 않은 이동들의 영향을 감소시킬 수 있다.

모델은 베이지안(Bayesian) 의도성 예측 모델일 수 있다. 모델은 선형 모델일 수 있다. 모델은 하나 이상의 필터들에 기초할 수 있으며; 선택적으로, 하나 이상의 필터들은 칼만(Kalman) 필터들이다.

모델은 비-선형 모델일 수 있다. 모델은 오브젝트의 불규칙한 이동들을 포함할 수 있다. 비-선형 모델은 하나 이상의 통계 필터들에 기초할 수 있으며; 선택적으로 입자 필터들이다.

모델은 이력 데이터에 기초하여 학습되는 분포에 기초하는 모델일 수 있으며, 이는 가우시안(Gaussian) 또는 다른 것일 수 있다. 모델은 NN(Nearest Neighbour) 모델일 수 있다. NN 모델은 오브젝트의 위치와 각각의 타겟들 사이의 거리에 기초하여 메트릭을 결정할 수 있다. 메트릭은 오브젝트와 각각의 타겟들 사이의 거리를 나타낼 수 있다.

모델은 BA(bearing angle) 모델일 수 있다. 메트릭은 오브젝트의 궤적과 각각의 타겟들 사이의 각도를 나타낼 수 있다.

모델은 HSA(heading solid angle) 모델일 수 있다. 메트릭은 오브젝트와 각각의 타겟들 사이의 입체각을 나타낼 수 있다.

모델은 LDR(Linear Destination Reversion) 또는 NLDR(Nonlinear Destination Reversion) 모델일 수 있다. 본 방법은 각각의 타겟들에 대한 모델을 결정하는 단계를 포함할 수 있다. 메트릭은 오브젝트의 궤적과 가장 잘 일치하는 모델을 나타낼 수 있다. NLDR 모델은 궤적의 비-선형 교란을 포함할 수 있다.

모델은 MRD(Mean Reverting Diffusion) 모델일 수 있다. MRD는 오브젝트의 위치를 의도된 타겟으로 복귀하는 프로세스로서 모델링할 수 있다.

모델은 ERV(Equilibrium Reverting Velocity) 모델일 수 있다. 메트릭은 오브젝트의 타겟으로의 이동 속도에 기초할 수 있다.

모델은 브리징 모델일 수 있다. 브리징 모델은 하나 이상의 브리지들에 기초할 수 있다. 예를 들어 브리징 모델은 마르코프 브리지들(Markov bridges)의 뱅크에 기초할 수 있다. 각각의 브리지는 피추적 오브젝트의 공칭 의도된 목적지에서 종료되도록 결정될 수 있고, 복수의 타겟들의 공간 면적 및/또는 복수의 시간 간격들의 지속시간에 기초할 수 있다.

본 방법은 오브젝트의 상태를 결정하는 단계를 포함할 수 있다.

본 방법은 하나 이상의 환경 정보 항목들을 수신하는 단계를 포함할 수 있다. 환경 정보는 가속도를 나타내는 정보, 차량의 상태를 나타내는 정보 및/또는 차량 주변을 나타내는 이미지 데이터 중 하나 이상을 포함할 수 있다. 메트릭의 결정은 하나 이상의 환경 정보 항목들에, 적어도 일부, 기초할 수 있다. 모델은 하나 이상의 환경 정보 항목들에, 적어도 일부, 기초하여 선택될 수 있다.

의도된 타겟을 결정하는 단계는 비용 함수에 기초할 수 있다. 비용 함수는 의도된 타겟을 부정확하게 결정하는 것에 대한 비용을 부과할 수 있다. 의도된 타겟은 비용 함수를 감소시키도록 결정될 수 있다.

의도된 타겟을 결정하는 단계는 하나 이상의 사전 정보(prior information) 항목들에 기초할 수 있다. 사전 정보는 타겟들 중 적어도 일부와 관련될 수 있다. 사전 정보는 사전에 선택된 타겟들을 나타낼 수 있다. 유리하게도 사전 정보는 의도된 타겟의 결정을 향상시킬 수 있다.

본 방법은 복수의 가장 최근의 시간 간격들을 선택하는 단계를 포함할 수 있으며, 복수의 타겟들 각각과 관련된 메트릭을 결정하는 단계는 복수의 가장 최근의 시간 간격들에서의 오브젝트의 위치에 기초할 수 있다.

오브젝트는 포인팅 오브젝트일 수 있다. 오브젝트의 위치는 3차원으로 결정될 수 있다. 오브젝트의 위치를 결정하는 단계는 오브젝트의 위치를 추적하는 단계를 포함할 수 있다. 오브젝트의 위치를 결정하는 단계는 오브젝트로부터 방사선을 수신하는 단계를 포함할 수 있다.

본 방법은 의도된 타겟의 표시를 출력하는 단계를 포함할 수 있다. 의도된 타겟의 표시는 의도된 타겟을 식별하는 단계를 포함할 수 있으며; 선택적으로 의도된 타겟은 시각적으로 식별될 수 있다. 바람직하게는 결정된 의도된 타겟을 사용자가 알게 될 수 있다. 다음으로 사용자는 의도된 타겟의 선택을 야기할 수 있다.

본 방법은 의도된 타겟 및 하나 이상의 가능한 타겟들의 표시를 출력하는 단계를 포함할 수 있다. 본 방법은 의도된 타겟을 활성화시키는 단계를 포함할 수 있다.

복수의 타겟들은 그래픽으로 디스플레이되는 항목들 또는 물리적 제어들 중 하나 이상을 포함할 수 있다. 오브젝트의 위치는 3차원으로 결정될 수 있다.

본 발명의 양상에 따르면, 오브젝트의 의도된 타겟을 결정하기 위한 시스템이 제공되는데, 이는, 오브젝트의 위치를 결정하기 위한 위치 결정 수단; 하나 이상의 순간들에서의 오브젝트의 위치를 나타내는 데이터를 저장하기 위한 메모리 수단; 및 처리 수단을 포함하고, 이러한 처리 수단은, 각각의 타겟이 오브젝트의 의도된 타겟인 복수의 타겟들 각각과 관련된 메트릭을 결정하도록- 이러한 메트릭은 모델 및 복수의 시간 간격들에서의 오브젝트의 위치에 기초하여 결정됨 -; 그리고 복수의 타겟들 각각과 관련된 메트릭에 기초하여 복수의 타겟들로부터 의도된 타겟을, 베이지안(Bayesian) 추론 프로세스를 사용하여, 결정하도록 구성된다.

처리 수단은 본 발명의 제1 양상에 따른 방법을 수행하도록 구성될 수 있다.

위치 결정 수단은 오브젝트로부터 방사선을 수신하기 위한 수단을 포함할 수 있다. 위치 결정 수단은 하나 이상의 촬상 디바이스들을 포함할 수 있다.

각각의 순간에서의 오브젝트의 위치를 나타내는 위치 데이터가 메모리 수단에 저장될 수 있다.

본 시스템은 가속도 데이터를 출력하기 위한 하나 이상의 가속도계들을 포함할 수 있다. 바람직하게는 가속도 데이터는, 예를 들어, 모델을 선택하는 것에 의해, 예를 들어, 결정을 향상시키도록, 결정 프로세스에서 사용될 수 있다.

본 시스템은 그 상에 GUI(graphical user interface)를 디스플레이하기 위한 디스플레이 수단을 포함할 수 있으며, 복수의 타겟들은 GUI 항목들이다.

본 시스템의 모델은 브리징 모델일 수 있다. 브리징 모델은 하나 이상의 브리지들에 기초할 수 있다. 예를 들어 브리징 모델은 마르코프 브리지들(Markov bridges)의 뱅크에 기초할 수 있다. 각각의 브리지는 피추적 오브젝트의 공칭 의도된 목적지에서 종료되도록 결정될 수 있고, 복수의 타겟들의 공간 면적 및/또는 복수의 시간 간격들의 지속시간에 기초할 수 있다.

처리 수단은 하나 이상의 감지 수단으로부터 환경 데이터를 수신하도록 구성될 수 있으며; 선택적으로 감지 수단은 차량 및/또는 촬상 디바이스들의 상태를 결정하기 위한 수단을 포함할 수 있다.

본 발명의 양상에 따르면, 사용시, 본 발명의 제1 양상에 따른 방법을 수행하도록 구성되는 처리 디바이스를 포함하거나 또는 본 발명의 제2 양상에 따른 시스템을 포함하는 차량이 제공된다.

본 발명의 양상에 따르면 오브젝트의 의도된 타겟을 결정하는 방법이 제공되는데, 이는, 복수의 시간 간격들에서의 오브젝트의 위치를 결정하는 단계; 및 상기 타겟의 타겟이 의도된 타겟인 것과 관련된 확률을 결정하는 단계를 포함한다.

이러한 확률은 모델 및 복수의 시간 간격들에서의 오브젝트의 위치에 기초하여 결정될 수 있다.

본 발명의 양상에 따르면, 사용시, 오브젝트의 의도된 타겟을 결정하도록 구성되는 처리 디바이스를 포함하는 장치가 제공되는데, 이러한 처리 디바이스는, 복수의 시간 간격들에서의 오브젝트의 위치를 결정하도록; 그리고 상기 타겟의 타겟이 의도된 타겟인 것과 관련된 확률을 결정하도록 구성된다.

본 명세서에 사용되는 바와 같이, "처리 수단(processing means)"이라는 용어는 단일의 프로세서, 제어 유닛 또는 제어기 및 필요한 제어 기능성을 제공하기 위해 집합적으로 동작하는 복수의 프로세서들, 제어 유닛들 또는 제어기들 양자 모두 포함하는 것으로 이해될 것이다. 실행될 때, 상기 제어기(들) 또는 제어 유닛(들)로 하여금 본 명세서에 설명되는 제어 기술들(이하 설명되는 방법(들)을 포함함)을 구현하게 하는 명령들의 집합이 제공될 수 있다. 이러한 명령어들의 집합은 하나 이상의 전자 프로세서들에 내장될 수 있거나, 또는 대안적으로, 이러한 명령어들의 집합은 하나 이상의 전자 프로세서(들)에 의해 실행될 소프트웨어로서 제공될 수 있다. 예를 들어, 제1 제어기는 하나 이상의 전자 프로세서들에서 실행되는 소프트웨어로 구현될 수 있고, 하나 이상의 다른 제어기들은 제1 제어기와 선택적으로 동일한 하나 이상의 프로세서들에서 실행되는 소프트웨어로 또한 구현될 수 있다. 그러나, 다른 구성들이 또한 유용하고, 따라서, 본 발명은 임의의 특정 구성에 제한되는 것으로 의도되지 않는다는 점이 이해될 것이다. 어떠한 경우에든, 위에 설명된 명령어들의 집합은, 이에 제한되는 것은 아니지만, 자기 저장 매체(예를 들어, 플로피 디스켓); 광 저장 매체(예를 들어, CD-ROM); 광 자기 저장 매체; ROM(read only memory); RAM(random access memory); 소거 가능한 프로그램 가능 메모리(예를 들어, EPROM 및 EEPROM); 플래시 메모리; 또는 이러한 정보/명령어들을 저장하기 위한 전기적 또는 다른 종류의 매체를 포함하는, 머신 또는 전자 프로세서들/연산 디바이스에 의해 판독 가능한 형태로 정보를 저장하기 위한 임의의 메커니즘을 포함할 수 있는 컴퓨터 판독 가능 저장 매체 장치(예를 들어, 비-일시적 저장 매체)에 내장될 수 있다. "위치 결정 수단(location determining means)"이라는 용어는 오브젝트의 위치를 결정하기 위한 하나 이상의 위치 결정 디바이스들을 의미하는 것으로 이해될 수 있으며, "메모리 수단(memory means)"이라는 용어는 하나 이상의 순간들에서의 오브젝트의 위치를 나타내는 데이터를 저장하기 위한 하나 이상의 메모리 디바이스들을 의미하는 것으로 이해될 수 있다는 점이 또한 이해될 것이다.

본 출원의 범위 내에서, 선행 문단들에서, 청구항들에서 및/또는 이하의 설명 및 도면들에서, 그리고 특히 그 개별적인 특징들에서 제시되는 다양한 양상들, 실시예들, 예들 및 대안들은 독립적으로 또는 임의의 조합으로 취해질 수 있다는 점이 명백히 의도된다. 즉, 모든 실시예들 및/또는 임의의 실시예의 특징들은, 이러한 특징들이 양립할 수 없는 것이 아니라면, 임의의 방식 및/또는 조합으로 조합 될 수 있다. 본 출원인은 임의의 본래 출원된 청구항 변경하거나 그에 따라 임의의 새로운 청구항을 출원할 권리를 보유하며, 그러한 방식으로 본래 청구되지 않았더라도 임의의 다른 청구항의 임의의 특징으로부터 의존하거나 및/또는 이를 포함하도록 임의의 본래 출원된 청구항을 보정할 권리를 포함한다.

본 발명의 실시예들이 이제 첨부 도면들을 참조하여 예로써만 설명될 것이며, 여기서:
도 1은 포인팅 제스처들 동안의 손가락끝 궤적들의 도해를 도시한다.
도 2는 본 발명의 실시예에 따른 시스템의 도해를 도시한다.
도 3은 타겟에 대한 입체각을 도시한다.
도 4는 본 발명의 실시예에 따른 방법의 도해를 도시한다.
도 5는 본 발명의 다양한 실시예들의 성능의 도해를 도시한다.
도 6은 본 발명의 다양한 실시예들의 성능의 다른 도해를 도시한다.
도 7은 본 발명의 다양한 실시예들의 성능의 또 다른 도해를 도시한다.
도 8은 본 발명의 실시예에 따른 차량을 도시한다.
도 9는 본 발명의 실시예에 따른 오브젝트의 교란된 궤적 및 필터링된 궤적의 도해이다.
도 10은 본 발명의 실시예들에 따른 다양한 모델들에 대한 목적지 성공적 예측의 평균 백분율의 도해이다.
도 11은 본 발명의 실시예들에 따른 다양한 모델들에 대한 성공적 예측이 있는 (시간에서의) 제스처 부분의 도해이다.
도 12는 본 발명의 실시예들에 따른 평균 로그 예측 불확실성의 도해이다.

본 발명의 실시예들은 오브젝트의 의도된 타겟을 결정하기 위한 방법들 및 장치에 관한 것이다. 이러한 오브젝트는 스타일러스 또는 손가락과 같은 포인팅 오브젝트일 수 있지만, 이에 제한되는 것은 아라는 점이 이해될 것이다. 본 발명의 실시예들은, 차량에서 수행되는 손가락끝 포인팅 제스처들을 참조하여, 예로써 설명될 것이다. 그러나, 포인팅 오브젝트는 가늘고 긴 오브젝트, 예를 들어, 스타일러스와 같은, 손가락 이외의 오브젝트 수 있다는 점이 이해될 것이다. 또한, 본 발명의 실시예들은 차량 내에서의 사용에 제한되지 않으며, 예를 들어, 태블릿 컴퓨터 또는 스마트폰과 같은 컴퓨팅 디바이스 상에서 포인팅 오브젝트의 의도된 목적지를 결정하는데, 예를 들어, 사용될 수 있다. 또한, 본 발명의 실시예들은 디스플레이 디바이스 상에서 포인팅 오브젝트의 의도된 목적지를 결정하는 것을 참조하여 설명될 것이다. 특히, 의도된 타겟인 디스플레이 디바이스에 디스플레이되거나 의도된 타겟일 가능성을 갖는 하나의 또는 복수의 그래픽 오브젝트들을 결정하는 것. 본 발명의 실시예들이 디스플레이 디바이스의 표면에 디스플레이되는 의도된 타겟으로 제한되지 않는다는 점이 이해될 것이다. 디스플레이 디바이스는 차량의 내부 표면과 같은 표면 상에 이미지를 투사하고, 이러한 표면에 디스플레이되는 그래픽 오브젝트일 수 있는 의도된 타겟을 검출하기 위한 디바이스일 수 있다. 예를 들어, 이러한 표면은 차량의 대시 보드 또는 내부 부분일 수 있지만, 다른 표면들이 예상될 수 있다는 점이 이해될 것이다. 의도된 타겟은, 예를 들어, 복수의 물리적 버튼들 또는 다른 제어들 중 하나일 수도 있다. 일부 실시예들에서 이러한 이미지는 3D 헬리오그래프(heliograph) 및/또는 입체(stereoscopic) 이미지를 포함할 수 있다.

도 1을 참조하면, 차량 내의 디스플레이 디바이스에 디스플레이되는 복수의 그래픽 항목들 중 하나를 선택하기 위한 3개의 분리된 포인팅 작업들에 대한 손가락끝 궤적이 3D(three-dimensions)로 도시된다. 손가락끝의 위치는 t1부터 tk까지의 복수의 시간 간격들 tn 각각에서 결정된다. 각각의 시간 간격에서 손가락끝의 위치는 위치 벡터

로서 3D로 결정된다. 벡터 m_n은, 예를 들어, 손가락의, 기록된 포인팅 오브젝트 위치를 나타내는데 사용되는데, 이는 노이즈 및/또는 교란을 포함할 수 있다.

일부 실시예들에서, m_n은 손가락끝 위치를 검출하도록 구성되는 센서의 원점을 참조하여 결정될 수 있지만, 다른 실시예들에서, m_n은 차량 내의 위치, 예를 들어 디스플레이 디바이스에 대한 위치와 같은 다른 위치를 참조하여 결정될 수 있다. 또한, 일부 실시예들에서, 벡터 m_n은 하나 이상의 가속도계들, 자이로스코프들 등에 의해 출력되는 것과 같은 다른 센서 데이터를 포함할 수 있다. 다시 말해서, 벡터 m_n은 오브젝트의 위치에 추가적인 정보를 나타낼 수 있다.

도 1의 (a)는 정지된 차량에서 디스플레이 디바이스(100)에 디스플레이되는 원들(110)(명확성을 위해 하나만 넘버링됨)로서 표현되는 상이한 그래픽 항목들 또는 버튼들을 선택하기 위한 3개의 분리된 포인팅 작업들에 대한 손가락끝 궤적(150)(명확성을 위해 하나만 넘버링됨)을 도시한다. 이해될 수 있듯이, 정지된 차량 내에서도, 이러한 궤적들은 불규칙하다. 도 1의 (b)는 차량이 울퉁불퉁한 도로 위에서 변하는 속도로 움직이는 동안 상이한 디스플레이된 그래픽 항목들을 선택하기 위한 3개의 분리된 포인팅 작업들에 대한 궤적들(160)(다시 하나만 넘버링됨)을 도시한다. 이해될 수 있듯이, 이러한 궤적들은 현저한 교란을 경험한다. 다른 교란은, 예를 들어, 컴퓨팅 디바이스를 잡고 포인팅 제스처를 시도하면서 걷는 사용자로부터 발생할 수 있다.

도 2는 본 발명의 실시예에 따른 시스템(200)을 도시한다. 이러한 시스템(200)은 포인팅 오브젝트의 의도된 타겟을 결정하기 위한 시스템이다. 시스템(200)은 포인팅 오브젝트의 위치를 결정하기 위한 수단(210), 포인팅 오브젝트의 의도된 타겟을 결정하기 위한 처리 수단(220) 및 포인팅 오브젝트의 적어도 하나의 가능한 타겟을 디스플레이하기 위한 디스플레이 수단(230)을 포함하지만, 위에 주목된 바와 같이, 다른 실시예들에서, 포인팅 오브젝트의 가능한 타겟들은 버튼 또는 다른 제어와 같은 물리적 오브젝트일 수 있으며, 따라서 디스플레이는 선택적이다. 처리 수단(220)은 포인팅 오브젝트의 목표가 의도된 것인지, 또는 우연히 타겟이 되었는지를 결정할 수 있다. 예를 들어, 그래픽 항목 또는 버튼이 사용자에 의해 터치될 것으로 의도되었는지 또는 차량의 이동으로 인해서와 같이 우연히 터치되었는지. 따라서, 그 타겟이 의도되지 않은 것이라고 처리 수단(220)이 결정하면 그 입력은 폐기될 수 있다. 처리 수단이 의도된 타겟을 결정하는 것에 응답하여, 일부 실시예들에서 디스플레이 수단(230)은, 의도된 타겟 또는 하나 이상의 가능한 타겟들을 하이라이트하는 것에 의해서와 같이, 선택 프로세스를 돕도록, 또는 디스플레이 수단(230)에 디스플레이되는 정보의 일부를 확대하도록, 이러한 결정에 응답하여 작용하게 될 수 있다.

일부 실시예들에서, 시스템(200)은 하나 이상의 가속도계들, 차량의 서스펜션을 모니터하는 센서들, 노면 상태 분류를 가능하게 하기 위해 도로를 마주보도록 전방을 향하는 것과 같은 하나 이상의 카메라들 등과 같은 하나 이상의 추가 센서들로부터의 데이터를 포함하거나 수신할 수 있다. 이러한 하나 이상의 센서들은 시스템(200)의 동작 환경을 확립하는 것을 도울 수 있다. 예를 들어, 많은 진동이 경험되고 있거나 경험될 것임을 확립하는데 가속도계/카메라가 사용될 수 있다. 이러한 하나 이상의 가속도계들은, 이하 설명되는 바와 같이, 시스템이, 적절한 모델을 선택하는 것에 의해서와 같이, 지배적인 조건들에 적응하게 할 수 있다.

오브젝트의 위치를 결정하기 위한 수단(210)은 위치 감지 디바이스(210)이다. 이러한 위치 감지 디바이스는 수신된 방사선에 응답하는 하나 이상의 디바이스들로부터의 데이터에 기초하여 오브젝트의 위치를 결정할 수 있다. 이러한 방사선은 음파들 또는 전자기 방사선과 같이 시스템(200)의 일부를 형성하는 하나 이상의 디바이스들로부터 방출될 수 있다. 위치 감지 디바이스는, 일 실시예에서, 피추적 오브젝트와 관련된 가속도계일 수 있다. 위치 감지 디바이스는 오브젝트에 관한 이미지 데이터를 출력하기 위한 하나 이상의 촬상 디바이스들을 포함할 수 있다. 이러한 하나 이상의 촬상 디바이스들은 오브젝트의 위치가 그로부터 결정될 수 있도록 오브젝트에 대응하는 이미지 데이터를 포함하는 이미지 데이터를 출력하도록 구성되는 하나 이상의 카메라들일 수 있다. 위치 감지 디바이스는 RTM(Microsoft Kinect) 또는 Leap Motion, Inc.로부터 입수할 수 있는 RTM(Leap Motion) 제어기와 같은 상업적으로 입수할 수 있는 디바이스일 수 있다. 다른 디바이스들이 사용될 수 있다는 점이 이해될 것이다.

처리 수단(220)에 의해 오브젝트의 위치가 결정될 수 있는 데이터를 출력하도록 위치 감지 디바이스(210)가 구성될 수 있거나 또는 오브젝트의 위치를 나타내는 위치 데이터를 위치 감지 디바이스(210)가 출력할 수 있다. 일 실시예에서, 위치 감지 디바이스(210)는 오브젝트의 위치를 나타내는 공식

의 순간 t _k 에서의 위치 데이터를 출력하도록 구성된다. ㎜ 단위일 수 있는 m_k의 값은 미리 결정된 데이터를 참조하여 오브젝트의 위치를 명시할 수 있다. 이러한 데이터는 위치 감지 디바이스(210)에 관련될 수 있거나 또는 디스플레이 디바이스(230) 주위의 포인트과 같은 다른 데이터에 관련될 수 있다.

위치 감지 디바이스 또는 처리 수단(220)은, 위치 감지 디바이스(210)가 오브젝트의 추적을 일시적으로 잃을 때와 같이, 데이터 연관을 수행하는 것에 의해 오브젝트를 추출하거나 또는 식별하도록 구성될 수 있다. 예를 들어, 몇몇 가능한 손가락들이 있는 포인팅 손, 스티어링 휠, 후방 뷰잉 미러들 등과 같은, 몇몇 오브젝트들이 위치 감지 디바이스(210)의 시야 내에서 검출될 수 있다. 포인팅 손가락 또는 다른 오브젝트와 같은 원하는 오브젝트를 추출하는 것 및/또는 식별하는 것이 예비 단계로서 수행될 수 있다.

디스플레이 수단(230)은 GUI(graphical user interface)의 일부를 형성할 수 있는 하나 이상의 선택 가능한 항목들을 디스플레이하기 위한 디스플레이 디바이스이다. 이러한 디스플레이 디바이스는 GUI의 일부를 형성할 수 있는 하나 이상의 선택 가능한 항목들을 포함하는 시각적 이미지들을 출력하기 위한 터치 감지 스크린일 수 있다. 디스플레이 디바이스(230)는, 사용자가 화면의 표면을 터치하는 것에 응답하여, 터치된 위치를 나타내는 데이터를 출력하거나 또는 선택된 항목을 나타내는 데이터를 출력할 수 있다. 다른 실시예에서, 디스플레이 디바이스(230)는 차량의 내부 표면과 같은 표면 상에 이미지를 투사하도록 구성되는 프로젝션 디바이스를 포함할 수 있는데, 이러한 이미지는 표면에 디스플레이되는 선택 가능한 오브젝트를 포함한다. 예를 들어, 이러한 표면은 차량의 대시 보드 또는 내부 부분일 수 있지만, 다른 표면들이 예상될 수 있다는 점이 이해될 것이다.

처리 수단(220)은 하나 이상의 프로세서들 및 처리 디바이스에 액세스 가능한 메모리를 포함하는 처리 디바이스일 수 있다. 이러한 메모리는, 처리 디바이스에 의해 실행될 때, 본 발명의 실시예에 따른 방법을 수행하도록 구성되는 컴퓨터 소프트웨어를 저장할 수 있다. 메모리는 또한, 사용시에, 하나 이상의 순간에서의 오브젝트의 위치를 나타내는 데이터를 저장할 수 있다.

처리 수단(220)은 오브젝트의 궤적을 결정하기 위한 궤적 모듈(221)을 포함할 수 있다. 궤적이라는 용어는 복수의 순간들에서의 오브젝트의 위치를 의미하는 것으로 이해될 수 있다는 점이 이해될 것이다. 궤적 모듈(221)은 하나 이상의 가능한 타겟들이 오브젝트의 의도된 타겟일 가능성을 결정하도록 구성된다.

특히, 궤적 모듈(221)은, 순간 t _k 에서, 선택 가능한 항목

가 의도된 타겟일 확률을

로서 확률을 결정할 수 있는데, 여기서

는 i번째 선택가능한 아이콘

의 중심의 좌표들을 나타내고,

는 연속적 이산 시간들

에서의 오브젝트의 모든 이용 가능한 좌표들을 포함한다. 궤적 모듈(221)은, 일부 실시예들에서, 예를 들어, 오브젝트의 궤적을 매끄럽게 하기 위해 전처리 동작이 수행된 후에와 같이 오브젝트의 처리된 위치로서

를 결정할 수 있다. 이러한 전처리는 위치 데이터

로부터 노이즈, 의도되지 않은 이동들, 진동들, 점프들 등 중 하나 이상을 제거하여

를 생성할 수 있다. 의도되지 않은 이동들은, 예를 들어, 도 1의 (b)에 도시되는 것들이다. 이하에서

는

로 대체될 수 있다는 점이 이해될 것이다.

일부 실시예들에서, 궤적 모듈(221)은 복수의 N개 항목들

각각에 대한 확률을 결정할 수 있는데, 여기서

는

에서와 같이 선택 가능한 GUI 항목들과 같은 항목들의 집합이다.

필터링 동작은 오브젝트의 불규칙한 또는 의도되지 않은 이동들을 감소시키기 위해 수행될 수 있다. 이러한 이동들은 도로 또는 운전 조건들, 예를 들어, 스포츠 방식에서와 같이, 도로가 울퉁불퉁하다거나 또는 차량이 열광적으로 운전되고 있는 것에 기인할 수 있다. 이러한 이동들은 사용자가 걷거나 이동하는 것에 또한 기인할 수 있다.

이러한 필터링 동작은 SMC(Sequential Monte Carlo)와 같은 Monte Carlo 필터링 동작일 수 있다. 필터링은 이하 설명되는 바와 같이 의도 추론 프로세스 이전에 수행된다. 순간

에서의 필터링 동작의 출력은

에 의해 표시되는 포인팅 오브젝트의 실제 위치를 나타내고, 따라서 의도되지 않은 이동들 또는 원하지 않는 노이즈를 제거한 후이다.

온화한 교란에 대해, 필터링 동작은 오브젝트의 이동들의 선형 상태 공간 모델에 기초할 수 있다. 이러한 모델은 선형 통계적 필터링 동작, 예를 들어, Linear Kalman 필터에 이를 수 있다. 보다 불규칙한 의도하지 않은 포인팅 오브젝트 이동들, 예를 들어, 현저한 점프들 또는 요동들은, 예를 들어, SMC(Sequential Monte Carlo) 또는 MCMC(Markov Chain Monte Carlo)과 같은 Monte Carlo 필터링 또는 임의의 다른 접근방식과 같은 비-선형 구현들에 이를 수 있는 점프들로서 모델링될 수 있다.

아이템이 의도된 타겟일 확률

또는

은 모델과 오브젝트의 궤적에 따라 결정된다. 이러한 모델은 선형 또는 비-선형 모델일 수 있다. 모델은, 일부 실시예들에서, 교란, 즉 차량 이동으로부터 발생하는 것과 같은 이동으로 인한 점프들 또는 요동들과 같은 의도되지 않은 이동들을 모델링할 수 있다.

모델은 NN(Nearest Neighbour), BA(Bearing Angle), HSA(Heading and Solid Angle), MRD(Mean Reverting Diffusion)와 같은 LDR(Linear Destination Reversion) 뿐만 아니라 ERV(Equilibrium Reverting Velocity), NLDR(Nonlinear Destination Reversion) 및 BD(Bridging Distribution) 중 하나일 수 있다. 이하의 정보 이외에도, 본 발명의 실시예들에 따른 이러한 모델들과 관련된 추가의 정보가 첨부 초안들에 제공된다.

의도 추론 모듈(222)은 오브젝트의 의도된 타겟을 결정하도록 구성된다. 이러한 의도된 타겟은 베이지안(Bayesian) 접근방식을 사용하여 결정된다. 의도 추론 모듈(222)은 복수의 타겟들 각각과 관련된 가능성

에 기초하여 복수의 N개 타겟들로부터 의도된 타겟을 결정하도록 구성될 수 있다. 이는 다음을 통해 MAP(Maximum a Posteriori)를 계산하는 것과 같을 수 있다:

N개의 공칭 타겟들의 집합에 대해서,

는 예측된 목적지이고, Bayes의 규칙

에 따라서

이다.

이하의 섹션들은 궤적 모듈(221)에 의해 사용될 수 있는 복수의 모델들의 논의를 제공한다.

NN(Nearest Neighbour) 모델

NN 모델에서 가능성 P는 순간 t _k 에서의 오브젝트의 현재 위치까지의 거리에 기초하여 각각의 항목에 할당된다. NN에 대한 전통적인 접근방식들과는 달리, 여기서는 가장 가까운 이웃 모델의 확률론적 해석이 공식화되어 각각의 공칭 목적지의 확률이 계산된다.

이러한 접근방식은 포인팅 손가락과 같은 오브젝트의 현재 위치에 가장 가까운 항목, 즉 유클리드 거리

가 가장 작은

를 선택한다. 확률론적 체계에서, 이것은 다음과 같이 표현될 수 있다.

여기서

는 알려진 분포, 예를 들어 가우시안(Gaussian), 또는 사전에 기록된 데이터로부터 학습되는 분포 중 어느 하나이다. 반면, 분포 평균

는 i번째 목적지의 위치의 함수, 예를 들어

이다. 가장 단순한 NN 모델은

로 주어지는데, 여기서 오브젝트 위치

는 가능한 목적지의 것과 평균이 같고 고정된 공분산이

인 다변량 정규 분포를 갖는다. 후자는 설계 파라미터이다. 여러 순간들에서의 로그된 손가락 위치들이 독립적이라고 가정하면, 구해진

는

로 감소된다. 그렇지 않으면, 연속 측정들 사이의 상관은 각각의 측정에서 획득된 목적지 확률들을 조합할 것을 지시한다.

BA(Bearing Angle) 모델

BA 모델은 오브젝트가 의도된 목적지를 향해 바로 이동한다는 가정에 기초한다. BA 모델은 순간 t _k 에서의 순간 오브젝트의 현재 위치 및 t _k-1 일 수 있는 오브젝트의 이전 위치를 사용할 수 있다. 오브젝트와 항목의 위치들 사이의 방위각은 확률을 계산하는데 사용될 수 있다.

이러한 모델은 포인팅 손가락이 의도된 목적지를 향해 바로 향하고 있다는 즉, 손가락 위치들과 타겟 사이의 누적 각도가 최소라는 전제에 기초한다. 2개의 연속적 측정들마다, 목적지에 대한 방위각은 아래와 같이 평균값이 0이고 분산이 고정된 확률 변수인 것으로 가정될 수 있다.

여기서

는 알려진 분포, 예를 들어 가우시안(Gaussian), 또는 사전에 기록된 데이터로부터 학습되는 분포 중 어느 하나이다. 반면,

에 대한

및

는 설계 파라미터이다. 아래와 같이 쓸 수 있다.

이러한 알고리즘은, 예를 들어, 의도된 목적지까지의 거리

이 정확히 추정된다는 가정하에, 선형 회귀-외삽(linear-regression-extrapolation) 기술들의 최상의 결과를 나타내는 것으로 고려될 수 있다. (6) 및 (7)에 따르면, BA는 폭이

에 의해 설정되는 쐐기 형상의(wedge-shaped) 신뢰 구간을 형성한다. 이러한 영역 내에 들어가는 선택 가능한 아이콘에는 높은 확률이 할당된다.

HSA(Heading and Solid Angle) 모델

HSA 모델은 순간 t _k 에서의 항목으로부터의 오브젝트의 거리 및 항목의 입체각에 기초한다. HSA 모델은 순간 t _k 에서의 순간 오브젝트의 현재 위치 및 t _k-1 일 수 있는 오브젝트의 이전 위치를 사용할 수 있다.

HSA 모델에서, 도 3에 도시되는 바와 같이 관측자가 근처에 있는 경우에 비해 관측자가 자신의 위치로부터 멀리 있는 경우 오브젝트

는 더 작은 입체각을 갖는다.

에 위치되는 구의 입체각(스테라디안 단위(in steradians))은 다음과 같이 근사화된다.

여기서 A는 타겟 오브젝트의 면적이다. 임의 형상들의 타겟들은 다수의 구들에 의해 매우 근사화될 수 있다. 노출 각인 파라미터

는 예측 문제와 무관하며

으로 가정된다. 이동의 방향은 t _k 에서 측정되는 속도 벡터

에 의해 명시되며 2개의 연속 포인팅 위치들에 대한 HSA 가능성 확률은 다음을 통해 획득될 수 있다.

BA 모델과 유사하게,

의 위치로부터의 방위의 발산은 설계 파라미터인

에 의해 정의된다. 포인팅 손가락이 가능한 타겟에 가까이 근접하면 결과적인

로 인해 더 큰

값들이 허용된다. HSA 모델은 조합된 BA 및 NN 모델로서 볼 수 있다. 확률

는 식 (7)과 유사하게 계산될 수 있다.

예를 들어, 수집된 포인팅 궤적들로부터 학습되는, 상대적 모멘트들이 있는 가우시안 이외의 분포가 NN, BA 및 HSA 예측 모델들에 적용될 수 있다는 점이 주목된다.

LDR(Linear Destination Reverting) 모델

이러한 접근방식에서, 포인팅 오브젝트의 이동은 의도된 목적지의 함수로서 모델링된다. 채택된 모델에 의해 캡처되는 포인팅 이동들의 특성은 시간

에서의 상태

로 표기된다. 이들은 포인팅 오브젝트 위치, 다차원 속도, 다차원 가속도 등을 포함할 수 있다. 기본 전제는 포인팅 오브젝트가 모델에서 명시될 수 있는 비율로 의도된 목적지로 복귀하는 것이다. 다음으로 마르코프(Markov) 프로세스는 현재 포인팅 이동 특성이 하나 이상의 이전 이동들 및 목적지의 선형 함수인 경우에 정의된다. 따라서, 집합

에 있는 N개의 가능한 목적지들 각각은 모델과 관련된다. 현재 포인팅 작업에서 포인팅 오브젝트 포인팅 궤적의 특성과 일치하는 모델에는 높은 확률이 할당되고 그 역도 마찬가지이다. 이하는 2개의 가능한 LDR 모델들을 설명한다.

MRD(Mean Reverting Diffusion)

MRD는 특정 평균값, 예를 들어 가능한 목적지로 복귀하는 프로세스로서 오브젝트 이동들을 모델링한다. 이것은 포인팅 이동의 위치 특성만을 고려할 수 있고, 따라서

이다. 현재 포인팅 오브젝트 위치가 포인팅 오브젝트를 자신의 위치로 가져 오기 위해 인력을 가하는 목적지에 있어야 한다고 가정한다. 연속 시간에서, 포인팅 오브젝트 이동은 평균 복귀 기간이 있는 다변수 Ornstein-Uhlenbeck 프로세스로서 모델링된다. N개의 가능한 목적지에 대해, 다음과 같이 설명된다.

정방 행렬

는 프로세스의 진화를 조정하는 평균 복귀율을 설정하고,

는 i번째 가능한 목적지의 위치이고,

는 프로세스 확산을 유도하는 정방 행렬이며,

는 Wiener 프로세스이다. (10)을 적분하여 이산화하면, 다음과 같다:

여기서,

및

은 각각 순간들

및

에서의

에 대한 상태 벡터들이다. 시간 스텝은

로 표기되며,

는 추가적인 가우시안 노이즈이다.

ERV(Equilibrium Reverting Velocity)

공칭 목적지들 각각은 강도가 자신의 중심

로부터 떨어진 거리에 반비례하는 중력장을 갖는 것으로 가정된다. 목적지 위치

를 향하는 오브젝트의 이동 속도는 오브젝트가

에서 멀리 떨어져 있을 때 가장 높을 것으로 예상되며 그 역도 마찬가지이다. 오브젝트의 이동들은 i번째 목적지에 대하여 다음과 같이 모델링된다.

여기서,

이어서

,

및

는 각각 x, y, z 축들을 따른 속도이다. 반면,

및

의 좌표들을 포함하는

,

는 Wiener 프로세스이다.

,

및

각각은 자신들의 대응 축을 따른 복원력을 표기하고,

,

및

은 속도 변환을 매끄럽게 하는 댐핑 계수를 나타낸다. (12)를 적분한 후, 이산화된 결과를 다음과 같이 표현할 수 있다.

LDR 모델들의 가우시안 및 선형 특성, 예를 들어 (11) 및 (13)이 주어지면, 선형 수집된 측정값들

을 가정하여(

는 다변수 Additive White Gaussian Noise임) 구해지는

를 결정하는데 선형 최적 재귀 필터를 사용할 수 있다. 목적지

에 대하여, 체인 규칙에 따라서

이 적용되기 때문에

가 순차적으로 계산될 수 있다. 이것은 순간

에서, i번째 공칭 목적지에 대해

를 결정하는데 예측 확률

만이 요구된다는 점을 암시한다. 추구되는

는 여기서 그 목적이 오브젝트를 추적하는 것이 아니라 예측 확률을 생성하는 것인 LKF(Linear Kalman Filter)로부터 획득될 수 있다. 결과적으로, 예측기는 특정 공칭 의심되는 목적지에 각각 전용인 N개의 칼만(Kalman) 필터들을 절충한다.

가속 또는 저크들(jerks)과 같은 더 많은 이동 특성을 포함하는, MRD 및 ERV 이외의, 선형 목적지 복귀 모델들이 적용될 수 있다. 이들의 구현은 통계 필터들의 뱅크를 통한 MRD 및 ERV 모델들과 유사한다.

NLDR(Nonlinear Destination Reverting) 모델

이러한 접근방식에서, 오브젝트의 이동들은 목적지, 포인팅 이동들의 특성 및 외부 인자들로 인해 포인팅 궤적에서 교란을 나타내는 점프들 또는 요동들과 같은 비-선형 현상들을 포함한다고 가정된다. 일 예는 도 1의 (b)에서와 같이 거친 지형 위에서 이동하는 차량에서 포인팅 작업을 수행하는 것이다. 교란 프로세스의 예는 포인팅 오브젝트를 그 계획된 궤적에서 벗어나게 하는 인자들을 나타내는 점프 프로세스

이다. 예를 들어,

이고 여기서 점프 프로세스는

,

이고,

는 점프들/요동들의 수이다. 점프 효과는 포인팅 오브젝트 위치, 속도, 가속도에 대해 때때로 큰 임펄스형 충격들을 용납하여, 예리한 요동들 또는 갑작스런 이동들의 모델링을 허용한다. 현재의 교란 특성의 특성을 캡처하는 다른 비-선형 모델들이 고려될 수 있다. NLDR에서 각각의 공칭 목적지

에 대한 모델 상태는 포인팅 오브젝트 위치

,

의 다른 특성(예를 들어, 속도

또는 가속

등), 교란

,

의 다른 특성 및 목적지

를 포함한다.

LDR 모델과 유사하게, 기본 전제는 포인팅 오브젝트가 모델에서 명시될 수 있는 비율로 의도된 목적지로 복귀한다는 것이다. 다음으로 마르코프 프로세스는 현재 포인팅 이동 특성이 하나 이상의 이전 이동들, 현재 비-선형 교란 및 목적지의 선형 함수인 경우에 정의된다. 따라서 집합

에서의 N개의 가능한 목적지들 각각은 모델과 관련된다. 현재 포인팅 작업에서 포인팅 오브젝트 포인팅 궤적의 특성과 일치하는 모델에는 높은 확률이 할당되고 그 역도 마찬가지이다. 따라서, N개의 통계적 필터들의 뱅크는 구해지는

를 순차적으로 획득하는데 적용된다. 일단 비-선형 교란이 포함되면 상태 진화 방정식의 비-선형 특성을 고려하여 추구되는

를 얻는데 순차적 Monte Carlo 방법들 또는 다른 수치 기술들과 같은 접근방식들이 이용될 수 있다. 비-선형 필터링 접근방식들의 계산 복잡도를 최소화하는 것은 점프들 또는 요동들과 같은 교란이 N개의 통계 필터들의 뱅크에서 동일하다고 가정하는 것에 의해 달성될 수 있다. 따라서, 이들은 한 번만 추적되거나 식별될 필요가 있다.

BD(Bridging Distributions) 모델

이러한 접근방식에서, 오브젝트의 이동은 마르코프 브리지(Markov bridge)와 같은 브리지 분포로서 모델링된다. 일부 실시예들에서, 오브젝트의 이동은 복수의 가능한 목적지들 중 하나를 각각 포함하는 여러 마코프 브리지들, 예를 들어, 터치스크린에 디스플레이되는 GUI 상의 선택가능한 아이콘들 중 하나로서 모델링된다. 오브젝트의 경로는, 랜덤이더라도, 의도한 목적지에서 끝나야 한다, 즉, 이는 자신의 시작 포인트로부터 목적지까지의 브리지 분포를 따른다. 관측되는 부분 오브젝트 궤적의 가능성이 특정 브리지로부터 유도된다는 것을 결정하는 것에 의해, 각각의 가능한 목적지의 확률이 평가된다. 브리징 모델은 LDR(Linear Destination Reversion) 또는 NLDR(Nonlinear Destination Reversion) 모델에 기초할 수 있다.

여기서

은 N개의 공칭 목적지들, 예를 들어, 차량 내 터치 스크린과 같은 GUI 아이콘들의 집합이지만, 다른 GUI들이 예상될 수 있다는 점이 이해될 것이다. 그 목적은 이러한 종점들 각각의 확률이 일련의 k개의 측정 값들,

이 주어지면 피추적 오브젝트의 의도된 목적지

라고 결정하는 것, 즉 모든 공칭 목적지에 대해

를 계산하는 것이고, 여기서

이다. 시간 t_k에서의 k번째 관측

은 오브젝트 또는 포인팅 손가락 3D 좌표들일 수 있다. 이는 참이지만 알 수 없는 기본 오브젝트 위치 c_k로부터 유도되고; 시간 t_k에서의 속도는

로서 표기된다.

포인팅 작업의 종료시, 피추적 오브젝트, 즉 포인팅 손가락끝의 위치는 의도된 목적지

의 위치이다. T를 감독되는 작업의 총 지속시간, 즉 피추적 오브젝트가 목적지에 도달하는데 필요한 지속시간으로 하자. 시간 T에서 피추적 오브젝트의 숨겨진 상태는

로 주어지는데, 여기서,

및

는 각각 T에서의 실제 손가락 위치 및 속도이고;

이며

는 i번째 목적지의 알려진 위치, 예를 들어 GUI 아이콘을 3D로 표기하며,

는 목적지 도달시 피추적 오브젝트 속도이다. 따라서, 의도된 목적지인

의 확률은 다음과 같다:

이기 때문에; T는 알 수 없다. 사전정보

는 임의의 포인팅 데이터가 관측되기 전에

에서의 다양한 종점들이 의도된 것일 확률에 관한 기존 지식을 요약하며; 이들은 현재 궤적

에 독립적이다. 모든 가능한 목적지들이 동일하게 가능하다, 즉,

,

이라고 가정하는 것에 의해 충분한 정보를 알려주지 않는 사전정보가 구성될 수 있다. 그러나, 피추적 오브젝트 이동 이력, GUI 인터페이스 설계 또는 사용자 프로필과 같은 관련 맥락 정보에 기초하여 사전정보가 이용 가능하면, 이들은 (BD 1)에 따라서 쉽게 포함될 수 있다. 오브젝트는, 다음으로, N개의 가능한 목적지들 각각에 대한 적분

이 추정되어야 한다.

의 간단한 구적 근사(quadrature approximation)는 다음과 같이 주어진다:

여기서

이고

은

에서 확률 질량의 대부분을 포함하도록 이상적으로 선택되는 구적 포인트들(quadrature points)이다. 보다 정교한 구적법 또는 Monte- Carlo 추정들이 또한 이용될 수 있다. 균일하게 도달 시간 사전정보가 가정될 수 있다, 즉

. 그렇지 않으면, 작업 지속시간들에 대해 학습되거나 추론된 사전정보가 적용될 수 있다.

선형 움직임 모델을 채택하면, 시간

에서의 사용자의 손가락의 상태

는 선형 가우시안 움직임 모델을 따르는 것으로 가정된다:

이다. 이러한 일반적인 공식은 많은 유용한 움직임 모델들을 허용하며, 그 중 가장 간단한 것은 (근처의) 등속 모델이고, 이는 아래와 같은 연속-시간 확률론 미분 방정식의 해답이다.

여기서

는 시간

에서의 표준 브라우니안(Brownian) 움직임의 순간 변화이고,

은 3x3 제로 행렬이고,

은 3x3 단위 행렬이며,

는 3x1 제로 벡터이다. 방정식 (BD3)에서의 대응하는

및

행렬들은

및

로 주어지고, 여기서

이며(이는 변경될 수 있어, 비동기 관측들을 허용함), 그리고

는 움직임 모델 상태 변환 노이즈 레벨을 설정한다. x, y 및 z 차원에서의 이동은 서로 독립적인 것으로 고려된다. 관측들은 추가적인 가우시안 노이즈를 갖는 현재 시스템 상태의 선형 함수인 것으로 가정되어,

이고

이다. 이러한 틀에서 활용될 수 있는 의도 추론에 적합한 다른 움직임 모델들이 있다는 점이 주목된다. 이들은 목적지 복귀 모델들 및 교란 제거 모델의 선형 부분을 포함한다.

컨디셔닝 정보가 없다면, 방정식들 (BD 3) 및 (BD 5)에서 주어진 관측들

의 숨겨진 상태

의 분포는

에 따라 칼만(Kalman) 필터에 의해 계산될 수 있고, 이는 (칼만 필터의 '정확한' 단계를 사용하여):

여기서,

및

은 t-1에서의 추론된 시스템 분포로부터 유도되고, KF의 예측 단계에 의해 다음과 같이 주어진다:

k = 1 일 때, 이러한 양들은 사전정보에 의해 주어지므로,

이고

이다. 이들은 트랙 시작 위치의 사전 지식,

을 나타낸다.

목적지 도달 시간, s_T에서의 시스템 상태를 컨디셔닝하기 위해서는, 현재 피추적 오브젝트 상태(및 도달 시간)에 대한 밀도

를 평가할 필요가 있다. 거의 일정한 속도 모델과 같은 연속 시간 프로세스들로부터 유도되는 움직임 모델들에 대해서는, 움직임 모델을 직접 적분에 의해 이것이 가능하다(선형 시간 불변 가우시안 경우에 가능함). 거의 일정한 속도 모델에 대해서, 이것은

에 의해 주어지고, 여기서 방정식 (BD 4)로부터

이고

이며,

는 T번째와 t_k번째 관측들 사이의 시간 단계이다. 대안적으로, 순방향 또는 역방향 재귀들은

및

에 의해 형성될 수 있으며, 이는 연속 시간 해석이 없는 이산 모델들과 함께 사용될 수 있다.

결과적으로, k-1 관측들 및 의도된 목적지(s_T를 명시함)가 주어지면

의 조건부 예측 분포는 아래와 같이 감소되는 것으로 보여질 수 있다.

이것은 표준 칼만(Kalman) 필터의 '정확한' 단계와 유사하게 볼 수 있다.

최신 관측을 고려하는 것에 의해, 보정 단계(m_k를 고려함)는 다음과 같이 보여질 수 있다.

여기서,

,

이고

이다.

이것은

라는 점에 주목하는 칼만(Kalman) 필터의 '정확한' 단계와 유추하여 볼 수도 있다.

표준 KF와 함께, 위의 예측 및 정확한 단계들은 손가락 위치의 조건부 분포가, 목적지 및 도달 시간을 조건으로, 계산되게 한다. 다음을 계산하는 것이 남아 있다.

여기서 이는 다음과 같이 보여질 수 있다:

이것은 KF에서의 예측 오차 분해와 동일하다. 가능성 계산은 필터링의 목적이라는 점에 주목하면, 방정식 (BD 13)에서의 수정 단계는 요구되지 않는다.

방정식 (BD 14)에서의 가능성을 사용하면, 새로운 관측의 도달시 방정식들 (BD 1) 및 (BD 2)을 통해 각각의 공칭 목적지의 확률이 계산될 수 있다. 방정식 (BD 1)에서의 적분은, 방정식 (BD 1) 내지 (BD 15)에 따라 피추적 오브젝트 이동 또는 동역학을 설명하는데 선형 모델이 사용되면, 2단 칼만(Kalman) 필터를 사용하여 계산될 수 있다. 이것은, 브리지 배포 기반의 예측기 틀 내에서, MRD 및 ERV와 같은, 목적지 복귀 모델들을 활용하는 것을 포함한다. 비-선형 목적 복귀 모델들과 같은 비-선형 움직임 모델들에 대해, 순차적인 Monte Carlo 또는 Markov chain Monte Carlo 기술들과 같은, 수정된 고급 통계적 추론 방법들이 이용될 수 있다. 따라서, 피추적 오브젝트 역학을 설명하는 다양한 모델들이 브리지 배포 기반의 예측 틀 내에서 사용될 수 있고, 따라서 본래 목적지 복귀 방법들에 비해 보다 일반적인 접근방식인 것으로 고려될 수 있다.

BD 접근방식은 포인팅 작업의 총 지속시간에 대한 일부 사전 지식, 즉 고정된 값보다는 이러한 지속시간들의 분포를 요구하지만, 아래에 보여지는 바와 같이 목적지 복귀 모델들만을 사용하는 것에 비해 우수한 예측 결과들을 제공한다. 요구되는 사전 지식, 즉

는, 시스템 사용자에 의해 취해지는 트레이닝 단계 동안 또는 사전에 관측된 궤적들로부터 획득될 수 있다.

브리징 분포들을 사용하는 예측기들은 의도된 목적지가 공간 영역으로서 정의되게 하기도 한다. 이러한 접근방식은 목적지 크기들을 고려하고, 목적지들이 다른 크기들/공간 면적들을 가질 수 있을 시나리오에 대해 부응한다. 이것은 각각의 목적지를 평균 및 공분산이 있는 랜덤 변수로서 정의하는 것에 의해 달성된다. 목적지의 중심의 위치는 분포 평균(또는 평균의 함수)일 수 있으며, 분산은 목적지 공간 면적을 캡처한다(또는 공간 면적은 공분산의 함수이다). 이것은 MRD 및 ERV와 같은 본래 목적지 복귀 기반의 기술들에 비해 보다 현실적인 공식으로, 여기서 각각의 목적지는 단일의 위치/포인트인 것으로 고려된다.

도 12를 참조하여 이하 설명되는 바와 같이, 브리징 모델은 차량 내 포인팅 제스처와 같은 오브젝트의 의도된 목적지를 미리 잘 예측할 수 있다. 이러한 경우에, 포인팅 제스처 시간 또는 지속시간이 감소될 수 있다.

LDR 또는 NLDR 또는 BD에 대한 관측 모델이 선형이 아니거나 현재 노이즈가 가우시안이 아닌 경우, 예를 들어

이고 여기서

는 비선형 함수이며, 추구되는

를 이루기 위해 순차적인 Monte Carlo 방법들 또는 다른 수치적 기술들과 같은 대안적인 통계적 필터링 접근방식들이 활용될 수 있다.

각각의 타겟이 목적지일 확률을 처리 수단(220)이 생성하는 동안, 기본 교란되지 않은 포인팅 오브젝트 궤적 또는

로 표현되는 그 특성을 실시간으로 순차적으로 획득하는 것이 바람직할 수 있고, 이와 같이 의도하지 않은 이동들 또는 현재의 교란을 제거한 후이다. 이것은 의도성 예측에 사용되는 N개의 통계적 필터들의 결과들을 조합하는 것에 의해 또는

을 계산하는 것에 선행하는 전처리 단계로서 평활화 연산을 수행하도록 달성될 수 있다. 전자의 경우, 이것은 순간

에서의 상태

의 사후 분포를 계산하는 것과 동일하고;

는 포인팅 오브젝트 위치

를 포함한다. 이러한 분포는

로 주어지고, 여기서

이며,

는 통계적 필터의 순차적인 상태 업데이트에 의해 생성되고

에 대한

는 결정된 상수이다.

에서의 합계는

의 최소 평균 제곱 오차 또는 최대 사후 평가자들이 각각 결과적인 분포의 평균 및 모드인 혼합된 가우시안 모델을 야기한다.

의도된 목적지 또는 목적지들을 설정하기 위해

을 계산하기 전에 교란을 제거하는 것은 의도적인 포인팅 오브젝트 이동들과 의도하지 않은 교란 또는 노이즈의 합으로서 포인팅 프로세스를 모델링하는 것을 수반한다. 이러한 경우에, 포인팅 오브젝트 추적자 모듈(210)을 사용하여 관측되는 포인팅 오브젝트 위치는 다음과 같이 모델링될 수 있다.

여기서, 의도하지 않은 교란 관련된 이동들 및 그들의 특성은

에 캡처되고 측정 노이즈는

로 표기된다. 점프 확산 모델을 포함하는 다양한 교란 모델들이 사용될 수 있다. 실제 포인팅 이동 및/또는 그 특성은 선형 모델을 사용하여 모델링될 수 있고, 따라서

이며 여기서

는 포인팅 오브젝트의 위치, 속도, 가속도를 포함한다. 반면,

는 상태 변환 행렬이고

는 현재의 노이즈이다. 이러한 경우에 포인팅 이동을 모델링하기 위해 거의 일정한 속도 또는 가속도 모델들이 사용될 수 있는데, 이는 목적지와는 독립적이다. 의도하지 않은 교란 관련된 이동들을 제거하거나 억제하는 것에 의해

로부터

를 추출하기 위해 통계적 필터링 접근방식이 적용될 수 있다. 이러한 기술들은 선형 상태 및 교란 모델들의 경우에 칼만(Kalman) 필터링을 포함한다. 칼만(Kalman) 필터링, 순차 Monte Carlo 방법들 또는 다른 수치적 기술들의 다양한 적응된 버전이 비-선형 상태 또는 관측 모델들에 활용될 수 있다.

도 9는, 예를 들어, 오브젝트가 이동하고 있는 차량의 이동에 기인하는 교란을 나타내는 오브젝트의 궤적(910)을 도시한다. 의도된 타겟을 향해 보다 직접적인 경로를 나타내는 오브젝트의 필터링된 궤적(920)이 또한 도시된다.

본 발명자들에 의하면 위치 감지 디바이스(210)에 의해 출력되는 데이터로부터 결정되는 가속도와 IMU(Inertia measurement unit) 또는 가속도계에 의해 측정되는 것 사이에 약한 상관만이 존재함이 관측되었다. 따라서, 위치 측정에서 노이즈를 보상하기 위해 IMU 데이터를 사용하는 것이 효과적이지 않을 수 있지만, IMU 데이터는 적용된 전처리 및/또는 모델을 수정하는데 사용될 수 있다.

처리 수단(220)은 순간

에서의 오브젝트의 의도된 타겟

를 결정하기 위한 의도 추론 모듈(222)을 포함할 수 있다.

순간

에서 의도된 목적지, 또는 다수의 가능한 목적지들, 또는 가능한 목적지들의 면적을 결정하는 것은

에 대해 계산되는 확률들

에 의존한다. 이러한 결정은 0 내지 1 범위인 비용 함수

에 기초할 수 있다. 이것은

가 예측된 목적지이고

가 고려된 포인팅 작업에서 실제 의도된 타겟인 부정확한 결정에 패널티를 부과한다. 예를 들어, 잘못된 목적지를 예측하는 것은 최대 비용 1을 부과할 수 있다. 따라서, 그 목적은 부분적으로 관측되는 포인팅 궤적을

라고 하고 다음에 따라서 주어진 포인팅 작업에서의 비용 함수의 평균을 최소화하는 것이다.

여기서

는 평균이다.

이면

이고 그렇지 않으면

인 어려운 결정(hard-decision) 기준을 가정하면 집합

으로부터 하나의 타겟을 선택하는 것에 이른다. 이러한 경우에, 이것은 MAP 목적지 추정을 결정하는 것과 동일하다. 원하는 수준의 예측 정확성을 반영하는 다른 비용 함수 공식들이 사용될 수 있으며 후속하여 선택 가능한 타겟들의 그룹이 MAP 경우에서와 같은 것 대신에 선택될 수 있다.

베이지안(Bayesian) 접근방식은 분류자가 뒤따르는 신념 기반 추론에 의존한다. 그 목적은 목적지를 결정하기 위해 이용 가능한 포인팅 궤적을 이용하는 것이기 때문에, 일부 실시예들에서는, 예를 들어

에 대해

인 균일한 사전정보가 모든 항목들에 대해 가정될 수 있다. 이러한 경우에, 분류 문제점은 최대 가능성 추정에 대응하며 그 해결책은

에 대해

를 설정하는 것에만 의존한다. 그러나, 다른 실시예들에서는, 불균일한 사전정보가 항목들에 대해 사용될 수 있다. 예를 들어, GUI로부터의 이전 선택들에 관한 정보가 사전정보로서 사용될 수 있어, 의도된 목적지의 가능성이 사용자 선택들의 이력에 의해 영향을 받는다. 이러한 사전정보는 대안적으로 또는 추가적으로 다른 정보에 기초할 수 있다는 점이 이해될 것이다.

일부 실시예들에서, 최종 L개의 로그된 실제 오브젝트 위치들, 즉,

그리고

만이

를 결정하는데 사용될 수 있다. 이러한 실시예들에서는 슬라이딩 시간 윈도우가 궤적 데이터에 적용되고 이러한 윈도우의 폭이 적절하게 선택될 수 있다.

도 4는 본 발명의 실시예에 따른 방법(400)을 도시한다. 이러한 방법(400)은 도 2를 참조하여 설명되는 시스템(200)에 의해 수행될 수 있다.

단계 410에서는, 순간에서의 오브젝트의 위치가 결정된다. 이러한 오브젝트의 위치는 오브젝트로부터 반사되는 빛 또는 소리와 같은 방사선을 수신하여 수신된 방사선으로부터 순간

에서의 위치 데이터를 오브젝트의 위치를 나타내는

로서 결정하는 위치 감지 디바이스(210)에 의해 결정될 수 있다. 이러한 위치 데이터는 일정 기간 동안의 오브젝트의 궤적을 나타내는 데이터를 형성하기 위해 메모리에 저장될 수 있다.

단계 420에서는, 하나 이상의 항목들이 오브젝트의 의도된 타겟일 가능성이 결정된다. 이러한 가능성 P는 위에 설명된

와 같이 결정될 수 있다. 단계 420은 앞서 설명된 바와 같은 궤적 모듈(221)에 의해 수행될 수 있다. 일부 실시예들에서는,

와 같은 복수의 항목들 각각이 의도된 목적지일 가능성이 단계 420에서 결정된다. 하나의 또는 복수의 항목들이 의도된 목적일 가능성은 모델 및 단계 410에서 결정되는 오브젝트의 위치에 기초하여 결정된다.

단계 430에서는, 의도된 타겟이 결정된다. 의도된 타겟은

와 같은 복수의 항목들 각각에 대한 가능성으로부터 결정될 수 있다. 단계 430은 위에 논의된 바와 같은 의도 추론 모듈(222)에 의해 수행될 수 있다. 단계 430은 MAP(Maximum a Posteriori)을 결정하는 단계를 포함할 수 있다.

일부 실시예들에서, 방법(400)은 단계 430의 결과에 기초하여 출력이 결정되는 단계 440을 포함한다. 이러한 출력은 의도된 타겟의 선택 또는 동작을 포함할 수 있다. 즉, 의도된 타겟이 GUI 상에서 사용자가 선택할 수 있는 항목인 경우, 마치 사용자가 이러한 항목을 선택하기 위해 디스플레이 디바이스를 터치한 것처럼 항목이 선택될 수 있다. 대안적으로, 의도된 타겟이 버튼 또는 제어인 경우, 이러한 버튼 또는 제어가 활성화될 수 있다.

출력은 디스플레이 디바이스(230)를 통해 제공될 수 있다. 출력은 단계 430에서의 의도된 타겟의 결정에 응답하여 디스플레이 디바이스에 디스플레이되는 GUI의 수정일 수 있다. 의도된 타겟과 관련된 가능성이 미리 결정된 확률 P에 도달에 일단 도달하여야 출력이 1회 발생할 수 있고, 그로 인해 가능성이 상대적으로 낮을 때 항목이 선택되는 것을 회피한다. 일부 실시예들에서는, 단계 440의 출력이 GUI의 외관에 대한 수정을 포함할 수 있다. 예를 들어, 의도된 타겟이 GUI 상에서 하이라이트될 수 있다. 의도된 타겟과 관련된 가능성이 미리 결정된 확률 P에 도달할 때, 의도된 타겟이 하이라이트될 수 있다. 미리 결정된 확률은 의도된 타겟의 선택에 대한 것보다 더 낮을 수 있어, 더 낮은 제1 확률로 의도된 타겟이 시각적으로 표시되고, 더 높은 제2 확률로 의도된 타겟이 자동으로 선택된다. 다른 실시예에서 의도된 타겟들의 그룹은 의도된 타겟일 그들의 관련된 가능성이 적어도 미리 결정된 확률 P일 때 GUI에서 시각적으로 표시될 수 있다.

단계 450에서는, 방법이 완료되었는지 결정된다. 방법이 완료되지 않았으면, 방법은 단계 410으로 복귀한다. 그러나, 방법이 완료되었으면, 방법은 종료된다. 방법(400)은 하나 이상의 항목들과 관련된 가능성이 미리 결정된 임계 확률에 도달할 때 완료될 수 있다. 예를 들어, 의도된 타겟이 자동으로 선택되는 단계 440과 관련하여 논의된 제2 확률에 이러한 가능성이 도달할 때, 방법(400)이 종료될 수 있다.

도 5는 완료된 포인팅 이동의 백분율, 즉

에 대비하여 GUI 상의 의도된 항목을 예측하고 모든 고려된 포인팅 작업들에 대해 평균화된 실험의 결과들을 도시한다. NN, BA, MRD 및 ERV 모델들을 사용하는 결과들이 도시된다. 도 5는 그 이전에는 어떠한 기술도 의미있는 결과를 생성하지 못하는 포인팅 궤적 지속시간의 15%를 완료한 후에 시작한다. 평균 예측 불확실성의 수준을 나타내기 위해, 도 6은 다음과 같이 주어지는 불확실성 메트릭의 평균을 디스플레이한다.

여기서

는 순간

에서의 예측 모델에 따라 실제 의도된 항목의 계산된 확률이다. 실제 타겟이 높은 확실성으로 예측되면,

이면, 예측에서의 신뢰도는

와 같이 매우 높을 것이다. 목적지를 추론함에 있어서의 예측기의 성공의 수준이 반드시 높은 예측 정확성을 암시하는 것은 아니며 그 역도 마찬가지임이 주목된다. 모든 시뮬레이션들에서, 우리는 결정을 행할 때 예측기가 완료된 궤적의 비율을 알고 있다고 가정하지 않는다. 제안되는 베이지안(Bayesian) 접근방식은, 특히 포인팅 이동 지속시간의 결정적인 처음 15% 내지 75%에서, 의도된 타겟의 가장 빠른 성공적 예측들을 제공한다는 점을 도 5로부터 알 수 있다. 이러한 성공은 가장 가까운 검사대상 경쟁자의 2배 또는 3배일 수 있다. MRD 및 ERV 모델들 양자 모두는 유사한 거동을 나타내는데, 70%-80% 영역에서 MRD 예측 품질이 미미하게 그리고 일시적으로 저하된다. 이것은 단일의 실험에서 실패한 예측에 기인할 수 있다. 이러한 모델들 양자 모두 다른 기술들에 비해 현저한 성능 향상들을 제공한다. NN 방법은 포인팅 작업의 마지막 부분에서만 성공적 예측을 행하는 경향이 있는데 그 이유는 사용자의 손가락이 이러한 단계에서, 즉 선택 행위 직전에, 의도된 항목에 본질적으로 가까워지기 때문이다. 실제로, 예를 들어, 포인팅 작업 지속시간의 처음 75%에서의, 조기 예측은 사용자 이동/인식 노력을 최소화하는데 더 효과적이며, 조기 포인팅 촉진 기술들을 가능하게 하고 전반적인 사용자 경험을 향상시킨다. 사용자가 이미 선택 작업을 실행하는데 필요한 노력에 전념했기 때문에 포인팅 제스처 지속시간의 마지막 25%에서의 성공적인 의도 추론의 이점들은 의문의 여지가 있다. 제안된 예측기들은 주목할만하게도 포인팅 작업의 지속시간의 대부분(또는 ERV 경우에서는 전부)에 대해 NN을 능가한다. 예측 불확실성과 관련하여, 도 6은 도입된 베이지안(Bayesian) 예측들이 다른 기술들에 비해 실질적으로 더 높은 신뢰도로 정확한 분류 결정들을 행할 수 있다는 점을 보여준다. 포인팅 손가락이 포인팅 제스처 기간의 마지막 부분에서, 예를 들어, 포인팅 이동의 75% 이상 완료한 후, 인터페이스에 더 가까워짐에 따라 NN 모델에 대한 이러한 이점은 필연적으로 감소한다.

도 7은 NN, BA, HSA 및 MRD 모델들에 기초하는 예측들을 도시하는 도 5와 유사한 그래프를 제공한다. 특히 포인팅 제스처의 결정적인 처음 85%에서, MRD 모델은 의도된 목적지의 가장 빠른 성공적 예측들을 제공한다는 점을 다시 도 7로부터 알 수 있다.

다양한 도로 타입들 위에서 운전되는 계기화된 자동차에서 수집되는 57개의 포인팅 트랙들에 대해 제안된 BD(Bridging Distributions) 예측기의 성능이 평가되었다. 이러한 데이터는 차량 내 터치스크린에 디스플레이되는 하이라이트된 GUI 아이콘들을 선택하기 위해 포인팅 작업을 수행하는 4명의 승객에 관련된다. GUI의 레이아웃은 2cm 미만인 21개의 선택 가능한 원형 아이콘들을 제외하고는 도 1 및 2에서의 것과 유사한다.

예측기 성능은 (BD 2)에서 MAP 추정기를 통해 의도된 아이콘 I를 성공적으로 설정하는 능력, 즉, 포인팅 제스처에서 얼마나 빠르게 예측기가 의도된 GUI 아이콘 I에 가장 높은 확률을 할당하는지에 의해 평가된다. 이것은 (시간에서의) 완료된 포인팅 제스처의 백분율에 대비하여 그리고 고려되는 모든 포인팅 작업들에 대해 평균화되는 도 10에 도시된다. 도 11은 예측기들이 의도된 목적지를 정확하게 설정한 (시간에서의) 총 포인팅 제스처의 비율을 도시한다. 평균 예측 불확실성의 수준을 나타내기 위해, 도 12는

로 주어지는 불확실성 메트릭의 평균을 디스플레이하는데, 여기서 i는 실제 의도된 목적지이고; 신뢰할 수 있는 예측기에 대해서

임에 따라

임이 예상된다.

도 10은 도입된 브리징 분포 기반의 추론이 가장 빠른 성공적인 의도 예측들을 달성한다는 점을 보여준다. 이것은 포인팅 시간에서의 현저한 감소들이 달성될 수 있고 포인팅 촉진 체제들이 가장 효과적일 수 있는 포인팅 제스처의 처음 75%에서 특히 눈에 띈다. 다양한 예측기들 사이의 성능 차이는 포인팅 작업의 종료를 향해 감소한다. 포인팅 손가락이 타겟에 더 가까워짐에 따라 의도의 측정으로서의 선수각(heading angle)의 신뢰성이 떨어지는 BA 모델은 예외이다. 도 11은 BD 접근방식이 포인팅 궤적들을 가로 질러 가장 높은 전반적인 정확한 예측들을 전달한다는 점을 보여준다(NN 및 BA 성능은 고려되는 상대적으로 큰 데이터 집합에 대해 유사함).

도 12는 제안된 BD 모델이 다른 방법들에 비해 포인팅 작업 전반적으로 현저히 더 높은 신뢰도로 정확한 예측들을 행한다는 점을 도시한다. 전반적으로, 도 10, 도 11 및 도 12는, 도입된 BD 추론 접근방식이, 예를 들어, 20%에 불과한, 차량 내 포인팅 제스처의 의도를, 경우에 따라 60%인 제스처로, 미리 잘, 예측한다는 점을 보여주는데, 이는 포인팅 시간/노력을 80%까지 감소시킬 수 있다.

본 발명의 실시예들은 오브젝트의 의도된 타겟을 결정하기 위한 방법 및 장치를 제공하며, 여기서 오브젝트는 스타일러스 또는 손가락과 같은 포인팅 오브젝트일 수 있지만, 본 발명이 이러한 관점에서 제한되는 것은 아니라는 점이 이해될 수 있다. 의도된 타겟은 복수의 가능한 타겟들로부터의 하나 이상의 의도된 타겟들일 수 있다. 가능한 타겟들은 GUI 또는 물리적 제어들에서의 항목들일 수 있다. 유리하게도 본 발명의 실시예들은, 선택된 타겟이 의도된 타겟이 아니었을 때, 즉 사용자가, 예를 들어, 차량 이동으로 인해 GUI 항목을 실수로 선택했을 때를 검출하는 것에 의해서와 같이, HMI와 관련된 오차들을 감소시킬 수 있다. 유리하게도 본 발명의 실시예들은 사용자가 물리적으로 타겟을 터치할 수 있기 이전에 타겟을 선택하는 것에 의해 제스처 시간을 또한 감소시킬 수 있다.

본 발명의 실시예들은 본 발명의 실시예에 따른 시스템 또는 본 발명의 실시예에 따른 방법을 수행하도록 구성되는 처리 디바이스를 포함하는 도 8에 도시된 바와 같은 육상 차량들과 같은 차량들뿐만 아니라 항공기 및 선박에서 유용할 수 있다. 본 발명의 실시예들은 예를 들어, 스마트폰들 또는 태블릿 컴퓨팅 디바이스들과 같은 핸드헬드 전자 디바이스들인, 휴대용 컴퓨터 디바이스들과 같은 컴퓨팅 디바이스들과 함께 또한 유용할 수 있다.

본 발명의 실시예들은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합의 형태로 실현될 수 있다는 점이 이해될 것이다. 임의의 이러한 소프트웨어는, 예를 들어, 소거 가능 또는 재기록 가능 여부와 상관없이, ROM과 같은 스토리지 디바이스와 같은 휘발성 또는 비-휘발성 스토리지의 형태로, 또는, 예를 들어, RAM과 같은 메모리, 메모리 칩들, 디바이스 또는 집적 회로들의 형태로, 또는, 예를 들어, CD, DVD, 자기 디스크 또는 자기 테이프와 같은 광학적으로 또는 자기적으로 판독 가능한 매체 상에 저장될 수 있다. 이러한 스토리지 디바이스들 및 저장 매체는, 실행될 때, 본 발명의 실시예들을 구현하는 프로그램 또는 프로그램들을 저장하기에 적합한 머신 판독 가능 스토리지의 실시예들이라는 점이 이해될 것이다. 따라서, 실시예들은 임의의 이전 청구항에서 청구되는 바와 같은 시스템 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 머신 판독 가능 스토리지를 제공한다. 또한, 본 발명의 실시예들은 유선 또는 무선 접속을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 전달 될 수 있고, 실시예들은 이를 적합하게 포함한다.

(임의의 첨부 청구항들, 요약서 및 도면들을 포함하는) 본 명세서에 개시되는 모든 특징들, 및/또는 그렇게 개시되는 임의의 방법 또는 프로세스의 모든 단계들은, 이러한 특징들 및/또는 단계들 중 적어도 일부가 상호 배타적인 조합들을 제외하고, 임의의 조합으로 조합될 수 있다.

(임의의 첨부 청구항들, 요약서 및 도면들을 포함하는) 본 명세서에 개시되는 각각의 특징은, 다르게 명시적으로 언급되지 않는 한, 동일하거나, 동등하거나 또는 유사한 목적을 서비스하는 대안적인 특징들로 대체될 수 있다. 따라서, 달리 명시적으로 언급되지 않는 한, 개시되는 각각의 특징은 동등하거나 유사한 특징들의 일반적인 일련의 일례일 뿐이다.

본 발명이 임의의 전술한 실시예들의 상세사항에 제한되는 것은 아니다. 본 발명은 (임의의 첨부 청구항들, 요약서 및 도면들을 포함하는) 본 명세서에 개시되는 특징들 중 임의의 신규한 것, 또는 임의의 신규한 조합으로 확장되거나, 그렇게 개시되는 임의의 방법 또는 프로세스의 단계들 중 임의의 신규한 것, 또는 임의의 신규한 조합으로 확장된다. 청구항들이 단지 전술한 실시예들을 커버하는 것으로 해석되어서는 안 되며, 청구항의 범위 내에 있는 임의의 실시예들 또한 커버하는 것으로 해석되어야 한다.

Claims

사용자 인터페이스와 관련하여 오브젝트의 의도된 타겟을 결정하는 인간-머신 상호 작용 방법으로서,
복수의 시간 간격들에서의 상기 오브젝트의 3차원 위치를 결정하는 단계;
상기 사용자 인터페이스의 복수의 항목들 각각과 관련된 메트릭을 결정하는 단계- 상기 메트릭은 상기 각각의 항목이 상기 오브젝트의 의도된 타겟임을 나타내며, 상기 메트릭은 모델 및 상기 복수의 시간 간격들에서의 3차원에 있는 상기 오브젝트의 위치에 기초하여 결정됨 -; 및
상기 복수의 항목들 각각과 관련된 상기 메트릭에 기초하여 상기 사용자 인터페이스의 상기 복수의 항목들로부터 상기 의도된 타겟을, 베이지안(Bayesian) 추론 프로세스를 사용하여, 결정하는 단계
를 포함하는 방법.
제1항에 있어서,
상기 오브젝트의 궤적을 결정하는 단계를 포함하는 방법.
제2항에 있어서,
상기 오브젝트의 궤적은 복수의 시간 간격들에서의 상기 오브젝트의 3차원 위치를 나타내는 데이터를 포함하는 방법.
제2항 또는 제3항에 있어서,
상기 오브젝트의 궤적을 필터링하는 단계를 포함하는 방법.
제4항에 있어서,
상기 필터링하는 단계는, 상기 오브젝트의 궤적을 매끄럽게 하는 것, 상기 오브젝트의 의도되지 않은 이동을 감소시키는 것, 상기 궤적으로부터의 노이즈를 제거하는 것 중 하나 이상을 하도록 구성되는 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 모델은 베이지안(Bayesian) 의도성 예측 모델인 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 모델은 선형 모델인 방법.
제7항에 있어서,
상기 선형 모델은 하나 이상의 필터들에 기초하고, 선택적으로 상기 하나 이상의 필터들은 칼만(Kalman) 필터들인 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 모델은 비-선형 모델인 방법.
제9항에 있어서,
상기 비-선형 모델은 상기 오브젝트의 불규칙한 이동들을 포함하는 방법.
제9항 또는 제10항에 있어서,
상기 비-선형 모델은 하나 이상의 입자 필터들에 기초하는 방법.
제1항 내지 제11항 중 어느 한 항에 있어서,
상기 모델은 NN(nearest neighbour) 모델 및 BA(bearing angle) 모델 중 하나인 방법.
제1항 내지 제11항 중 어느 한 항에 있어서,
상기 모델은 HSA(heading solid angle) 모델인 방법.
제13항에 있어서,
상기 메트릭은 상기 오브젝트와 상기 타겟들 각각 사이의 입체각을 나타내는 방법.
제1항 내지 제11항 중 어느 한 항에 있어서,
상기 모델은 LDR(Linear Destination Reversion) 모델 또는 NLDR(Nonlinear Destination Reversion) 모델인 방법.
제15항에 있어서,
상기 타겟들 각각에 대한 모델을 결정하는 단계를 포함하는 방법.
제16항에 있어서,
제2항 또는 그에 종속하는 임의의 항에 종속할 때,
상기 메트릭은 상기 오브젝트의 궤적과 가장 잘 일치하는 모델을 나타내는 방법.
제15항에 있어서,
제2항 또는 그에 종속하는 임의의 항에 종속할 때,
상기 NLDR 모델은 상기 궤적의 비-선형 교란(non-linear perturbations)을 포함하는 방법.
제1항 내지 제11항 중 어느 한 항에 있어서,
상기 모델은 MRD(Mean Reverting Diffusion) 모델인 방법.
제19항에 있어서,
상기 MRD는 상기 의도된 타겟으로 복귀하는 프로세스로서 상기 오브젝트의 위치를 모델링하는 방법.
제1항 내지 제20항 중 어느 한 항에 있어서,
상기 모델은 ERV(Equilibrium Reverting Velocity) 모델인 방법.
제21항에 있어서,
상기 메트릭은 상기 오브젝트의 상기 타겟으로의 이동 속도에 기초하는 방법.
제15항 내지 제22항 중 어느 한 항에 있어서,
상기 오브젝트의 상태를 결정하는 단계를 포함하는 방법.
제1항 내지 제11항 또는 제16항 내지 제22항 중 어느 한 항에 있어서,
상기 모델은 브리징 모델(bridging model)이며; 선택적으로 상기 브리징 모델은 마르코프 브리지(Markov bridge)인 방법.
제24항에 있어서,
각각이 각각의 타겟과 관련된 복수의 브리징 모델들을 결정하는 단계를 포함하는 방법.
제24항 또는 제25항에 있어서,
상기 브리징 모델은 상기 복수의 시간 간격들의 지속시간에 기초하는 방법.
제24항 내지 제26항 중 어느 한 항에 있어서,
상기 브리징 모델은 상기 복수의 타겟들 각각의 공간 면적에 기초하는 방법.
제1항 내지 제27항 중 어느 한 항에 있어서,
하나 이상의 환경 정보 항목들을 수신하는 단계를 포함하는 방법.
제28항에 있어서,
상기 환경 정보는, 가속도를 나타내는 정보, 차량의 상태를 나타내는 정보 및 차량 주변을 나타내는 이미지 데이터 중 하나 이상을 포함하는 방법.
제28항 또는 제29항에 있어서,
상기 메트릭의 결정은 상기 하나 이상의 환경 정보 항목들에, 적어도 일부, 기초하는 방법.
제28항, 제29항 또는 제30항 중 어느 한 항에 있어서,
상기 모델은 상기 하나 이상의 환경 정보 항목들에, 적어도 일부, 기초하여 선택되는 방법.
제1항 내지 제31항 중 어느 한 항에 있어서,
상기 의도된 타겟을 결정하는 단계는 비용 함수에 기초하는 방법.
제32항에 있어서,
상기 비용 함수는 상기 의도된 타겟을 부정확하게 결정하는 것에 대한 비용을 부과하는 방법.
제32항 또는 제33항에 있어서,
상기 의도된 타겟은 상기 비용 함수를 감소시키도록 결정되는 방법.
제1항 내지 제34항 중 어느 한 항에 있어서,
상기 의도된 타겟을 결정하는 단계는 하나 이상의 사전 정보(prior information) 항목들에 기초하며; 선택적으로 상기 사전 정보는 상기 타겟들 중 적어도 일부와 관련된 방법.
제1항 내지 제35항 중 어느 한 항에 있어서,
복수의 가장 최근의 시간 간격들을 선택하는 단계를 포함하고, 상기 복수의 타겟들 각각과 관련된 상기 메트릭을 결정하는 단계는 상기 복수의 가장 최근의 시간 간격들에서의 상기 오브젝트의 위치에 기초하는 방법.
제1항 내지 제36항 중 어느 한 항에 있어서,
상기 오브젝트는 포인팅 오브젝트인 방법.
제1항 내지 제37항 중 어느 한 항에 있어서,
상기 오브젝트의 위치를 결정하는 단계는 상기 오브젝트로부터 방사선을 수신하는 단계를 포함하는 방법.
제1항 내지 제38항 중 어느 한 항에 있어서,
상기 의도된 타겟의 표시를 출력하는 단계 및 상기 의도된 타겟 및 하나 이상의 가능한 타겟들의 표시를 출력하는 단계 중 하나 또는 양자 모두를 포함하는 방법.
제39항에 있어서,
상기 의도된 타겟의 표시는 상기 의도된 타겟을 식별하는 단계를 포함하며; 선택적으로 상기 의도된 타겟은 시각적으로 식별되는 방법.
제1항 내지 제40항 중 어느 한 항에 있어서,
상기 의도된 타겟을 활성화시키는 단계를 포함하는 방법.
제1항 내지 제41항 중 어느 한 항에 있어서,
상기 복수의 타겟들은 그래픽으로 표시되는 항목들 또는 물리적 제어들 중 하나 이상을 포함하는 방법.
제1항 내지 제42항 중 어느 한 항에 있어서,
상기 사용자 인터페이스는 차량의 사용자 인터페이스인 방법.
사용자 인터페이스와 관련하여 오브젝트의 의도된 타겟을 결정하기 위한 HMI(human-machine interface) 시스템으로서,
상기 오브젝트의 3차원 위치를 결정하기 위한 위치 결정 수단;
복수의 순간들에서의 상기 오브젝트의 위치를 3차원으로 나타내는 데이터를 저장하기 위한 메모리 수단; 및
처리 수단
을 포함하고,
상기 처리 수단은,
각각의 항목이 상기 오브젝트의 의도된 타겟인 사용자 인터페이스의 복수의 항목들 각각과 관련된 메트릭을 결정하도록- 상기 메트릭은 모델 및 상기 복수의 시간 간격들에서의 상기 오브젝트의 위치에 기초하여 결정됨 -; 그리고
상기 복수의 항목들 각각과 관련된 상기 메트릭에 기초하여 상기 사용자 인터페이스의 상기 복수의 항목들로부터 상기 의도된 타겟을, 베이지안(Bayesian) 추론 프로세스를 사용하여, 결정하도록
구성되는 시스템.
제44항에 있어서,
상기 처리 수단은 제2항 내지 제43항 중 어느 한 항에 청구되는 방법을 수행하도록 구성되는 시스템.
제44항 또는 제45항에 있어서,
상기 위치 결정 수단은 상기 오브젝트로부터 방사선을 수신하기 위한 수단을 포함하는 시스템.
제44항, 제45항 또는 제46항 중 어느 한 항에 있어서,
상기 위치 결정 수단은 하나 이상의 촬상 디바이스들을 포함하는 시스템.
제44항 내지 제47항 중 어느 한 항에 있어서,
각각의 순간에서의 상기 오브젝트의 위치를 나타내는 위치 데이터가 상기 메모리 수단에 저장되는 시스템.
제44항 내지 제48항 중 어느 한 항에 있어서,
가속도 데이터를 출력하기 위한 하나 이상의 가속도계들을 포함하는 시스템.
제44항 내지 제49항 중 어느 한 항에 있어서,
그 상에 GUI(graphical user interface)를 디스플레이하기 위한 디스플레이 수단을 포함하고, 상기 복수의 타겟들은 GUI 항목들인 시스템.
제44항 내지 제50항 중 어느 한 항에 있어서,
상기 모델은 브리징 모델인 시스템.
제51항에 있어서,
상기 브리징 모델은 마르코프 브리지(Markov bridge)인 시스템.
제51항 또는 제52항에 있어서,
각각이 각각의 타겟과 관련된 복수의 브리징 모델들을 포함하는 시스템.
제51항, 제52항 또는 제53항 중 어느 한 항에 있어서,
상기 브리징 모델은 상기 복수의 시간 간격들의 지속시간에 기초하는 시스템.
제51항 내지 제54항 중 어느 한 항에 있어서,
상기 브리징 모델은 상기 복수의 타겟들 각각의 공간 면적에 기초하는 시스템.
제44항 내지 제55항 중 어느 한 항에 있어서,
상기 처리 수단은 하나 이상의 감지 수단들로부터 환경 데이터를 수신하도록 구성되며; 선택적으로 상기 감지 수단은 차량 및/또는 촬상 디바이스들의 상태를 결정하기 위한 수단을 포함하는 시스템.
차량으로서,
사용시, 제1항 내지 제43항 중 어느 한 항에 따른 방법을 수행하도록 구성되는 처리 디바이스를 포함하거나 또는 제44항 내지 제56항 중 어느 한 항의 시스템을 포함하는 차량.