KR20180088390A - 인체 부착 제스처 인터페이스 및 프로젝션 디스플레이를 위한 시스템 및 방법 - Google Patents

Abstract

예를 들어, 사용자의 손목상에 착용하기 위한 제스터 인터페이스를 가진 착용식 시스템이 개시된다. 그 시스템은 표면상에 영상을 디스플레이하기 위한 피코 프로젝터 디스플레이 요소를 구비한다. 사용자 해부학적 특징부 입력은 손목, 손가락 및 손의 자세를 구부림에 의해 사용자의 손목의 공간-시간적 단면을 나타내는 초음파 신호 형태로 수신되는데, 그 구부림은 제스처로 전환된다. 관성 및 다른 센서로부터의 입력은 시스템에 의해 해부학적 특징부 자세 식별 방법 및 디바이스의 일부로서 이용된다. 제스처는 조직 객체들의 생체학적 메트릭의 수학적으로 모델링된 시뮬레이션 기반 세튼를 이용하여 인식되고, 그 제스처는 실행 가능 컴퓨터 명령으로 변환된다. 본 명세서에 개시된 시스템의 실시 예는 컴퓨터 네트워크를 통해 또는 다른 온보드 시스템을 이용하여 생체 측정 및 건강 데이터를 모니터링하는데 이용된다.

Description

인체 부착 동작 인식 인터페이스 및 프로젝션 디스플레이를 위한 시스템 및 방법

본 출원은 2015년 10월 30일자 출원된 미국 가출원번호 제62/249,021호의 우선권을 주장하며, 그의 전체는 본 명세서에 참조로서 수록된다.

본 명세서에서의 개시는 착용 기술, 제스처 인식(gesture recognition), 증강 현실, 인간 컴퓨터 인터페이스, 인간 입력 디바이스들, 피코(pico) 또는 마이크로 디스플레이 프로젝션, 생의학 촬상(biomedical imaging), 초음파(또는 "US"라고 함) 검사(ultrasound and sonography) 분야에 관한 것이다. 보다 구체적으로, 본 개시는 인체 부착 제스처 인터페이스 및 프로젝션 디스플레이(on-body gestural interface and projection display)를 위한 시스템 및 방법과, 인간 해부학적 특징부의 자세들 및 제스처들을 이용하여 컴퓨터, 디스플레이 또는 다른 디바이스를 제어하기 위한 제스터 명령을 생성하는 착용식 디바이스에 관한 것이다. 그 자세와 제스처는 그 특징부를 구비한 조직체(tissue object)들의 사전 결정된 사용자 생체 메트릭(predetermined and user biological metrics)에 기반한 수학적 모델과 상관되었던 특징부의 초음파적으로 매핑된, 공간-시간적 단면(ultrasonically mapped, spatio-temporal cross-section)을 이용하여 획득된다.

인간-컴퓨터 인터페이스 또는 대화(Human-computer interface or interaction: "HCI") 채널("인간-머신 인터페이스" 또는 "HMI"라고도 함)은 제한된 대역폭을 갖는 것으로 알려져 있다. 오늘날의 HCI 시스템에 있어서, 사용자들은, 전형적으로, 디스플레이, 스크린 또는 모니터를 통해 정보를 수신하고 ("인간 수신" 채널), 키보드들/마우스들/다른 입력 디바이스들을 이용하여 컴퓨터는 그 정보를 되전송한다("인간 전송" 채널).

수신 채널은 관련된 디스플레이 해상도 및 컬러 스페이스에 비례하는 것으로 간주될 수 있는 대역폭을 가진다. 전송 채널은 인간사용자의 물리적 및 기계적 숙련도와 협력하여 관련 입력 디바이스의 알파벳 크기에 의해 제한되는 대역폭을 가진다. 종래의 디스플레이 기술에서는 볼륨 광 필드(volumetric light field, 3D) 디스플레이와 같은 새로운 디스플레이 기술이 출현하면 곧바로 해상도를 증가시켜, 수신 채널 대역폭을 수천배 증가시킨다. 이러한 진전에도 불구하고, 전송 대역폭은 능숙도를 개발하기 위한 트레이닝을 요구하는 비직관적(non-intuitive)인 기계적 인터페이스 또는 제한된 알파벳 제스처 인터페이스의 결과로서 제한된 채로 유지한다.

이동(스마트폰) 디스플레이의 문맥에서 고려할 때 종래의 해법에 있어서 이러한 문제점들은 확대된다. 이동 디바이스 디스플레이의 전반적으로 높은 해상도에도 불구하고, 인간 시각 시스템(human visual system)의 제한된 디스플레이 공간 및 시력(visual acuity)은 사용자 및 고안자가 인간/머신 대화를 위한 새로운 프로그램들을 생성하게 한다. 이에 대해 대표적인 것은, 매우 소수의 촉감성 가상 버튼들(tactile virtual buttons)로 애플리케이션을 탐색하는 다수의 스크린들을 이용하는 것이다. 또한, 착용 기술에 있어서의 인체 공학적 제약은 최대 디스플레이 크기를 제한한다. 그 다음 이것은, 큰 디스플레이들을 이용하는 사용자는 훨씬 작은 디스플레이를 이용하거나 그 디스플레이와 대화하는 것이 편리함을 알지 못한다는 문제점을 발생시키며, 그에 따라 착용식 디바이스들은 낮은 전송 및 낮은 수신 대역폭을 가지게 된다.

본 명세서에서 설명하는 실시 예들은 착용식 영상 프로젝션과 제스처 인식 인터페이스가 가능하여, 유사한 종래의 디바이스들에 비해 핵심 사용자 경험이 크게 개선되고, 상술한 채널 대역폭 문제를 처리하는 시스템 및 방법을 제공한다.

컴퓨팅 디바이스들은, 사용자가 컴퓨팅 머신의 내부 상태로부터 정보를 추출할 수 있게 하고 사용자가 머신을 제어하기 위한 명령들을 입력할 수 있게 하는데 유용하다. 전자 디스플레이들은, 통상적으로, 정보 출력에 이용되는 반면, 전기 기계적 키들, 터치 스크린들 또는 키 보드들은 통상적으로 그러한 컴퓨팅 디바이스에 정보를 입력하는데 이용된다.

디바이스들이 보다 작아지고, 얇아지고, 휴대 가능하고 착용 가능하게 됨에 따라, 사용자가 정보를 입력하기 위한 편리한 인터페이스를 생성하고 정보를 디스플레이하기 위해 이용할 수 있는 공간 및 크기가 줄어든다.

이에 따라, 다수의 새로운 인터페이스 기술들의 개발이 필요하게 되었다. 예를 들어, 오늘날 컴퓨터들은 촉감(진동 또는 전기) 음향 및/또는 온도 피드백 출력을 공통으로 제공한다. 컴퓨터 및 이동 디바이스는, 사용자의 의도를 이해하기 위하여, 머신-비전(machine-vision) 보조 제스처 인식, 음성 인식, 관성 운동 감지, 근전도 신호 감지(electromyographic signals sensing), 뇌파 신호 감지(electroencephalic signals sensing), 생체 역학 스트레인 센서(biomechanical strain sensors), 생체 매체상의 부착성-음향 신호 감지(hapto-acoustic signals sensing), 뇌심부 자극 감지 기술(deep brain stimulation sensing techniques)(피질 뇌파 검사(electrocorticography) 또는 두개내 뇌전도 검사(intracranial electroencephalography)) 및 비-침해성 생체 촬상 감지 기술(non-invasive biological imaging sensing techniques)(초음파(sonography), 자기 공명 촬상, x-레이 촬상)에 대한 촬상 기법들과 같은 다양한 비-전형적인 입력 기술들을, 소형 전기 기계적 스위치와 함께 제공할 수 있다.

착용식 컴퓨팅 시스템의 장점들 중 한가지는, 그들은 항상 즉시 이용을 위해 입수할 수 있다는 것이다. 유용한 콘텐츠를 추출하기 전에 다수의 버튼들 또는 터치 소자들과의 대화를 요구하는 착용식 시스템은 그러한 친밀 행위에 의해 부여되는 장점을 전환시키지 못한다. 착용식 컴퓨팅 기계에 이용할 수 있는 디스플레이 공간은 제한된 채로 유지된다. 착용식 디바이스로서 이용할 수 있도록 충분히 큰 디스플레이를 구성하는 심미적 과제는 기존의 디스플레이 방식을 이용해서는 해결될 수 없다.

입력 기술과 관련하여, 본 명세서에서 설명하는 실시 예들의 시스템 및 방법들은 손목 또는 머리와 같은 사용자의 해부학적 특징부의 공간적-시간적 단면을 매핑하기 위하여, 그 특징부에 착용될 수 있는 초음파 송신기 및 수신기(조합될 경우, 통상적으로 "트랜스듀서(transducer)" 및 "트랜스시버(transceiver)"라 함)를 이용한다. 손목은 손, 엄지 손가락(thumb) 및 손가락들의 많은 근골격 기계적 요소(musculoskeletal mechanical elements)(즉, 굴근(flexor)들/신근(extensor)들/외전근(abductor)들/내전근(adductor)들 및 힘줄(tendon)들)의 합류를 포함하기 때문에, 개시된 초음파 트랜스시버 또는 트랜스시버 어레이를 이용하여 그들의 굴곡 탄성(flextensional)/외연(extensional) 운동 및 조직 변형을 쉽게 검출할 수 있다. 본 명세서에서 설명하는 실시 예의 획득된 공간-시간 신호 맵은, 기존의 디바이스보다 뛰어난 정확성으로, 손목 또는 선택된 해부학적 특징부의, 3차원(3-D)의 수학적으로 모델링된 기계적 자세와 직접 상관된다. 손목의 모델링된 3D 기계적 자세는 컴퓨팅 시스템을 위한 멀티-상태 이산 또는 비율 척도 입력(multi-state discrete or ratiometric input)으로서 획득된 초음파 단면 맵과 관련하여 이용된다.

본 명세서에서 설명하는 실시 예들의 출력은 하나 이상의 소형의 광학적 프로젝트 광 디스플레이(optically-projected light display)를 구비하는데, 본 명세서에서는 이를 "피코 프로젝터"라고 하다. 이러한 피코 프로젝서 소자들은 평면 및 비-평면 디스플레이 표면상에 광학적으로 정확한 광 필드를 랜더링 및 디스플레이하기 위한 디바이스들과 본 명세서에서 설명하는 실시 예의 입력 센서로부터의 입력을 이용하도록 구성된다. 다수의 피코 프로젝터들을 이용하면, 그 시스템은 하나 이상의 인체 부착 표면들(예를 들어, 손의 손바닥)을 이용할 수 있게 되며, 그 위에 디스플레이된 영상이 프로젝트된다.

종래의 출력 기술들의 경우, 시각 디스플레이들은 일반적으로 다른 기법들(음향 또는 촉감)에 비해 가장 큰 정보 대역폭을 가진다. 따라서, 디스플레이들은 사용자를 위한 바람직한 정보 수신 채널이다. 그럼에도, 관련된 정보 대역폭은 스크린 크기와 해상도에 비례하며, 그에 따라, 인간 시력에 대한 제약과 작은 스크린 크기가 종래의 착용 기술에 의해 전달될 수 있는 전체 정보를 제한하게 된다.

입력 기술들은 유사한 제약과 과제에 직면한다. 전기 기계적 스위치-기반 입력 기술은 양호한 사용자 경험 및 컴퓨팅 디바이스에 대해 가장 높은 정보 입력 대역폭을 제공한다. 불행하게도, (손가락으로부터의) 사용자의 평균 이용 가능 촉감 영역은 일정하게 유지되며 제한된 범위를 넘어서는 촉감 키의 소형화는 불가능하다.

여러 전자 기법들에 기반한 터치 스크린들은, 그들이 공간을 차지하지 않는다는 이유로, 대중화되었지만, 터치 입력 기법들은 전기 기계적 키에 비해 낮은 대역폭을 가진다. 터치 기능은 착용식 디바이스에 이용되는 점점 더 적어지는 스크린 크기상에 구현하기 어렵다. 다른 입력 기술들은 다양한 성숙 상태에 있지만, 사용자 의도를 추정하기 위해 통계적 방법론을 많이 이용하며, 그럼으로써 저하된 사용자 경험으로 결과한다.

이하에서는, 다양한 상업적 기술들에 있어서 제스처 인식 및 제어에 대한 특정의 종래의 방식들에 관한 특정 제한에 대해 설명한다.

머신-비전 기반 제스처 인식에 대해 많은 관심이 쏠렸다. 이것은, 전자기 스펙트럼에 있어서의 서로 다른 주파수, 패턴화 또는 성형 전자기파(patterned or shaped electromagnetic waves), 다각적 영상 포착(multiple-perspective image capture), 공기 결합 초음파 에미터(air-coupled ultrasonic emitter) 및 수신기, 무선 주파수 안테나 어레이 등의 이용과 같은 다수의 촬상 기법들의 이용을 포함한다. 그러한 디바이스들은 그 환경의 2D 또는 볼륨 영상을 생성하며, 그 다음, 신호 처리 기술이 이용되어 사용자의 제스처를 인식하도록 배경으로부터 사용자를 분리시킨다. 그러한 방식은 이하를 포함하는 다수의 결점을 가진다.

1. 이러한 종래의 방식들은 사용자 영상 정보 및 배경 영상 정보를 포착하는 경향이 있으며, 그 두 가지를 구별하기 위해 상당한 하드웨어 및 소프트웨어/처리 노력을 요구한다. 그 구별은 큰 분산을 보여주는 통계적 가정을 이용하여 이루어지는 경우가 빈번하다.

2. 이들 동일한 방식들은, 중요 정보가 영상 디바이스에 의해 불수의적으로 가려지거나 감지되지 않기 때문에, 해부학적 특징부의 자세를 추정하는데 요구되는 입력 데이터 모두가 포착되는 것이 아닌 경우가 빈번하다.

3. 이러한 방식들은 사용자 의복에 대해 제한을 두며(예를 들어, 무 장갑(no gloves), 무 소매(no sleeves), 링), 이들 방식들은 사용자 손에 있는 물체에 의해 오도(mislead)될 수 있고 특정 신체 장애를 가진 자들 또는 절단 수술을 받은 사용자가 이용할 수 없다.

4. 외부 감지 스킴을 포함하는 종래의 애플리케이션에서는, 그러한 시스템이 쉽게 휴대할 수 없고, 관련된 센서는 사용자에 대해 매우 특정한 위치에 부착되어야 한다.

5. 많은 종래의 해법은 보통 "고릴라 팔(gorilla arm)"로서 알려진 반복적 스트레인 부상(repetitive strain injuries)을 유발하며, 사용자에게 신체적으로 벅찰 수 있다.

6. 종래의 제스처 인식 해법은 센서가 정확하게 작동하도록 사용자 환경(클러터(clutter), 배경 조명(background illumination), 마루에 대한 센서의 위치)에 대해 제한을 두며, 많은 시스템들은 사용자의 움직임이 특정 위치 또는 경계내에 있도록 제한한다.

7. 종래의 머신-비전 방식들은 일반적으로 센서의 실제 시야가 무엇인가에 대한 관점에서 사용자에게 제공하는 피드백(feedback)이 거의 없거나 아예 없다. 이것은, 사용자가 본의 아니게 감지 카메라가 액세스할 수 있는 영역 밖으로 나오면 혼란을 유발하는 경우가 빈번하다.

8. 종래의 머신-비전 시스템들은 다수의 카메라 셋업(camera setup)들을 이용하고 용장성 데이터세트를 포착한다. 그 다음, 이것은 다수의 데이터가 결국 폐기될지라도 하드웨어 요건 및 대기 시간을 증가시켜서, 센서 효율을 감소시키고 프로세싱 전력을 낭비한다.

9. 종래의 광학적 제스처-인식 시스템은 개별적으로 프로세싱되어야 하는 아티팩트(artifact)(예를 들어, 모션 블러(motion blur), 렌징 왜곡(lensing distortion), 새도윙(shadowing) 및 조명으로부터의 아티팩트)들을 겪는 경우가 빈번하다.

제스처 인식에 대한 또 다른 종래의 방식은 장갑형 인클로저에 내장된 센서에 기반한다. 이러한 종래의 방식의 센서들은, 전형적으로, 림브(limb)의 관절에서의 변형을 측정하여 자세 추정치를 생성한다. 그러한 시스템이 가진 주된 제한은 불편하고 눈에 띄는 장갑형 시스템의 착용 필요성으로서, 그 장갑형 시스템은, 장갑 고안에 이용되는 섬유의 탄성이 해부학적 특징부의 자세 추정에 부정적인 영향을 미친다.

보다 최근의 종래의 입력 기술은 생체 음향 감지(bioacostic sensing)로서 지칭된다. 이 방식은, 일반적으로, 인간 손위의 특정 위치에 배치되어, 사용자가 그들 신체의 특정 위치를 터치하거나 태핑(tapping)함에 따라 진동 전송 정보를 측정하는 진동 센서를 수반한다. 그러한 생체 음향 시스템의 일부 주요한 제한은 다음과 같다:

1. 그러한 방법들은 단지 분별적으로만 이용될 수 있다. 새로운 제스처 또는 탭 위치들이 구별될 수 없으며, 그에 따라 그러한 시스템이 인식할 수 있는 이용 가능한 제스처들의 개수 및 해상도가 제한된다.

2. 진동 전송 요건으로 인해, 이 방식은 그러한 시스템을 이용하면서 사용자가 착용할 수 있는 의류를 제한한다.

3. 생체 음향 시스템은 두개 손의 이용을 필요로 한다.

4. 생체 음향 시스템에 이용된 센서는 조직 밀도들에 기반하여 특정 신체 위치들에만 배치될 수 있다.

특정의 다른 종래의 제스처 인식 기술들은 인간 신체로부터 추출된 전기 생리학적 신호(electrophysiological signal)들에 기반한다. 일부 예시로는 신경 시스템 및 인간 뇌의 전기적 활성에 기반한 EEG(electroencephalographic) 신호에 기반한 기술과 근육의 전기적 활성에 기반한 EMG(electromyographic) 신호들이 있다. 마이크로-피질 뇌파 검사에 이용되는 이들 신호들을 추출하기 위한 침해성 기술은 실용적이지 않는데, 이는 그들이 배치를 위한 바늘 전극의 삽입 또는 수술을 필요로 하고 단지 마지막 수단의 삶의 조건 개선 선택 사항(last-resort, condition-of-life improvement options)으로서 이용되기 때문이다.

EEG 또는 EMG에 대한 종래의 비-침해성 방식들은 (EEG에 대해) 머리 또는 (EMG에 대해) 특정 근육 주변에 배치된 표면 전극들을 이용할 수 있다. 그러한 제스처 인식 방식들에 대한 실질적인 문제점은, 이들 신호들의 생성 이면의 과학을 아직 제대로 이해하지 못하며, 대부분의 제스처 인식 알고리즘들이 분별적으로 동작한다는 것이다. 비-침해성 EEG/EMG 시스템에 있어서, 모든 새로운 제스처는 검출되고 트레이닝될 특정의 인식 가능 전기 신호를 필요로 한다. 이것은, 그러한 시스템에 의해 기록될 수 있는 제스처들의 총 개수를 제한한다. 이러한 종래의 방식들의 또 다른 결점은, 관련 신호들이 매우 약한 신호대 잡음비를 가지고 있어서, 불량한 자세 추정을 유발한다는 것이다. 요구된 표면 전극들이 EEG/EMG에 있어서 서로 다른 위치들에 있는 다수의 조직들로부터의 평균 입력들을 취하기 때문에, 이들 시스템들은 제스처 분별의 정확성을 줄이는 경향이 있으며, 감지에 강한 전기적 활성을 가진 영역들에 배치될 것을 요구한다. 이들 시스템들의 정확성 및 제한된 제스처 분별 기능에 대한 전체적인 논점은 그들의 이용을 상업적 애플리케이션으로 제한하는 경향이 있다는 것이다.

마지막으로, 다른 종래의 제스처 인식 시도에서 이전에 설명했던 많은 문제점 또는 모든 문제점을 가진 종래의 관성 측정과 태도 및 헤딩 참조(heading reference)-기반 자세 감지 시스템이 있다.

상술한 제스처 인식 기술들에 추가하여, 제스처를 인식하기 위한 착용식 초음파 트랜스시버 및 착용식 소형 피코 프로젝션 시스템의 이용에 대해 공개된 문헌이 있다.

착용식 초음파 디바이스들과 관련하여 논의된 문서들은 다음과 같다: K. Beach에 의해 1996년 10월 10일자 출원된 미국특허번호 제5,818,359호, Y. Zheng에 의해 2002년 8월 1일자 출원된 미국특허번호 제6,984,208호, Y. Son에 의해 2010년 7월 21일자 출원된 미국특허번호 제8,292,833호, S. Sikdar등에 의해 2012년 8월 1일자 출원된 미국특허공개번호 제2013/0041477호 및 Guo, JY등에 의한 JRRD, 45 (1), 2008의 "Dynamic Monitoring Of Forearm Muscles Using One-Dimensional Sonomyography System". 이러한 개시의 어느 것도, 디바이스가 착용되는 동안에 기계 설비 또는 외부 접촉에 의해 인가되는 압력을 고려하지 않고 있다. 착용식 디바이스가 사람 인체의 해부학적 특징부에 걸쳐 또는 그 해부학적 특징부를 따라 슬리핑(slipping)하지 못하게 하는 설비(예를 들어, 손목 시계의 스트랩(strap), 타이(tie), 모자, 허리 벨트, 셔츠에 이용되는 탄성 밴드(elastic band))는 신체 일부 그 자체에 어쩔 수 없이 상당한 압력을 가한다. 이 압력은 가해지는 압력하에서 근위 손등 손목 표면 영역(proximal dorsal wrist surface region)에서 자체적으로 재배열되는 힘줄들 또는 약한 압력하에서 붕괴되는 것으로 알려진 정맥과 같은 내부 해부학적 객체의 피하 조직 배열 및 구조를 크게 변경, 재배치 및 변형시킨다.

그러한 조직 재배열은 다수의 착용-제거 사이클(wear-remove cycle)들 간에 일관성없이 발생되고, 결과적으로 해부학적 특징부로부터 수신한 초음파 신호 특성에 영향을 준다. 상술한 참조 문헌에 개시된 시도는 그러한 설비에 의해 생성되는 신체 내부 객체 또는 조직상의 기계적 스트레스의 영향을 제어 또는 완화시키는 어떠한 방법도 교시하고 있지 않다. 예를 들어, 그들은 사용자의 전박 및 손이 움직이고 있지 않거나, 외부 표면에 기대어 지지되거나 또는 외부 표면과 접촉중일 때 도입되는 신호 섭동에 대해 논의하고 있지 않다. 팔꿈치 영역 위의 상박(upper arm)에 대한 압력은 피부를 통하는 신호에 크게 영향을 주며, 특징부내의 객체의 조직 변형을 유발한다.

인간 조직은 높은 이방성 및 이질적 음향 산란 성질(anisotropic and heterogeneous acoustic scattering properties)을 가진다. 결론적으로, 트랜스시버의 교체에 있어서의 일관성 부재 또는 슬립(slip)으로부터 결과하는 초음파 트랜스시버 어레이들의 약간의 회전 분절(minor rotatinal articulation)은 바람직하지 않게 매우 큰 신호 변화로 결과할 수 있다.

제스처 인식 애플리케이션에 있어서의 또 다른 논점은 신체 조직에 있어서의 관성적으로 유도된 운동(정지 편향 및 진동 편향을 포함)이다. 인간 사지의 일상적인 운동 및 분절은 초음파 트랜스시버 또는 어레이에 대한 그의 조직의 상대적 내부 관성 운동으로 결과한다. 트랜스시버 그 자체에 의해 나타난 관성 질량은 그들의 목전에 있는 조직에 있어서의 관성 응답에 영향을 주어, 관성 부하하에서의 조직의 기계적 변형으로 인해 신호 품질을 잠재적으로 악화시킬 것이다.

관절(손목)을 구비한 해부학적 특징부가 회전하게 되면, 그 관절 주변의 주름(crease)에서 변형이 일어나며, 인접하는 피부가 주름지는 경향이 있고, 힘줄들이 관절의 축에 수직하게 변위된다. 이러한 주름진 피부/움직이는 힘줄 구조는 시계, 밴드, 스트랩, 또는 다른 착용식 디바이스와 같은 외부 착용 객체(externally-worn object)에 대해 외향 압력(outward pressure)을 가한다. 이것은 프로브가 관심 단면(cross-section of interest)으로부터 회전하게 하거나 제자리에서 이동하게 할 수 있기 때문에, 이것은 볼록 음향 렌징(convex acoustic lensing)을 이용하는 손목에 있는 착용식 초음파 프로브(wearing ultrasound probe)를 이용할 때의 특정한 문제이다. 그 다음, 이것은 조직에 있어서의 이방성으로 인해 복귀 초음파 신호 품질을 악화시킨다. 상술한 이전의 문헌에서는 이러한 문제에 대한 해법을 다루고 있지 않다.

종래의 방식에 의해 처리되지 않은 추가적인 고려는 중력 그 자체의 영향이다. 인간 손가락(human digit) 및 신체 일부는 실질적인 질량을 가지며, 그들의 조직은 중력 영향하에서 불수의적 변형을 견디기에 충분한 경직성을 가지지 못한다. 그러한 불수의적 변형은 모든 기법들에 있어서 정밀한 제스처 인식에 문제점을 유발한다. 초음파는 현재 이용 가능한 가장 안전한 촬상 기법들 중 한 기법으로 간주된다. 그러나, 안전에 대한 이러한 평판은 조사 적량(dosage) 횟수 및 세기를 제한하고 특정 US 성능 인덱스들을 명확하게 추적함에 의해 US 노출 위험을 완화시킬 것으로 추정된다. 비록 본 명세서에서 논의된 종래의 방식들이 안전-우선 고안 고려를 직접 다루고 있지는 않지만, 조직의 장기 인소니피케이션(insonification)을 요구하는 초음파 디바이스는 안전에 유의해야 하며, 고장 안전 고안(fail-safe design)을 제공해야 한다.

착용식 디바이스 애플리케이션에 있어서, 대부분의 COTS(Commercial-Off-The-Shelf) 초음파 트랜스시버는 관련 전송 매체(즉, 생체 조직)와 임피던스 부정합된다. 예를 들어, 개선된 임피던스 정합을 제공하는 1-3 또는 2-2 압전 복합체가 존재하지만, 그러한 디바이스들은 그것을 통한 공기-피부 윤곽 장벽 및 누설(air-skin contour barrier and leakage)을 다루지 않는다. 종래의 US 트랜스시버들의 실질적인 구현은 젤(gel)/오일(oil)에 의존하거나(Y.Zheng에 의해 2002년 8월 1일자 출원된 미국특허번호 제6,984,208호 참조), US 결합 매체를 전혀 언급하고 있지 않으며(S.Sikdar 등에 의해 2012년 8월 1일자 출원된 미국특허공개번호 제2013/0041477호 참조), 그에 따라 결론적으로 특정 임피던스 정합 매체 또는 젤이나 오일을 이용할 것으로 추정된다. 상술한 US 젤 애플리케이션은 트랜스시버를 적용하기 전 및 임의 신호 전송전의 모든 이용에 필요하다. 명백하게도, 젤 또는 오일의 이용은 극히 불편하며 실제 이용에 적합하지 않다.

알고리즘적 관점으로부터, 제스처 인식의 종래의 시도는 펄스-에코(pulse-echo)/지연 및 총계(delay-and-sum) 데이터의 US 스캔 변환 이후에 획득되는 전체 영상(또는 국부 서브 영상들)에 걸쳐서의 제스처를 인식하기 위한 트레이닝 세션으로부터 획득되는 LUT(Look-Up Table)에 저장된 것과 같은, 참조들 또는 사전 정의된 제스처 표현들의 세트에 대한 스페클 추적(speckle tracking), 정규화된 상호 상관 및 가중 평균 광학적 흐름 메트릭과 같은 분별적인 모델들을 이용한다. 제스처 인식은 가능하다면 잘 알려진 예비 트레이닝된 분류 알고리즘(pretrained classification algorithm)을 이용하여 실행되며, 그렇지 않을 경우, 간단히 가장 높은 상관 스코어(correlation score)가 보고된다.

이러한 종래의 방식들의 결정적인 단점은, 사용자가 예를 들어 검지 손가락이 완전히 구부러지게 되는 것이 무엇을 의미하는 것인지를 정의하거나 "분류"하는 라벨링된(laveled) 이전 트레이닝 데이터세트를 요구한다는 것이다. 사용자는 거의 제스처를 정밀하게 재생할 수 없어서, 누적 바이어스들로 결과한다. 이것은, 사용자가 소프트웨어를 유지할 것을 요구하며, 사용자를 특정의 사전 정의된 제스처들로 제한한다. 컴퓨터가 엄지손가락으로부터 검지 손가락을 자연스럽게 인지하지 못하는 그러한 통계적으로 정의된 제스처들은 사용자 인터페이스 대화에 방해가 된다.

그러한 방식에 있어서의 또 다른 문제점은, 그들이 참조적(referential)이거나, 분별적(discriminative)이되 비생성적(not generative)이라는 점이다. 그들은 트레이닝 동안 이용된 제스처들에 의해 정확하게 정의된 매우 제한된 알파벳 크기들(즉, 사용자가 실제로 생성할 수 있는 자세들과 전체 제스처들 세트간을 알고리즘의 구현이 구별할 수 있는 제스처들의 전체 개수)을 가진다. 이들 제스처들은 다른 제스처들의 조합으로부터 획득된 새로운 제스처를 인식하는 방식들로 조합될 수 없다.

예를 들어, 검지 손가락을 움직이고, 엄지 손가락을 움직이고, 검지 손가락과 엄지 손가락을 함께 움직이는 것은, 초음파 공간-시간 신호 공간에서 각각 고유한 표현들이다. 이들 표현들은 기본 제스처의 선형 함수가 아니다. 따라서, 검지 손가락과 엄지 손가락을 개별적으로 움직임에 의해 획득된 트레이닝은 엄지 손가락과 검지 손가락이 동시에 움직이는 상태를 식별하는 선형 방법으로 결과하지 않는다. 그러므로 그러한 시스템에 있어서 종래의 방식들이 알파벳 크기를 증가시키는 유일한 방법은 트레이닝 동안 정의된 개별적인 제스처들의 개수를 증가시키는 것이다. 예를 들어, 검지 손가락을 움직이고, 엄지 손가락을 움직이고, 검지 손가락과 엄지 손가락을 함께 움직이는 것은, 개별적으로 트레이닝될 필요가 있는 3개의 고유 제스처를 나타낸다. 이것은 2가지 논점을 야기한다. 즉, 첫째, 모든 영상 프레임에 있어서의 제스처의 검출은 전체 트레이닝 코퍼스(training corpus)에 걸쳐서의 계산 스코어를 필요로 하며, 그럼으로써 보다 계산적으로 복잡하고 대기 시간의 증가에 따른 프레임-레이트의 감소로 결과한다. 둘째, 상당한 트레이닝 데이터 셋은 사용자가 그 알고리즘을 트레이닝하는데 보다 긴 시간을 소요하게 하며, 이는 상업용 제품에 있어서 지루하고 받아들일 수 없는 것이다. 예를 들어, 2가지 제스처를 나타내는, 움직이는 검지 손가락과 움직이는 엄지 손가락에 대한 트레이닝과, 2개의 손가락이 동시에 움직이는 때를 추정하기 위한 정보를 이용하는 대신에, 종래의 기술들은 3개의 개별적인 제스처들에 대한 트레이닝을 요구한다.

S.Sikar등에 의해 2012년 8월 1일자 출원된 미국 특허 공개 번호 2013/0041477호는 사전 타겟팅 조직 및 힘줄 위치에 대한 뼈와 같은 랜드마크(landmark)로서 사용자 해부학적 특징부의 에코발생도(echogenicity)의 이용을 개시한다. 개시된 방식의 중요한 문제는 해부학적 구성 요소의 특정 위치들이 모집단에 걸쳐서 랜드마크에 대하여 지속적으로 참조할 수 없으며, 그들은 측정 프로세스 동안 내내 볼 수 없다는 것이다. 예를 들어, 긴 엄지 손가락(pollicis longus)이 대부분의 사용자들에게 존재함에도 불구하고, 그것은 척골 또는 요골 뼈(ulnar or radial bone)와 같은 랜드마크에 대한 특정 위치에 있지 않을 수 있다. 그러므로, 정적 랜드마크에 기반한 사전-타켓팅은 제스처 인식에 대한 알고리즘에 대해 잘 작동하지 않는다.

최신 US 제스처 인식 문헌에 이용된 알고리즘은 영상 프로세싱에 의존하는 경우가 빈번하다. 그 증거로서 전통적인 영상-기반 패턴 정합에 이용되는 정규화된 상호 상관 메트릭이 광범위하게 이용된다. 영상 프로세싱은 바람직하지 않게 후위에 있는 US 후-프로세싱에서의 "스캔 변환"이라고 하는 프로세스 동안에 발생하는 2D US 영상 형상의 이용을 요구한다. 이러한 프로세스는 공간적 및 시간적 보간과 앨리어싱 아티팩트(aliasing artifact)를 도입하며, 초음파 검사로부터 획득한 원시 US 데이터를 직접 나타내거나 이용하지 않고, 비-촬상 애플리케이션에 요구되는 스캔 변환도 아니다. 그러한 영상 형성/스캔 변환은, 예를 들어, 프레임들을 저장하기 위한 메모리 버퍼들 및 버퍼들에 저장하거나 버퍼들을 검색 또는 액세스하기 위한 시간과 같은, 원치않는 하드웨어 및 대기 시간의 오버헤드(latency overhead)를 도입한다.

종래의 제스처 인식은, 일반적으로, 인체 생리학(human physiology)이 사실은 정적이지 않는데, 정적인 것으로 상정한다. 이러한 상정은 종래의 알고리즘에 획득한 정적인, 1회 트레이닝 참조(training reference)의 빈번한 이용으로부터 분명히 알 수 있다. 그러므로, 노쇠(노화), 개체 발생적(ontogenetic)(발육적(developmental)) 및 생활 양식 관련 변경이 종래의 방식에서는 고려되지 않는다.

추가적으로, 상술한 제스처 인식 참조 문헌의 어느 것도 임의 진단 또는 일반 의료 기법들에 있어서의 방사선 촬영 기술의 이용을 교시하지 않는다. 또한, 단순한 메시지 디스플레이를 능가하는 정확히 그들의 제스처 인식 알고리즘의 일부인 인터페이스 기술들을 제공하는 것이 없다. 그러한 방법들은, 중심 주파수 방법들을 이용하고 그들의 기술들은 펄스-에코와 지연 및 총계 기법에 기반한다. 그들은, 그들의 알고리즘에 대해 무계장 방식(non-instrumented approach)을 이용하며, 거기에서는, 그들의 측정 프로세스가 그들의 측정 본질에 영향받지 않는다.

Y. Son에 의해 2010년 7월 21일자 출원된 미국특허번호 제8,292,833호는 '손목'상에 디바이스를 위치시키고 '손목 터널(carpal tunnel)'을 촬영하는 것을 주장한다. 그 디바이스는 그 터널의 굽힘 힘줄(flexor tendon)을 촬영하고 파형을 트랜스시버로부터 획득한 복귀 신호에 연관시키는 것으로 이해된다. 미국특허번호 제8,292,833호의 디바이스는 아마도 손가락 구부림에 대응하는 관성 측정 유닛들로부터의 신호를 이용하여 사용자가 손가락을 움직였는지를 인식하는 것으로 이해된다.

미국특허번호 제8,292,833호의 구현에 특유의 여러 문제점이 존재한다. 손목 터널 영역에서 힘줄들이 함께 압착된다. 모든 힘줄들은 그 터널에서 함께 교감적으로 움직이려고 하는 경향이 있다(둘러막힌 본질 때문). 피치(pitch), 롤(roll) 또는 요(yaw) 축에 대한 손목 또는 팔꿈치 분절은 손목 터널에서의 변형으로 결과하며, 이것은 또한 힘줄의 분명한 움직임으로 결과한다. 따라서, 획득한 신호는 이러한 방식에 있어서 심각한 교감 마스킹 및 앨리어싱을 겪는다. 추가적으로, 임의 손가락의 임의 분절은 서로 대항적으로 작용하는 적어도 2개의 힘줄을 요구하며, 외연중인(in extension) 손가락은 대응하는 굴근에 왜곡이 거의 없게 되며, 그 반대로도 그러하다. 신근 힘줄(extensor tendon)이 일반적으로 손목 터널을 통과하지 못하고 근육 그룹(muscle gruop)이 단무지외전근(abductor pollicis brevis) 또는 충양근(lumbrical)과 같은 손가락 분절에서 맞물리기 때문에, 이것은 효과에 있어서 그러한 방식으로 감지될 수 있는 실제 자세를 심각하게 제한한다.

상술한 참조 문헌에서 손목상에 탑재된 제스처 인식 시스템에 이용되는 관성 측정 센서들은 손목 위치에 특정한 절대 회전, 배향 또는 가속을 검출하도록 구성된다. 결론적으로, 그들은 개별적인 손가락들로부터의 관성 응답에 추가하여, 손목 분절 및 전박으로부터의 관성 응답을 취한다. 그 참조 문헌들은 의도치 않는 활성들을 구별하는 임의 해법을 안출하고 있지 않으며, 기존 문헌에 알려진 임의 연관된 범용 알고리즘도 아니다. 일반적으로, 그러한 시스템의 불충분한 본질 때문에, 관성 측정만으로는 그러한 문제를 해결할 수 없다.

이하의 문서에는 착용식 프로젝션 시스템들이 설명되어 있다: Tony 등에 의해 2011년 3월 31일자 출원된 미국공개번호 2012/0249409호; C.Harrison 등에 의해 2011년 5월 17일자 출원된 미국특허번호 제8,619,049호; P.Mistry 등에 의해 201년 2월 3일자 출원된 미국특허공개번호 2010/0199232호. 이 문서들 중 어느 것도 이용된 프로젝션 기술에 대해 의미있게 상세하게 설명하고 있지 않다. 최신의 착용식 또는 소형 "피코 프로젝션" 방식은, 레이저 스캐닝, LCoS(Liquid Crystal on Silicon), DLP(Digital Light Projection), 또는 마이크로 방출 OLED 기술과 같은 4가지 기술에 기반할 수 있다.

마이크로 방출 OLED 기술은 피코 프로젝션을 위한 유용한 기법으로 고려되지 않는데, 이는 그것이 실제 프로젝션이 발생하기 위한 충분한 광 출력 또는 밝기를 생성하지 못하기 때문이다. DLP/LCoS는, 공간 광 변조기 유닛들, 프로젝션 광학 어셈블리들, 전력 구동기 집적 회로 및 픽셀 변조 집적 회로에 추가하여, 조명 LED들, 시준 광학들, 조합 광학들, 균질기(homogenizer)들, 빔-스플리터들, 분극 재순환 시스템(polarization recirculation system) 모두의 조합을 요구한다(이들은 그러한 광 엔진이 가질 수 있는 최소 볼륨 풋프린트(footpring)에 제한을 가한다).

레이저 스캐닝 기술은 프로젝션된 영상에 있어서 스페클 콘트라스트(speckle constrast)을 줄이기 위해 광학적 및 포토닉(photonic) 다이버시티의 이용을 요구하고 추가적인 하드웨어의 이용을 요구하는 스펙클링에 관한 논점을 가진다. 그러한 시스템에 있어서 조명 소스로서 이용된 LED와 레이저 다이오드는 볼륨을 차지하며, 대규모의 열 관리 서브시스템을 요구한다. 그러한 디바이스의 크기들은 그러한 시스템들의 전체 광 출력을 줄임에 의해 관리될 수 밖에 없으며, 심지어 그 시스템 볼륨은 실질적으로 추가로 줄어들 수 없어서, 착용 기술 시스템에서의 채택을 제한단다.

명백하게도, 종래의 착용식 제스처 인식 및 프로젝션 시스템들은 착용식 디바이스 형태 인자(wearable device form-factor)에 잘 맞지 않은 기술에 기반하며 허용 가능한 고안에 있어서도 심각하게 제한된다. 이것은, 다수의 내장형 피코 프로젝션 요소들을 가진 시스템의 고안을 제한하며, 단일 표면상에 프로젝션된 영상들을 디스플레이하고자 하는 것들에 대한 고안을 제한한다.

종래의 시도들은, 많은 프로젝션 표면들(예를 들어, 인간 피부)이 불균일한 광학적 특성을 가진다는 것을 고려하고 있지 않다. 사용자의 피부 표면상에 프로젝션된 광은 피부 표면의 광학적 특성들, 실내의 주변 조명 및 손의 자세/제스처에 기초한 비-선형 이득 함수에 의해 변환된다. 스크린-이득과 주변 조명은 이미 벽면형 프로젝션 디스플레이에 대한 상당한 난제로서 고 강도 램프들을 이용함에 의해 통상적으로 해결되며, 인체 부착 프로젝션 제한은 그러한 디스플레이 품질이 더욱 어려워지게 한다.

종래 기술의 피코 프로젝션 방식은 착용식 디바이스에 대한 프로젝션 표면의 기하학이 평면이 아니라 3D 시-가변 변형하는 2D 피부 표면상에 있을 수 있다는 사실을 고려하고 있지 않다. 피부 표면 아래의 힘줄들의 임의 움직임 및 임의 부드러운-조직 변형은 다 방향으로 프로젝션된 광의 반사를 유발함으로써, 콘트라스트의 손실 및 효율과 밝기의 손실을 일으킨다. 그 문제는 디스플레이가 프로젝션되는 신체 부분이 디스플레이 동안에 자세 변경될 경우에 더욱 어려워진다.

피코 프로젝션 기술에서 이루어지는 통상적인 상정은, 의도된 프로젝션 표면이 프로젝션된 광에 수직이거나 수직일 것이라는 것이다. 프로젝션 표면이 평면에서 회전한다면, 그것은 일관성있는 각도 값으로 회전된다. 이것은, 키스톤(keystone) 정정에 이용된다. 그러나 인체 부착 표면은 아마도 다수의 비-선형 곡률을 가질 것이며, 종래 방식의 어느 것도 이것을 고려하고 있지 않다. 그러한 비-선형 곡률에 대한 고려는, 영상 해상도를 선형에서 비-선형으로 변환할 것을 요구하며, 물리적으로 디스플레이 기술에서 이루어져야 하거나 그러한 디스플레이에 이용된 효과적인 해상도를 줄이는 것으로 알려진 소프트웨어 워핑 알고리즘(software warping algorithm)을 이용함으로써 이루어져야 한다.

특정한 종래의 방식은 실제 조직 변형에 대한 정보를 복귀시키지 못하는 제스처 인식 기술들의 이용을 주장한다. 예를 들어, C.Harrison 등에 의해 2011년 5월 17일자 출원된 미국특허번호 제8,619,049호는, 이전에 설명된 결함을 가진 생체 음향학 감지의 이용을 개시한다. A.Toney등에 의해 2011년 3월 31일자 출원된 미국특허공개번호 제2012/0249409호는 임의 충실도를 가진 실제 자세 인식을 제공하지 못하는 저 해상도 기술의 이용을 개시한다. 따라서, 이들 종래의 해법들은 자세-유도 부드러운-조직 변형을 고려하기 위한 고 해상도 수단을 제공하지 못한다.

알겠지만, 상술한 종래 방식들은 생성적 모델(generative model)을 이용하는 것과는 대조적으로 제스처를 인식하기 위해 분별적 방식을 이용한다. 예를 들어, 미국특허공개번호 제2012/0249409호는 사전 정의된 활성 위치들의 이용을 요구하며, 미국특허번호 제8,619,049호는 분별-기반 이전 트레이닝 데이터(discrimination-based prior training data)를 이용한다. 이것은 이들 방식의 대화 기법들과 프로젝션 기능들을 크게 제한한다.

필요한 것은 종래 방식에서의 상술한 결함들을 처리하고, 인간 손 및 손목 또는 다른 해부학적 특징부의 큰 제스처 알파벳을 이용하는 고 해상도 제스처 인식을 제공하는 제스처 인식 및 피코 프로젝션 시스템과 방법이다.

도 1a는 본 명세서에서 설명하는 실시 예에 따른 방법에 있어서의 단계들의 세트를 도시한 흐름도이다.
도 1b는 다수의 신체 부분들(본 명세서에서는 인간 손, 손목, 팔꿈치, 머리등과 같은 "해부학적 특징부들")에 대한 일 실시 예에 따른 시스템을 착용한 사용자를 도시한 도면이다.
도 2a 및 2b는 각각 개방 위치 및 폐쇄 위치에 있는 예시적인 시스템의 실시예를 도시한 도면으로서, 그 시스템은 사용자의 손목 또는 전박상에 착용될 수 있다.
도 3은 시스템의 예시적인 실시 예를 구비할 수 있는 다양한 서브 시스템들을 도시한 도면이다.
도 4는 실시 예에 따른 시스템의 예시적인 시스템 아키텍처를 도시한 도면이다.
도 5a 내지 도 5d는 시스템의 실시 예에 따라 디스플레이 프로젝션이 동시에 또는 단독으로 발생하는 다양한 신체 표면들을 도시한 도면이다.
도 6은 하나의 예시적인 실시 예에 따른 시스템의 서브 유닛들의 초음파 트랜스시버 어레이를 도시한 도면이다.
도 7a 내지 도 7c는 하나의 예시적인 실시 예에 따라 인간 손의 일부들의 3D 움직임을 설명하는데 이용되는 다양한 해부학적 참조들을 도시한 도면이다.
도 8a 내지 도 8f는 하나의 예시적인 실시 예에 따라 손바닥 또는 손등 면상에 프로젝션되는 디스플레이 콘텐츠와 대화하기 위해 인간 손의 다섯개 손가락을 이용하여 이루어진 전형적 제스처들을 나타낸 도면이다.
도 9a 및 도 9b는 하나의 예시적인 실시 예에 따른, 도 8a 내지 8f에서 참조된 손목 축(요골(radial) 및 척골(ulnar))에 대한 "피칭(pitching) 움직임"에 있어서의 전형적인 제스처를 도시한 도면이다.
도 10a 및 도 10b는, 하나의 예시적인 실시 예에 따른, 손가락들이 손바닥과 접촉되는 근위 및 중간 지절들(proximal and intermediate phalanges)의 요잉 분절(yawing articulation)을 수반하는 전형적인 "클렌칭(clenching)" 움직임 제스처를 도시한 도면이다.
도 11a 및 도 11b는 하나의 예시적인 실시 예에 따라, 손가락이 손바닥과 접촉되게 하지 않은 채 근위 및 중간 지절들의 요잉 분절을 수반하는 전형적인 제스처를 도시한 도면이다.
도 12a 및 도 12b는 하나의 예시적인 실시 예에 따른, 손목의 배향으로의 엄지 손가락의 전형적인 "피칭" 움직임을 도시한 도면이다.
도 13a 내지 도 13k는 하나의 예시적인 실시 예에 따른 시스템에 의해 인식 가능한 전박의 배향을 포함하는 손가락 및 손목 자세의 다양한 예시적인 조합들을 도시한 도면이다.
도 14a 내지 도 14c는 하나의 예시적인 실시 예에 따라, 고정 자세 및 배향으로 손목을 관리하면서 엄지 손가락 끝이 다양한 손가락 및 지절간 주름들(digital and interphalangeal creases) 및 손가락 끝을 포인팅(pointing) 함으로써, 시스템에 의해 인식 가능한 예시적인 복합적 제스처(compound gesture)를 도시한 도면이다.
도 15a 내지 도 15c는 하나의 예시적인 실시 예에 따라, 사용자 팔의 손가락이 반대측 팔의 표면상에 프로젝션되는 디스플레이와 대화하는데 이용되는 제스처 대화의 기법을 도시한 도면이다.
도 16a 및 도 16b는 하나의 예시적인 실시 예에 따른 시스템의 디스플레이된 영상에 대한 프로젝션 표면으로서 이용되는 외부 디스플레이 표면을 도시한 도면이다.
도 17은 전체 신체 자세를 재구성하는데 있어서 시스템의 실시 예에 이용되는 키네마틱 모델(kinematic model)을 도시한 도면이다.
도 18a는 하나의 예시적인 실시 예에 따른 초음파 트랜스시버 기반, 인체 부착 제스처 인식 시스템의 아키텍처를 도시한 도면이다.
도 18b는 하나의 예시적인 실시 예에 따른 프로세스 단계들의 세트의 흐름도이다.
도 19a 및 도 19b는 하나의 예시적인 실시 예에 따른 방법의 생체 계측 수학적 모델(biometric mathematical model)에 이용된 손목의 감소된 혼합 요소 모델들(mixed element model)을 도시한 도면이다.
도 20은 하나의 예시적인 실시 예에 따른 온-라인 네트워크형 소프트웨어를 이용하는 방법의 예시적인 소프트웨어 아키텍처를 도시한 도면이다.
도 21은 하나의 예시적인 실시 예에 따른 방법의 신호 인식 수학적 모델에 이용되는 인간 손의 혼합 요소 모델을 도시한 도면이다.
도 22a 내지 도 22c는 하나의 예시적인 실시 예에 따라, 손목 및 손 관절 라벨, 손가락 관절 표현을 도시한 것으로, 제스처 동안 손가락 관절 표현이 어떻게 변환되는지를 도시한 도면이다.
도 23은 하나의 예시적인 실시 예에 따른, 서로 다른 관절 측정이 서로 다른 해상도를 가지는 손가락 관절 표현을 보여주는 도면이다.
도 24는 하나의 예시적인 실시 예에 따른 방법을 이용한 제스처 인식으로부터 구축되는 네트워크 그래프를 도시한 도면이다.
도 25는 하나의 일 실시 예에 따른 방법에 있어서 랜더링 및 부드러운 조직 변형 시뮬레이션에 이용되는 모델의 아키텍처를 도시한 도면이다.
도 26은 하나의 일 실시 예에 따라 손의 손바닥상에 프로젝션되는 게임을 제어하는데 이용되는 시스템의 예시적인 실시 예를 도시한 도면이다.
도 27은 본 명세서에서의 실시 예에 따른 시스템의 스타트업(startup) 기간동안에 실행되는 예시적인 제스처 인식 프로세스를 설명하는 흐름도이다.
도 28은 본 명세서에서의 실시 예에 따른 예시적인 제스처 인식 프로세스를 설명하는 흐름도이다.
도 29는 본 명세서에서의 실시 예에 따른 통계적 생체 계측 데이터에 따른 전형적인 인간 신체를 도시한 도면이다.
도 30은 본 명세서에서의 실시 예에 따라 사용자가 착용하는 시스템의 전형적인 식별된 위치를 도시한 도면이다.
도 31은 본 명세서에서의 일 실시 예에 따라 분리되었던 데이터의 클러스터들의 경계들의 식별을 설명하는 도면이다.
도 32는 본 명세서에서의 실시 예에 따른 해부학적 특징부를 가진 검출된 경계들의 정렬을 설명하는 도면이다.
도 33은 본 명세서에서의 실시 예에 따른 약화 또는 확장(erosion or dilation)을 통한 정렬된 경계들의 단순화를 설명하는 도면이다.
도 34는 본 명세서에서의 실시 예에 따른 초음파 데이터에서 검출된 경계들의 단순화를 설명하는 도면이다.
도 35는 본 명세서에서의 실시 예에 따른 단순화된 경계 정보로부터 생성된 메쉬(mesh)들을 도시한 도면이다.

상술한 제한을 극복하기 위하여, 본 명세서에서 설명된 실시 예들의 시스템 및 방법은 다수의 초음파 트랜스시버 및 센서 요소들을 이용하여 높은 충실도의 사용자 제스처 입력을 획득하면서 다수의 프로젝션 및 통상적인 디스플레이 시스템으로 이루어진 착용식 및 이동 제스처 인식 시스템을 가능하게 한다.

실시 예에 있어서, 그 시스템은 손목상에 착용될 수 있지만, 디스플레이 프로젝션 표면은 손등 및 손바닥 측에 의해 제공된다. 이러한 실시 예에서는, 손목, 손, 손가락 및 엄지 손가락 자세를 구부림에 의해 사용자 제스처 입력이 수신되며, 손목을 포함하는 해부학적 객체의 US 공간-시간 단면 맵이 획득되고, 자세가 추정되어 실행 가능 컴퓨터 명령으로 변환된다. 실행 가능 컴퓨터 명령은 수학적으로 모델링된 시뮬레이션-기반 제스처 인식 시스템 및 방법을 이용하여 획득되는데, 그 시스템 및 방법은 또한 하나 또는 다수의 사용자-정의 기계적 및 전자적 센서로부터 입력들을 수신한다.

예시적인 애플리케이션을 위해, 용어 "자세"는 인간 해부학적 특징부들의 세트 또는 특징부의 정적 또는 일시적인 동적 위치, 배향 또는 동적 위치 및 배향을 지칭한다. 예를 들어, 제한을 위한 것은 아니지만, 자세는, 집게 손가락이 실질적으로 수평적으로 내밀어지고, 엄지 손가락 및 나머지 손가락들이 "포인팅"위치에 있어서 손의 손바닥에 가깝게 유지되는 것과 같은, 인간 손, 손목, 엄지 손가락 및 손가락들의 위치 또는 배향 또는 위치와 배향을 포함할 수 있다. 이러한 자세들은 도 7에 도시된 각 관절에서의 자유도(degrees of freedom: DOF)의 값들 또는 상태들의 조합에 의해 고유하게 식별된다.

자세의 다른 예시는, 손가락들 및 손의 엄지 손가락이 상방향으로 유지되고, 서로에 대해 "중지" 또는 "정지"하도록 한 명령으로서 나타난 대로 서로에 대해 평탄한 손바닥이 수직적으로 바깥 방향으로 향하는 배향을 포함한다.

예시적인 애플리케이션을 위해, 용어 "제스처"는 이전에 정의된 바와 같이, 개별적인 자세를 지칭할 수 있다. 또한, 용어 "제스처"는 움직임 경로를 따르는 순간적인 포인트들에서의 또는 정적 및 순차적으로 취해진 개별적인 자세들의 세트, 즉, 하나의 각도 손목 위치에서, 하나의 다른 각도 손목 위치로의 또는 움직임 경로를 따르는 다수의 서로 다른 각도 손목 위치들로의 손의 웨이빙(waving)과 같은 인간 해부학적 특징부의 움직임 경로를 구비하는 순간적인 자세들의 세트를 지칭한다. 제스처의 추가적인 예시는 개방 손바닥 위치에서 폐쇄 위치로의 주먹의 클로징 또는 클렌칭(closing or clenching)을 포함할 수 있다. 고유한 제스처는, 자세들, 즉, 관절들의 자유도들의 값들 또는 상태들의 다수의 세트들간의 다수의 고유한 트랜지션(transition)들로 구성될 수 있다.

예상할 수 있겠지만, 제스처를 구비한 개별적 자세들의 세트가 식별될 수 있다면, 동적 제스처(즉, 운동)가 인식될 수 있다. 손목, 손가락들 및 엄지 손가락의 관절들의 많은 자유도들 및 자유도들의 개수 때문에, 손, 손가락 및 엄지 손가락이 취할 수 있는 많은 가능한 정적 또는 순간적 동적 자세 및 제스처들이 존재한다는 것이 아주 명백하다.

본 명세서에서의 자세 및 제스처의 설명된 예시들은 인간 손, 손가락들, 엄지 손가락 및 손목에 대한 것이지만, 용어 "자세" 및 "제스처"는 인간 또는 동물의 얼굴, 목, 머리, 팔, 팔꿈치, 어깨, 척추, 둔부, 다리, 무릎 또는 발목을 제한없이 포함하는 인간 및 비-인류 동물 해부학적 구조의 모든 측면에 적용 가능한 것으로서 간주될 것임을 명백히 알아야 한다.

본 명세서에 개시된 하나의 실시 예는 수학적 모델을 생성하는 베이스라인 데이터 세트(baseline data set)로서 해부학적 특징부를 구성하는 내부 및 외부 인간 조직 요소들(본 명세서에서는 "객체")을 수학적으로 나타내는 사전 결정된 "객체" 데이터 세트를 구비한 선택된 인간 해부학적 특징부의 신규한 수학적 모델을 부분적으로 이용한다. 사전 결정된 객체 데이터 세트는 "클라우드(cloud)" 또는 다른 외부 데이터 저장 매체나 저장원으로부터 시스템으로 데이터를 다운로딩함에 의해 제공될 수 있다.

객체 데이터 세트는 관련 해부학적 특징부의 사전 결정된 내부 및 외부 조직 객체들의, 다수의 사용자 정의된 생체 또는 생체 역학적 특성들 또는 메트릭들(총칭하여, "생체 메트릭들")을 나타내며, 해부학적 특징부를 구비한 객체들의 모델을 구현하기 위한 초기 변수 세트(initial set of variables)로서 이용된다.

일 실시 예에 있어서, 생체 메트릭들 및 그에 따른 객체들간의 상당 수의 수학적 관계들을 수립하기 위해 수학식 및 생체 메트릭들의 객체 데이터 세트를 이용하여 해부학적 특징부 및 그의 조직 객체를 수학적으로 설명하는 모델이 제공된다. 그 모델은 수학적 모델링 분야의 숙련자들에게 알려진 바와 같이, 지배(governing), 구성(constitutive) 또는 키네마틱 수학식들 및 제약들의 임의 조합을 구비한다.

객체 데이터 세트는 중량, 키, 성별, 나이, 인종 또는 인간 모집단의 임의 사용자 정의 서브셋과 같은 그 모집단의 선택된 서브셋에 대한 평균 또는 전형적인 생체 해부학적 특징부 메트릭들의 세트 또는 하나의 메트릭을 나타낼 수 있다. 객체 데이터 세트는 사용자 정의 생체 메트릭들의 임의 조합을 포함할 수 있다. 예를 들어, 제한을 위한 것은 아니지만, 객체 데이터 세트는 다수의 내부 또는 외부 신체 구조, 조직 또는 요소들에 대한 생체 메트릭들(예를 들어, 신체적, 생리학적 또는 생체 역학적)의 세트를 구비할 수 있다. 객체들은, 예를 들어, 제한을 위한 것은 아니지만, 근육, 힘줄 및 인대, 뼈, 혈관, 표피, 진피 또는 그러한 객체들의 임의 조합을 구비할 수 있다.

객체 데이터 세트는 객체들의 생체 메트릭들의 사용자 정의 세트를 구비할 수 있으며, 그 메트릭들은, 예를 들어, 객체 위치, 해부학적 특징부에 있어서의 다른 객체에 대한 그의 관련 위치, 최대 예상 객체 변이 또는 변형, 객체 움직임 범위, 해부학적 특징부에 있어서 다른 객체에 대한 움직임의 상대적 범위와 각도, 객체 자유도, 반경, 원주, 반향(즉, 초음파) 성질, 탄성, 형상, 길이, 두께, 폭, 단면 기하학, 밀도 또는 뼈 프로세스 및 다른 생체 역학 특징부 성질들 또는 예를 들어 FEA(Finite Element Analysis) 또는 변형 가능 동적 메쉬 분석에 의해 수학적으으로 모델링될 수 있는 성질들 중 임의 하나 또는 그들의 임의의 조합을 구비할 수 있다.

도 1a에 도시된 방법의 일 측면에 있어서, 인간-컴퓨터 인터페이스 시스템내의 컴퓨팅 디바이스 또는 프로세싱 요소로 제스처 명령을 생성하는 방법이 개시된다. 블럭 101에서, 사용자의 해부학적 특징부의 다수의 사전 결정된 내부 또는 외부 객체들의 수학적 모델들이 제공된다. 도시된 실시 예에 있어서, 해부학적 특징부는 인간 손목이다. 수학적 모델은, 인간 신체에 있어서의 그러한 객체들의 임의 구성으로부터 초음파 측정을 시뮬레이션하고, 블럭 102로부터 획득한 실제 측정된 초음파 데이터와 시뮬레이션된 측정치를 비교하는 기술을 제공하며, 객체들의 실제 구성을 예측하는데 있어서 임의 구성 및 모델의 적합성을 평가한다.

블럭 102에서, 사용자의 해부학적 특징부의 공간-시간적 단면을 초음파적으로 매핑함에 의해, 다수의 내부 및 외부 생체 요소들, 구조들, 특징부들, 즉, "객체들"(예를 들어, 뼈, 근육, 힘줄 등)의 사용자의 해부학적 특징으로부터 초음파 신호 데이터 세트가 획득된다.

블럭 103에서, 사용자의 해부학적 특징부의 객체 또는 객체들의 적어도 하나의 사전 결정된 성질(예를 들어, 다른 것들 중에서도, 변형, 속도, 형상, 위치)은, 객체들의 구성의 수학적 모델로부터 획득한 시뮬레이션 결과와 초음파 신호 데이터를 상관시킴에 의해 식별된다. 블럭 104에서, 사용자의 해부학적 특징부의 자세는 객체 또는 객체들의 식별된 성질에 적어도 부분적으로 기초하여 추정된다.

그 방법의 자세 추정은 사용자의 사전 결정된 이벤트, 환경적 또는 물리적 변경 또는 상태 중 적어도 하나를 측정하도록 구성된 센서 요소로부터 센서 출력을 수신하는 것에 추가로 기초한다.

그 방법의 센서 요소는 가속도계, 자이로스코프, 압력 센서, GPS 센서, 마이크로폰, 전자기 촬상 센서, 주변 광 센서, 컬러 센서, 각도 센서, 전기 생리학 센서, EMG 센서, 생체 음향 센서, RFID 안테나, 초음파 거리 측정 센서, 고주파 트랜스시버 어레이, 전자장 및 근접 센서의 그룹 중 하나 이상으로 구성될 수 있다.

도 1a의 실시 예에 있어서, 그 방법은 블럭 105에서 식별된 제스처 및 추정된 자세 또는 자세들에 기초하여 사전 결정된 실행 가능 컴퓨터 명령 또는 지시를 추가로 생성할 수 있다.

그 방법의 컴퓨터 명령은 컴퓨터 스크린상의 디스플레이 정보를 수정하거나 표면상에 프로젝션된 디스플레이 정보를 수정하도록 구성될 수 있는데, 그 표면은 인간 해부학적 특징부의 비-선형 표면(즉, 피부 또는 의복)일 수 있다.

추가적인 실시 예에 있어서, 그 시스템은 착용하지 않고도 이용될 수 있으며, 벽 또는 테이블과 같은 임의 이용 가능한 표면이 프로젝션 디스플레이 표면으로서 이용될 수 있다. 그 경우, 사용자 입력들은 시스템의 밴드 요소(band element)에 내장된 전자기/기계적 진동 센서 및 전기 기계적 스위치들의 선택을 통해 수신될 수 있다. 또 다른 실시 예에 있어서, 그 시스템은 전문 의료진(healthcare professional)에 의한 분석을 위해 컴퓨터 네트워크를 통해 원격지로 객체의 식별된 성질을 전송함으로서 온보드(onboard) 시스템을 이용하거나 컴퓨터 네트워크를 통해 해부학적 특징부의 생체 계측 및 건강 데이터를 모니터링하는데 이용될 수 있다.

도 1b는, 예를 들어, 인간 손목 위, 전박 위, 상박 위, 좌측 또는 우측 팔 위, 목을 둘러 착용되거나, 눈 근처에 고착되거나, 몸통에 걸쳐서의 임의 영역에 부착될 수 있는 착용식 시스템(1)의 특정 실시 예의 비 제한적 도면이다. 시스템(1)은 대퇴부(thigh), 무릎, 발목에 착용되거나, 좌측 또는 우측 다리 또는 발 위에 착용될 수 있다. 의료 애플리케이션을 위해 이용된 것들과 같은, 본 명세서에서 설명한 실시 예들의 애플리케이션들 또는 일부 실시 예들에 있어서, 시스템(1)은 영상 디스플레이 또는 프로젝션 요소들을 포함할 필요가 없다.

다른 실시 예들은 유선 또는 무선 네트워크를 통해 또는 스마트폰 또는 이동 디바이스를 이용하여 데이터를 수신 및 전송하도록 구성될 수 있다. 다른 기법에 있어서, 시스템은 피코 프로젝션 디스플레이 모듈들을 구비할 수 있으며, LCD와 같은, 하나 이상의 고정된 디스플레이를 가질 수 있다. 도 1b에 도시된 바와 같이, 일부 실시 예들에 있어서, 하나 이상의 시스템들(1)이 조합되어 이용될 수 있다. 이들 실시 예들에 있어서, 시스템(1)들은 정보를 공유하기 위해 서로 통신한다.

도 2a 및 도 2b는 (도 1b에 도시된 시스템과 같은) 시스템이 손목에 착용되는 실시 예를 도시한다. 손목에 착용될 경우, 시스템(1)은 손목 둘레에 착용하기 위한 밴드 요소(5)를 구비할 수 있으며, 도시된 바와 같이 힌지(hinge, 10)와 래치(latch, 15)를 구비할 수 있다. 시스템(1)은 하나 이상의 초음파(US) 트랜스시버(25)들과 전자 LCD 디스플레이(20')들을 포함할 수 있다.

밴드 요소(5)가 예시적으로 도시되었지만, 밴드 요소(5) 보다는 몸통과 같은 인간 해부학적 특징부의 표면에 전반적으로 평탄한 구조가 고착될 수 있으며, 그러한 구조는 본 명세서의 특허청구범의의 범주내에 속하는 것으로 간주됨을 알아야 한다.

도 3에는 시스템(1)을 구비할 수 있는 예시적이고 전형적인 하드웨어 서브시스템들이 도시된다. 제 1 프로젝션 디스플레이 부품은 본 명세서에서 "피코 프로젝터"(20)라고 지칭하는 소형 디스플레이 프로젝션 모듈일 수 있다. 전형적인 예시로서, 도 3에는 밴드 요소(5)의 외부 둘레 표면의 표면을 둘러싼 사전 정의된 이격 위치들에 배치된 전자 LCD 디스플레이(20')와 다수의 피코 프로젝터(20)들이 도시된다.

하나 또는 다수의 초음파("US") 수신기/전송기 또는 US 트랜스시버(25)(US 트랜스시버 서브유닛들의 어레이로 구성된 US 트랜스시버 어레이들의 형태일 수 있음)는 밴드 요소(5)의 내부 둘레 표면을 둘러싼 사전 정의된 이격 위치들에 배치된다. 트랜스시버(25)는 초음파 에너지의 전송 및 수신이 가능하도록 구성되고 객체 해부학적 특징부의 공간-시간 단면의 매핑을 위해 구성된 전자 및 프로세싱 회로에 결합된다.

시스템(1)은 시스템(1)에 대한 입력을 위한, 버튼들, 스위치들, 휠(wheel)들 및 터치 표면 요소들(27)과 같은 공통 전기 기계적 입력 시스템 요소들을 추가로 구비할 수 있다. 시스템(1)은 밴드 요소(5)에 전자 제어 가변 장력을 도입하기 위해 가변-장력 래치(15)들 및 힌지(10)들을 구비한다. 래치(15)들 및 힌지(10)들은 압력 기반 감각 피드백(pressure-based haptic feedback)을 감지하여 사용자에게 제공하도록 구성될 수 있다.

시스템(1)은 인터페이스로서 기능하고, 밴드 요소(5)와 사용자의 피부 사이에 배치된 하나 이상의 폴리머 음향층(30)을 구비할 수 있다. 음향층(30)은 사용자 정의 음향 감쇠, 열적 분리를 제공하고, 사용자 피부와의 부드럽고 연속하는 접촉을 생성하여 피부 조직과 시스템(1) 간의 컴플라이언트 인터페이스(compliant interface)를 도모하도록 고안된다.

시스템(1)은 사용자 주변의 주변 조명 및/또는 사용자의 피부 조직 톤(tone)과 컬러를 포착하도록 구성된 픽셀 어레이를 구비한 하나 이상의 컬러 RGB 카메라(35)를 구비할 수 있다. 시스템(1)은 사용자 정의 디지털 영상 획득을 위해 추가적인 카메라 및 광학적 서브어셈블리들(35')을 구비할 수 있다. 밴드 요소(5)의 하나 이상의 부분들이 시스템(1)의 무선 안테나 통신(37)을 위한 I/O를 위해 이용될 수 있다.

시스템(1)은 사운드 출력을 위해 사용자 정의 패턴으로 배열되어 사용자 음성을 포착하거나 사용자 헤드 위치를 추정하는 하나 이상의 스피커/마이크로폰 서브시스템(40)을 구비할 수 있다. 시스템(1)은 사용자에게 진동-촉감 피드백을 제공하기 위하여 어레이 또는 그리드로 배열된 하나 이상의 진동 피드백 시스템들(도시되지 않음)을 구비할 수 있다.

도 3에 도시된 바와 같이, 시스템은 사용자의 피부 또는 사용자의 신체의 내부 시스템 온도에 결합된 하나 이상의 온도 센서 메쉬 어레이들(45)을 구비할 수 있다. 온도 센서(45)는 고장 안전 열적 모니터링을 위해 사용자의 내부 신체 또는 조직 온도를 모니터링하도록 메쉬 어레이로서 제공될 수 있다.

도 4에는 사용자 애플리케이션에 의거하여 제공될 수 있는 시스템(1)과 같은 시스템에 대한 예시적인 서브시스템들의 세트를 나타낸 시스템 아키텍처(400)와 시스템 코어 요소들(410)의 세트가 도시된다.

그 아키텍처는 Wi-Fi, 블루투스, 유선, RFID 또는 근거리 통신과 같은 하나 이상의 통신 인터페이스들(420)을 구비할 수 있다. 시스템(1) 출력 요소들(430)은 방출성 및 비-방출성 2D 디스플레이, 광 필드 또는 3D 디스플레이, 스피커 또는 촉감 시스템과 같은 전자 디스플레이 요소들을 구비할 수 있다. 일 실시 예에 있어서, 광 필드 디스플레이 시스템은 증강 현실 디스플레이 시스템 또는 가상 현실 디스플레이 시스템을 구비한 착용식 근안용 디스플레이 시스템이다. 예를 들어, 본 명세서에서 설명한 실시 예들과 함께 이용하기에 적합한 확장된 뷰잉 각도(extended viewing angle)를 가진 3D 디스플레이, 초 고해상도 2D 디스플레이 또는 2D/3D 스위칭 가능 디스플레이는 Hussein S. EI-Ghoroury 등에 의한 2014년 10월 7일자 발표된, "Spatio-Temporal Directional Light Modulator" 란 제목의 미국특허번호 제8,854,724호에 개시된 것들을 포함하는데, 그 특허의 전체 콘텐츠는 본 명세서에 참조로서 수록된다. 시스템(1) 입력(440)은 가속도계 또는 자이로스코프와 같은 관성 측정 센서, 압력 센서, GPS 센서 및 위치 데이터를 위한 수신기, 마이크로폰, 전자기 촬상 센서, 주변광 센서, 컬러 센서, 각도 센서, 전기 생리학 센서, EMG 센서, 생체 음향 센서, RFID 안테나, 초음파 거리 측정 센서, 고주파 트랜스시버 어레이 또는 전자장 및 근접 센서를 구비할 수 있다.

도 4에 도시된 예시적인 서브시스템들은 하나 이상의 프로세서들, 그래픽 프로세서들, 애플리케이션-특정 프로세서들, 메모리, 인터페이스 제어기들, 휴대형 전력 공급 유닛들 및 전력 관리 서브 유닛들을 추가로 구비할 수 있다. 시스템(1)은 저전력 단거리 통신이 가능하고, 안테나(37)를 이용하여 표준 무선 네트워킹 하드웨어에 대한 액세스를 제공하기 위하여 국부 및 광역 통신 하드웨어 및 소프트웨어를 구비할 수 있다. 도 4에 도시된 통신 서브시스템들은 시스템(1)과 동일하거나 유사한 디바이스들을 포함하는 다수의 다른 전자 또는 컴퓨팅 디바이스들과 시스템(1)을 접속시키도록 구성될 수 있다. 본 명세서에서 언급된 피코 프로젝터(20) 및 종래의 디스플레이(20')들에 추가하여, 시스템(1)은 사용자에게 가시적 피드백을 제공하기 위해 LED들 및 전자-광학 유닛들을 구비할 수 있다.

도 4에 도시된 바와 같이, 초음파 트랜스시버(250)에 추가하여, 시스템(1)은, 예를 들어 마이크로-전자-기계적 가속도계, 자이로스코프 및 자력계에 기반한 것과 같은, 관성 및/또는 자기 측정 또는 자세 헤딩 센서들 및 참조 서브시스템들(445) 중 하나 이상을 구비할 수 있다. 시스템(1)은 전자장 센서, 전기 기계 근접 또는 스트레인 센서, 전기 생리학적 센서 및 진동 센서를 추가로 구비할 수 있다.

시스템(1)은 인-에어(in-air) 음향 거리 측정 트랜스시버 또는 전자기 안테나 기반 센서를 이용하는 공간 콜로케이션 시스템(spatial collocation system)으로부터 입력을 수신하도록 구성될 수 있다. 그러나 공간 콜로케이션 시스템은 사용자의 신체에 대한 시스템(1)의 위치를 결정하는데 이용될 수 있다. 도 4에 도시된 바와 같이, 시스템(1)은 제스처 시스템 고장 안전 스위치(455)를 포함할 수 있다. 제스처 시스템 고장 안전 스위치(455)는 사용자의 신체의 내부 시스템 온도 또는 사용자의 피부에 결합된 하나 이상의 온도 센서 메쉬 어레이들을 구비할 수 있다. 온도 센서들은 고장 안전 열적 모니터링을 위해 사용자의 내부 신체 또는 조직 온도를 모니터링하도록 메쉬 어레이로서 제공될 수 있다.

도 5a 내지 도 5d에는 시스템(1)의 피코 프로젝터(20)에 의해 이용될 수 있는 인체 부착 프로젝션 표면들이 도시된다. 도시된 멀티-피코 프로젝터(20) 시스템은 적어도 하나의 피코 프로젝터(20)와 함께 이용될 수 있으며, 하나 내지 4개의 신체 표면상에 프로젝션할 수 있다. 디스플레이 프로젝션은 도 5a 내지 도 5d에 도시된 바와 같이 하나 또는 둘 이상의 신체 표면에서 동시에 발생할 수 있다. 예를 들어, 시스템(1)은 도시된 바와 같이 손의 손바닥 및 전박의 앞쪽 표면(ventral surface of forearm)상에 프로젝션한다. 대안적인 실시 예에 있어서, 사용자가 밴드 요소(5)를 제거하면, 임의 외부 표면이 프로젝션 스크린으로서 작용하도록 이용될 수 있다.

신체상의 도 5a 내지 도 5d의 도시된 프로젝션 표면들은, 전박이 눈과 프로젝션 표면 사이에서 상대적 안정성을 유지할 수 있다는 사실을 고려하여 선택된다. 일 실시 예에 있어서, 단단한 팔 자세를 유지하려고 시도함에 의해 반복적 스트레인 부상(Repetitive Strain Injuires: RSI)을 방지하기 위하여, 피코 프로젝터(20)는 팔의 자세들간의 제스처 및 트랜지션에 자동으로 기초하여 손바닥 및 앞쪽 전박 표면(ventral forearm surface)과 손등 및 전박 표면간에 스위칭이 이루어도록 구성된다.

이전에 설명한 종래의 피코 프로젝터들은 DLP, CLoS 또는 레이저 빔 스캐닝 기반 기술들을 이용한다. 그러나, 시스템(1)의 실시 예의 프로젝션 기술 및 피코 프로젝터(20)는 QPI(Quantum Photonic Imager) 또는 "QPI®" 이미저(imager)에 기반한다. (QPI®는 Ostendo Technologies, Inc의 등록 상표이다. H.EI-Ghoroury 등에 의해 2010년 3월 19일자 출원된 미국특허번호 US8,0489,231호 참조) 그것은, 고 해상도의 GaN-GaAs 계층형 픽셀 어레이의 백플레인(backplane)내에 집적화된 전력 및 로직 회로들을 가지며, 픽셀 스택의 상부상에 바로 집적화된 마이크로 광학층을 가진 마이크로 방출 고체 상태 발광 구조이다. 피코 프로젝터(20)의 이러한 형성은 매우 작은 용적을 차지하는 전력 효율적인 피코-프로젝션 디스플레이를 생성한다.

본 명세서에서 설명한 실시 예들과 함께 이용하는데 적합한 예시적인 QPI 이미저(마이크로-방출 고체 상태 발광 디스플레이 요소들)는, 본 출원인에게 양도되고, 각각 "Quantum Photonic Imagers And Methods Of Fabrication Thereof"이란 제목을 가진 미국특허번호 제7,623,560호, 제7,829,902호, 제8,567,960호, 제7,767,479호, 제8,049,231호 및 제8,243,770호에 개시된 것들을 포함하는데, 그 특허들 각각의 콘텐츠는 본 명세서에 참조로서 수록된다.

상술한 QPI 이미저들은 모든 필요한 디스플레이 구동 회로를 포함하는 단일 방출 디스플레이 디바이스에 있어서 높은 밝기, 고속 광 멀티-컬러 세기 및 공간 변조 기능 특성을 가진다. 본 명세서에서 설명한 실시 예들의 문맥내에서, 용어 "피코 프로젝터"는 방출 마이크로 스케일 고체 상태 발광 픽셀(emissive micro-scale solid state light(SSL) emitting pixel)들의 어레이를 구비한 광전자 디바이스를 포괄한다. 그러한 디바이스의 SSL 발광 픽셀들을 이하에서는 간단히 피코 프로젝터라고 지칭할 것이며, 그 픽셀들은 방출 마이크로 스케일 픽셀 어레이가 그 위에 형성되거나 접착되는 CMOS 회로내에 포함된 구동 회로에 의해 온-오프 상태가 제어되는 발광 다이오드(LED) 또는 레이저 다이오드(LD) 또는 임의 고체 상태 발광 구조일 수 있다.

QPI 이미저의 방출 마이크로 스케일 픽셀 어레이내의 픽셀들은, 공간적으로, 채색적으로 및 시간적으로 변조되는 광을 QPI 이미저가 방출할 수 있게 하는 구동 CMOS 회로를 통해, 공간적으로, 채색적으로 및 시간적으로 개별적 어드레스 가능하다(addressable). QPI 이미저에 의해 방출된 다수의 컬러들은 바람직하게 동일 픽셀 개구를 공유한다. QPI 이미저 픽셀은 ±5°내지 ±45°범위의 발산각으로 시준된(또는 비-Lamberitain)) 광을 방출한다. QPI 이미저의 방출 어레이를 구비한 픽셀들의 크기는 전형적으로 대략 5-20 미크론 범위내인데, 그 디바이스의 전형적인 방출 표면 영역은 대략 15-150 표면 제곱 밀리미터의 범위내이다. QPI 이미저는 임의 크기의 디스플레이 영역을 생성하도록 방출 픽셀 어레이와 이미저의 물리적 에지간에 최소 갭을 갖도록 고안되어, 다수의 QPI 이미저들이 경사지게 할 수 있다.

그 프로젝션에 수반되는 보다 작은 거리(투사 거리)로 인해, QPI 이미저를 이용한 프로젝션된 디스플레이는 큰 전력없이도 매우 밝을 수 있다. 상술한 U.S 특허들의 QPI 이미저의 마이크로 광학 및 포커싱 모듈들은 비-선형 프로젝션 표면 및 투사 거리를 고려하여 명백히 고안된다. 물론, QPI 이미저들이 본 발명의 피코 프로젝터로서 이용되거나 그 프로젝터에 이용되기에 이상적이지만, 본 발명이 그에 국한되는 것은 아니며 다른 이미저들이 필요에 따라 본 발명의 피코 프로젝터로서 이용되거나 본 발명의 피코 프로젝터에 이용될 수 있다.

인간 해부학적 특징의 프로젝션 표면(즉, 피부 또는 표피)은 제스처와의 상관적 요소로서 변형하는 그 자체로 부드럽고 변형 가능한 조직이다. 피부 표면은 일관성있는 중성색(consistent neutral color)이 아니며, 사용자들마다 달라지고, 컬러 변질에 영향을 끼치며, 모든 것이 신체 위치에 의존하는(예를 들어, 손등 표면은 손바닥 표면에 비해 보다 어둡고, 다른 반사도를 가진다) 가변하는 반사도 및 무모(glabrousness)(털) 정도를 가진다. 최종의 프로젝션된 디스플레이 품질은 프로젝션 표면의 환경에 있어서 주변 조명에 크게 의존한다. 그러한 논점은 사용자에게 개선된 인체 부착 디스플레이 경험을 제공하도록 고려되어야 한다.

프로젝션 시스템의 소프트웨어 구성 요소는 인간 피부 프로젝션 표면의 가변 가능 본질을 고려하기 위하여 피코 프로젝터(20)로부터 출력된 프로젝션 디스플레이를 보상 및 조정하는, 본 명세서에서 "피부 엔진"이라고 지칭하는, 알고리즘을 구비한다. 피부 엔진은 카메라(35)로부터 피부 프로젝션 표면의 영상 데이터를 획득하고, 조직 변형, 손의 자세, 프로젝션 표면, 반사도, 주변 조명, 피부 컬러 및 사용자 머리/눈 위치들에 기초하여 프로젝션된 디스플레이 출력을 수정한다. 디스플레이될 영상은, 피부 디스플레이상에 디스플레이하기에 앞서 프로젝션 시스템 프레임 버퍼에 영상을 전송하기 전에, 동적 대비 강화, 컬러 정정, 감마, 종횡비, 영상 왜곡 및 변형 캘리브레이션을 이용하여 수정된다.

본 명세서에 설명된 방법들은 인간 해부학적 특징부 자세에 있어서의 변경을 필수적으로 수반하는 내부 객체 및 구조로부터의 생체 역학적 신호들에 대해 신체 내부를 깊이 들여다보는 비-침해성 US 감지 기법을 이용한다. 생체 역학적 조직 변형에 의해 신체의 모든 수의적 및 불수의적 제스처들(voluntary and involuntary gestures) 및 자세들이 항상 수반한다. 그러한 생체 역학적 변형 신호의 추출 및 디지털화는, 자세 및 제스처 정보를 나타내는, 관련된 고 압축 및 최소 용장성 데이터세트(highly compressed and least redundant dataset)의 포착을 할 수 있게 한다. 이러한 디지털 표면의 수학적 모델링 및 분석은 인간 해부학적 특징부의 개별적인 자세들과 제스처들간의 고해상도 분별을 할 수 있게 한다.

US 트랜스시버(25)는 비-이온화, 음향 압력파(non-ionizing, acoustic pressure waves)를 조직에 방출하는 전기 기계적 전송기를 구비한다. 방출된 압력파들은 조직에서 대략 사운드 속도로 전파되고, 내부 객체의 동적 조직 구조와 상호 작용하며, 해부학적 특징부의 객체들을 구성하는 조직들의 고유한 에코 발생 성질에 기초하여 반사되고, 굴절되고, 회절되고, 감쇄된다. 파면의 그러한 음향 전송 구성 요소들은 US-영상화 조직 영역 둘레에 배치된 전기 기계적 수신기를 이용하여 검출된다. 트랜스듀서로부터의 수신된 신호들을 "V"라 지칭한다. 수신된 신호들의 특성들은 초기 방출된 파면이 상호 작용하는 내부 객체의 조직들의 공간적-시간적 분포 및 성질들을 인코딩한다. 트랜스시버(25)는 사용자 정의된 특정의 및 필터링된 US 정보를 복귀시키는 사전 결정되고 인코딩된 지향성 파면을 전송하도록 구성된다.

고주파 음향파 또는 초음파는 통상적으로 "초음파검사(ultrasonography)"라고 하는 분야에 있어서 생체 역학적 조직에 대한 정보를 수집하는데 이용된다. 그러한 초음파 검사 기술은, 통상적으로, 뷰잉 및 분석을 위한 인간 신체 단면을 나타내는 2차원 영상들을 생성하기 위해 어레이 기반 US 트랜스시버와, 영상 형성/스캔 변환 하드웨어 및/또는 소프트웨어와 결합된다. 그러한 단면 영상들은, 조직 구조 정보가 조직의 내부 상태들을 나타낼 수 있는 의학 분야에 유용하다. 통상적으로 US 트랜스시버라고 지칭되는 전송 및 수신 요소들과 동일한 전기 기계적 요소들을 이용하는 것은 초음파 검사에서 통상적인 것이다.

초음파 촬상 머신은 크고 무거우며, 액체 또는 젤 기반 전송 결합을 이용하여 전체 인간 신체의 다수의 위치들에 걸쳐 수동적으로 동작하기 위한 것이다. 이러한 머신은 클 수 밖에 없는데, 이는 부분적으로 제조자들이 1) 기성 회로를 이용하고, 2) 용도 변경을 위한 모듈성을 증가시키며, 3) 동일한 하드웨어를 이용하여 고해상도의 재구성 가능한 특징부 세트를 지원하려는 경향이 있기 때문이다.

도 1a 내지 도 5d에 도시된 시스템(1)의 손목 착용 실시 예들은 인간 손목의 공간-시간적 단면의 근 실시간 매핑(near real-time mapping)을 할 수 있게 하며, 스캔 변환의 프로세스-집약 단계(process-intensive step)를 요구하지 않는다. 손목이 손, 엄지 손가락 및 손가락들의 근골격 기계적 요소들 모두(굴근/신근/외전근/내전근 힘줄들, 인근 인대 및 뼈)의 합류(confluence)를 포함하기 때문에, 그들의 굴곡 탄성/외연 움직임과 주변 및 이면 조직(surrounding and background tissue) 변형이 본 명세서에 개시된 소형 초음파 트랜스시버(25)를 이용하여 검출될 수 있다. 획득된 공간-시간 신호 맵은, 손목의 생체 계측 기반 수학적 모델을 이용하여 다른 상업적으로 입수 가능한 인간 인터페이스 디바이스보다 더 큰 정확성으로 손목의 3차원 기계적 자세 및 제스처와 직접 상관된다.

손목 바로 위에 및 손목을 둘러싸고 시스템(1)이 착용되고 생체 역학적 신호들이 신체 내부로부터 획득되는 실시 예에 있어서는, 사용자에 대한 시야 제약이 없고, 유용한 US 신호의 일부가 차단되지도 않는다. 손의 제스처에 대해 획득된 US 에코 발생 객체 신호 데이터는 전박 또는 상박의 나머지의 배향 및 자세와 무관하다. 따라서, 사용자는 다른 활동을 하면서 디바이스를 동작시키도록 선택할 수 있다. 예를 들어, 사용자는 손을 의복 주머니에 넣은 채 제스처를 할 수 있다. 시스템(1)의 가요성은, 외부 카메라 기반 머신 비전 제스처 시스템에 저해가 되는 RSI들 또는 고릴라 팔 신드롬(gorilla arm syndrom)의 문제를 회피한다.

본 명세서에 개시된 방법들은 (미국특허번호 제8,292,833호 및 제5,818,359호와 다르게) 단지 힘줄들의 키네마틱에 주목하는 것 뿐만이 아니라, 심부 근육(deep muscle), 맥관 구조(vasculature) 및 뼈를 포함하되, 그에 국한되는 것은 아닌 각 림브의 단면에 배치된 조직 및 객체들의 전체적인 변형, 다수의 생체 역학 및 변형 특성들을 고려한다. 이것은 중요한 특징인데, 그 이유는 힘줄들이 변형됨에 따라, 그들의 에코 발생 성질들이 극적으로 변경되고 종래의 방식에서 처럼 사전 배치된 센서들을 이용하여 검출할 수 없기 때문이다. 힘줄로부터의 명확한 US 신호들이 없으면, 힘줄들이 자세 검출을 위해서만 이용될 경우, 정확한 자세의 인식을 못하게 된다.

인간 근골격 시스템은 정밀한 수의적 및 공간적 모터 기술들을 획득하는데 있어서 탁월한 가소성(plasticity)을 보여준다. 이것은, 사용자가 물리적 버튼들을 가진 전기 기계적 키보드들을 선호하고, 촉감 입력이 모든 다른 입력 기법 중 가장 높은 대역폭을 가지기 때문이다. 그러므로, 본 명세서에 개시된 제스처 인식 방법 및 디바이스를 이용하여 자세가 감지되는 손가락 근처에 프로젝션된 광 인터페이스를 생성함에 의해 실현되는 감각 운동적 피드백 루프의 폐쇄는 주요한 장점이다. 직접적인 피드백은, 인간 운동 감각적 복잡성의 학습 및 트레이닝 강화를 할 수 있게 함으로써, 높은 직관적 사용자 인터페이스를 이끈다. 이러한 루프 폐쇄의 효과는, 사용자가 제스처 기술을 쉽게 획득할 수 있다는 것이다.

도 6에는 도 3에 도시된 초음파 트랜스시버(25) 어레이들의 예시적인 실시 예가 도시된다. 트랜스시버(25) 어레이의 배치에 있어서의 고안은, 고려 중인 영역에서의 조직 변형을 촬상하기 위한 구성 기능과, 인간 해부학적 구조에 있어서 통계적 변동성을 고려하면서 (뼈와 같은) 무반향 무기질 조직(anechoic mineralized tissue)으로부터 전송된 파형의 새도윙(shadowing)의 회피를 고려해야 한다. 예를 들어, 손목 영역의 앞쪽상에 배치된 단일 트랜스시버(25)는 일반적으로 손목의 손등 표면에 보다 근접하여 통과하는 신근 힘줄들로부터 신호를 추출할 수 없다.

그러므로, 시스템(시스템 1)의 실시 예에 있어서, 트랜스시버(25)는 사분면(quadrant)에 따라 배치되거나 비대칭적으로 배치되어, 특정 애플리케이션에 대해 관심 영역에 기초한 조직 가시성을 최대화할 수 있다. 트랜스시버(25)는 바람직하게 다른 트랜스시버(25)에 대해 직각으로 배열되어, 다른 신호 인식 수신 기법이 허용되게 한다. 특정 실시 예에 있어서, 모든 트랜스시버(25)가 계속적으로 및 주기적으로 이용될 필요는 없으며, 선택된 트랜스시버(25)가 특정하게 활성화되어 소수만이 알거나 사용자 정의된 감지를 할 수 있게 한다.

도 6과 관련하여, (시스템(1)과 같은) 시스템의 초음파 트랜스시버(25)는 ASCI(Application Specific Integrated Circuit)(110) 또는 DSP(Digital Signal Processor)가 실장되는 단단하거나 가요적인 기판(100)상에 제조될 수 있다. 기판(100)은 시스템(1)에서 ASIC(110)로 전력 및 디지털 신호 라인들을 접속시키는 스루홀(through-hole) 상호 접속 층으로서 기능할 수 있다. 트래스시버(25) 어레이를 지원하는 고전압 펄스 생성기 회로(120)는 ASIC(110)의 일부로서 제공되거나 ASIC(110)과 함께 패키징된 독립적인 다이(independent die)일 수 있다.

도 6에 도시된 바와 같이, 일 실시 예에 있어서, 기판(100)은 US 촬상을 지원하는데 이용되는 다른 유사한 전자 및 프로세싱 회로 중에서도, 전송 및 수신 빔-형성기 회로, 디지타이저(digitizer) 회로, 디지털-아날로그 변환 회로, 이득 제어 회로, 메모리, 스위치들, 다중화기/역다중화기 및 프로그램 가능 아날로그 또는 디지털 필터들을 구비한다. 음향 전송 차단층(130)은 ASIC(110) 및 고전압 펄스 생성기(120) 회로의 표면상에 배치될 수 있다. 차단층(130)은 역 음향 전송을 능동적 또는 수동적으로 차단하는데 이용될 수 있으며, 특정 음향 임피던스를 제공하도록 고안될 수 있다. 차단층(130)은 반도체 재질을 구비할 수 있다. 추가적으로, ASIC(110)는 스펙트럼 도플러 신호 프로세싱에 특정된 회로들을 구비할 수 있다.

트랜스시버(25)는 활성, 전기 기계적 US 트랜스시버 서브구조들(140) 또는 "셀"들의 어레이를 구비하며, 차단층의 상부상에 배치되고, US 전송기들 또는 US 수신기들 또는 그 둘의 조합으로서 이용될 수 있다. 트랜스시버(25)들의 어레이를 구성하는 초음파 트랜스시버 서브 구조들(140)은, 예를 들어, MEMS(Micro Electromechanical Element)를 구비하거나, 복합 세라믹 층들로 구성될 수 있다. 다수의 트랜스시버 서브 구조 요소들(140)이 지지 기판(100) 상에 선형의, 2차원 직사각형 또는 타원형 그리드들로 배열될 수 있다. 다수의 서브 구조(140)들의 피치(pitch) 또는 기하학적 구조는 원하는 공간 신호 해상도 및 빔-조향 파라메타들에 기반하여 결정된다. 기하학적 파라메타들은 피부상의 털이 초음파 전송 또는 수신을 방해하지 못하도록 선택될 수 있다. 필요한 해상도 레벨들에 의거하여 보다 높은 해상도의 US 신호 전송 및 획득을 달성하도록(예를 들어, 보다 작은 맥관 특징부를 촬상) 개별적인 트랜스시버(25) 서브 구조 요소들(140)의 크기가 감소될 수 있다.

트랜스시버 어레이(25)의 대안적인 실시 예는 반도체 웨이퍼 및 포토리소그래픽 또는 표면 마이크로머시닝(micromachining) 프로세스들에 의해 제조되는 용량성 마이크로-머신 초음파 트랜스시버 어레이를 구비할 수 있다. 그러한 실시 예에서는 3D 집적 회로 상호 접속 및 패키징 기술들에 이용되는 입증된 제조 방법들을 이용하여 고밀도 집적화가 가능하게 된다. 그러한 실시 예에 있어서, ASIC(110)는 트랜스시버(25)와 함께 모놀리식으로 제조될 수 있으며 트랜스시버(25) 층의 백플랜(backplane)을 형성할 수 있다. 다른 실시 예에 있어서, 그 용량성 요소들은 마이크로 기계 멤브레인 구조(micromechanical membrane structure)의 표면상에 기상 증착 프로세스를 통해 증착될 수 잇는, 알루미늄 질화물과 같은, 압전 활성 물질층(piezoelectrically-active material layers)으로 대체될 수 있다.

트랜스시버 요소들(25)은 개별적인 트랜스시버(25)들 또는 트랜스시버 어레이들을 ASIC(110) 및 전력 회로에 접속시키는 능동 또는 수동 매트릭스(matrix) 전극 서브 구조(140)를 구비할 수 있다. 트랜스시버(25) 어레이들은 3D 볼륨 스캔을 생성하기 위해 압전, 전자기 또는 정전기 활성 전략을 필요로 하는 전환 방법(translation method)들을 제공하거나 주기적으로 진동될 수 있는 마이크로-전기 기계적 전환기 스테이지들상에 실장될 수 있다. 트랜스시버(25) 어레이에 있어서의 서브 유닛들(14)은, 초점 심도(depth-of-focus)를 증가시키기 위해 혼합된 주파수 트랜스시버들 또는 다수의 주파수 트랜스시버들이 이용되는 선택된 파장/주파수 다이버시티 스킴에서 동작하도록 구성될 수 있다.

트랜스시버(25)는 트랜스시버(25)와 조직 매체간의 음향 임피던스 부정합을 낮추기 위해 다른 트랜스시버 요소들의 표면상에 증착된 하나 이상의 음향 정합층(150)을 구비할 수 있다. 음향 정합층(150)은 US 전송 파면을 집중시키기 위해 폴리머 음향 렌즈층(160)을 구비할 수 있다. 음향 렌즈층(160)은 고접착성 및 컴플라이언트 폴리머 기반 음향층(30)에 의해 캡슐화될 수 있다.

시스템(1)의 대안적인 실시 예는 애플리케이션 기법에 의해 알고리즘적으로 결정되는 US 신호 빔 형성의 유형 및 본질에 대해 계장 방식(instrumented approach)을 이용한다. 다수의 트랜스시버(25) 어레이들의 구성에 기인하여, 개별적인 트랜스시버 서브 구조들(140) 또는 어레이들은 종래의 펄스-에코 신호 전송 및 수신 모드에서 동작될 수 있으며, 피치-캐치(picth-catch) 또는 투과(through-transmission) 모드에 대해 구성될 수 있다. 그 실시 예들은, 종래의 기본 주파수 초음파가 인간 모집단의 약 30%에 대해서는 잘 허용되지 않는다는 사실에 비추어, 복귀된 US 신호들에 있어서 고조파 콘텐츠를 이용한다. 초음파 트랜스시버 어레이는, 통상적으로, 통상적인 초음파 검사에 있어서 스캐닝 모드로 이용된다. 스캐닝 모드는, US 촬상에 적합하지만, US 시스템으로부터 데이터를 수집할 수 있는 레이트를 감소시키고, 응답성을 감소시킨다. 이러한 결점을 극복하기 위하여, 스캐닝 어레이 모드에 추가하여, 그 실시 예들은 평면파 빔 형성 방식을 이용하여 보다 빠르고 보다 안전한 신호 기법이 이루어지게 한다. 본 명세서에 개시된 실시 예의 대상 애플리케이션은 본질적으로 비-촬상형이기 때문에, 그 실시 예들은 다수의 서로 다른 기법들을 이용하여 손목의 단면 영역에 있어서의 조직 변경을 모니터링할 수 있다. 이 방식은 손목에 있는 조직 객체들에 있어서의 변경 및 변형에 대한 최대 정보를 추출하기 위해 촬상 알고리즘에 다수의 주파수 및 다수의 스캔 유형들이 이용되는 계장 방식이다. US 데이터셋을 생성하기 위해 적분 및 홀드-시프트(hold-shift) 방법들이 이용될 수 있다. 보다 높은 정확성 판독을 위해 특정 특징부상에 포커싱하거나 (트랜스시버 평면과 앙각면(elevation plane)에 있는)축외 영역(off-axis region)에 포커싱하기 위한 빔-조향 알고리즘이 이용될 수 있다.

또 다른 대안적인 실시 예에 있어서, 어레이의 개별적인 트랜스시버(25) 구조(140)는 압전, 정전기, 전자기, 자기, 전자 또는 기계적 위상 트랜지션 또는 포토닉 압력-유도 오실레이션(photonic pressure-induced oscillation)을 이용하여 전단(shear) 또는 세로 진동 모드에서 활성화될 수 있다. 트랜스시버(25) 서브 구조(140)는 적어도 하나의 음향 임피던스 정합층(150)과 결합될 수 있다.

기판(100)은 목표 위치 반대로의 신호 전송을 기계적으로 또는 전자적으로 방지하거나 방해하도록 고안될 수 있다. 각 서브 구조(140)는 전송기 및 수신기, 즉, 트랜스시버(25)로서 작용하도록 구성될 수 있다. 이 방식에 있어서, 공간적 및 시간적으로 그룹화된 US 오실레이션들의 시퀀스는 생성기로서 이용되고, 공간적 및 시간적으로 그룹화된 오실레이터들의 시퀀스는, 그들이 생체 조직 객체와 상호 작용하고 복귀된 후에 파면을 수신하도록, 펄스-에코, 피치-캐치 또는 투과 모드로 이용된다. 이에 따라 특정 가중 함수를 이용하는 다초점 및 멀티-스캔 평균화를 이용함으로써 작은 변화가 획득한 US 신호에 영향을 미치지 않게 된다.

많은 종래의 방식들은 스캔 변환의 이용에 의존하여 초음파 펄스-에코 데이터로부터 영상을 생성한다. 스캔 변환 프로세스는, 기본적으로, 트랜스시버에 의해 포착된 US 데이터를 디스플레이에 적합하게 되도록 데카르트 좌표(Cartesian coordinate)로 전환시킨다. 초음파 시스템에 있어서, 스캔 변환기로의 입력은 획득된 에코 데이터이며, 출력은 모니터상에 디스플레이되는 데이터이다. 그러나, 본 명세서에서 개시된 방법들은 하드웨어에 대해 스캔 변환 기술들을 이용하지 않으며, 그 대신에 수신된 US 응답 신호들에 직접 작용하여 하드웨어, 소프트웨어 및 복잡도 오버헤드를 최소화함을 알아야 한다. 스캔 변환은, 제거될, 추가 조정이 필요한 영상 아티팩트를 바람직하게 도입한다. 또 다른 스캔 변환 결함은, 빔-확산 및 포커싱의 그들의 방사 본질로 인해, 엔트로피가 거의 없음에도 불구하고 방사 트랜스시버로부터의 영상이 버퍼에 있어서 메모리를 차지하는 새도우(shadow) 영역들을 도입한다는 것이다. 그렇다하더라도, 특히 동일 영역으로부터의 초음파 에코 신호들은 엔트로피를 거의 가지지 않는다. 그러한 용장성은 본 명세서에 개시된 실시 예들에 활용되어, 프레임 레이트 및 스캐닝 목표 획득을 개선한다. 높은 프레임 레이트는 폐쇄 루프에서 본 명세서에 개시된 실시 예들의 빔 형성 방법을 이용할 수 있게 하며, 특정 조직을 추적할 수 있게 한다.

예를 들어, 인간 신체에 있어서 조직, 혈관 및 힘줄의 통계적으로 보전된 공간 분포(statistially-conserved spatial distribution)로 인해, 본 명세서에 개시된 방법들은 사전-기반 인코딩 방법(dictionary-based encoding method)을 이용하여 네트워크를 통해 데이터를 전송하기 위한 보다 큰 압축을 달성한다. 본 명세서에 개시된 방법들은 압축된 데이터에 대해 직접 작용하고 신호들의 희소 본질(sparse nature)을 이용하는 보다 효율적인 계산 알고리즘을 이용함으로써 오버헤드를 감소시킨다. 변환 코딩을 위해 웨이브렛 변환(wavelet transform)이 이용될 수 있으며, 그 다음, 수신 기법을 제거하기 위해 그 코딩은 특정 신호 생성의 특성에 기초하여 양자화되며, 그 다음 최종적으로 사전-인코딩(dictionary-encoding)된다. 이 방법은 스캔 변환 기반 2D 영상 형상 아티팩트의 가능성을 제거한다.

그러나, 대안적인 실시 예에 있어서, 본 명세서에 개시된 방법들은, 요청시 디바이스로부터의 스트림 데이터가 영상을 생성하는데 이용될 수 있는 네트워크상에 또는 클라우드 서버들상에 스캔 변환 루틴을 합체시킨다. 초음파 데이터의 미인증 액세스를 방지하기 위하여, 스캔 변환 알고리즘 액세스는, 인증시에, 전문 의료진에게만 암호화되고/되거나 암호 해제되도록 구성될 수 있다.

대안적인 실시 예에 있어서, 트랜스시버(25)는 트랜스시버(25)로부터 분기된 넓은 초음파 빔을 전송하고 피라미드 볼륨(pyramidal volume)으로 퍼져 나가도록 구성된 트랜스시버 서브 구조 요소(140)들의 2D 단계적 어레이(phased array)로 구성된다. 복귀된 에코들은 트랜스시버들(25)의 2D 어레이에 의해 검출되며, 실시 간으로 그 볼륨으로부터 다수의 평면들을 디스플레이하도록 프로세싱된다. 이들 평면들은, 사용자가 조사 중인 원하는 영역을 볼 수 있도록 대화식으로 선택된다. 초음파로부터의 건강상 위험은, 음향파에 대한 장시간 노출을 통한 조직 가열, 체액에 있어서의 음향 스트리밍 및 체액 공동화(fluid cavitation)의 위험으로부터 유발된다. 일반적으로, 조직의 열적 가열로부터의 위험은 최소화될 수 있는데, 그 이유는, 조작자의 감시가 있고, 프로브는 통상적으로 특정 영역에 대해 정적이 아니며, 혈액 관류(blood perfusion)가 전형적으로 임의 국부적 가열을 방지하기 때문이다. 그러나, 근육 및 지방 조직에 대한 관류 시간 상수(perfusion time constant)는 더 크며, 그에 따라 훨씬 느려진다.

제조자들은 통상적으로 기계적 및 열적 인덱스들을 가진 US 선량 측정 데이터(dosimetry data)를 계산하여 방사선학 의사들에게 제공한다. 본 명세서에 개시된 실시 예들은, 음향 조사 적량이 알고리즘적으로 결정되고 모니터링되다는 점을 제외한 유사한 방식들을 이용하는데, 그 방식에서는, 시스템 알고리즘이 음향 신호에 포함된 전력 및 주파수를 제어하고, 빔 조향을 이용하여 동일 영역의 연속하는 모니터링을 방지한다. 본 명세서에 개시된 실시 예들이 일반적으로 고 해상도 촬상을 필요로 하지 않는 비-진단 애플리케이션에 이용되기 때문에, 시스템 알고리즘은 입사 US 세기가 평균으로 되도록 제어한다. 이것은, 멀티-주파수 트랜스시버, 합성 포커싱 및 조향 가능 어레이에 기초한 안전 계장 방식에 의해 추가적인 도움을 받는다.

일 실시 예에 있어서, 상술한 온도 센서 메쉬 어레이(45)는 폐쇄 제어 루프에 있어서 멀티-조직 조정 계수들(multi-tissue calibration factors)을 포함하고 목표 조직 영역 내부의 온도를 추적, 모니터링 및 추정하는 다수의 용장성 열적 센서 요소들을 가진 독립적인 고장 안전 회로이다. 임의 사전 결정된 이전 동작 온도 임계치에 근접하거나 그를 초과하면, 그 회로는 사용자에게 경고할 수 있으며, 또는 트랜스시버 회로로의 모든 전력을 차단한다. 온도 센서 어레이(45)로부터의 데이터는 음향 노출 및 선량을 제어하는 시스템 알고리즘에 피드 포워드(feed forward)된다.

신체가 자세를 변경함에 따라, 관련된 해부학적 특징부의 인간 조직과 시스템(1)에, 그들의 각 질량으로 인한 관성 운동이 유도된다. 조직 및 손가락은 중력으로 인해 변형을 겪는다. 예를 들어, 손의 내전(pronated)시의 정지 자세(rest posture)는 손의 외전(supination)시의 정지 자세와 실질적으로 다르다. 그러한 영향을 고려하기 위하여, 가속도계, 자이로스코프, 자력계와 같은 관성 측정 센서들이 본 명세서의 실시 예들에 포함될 수 있다. 관성 측정 센서들은, 특히, 유용한데, 그 이유는 신체 부분들이 내부 조직의 구조에 있어서 현저한 변경을 유발하지 않고도 중력 영향하에서 크게 변형될 수 있기 때문이다. 시스템(1)에 합체된 관성 측정 센서는 중력, 가속도 및 각속도 측정을 위해 특징부 및 신체 배향의 대략적인 추정을 제공하도록 구성될 수 있다. 이 측정들은 제스처 인식을 위해 조직 및 디바이스의 관성 운동을 고려하는, 이하에서 설명할, 시스템 알고리즘에 제공된다.

관성 측정 센서들은 통상적으로 사용자의 신체에 결합되어 착용되므로, 그들은 사용자의 전체 신체의 자세의 낮은-충실도 모델(low-fidelity model)을 재구성하는데 이용될 수 있다. 그러한 자세 데이터는, 사용자가 서 있을 때, 이동할 때, 걸을 때, 앉을 때 또는 누울 때를 대략적으로 분별하는데 이용된다. 관성 측정 센서를 이용하면, 신체가 예를 들어 외부 객체와 충돌하거나 접촉하는 갑작스런 움직임을 일으킬 때를 인식할 수 있게 된다.

상술한 바와 같이, 신체 부분에 걸쳐 부착된 디바이스로부터의 압력은 이웃하는 영역에 있어서의 조직의 상당한 불확실한 변형 및 재배열을 유발할 수 있다. 종래의 착용식 US 제스처 인식 시도는, 관련된 트랜스시버가 사용자의 신체에 부착되는 방식이 명확하지 않으며 또는 접착 재질의 이용을 고려하지 않는다. 대신, 밴드 요소(5)가 사용자에게 약간의 압축 부하를 준다. 장력 센서 및 액튜에이터 페어(actuator pair)(도시되지 않음)는 밴드 요소(5)의 형상, 장력 및 변형을 가변적으로 제어하는데 이용될 수 있다. 그 다음 그러한 압축성 압력이 고려되고 능동적으로 제어될 수 있다. 상술한 가변 장력 래치(15) 및 힌지(10)를 이용하면 바람직하게 이들 문제점이 처리된다.

시스템(1)의 실시 예는 SMA(Shape Memory Alloys)로 이루어진 구조적 밴드 요소(5), 힌지(10) 및 래치(15)를 이용할 수 있다. 알겠지만, SAM들은 열의 적용시에 특정 온도에서 위상-트랜지션을 일으키고 사전 메모리된 형태로 그들의 형상을 변경하도록 처리된다. 그 열은, 통상적으로, SMA 부재들에 전류를 통과시킴에 의해 그 부재들의 저항성 가열을 통해 적용된다. 그러한 전기 기계적 장력(tensioning) 시스템들은 밴드 요소(5)의 구조의 장력을 팽팽하게 하거나 느슨하게 하도록 밴드 요소(5)에 걸쳐 인가되는 압력 또는 장력을 조정하거나 원하는 위치에 있는 초음파 트랜스시버(25)에 걸쳐 압력을 선택적으로 분산시키고, 밴드 요소(5)의 실제 형상에 어느 정도의 제어력을 제공하는데 이용될 수 있다. 압축 부하하의 그러한 변형 프로파일들은 각 사용자마다 고유하며, 최적의 감지 및 정밀성을 위해 알고리즘적으로 조정될 수 있다. 개시된 형상 메모리 합금 밴드 요소(5) 또는 힌지(10) 또는 래치(15)는 사용자의 손을 부드럽게 움켜쥠으로써 감각 피드백을 제공하는데 이용될 수 있다.

의료 초음파 디바이스들은, 전형적으로, 액체, 오일 및 젤을 이용하여 고무 음향 렌즈들과 피부간의 음향 전송이 확실히 이루어지게 한다. 이들 방식들은 습식 기술들로서, 가전 제품 스페이스(space)에 이용될 수 없다. 그러한 습식 결합 매체을 피하기 위해, 실시 예들은 도 3 및 도 6에 도시된 바와 같이 폴리머-기반 폴리머 음향층(30)을 이용한다.

미국특허공개번호 제2013/0041477호에는 그러한 결합 재질로서 이용하기 위한 폴리우레탄 또는 PVA의 이용이 개시되어 있지만, 이들은 기계적, 열적 및 환경적 성질이 매우 가변적인, 넓은 일반적 클래스의 재질을 나타낸다. 본 명세서에 개시된 실시 예들은 단지 음향 측면만을 중점적으로 다루는 것이 아니라, 그의 구성적 구조의 기계적 및 열적 성질과, 제조 용이성도 중점적으로 다룬다. 따라서, 정합 조직 음향 임피던스에 추가하여, 폴리머 음향층(30) 재질은 피부와의 균일한 접착을 위해 공형(conformal)이고, 컴플라이언트하며, 점착성으로서, 표피에 있어서의 간극과 주름을 채우도록 및 손목 치수의 변화를 통한 방사 압축의 변화를 고려하되 착용이 편리한 기계적 결합 표면을 생성하도록 취한(diaphoresis) 또는 발한(perspiration)을 통해 생성된 땀을 특정하게 이용함에 의해 무모성 또는 털이 있는(털이 많은) 피부상에 실(seal)을 형성할 수 있게 한다. 음향층(30)은 결합형 조직-팔찌 진동을 억제하도록 기계적 댐퍼(mechanical damper)로서 작용하고 전자 제품에 대한 열적 차단기(thermal isolator)로서 작용한다. 이러한 공형성(conformality)은, SMA 기반 구조, 래치(15) 및 힌지(10)의 이용을 통해 도움을 받을 수 있다.

일부 실시 예에 있어서, 음향층(30)은 접착 특성을 제어하기 위한 특정 첨가 점착 부여 수지(specific additive tackifier resin), 기계적 일관성을 제어하기 위한 무 잔류물 중합 오일(residue-free polymerizing oil) 및 정상적인 디바이스 동작 및 환경적 온도에서의 열적 안정성, 광학적 품질, 컬러 및 친수성 코팅이 첨가되는 여러 다른 첨가제를 가진, 이소프렌 폴리머(isoprene polymer), 스티렌-부틸렌 블록 코폴리머(styrene-butylene block copolymer) 또는 폴리(스티렌-에틸렌-부틸렌) 코폴리머에 의해 형성되는 것들과 같은, 부드럽고 점착성있는 열가소성 탄성 중합체 폴리머 혼합물(thermoplastic elastomer polymer blend)로 구성된다.

그러한 폴리머 혼합물의 장점은, 그들이 쉽게 주입 성형되거나(injection-molded) 압축 성형될 수 있으며, 일반적인 제조 기술들과 협동하여 제조될 수 있다는 것이다. 제조 동안에 채용되는 특정 프로세스는 그러한 폴리머에 수동적인 전자 부품들을 추가할 수 있게 한다. 그러한 재질의 치수는 사용자의 해부학적 치수, 디바이스의 관성 운동 및 래치를 통해 가해지는 방사 압축 부하를 보상하도록 조정 가능하다.

음향층(30)은 사용자가 교체 가능하도록 고안될 수 있다. 음향층(30)에 포함되는 능동 또는 수동 전자 회로는 음향층(30)의 특성을 식별하는 고유 데이터를 시스템(1)에 전송하는데 이용될 수 있다. 예를 들어, 음향층(30)에 요구된 특성은 다른 것들 중에서도 기계적 컴플라이언스(compliance), 제조 날짜, 인접성, 저항성을 포함할 수 있다.

살균 애플리케이션의 경우, 그러한 폴리머 재질은 전박과 겹치는 장갑의 커프 부분(cuff portion) 또는 장갑 전체를 구성하는데 이용될 수 있다. 이에 따라 살균 또는 청정 룸 복장의 이용이 요망되는 환경에 본 명세서에서 설명한 실시 예가 이용될 수 있게 된다.

음향층(30)의 액세스 불가(inaccessibility) 또는 불량의 경우, 신체와 디바이스간에 인터페이스를 수립하기 위하여 간단한 수도물이 이용될 수 있다. 이러한 임시 인터페이스는 장기간에 걸쳐 땀의 모세관 동작을 통해 유지될 것으로 기대된다.

상술한 바와 같이, 실시 예는 사용자가 사진을 찍을 수 있게 하는 하나 이상의 카메라 디바이스들(35 및 35')을 포함할 수 있다. 카메라들(35 및 35')은 대조, 밝기, 색 공간과 같은 메트릭들에 국한되는 것은 아니지만 그러한 메트릭들을 이용하여 피코 프로젝터(20) 품질을 개선하기 위해 디스플레이 품질 피드백 시스템을 구현하도록 구성될 수 있다. 카메라(35)는 주변광, 피부 색 및 피부의 광학적 특성들을 전용으로 분별할 수 있다.

SCS(Spatial Collocation System)는 신체에 대해 손목의 절대 공간 좌표가 감지되게 하고 시스템의 애플리케이션 프로세서에 보고되게 하는 시스템(1)의 아키텍처에 있어서의 기법을 지칭한다. 멀티 시스템 계층들의 경우, SCS는 다수의 시스템들간의 상대적 공간 위치들을 제공할 수 있다. 이 정보는 다수의 시나리오들에 있어서의 대화 서비스들을 제공하는데 이용될 수 있다. 예를 들어, 그러한 시나리오는 신체 단련이나 의학상 또는 대화 엔터테인먼트 애플리케이션을 위해 신체의 정중 시상, 관상의 횡단 평면(midsagittal, coronal and transverse plane)에 대해 팔의 상대적 스트레칭을 검출하는 것이다. 실시 예에 있어서, SCS는 인-에어 초음파 트랜스시버, 전자장 센서, 적외선 트랜스시버 페어, 구조화 발광 센서 페어(structured light emitter sensor pair) 또는 깊이 센서를 이용하여 구현되거나 헤드(스피커) 로컬라이제이션(localization)을 위해 마이크로폰 어레이를 이용할 수 있다. 또한, SCS는 수평 평면 또는 그라운드(ground) 평면에 대한 정보를 추정하는데 이용될 수 있다.

추가적으로, 시스템(1)은 기계적 박막 스트레인 계기, 드라이(dry)-전기 생리학 센서 및 압전 진동 센서와 같은 다른 유형의 센서 요소들을 구비할 수 있다. 그러한 센서는 오프-바디(off-body) 기법에 본 명세서에서 설명한 실시 예를 이용할 수 있게 한다. 시스템(1)은 전력 관리 회로를 가진 하나 이상의 럼프형(lumped) 또는 분산형 휴대용 전력 공급 시스템을 포함할 수 있다. 이들 전력 시스템들은 리튬 폴리머 이온 기술(lithium polymer ion technology)을 구비할 수 있다. 시스템(1)은 사용자에 대한 감각 피드백을 생성하는 하나 이상의 진동 액튜에이터를 포함할 수 있다. 그러한 액튜에이터는 배타적으로 또는 SMA 촉감성 협착 피드백 액튜에이터와 함께 이용될 수 있다. 상술한 마이크로폰/스피커 어레이(40)는 통신 목적으로 이용될 수 있는데, 거기에서는 잡음으로부터 스피치를 분리하기 위한 방법을 제공하기 위해 어레이 신호 프로세싱 기술이 이용된다.

본 명세서에 개시된 실시 예들은 분산 또는 클라우드 기반 계산 시스템과 함께 동작한다. 그러므로, 실시 예들은, 예를 들어, 전화, Wi-Fi, 블루투스, 무선 라디오, NFC(Near Field Communication)에 대한 네트워크 또는 피어-투-피어 접속성(peer-to-peer connectivity)을 위한 안테나(37)와 같은 하나 이상의 하드웨어 인터페이스를 포함할 수 있지만, 그에 국한되는 것은 아니다. 다수의 시스템(1)들은 서로 통신하도록 구성되고, 서로 국부 메쉬 네트워크를 생성하며 예를 들어 상대적 위치, 배향, 현재 제스처 유형 등과 같은 정보를 전송하는데 이용되도록 구성된다. 시스템(1)이 컴퓨터 및 클라우드로 데이터를 전송하고 그로부터 수신하기 때문에, 실시 예들 모두는 국부 머신 또는 원격/가상 머신과의 인터페이스에 이용될 수 있다.

도 7a 내지 도 7c에는 시스템(1)이 이용할 수 있는 자유도의 정의 및 이용된 해부학적 용어(anatomical nomenclature)가 도시된다. 손목 터널의 위치에 대한 손목에 대해 참조 프레임이 정의될 수 있다. 특정 축에 대한 분절은 단지 초음파 데이터로부터 낮은 에러로 검출할 수 없는데, 이는 활성 근육 그룹들 중 일부가 충양근, 단장근(palmaris brevis) 및 엄지(pollicis) 그룹과 같은 손바닥 영역에 포함되며, 초음파 트랜스시버(25)에 액세스할 수 없기 때문이다. 시스템(1)이 손가락의 PIP(Proximal Inter-Phalangeal) 또는 DIP(Distal) 분절을 포착할 수 없는 특정의 상태가 발생한다. 그러나, 손의 키네마틱에 있어서의 용장성을 이용하는 방법을 이용하고 손목의 밀집되게 패킹된 조직 구조에 생성된 교감 스트레인 필드를 이용하여 이들 축들이 추정된다.

도 8a 내지 도 8f에는 피부 엔진에 의해 영향을 받을 수 있는 사용자 인터페이스와 대화하는 전형적인 제스처들이 도시된다. 일 실시 예에 있어서, 피부 엔진 알고리즘은 피부 엔진에 손가락 분절(자세) 정보를 제공하며, 그 다음 피부 엔진은 손가락에 대응하는 특정 아이콘을 하이라이트한다. 이것은 손등 또는 손바닥 표면상에 프로젝션하기 위해 발생할 수 있다. 5개의 손가락 모두의 분절을 수반하는 클렌칭, 클러잉(clawing) 또는 움켜쥐는 제스처를 이용하여 특정 아이콘이 선택된다. 사용자는, 전형적으로, 5개의 손가락을 가지고 있기 때문에, 피부 엔진에 있어서 5개의 아이콘 또는 작업 메뉴가 특히 중요하다. 피부 엔진은 부드러운 표면 조직 변형 및 조명을 고려하기 위하여 프로젝션 광 필트의 변형 및 수정을 제어한다. 자세와 디지털 정보간의 대화는, 사용자가 물리적 객체와 대화하는 것과 정확히 동일한 방식으로 이루어진다. 도 8a 내지 도 8f에 손바닥 또는 손등 표면 프로젝션이 도시되어 있지만, 동일한 사용자 인터페이스 개념이 전박 표면 프로젝션에 적용되며, 거기에서는 각 손가락으로부터의 제스처가 전박 표면상의 5개의 아이콘 메뉴를 제어하는데 이용된다.

도 9a 및 도 9b에는 물리적으로 직관적인, 페이지 넘기기 제스처(page turn gesture)가 프로젝션 광 필드와 대화하는데 이용될 수 있는 방법의 예시가 도시된다. 이 실시 예에 있어서, 요골-척골 이탈이라고 하는, (도 7a 내지 도 7c에 도시된) 손목 축에 대한 피치가 페이지 넘기기 또는 스크롤 제스처(page turn or scroll through gesture)를 구현하는데 이용된다. 유사하게, 도 10a 및 도 10b에는 작업을 선택하기 위해 클렌칭 동작이 이용될 수 있는 방법의 예시가 도시된다.

도 11a 및 도 11b에는, 도 10a 및 도 10b에 도시된 것과 유사한 예시적인 제스처가 도시된다. 도 10a 및 도 10b에는, 엄지 손가락을 제외한 4개 손가락의 근위 지절(proximal phalanges)의 분절에 기반한 페이지 넘기기 또는 스크롤 인터페이스가 도시된다.

유사하게, 도 12a 및 도 12b에는 무지구 피치 제스처(thenar pitch gesture)를 검출함에 의해 구현되는 선택 동작 또는 버튼 누름 동작이 도시된다. 이 도면에 있어서, 무지구 피치 제스처가 시스템(1)에게 사진을 찍도록 명령하는 카메라 인터페이스가 도시된다. 각 손가락은 단일 버튼 푸시형 활동으로 인한 것이다.

도 13a 내지 도 13k에는 시스템(1)이 구별할 수 있는 다양한 다수의 손가락 제스처들이 도시된다. 그러한 제스처들은 비-언어 통신 기법들에 유용하다.

엄지 손가락이 손가락 주름(digital crease)들에 대한 포인터(pointer)로서 이용되는 추가적인 제스처가 도 14a 내지 도 14c에 도시된다. 각 자세는 사전 결정된 정보를 운반하는데 이용될 수 있는 고유 제스처를 나타낸다.

외부 압력 소스가 제한된 해상도를 가진 초음파 신호에 로컬라이제이션될 수 있다. 그러한 로컬라이제이션은 대화성(interactivity)을 구현하는데 이용될 수 있다. 도 15a 내지 도 15c에는 한 손에 프로젝션된 디스플레이가 생성되고 다른 손은 손바닥 또는 전박 표면상에 포인트 압력을 가하는데 이용되는 실시 예가 도시된다. 그러한 로컬라이제이션을 이용하여, 대략적인 터치 제스처가 인식될 수 있고 양손 대화 기법을 나타낼 수 있다.

도 16a 및 도 16b에는 신체 표면상에 디스플레이를 프로젝션하는 대신에 그 프로젝션이 외부 스크린에 지향되는 실시 예가 도시된다. 그와 같이 외부적으로 프로젝션되는 디스플레이는 피부 엔진에 있어서의 적당한 소프트웨어를 이용하여 관리되는 지터 제어 및 손-기반 제스처 입력(hand-based gesture input)을 이용할 수 있다.

실시 예에 있어서, 시스템(1)은 눈 둘레의 두개골(skull)의 궤도 영역(orbit region)에 또는 그에 인접하여 착용될 수 있고 (도 1b 참조), 접착용 패치 또는 그에 상응하는 방식을 이용하여 관골(zygomatic), 관자놀이(temporal), 설상골(sphenoid) 또는 위턱뼈(maxilla bone) 중 어느 한 곳에 배치될 수 있다. 트랜스시버(25)는 6개의 안근(ocular muscle) 그룹(상안검거근(levator palpebrae superioris), 안륜근(orbicularis occuli), 큰 광대근/작은 광대근(zygomaticus major/minor) 및 상순거근(levatorlabilisuperioris))과 함께, 상직근(superior rectus), 하직근(inferior rectus), 외측직근(lateral rectus), 내직근(medial rectus)(좌측/우측) 및 상사근(superior oblique)과 하사근(inferior oblique)(L/R))의 활동을 추적하는데 이용될 수 있다. 애플리케이션의 하드웨어 및 대물 렌즈 위치에 기초하여, 시스템(1)은 다른 것들 중에서도 눈꺼풀 활동, 홍채의 단속성 운동, 공막 영역의 회전, 볼 표정(cheek expression), 입 벌림 구조(mouth open structure), 귀의 변형을 추적할 수 있다. 이러한 실시 예는 증강 및 가상 현실 착용 디스플레이에서와 같이 눈을 추적하는 것이 중요한 애플리케이션에서 중요하다.

유사하게, 시스템(1)은 목에 착용될 수 있다(도 1b 참조). 이전의 애플리케이션과 유사하게, 시스템(1)은 인간 성도(vocal tract)의 급속 요동(fluctuation) 및 그와 연관된 생체 역학적 구조 변경을 추적하는데 이용될 수 있다. 이들 요동은 다수의 애플리케이션에 이용될 수 있다. 예를 들어, 제스처를 인식하는데 이용되는 손의 자세와 유사한 제스처들을 정의하기 위해 구조에 있어서의 특정 수의적 변경이 이용될 수 있다.

상술한 바와 같이, 제스처는 신체 또는 손의 자세들 또는 위치들간의 트랜지션에 있어서의 자세들의 세트를 구비할 수 있다. 자세들은 손 및 신체에 있어서의 관절의 외연 또는 압축 변위 및 각도 분절과 그에 대응하는 관절 속도와 같은 정보를 포함할 수 있다. 그러한 분절 또는 변위가 발생할 수 있는 관절의 전체 개수를 시스템의 자유도(Degree Of Freedom: "DOF")라 한다. 이들 DOF는 손목 또는 신체나 신체 일부의 임의의 축 또는 평면과 같이 신체 또는 신체 일부에 대해 정의된다. 자세들의 집합은 제스처로서 라벨링된다. 제스처들은 위치 전위 또는 각도 분절 정보의 크기와, 시간 및 속도 정보를 포함할 수 있으며, 그에 따라 느리게 반복되는 동일 제스처가 다르게 정의되거나 다른 제스처를 구성할 수 있게 된다.

손의 자유도의 자세는 시스템(1)을 이용하여 결정되며, 신체 다른 부위의 자세는 "I" 데이터라고 하는 관성 운동 센서를 이용하여 결정된다. 이 자세 정보는 도 17에 도시된 바와 같이 신체 및 손의 전형적인 개략적 키네마틱 자세 모델을 구축하는데 이용된다. 도 17에는, 좌측 손에 시스템(디바이스)이 착용되는 실시 예가 도시된다. 이러한 손 영역은 고 해상도로 모델링된다. 신체 자세의 나머지는 대략적인 럼프 요소들(coarse lumped elements)을 이용하여 모델링된다.

신체의 대략적 자세 모델은 관성 측정 "I" 및 손목 착용 실시 예에 포함된 다른 센서로부터의 데이터를 이용하여 구축될 수 있다. 그러한 센서로부터의 데이터는 자세를 획득 및 추적하기 위하여 모델-구동 적응적 및 비-선형 필터링 기술(Yun, X., Bachmann, ER., Design, Implementation, And Experimental Results Of A Quaternion-Based Kalman Filter For Human Body Motion Tracking, IEEE Trans. Robotics, 22 (6), 2006 참조)을 이용하여 프로세싱될 수 있다. 우측 손에 또 다른 시스템(1)이 착용되지 않는다면, 럼프 신체 자세들의 일부 자유도들은, 관성 측정 센서들로부터의 그들의 거리에 비례하여, 그와 관련된 높은 에러들을 가질 것이다. 그러나, 그러한 신체 자세 모델은, 신체의 자세를, 다른 것들 중에서도, 앉는것, 서는 것, 걷는 것, 무릎 꿇는 것 및 웅크리는 것과 같은 주요한 신체 자세 유형들로 대략적으로 분류하는데 이용될 수 있으며, 그러한 데이터를 "B"라 지칭한다. 헤드의 대략적인 위치는 빔-형성 알고리즘 프레임워크(beam-forming algorithm framework)와 사운드 소스 로컬라이제이션(sound source localization)을 이용하는 음향 마이크로폰 어레이로 추정될 수 있다. Zhang, C. et al., Maximum Likelihood Sound Source Localization and Beamforming for Directional Microphone Arrays in Distributed Meetings, IEEE Trans. Multimedia, 10 (3), 2008을 참조하라.

일 실시 예에 따른 시스템 및 방법의 처음 이용 상황에 있어서, 사용자는, 다른 것들 중에서도, 나이, 체중, 키, 성별 및 피부 색깔과 같은 자기 식별 정보(self-identification information)를 입력하도록 요청받는다. 이 정보는 설명된 바와 같이 데이터베이스로부터 초기 통계적 생체 메트릭을 선택하는데 이용될 수 있다. 그러한 생체 메트릭들은 모집단에 있어서 다른 것들 중에서도 다른 신체 부위들의 무게 및 치수와 조직 두께에 대한 통계적 정보를 자동으로 채우기 위해 제공될 수 있다. 이 평가는 시스템 알고리즘에 대한 초기 상태를 결정하는데 이용될 수 있으며, 이러한 식별의 효과는 시스템(1)의 이용동안에 추가적인 사용자 특정 데이터가 누적되어 생체 메트릭 데이터베이스가 갱신됨에 따라, 점진적으로 제거된다. 예를 들어, 이러한 처음 이용 실시 예의 프로세스는 도 27에 도시되어 있다. 도 27에 도시된 바와 같이, 블럭 2701에서, 사용자에게 나이, 성별, 신체 유형들을 입력하라는 메시지가 표시된다. 블럭 2703에서, 다른 것들 중에서도, 기하학적 구조, 음향 정보, 재질 정보, 전자적 성질, 분절에 대한 키네마틱 모델 및 그의 제한과 같은 파라메타 값들을 가진 통계적 신체 모델이 획득된다. 이들 파라메타 값들에 대한 신뢰 구간들(confidence intervals)이 획득될 수 있다.

초기 상태에 기초하여, A-모드 스캐닝과 같은, 간단한 초음파 신호 생성 및 획득 기법은 블럭 2712에 도시된 바와 같이 처음 이용 상황을 위해 이용된다. 블럭 2712에서, 초음파 측정은 현재 단면으로부터 획득되고, 블럭 2713에서 전치-프로세싱 알고리즘에 제공됨으로써, 사용자가 착용한 시스템의 배향 및 위치에 대한 정보가 획득된다. 다른 센서 또는 액튜에이터 기법과 함께 그러한 스캐닝으로부터 획득한 데이터는, 다른 것들 중에서도, 시스템(1)이 착용된 손목 또는 팔 위의 디바이스의 위치, 손목의 둘레 및 밴드 요소(5)의 배향과 같은 특정 생체 계측 파라메타들을 식별할 수 있게 한다. 이러한 초기 정보는 동맥 및 정맥과 같은 맥박 조직과, 요골 및 척골 뼈와 같은 특정 내부 객체 랜드마크의 위치와, 힘줄 및 다른 조직의 대략적인 위치를 평가하는데 이용될 수 있다. 예를 들어, 시스템(1)은 무반향 뼈 영역들의 상대적 크기를 검사하고, 그들이 시스템(1)에 대해 좌측에 있는지 또는 우측에 있는지를 검사함에 의해, 그의 초기 배향을 검출한다.

블럭 2704에서, 이전에 다운로딩된 통계적 신체 모델은 일 실시 예에 따라, 사용자에 특정된 유한 요소 모델(finite element model)로 변환된다. 일부 실시 예들에 있어서, 통계적 신체 모델은 럼프 요소 모델(lumped element mode) 또는 혼합 요소 모델(mixed element model)로 변환된다. 일 실시 예에 있어서, 그 모델은 동적 및 변형 가능한 메쉬로 구성될 수 있다. 일 실시 예에 있어서, 그 모델은 키네마틱 제약을 받으면서 동작하는 적어도 하나의 수치적 최적화 루틴으로 구성될 수 있다. 일 실시 예에 있어서, 그 모델은 적어도 하나의 통계적 자율 학습 모델(unsupervised statistical learning model)로 구성될 수 있다. 일 실시 예에 있어서, 그 모델은 적어도 하나의 통계적 지도 학습 모델(supervised statistical learning model)로 구성될 수 있다. 일 실시 예에 있어서, 그 모델은 적어도 하나의 확률 그래프 모델로 구성될 수 있다. 이러한 변환은 사용자에 대한 시스템의 배향 및 위치에 대한 정보를 획득하기 위해 대략적인 해부학적 특징부를 식별하도록 전치-프로세싱을 실행하는 블럭(2713)으로부터 출력을 고려할 수 있다. 중력 가속도의 존재시에 IMU 센서로부터의 가속 입력(acceleration inputs)으로 시스템의 강체 움직임(rigid body motion)에 대해 시뮬레이션하기 위해, 블럭 2714에서, 신체 자세 및 관성 센서 데이터(IMU 센서 데이터)가 획득되고, 블럭 2705에서 이용된다.

블럭 2706에서, 생성된 유한 요소 메쉬 모델에 걸쳐서의 음향파 전파(acoustic wave propagation)가 시뮬레이션된다. 블럭 2715에서, 통계적 보존 제스처 데이터세트가 획득되고, 블럭 2707에서 블럭 2706에서 획득한 시뮬레이션된 데이터세트와 비교된다. 블럭 2708에서, 처음 이용의 간단한 자세가 비교를 통해 식별되며, 그 자세는 블럭 2716에서 제스처 인식 시스템으로 전달된다. 블럭 2709에서, 시뮬레이션된 초음파 모델과 실제 초음파 데이터간의 에러가 분석되고, 전치-프로세서의, 재구성 명령을 가진 메모리에 상주하는 제어 프로그램은 블럭 2710에서 에러 위치를 표적화하여 에러 위치로부터 보다 높은 품질의 데이터를 획득하도록 갱신되는데, 이때, 보다 높은 품질은 다른 것들 중에서도 조정 가능 음향 초점 심도, 스캔 요소들의 개수, 필터 파라메타들에 의해 정의된다. 블럭 2711에서, 스캐닝에 이용되는 휘발성 또는 비-휘발성 메모리에 저장된 하드웨어 파라메타들은 에러 또는 불특정 영역들을 처리하도록 갱신된다. 예를 들어, 빔 형성기는 시스템에 의해 능동적으로 요청되는 제스처가 없을 때 빔이 목표 위치로 조향되도록 조정될 수 있다.

인간 해부학적 구조의 통계적으로 유사한 본질로 인해, 손바닥의 클렌칭 움직임 또는 손목의 분절로부터의 제스처와 같은, 일부 간단한 제스처들은, 블럭 2716으로부터 획득한 데이터로부터 시스템(1)에 의한 트레이닝 또는 임의 추가적인 입력없이 직접 인식될 수 있다. 예를 들어, 도 7a 내지 도 7c에 도시된 바와 같이, 손목에서의 회내(pronation) 및 외전(supination) 또는 롤(roll)은 상당한 상대적 뼈 변위로 결과하여 쉽게 검출될 수 있다. 유사하게, 손목 요(carpal yaw)는 관성 센서를 통해 검출될 수 있는 밴드 요소(5)의 에지에서의 피부 조직 필링(pilling)으로 인해 시스템(1)의 회전을 생성할 수 있다. 그러므로, 그러한 제스처의 제 1 측면이 시스템(1)에 의해 학습되고 있는 동안, 그러한 간단한 제스처는 디바이스를 제어하는데 있어서 즉시 이용될 수 있다.

그러한 초기화 이후, 시스템(1)은 사용자에게 사전 결정된 특정한 자세 또는 제스터들의 시퀀스를 거치도록 명령할 수 있는데, 이는 생체 역학적 움직임에 참여하는 내부 조직의 식별 및 표적화를 개선한다. 이것을 "초기 알고리즘 적응화"라고 한다.

종래의 방식은 사용자가 태그와 상관되는 특정 제스처를 실행하도록 요구하고 태그와 연관된 데이터를 저장함으로써 데이터세트에 대한 많은 "태그"를 생성할 것을 필요로 한다. 이러한 제스처 인식 프로세스들은 단지 현재 데이터와 저장된 데이터간의 가장 높은 상관성을 측정하고 그 태그를 제스처의 식별자로서 복귀시키는 것에 대응한다.

태깅된 데이터세트를 생성하는 것에 대한 문제는 태그 일관성을 유지하기 위하여 전문가 검열이 요구된다는 것이다. 예를 들어, 검지를 분절하도록 요청받을 때, 사용자가 그들의 중지를 움직이면, 그 제스처는 결과적으로 검지 제스처로서 식별된다. 그러므로, 그러한 트레이닝 방식은, 사용자가 정확한 응답을 보장하는데 상당한 주위를 기울일 것을 요구한다. 이러한 종래의 방식의 또 다른 문제는, 손가락 운동들간에 교감 결합이 존재한다는 것이다. 즉, 다른 사람은 다른 손가락과 무관하게 반복적으로 하나의 손가락을 움직이는 다른 능력들을 가진다. 이것은, 그들만이 단일 손가락을 움직인다고 사용자가 믿는 경우에도, 분별 알고리즘을 혼란스럽게 한다.

대신, 본 명세서에 개시된 방법들은 태그 또는 라벨 기반 트레이닝을 이용하지 않는다. "초기 알고리즘 적응화" 프로세스 동안, 사용자에게는 특정의 제스처나 동작이 제안되지 않는다. 그들은, 사용자들에게 편리하고, 직관적이며 자연적인 모든 제스처를 이용하도록 사용자들이 반응할 것으로 예상되는 손바닥 또는 전박상의 프로젝션된 광 디스플레이를 이용하여 공간 특징부 또는 아이콘을 제공받을 수 있다. 추가적으로, 사용자들은 그들 고유의 관절 굴곡/외연 한도를 결정하기 위하여 최대 및 최소 편리성 한도(comfortable limits)로 그들의 손가락들 및 손목을 외연시키거나 구부리도록 요청될 수 있다. 이러한 요청들은 사용자가 움직임에 따라 특정의 해부학적 특징부들을 하이라이트하도록 선택된 시스템(1)에 의해 특정 시퀀스로 제공된다. 사용자가 하나의 손가락의 구부림을 이용하여 사용자가 대화할 수 있도록 예를 들어 버튼을 나타내는 아이콘이 디스플레이될 수 있다. 또 다른 실시 예에 있어서, 동일한 목적에 게임이 이용될 수 있다. 손등/손바닥 또는 앞면상의 프로젝션을 포함하는 그 프로세스는 여러 차례 반복될 수 있다. 이러한 "초기 알고리즘 적응화" 프로세스 동안, 다양한 통계적 머신 학습 및 최적화 알고리즘이 사용자 특정 내부 해부학적 구조의 보다 높은 충실도 모델을 구축하는데 이용된다. 그러한 대화 동안에, 조직 객체 US 데이터가 국부적으로 또는 네트워크를 통해 수집되고 저장되고 프로세싱된다. 시스템(1)의 수학적 모델을 알려주기 위해 근육, 힘줄, 맥관 구조 및 조직 생체 역학과 변형에 대한 정보가 수집된다.

도 18a에는 본 명세서에 있어서의 실시 예에 따른 자세 및 제스처 인식 시스템(예를 들어 시스템(1))의 예시적인 아키텍처(1800)가 도시된다. 그것은 시스템(1)의 운영 시스템(1838), 시스템(1814 및 1816)에 있어서의 다른 센서들, 초음파 트랜스시버(1812)(예를 들어, US 트랜스시버(25)의 어레이들)와 통신하는 소프트웨어 및 하드웨어 애플리케이션들을 구비한다. 그것은, 시스템(1)의 클라우드 구성 요소(1810)라고 하는, 운영 시스템(1838)을 통해 광역 네트워크에 걸쳐 액세스할 수 있는 외부 소프트웨어 또는 하드웨어 어플라이언스(appliance)에 접속될 수 있다.

도 18a에 도시된 바와 같이, 제어기(1826)는 네트워킹 및 통신 주변 인터페이스(1834), 메모리(1818) 및 디지털 신호 프로세서(DSP) 코어(1820)를 구비한다. DSP 코어는 특정 기능들을 실행하는 전용 세그먼트들을 가질 수 있다. 예를 들어, 메쉬 그리드 열적 온도 센서(1828)(예를 들어, 온도 센서(45))로부터의 데이터는 내부 조직 온도 분포를 추적하는 열기계 모니터 세그먼트(1822)에 제공될 수 있다. DSP상의 다른 전용 세그먼트들은 전치-프로세서(2710) 및 하드웨어 세팅(2711)에 추가된, 자세 디지타이저 세그먼트(1824), 음향 필드 시뮬레이터(AFS) 세그먼트(1832) 및 물리적 기반 변형 가능 메쉬 동적 모델(DM2) 시뮬레이터(1830)일 수 있다. 이들 세그먼트들의 각각은 제어기(1826)에 의해 수신된 센서 그리드로부터의 입력 센서 신호로 부터 혜택을 입는다.

제어기(1826)는 초음파 트랜스시버(1812)와 ASIC들(예를 들어, ASICS(110))로부터 수신한 신호들을 수집 및 프로세싱하고, 계장 신호 생성 및 획득 알고리즘과 프로토콜들을 결정하고, 전치-프로세서(2710)를 구성, 유지 및 갱신하고, 내부 조직 객체 구조를 분석 및 해독하고, 사용자 인터페이스 제어기에 기반하여 자세 및 제스처를 분석 및 해독하고, 시뮬레이터 세그먼트 또는 룩업 테이블(LUT)을 이용하여 자세 데이터를 검증 및 추적하고, 피코 프로젝터(20) 인터페이스로 자세 데이터를 제공하는 기능을 한다. 제어기(1826)는 분석들 및 알고리즘 파라메타 데이터를 기회있을 때마다 저장하고, 그것을 시스템 버스(1836)를 통해 시스템(1)의 클라우드 구성 요소(1810)로 전송한다. 클라우드 구성 요소는 계장 신호 생성 및 획득 알고리즘과 연관된 파라메타들의 일부 또는 모두를 수정하도록 구성될 수 있다.

도 27에 나타난 것과 같이, 처음-이용시, 제어기는 클라우드 구성 요소와 같이 사용자에 의해 제공된 입력에 특정된 조직 객체들에 대한 생체 메트릭 데이터를 검색하고, 그것을 이용하여 국부 AFS 및 DM2 모델에 파라메타들을 채운다. 처음-이용 알고리즘 적응화 프로세스에 의해 제공된 객체 데이터는 조직, 뼈, 맥관 구조 및 액체 세그먼트, 랜드마크 특징부들을 식별하는데 이용되고, 그 데이터를 생체 계측 수학적 모델에 포함된 데이터와 상관시키는데 이용된다. 이러한 상관 프로세스는 사용자에 특정된 생체 객체 데이터를 반영하기 위하여 생체 메트릭 데이터를 수정할 수 있다. 적응화 시퀀스로부터의 추가적인 조직 객체 데이터는 관절 굴곡 및 외연 한도를 포함하는 모든 그러한 특징부에 대한 변형 한도를 식별한다. 파라메타들의 조정후, 이러한 객체 데이터는 해부학적 특징부의 볼륨 유한 요소-기반 또는 수학적 설명(volumetric finite-element-based or mathematical description)을 생성하는 국부 DM2 시뮬레이터 및 시스템(1)의 클라우드 구성 요소에 제공된다.

힘줄과 같은 신체의 일부 조직들은, 자세를 변경하면서, 또는 예를 들어 팔이 다른 표면과 접촉중이거나 전박상의 피부에 압력이 가해지면, 3차원적으로 변형, 회전 및 구부러진다. 이것은, 내부 조직 구조의 탄성 변형 또는 손에 대한 밴드 요소(5)의 관성적으로 유도된 회전 또는 슬립에 대응할 수 있다. 힘줄 또는 근육이 높은 이방성 US 음향 성질들을 가지고 있음을 알 것이다. 그러므로, 그러한 회전 및 변형은 트랜스시버(25)에 의해 조직이 식별될 수 없게 한다. 또한, 팔이 표면에 대해 움직이지 않을 때의 초음파 신호의 품질은, 팔이 자유롭게 늘어뜨릴 때 획득한 것과 현저하게 다르다. 결론적으로, 사용자 경험과 디바이스의 이용성을 개선하기 위해 그러한 상태를 고려하는 것이 바람직하다. 시스템(1)의 DM2 및 AFS 시뮬레이터는 그러한 상황을 고려하도록 구성된다.

도 18b에 도시된 방법의 실시 예에 있어서, 트랜스시버(25)로부터의 초음파 신호 전압("V"), 관성 측정 센서("I") 및 신체 배향값("B") 형태의 입력들(1850)은 프로세싱을 위해 시스템(1) 메모리에서 수신된다(도 18b에서는 통칭하여 "데이터"라고 함). 하나 이상의 시스템(1)을 수반하는 실시 예들에 있어서, 이 데이터는 다른 시스템으로부터의 초음파 신호 전압들, 관성 측정 센서 및 신체 배향값들을 포함할 수 있다.

예시적인 실시 예에 있어서, 수신된 데이터는 블럭 1852에서 재 샘플링되고, 블럭 1854에서 주기적 맥박 콘텐츠를 식별하도록 분석되며, 블럭 1856에서 조직 객체 신호 소스 위치를 배향하도록 분석되며, 블럭 1858에서 그의 출력은 에코 발생 패턴에 기초한 조직 객체 영역들의 인식을 위해 분석된다.

블럭 1860에서, 객체 영역들은 인간 조직/해부학적 구조의 통계적 에코 발생 데이터에 기초하여 필터링될 수 있으며, 블럭 1862에 나타난 바와 같이 그 데이터에 있어서의 새도우 영역들은 세그먼트되고 식별될 수 있다. 블럭 1864 및 1866에서, 특정 조직 객체 기하학적 구조 및 위치들은 이전 단계의 출력을 이용하여 식별될 수 있으며, 그 뒤 DM2 수학적 모델에 대한 모델 초기화 파라메타들의 세트를 식별하고 생성하는데 이용된다. 그러한 단계들의 집합 및 반복은 블럭 1868에 의해 총괄적으로 나타난다.

생성된 모델 초기화 파라메타들은 시스템(1)에서 국부적으로 및 클라우드로부터의 통계적 해부학적 모델 데이터베이스를 이용하여 분석된 조직 객체 데이터로부터 식별되고 최적화된다.

최적화된 모델 파라메타들을 이용하여, 블럭 1874에서, 대략적인 자세 자유도("DOF")와 대략적인 모델 파라메타들에 대응하는 키네마틱하게 제약된 조직 변형을 가진 통계적 해부학적 모델이 각각 시스템(1) 메모리로부터 페치(feteh)된다. 블럭 1876에서, 강체 움직임에 대한 정보는 관성 측정 센서(I) 및 신체 배향 값들(B) 데이터로부터 수집된다. 블럭 1878에서, 해부학적 특징부의 수학적 모델은 예를 들어 럼프 및 유한 요소 분석 기술을 이용하여 구축된다.

IMU 입력 "I"는, 신체와 시스템간의 전체 인터페이스와 함께, 신체 해부학적 특징부 및 전체 시스템 하드웨어를 구성하는 수학적 유한 요소 모델에 이용되는 관성 반응(관성 완화)력을 수립하는 좌표 참조 프레임 전환 및 회전 가속을 정의하는데 이용된다. 유한 요소 표현을 구축하는데 이용되는 수학식들의 수학적 시스템의 예시는 아래와 같다.

여기서,

이며,

이다.

M은 구조적 질량 매트릭스(structural mass matrix)이고, C는 구조적 댐핑 매트릭스이며, u(t),

및

는 노드 변위, 속도 및 가속도 벡터들이고, K는

에 의해 주어진 전체 경성 매트릭스(stiffness matrix)이고, N은 요소들의 개수이고,

는 요소 경성 매트릭스이고,

와

는 내부 및 적용된 부하 벡터들이고,

,

,

및

은 각각 적용된 노드 부하, 가속 부하, 요소 열적 부하 및 요소 압력 부하 벡터들이고, 전체 질량 매트릭스는

으로 주어지고,

는 요소 질량 매트릭스이다. 또한,

및

은 각각, 전체 가속 벡터, 글로벌 데카르트 프레임들(global Cartesian frames)에 있어서의 가속도, 관성 완화에 기인한 전환 가속도, 회전에 기인한 전환 가속도, 관성에 기인한 회전 가속도, 입력 회전 가속에 기인한 각도 가속도를 나타낸다. 도 19 및 35에는 본 출원에 이용되는 요소적 매트릭스들(elemental matrices)이 그래프로 도시된다. IMU는 본 명세서에 안출된 혼합 요소 포뮬레이션(mixed elements formulation)에 이용되는 엑셀러런스 정보(accelerance information)를 제공한다.

수학적 모델의 유한 요소 포뮬레이션 측면은, 시스템이, 전체 시스템 하드웨어를 구성하는 객체들의 기계적 변형, 전환, 회전, 진동 및 탄성과, 신체 해부학적 특징부 및 신체와 시스템간의 전체 인터페이스를 고려할 수 있게 한다. 뼈 들과 같은 일부 특정 조직은 근육 또는 피와 같은 주변 조직에 비해, 압축 가능하지 않기 때문에, 그들은, 그들과 연관된 압축 가능 또는 탄성 자유도가 없는 럼프 요소들처럼 보다 간단하게 모델링될 수 있다. 유한 요소들과 함께 그러한 럼프 요소들의 조합을 이하에서는 "혼합 요소들"이라 한다. 그러한 완전 혼합 모델 시뮬레이션은 오프-라인에서 또는 다른 곳에서 사전 계산될 수 있으며, 단지 관련된 계수들 또는 LUT만이 클라우드 구성 요소(1810)로부터 실시 간으로 직접 획득될 수 있고, 단지 간단한 보간 스킴의 제한된 측면만이 실시 간으로 디바이스상에서 발생함을 알 수 있을 것이다.

예시적인 실시 예에 있어서, 혼합 요소 포뮬레이션의 시뮬레이션이 종료되고 신체 역학(body dynamic)과 중력의 영향하에서의 요소 변형 및 변위가 계산된 후, 블럭 1880에서 음향 필드 시뮬레이션을 위해 결과하는 시스템이 제공된다. 이 단계에서, 혼합 요소 포뮬레이션에 있어서의 수학식의 시스템에 의해 제시된 수치적 수학적 모델을 통해 초음파 파면의 생성 및 전송이 시뮬레이션된다. 그 다음, 시뮬레이션된 파면은 수학적 모델에 있어서 객체 주변에서 반사, 회절 및 산란되고, 반사, 회절 및 산란된 신호가 결과적으로 그 시뮬레이션으로부터 샘플링되어 시스템(1)에 있어서의 하드웨어에 의해 수집된 실제 측정된 초음파 신호의 품질의 추정치가 생성된다.

음향 필드 시뮬레이션 모델은 아래와 같은 일반 비균질 헬름홀츠 수학식(general inhomogeneous Helmholtz equation)의 불연속 버전으로 구성된다.

여기서, 유한 요소 표현은 아래의 형태를 가진다.

불연속 파 수학식(discretized wave equation)은 아래와 같다.

는 매체에 있어서의 사운드 속도이고,

는 평균 유체 밀도이고, K는 매체의 체적 탄성율(bulk modulus)이고,

는 점성율(dynamic viscosity)이고,

는 음향 압력이고, Q는 상수로 모델링된 연속 방정식(continuity equation)에 있어서의 매스 소스(mass source)이고, t는 시간이고, j는 sqrt(-1)이고,

이고, f는 압력의 오실레이션 주파수이고,

는 음향 도메인

에 있어서의 미분 볼륨(differential volume)이고,

는 음향 도메인 경계

에 있어서의 미분 표면이고,

은 경계

에 대한 외향 법선 단위 벡터(outward normal unit vector)이고,

는 노드 매스 소스 벡터(nodal mass source vector)이고,

는 노드 매스 소스 벡터의 제 1 도함수이고,

는 음향 유체 매스 밀도 상수이다.

음향 유체 매스 매트릭스는 아래와 같다.

음향 유체 댐핑 매트릭스는 아래와 같다.

음향 유체 경성 매트릭스는 아래와 같다.

음향 경계 매트릭스는 아래와 같다.

음향 유체 부하 벡터는 아래와 같다.

AFS에 이용된 요소 설명은 혼합 요소 모델링의 결과로부터 획득되며, 다른 것들 중에서도 음향 임피던스 값들은 압력 분포에 따라 LUT로부터 획득된다. 블럭 1880에서, 음향 필드 시뮬레이션이 구동되고, 1882에서, 시뮬레이션 데이터와 최적화된 데이터간에 에러 스코어가 생성된다. 그러한 완전 음향 필드 시뮬레이션은 오프-라인에서 또는 다른 곳에서 사전 계산될 수 있으며, 단지 관련된 계수들 또는 LUT만이 클라우드 구성 요소(1810)로부터 실시 간으로 직접 획득될 수 있고, 단지 간단한 보간 스킴의 제한된 측면만이 실시 간으로 디바이스상에서 발생함을 알 수 있을 것이다.

후속적으로, 파라메타 에러 구배 검색(parametric error gradient search)은 블럭 1884에서 모델 파라메타와 측정된 데이터("V")간의 에러를 최소화하도록 실행될 수 있다. 최적화 프로세스의 출력은 블럭 1872에서 국부 통계적 모델 데이터베이스로 피드백되고, 그 다음 블럭 1870에서 객체의 생체 메트릭들의 글로벌 통계적 객체 모델 데이터베이스(global statistical object model database)로 피드백된다. 최적화 단계의 출력은 블럭 1886에서 DOF 위치들의 세트로서 제시된 분류된 자세를 복귀시키는데 이용되거나, 매칭이 제대로 이루어지지 않을 경우에는 블럭 1888에서 미분류된 자세로서 갱신된다.

분류된 자세의 출력은 블럭 1890에서 그러한 반복 빈도에 대한 정보(그에 국한되는 것은 아님)와 함께 확률적 그래프 모델(probabilistic graph model) 또는 자세 그래프 데이터베이스내의 자세 DOF 데이터를 매핑시키는데 이용될 수 있다. 이것은, 블럭 1892에서 제스처를 인식하기 위해 자세들간의 트랜지션을 분석하는데 이용될 수 있다. 소프트웨어 사용자 인터페이스(UI) 또는 애플리케이션 프로그래밍 인터페이스 정의 자세는 블럭 1894에서 시스템(1)에 의해 수신될 수 있다. 그 다음 블럭 1896에서 제스처가 인식되고 출력되며, 매핑된 자세 DOF 데이터 및 분석된 자세 트랜젝션(transaction)에 기초하여 실행 가능 컴퓨터 명령 형태의 제스처 명령이 실행된다.

도 28b의 블럭들 1850 내지 1886은 도 28을 참조하여 하나의 예시적인 실시 예에 따라 설명하겠다. 도 28을 참조하면, 블럭 2801에서, 시스템(예를 들어 시스템(1))으로부터 초음파 데이터가 획득된다. 일 실시 예에 있어서, 초음파 데이터의 세트는 희소(sparse)하고 밴드형이며, 그에 따라, 그것은 IP 프로토콜을 통해 실시간 보이스(real time voice)를 이용하여 전송될 수 있게 된다. 초음파 데이터는 시뮬레이션 파라메타들을 셋업(setup)하는데 이용되지만, 베이스라인 시뮬레이션 결과(baseline simulation result)는 클라우드 구성 요소상에 있을 수 있다. 블럭 2802에서, 블럭 2801로부터의 초음파 데이터는 재샘플링되고, 잡음 및 촬상 아티팩트에 대해 필터링된다. 일 실시 예에 있어서, 데이터는 시간 평균 필터 기술을 이용하여 필터링될 수 있다. 블럭 2803에서, 신체의 해부학적 구조에 대하여 시스템(디바이스)의 배향 및 위치가 식별될 수 있다. 도 30에는 해부학적 구조(2900)에 대하여 디바이스의 식별된 예시적인 위치(3000)가 도시된다. 블럭 2804에서, (클라우드(1810)과 같은 클라우드 구성 요소로부터 획득될 수 있는) 신체 모델 데이터세트에 대한 조회 파라메타(query parameter)들을 식별하기 위해 신체 자세 정보와 손 배향 데이터가 획득된다. 이와 관련하여, 가장 근접한 자세 근사치들로 변환되는 데이터베이스 조회들을 구축하기 위해 관성 데이터가 이용될 수 있으며, 데이터베이스는 통계적 신체 데이터 및 사전 시뮬레이션된 데이터세트로 구성된다. 가장 근접한 근사치에 대응하는 데이터세트는 디바이스로 복귀될 수 있다. 블럭 2805에서, 생체 계측 데이터를 구비한 통계적 신체 데이터가 획득된다(클라우드(1810)와 같은 클라우드 구성 요소로부터 획득될 수 있음). 도 29에는 통계적 신체 데이터의 예시적인 표현(2900)이 도시된다. 블럭 2806에서, 로컬라이제이션 정보 및 신체 모델을 이용하여 관심 해부학적 특징부들이 특정된다. 블럭 2807에서, 초음파 데이터는 관심의 특정한 해부학적 특징부들을 하이라이트하도록 프로세싱된다. 다수의 임계치들 및 형태학적 특징부들이 검사된다. 이 프로세싱은 "전치-프로세싱" 기술로 간주될 수 있으며, 예를 들어, 요골 뼈 또는 척골 뼈 형상, 크기 및 동맥 영역에 기초하여 사용자가 디바이스를 어느 손에 착용할 지를 결정하는데 이용될 수 있다. 블럭 2807에서의 프로세싱은 초음파 신호의 배경 데이터로부터의 관심 영역들의 분할로 결과한다. 블럭 2808에서, 개별적인 데이터의 클러스터들이 식별되고 분리된다. 블럭 2809에서, 클러스터링된 데이터의 경계들이 도 31의 표현(3100)에 의해 도시된 바와 같이 식별된다.

대략적인 영역들의 식별은 영역들과 관련된 다른 특징부들 중에서도, 대략적인 형상, 직경들, 위치들, 기하학 및 횡문(striation) 밀도를 결정하는데 이용될 수 있다. 이들 메트릭들은 측정된 초음파 신호와 예상된 해부학적 특정부들을 상관시키는데 이용될 수 있다. 블럭 2810에서, 블럭 2809에서 식별된 경계(3100)들은 도 32에 도시된 통계적 해부학적 구조에 기초하여 해부학적 특징부들(2900)을 가장 잘 매칭시키도록 정렬된다. 블럭 2811에서, 정렬된 경계들은, 약화 및 확장 또는 키포인트 제거 기술을 통해 도 33에 도시된 바와 같이 단순화된다. 블럭 2812에서 단순화된 경계들은 도 34에 도시된 바와 같이 초음파 데이터에서 검출된다. 블럭 2813에서, 블럭 2812에서 검출된 단순화된 경계들로부터 메쉬들이 생성된다. 도 35에는 단순화된 경계 정보로부터 생성된 예시적인 메쉬가 도시된다. 일 실시 예에 있어서, 관성 측정 센서로부터 입력을 수신함에 의해 시스템의 강체 움직임이 고려된다. 블럭 2814에서, 음향 필드 시뮬레이션(AFS) 모델이 생성된다. 최종적으로, 블럭 2815에서, 시뮬레이션 데이터와 측정 데이터간의 에러가 비교되어 자세 추정이 생성된다. 도 18b에 도시된 바와 같이, 이러한 에러 정보는 확률 그래프/네트워크로 전달될 수 있다.

특정 영상 프로세싱 동작들에 대한 조기 참조 및 추후 참조에도 불구하고, 영상 형성을 위해 이용된 스캔 변환 및 그리드 보간으로부터 획득되는 "영상"들이 아닌, 다른 특징부들 중에서도, 스캔-라인들의 공간 분포에 따라 배열된 에코 데이터의 분석적 엔벨로프(analytic envelope)를 인코딩하는 희소 수치적 어레이(sparse numeric array)들에 대해 그 동작들이 수행됨을 알아야 한다.

도 19a에는 시스템(1)의 메모리에 상주할 수 있는 감소 차수 변형 가능 메쉬 동적 모델(reduced order deformable mesh dynamics model) 또는 DM2 유한 요소 신체 모델의 전형적인 구성 요소가 도시된다. 그의 기능은 생체 계측 모델에 있어서의 선택된 허용 가능 자유도의 감소된 구성 공간에 기초하여 조합된 시스템(1) 및 조직 객체의 관성 및 중력 작용, 패킹, 충돌, 컴플라이언스, 조직 변형을 시뮬레이션하기 위한 것이다. 이러한 감소된 구성 공간은 손 또는 다른 신체 부분들이 달성할 수 있는 자세의 원리를 고려한다. 도 19b에는 도 19a에 대해 손의 자세 모델에서 고려된 전형적인 키네마틱 자유도가 도시된다.

예를 들어, 도 19a는 시스템(1) 바로 아래의 손목의 단면을 고려한다. 개별적인, 힘줄, 뼈, 디바이스 하드웨어, 폴리머 층들이 그들의 단부들과 연결된 노드들을 가지는 탄성적 변형 가능 또는 경성의 요소들로서 수학적으로 모델링된다. 뼈와 같은, 일부 조직들은 비탄성의 구조적 요소들로서 간단히 모델링될 수 있으며, 정맥 및 동맥과 같은 다른 조직들은 탄성의 구조적 요소들로서 모델링될 수 있다. 힘줄과 같은 또 다른 조직들은, 초음파 트랜스시버(25)로부터 수신한 데이터와 관련하여, 자기-텐셔닝(self-tensioning)(예를 들어, 구부리기 동안의 신근) 동작 또는 자기-이완(외연 동안의 굴근) 동작을 보여주는 액튜에이터 요소들로서 모델링될 수 있다. 모든 조직들의 에지들 및 기하학적 구조를 나타내는 모델에 있어서의 노드들은 팔의 분절에 의해 생성된 베이스 여기(base excitation)하에서 3차원적 비 선형 및 이방성 시-종속 기계적 컴플라이언스 및 소실(dissipation) 요소들을 이용하여 모델링된다. 그러한 베이스 여기 엑셀러런스 및 이동도(mobility) 정보는 시스템(1)의 관성 측정 센서에 의해 복귀될 수 있다. 추가적으로, 그러한 모델들은 자기-접합(self-contact)을 모델링하기 위한 자기-충돌 검출 및 간단한 기하학적 관통 경성(geometric penetration stiffness)의 제공을 포함할 수 있다.

그러한 수학적 모델을 생성하는데 요구되는 파라메타들은 상술한 처음 사용 알고리즘 적응화 프로세스로부터 부분적으로 획득되며, 파라메타들의 나머지는 클라우드 구성 요소 또는 외부 데이터베이스로부터 획득된다. 추가적으로, 초음파 트랜스시버(25)로부터의 신호들은 제약된 라그랑주 동적 모델(constrained Lagrangian dynamics model)을 이용하여 조직의 내부 상태를 식별하는데 이용될 수 있고, 그 다음, 손의 자세의 추정을 복귀시키는 작은 변형 추정(deformations assumption)하에서 제약된 순방향 키네마틱 모델을 해석한다. 그 결과는 본 기술 분야의 숙련자에게 명백한 바와 같이 적응적, 확률적, 추적 또는 최적 필터를 이용하여 추가 필터링되거나 평탄하게 된다.

1886, 1888, 2716 또는 2815로부터 획득한 신체 및 손의 자세는 표면에 대해 정지하고 있는 팔에 변경이 있는지를 식별하는데 이용될 수 있다. 그 경우, 팔이 정지 상태로 있는지 의심을 받을 때 또는 신호 품질에 있어서 관성 움직임에 대응하는 그로스 시프트(gross shift)가 있으면, 음향 필드 시뮬레이터는, 실제 음향 데이터에 비해, 순방향 키네마틱 해법에 의해 복귀된 자세 데이터의 신뢰성을 평가하는데 있어서 보조할 수 있는, 데이터를 생성하는데 이용된다. 조직에 있어서의 사운드의 속도가 온도에 따라 약간 증가하기 때문에, 음향 필드 시뮬레이터는 조직의 온도를 고려한다. 그러한 온도 측정은, 특정 영역이 권고한 것보다 더 큰 세기를 겪으면, 조사 적량 또는 자동-셧다운(auto-shutdown) 알람을 트리거하는데 이용될 수 있다.

도 18a에 도시된 제어기는 자세 디지타이저(1824)라고 하는 또 다른 세그먼트를 가진다. 자세 디지타이저는 제스처의 정의 및 식별을 제어한다. 그것은 1886, 1888, 2716 또는 2815에 나타난 바와 같이 제어기의 주 DSP 코어, 음향 필드 시뮬레이터, 초음파 트랜스시버로부터 및 사용자-인터페이스(UI)가 수신하기를 기대하는 제스처들의 유형을 식별하는 UI로부터 입력을 수신한다(1894). 1888 및 2710에 나타난 바와 같이, 자세 디지타이저는 주 제어기로부터 에러가 있는 자세 입력을 검출하고, 이 정보를 제어기에 다시 입력한다.

DSP 코어(1820)는 키네마틱 모델에 있어서 각 관절의 분절 값들을 계산하고 그 결과들을 디지타이저에 푸시(push)한다. 사용자 인터페이스로부터의 입력과 운영 시스템 또는 클라우드 구성 요소에 의해 결정된 기준에 기초하여, 디지타이저는 2 값들 사이에 놓인 적분 표현에 대해 그 값을 양자화한다. 그러한 양자화의 분해능은 사용자 인터페이스 또는 운영 시스템에 의해 결정될 수 있으며, 두 값들의 범위는 관절에 대한 분절의 통계적 범위에 대응하며, 또는 그것은 초기 알고리즘 적응화 프로세스동안에 극한값, 최대값 및 최소값이 되도록 결정된 값들로부터 획득될 수 있다. 그러한 값들은 단순화를 위해 스케일링(scaling)되거나 라운딩(rounding)될 수 있다.

도 22a에는 DM2 모델에 접속될 수 있는 손의 감소된 키네마틱 모델의 예시가 도시된다. 이 도면은 도 7a 내지 도 7c에 도시된 관절 정의를 이용하며, 총 16개 관절들을 보여준다. DSP 코어는 키네마틱 모델에 있어서 관절들의 각각의 분절값들을 계산하며, 그 결과를 디지타이저에게 푸시한다. UI로부터의 입력과, 운영 시스템 또는 클라우드 구성 요소에 의해 결정된 기준에 기초하여, 디지타이저는 2 값들 사이에 놓인 적분 표현에 대해 그 값을 양자화한다. 그러한 양자화의 분해능은 UI 또는 운영 시스템에 의해 결정될 수 있으며(1894), 2 값들간의 범위는 관절에 대한 분절의 통계적 범위에 대응할 수 있고, 또는 그것은 초기 알고리즘 적응화 프로세스 동안에, 극한값, 최대값 및 최소값이 되도록 결정된 값들로부터 획득될 수 있다. 예시적인 실시 예에 있어서, 그러한 값들은 간략화를 위해 스케일링되거나 라운딩될 수 있다.

예를 들어, 16개의 관절들의 각각에 대해 -7과 +7 사이에 균일하게 허용된 15개의 그러한 이산값들은 도 22b에 도시된 바와 같이 이용될 수 있는데, 도 22b에서는, 전형적인 매트릭스가 매트릭스의 컬럼(column)을 형성하는 관절 분절과 로우(row)를 형성하는 관절들로 구축된다. 충진된 블랙(black) 사각형은 분절된 관절의 디지털 값을 나타낸다. 예를 들어, 관절 P1(손가락 4, 근위 지절 요(proximal phalangeal yaw)은 -2 만큼 분절되고, 관절 W1(손목/손목 요)은 -7 만큼 분절된다. 그러한 매트릭스를 자세 매트릭스라 할 수 있다.

그러한 매트릭스에 있어서의 각각의 로우는 정확히 단일 비-제로 값만을 가질 수 있으며, 그러한 매트릭스들은 모든 순차적인 측정을 위해 제어기로부터 데이터를 나타내는데 이용될 수 있다. 그러한 가능한 자세 매트릭스들의 총 개수는 아래와 계산될 수 있다.

,

여기에서, I는 관절들의 전체 개수이고,

는 i번째 관절의 양자화 개수이다. 도 22a 내지 22c에 도시된 예시에 있어서,

로서, 매우 큰 수가, 이론적으로 제스처를 생성하는데 이용될 수 있는 심볼들 또는 알파벳들의 전체 개수를 나타낸다.

도 22c에는 순차적으로 측정된 데이터가 다음 프레임에 대응하되 도 22b로부터의 매트릭스와 동일한 매트릭스가 도시된다. 그레이(grey) 사각형은 이전 프레임들로부터의 관절값들을 보여주며, 블랙 사각형들은 새로운 관절값들을 보여준다. 새로운 값들은 좌측 또는 우측으로 시프트되거나 동일하게 유지된다. 예를 들어, 관절(P1)은 현재 -3의 값으로 분절되었지만, W1은 -6이다. 각 관절에서의 분절 값들이 이전 프레임의 바로 이웃들의 위치들내에서 트랜지션하기 위해 고속 획득 프레임 레이트 및 대략적인 충분한 디지털 분해능이 요구됨을 알 수 있을 것이다. 예를 들어, 매트릭의 (i,j)에 위치한 요소는, 양자화 j가 1 또는 15가 아니면, {(i,j), (i,j-1), (i,j +1) } 상태들에 의해 주어진 3가지 상태들 중 하나로 이동하며, 또는 j=1에 대해 2가지 상태들 {(i,j), (i,j +1) } 중 단지 하나로 이동할 수 있다. 이것은, 자세에 있어서 최근접 이웃 트랜지션이라 지칭되며, 그 다음 구성 공간에 있어서 임의 특이성들을 허용하지 않는 관절 모델의 제약 기반 키네마틱(constraint-based kinematics)으로부터 도출된다.

자세가 측정됨에 따라, 자세 매트릭스에 나타날 수 있는 모델 불확정성, 계산, 정수 계산 및 근사화(integer math and approximations)와 연관된 잡음이 있을 수 있다. 이러한 잡음 중 일부는 필터로부터 획득한 값을 교체하면서 최근접이 아닌 이웃 트랜지션을 허용하지 않도록 논리적으로 거절될 수 있다. 이 방법은, 일부 힘줄들이 큰 회전을 나타내어 추적될 수 없는 경우에도 최적의 검출을 가능하게 한다. 자세를 식별하는데 분별 방식이 이용되면, 이 방법은, 또한, 그것을 최근접 이웃 구성으로 제한함에 의해 탐색의 효율을 증가시키는데 이용될 수 있다.

최근접 이웃 구성은 초음파 전송 및 수신 빔-형성 프로세스에 이용되어, 그러한 트랜지션이 발생하는 영역만을 스캔한다. 이것은 스캐닝 레이트(scanning rate)를 증가시키고, 조직의 유효 음향 조사(effective insonification)를 감소시키는데 이용될 수 있다. 사용자가 사용자 인터페이스가 기대되는 제스처에 대응하지 않는 자세를 생성하기 시작하면, 사용자가 에러가 있는 제스처를 종료하기 전에, 입력 에러를 알리기 위해 최근접 이웃 트랜지션이 이용될 수 있다. 상술한 잡음 거절 애플리케이션에 추가하여, 이 방법은, 자세가 고정적으로 유지될 때 획득될 수 있는 잡음 및 드리프트 프로세스 모델(noise and drift process model)을 모니터하고 조정하는데 이용될 수 있다. 그러한 잡음 및 드리프트 모델로부터의 통계적 메트릭들은 의료 애플리케이션에 추가로 이용될 수 있다.

N은 도 22a 내지 22c에 나타난 상황에 대해 매우 큰 수인 것으로 나타났음을 알 것이다. 유사한 기법에 있어서, 관절의 전체 개수는 감소될 수 있으며, 감소된 양자화 레벨들을 가질 수 있다. 이것은, 사용자 인터페이스(1984)에 의해 결정될 수 있다. 예를 들어, 그러한 시스템의 실시 예는 손목에서의 3개의 자유도들과 손가락마다의 단일 자유도만을 허용한다. 관절 또는 자유도마다 정의된 단지 3개의 양자화 레벨만이 존재할 수 있다. 그러한 시스템은 간단한 알파벳에 대해 이용될 수 있으며, 알파벳에 있어서 3^8 이용 가능 심볼들을 가질 것이다. 모든 관절에 대한 양자화 레벨이 동일할 필요는 없다.

예를 들어, 도 23에는 자세 매트릭스에 있어서 각 관절에 대해 서로 다른 양자화 레벨을 가진 매트릭스가 도시된다. 그러한 가변 가능 양자화 값들은 유용한데, 그 이유는, 모든 자유도가 높은 분절을 허용하는 것은 아니며, 그 능력들이 사람마다 다르기 때문이다. 예를 들어, 손가락(1)에 대한 근위 지절은 110도 만큼 분절되지만 원위 엄지 지절(distal pollex phalange)은 20만큼만 분절될 수 있다.

자세 매트릭스 구성의 이론적 개수 N은, 매우 크지만, 모든 사용자에 의해 모든 자세들이 실현될 수 있는 것은 아니다. 실제 구성 공간은, 다른 것들 중에서도, 교감적 손가락 움직임, 장애, 골관절염과 같은 질병에 의해 제한될 수 있다. 유사하게, 자세들간의 모든 트랜지션이 가능한 것은 아니며, 많은 자세들이 검출 가능한 것도 아니다. 그러므로, 그러한 관찰을 고려하여, 시스템의 확률 네트워크 모델이 구축된다.

도 24에는 노드들 및 정점들이 개별적인 조합 자세들(또는 자세 매트릭스)을 나타내는 네트워크 모델이 도시되는데, 거기에서는 네트워크에 최대 N개의 그러한 노드들이 존재할 수 있다. 그러한 네트워크 모델은 클라우드 구성 요소로부터 국부 시스템으로 다운 로딩될 수 있으며 인간 모집단 세트의 통계적 생체 메트릭에 기반한 사전 입력 그래프들(pre-populated graphs)을 구비할 수 있다. 도 24의 네트워크 그래프는 자세들간의 트랜지션, 트랜지션 시간들, 유지 시간들(dwell times), 가능한 모든 양자화된 자세 상태들간의 트랜지션 불확정성들을 기록함에 의해 생성될 수 있다. 그래프에 있어서의 에지들은 지향성이며 가중되고, 통계적 생체 계측 데이터 또는 시뮬레이션으로부터 계산되었던 자세-노드들간의 트랜지션 확률들을 나타낼 수 있다. 도 24에는 가시화를 위해 평탄 그래프로 도시되었지만, 그러한 그래프는 실제로는 보다 높은 차원으로 나타날 수 있다. 그러므로, 노드들의 공간 배열 또는 토폴로지(topology)는 1 차원 이상의 차원의 토폴로지 또는 사전-기반 메트릭(dictionary-based metric)에 기초할 수 있다. 제스처는 그러한 그래프에 있어서 접속된 노드들의 세트들간의 사이클, 움직임 경로 또는 "걷기"로서 정의될 수 있다.

노드들은 연역적 또는 귀납적으로 계산되는 확률에 의해 분류될 수 있다. 예를 들어, 자연스러운 손목 자세를 가진 이완된 손을 발견할 확률은 클렌치된 상태에서의 손을 발견할 확률보다 높을 수 있다. 중력이 이완된 자세에 대해 큰 영향을 주기 때문에, 자연스런 손목 자세는 배향에 의해 영향을 받을 수 있다. 특정 자세는 사용자에게 불편할 수 있으며, 그러므로, 높은 트랜션스(transience) 및 고속 트랜지션 레이트를 보여줄 수 있고, 거기에 배속될 확률이 낮을 수 있다. 일부 자세는 불편하지만 하나의 편안한 자세에서 다른 편안한 자세로의 트랜지션시에 어쩔 수 없이 이루어질 수 있다. 그러므로, 도 24에 있어서의 각 노드의 음영 세기(shade intensity)는 에지들이 서로 간에 트랜지션을 보여주는 각 자세의 발생 확률을 나타낸다. 도 24에 있어서, 블랙은 보다 높은 확률을 나타내고, 보다 밝은 음영은 자세들의 보다 낮은 확률을 나타낸다.

제스처들이 그래프에 있어서 걷기, 경로 또는 사이클에 의해 분류되기 때문에, 노드들 및 지향된 에지들에 배속될 그러한 확률은 제스처들의 확률을 계산하는데 이용될 수 있으며, 이것은 사용자 안락성 또는 선호를 결정하기 위하여 메트릭으로서 이용될 수 있다. 예를 들어, 보다 낮은 확률로 결과하는 제스처들은 사용자 인터페이스 알고리즘에 의한 이용에 대해 회피될 수 있다. 추정 에러들을 최소화하고, 일반적인 음향-생체 역학적 모델링을 개선하기 위해 그러한 메트릭들과 위상 설명(topological description)이 추가적으로 이용될 수 있다.

그러한 네트워크들이 사이클들과 강하게 접속된 구성 요소들을 가질 수 있기 때문에, 폭/깊이 우선 또는 최적 탐색들 및 그들의 조합과 같은 탐색 알고리즘 또는 타잔 알고리즘(Tarjan's algorithm)과 같은 접속된 구성 요소 알고리즘을 이용하여 그들이 검출될 수 있다. 특정 길이의 걷기의 횟수가 스펙트럼 그래프 이론을 이용하여 카운트될 수 있다. 조합 라플라스 방식(combinatorial Laplacian approach)을 이용하여 스패닝 트리들(spanning tree)이 계산될 수 있다. 그러한 메트릭들은, 다른 것들 중에서도, 클라우드 구성 요소에 대해 또는 국부적으로 계산될 수 있다. 이들 메트릭들은 그들에 배속된 트랜지션 확률들로부터 도출될 수 있는 누적 스코어를 가질 수 있다. 그러한 메트릭을 계산하기 위한 알고리즘들은 그들의 계산 또는 탐색 시간들을 개선하기 위하여 룩-업 테이블(look-up table) 또는 사전들을 이용할 수 있다. 이들 메트릭들은 시스템(1)에 있어서의 적응성을 구현하는데 이용될 수 있다. 인간 감각 운동 신경가소성(human sensorimotor neuroplasticity)으로 인해, 사용자가 타이핑이 학습되는 방법과 유사한 근골격 트레이닝을 경험할 수 있을 것으로 기대된다. 예를 들어, 초기 제스처는 대략적이거나 큰 움직임을 요구할 수 있으며, 알고리즘 적응성으로 인해, 제스처를 전달하는데 요구되는 실제 움직임이 실질적으로 감소될 수 있다. 다시 말해, 제스처 감도가 점진적으로 증가될 수 있다. 이것은 사용자 피로를 감소시킨다는 장점을 가진다. 그 적응성은, 보다 높거나 낮은 확률 사이클들이 고려될 수 있음에 따라, 나타날 수 있는 교감 움직임 또는 통계적 신체 차이들 또는 관절의 비-독립성을 통해 도입되는 변화 및 제스처에 대한 개별적인 선호를 취할 수 있다. 예를 들어, 사용자가 편안하지 않고 고속 트랜지션 시간을 이끄는 제스처는 제거될 수 있다. 이러한 적응성은, 노화, 발달 또는 성장 관련 변동성이나 사용자의 비만 감소와 같은 생활 방식 관련 변경이 고려되게 한다. 다른 것들 중에서도, 다지증(polydactyly), 합지증(syndactyly), 가락결손증(ectrodactyly), 듀프이트렌구축(Dupuytren's contracture)와 관련된 것들을 포함하는 일시적이거나 영구적인 신체적 장애가 고려될 수 있다.

개시된 실시 예의 적응성에 대한 또 다른 장점은, 제스처에 있어서의 약간의 변화 또는 그로스(gross) 변화가 사용자 인터페이스에 의해 알고리즘적으로 도입되거나 제거되어 반복적 스트레인 부상을 방지할 수 있다는 것이다. 예를 들어, 자세들은 사용자가 과도하게 불필요하게 경직된 자세를 유지하는지를 체크하기 위해 모니터링될 수 있다. 그러한 상황들이 검출되면, 에러가 생성될 수 있으며 제스처에 대한 간단한 수정이 도입될 수 있다.

다른 등가적인 표현이 가능하며, 거기에서는 자세 메트릭들 대신에, 다차원 벡터들이 이용될 수 있다. 다른 예시에 있어서, 고정된 메트릭들 또는 메모리 어드레스들을 이용하여 네트워크들이 간단하게 표현될 수 있다.

도 20에는 시스템(1)의 클라우드-기반 측면의 실시 예가 도시된다. 시스템(1)의 클라우드 구성 요소는, 다른 것들 중에서도, 신체 모델에 대한 통계적 물리적 및 생체 메트릭 데이터, 기계적 및 음향 조직 파라메타들, 재질 모델들, 조정 또는 검증 데이터세트를 포함할 수 있다. 내부 생체 구조에 대한 데이터세트는, 다른 것들 중에서도, 해부학적 데이터베이스로부터 또는, 고해상도 초음파검사와 함께 CT(computational tomographic) 촬상 또는 MRI(magnetic rsonance imaging)와 같은 비-초음파 비-침해성 촬상 기법들로부터 생성될 수 있다.

그러한 데이터 구동 데이터세트들은, 유익하게도, 도 21에 도시된 손의 예시와 같이 완전-볼륨 구성 요소 모델들로 사전 랜더링될 수 있다. 효율성 또는 적용 가능성의 고려에 기초하여 그러한 완전-볼륨 모델로부터 구성 요소들을 단순화하거나, 소팅하거나, 제거하거나 추가하기 위한 추가적인 프로토콜이 있을 수 있다. 이들 데이터세트는, 임의의 이용전에, 소팅되고, 라벨링되고, 카테고리화되고 분류될 수 있다. 통계적 생체 계측 모델들은 사전에 그룹들로 분류될 수 있다. 클라우드 구성 요소에 의해 사용자 입력이 수신되면, 처음 사용 경우에서 설명한 바와 같이, 그것은 사용자와 관련된 최선 근위 생체 계측 그룹을 식별하고, 처음 사용동안에, 이 데이터를 국부 디바이스 메모리에 복귀시킨다.

시스템(1)의 클라우드 측면은 익명의 사용자를 고유하게 식별하고 식별 가능한 정보에 대한 임의 인증되지 않은 액세스를 방지하기 위하여 암호화 및 보안 특징부를 포함할 수 있다. 클라우드 구성 요소들은 사용자로부터 초음파검사 데이터를 받아들이고 그들을 진단 품질 영상들로 랜더링하는 스캔 변환 시스템을 포함할 수 있다. 클라우드 구성 요소의 스캔 변환 측면은 진단 영상의 오용을 방지하도록 액세스 제어된다. 예를 들어, 사용자들은 진단 영상을 액세스할 수 없지만 허가된 또는 등록된 의료진에 대해서는 액세스를 인증할 수 있다.

클라우드 구성 요소는 생체 계측 유한 요소 신체 모델과 결합된 고해상도 음향 필드 시뮬레이션을 실행하는 완전-필드 모델링 및 시뮬레이션 툴을 소유할 수 있다. (예를 들어, 도 21) 클라우드상에 상주하는 변형 가능 메쉬 동적 모델 또는 DM2 유한 요소 신체 모델의 주요 기능은 해부학적 특징부의 수학적 모델에 있어서 허용 가능한 자유도들의 전체 구성 공간에 기초하여 조합된 시스템 및 조직 시스템의 비-선형 이질적 조직 변형, 컴플라이언스, 충돌, 패킹, 관성 및 중력 작용을 시뮬레이션하는 것이다. 이 구성 공간은 손 또는 다른 신체 부분들이 이룰 수 있는 모든 자세들을 고려한다.

클라우드상에 상주하는 음향 필드 시뮬레이터의 기능은 조직 이방성 및 회전 변형을 고려한 특정 빔-형성기 알고리즘 및 계장 프로토콜(instrumentation protocol)에 의해 생성된 음향 필드를 시뮬레이션하는 것이다. 이러한 음향 필드 시뮬레이션은 슬리핑, 또는 압력 또는 일부 다른 모드의 장애를 통한 또는 조직에 대한 디바이스 하드웨어의 관성 움직임에 기인한 초음파 검사 프로파일(echographic profile)에 있어서의 그로스 변경을 시스템 알고리즘에게 알려주는데 이용된다. 음향 필드 시뮬레이션은 개별적인 디바이스들로부터 최대 정보가 획득될 수 있도록 특정 전송 또는 수신 빔 형성 또는 합성 포커싱 알고리즘을 최적화하는데 이용될 수 있다.

신체 기반의 부드러운 조직 시뮬레이션 및 광 필드 모델에 이런 동일한 객체 데이터가 이용될 수 있다. 그러한 객체 모델 및 변화는, 시스템(1)에 의해, 다른 것들 중에서도, 조직 변형, 광 필드 모델들, 음향 필드들간의 상호 작용 및 변형된 조직을 사전 랜더링하는데 이용될 수 있다. 이들 시뮬레이션들은 그러한 시뮬레이션의 결과를 포착하는 통계적 룩업 테이블 및 맞춤형 파라메타들을 생성하는데 이용될 수 있다. 그 결과는 사전 결정된 생체 계측 그룹에 따라 재 분류될 수 있고, 그들 각각의 생체 계측 그룹들에 기초하여 각 사용자 계정(user account)에 제공된다. 그러한 그룹 기반 룩업 테이블 및 파라메타들은 해상도에 있어서 감소될 수 있고 사용자의 고유 생체 계측에 매칭되도록 수정될 수 있다. 개별적인 시스템이 그러한 정보를 요청하기 전에 그러한 데이터가 생성될 수 있으며, 요청시의 실제 프로세스는 정보의 탐색, 검색 및 전송과 관련된 대기 시간만을 도입한다. 추가적으로, 요청이 완료될 수 없거나 시뮬레이션이 존재하지 않으면, 그러한 요청은 시뮬레이션 및 검증을 위해 큐잉된다. 추가적으로, 사용자 데이터가 품질에 대한 메트릭과 일치하지 않으면, 새로운 빔 형성 프로토콜이 그러한 개별 시스템(1)에 다운로딩될 수 있다.

익명화된 사용자 데이터는 사전 랜더링된 모델 및 파라메타 데이터에 매칭되도록 구성된 클라우드 기반 클러스터링 및 분할 알고리즘을 통해 사용자에게 전달된다. 사용자의 생리 및 해부학적 구조가 시간에 걸쳐 변경될 것으로 예측된다. 그러한 방식은 사용자들의 적응적인 재분류가 가능하게 하며, 시간에 걸쳐 추가적인 트레이닝 또는 조정 요건들을 제거한다.

클라우드-기반 알고리즘들은 자동화된 건강 관리 메트릭(healthcare metric)을 생성하는데 이용될 수 있다. 예를 들어, 그러한 메트릭들은 다른 것들 중에서도 심박동수, 혈압, 조직 또는 영역 경화, 혈류 속도, 자세 역학, 구조적 변경, 조직 스트레인 필드들을 포함할 수 있으며, 그들의 이력 작용을 포함할 수 있다. 일부 생체 메트릭들은 숙련된 서비스 제공자에 의해 수집되거나 수동적으로 분석될 수 있다. 이들 메트릭들은 자동 또는 수동 진단 서비스들을 제공하는데 이용될 수 있다.

본 명세서에 개시된 실시 예들의 애플리케이션의 큰 세그먼트가, 사실상, 예방 건강, 진단 건강 또는 치료 건강과 관련되기 때문에, 추가적인 컴플라이언스, 벤치마킹(benchmarking) 및 성능 프로토콜은 국부적으로 디바이스상에 포함되고 원격으로 클라우드상에 포함된다. 그러한 알고리즘들은 알고리즘적으로 또는 수동으로 테스트되고, 갱신되며 모니터링된다. 시뮬레이션, 건강 관리 또는 스캔 변환 데이터를 수동 또는 알고리즘적으로 테스트하기 위하여 감사 인터페이스(auditing interface)가 제공될 수 있다. 변칙적인 메트릭들은 숙련된 사용자에 의해 점검될 수 있다, 고해상도 촬상 모드들은 메트릭에 있어서 가음성(false negative)를 점검하기 위하여 임의 특정 디바이스로부터 알고리즘적으로 또는 수동으로 스케줄링될 수 있다. 가음성을 최소화하기 위하여 정상적인 스코어가 독립적인/벤치마킹/감사 알고리즘에 의해 랜덤하게 감사되고, 인간의 감시를 통해 감사될 수 있다. 각 시스템(1)의 펌웨어 및 고장 안전 모드들이 고정된 빈도로 감사될 수 있다. 사용자들은 음향층(30)과 같은 소비재들의 갱신을 위해 자동으로 리마인드(remind)된다. 손상되거나 유효 기간이 지난 부분들이 검출되면 건강 관리 모드 실시 예가 자동으로 또는 원격으로 디스에이블될 수 있다.

본 명세서에서 설명한 방법들에 대한 수학적 모델 기반 방식을, 최근의 분별적 모델들과 다르게, 적응적 및 생성적 모델이라 한다. 이것은, 종래 방식에서 처럼 단지 고정된 자세들을 분별하기 위한 알고리즘들을 정확하게 트레이닝시키는 대신에, 본 명세서에 개시된 실시 예에 따라, 임의 자세가 선택되고 그 자세에 기반한 제스처가 식별된다. 결론적으로, 이 방식은 많은 심볼을 가진 매우 큰 알파벳을 가지며, 거기에서는 소정 심볼이 고유 제스처로서 정의된다. 분별적인 1회 참조 신호 트레이닝이 이용되지 않기 때문에, 이러한 생성적 및 적응적 방식은 1회 트레이닝을 통해 도입되는 에러에 의해 영향받지 않는다.

제어기에 의해 제스처 및 자세 데이터가 검출되었으면, 그것은 피부 엔진으로 전달된다. 용어 "피부 엔진"은 2가지 측면, 즉 프로젝션 디스플레이를 제어하는 측면과 사용자 인터페이스, 언어 및 고안을 정의하는 측면을 지칭한다.

도 25에는 하나의 예시적인 실시 예에 따른 피부 엔진(270)의 아키텍처가 도시된다. 그것은 시스템(1)의 제어기 및 센서들부터 신체 부분(258)의 자세, 사용자 눈 위치(256)의 추정, 전체 신체 또는 손 구성(254)의 자세 및 배향, 예를 들어 카메라 또는 컬러 주변광 센서(252)로부터의 센서 데이터 형태의 입력을 수신할 수 있다. 또한, 그것은, 운영 시스템(262)으로부터 사용자 인터페이스 정보(264)와 디스플레이될 영상(예를 들어, 디스플레이 데이터(260))을 수신할 수 있다.

피부 엔진(270)의 디스플레이 측면은 입력 정보를 이용하여 혼합 요소 모델을 가진 측면들을 공유하는, 얕고 부드러운 조직 키네마틱 및 변형 시뮬레이션(274)를 먼저 실행하고, 이것을 광 필드 및 조사 랜더링(illumination rendering) 엔진(272)에 전달한다. 이러한 조사 랜더링의 프로세스는 디스플레이의 품질을 평가하고, 그것은 디스플레이될 영상을 수정하여, 손 표면과 같은 비 선형 피부 표면상에 프로젝트될 때 그의 광학적 품질을 적절하게 개선한다. 후속적으로, 수정된 영상은 피코 프로젝터(20)에 의해 프로젝션되기 전에 프레임 버퍼를 갱신하는데 이용될 수 있다.

신체 표면상의 프로젝션에 대한 주요한 우려는, 프로젝터가 전형적으로 평탄 표면상에 프로젝트하도록 고안되지만, 신체 표면은 평탄하지 않거나 균일한 컬러 및 텍스처(texture)가 아니라는 것이다. 또한, 사용자가 자세를 변경함에 따라, 그러한 신체 표면은 빈번하게 변형된다. 이들 표면들은 텍스처, 주름, 가변적인 잔주름, 가변적인 컬러, 반사도, 헤어 커버리지(hair coverage), 주변 조사에 대한 노출 및 간단한 프로젝션 또는 키스톤(keystone) 보상 기법이 사용자에 걸쳐 일관된 프로젝션 영상을 생성하지 못하게 하는 다른 문제들을 가진다. 그러므로, 부드러운 조직 키네마틱 변형 모델(274)은 프로젝션 표면 변형의 모델을 생성하는데 이용되며, 그 다음 그 모델은 광 필드 또는 조사 랜더링 모델에 의해 이용되어 디스플레이 파라메타들을 최적화한다.

용어 "얕고 부드러운 조직"은 외피 시스템(integumentary system)(표피 및 진피)의 피부와 조직의 부드러운 층과 피하(하피(hypodermis)) 층을 지칭하는데 이용된다. 신체가 움직임에 따라, 이 층들을 지칭하는 표면이 변형된다. 이 층들은 도 7a 내지 도 7c에 도시된 손바닥 주름과 같은 주름 및 폴드(fold)와 같은 영구적 특징부를 가진다. 제스처를 수반하는 간단한 스트레칭을 통한 변형에 추가하여, 이들 층들은 힘줄 및 근육과 같은 하부 조직의 움직임으로 인해 변형될 수 있다.

그러한 부드러운 조직의 변형은 컴퓨터 그래픽으로부터의 데이터 구동 및 신체적 기반 모델링의 조합을 이용하여 모델링될 수 있다. Sueda, S., Kaufman, A., Pai, DK., Musculotendon Simulation For Hand Animation, ACM Trans. Graph., 27 (3), 2008를 참조하라. 또한, Bickel, B. et al., Capture And Modeling Of Non-Linear Heterogeneous Soft Tissue, ACM Trans. Graphics - Proc. ACM SIGGRAPH 2009 TOG, 28 (3), 2009를 참조하라. 예를 들어, 제어기로부터 획득한 자세 데이터는 골격 프레임들(skeletal frames)의 배향을 결정하는데 이용될 수 있다. 조직 기하학적 구조는 시스템(1)의 클라우드 구성 요소에 의해 제공된 통계적 생체 계측 모델로부터 획득될 수 있으며, 다른 것들 중에서도, 치수, 조직 두께, 지질층 두께(lipid layer thickness)와 같은 속성들을 반영한다. 이러한 조직 기하학적 구조 정보 및 착용식 디바이스의 위치는, 조직 변형을 계산하기 위한 해법이 될 수 있는, 골격 프레임 자세 측정과 함께, 힘줄, 근육 및 다른 조직 모델에 대한 제약을 제공하는데 이용될 수 있다. 대안적으로, 제어기로부터의 유한 요소 시뮬레이션은 조직 변형 정보를 제공할 수 있다. 이러한 시뮬레이션 측면은 시스템의 클라우드 구성 요소상에 실행될 수 있으며, 국부 시스템(1)내의 메모리는 다른 것들 중에서도 스플라인(spline) 또는 비-균일 B-스플라인과 같은 룩업 테이블과 다항 보간 함수를 다운로딩하여, 자세의 함수로서 얕고 부드러운 조직 변형을 나타낸다.

변형된 표면 정보가 획득되면, 그것은 도 25에 도시된 바와 같이 광 필드 조사 랜더링 시스템(272)에 제공된다. 랜더링 시스템은 자세, 프로젝션될 영상, 프로젝션을 위한 신체 부착 위치들, 피부 컬러, 텍스처, 프로젝션 표면의 변형, 피부 반사도, 주변 조사, 사용자 눈의 추정 위치, 프로젝션이 발생하는 신체 부분의 배향, 픽셀 및 렌즈 전달 함수를 포함하는 프로젝터 광학, 휘도 및 컬러 특성들, 듀티 사이클 및 리프레시 레이트(refresh rate)와 같은 입력을 취할 수 있다. 카메라는 사용자의 눈에 배치된 것으로 가정된다. 조사 랜더링 시스템(272)은, 다른 것 들 중에서도, 일관성있는 컬러 대비, 정적 및 동적 대비, 종횡비, 최소 왜곡 및 전력 소모와 같은 프로젝션된 디스플레이 특성을 최적화하는 제약하에서 랜더링 수학식의 포뮬레이션을 이용하여 해결되는 장면을 생성하도록 그러한 정보를 이용할 수 있다. 최적화 프로세스는 경로 트레이싱(path tracing)에 이용되는 것들과 같은 라디오시티 알고리즘(radiosity algorithm) 또는 몬테 카를로 기반 알고리즘(Monte Carlo based algorithm)과 같은 방법들을 이용한다.

그러한 조사 최적화를 위한 입력 파라메타들 중 많은 파라메타들이 일반적으로 상수들이거나 또는 예측 가능하기 때문에(예를 들어, 주변 조사는 일반적으로 이용에 걸쳐 사용자에 대해 예측 가능하게 변경되지만, 피부 컬러는 변경되지 않음) 그러한 랜더링이 시스템(1)의 클라우드 구성 요소에 대해 발생하며, 사용자에 대해서는 단지 계수들 및 룩업 테이블만이 다운 로딩될 필요가 있다. 저 해상도 또는 감소 모델들은 또한 국부 시스템(1) 디바이스들에서 해결될 수 있으며 클라우드 구성 요소에 대한 시뮬레이션에 의해 생성된 룩업 테이블로부터 보정 계수(correction factor)들을 이용할 수 있다. 추가적으로, 사용자는 디스플레이 출력을 조정하는 보상 파라메타들 또는 간단한 조정을 이용하여 디스플레이 아티팩트를 보상하거나 컬러 레벨들을 조정할 수 있다. 그러한 파라메타들은 수동으로 작동될 수 있다.

추가적인 영상 보상은 최적의 픽셀 및 컬러, 공간적 및 동적 변조, 듀티 사이클 및 주파수들을 획득하기 위하여 인간 시각 시스템의 공간-시간 대조 응답, 에지 탐색 모델 및 움직임 탐색 모델들을 이용하여 제공될 수 있다. Ahumada, AJ., Beard, BL., Eriksson, R., Spatio -temporal discrimination model predicts temporal masking functions, Proc. SPIE 3299, Human Vision and Electronic Imaging III, 1998; Watson, AB., Ahumada, AJ., Model of human visual motion seeking, J. Opt. Soc. Am. A, 2 (2), 1985; Watson, AB., Solomon, JA., Model of visual contrast gain control and pattern masking, J. Opt. Soc. Am. A, 14 (9), 1997; Watson, AB., Visual detection of spatial contrast patterns: Evaluation of five simple models., Optics express, 6 (1), 2000; Watson, AB., The search for optimal visual stimuli, Vision Research, 38, pp. 1619―1621, 1998; Lambrecht, CJVDB., A Working Spatio -Temporal Model Of The Human Visual System For Image Restoration And Quality Assessment Applications, Proc. ICASSP-96, IEEE, May 7-10, Atlanta, GA, 1996; and Watson, AB., The Spatial Standard Observer: A Human Vision Model for Display Inspection, SID Symposium Digest of Technical Papers 31 (1), 2006을 참조하라. 예를 들어, 아이콘 또는 디스플레이된 객체의 경계들에 근접한 픽셀들은 특정 주파수들에서 최대 밝기로 변조되어, 인간 시각 시스템의 응답을 포화시키고, 아이콘의 에지를 벗어난 밝기를 억제한다. 다른 것들 중에서도, 체커 새도우(checker shadow), 콘 스위트(corn sweet), 동시 대조, 플래드(plaid) 또는 바자렐리 일루션(Vasarely illusion)과 같은 일루션에 통상적으로 이용되는 추가적인 효과는 피부 또는 다른 비 선형 프로젝션 표면상의 디스플레이된 영상들의 인지된 대조를 증가시키는데 이용될 수 있다. 도 25의 실시 예에 있어서, 피부 엔진(270)은 배경 및 전면 랜더링 요소(276)를 포함한다. 피부 엔진(270)으로부터의 출력은 프레임버퍼(278)로 전달되고, 프레임버퍼(278)의 출력은 피코 프로젝터(280)로 전달된다.

시스템(1)의 사용자 인터페이스 요소는 사용자의 가시적 경험의 유사한 최적화를 위해 이용될 수 있다. 사용자 인터페이스의 중요한 측면은, 도 8a 내지 도 8b에 도시된 5가지 동작 메뉴이다. 5가지 동작은 사용자가 통상적으로 가지고 있는 5개의 손가락에 대응하며, 많은 인터페이스들에 걸쳐 그들과 연관된 일관성있는 동작들을 가질 수 있다. 사용자에게 메모리로부터 제스처의 효과를 상기시키도록 요구하는 것이 아니며, 그 대신에 사용자는 신체 표면상에 프로젝션된 라벨을 간단히 검색할 수 있다. 이것은, 조향 법칙(steering law)에 기초하여 높은 효율의 인터페이스를 생성하며, 힉의 법칙 및 피트 법칙(Hick's and Fitt's laws)에 큰 영향을 준다.

시스템(1)의 사용자 인터페이스의 또 다른 측면은 "탄성" 인터페이스의 이용이다. 그러한 프로젝션된 광 인터페이스의 탄성은 부드러운 조직 변형 또는 손 자세에 비례하는 아이콘의 애니메이션들 또는 아이콘들 간의 상대적 움직임으로서 정의될 수 있다. 예를 들어, 도 8a 내지 도 8f의 5-아이콘 메뉴는 스트레칭 또는 클렌칭 제스처동안에 함께 멀리 퍼지거나 가까이 다가가는 아이콘들을 보여줄 수 있다. 이들 애니메이션 큐(animation cue)들은 인간 가시적 시스템의 움직임 탐색 및 에지 포착 동작을 활용하는데 이용될 수 있다. 도 8a 내지 도 8f에는 선택되고 있는 중인 아이콘을 식별하는데 이용되는 그러한 애니메이션 큐들의 예시가 도시된다.

그러한 탄성 인터페이스는 비-직사각형, 무-프레임(frameless)이며, 인터페이스와 연관된 강한 보더(border), 그리드 또는 에지들 가질 필요가 없다. 그러한 에지는, 일반적으로, 영상의 왜곡이 포착되는 가시적 큐로서 작용한다. 그러므로, 피부상에 프로젝션되는 아이콘 세트는 임의 사각 그리드 구조보다 신체 부분의 토포그래피(topography)에 대해 보다 잘 정렬될 수 있다.

시스템(1)의 손목 착용 실시 예에 대한 사용자 인터페이스는, 예를 들어, 4개의 직접적인 디스플레이 위치들, 2개의 손등 위치(하나는 전박상에 위치하고, 다른 하나는 손 위에 위치함) 및 2개의 손바닥 위치(하나는 전박상에 위치하고 다른 하나는 손(바닥)에 위치함)에 대한 액세스를 제공한다. 손의 손바닥 또는 손등 표면이 디스플레이 표면으로서 이용되는 이유는, 손목 관절이 사용자 눈에 대해 피드백-안정화되지만, 전박 또는 상부 팔을 포함하는 다른 표면은 이용 기간에 걸쳐 그러한 안정성을 가지지 않기 때문이다. 종래 방식들에 의해 설명되는 다른 기법들의 어느 것도 이러한 장점을 인식하지 못하고 있다.

시스템(1)의 제어기에 의해 제공되는 자세 정보에 기초하여, 인터페이스는 4개의 디스플레이 표면간에 무결성으로 스위칭되도록 구성될 수 있다. 모든 표면들은 동시에 또는 독립적으로 이용될 수 있다. 예를 들어, 손목의 간단한 회내(pronation)-회외(supination) 움직임은 손등 또는 손바닥 표면들간에 전환(flip)될 수 있다. 그러한 자동화된 스크린 스위칭 동작은 그러한 문맥상 피부 스키밍 동작(contextual skin skimming behavior)을 구현하는데 이용될 수 있으며, 거기에서는 시스템(1)이 신체 및 팔 자세 정보에 기초하여 자동으로 사용자 눈을 고려하여 유일한 목표 표면을 인식할 수 있다. 디스플레이 표면의 존재는 시스템(1)내의 센서에 기초하여 또는 자세 정보에 의해 자동으로 검출된다. 임의 이용 가능한 표면이 없으면, 모든 피코 프로젝터(20) 요소는 사용자에 의해 확실하게 방지되지 않는다면 턴-오프된다.

제시된 설명은 손목 착용 실시 예를 고려한 방법의 기법에 주요한 초점을 맞추고 있다. 그러나, 신체의 다른 영역을 모니터링하기 위해 유사한 방식들이 이용될 수 있다. 예를 들어, 눈, 얼굴 또는 목에 대해 고안된 기법들에 대해, 생성적 모델은 턱뼈 또는 접합자 뼈(zygoid bone)를 둘러싼 조직 구조 또는 목의 경우에는 설골(hyoid bone) 또는 척추골(vertebrae bone)을 둘러싼 조직을 포함한다. 의학적 질환의 평가 및 모니터링을 위한 개선된 의료 촬상 기법은 시스템의 구성 요소상에 상주하는 전체 신체 생성적 및 음향 모델들을 포함할 수 있다.

건강 관리에 중점을 두고 있는 기술의 기법에서는, 다른 것들 중에서도, 심박동수, 혈압, 혈류 속도, 평균 속도, 박동 지수들(pulsatility indices), 심장 수축(systole)/이완(diatole) 사이클 프랙션(cycle fraction)이 박동 동맥 또는 일반 맥관 구조 영역을 검사함에 의해 모니터링될 수 있다. 심박동수는 시간의 함수로서 박동 영역에서의 조직 변형의 측정을 통해 직접 식별될 수 있다. 그러한 영역들은 심박동수에 대응하는 주기적 요동을 보여준다. 유사하게 혈압은 박동 조직에 걸쳐서의 스트레인 필드 및 속도 프로파일을 검사함에 의해 모니터링될 수 있다(Beulen, BW. et al., Toward noninvasive blood pressure assessment in arteries by using ultrasound, Ultrasound Med. Biol., 37 (5), 2011 참조)

본 명세서에 개시된 실시 예들의 시스템 및 방법의 모든 건강 관리 기법들은 그 디바이스의 정확한 사용에 있어서 사용자를 트레이닝시킨다는 것을 조건으로 할 수 있다. 예를 들어, 사용자들은 목에 근접한 경동맥(carotid artery)으로부터 품질 신호를 추출하는 정확한 절차를 이해하지 못할 수 있다. 그러므로, 사용자들은 응급 처치 소생 훈련(first aid resuscitation training)이 현재 제공되는 방법과 유사한 훈련을 재판매업자 또는 판매업자 점포에서 받을 수 있다. 간단한 또는 중요하지 않는 기법의 경우, 사용자들은 온라인 서비스를 이용하여 트레이닝되거나 자동화된 프로토콜 검증 또는 에러 정정을 구비할 수 있다. 예를 들어, 신호를 추출하기 쉬운 중요하지 않는 영역들에 대한 트레이닝은 온라인 비디오 서비스를 통해 제공될 수 있으며, 정확한 프로토콜의 사용시, 그들은 사용자가 지문 센서를 이용하도록 트레이닝되는 방식과 유사한 방식으로 자동화된 피드백을 제공받을 수 잇다.

일부 건강 관리 기법들은 비정기적 디바이스 조정 및 성능 테스트를 요구한다. 그러한 조정은 승인된 위치에서 이루어질 수 있거나 클라우드 구성 요소를 이용하여 온라인상에서 알고리즘적으로 실행될 수 있다. 일 실시 예에 있어서, 사용자는 그러한 조정에 대한 특정 음향 팬텀 타겟(specfic acustic phantom target)을 구매할 수 있다.

키보드는 사용하기 쉬운데, 그 이유는 사용자들이 그들의 입력의 즉각적인 가시적 피드백을 획득하고 에러를 즉시 알아채기 때문이다. 이러한 기능성은 안출된 기술로 재생성된다. 예를 들어, 손가락 3 구부리기 제스처를 검출하면, 시스템(1)의 프로젝션된 디스플레이는 검출된 제스처가 손가락 3으로부터였음을 식별하는 손가락 3 위치에 근접한 컬러화된 심볼을 프로젝트하도록 구성될 수 있다. 이러한 심볼은 점진적으로 사라지는 애니메이션 요정일 수 있다.

시스템(1)의 기법에 있어서, 초음파 트랜스시버(25)는, 사용자 활동이 검출되면 자동으로 턴 온(turn on)될 수 있다. 트랜스시버(25)는 또한 관성 측정 센서로부터의 데이터를 이용하여 턴 온되도록 구성될 수 있다. 예를 들어, 전박에 대한 손목의 회전들의 시퀀스는 시스템(1)을 턴 온시키는데 이용될 수 있다.

시스템의 추가적인 기법에 있어서, 초음파 트랜스시버(25)로부터의 수신 신호가 고 임피던스 매체를 나타내거나, 그 디바이스가 신체 둘레에 부적절하게 매여있음을 나타내면, 초음파 트랜스시버(25)는 즉시 셧-다운(shut down)되도록 구성될 수 있다.

또 다른 추가적인 기법에 있어서, 소프트웨어 기반 타이핑 명령과 유사하게, 사용자는 특정 손가락을 움직이거나 특정 자세를 연속적으로 취하도록 사용자를 인도하는 라벨들 또는 프로젝션된 아이콘들을 디스플레이함에 의해 대화를 위한 특정 제스처를 이용하도록 트레이닝될 수 있다. 그러한 기법의 장점은 피코 프로젝터(20) 디스플레이가 사용자에 대한 즉각적인 가시적 피드백을 생성한다는 것이다.

본 명세서에 개시된 실시 예들에 이용된 고유 사용자 인터페이스로 인해, 인터넷으로부터의 일반적인 콘텐츠는 고안 인터페이스를 따르도록 알고리즘적으로 사전 랜더링된다. 그러한 콘텐츠 랜더링은 시스템(1)의 클라우드 구성 요소상에 배치된 게이트웨이 인터페이스를 통해 발생할 수 있다.

정확성이 보다 높은 계량(metrology)을 획득하기 위해, 사용자는 추가적인 생체 메트릭 데이터를 입력할 수 있거나, 그러한 데이터는 온-보드 센서를 이용하여 자동으로 측정될 수 있다. 생체 메트릭 데이터는, 예를 들어, 어깨에서 손목까지의 팔의 길이, 손가락들의 치수, 손의 아치(arches), 팔꿈치에서 손목까지의 길이, 키, 몸통 치수들에 의해 예시된다. 이러한 데이터는 사용자의 수학적 신체-모델을 생성하기 위해 본 명세서에 개시된 실시 예의 시스템 및 방법에 의해 이용되고 다양한 목적을 위해 이용된다.

추가적인 기법에 있어서, 본 명세서에 개시된 실시 예들은 제스처를 통해 이루어진 사용자 요청에 대한 인터페이스 응답 이벤트들을 추적할 수 있다. 사용자는 원치않는 응답으로 결과할 수 있는 실수를 할 수 있다. 원치않는 응답은 통상적으로 사용자가 수정할 수 있게 한다. 예를 들어, 표준적인 키보드의 원치않는 키스트록(keystroke)후, 사용자는 실수를 만회하기 위해 백스페이스(backspace) 또는 CTRL+Z를 누를 수 있으며, 또는 의도치않게 클릭(click on)된 링크를 방문한 후, 사용자는 그러한 링크로부터 신속하게 벗어나 브라우징(browse)할 수 있다. 그러한 원치않는 응답들은 후속적인 시간적 정정 입력(temporal and corrective input)들을 추적함에 의해 식별될 수 있다. 이것은, 시스템(1) 인터페이스의 주요한 요소인데, 그 이유는, 사용자가 기계적 키보드에서 한 것과 같은, 직접적인 촉감 피드백을 그러한 가상 인터페이스에서 가지지 않을 수 있기 때문이다.

이하에서는 본 명세서에 개시된 실시 예들의 일부 비제한적 애플리케이션을 간단히 설명한다. 애플리케이션들은 기능에 기반하여 분할된다. 이 애플리케이션들은 시스템(1)의 국부 리소스들을 이용하여 조정될 수 있거나 스마트폰 또는 가상 클라우드 기반 어플라이언스(cloud-based appliance)와 같은 네트워크형 디바이스들을 이용할 수 있다. 예를 들어 본 명세서에서 설명한 실시 예와 함께 이용하는데 적합한 확장된 뷰잉 각도(viewing angle)를 가진 3D 디스플레이, 초고해상도 2D 디스플레이 또는 2D/3D 스위칭 가능 디스플레이들은, 제한 없이, Hussein S. El-Ghoroury등에 의해 2014년 10월 7일자 발행된 "Spatio-Temporal Directional Light Modulator"란 제목의 미국특허번호 8,854,724호 및 Zahir Y. Alpaslan등에 의해 2015년 1월 6일자 발행된, "Spatio-Optical Directional Light Modulator"란 제목의 미국특허번호 8,928,969호에 설명된 것들을 포함한다. 예를 들어, 본 명세서에서 설명된 실시 예들과 함께 사용하는데 적합한 공간-시간 광 필드 카메라는, 제한 없이, Hussein S. El-Ghoroury등에 의해 2015년 11월 3일자 발행된 "Spatio-Temporal Light Field Cameras"란 제목의 미국특허번호 9,179,126호에 개시된 것들을 포함한다. 상술한 문서들 각각의 전체 콘텐츠는 본 명세서에 참조로서 수록된다.

3D 온 2D 디스플레이 제어(3D on 2D display control): 손목 착용 실시 예는 CAD(Computer Aided Design) 프로그램, 또는 애니메이션 또는 시뮬레이션 프로그램에 의해 생성된 것들과 같은 2D 스크린상에 디스플레이되는 3D 콘텐츠와 상호작용하는데 이용될 수 있다. 제스처 데이터는 그 입력을 가상 제어 파라메타들로 변환하는 컴퓨팅 디바이스로 전달된다. 이러한 제어 파라메타들은 2D 랜더링 3D 콘텐츠와 상호 작용한다.

3D 온 3D 디스플레이 제어(3D on 3D display control): 볼륨 광 필드 랜더링 기반 3D 디스플레이들은 보다 일반화되어 가고 있다. 그러나, 깊이 콘텐츠와 상호 작용하는데 유용한 기법들은 이용할 수 없다. 일 실시 예에 있어서, 시스템(디바이스)은 손목에 착용될 수 있으며, 팔 및 신체의 자세 및 제스처에 기초하여 깊이 콘텐츠와 상호 작용하는데 이용될 수 있다. 예시적인 애플리케이션은 의료 홀로그래피(medical holography)와 상호 작용하는 것일 수 있다.

2D 마우스 제어: 시스템(디바이스)의 손목 착용 실시 예는 검지와 새끼 손가락의 상부와 하부에 의해 이루어진 4개의 코너를 2D 제어 표면의 코너로서 정의하기 위해 엄지 손가락을 스타일러스(stylus)로서 이용함으로써 2D 커서 위치 제어기(마우스)로서 이용될 수 있다. 엄지 손가락에 의해 지적된 이 제어 표면 내부의 임의 위치는 스크린상의 커서에 의해 재생성될 수 있다. 손의 손바닥 표면을 이용하면, 엄지 손가락이 입력 2D 좌표 정보에 대한 스타일러스로서 이용될 수 있게 된다. 시스템(1)의 일 실시 예에 있어서, 이에 따라 제어 표면상에 묘사된 특정 패턴의 이용이 고유 사용자 식별에 이용될 수 있는 패스워드로서 이용될 수 있게 된다.

가상 키보드: 시스템(디바이스)의 손목 착용 실시 예는 착용되지 않고도 이용될 수 있다. 시스템(1)은 평탄 표면상에 랜더링하도록 프로젝션된 광을 자동으로 조정할 수 있다. 하나 이상의 광 필드는 경사진 큰 디스플레이 표면을 생성하는데 이용될 수 있다. 일 실시 예에 있어서, 그러한 시스템(1)은 진동 센서, 구조화된 광 센서, 적외선 센서 또는 구조화된 광에 대한 장애물 또는 탭(tap)들로부터 진동을 포착하고 위치를 포착하는 유사한 디바이스들을 이용하는 것과 상호 작용할 수 있다.

한손 게이밍(single handed gaming): 도 26에 도시된 바와 같이, 시스템(디바이스)의 손목 착용 한손 실시 예는 디스플레이된 콘텐츠와 상호 작용하기 위해 디지털 또는 방사성(ratiometric) 방식으로 게임 제어기 입력으로서 손가락이 이용되는 게이밍 또는 엔터테인먼트(gaming or entertainment) 애플리케이션에 이용될 수 있다. 프로젝션 표면은 손바닥 또는 손등 표면으로 제한될 필요가 없으며 전박 표면 및 오프-바디 외부 프로젝션 표면(off-body external projection surface)을 포함할 수 있다. 그 애플리케이션은 전박의 회전과 같은 추가적인 제스처 입력들을 이용할 수 있다.

양손 게이밍 프런트(two-handed gaming front): 시스템(디바이스)의 한쌍의 손목 착용 실시 예들은 게이밍 또는 엔터테인먼트 애플리케이션에 대해 경사진 디스플레이 표면을 생성하기 위해 양손상에 이용될 수 있지만, 그러한 애플리케이션에 국한되는 것은 아니며, 거기에서는 다수의 디스플레이들이 서로 상호 작용하여 그들간에 콘텐츠를 공유한다. 그러한 애플리케이션은 디바이스간 통신에 대해 상술한 공간 콜로케이션 시스템을 이용할 수 있다. 그러한 애플리케이션은 손등, 손바닥 및 전박 표면상과 외부 오프-바디 표면을 포함하는 다수의 프로젝션 표면들을 이용한다.

양손 게이밍: 시스템(디바이스)의 한 쌍의 손목 착용 실시 예는 게이밍 또는 엔터테인먼트 애플리케이션에 대해 분산된 디스플레이 표면을 생성하기 위해 양손상에 이용될 수 있지만, 그러한 애플리케이션에 국한되는 것은 아니며, 거기에서는 다수의 디스플레이들이 서로 상호 작용하여 그들간에 콘텐츠를 공유한다. 팔의 자세로부터 결정된 손의 공간적 분리는 추가적인 입력들을 애플리케이션에 추가하는데 이용될 수 있다. 그러한 애플리케이션은 디바이스간 통신에 대해 상술한 공간 콜로케이션 시스템을 이용할 수 있다. 그러한 애플리케이션은 손등, 손바닥 및 전박 표면상과 외부 오프-바디 표면을 포함하는 다수의 프로젝션 표면들을 이용한다.

영상 기반 탐색: 실시 예에 있어서, 시스템(1)의 온-보드 카메라는 객체의 사진 또는 그 환경을 취득하도록 구성될 수 있으며, 그러한 영상은 탐색 엔진을 조회하는데 이용될 수 있다. 제스처들은 정확한 결과를 브라우징하고 선택하는데 이용될 수 있다. 탐색 엔진은 지리정보 태깅되어(geo-tagged)되어 나중에 사이트를 방문하는 다른 사용자들에 푸시될 수 있는 정확한 결과에 대한 정보를 제공받을 수 있다. 예를 들어, 손의 자세는 크기 및 관련성(relevance)에 대한 개념을 전달하는데 이용될 수 있다.

산업 장비: 하나 이상의 손목 착용 실시 예들은 디스플레이나 입력 기능 없이 단지 네트워킹 인터페이스만을 갖춘 산업 디바이스와 상호 작용하는데 이용될 수 있다. 전형적인 애플리케이션은 산업 장비의 동작에 필요한 제어 파라메타를 조작하는 사용자와 산업 장비로부터 상태 정보를 수신하는 시스템(1)이다. 이것은 산업 장비의 제조시에 원가를 절감하는 장점이 있는데, 그 이유는 그들이 그들 자신의 입력 및 출력 기능을 더 이상 필요로 하지 않기 때문이다.

텔레프레전스(telepresence): 하나 이상의 손목 착용 실시 예들은 네트워크를 통해 원격으로 디바이스 및 어플라이언스와 상호 작용하는데 이용될 수 있는데, 거기에서는 원격 디바이스로부터의 상태 또는 데이터가 프로젝션 디스플레이를 이용하여 제시될 수 있고, 디바이스와 원격으로 상호 작용하기 위해 제스처가 이용될 수 있다.

군대 전술(militaru tactical): 손목 착용 한 손 실시 예는, 조작자가 다른 손을 이용하여 다른 장비의 제어를 유지할 필요가 있는 애플리케이션에 이용될 수 있다. 예를 들어, IED 처리 로봇을 원격으로 조종하는 군인들은 그들의 무기의 완전한 전술적 제어를 보존하면서 제스처를 이용할 수 있다. 이 애플리케이션은 디스플레이와 제스처 시스템의 통합에 의해 제공되는 한손 상호 작용 기능을 이용할 수 있다.

게임 제어기: 하나 이상의 손목 착용 실시 예들은 텔레비전, 게이밍 콘솔 등과 같은 디바이스들을 제어하는데 이용되는 통상적인 유선 또는 무선 제어기를 대체하는데 이용될 수 있지만, 그러한 예시에 국한되는 것은 아니다.

로봇 제어기: 손의 관절은 20 초과의 자유도를 가진다. 본 명세서에 개시된 실시 예가 유사한 방식으로 이들 관절들의 대부분의 자세를 포착하기 때문에, 그 정보는 쉽게 로봇 관절의 자세로 전환될 수 있다. 인간 관절과 유사하게, 로봇 관절들은 전체 이동에 대해 제한을 가진다. 본 명세서에 개시된 실시 예들은 로봇을 직접 제어하고 그들의 내부 상태를 모니터링하는 직관적 프로그래밍 인터페이스를 제공한다. 시스템에 의해 추정되는 손의 자세는 로봇 프로그래밍 인터페이스에 의해 이해되거나 제어기로 직접 릴레이(relay)되는 심볼로 변환될 수 있다. 제어기는 관절 속도 및 반응 비반응(go-no go) 평가의 견지에서 심볼들을 해석한다. 자세를 실시간으로 직접 제어하는 대신에, 본 명세서에 개시된 실시 예들은 오프라인 프로그래밍 인터페이스로서 이용될 수 있다. 일 실시 예에 있어서, 관절의 움직임 궤적은 본 명세서에 개시된 실시 예로부터 계산된 자세들을 이용하여 정의된 키프레임(keyframe)을 이용하는 보간을 통해 추정될 수 있다.

다른 실시 예에 있어서, 다수의 기법들을 구현한 다수의 착용식 디바이스들은 의복과의 통합을 통해 또는 직접 착용될 수 있다. 이 시스템(1)들은 신체의 주요 관절들의 자세를 포착하는데 이용될 수 있다. 그 다음, 이 자세 정보는 외골격 로봇 구조로 릴레이될 수 있다. 이것은 그러한 외골격과 신체간에 직접적인 감각적 링크를 제공한다.

핸드 드릴/사물 인터넷: 하나 이상의 손목 착용 실시 예들은 디스플레이 또는 입력 기능 없이 네트워크 인터페이스만을 갖춘 하우스홀드 디바이스(household device)들과 유선 또는 무선 네트워크를 통해 상호 작용하는데 이용될 수 있다. 본 명세서에 개시된 실시 예들은 디바이스의 동작에 필요한 조작 제어 파라메타와 하우스홀드 디바이스로부터의 상태 정보를 수신하도록 구성될 수 있다. 이것은 그러한 디바이스의 제조시에 원가를 절감하는 장점을 가지는데, 그 이유는 그들이 그들 자신의 입력 또는 출력 기능들을 더 이상 필요로 하지 않기 때문이다. 예를 들어, 이러한 유형으로는 하우스홀드 온도 조절 장치가 있다. 추가적으로, 그라인더(grinder) 또는 냉장고와 같은 많은 시스템들은 전위차계 기반 다이얼 또는 슬라이더 또는 스위치를 가질 수 있다. 그러한 이산 또는 바이폴라 스위치 또는 방사 제어기는 본 명세서에 개시된 실시 예들을 이용하여 대체될 수 있다.

스피치 장애/ASL: 착용식 실시 예들은 심볼 통신을 생성하기 위해 제스처, 자세 및 궤적을 해독하는 범용 또는 맞춤식 사전(dictionary)과 함께 이용될 수 있다. 실시 예에 있어서, 인식된 심볼들은 스피치와 유사한 사운드를 생성하도록 사운드 소스의 주파수 및 진폭 변조로 변환된다. 예를 들어, 그러한 시스템은 예를 들어 American Sign Language를 이해하지 못하는 사람들을 위해 제스처를 음향 피드백으로 전환시킴에 의해 통신하도록, American Sign Language와 같은 상기 범용 사전에 능숙한 스피치 장애를 가진 사용자를 보조하는데 이용될 수 있다.

다른 실시 예에 있어서, 듣기 장애 사용자들은 제스처의 전환으로부터 획득한 심볼들을 제공받을 수 있다. 그러한 제공은 피코 프로젝터(20) 구성 요소를 이용하여 실행될 수 있으며, 또는 그것은 스마트폰과 같은 이동 디스플레이 디바이스들을 이용하여 제공받을 수 있다.

통신 변환: "조용한 독백(silently talking to oneself)" 또는 "두뇌로 말하기(talking in you head)" 프로세스는 성도(vocal tract)에 있어서의 근육 활성을 이끈다. 이러한 활성은 통상적으로 하위-발성(sub-vocalization)으로서 설명된다. 연구는, 목에 있는 성대 영역 주변으로부터의 EMG 신호가 활성 발성 및 서브-발성으로부터의 신호를 픽-업하는데 이용될 수 있음을 보여주었다. 종래의 방식은, 스피치 및 수의적/불수의적 보컬/서브보컬 제스처(speech and voluntary/involuntary vocal/subvocal gesture)를 인식하기 위해 그러한 EMG 신호 이용 분별 방법을 이용한다.

시스템(디바이스)의 실시 예는 목구멍 영역에 부착되면 성도에 있어서의 급격한 요동을 촬상하는데 이용될 수 있다. 이들 요동은 국부적으로 프로세싱되거나 다른 컴퓨팅 디바이스로 전달될 수 있는 전기 신호를 생성하는데 이용될 수 있다. 그러한 신호들은 다수의 애플리케이션을 위해 이용될 수 있다. 예를 들어, 이들 신호들은 워즈(words)(특히 음소(phonemes))와 상관되어 전기적 또는 디지털 신호를 생성할 수 있다. 그러한 신호들은 스피치, 텍스트, 또는 의미있는 심볼들로의 변환을 위해 추가 프로세싱될 수 있다. 그러한 기술들의 애플리케이션들은 보안 비-음성 표현 통신(secure non-vocalized communication)에 이용될 수 있다. 다른 실시 예에 있어서, 시스템은 손목에 둘러 착용될 수 있으며 상술한 바와 같이 제스처를 심볼로 변환한다. 그러한 심볼들은 발성 또는 음향 사운드의 이용없는 통신에 이용될 수 있다.

암호화(encryption): 일반적인 초음파 영상 압축은 일반적인 경우의 촬상 문제를 해결하는 통상적인 압축 알고리즘과 관련이 있다. 본 명세서에 개시된 실시 예들의 본질로 인해, 그것은 범용이 아니며, 단지 착용식 디바이스가 있는 제한된 영역에서 스캔을 한다. 이러한 이유 때문에, 그것은 조사 영역의 상당한 정적 본질을 활용할 수 있으며, 신호 엔트로피가 가장 높은 영역으로부터 정보를 추출할 수 있다. 이용된 정확한 압축 기술은 개별적인 이력 및 해부학으로부터 알고리즘적으로 결정되며, 시스템(1)은 개인들을 고유하게 식별하는데 이용될 수 있는 개인 맞춤형 암호화 메카니즘으로서 기능한다.

암호화 방식(cryptography): 정확한 스캐닝/빔 형성 프로토콜을 포함하는 압축 프로토콜 및 생체 계측 파일 헤더들은 각 사용자에 대해 고유하며, 그래서, 그 알고리즘은 암호화 알고리즘으로서 효과적으로 작용한다. 예를 들어, 고유 제스처는 고유 제스처 통신 심볼을 나타내는데 이용될 수 있으며, 그의 디코딩은 원래 압축/생체 계측 기술의 숙지(knowledge)를 요구한다. 이러한 특징부들은 디바이스 압축에 공중 키 암호화의 등가물을 제공한다. 개인 키(시퀀스들은 알고리즘 파라메타들을 나타냄)는 시스템에 상주하는 보안 디바이스 엔클레이브(secured device enclaves)상에 저장될 수 있다.

비-음향 환경/해저/공간: 음향 또는 구두 통신(verbal communication)을 지원하지 않는 환경에 있어서 통신을 위해 실시 예가 이용될 수 있다. 그러한 애플리케이션은 제스처 기반 심볼 방법들을 이용할 수 있으며, 또는 통신을 위해 발성화되거나 하위 발성화된 음소(vocalized or subvocalized phoneme)을 검출하기 위해 발성 활동의 식별을 이용할 수 있으며, 머신에 간단한 명령을 운반하는데 이용될 수 있다. 예를 들어, 대잠수함전투 기술(anti-submarine warfare technology)은 잠수정으로부터의 사운드 또는 음향 통신을 픽 업하는데 충분한 감도를 가진 고감도 소나 어레이(sonar array)들을 빈번하게 채용한다. 그 실시 예는 그러한 환경에서 검출을 피하는데 이용될 수 있다. 다른 예시는 다이버(diver)들에 의한 이용을 위한 수중에서의 제스처-기반 통신에 대한 것이지만, 그러한 기능을 인에이블하는 현재의 기술은 전용 다이빙 장비의 사용을 필요로 한다.

통신 거부 환경(communication denied environments): 실시 예는 최소 음향 또는 구두 통신의 부재를 요구하는 환경에서 통신을 위해 이용될 수 있다. 그러한 통신은 하위 발성 검출 또는 비가시선(non-line-of-sight) 제스처 기반 통신에 기초할 수 있다. 그러한 기술의 예시적인 애플리케이션은, 팀원들이 그들에게 이용될 수 있는 가시선 물리적 제스처 기반 통신 기법을 가지지 않을 수 있거나 낮은 광 환경에서 동작중이고 침묵을 유지하는 것이 전략적으로 중요한 적대적인 환경(hostile environment)에서 동작하는 군인 또는 민간인 전술 전문가용일 수 있다.

원조 호출(assistance calling) 911: 지정되거나 인증된 측으로부터 원조를 자동으로 요청하는데 실시 예가 이용될 수 있다. 그러한 애플리케이션은 사용자의 신체적 조건을 평가하기 위해 시스템의 생체 계측 계량 기능을 이용할 수 있다. 원조 요청은, 충돌, 낙하 또는 비정상적인 심장 동작과 같은 이상 신호(anomalous signal)가 검출될 때, 이루어질 수 있다.

비-인간 통신(non-human communication): 클래식 또는 오퍼랜드 조건 부여(classical or operant conditioning)를 이용하여 트레이닝될 수 있는 인간이 아닌 동물과 관련된 애플리케이션을 위한 애플리케이션이 고안될 수 있다. 그러한 실시 예의 예시적인 애플리케이션에 있어서, 이러한 예시에 제한되는 것은 아니지만, 애완 동물이 동물과 인간 모두가 볼 수 있는 영상을 프로젝트함에 의해 음식 유형에 대한 선호를 통신할 수 있으며, 거기에서는 동물이 프로젝션된 영상과의 음식 유형의 상관적인 이해를 획득한다.

그룹 동기화(group synchronization): 디바이스가 신체의 영역들에 착용되고 사람들의 그룹들이 착용한 근처의 또는 원격의 유사한 디바이스와 통신할 수 있는 실시 예가 이용될 수 있다. 그러한 시스템(1)은 특정 제스처 또는 자세에 의해 활성화되면 사용자에게 피드백 제어를 제공할 수 있다. 그러한 피드백 응답은 사람들의 그룹에 대해 활동들 및 태스크들을 동기화시키는데 이용될 수 있다.

측정 및 계량, 무게: 대안적인 실시 예에 있어서, 하나 이상의 손목 착용 버전들은 다른 정적인 또는 움직인 객체로부터 그 디바이스의 거리 또는 객체의 속도와 물리적 및 기계적 치수를 측정하는데 이용될 수 있다. 하나의 그러한 실시 예에 있어서, 그 디바이스는 다른 객체로부터의 거리를 측정하기 위하여 인-에어 초음파 트랜스시버를 거리계(range finder)로서 이용할 수 있다. 다른 그러한 실시 예에 있어서, 손가락 끝의 세퍼레이션(separation)들은 일반적인 손의 그랩(graph)에 들어맞을 수 있는 보다 작은 객체의 치수들을 측정하는데 이용될 수 있다. 그러한 실시 예는 구성, 엔지니어링, 필드 테스팅에 있어서의 애플리케이션에 유용할 수 있으며 일반적인 작업장 툴(workshop tool)로서 유용할 수 있다.

힘/토크 측정: 신체의 관절에서의 부하 반응을 측정하기 위해 하나 이상의 실시 예가 이용될 수 있다. 예를 들어, 손목 착용 실시 예는 덩어리를 들기 위해 손에 가해지는 반응 힘을 측정하는데 이용될 수 있다. 또 다른 예시는 발목과 마루간의 반응 힘을 측정하는 것일 수 있다. 림브 치수의 근사치를 이용하여, 반응에 대한 추가적인 정보인 림브에 대한 토크가 측정될 수 있다. 그러한 실시 예의 예시적인 이용은 물리적 객체에 적용되는 부하 및 토크가 모니터링될 필요가 있는 필드 또는 산업 엔지니어링에서 이루어진다.

무표지 자세 포착(markerless posture capture): 본 명세서에 안출된 실시 예들로부터 생성된 신체 또는 림브 자세 데이터는 국부적으로 수집되거나 컴퓨터 네트워크를 통해 실시 간으로 전송될 수 있다. 그러한 자세 데이터의 큰 개요서(large compendium)는 통신 기법의 분석에 이용될 수 있다. 그러한 데이터는 가상 현실, 애니메이션, 컴퓨터 생성 화상, 비디오 게임 및 텔레프레전스(telepresence)를 포함하는 애플리케이션에 이용될 수 있지만, 그러한 애플리케이션에 국한되는 것은 아니다. 예를 들어, 그러한 데이터는 게임에 있어서 가상 군중들을 시뮬레이션하거나 가상 현실 또는 텔레프레전스 기반 스포츠 이벤트를 위해 이용될 수 있다. 그 데이터는 추가적인 메트릭을 드러내보이도록 추가 프로세싱될 수 있다.

키네마틱 CGI 디렉션(direction): 하나 이상의 손목 착용 실시 예들은 CGI(Computer Generated Graphics), 모델링 및 애니메이션에 이용되는 것과 같은 제어 포인트들의 가상 표현의 디렉션(direction)을 요구하는 애플리케이션에 이용될 수 있다. 그러한 포인트들의 궤적 또는 위치들을 수동으로 프로그래밍하는 대신에 또는 그러한 컴퓨터 생성 포인트 궤적 또는 위치를 편집하기 위하여, 실시 예들은 제스처 또는 자세 정보를 심볼 또는 명령으로 변환시켜 그러한 포인트들과 상호 작용하도록 하는데 이용될 수 있다. 예를 들어, 손가락들의 관절들은 가상 키네마틱 링크(virtual kinematic linkage)에 대한 대용으로 이용될 수 있으며, 손으로부터의 자세 정보는 제어 포인트들을 조작하는데 이용될 수 있다. 비디오 게임, 3D 모델링 애플리케이션 또는 애니메이션 생성을 위해 예시적인 애플리케이션들이 발견될 수 있다.

조각(sculpting): 하나 이상의 손목 착용 실시 예들은 유선 또는 무선 네트워크를 통해 디지털적으로 랜더링된 객체와 상호 작용하는데 이용될 수 있다. 손의 자세들은 디지털 랜더링을 변형시키는데 이용될 수 있다. 예를 들어, 손가락 끝의 위치 또는 손바닥 표면은 솔리드 모델링(solid modeling)에 대한 3D 메쉬에 있어서 노드들을 생성 및 변형시키는데 이용될 수 있다. 다른 예시는 가상 조각 프로세스에서 새로운 모델을 생성하도록 그러한 노드들을 정의하기 위해 손가락 끝 위치들을 이용하는 것이다.

촉감 스캐닝/3D 스캐닝: 하나 이상의 손목 착용 실시 예들은 디지털 콘텐츠를 생성하고 그들을 유선 또는 무선 네트워크를 통해 릴레이하는데 이용될 수 있으며, 거기에서는 디지털 콘텐츠가 손가락 끝의 위치를 포함한다. 손가락 끝은 솔리드 객체(solid object)의 개요를 추적하는데 이용될 수 있다. 디지털 콘텐츠는 포인트 클라우드 형태를 취한다. 이러한 예시에 있어서, 그 기법은 3D 스캐닝 기술과 유사한 기능을 가진다.

불수의적 메트릭: 실시 예들은 불수의적 생체 역학 데이터를 획득하는데 이용되며, 그에 기초하여 추가적인 메트릭이 추정될 수 있다. 일부 예시적인 애플리케이션은 사용자 참여 추적 및 광고 최적화 분야에 존재할 수 있다. 신체 온도, 물리적 행동을 통해 결정된 조심성, 심박동수 및 호흡수와 같은 일부 생체 역학 신호들이 그 메트릭을 구성하는데 이용될 수 있다. 본 명세서에 개시된 실시 예의 사용의 장점은, 그러한 신호들이 패러디될 수 없거나 위조될 수 없고 실제 사용자 참여를 나타낸다는 점이다. 그러한 메트릭은 통상적인 CPV(click-per-view), 클릭 이용 및 시간 소비 뷰잉 유형 메트릭(click-through and time-spent-viewing type metric)을 보충하는데 이용될 수 있다.

파노라마 촬상: 손목 착용 실시 예 - 그 실시 예는 하나의 이상의 영상 센서들을 포함함 - 는 그 디바이스가 공간에 있어서 의도적으로 빙 둘러서 이동됨에 따라 영상을 계속적으로 획득하는데 이용될 수 있다. 획득된 영상들은 추후에 함께 꿰매어져 볼륨 광 필드 데이터 또는 파노라마 또는 타일형 영상들을 생성한다. 그러한 영상들은 가상 현실 또는 헤드 탑재형 디스플레이에 뷰잉될 수 있거나, 그들은 증강 현실 애플리케이션을 이용하여 뷰잉될 수 있다.

시선 및 시표 추적(gaze and eyetracking): 안면 착용 실시 예는 눈 근육의 상태를 모니터링하는데 이용될 수 있다. 예를 들어, 그러한 실시 예는 안구외 부착물(extraocular attachment) 형태일 수 있으며, 도 1에 도시된 바와 같이 관골, 관자놀이, 설상골 또는 위턱뼈 중 어느 하나상에 배치될 수 있다. 그것이 안구강(orbital cavity)에 대한 액세스를 제공하기 때문에 도시된 위치가 선택되며, 두개골에 있는 뼈들이 음향 전송을 크게 방해하기 때문에 다른 얼굴 위치에서 촬상하기 어렵고, 그것이 안구강(orbital cavity)에 대한 액세스를 제공하기 때문에 도시된 위치가 선택된다. 6개의 안근 그룹(상직근, 하직근, 외측직근, 내직근(좌측/우측) 및 상사근과 하사근(좌측/우측))과 상안검거근, 안륜근, 큰 광대근/작은 광대근, 상순거근의 상태를 추적하는데 이용될 수 있다, 그 장치가 어느 뼈에 배치되느냐에 기초하여, 시스템(1)은 눈꺼풀, 홍채의 단속 운동(saccade), 공막 영역(scleral region)의 회전, 볼 표정, 입의 구조 및 상태, 입술의 변형을 추적할 수 있다.

그러한 헤드 착용 실시 예의 정보는 시선 추적, 표정 및 눈 추적과 같은 애플리케이션에 이용될 수 있지만, 그에 국한되는 것은 아니다. 종래의 광학적 눈/시선 추적 하드웨어 보다도 나은 그러한 실시 예의 장점들 중 하나는 그것이 비-차페성(non-occultatory)(비-저지 또는 비-차단)이라는 것이다. 홍채 또는 동공의 직접적이거나 간접적인 뷰잉은 필요치 않다. 본 명세서에 개시된 실시 예들은 안과학적 및 치료적 분석 또는 모니터링을 위해 해석적 데이터를 제공하는 것에 추가하여 디지털 및 물리적 인터페이스와 객체를 제어하는데 이용될 수 있지만, 이에 국한되는 것은 아니다. 유사하게, 본 명세서에 개시된 실시 예들은, 주어진 자극에 대한 눈의 응답을 검출하는 피드백 신호로서 영상들 또는 비디오 콘텐츠를 제공하기 위하여 비-차단 수단이 눈을 추적하고 그의 파라메타들을 추론할 수 있게 하는 안경류 헤드 탑재형 디스플레이, 헬멧 또는 얼굴 마스크의 일부 일 수 있다. 그러한 실시 예들은, 실시 예에 의해 검출된 눈 파라메타들의 피드백에 의거하여 디스플레이된 영상 콘텐츠의 실질적인 모두 또는 일부를 수정, 조정, 압축, 강조 또는 하이라이트하는데 그 실시 예에 의해 제공된 피드백이 이용될 수 있는 증강 현실(AR) 디스플레이 애플리케이션에 유용하다.

표정 추적: 얼굴 착용 실시 예는, 상기에서 설명한 것과 유사하게, 안면 근육의 상태를 모니터링하는데 이용될 수 있다. 그러한 실시 예로부터 복구된 데이터는 사람들의 안면 표정을 해독하고 분석하는데 이용될 수 있다. 애플리케이션은 애니메이션 제어, 불수의적 메트릭 수집 또는 의료 행위를 포함한다.

탄성 측정(elastography): 탄성 측정은 조직의 기계적 경성의 그래프 표현을 구축하는 촬상 기법이다. 그러한 경성 그래프는 종양학적 모니터링 및 분석과 같은 애플리케이션에 이용될 수 있다. 손목 착용 애플리케이션일 수 있으며 촉감 촬상을 리셈블링(resembling)하는 일 실시 예는 상술한 방법들을 이용하여 조직의 힘 응답을 측정하는데 이용될 수 있다. 측정된 데이터는 온라인에서 이용 가능하게 만들어진 측정들의 개요서에 대해 또는 사용자로부터 이전에 획득한 참조 데이터와 비교될 수 있다. 그 비교는 조직의 기계적 응답에 있어서의 이상을 검출하는데 이용된다.

다른 실시 예에 있어서, 그 디바이스는 분석될 신체 부분을 둘러싸고 착용될 수 있으며, 또는 그 영역에 대해 느슨하게 배치될 수 있다. 시스템(1)의 밴드 요소(5)에 포함된 진동 모터 또는 SMA 액튜에이터는 조직을 주기적으로 여기시키거나 자극하는데 이용될 수 있으며, 반면 초음파 신호는 그 여기 동안에 능동적으로 수집된다. 수집된 신호들은 모니터링을 위해 알고리즘적으로 분석될 수 있으며 또는 전문가에 의해 분석될 수 있다.

충격적/충돌적/진탕적 충돌 모니터링(percussive/impactive/concussive impact monitoring): 신체의 다수의 영역들은 착용식 실시 예에 의해 모니터링될 수 있는 데, 그 실시 예는 모자, 부츠, 보호용 무릎 팔꿈치 웨어(wear) 및 장갑과 같은 의류, 의복 또는 보호 의복의 일부 일 수 있으며, 실시 예로부터 획득된 키네마틱, 관성 및 정적 데이터를 모니터링하는데 이용될 수 있다. 그러한 실시 예는 신체 또는 신체의 특정 부분에 가해질 수 있는 충격적 또는 진탕적 충돌 또는 낙하에 대한 정보를 제공하는데 이용될 수 있다. 애플리케이션들은 충돌적이거나 충격적 스포츠 행동을 포함하는데, 거기에서는 운동 관절, 머리 및 전반적으로 노출되거나 커버된 조직이, 갑작스럽고 비정상적으로 가속 및 감속되어 골격 시스템에 대해 그로스 관성 조직 움직임을 이끈다. 그러한 손상이 즉시 병리학적으로 나타나지 않을 지라도, 그들은 시간에 걸쳐 그렇게 된다. 이들 실시 예들은 실제 조직 움직임을 추적하고, 누적 손상을 모니터링하고, 임의 속성 질병(attributed disease)의 이해 및 치료를 돕는데 이용될 수 있다. 그러한 실시 예들은 스포츠 활동에 제한되는 것이 아니라, 다른 것들 중에서도, 건설, 산업 기술 근로, 경찰 및 소방 관리와 같은 공무원, 해양 및 군수 서비스와 같은 활동들을 포함할 수 있다.

스포츠 의학: 상술한 산업 안전과 관련된 기법에 추가하여, 본 명세서에 개시된 측면들은 인간 참여형 전문가(human-in-the-loop specialist)에 의해 또는 알고리즘적으로 제공된 성능 추적, 모니터링 및 개선 권고를 위해 일반적인 스포츠 의학 분야에 이용될 수 있다. 골프 스포츠는 좋은 예이다. 그러한 이용으로부터의 정보는 실시 예에 의해 수집되어, 다른 것들 중에서도, 스트록 충격, 스윙 효율, 속도, 활성 근육 그룹들 및 손목의 자세와 같이 골프와 관련된 자세 정보 및 생체 역학으로부터 수집된 메트릭들을 분석하는데 이용될 수 있다. 충격 영향, 던지기 동작의 효율을 평가하고 물리적 동작 또는 제스처의 유익한 효율 및 효과로의 생체 역학적 피드백을 제공하기 위해 다른 신체 부분을 모니터링하는 유사한 실시 예가 이용될 수 있다. 그러한 실시 예의 또 다른 예시적 이용은 생체 역학적 동기화가 요구되는 팀 스포츠 행동의 분석에 이용될 수 있다.

클라우드 상의 촬상: 하나 이상의 실시 예는 클라우드 상에서 획득되거나 재프로세싱될 수 있는 신호를 제공할 수 있다. 설명한 바와 같이, 인체 부착 착용식 시스템(1)은 입력 신호들의 직접적인 스캔 변환을 구현하기 위한 수단들을 갖출 필요가 없다. 그러므로, 그러한 US 신호의 원시, 압축 또는 암호화 형태가 클라우드 또는 네트워크 인프라구조상에 업로딩될 수 있는데, 거기에서는 스캔 변환 기법이 존재하고, 2D 영상들을 구축하는데 이용될 수 있다. 자동화된 영상 분석에 기초하여, 맞춤 초음파 신호 생성 또는 수신 프로토콜들이 시스템(1)에 다운로딩됨으로써 재구축된 영상의 품질 또는 본질이 개선될 수 있다. 그러한 맞춤 신호 생성 기능은 다른 신호 프로세싱 기법들 중에서도, 보다 높은 주파수, 보다 높은 해상도, 특정 스캔 주파수를 포함한다.

클라우드상의 모니터링: 하나 이상의 착용식 실시 예들은 클라우드 인프라구조상에서 획득되고 재프로세싱될 수 있는 신호들을 제공할 수 있다. 상술한 바와 같이, 그 신호들은 영상 포맷으로 스캔 변환되고, 그 다음 사용자에게 복귀될 수 있는 평가 및 종합 건강 모니터링 메트릭을 알고리즘적으로 생성하는데 이용될 수 있다. 예를 들어, 박동 맥관 조직(pulatile vascular tissue)로부터의 도플러 또는 정규 신호로부터의 심박동수를 측정하는 방법이 설명되었다. 다른 애플리케이션에 있어서, 맥관 조직/동맥의 구조적 팽창을 주시함에 의해 고혈압이 추정될 수 있다. 다른 실시 예에 있어서, 도플러 초음파는 림브내의 펄스 포인트에서 동맥을 통하는 혈액 흐름을 체크하고 혈압 평가를 복귀시키는데 이용될 수 있다. 그러한 실시 예는 주변 맥관 질병 위험, 고혈압을 가진 사람들에 있어서의 공통 발견, 동맥에 있어서의 플라그 누적(plaque buildup), 고혈압, 콜레스테롤이나 갑상선 또는 관절 마모 유형 문제를 식별하는 병리학 및 운동 장애를 평가하는데 이용될 수 있지만, 이에 국한되는 것은 아니다. 자동화된 영상 분석에 기초하여, 맞춤 초음파 신호 생성 또는 수신 프로토콜이 디바이스로 다운로딩됨으로써, 의학적 평가 및 메트릭 측정의 품질 또는 본질이 개선될 수 있다. 그러한 맞춤 신호 생성 기능은 다른 신호 프로세싱 기법들 중에서도 높은 주파수, 높은 해상도, 특정 스캔 주파수를 포함할 수 있다. 이러한 방식에서는, 클라우드 플랫폼(cloud platform)이 생활 방식의 변경을 구현하기 위하여 사용자에게 또는 개선된 의료 모니터링 및 평가를 위해 건강 관리 전문가에게 통계적 추정치 및 메트릭의 시간적 이력을 제공할 수 있다.

원격 방사선 진단(teleradiology): 실시 예들은 네트워크 예방 건강 관리, 모니터링 건강 관리 및 치료 건강 관리를 제공하는데 이용될 수 있다. 예를 들어, 사용자로부터의 정보는 요구시에 또는 자동적으로 클라우드로 운반될 수 있으며, 사용자들은 설명서 전문가 기술 분석을 통해 또는 알고리즘적으로 결정된 그들의 건강 상태에 대한 자동화된 갱신을 이용한다. 클라우드는 개인 또는 관영 건강 정보 네트워크로부터 개인 건강 기록 및 전자 건강 기록과 같은 정보를 요청하고 액세스할 수 있다. 그 다음, 클라우드는 사용자들로부터 메트릭들을 추출하기 위하여 데이터를 알고리즘적으로 분석하고/하거나 정보 과학(informatics) 및 분석 서비스를 제공하는 트레이닝된 기술자의 국부 또는 원격 네트워크로 태스크를 분배하는 최적의 방식을 알고리즘적으로 결정할 수 있다. 그들의 보고 및 메트릭은 클라우드 인프라구조로 제공되고, 그 다음 그 결과는 사용자에 가까운 의료 종사자 또는 사용자에게 직접 푸시된다. 수집된 메트릭과 표시된 결과에 기초하여, 그 알고리즘은 관련 전문가와의 사용자에 대한 약속 또는 추가적인 테스트를 자동으로 스케줄링한다. 의료인 및 건강 관리 관련 납입 분석학을 관리하는 조직은 사용자에게 관리된 클라우드를 이용하여 특정 기법을 스케줄링한다.

그러한 실시 예의 주요한 장점은, 훨씬 더 큰 통계적 가변성을 보여주는 단일의 고가 테스트와는 대조적으로 시 기간에 걸쳐 데이터가 자동으로 수집될 수 있다는 것이다. 계속적인 모니터링에 추가하여, 또 다른 장점은, 사용자가 테스트 및 스케줄링 서비스들을 일부러 액세스할 필요가 없다는 것이다.

기계적 터크(mechanical turk)/클라우드소싱된 통찰력(crowdsourced insight): 실시 예에 있어서, 아마 이용된다면, 이것은 인간참여형 건강 관리 주문 서비스(human-in-the-loop health-care on-demand service)를 제공한다. 사용자는 사용자의 메트릭 또는 영상들을 수동으로 검사하는 기술적 의료 서비스 제공자와 접속될, 1회 또는 가입 서비스일 수 있는 요청을 할 수 있다. 서비스들은 전문 심사관 등급 중심으로 구축될 수 있다. 사용자는 그러한 등급에 기초하여 특정 서비스를 선택할 수 있으며 익명 또는 기명(anonymized or named) 데이터를 액세스하기 위한 서비스를 허용하며, 익명 또는 기명 평가를 수신할 수 있다. 다수의 서비스들은 통계적 관련 평가를 획득하도록 조합될 수 있다. 그러한 평가는 사용자의 개인 건강 기록에 추가될 수 있다. 분석가 서비스들은 정확성 및 규제 서비스에 대해 알고리즘적으로 또는 수동적으로 감사를 받는다.

운동 장애: 하나 이상의 착용식 실시 예들은 신경근(neuromuscular) 및 근골격(musculoskeletal) 장애를 계속적으로 또는 간헐적으로 추적하고 모니터링하는데 이용될 수 있다. 그러한 실시 예들은, 다른 것들 중에서도, 일반적으로 병리학(pathology), 신경 병리학(neuropathology), 근골격 종양학(musculoskeletal oncology), 심박동 검사(cardiography), 심근증(cardiomyopathy), 정형 외과(orthopedics) 또는 류머티스학(rheumatology)과 같은 다양한 애플리케이션을 가지며, 병리학은 제시된 기술에 의해 인에이블되는 다양한 스캐닝 기법들을 이용하여 검출되고 모니터링될 수 있는 생체 역학 또는 키네마틱 맥관 마커(marker)에 의해 나타난다. 예를 들어, 발작(seizures)은 림브의 불수의적 트위칭(twitching) 또는 쉐이킹(shaking), 높은 콜레스테롤에 대한 플라그 누적 표지자, 국소 빈혈(ischemia), 아테롬성 동맥 경화증(atherosclerosis), 또는 혈관 수축(vasoconstriction)을 수반하는 다른 병리학에 의해 표시된다. 추가적으로, 그러한 기법의 주문 유효성은 비정상 마커 축적을 위한 통계적으로 상당한 데이터세트를 생성할 수 있다.

그러한 실시 예의 다른 예시는, 통계적으로 사용자의 통상적인 자세 또는 운동 이력의 일부가 아닌, 트위칭 동작, 운동 완만(bradykinesia), 안정시떨림(resting tremor), 자세 불안정 또는 경직을 모니터링하거나 식별하거나 특정화하는 손목 착용(around-wrist) 또는 신체 착용(around-body) 디바이스 형태를 취한다. 그러한 모니터링 또는 절차는 국부적으로 또는 원격으로 관리될 수 있으며, 사용자는 실 시간으로 그들의 성능에 대한 피드백을 수신할 수 있다.

수술/텔레프레전스 로봇 공학: 이전에 설명한 로봇 공학 애플리케이션과 유사하게, 실시 예는 정교한 수술 도구를 제어하는데 이용될 수 있다. 수술 로봇 공학은, 환자에 있어서 통계적 및 해부학적 가변성으로 인해, 전형적으로 사전-프로그래밍이 필요치 않을 수 있는 특정의 난제를 나타낸다. 트레이닝된 외과 의사는 현장에서 비-촉감적 전기 기계적 인터페이스를 이용하여 실 시간으로 로봇 메카니즘을 조작할 필요가 있다. 실시 예는 전문 의료진에 의해 이용된 제스처를 로봇 장치에 의해 실행될 수 있는 동작으로 직접 전환하는데 이용될 수 있다. 원격 로봇 공학에 대한 애플리케이션에 있어서, 절차를 원격으로 실행하기 위해 유사한 실시 예가 이용될 수 있다. 그러한 절차 동안에 획득한 데이터는 수집되어 의료용 로봇을 추가로 트레이닝하고 자동화하는데 이용될 수 있다.

온-핸드 가시화(on-hand visualization): 손목 착용 실시 예는 정보 검색 및/또는 관리를 위한 상시-이용 가능 정보 디스플레이 및 제스처 기반 수단들을 생성하기 위하여 살균 또는 청정룸 의복과 함께 이용될 수 있다. 예를 들어, 의학적 절차 동안에 사용중인 신체 부착 프로젝션 디스플레이를 가진 도구에 의해 제공된 실시간 가시화를 위해 시스템이 이용되는 실시 예가 제공될 수 있다. 이러한 실시 예는 시스템의 한손 작동성에 의해 인에이블된다.

치유 및 화장품(healing and cosmetic): 신체 착용/제거 가능 실시 예는 다수의 치료 또는 고식적 치유 촉진 애플리케이션(therapeutic or palliative healing promotion application) 및 화장품 애플리케이션에 이용될 수 있다. 예를 들어, 촬상을 위해 이용된 것 보다 더 큰 음향 압력을 생성하는 펄스형, 지향성 및 조향된 초음파는 혈액 관류(blood perfusion), 조직 자극 및 이완을 촉진하고, 통상적으로 조직 및 생체적 문제를 기계적으로 교란시키는 것으로 의심되며, 국소적으로 적용된 약의 전달 또는 표면하 흡수(sub-surface absorption)을 증진시키는 것으로 의심된다. 이러한 효과는 새로운 상태를 치료하고 기존의 상태를 관리하는데 이용될 수 있다. 예를 들어, 일부 실시 예들은, 다른 것들 중에서도, 골절 치유 촉진, 지향성 피하 지방 제거, 콜라겐 자극, 반흔 조직 파괴, 염증 및 부기 감소, 포노포레틱(phonoporetic) 애플리케이션에 이용될 수 있다. 그러한 실시 예는 의사에 의해 알고리즘적으로 및 수동적으로 제어될 수 있으며, 그와 동시에 촬상 기법 또는 조직 추적 또는 타겟팅 기법을 이용하여, 특정 영역에서 제어된 음향 에너지를 전달할 수 있다. 그러한 실시 예는 클라우드에 걸쳐 직접 또는 원격으로 제어된다.

물리 치료(physiotherapy): 하나 이상의 착용식 실시 예들은 신경근(neuromuscular) 및 근골격(musculoskeletal) 장애에 공통인 처방된 치료의 품질 및 성능을 평가하는데 이용될 수 있다. 예를 들어, 상기 기술의 실시 예는 무릎에 착용될 수 있고, 무릎 영역의 조직 및 인대의 구조적, 동적 및 기계적 성질의 표지자와, 운동 및 자세 역학을 복귀시킬 수 있으며, 그러한 정보는 치료를 안내하는데 이용될 수 있다.

운동 장애: 하나 이상의 실시 예들은 신경근 및 근골격 장애에 대한 피드백을 추적, 모니터링 및 제공하는데 이용될 수 있다. 그 피드백은 촉각, 시각 또는 청각 자극을 통해 사용자에게 제공되거나 메트릭의 추가 통신을 통해 숙련자에게 제공된 교정 조건 부여 정보 형태를 취한다. 그러한 실시 예의 예시는 통계적으로 사용자의 통상적인 자세 또는 운동 이력의 일부가 아닌, 트위칭 동작, 운동 완만(bradykinesia), 안정시 떨림(resting tremor), 자세 불안정 또는 경직을 모니터링하거나 식별하거나 특정화하는 손목 착용(around-wrist) 또는 신체 착용(around-body) 디바이스 형태를 취한다. 조직 경직 또는 기하학적 구조를 식별하는 것과 같은, 추가적인 정형 외과적 근골격 메트릭들은 처치 효능을 결정하기 위해 숙련자에게 제공될 수 있다. 그러한 모니터링 또는 절차는 국부적으로 또는 원격으로 관리될 수 있으며, 사용자는 실 시간으로 그들의 성능에 대한 피드백을 수신할 수 있다.

보철 애플리케이션(prosthetic application): 사용자에 있어서 신체적 장애의 다른 기법들에 대한 재활 및 보조 디바이스에 실시 예가 이용될 수 있다. 수술 후 조리의 가장 중요한 측면들 중 하나는 환자의 신체적 재활이다. 수술 준비 및 계획은 성공적인 수술후 재활에 대한 전략을 포함할 수 있다.

예시적인 실시 예에 있어서, 보철 소켓은 스텀프(stump)의 플랩(flap) 뒤의 조직에 있어서의 수의적 및 불수의적 변형을 모니터링하는데 이용될 수 있는 시스템(1)을 포함할 수 있다. 스텀프 영역은 큰 전단 스트레스(shearing stress)를 유지하기 때문에 심부(deep body) 조직 제스처 식별을 위한 신호를 추출하는데 있어서 심부 신호(deeper signal) 기법들이 이용될 것임을 알 것이다. 실시 예의 애플리케이션에 있어서, 수술전 계획은 수명 품질 및 이용의 용이성을 최대화하기 위하여 플랩의 절개, 플랩의 고안, 절개, 절단, 결찰(ligation), 재유착(reattachment), 재연결 및 고안을 결정하면서 수술후 보철 고안 고려를 포함할 수 있다.

본 명세서에 개시된 실시 예들의 또 다른 애플리케이션은 인공 성대 애플리케이션(voice prostheses application)이다. 후두절제(laryngectomy) 또는 기관식도 구멍(tracheoesophageal puncture) 수술과 같은 절차는 환자의 음향 스피치를 생성하는 기능의 상실을 유발할 수 있다.

증강 현실 책: 손목 착용 실시 예는 프로젝션된 광 필드가 손으로 들고 있는 객체와 상호 작용하는 증강 현실 애플리케이션에 이용될 수 있다. 예시적인 실시 예는, 프로젝션된 영상이 손으로 들고 있는 책의 페이지상에 디스플레이되고 영상은 사전 정보(dictionary information)를 디스플레이하는 것이다. 그러한 실시 예는 시스템에 내장된 센서들로부터 정보를 추출하기 위하여 광학적 문자 인식 알고리즘 또는 머신 비전 방식(machine vision approach)과 조합될 수 있으며 센서로부터의 데이터는 프로젝션된 영상 또는 다른 기법들을 제어하는데 이용될 수 있다.

정적 매체 상호 작용: 인쇄 매체의 쇠퇴에 기여하는 주요한 문제점들 중 하나는 콘텐츠가 정적이고 비-대화식이라는 점이다. 하나 이상의 손목 착용 실시 예들은, 프로젝트 광 시스템의 동작을 안내하기 위해 시스템상의 센서들이 인식할 수 있는 광학적 인식 가능 코드들을 이용함으로써, 정적 또는 인쇄 매체에 관한 그러한 사안을 해결하는데 이용될 수 있다. 예시적인 실시 예는 네트워크형 리소스상에 배치될 수 있는 특정 영상, 비디오 또는 다른 그러한 대화식 콘텐츠를 보여주기 위하여 프로젝션된 디스플레이를 안내하는 정적 QR 코드를 스캔닝한다. 그러한 시스템은 동적으로 생성된 콘텐츠를 디스플레이하거나 광고 목적으로 이용될 수 있다.

정보 키오스크(information kiosk): 손목 착용 실시 예는 물리적 객체의 근접성에 기초하여 또는 네비게이션인 위치 결정 센서로부터 결정된 위치 좌표에 기초하여 무선 또는 유선 통신 네트워크를 통해 공급된 동적 정보 또는 콘텐츠를 디스플레이하는데 이용될 수 있다.

맵(map)들: 손목 착용 실시 예는, 네비게이션 센서로 부터 위치가 결정되고 유선 또는 무선 네트워크를 통해 정보가 액세스되는 위치 기반 정보를 디스플레이하는데 이용될 수 있다. 디스플레이는 맵과 같은 정보를 보여줄 수 있다. 시스템 카메라를 이용할 수 있는 온 보드 머신 비전 시스템은 디스플레이에 있어서 콘텐츠를 추가로 조정 및 형성하는데 이용될 수 있다.

QR 코드: QR(Quick Response) 코드 또는 일반 머신 비전 기반 객체 인식과 같은 인코딩된 정적 그래픽의 광범위한 채택을 방해하는 주요한 문제점들 중 하나는 인코딩된 명령을 해독하고 디스플레이하는데 이용되는 디바이스가 항상 편리하게 이용할 수 있는 것도 아니고 이용 준비가 되어 있는 것도 아니라는 점이다. 그러므로, 손목 착용 실시 예는 그러한 인코딩된 정보 또는 일반적인 장면의 영상을 획득하고 프로젝션된 디스플레이를 이용하여 인식된 객체 또는 디코딩된 정보를 랜더링하기 위해 간단한 제스처와 함께 이용될 수 있다. 그러한 실시 예는 쇼핑 애플리케이션에 있어서 가격 및 선택적 제품을 문의하는데 이용될 수 있다. 그러한 기술이 산업 현장에서 물류 및 물품 목록 관리에 이용될 수 있으며, 또는 부분들을 자세히 살펴보는데 이용될 수 있다.

몰입형 디스플레이/타일식(tiled): 하나 이상의 손목 착용 실시 예들은 외부 표면상에 프로젝션하고 큰 타일식 몰입형 3D 디스플레이를 생성하기 위해 동기화에 이용될 수 있다. 이 디스플레이는 온 보드 관성 측정 시스템으로부터의 데이터를 이용함에 의해 사용자 위치 및 자세의 드리프트(drift)에 대해 보상된다. 사용자는 제스처를 이용하여 프로젝션 디스플레이와 상호 작용한다.

다른 증강 현실 실시 예에 있어서, 시스템(1)은 신체 부착 프로젝션 표면들중 하나에 영상의 일부만을 프로젝트할 수 있다. 사용자가 자세 또는 배향을 변경함에 따라, 디스플레이된 영상은 배향 및 자세 변경에 따른 피드백에 있어서 2차원 이상의 공간에 걸쳐 스크롤(scroll)될 수 있다.

몰입형 게임: 하나 이상의 손목 착용 실시 예들은 몰입형 대화식 엔터테인먼트 경험을 위해 이용될 수 있다. 그러한 실시 예들은, 다른 것들 중에서도, 디바이스 위치, 사용자 자세, 제스처에 대한 정보를 공유하기 위하여 디바이스간 통신 기법을 이용할 수 있다. 그러한 정보는 디스플레이된 정보를 갱신하는데 이용될 수 있다. 디스플레이된 정보는 신체 부착 표면상 및 외부 표면상에 랜더링될 수 있다.

상술한 개시의 다양한 장소에, 여러 실시 예들이 의료 분야에 애플리케이션을 가지고 있음을 지적하였다. 일반적으로 그러한 이용은 치료 및 진단을 필요로 하는 상황의 발견과, 진단이 이루어질 경우의 상황의 평가 및 모니터링과 함께 이루어진다.

상술한 개시는 예시적인 방식으로 설명되었지만, 그 개시는 그에 국한되는 것은 아님을 알 것이다. 그것은 광범위한 수정 및 유사한 배열을 포함함을 의미한다. 본 개시의 특징부들 및 구성 요소들의 수정은 본 개시의 핵심적 개념을 벗어나지 않고 이루어질 수 있음을 알 것이다. 결과적으로, 본 개시의 범주는 상술한 설명에 국한되는 것이 아니라 본 명세서에 설명한 첨부된 특허청구범위에 의해 제한된다.

Claims (59)

1. 인간-컴퓨터 인터페이스 시스템에 있어서 착용식 제스처 인식 디바이스를 이용하여 제스처 명령을 생성하는 방법으로서,
   착용식 제스처 인식 디바이스의 강체 움직임(rigid body motion)과 해부학적 특징부의 사전 결정된 다수의 내부 또는 외부 객체들의 생체 메트릭들에 기초하여 수학적 모델을 제공하는 단계와;
   사용자의 해부학적 특징부의 공간-시간 단면을 매핑시킴에 의해 다수의 객체들의 사용자의 해부학적 특징부로부터 초음파 신호 데이터 세트를 획득하는 단계와;
   초음파 신호 데이터와 수학적 모델을 상관시킴에 의해 객체들의 사전 결정된 성질을 식별하는 단계와;
   식별된 객체의 성질에 기초하여 사용자의 해부학적 특징부의 자세를 추정하는 단계와;
   추정된 자세에 기초하여 제스처 명령을 생성하는 단계를 구비한
   제스처 명령 생성 방법.
   
2. 제 1 항에 있어서,
   매칭된 객체들은 사용자의 근육, 힘줄, 인대, 맥관 구조, 뼈, 진피, 표피, 상피(epithelial), 연결 근육 및 신경 조직중 하나 이상을 구비하는
   제스처 명령 생성 방법.
   
3. 제 1 항에 있어서,
   상기 성질은, 객체의 반경, 위치, 다른 객체에 대한 상대적 위치, 각도, 다른 객체에 대한 상대적 각도, 박동, 변형, 에코 발생도, 속도, 변위, 외연(extension), 압축, 출연(appearance), 사라짐(disappearance) 및 각 성질의 차동 변경들 중 적어도 하나를 구비하는
   제스처 명령 생성 방법.
   
4. 제 1 항에 있어서,
   자세 추정은, 사용자의 사전 결정된 이벤트(event), 물리적 변경 또는 상태를 측정하도록 구성된 센서 요소로부터의 추신된 센서 출력에 기초하는
   제스처 명령 생성 방법.
   
5. 제 4 항에 있어서,
   센서 요소는 가속도계, 자이로스코프, 압력 센서, GPS 센서, 마이크로폰, 전자기 촬상 센서, 주변 광 센서, 컬러 센서, 각도 센서, 전기 생리학 센서, EMG 센서, 생체 음향 센서, 혈류기능검사 센서(photoplethysmographic sensor), RFID 안테나, 초음파 거리 측정 센서, 고주파 트랜스시버 어레이, 전자장 센서 또는 근접 센서로 이루어진
   제스처 명령 생성 방법.
   
6. 제 4 항에 있어서,
   추정된 자세의 추정된 키네마틱은 부드러운 조직 변형 맵을 생성하는데 이용되는
   제스처 명령 생성 방법.
   
7. 제 6 항에 있어서,
   부드러운 조직 변형 맵은 프로젝션된 디스플레이를 보상 및 조정하는데 이용되는
   제스처 명령 생성 방법.
   
8. 제 4 항에 있어서,
   제스처 명령에 기초하여 사전 결정된 실행 가능 컴퓨터 명령을 생성하는 단계를 더 구비하는
   제스처 명령 생성 방법.
   
9. 제 8 항에 있어서,
   컴퓨터 명령의 세트는 비 선형 표면을 촬상하도록 구성된 컬러 센서와 촬상 센서로부터 수신한 입력에 기초하여, 비 선형 표면상에 프로젝션된 디스플레이 정보를 수정하는
   제스처 명령 생성 방법.
   
10. 제 9 항에 있어서,
    비 선형 표면은 사용자의 신체 표면인
    제스처 명령 생성 방법.
    
11. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 컴퓨터 메모리내의 사용자 선택 디지털 콘텐츠를 삭제하는
    제스처 명령 생성 방법.
    
12. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 컴퓨터 메모리내의 사용자 선택 디지털 콘텐츠로 진출(advance)하거나 복귀(return)하는
    제스처 명령 생성 방법.
    
13. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 디지털 카메라 시스템에 있어서의 영상 포착을 트리거(trigger)하는
    제스처 명령 생성 방법.
    
14. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 디지털 카메라 시스템에 있어서의 파노라마 영상 포착을 트리거하는
    제스처 명령 생성 방법.
    
15. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 3차원 광 필드 디스플레이를 수정하는
    제스처 명령 생성 방법.
    
16. 제 8 항에 있어서,
    컴퓨터 명령의 세트는, 컴퓨터 디스플레이상의 2차원 커서(cursor)를 제어하는
    제스처 명령 생성 방법.
    
17. 제 8 항에 있어서,
    컴퓨터 명령의 세트는, 3차원 광 필드 디스플레상의 3차원 커서를 제어하는
    제스처 명령 생성 방법..
    
18. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 컴퓨터 게임과 대화하는
    제스처 명령 생성 방법.
    
19. 제 8 항에 있어서,
    컴퓨터 명령의 세트는, 사용자의 양손상에 디스플레이되는 컴퓨터 게임과 대화하는
    제스처 명령 생성 방법.
    
20. 제 8 항에 있어서,
    컴퓨터 명령의 세트는, 산업 장비 일부(a piece of industral equipment)를 모니터링하거나 제어하는
    제스처 명령 생성 방법.
    
21. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 육지, 공중 또는 해양 운송 수단을 원격으로 조종하는데 이용되는
    제스처 명령 생성 방법.
    
22. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 홈 엔터테인먼트 시스템(home entertainment system)과 대화하는
    제스처 명령 생성 방법.
    
23. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 전력 도구 또는 로봇 시스템을 제어하는
    제스처 명령 생성 방법.
    
24. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 로봇 수술 시스템을 제어하는
    제스처 명령 생성 방법.
    
25. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 객체의 공간 치수 또는 기하학적 구조를 매핑하고 랜더링하는
    제스처 명령 생성 방법.
    
26. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 사용자의 림브(limb)에 의해 적용된 힘, 토크 및 모멘트(moment)를 측정하는
    제스처 명령 생성 방법.
    
27. 제 8 항에 있어서,
    컴퓨터 명령의 세트는, 디지털 콘텐츠 생성을 위해 3차원 콘텐츠와 대화하는
    제스처 명령 생성 방법.
    
28. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 조직 탄성측정 지원 모니터링(elastography-aided monitoring)을 위해 이용되는
    제스처 명령 생성 방법.
    
29. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 충격 스트레스에 대한 관절, 물리 치료(physiotherapy)를 위한 자세 또는 움직임을 모니터링하는데 이용되는
    제스처 명령 생성 방법.
    
30. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 인쇄 콘테츠와의 사용자 대화에 이용되는
    제스처 명령 생성 방법.
    
31. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 디스플레이된 증간 현실 콘텐츠와의 사용자 대화에 이용되는
    제스처 명령 생성 방법.
    
32. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 디스플레이된 가상 현실 콘텐츠와의 사용자 대화에 이용되는
    제스처 명령 생성 방법.
    
33. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 물품 목록 분별 애플리케이션에 이용되는
    제스처 명령 생성 방법.
    
34. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 가상 몰입형 디스플레이를 생성하는데 이용되는
    제스처 명령 생성 방법.
    
35. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 몰입형 멀티-플레이어 게임(immersive multi-player game)에 이용되는
    제스처 명령 생성 방법.
    
36. 제 8 항에 있어서,
    컴퓨터 명령의 세트는 프로젝션 표면상의 디스플레이 정보를 수정하는
    제스처 명령 생성 방법.
    
37. 제 36 항에 있어서,
    디스플레이 정보는 그래픽 사용자 인터페이스 아이콘을 구비한 컴퓨터 메뉴 스크린을 구비하는
    제스처 명령 생성 방법.
    
38. 제 1 항에 있어서,
    수학적 모델은 럼프형, 유한 또는 혼합형 요소 모델을 구비하는
    제스처 명령 생성 방법.
    
39. 제 1 항에 있어서,
    수학적 모델은 동적 및 변형 가능 메쉬를 구비하는
    제스처 명령 생성 방법.
    
40. 제 1 항에 있어서,
    수학적 모델은, 키네마틱 제약을 받아 동작하는 적어도 하나의 수치적 최적화 루틴을 구비하는
    제스처 명령 생성 방법.
    
41. 제 1 항에 있어서,
    수학적 모델은, 적어도 하나의 통계적 자율 학습 모델(unsupervised statistical learning model)을 구비하는
    제스처 명령 생성 방법.
    
42. 제 1 항에 있어서,
    수학적 모델은, 적어도 하나의 통계적 지도 학습 모델(supervised statistical learning model)을 구비하는
    제스처 명령 생성 방법.
    
43. 제 1 항에 있어서,
    수학적 모델은, 적어도 하나의 확률 그래프 모델을 구비하는
    제스처 명령 생성 방법.
    
44. 해부학적 특징부의 성질을 원격으로 모니터링하는 방법으로서,
    착용식 제스처 인식 디바이스의 강체 움직임(rigid body motion)과 해부학적 특징부의 사전 결정된 다수의 내부 또는 외부 객체들의 생체 메트릭들에 기초하여 수학적 모델을 제공하는 단계와;
    사용자의 해부학적 특징부의 공간-시간 단면을 매핑시킴에 의해 다수의 객체들의 사용자의 해부학적 특징부로부터 초음파 신호 데이터 세트를 획득하는 단계와;
    초음파 신호 데이터와 수학적 모델을 상관시킴에 의해 객체들의 사전 결정된 성질을 식별하는 단계와;
    객체의 식별된 성질을 네크워크를 통해 원격 위치로 컴퓨터 독출 가능 정보 형태로 전송하는 단계를 구비한
    해부학적 특징부의 성질의 원격 모니터링 방법.
    
45. 인간-컴퓨터 인터페이스에 대한 착용식 제스처 인식 시스템으로서,
    사용자의 해부학적 특징부상에 고정되도록 구성된 밴드 요소;
    밴드 요소상의 사전 결정된 위치들에 배치된 다수의 공간 이격(spaced-apart)된 초음파 트랜스시버들 - 트랜스시버들은, 밴드가 사용자에 의해 착용되면, 초음파 신호를 전송하고, 사용자의 해부학적 특징부의 단면의 공간-시간적 맵을 나타내는 반사 신호를 획득하도록 구성됨 - ;
    획득된 공간-시간 맵을 수신하고, 프로세싱하여, 신호 프로세서에 출력하는 프로세싱 회로를 구비하는
    착용식 제스처 인식 시스템.
    
46. 제 45 항에 있어서,
    트랜스시버는, 상부 및 하부 어드레스 가능 매트릭스 전극과, 음향 결합층과, 음향 렌징층(acoustic lensing layer)과, 음향 정합층 및 전송 능동/수동 임피던스 층을 각각으로 가진 개별적인 초음파 트랜스시버 서브 요소(individual ultrasound transceiver subelement)들의 2차원 어레이인
    착용식 제스처 인식 시스템.
    
47. 제 45 항에 있어서,
    밴드 요소는 사용자의 림브의 주변을 둘러싸고 고정되도록 구성되는
    착용식 제스처 인식 시스템.
    
48. 제 47 항에 있어서,
    밴드 요소와 통신하는 착용식 근안용 디스플레이 시스템을 더 구비하고,
    프로세싱 회로는 착용식 근안용 디스플레이 시스템으로부터 프로세싱을 위한 정보를 수신하여, 착용식 근안용 디스플레이 시스템으로부터 수신한 정보에 따라 해부학적 특징부의 단면의 공간시간적(spatiotemporal) 맵을 수정하고, 수정된 공간시간적 맵을 신호 프로세서로 출력하도록 구성되는
    착용식 제스처 인식 시스템.
    
49. 제 47 항에 있어서,
    밴드 요소와 통신하는 이동 통신 디바이스를 더 구비하고,
    프로세싱 회로는 이동 통신 디바이스로부터 프로세싱을 위한 정보를 수신하여, 이동 통신 디바이스로부터 수신된 정보에 따라 해부학적 특징부의 단면의 공간시간적 맵을 수정하고, 수정된 공간시간적 맵을 신호 프로세서로 출력하도록 구성되는
    착용식 제스처 인식 시스템.
    
50. 제 47 항에 있어서,
    밴드 요소는 사용자 착용시 밴드 요소에 대해 사전 결정된 장력을 제공하도록 구성된 가변 장력 요소를 구비하는
    착용식 제스처 인식 시스템.
    
51. 제 45 항에 있어서,
    3차원 볼륨의 해부학적 특징부의 위치를 감지하도록 구성된 자이로스코프와 가속도계 중 적어도 하나를 포함하는 센서 요소와, 사용자의 해부학적 특징부의 추정된 자세와 감지된 위치를 구비한 3차원 광 필드 디스플레이에 있어서의 위치 종속적 제스처 인터페이스를 더 구비하는
    착용식 제스처 인식 시스템.
    
52. 제 51 항에 있어서,
    위치 종속적 제스처 인터페이스는, 사용자가, 광 필드 디스플레이 시스템에서 사용자에 의해 뷰잉되는 디지털 콘텐츠와 대화하거나 그 디지털 콘텐츠를 조작하도록 구성되는
    착용식 제스처 인식 시스템.
    
53. 제 52 항에 있어서,
    디스플레이 시스템은, 증강 현실 디스플레이 시스템 또는 가상 현실 디스플레이 시스템을 구비한 착용식 근안용 디스플레이 시스템인
    착용식 제스처 인식 시스템.
    
54. 제 52 항에 있어서,
    디지털 콘텐츠는 직접 뷰 광 필드 디스플레이 시스템(direct view light field display system)상에 디스플레이되는
    착용식 제스처 인식 시스템.
    
55. 제 51 항에 있어서,
    감지된 위치 및 추정된 자세를 외부 컴퓨터 또는 디스플레이 시스템에 무선으로 전송하는 무선 인터페이스를 더 구비하는
    착용식 제스처 인식 시스템.
    
56. 제 55 항에 있어서,
    광 필드 디스플레이 시스템은, 증강 현실 디스플레이 시스템 또는 가상 현실 디스플레이 시스템을 구비한 착용식 근안용 디스플레이 시스템인
    착용식 제스처 인식 시스템.
    
57. 제 55 항에 있어서,
    디스플레이 시스템은 직접 뷰 광 필드 디스플레이 시스템인
    착용식 제스처 인식 시스템.
    
58. 제 45 항에 있어서,
    해부학적 특징부상에 착용되어, 사용자의 신체 표면 또는 외부 표면상에 디스플레이하기 위한 디지털 콘텐츠, 객체 또는 아이콘들을 프로젝션하도록 구성된 피코 프로젝터를 더 구비하며, 사용자는 제스처 명령을 통해 디지털 콘텐츠, 객체 또는 아이콘들과 대화하거나, 디지털 콘텐츠, 객체 또는 아이콘들을 조작 또는 선택하는
    착용식 제스처 인식 시스템.
    
59. 제 58 항에 있어서,
    사용자의 손 위치를 이용하여 사용자의 신체 또는 외부 표면상에 프로젝트되는 디지털 콘텐츠의 일부를 선택하도록 구성된 자이로스코프 또는 가속도계를 더 구비하는
    착용식 제스처 인식 시스템.
    

Images