KR20220116329A

KR20220116329A - 구강내 디바이스 제어 시스템

Info

Publication number: KR20220116329A
Application number: KR1020227026533A
Authority: KR
Inventors: 가쓰유키 사쿠마; 스티븐 존 헤이시그; 마이클 안젤로 스텔리타노
Original assignee: 인터내셔널 비지네스 머신즈 코포레이션
Priority date: 2020-03-12
Filing date: 2021-03-04
Publication date: 2022-08-22
Also published as: US11197773B2; GB202215031D0; WO2021181223A1; AU2021234183A1; AU2021234183B2; GB2609136B; JP2023517186A; CN115190991A; US20210282953A1; GB2609136A; DE112021000353T5

Abstract

사용자가 컴퓨터 시스템 또는 전자 디바이스의 동작을 제어할 수 있게 하는 구강내 제어 메커니즘을 구현하는 메커니즘들이 제공된다. 상기 구강내 제어 메커니즘은 사용자의 혀가 제어 메커니즘을 고정된 위치로부터 멀어지게 이동시키는 것에 기초한 스트레인을 검출하고; 검출된 스트레인을 제어 신호로 변환하고; 제어 신호의 진폭을 증폭시켜 증폭된 제어 신호를 생성하고; 증폭된 제어 신호를 디지털 입력 신호로 변환하고; 디지털 입력 신호를 송신 주파로 변조하고; 디지털 입력 신호를 컴퓨터 시스템으로 송신한다. 이어서 컴퓨터 시스템은 디지털 제어 신호를 컴퓨터 시스템 자체에서 실행하여 동작을 수행하거나 디지털 제어 신호를 전자 디바이스로 송신하여 디지털 제어 신호에 의해 지시된 대로 동작하게 한다. 디지털 입력 신호는 사용자의 분석 및 특성화를 위해 저장된다.

Description

구강내 디바이스 제어 시스템

[0001] 본 출원은 사용자의 혀와 턱의 움직임에 의해 컴퓨터 또는 다른 디바이스를 제어하기 위한 구강내 디바이스(an intraoral device) 및 사용자 인터페이스 시스템에 관한 것이다.

신체 장애가 없는 사람부터 사지 마비에 이르기까지 다양한 도움이 필요한 사람들이 사용할 수 있다. 이 메커니즘은 손과 발이 모두 사용되는 작업이나 손이나 발을 사용하지 않는 경우에 사람들이 사용할 수 있다. 이 메커니즘은 현재 작업에서 눈을 돌리는 것이 바람직하지 않고 사용자가 컴퓨터 시스템이나 디바이스에 제어 입력을 해야 하는 상황에서도 사용될 수 있다.

[0002] 보조 디바이스는 이동성, 교통, 의사 소통, 일상 생활 활동 및 작업 관련 활동 수행과 관련되고 도움이 되는 비의료 도구이다. 보조 디바이스의 가장 일반적인 예로는 스스로 걸을 수 없는 사람들을 돕는 휠체어, 보행 보조기 및 목발과 같은 이동 디바이스가 있다. 적응 기술은 기존 도구를 장애인이 사용할 수 있도록 적응시키는 일종의 보조 기술이다. 이러한 보조 디바이스는 ‘전통적인’ 이동 장애가 있는 사람들뿐만 아니라 심혈관, 피로 기반, 마비 기반 등의 병태를 가진 사람들도 사용할 수 있다.

[0003] 본 발명의 내용은 본원의 발명을 실시하기 위한 구체적인 내용에서 자세히 설명하는 엄선된 개념을 단순화된 형태로 소개하기 위해 제공한다. 본 발명의 내용은 청구하는 주제의 핵심 요소 또는 필수 특징을 식별할 의도가 있지 않으며 청구하는 주제의 범위를 제한하는 데 사용할 의도도 없다.

[0004] 일 예시적인 실시예에서, 데이터 처리 시스템에서 사용자가 예시적인 실시예에 따라서 컴퓨터 시스템 또는 전자 디바이스의 동작을 제어할 수 있게 하는 구강내 제어 메커니즘을 구현하기 위한 방법이 제공된다. 예시적인 실시예는 상기 구강내 제어 메커니즘의 센서에 의해, 사용자의 혀가 제어 메커니즘을 고정된 위치로부터 멀어지게 이동시키는 것에 기초한 스트레인을 검출한다. 예시적인 실시예는 상기 센서에 의해, 상기 검출된 스트레인을 제어 신호로 변환한다. 예시적인 실시예는 상기 구강내 제어 메커니즘의 증폭기에 의해, 상기 제어 신호의 진폭을 증폭하여 증폭된 제어 신호를 생성한다. 예시적인 실시예는 상기 구강내 제어 메커니즘의 아날로그-디지털 변환기에 의해, 상기 증폭된 제어 신호를 디지털 입력 신호로 변환한다. 예시적인 실시예는 상기 구강내 제어 메커니즘의 무선 주파수(RF) 마이크로컨트롤러에 의해, 상기 디지털 입력 신호를 송신 주파(transmission frequency wave)로 변조한다. 예시적인 실시예는 상기 RF 마이크로컨트롤러에 의해, 상기 디지털 입력 신호를 상기 컴퓨터 시스템에 송신하며, 상기 컴퓨터 시스템은 그 다음상기 디지털 입력 신호를 미리 훈련된 분류자들 및 기타 소프트웨어를 이용하여 디지털 제어 신호로 해석한다. 그 다음, 예시적인 실시예는 상기 컴퓨터 시스템 자체에서 상기 디지털 제어 신호를 실행하고 상기 디지털 제어 신호와 연관된 동작을 수행하거나 또는 상기 디지털 제어 신호를 상기 전자 디바이스의 전자 디바이스 제어 메커니즘에 송신하여 상기 전자 디바이스 제어 메커니즘이 포함된 상기 전자 디바이스가 상기 디지털 제어 신호에 의해 지시된 대로 동작하게 한다. 예시적인 실시예는 또한 사용자의 건강 상태의 특성화를 위해 상기 디지털 입력 신호를 저장할 수 있다.

[0005] 바람직하게는, 본 발명은 한 방법을 제공하며, 여기서 상기 구강내 제어 메커니즘은 상기 사용자가 착용하는 치과용 리테이너 내에 포함된다.

[0006] 바람직하게는, 본 발명은 한 방법을 제공하며, 여기서 상기 치과용 리테이너는 상기 사용자의 구강 내 경구개에 부착되는 성형된 플라스틱 중앙 부분을 포함하고, 상기 성형된 플라스틱 중앙 부분은 적어도 상기 제어 메커니즘 및 상기 센서를 포함한다.

[0007] 바람직하게는, 본 발명은 한 방법을 제공하며, 여기서 상기 증폭기, 상기 아날로그-디지털 변환기, 상기 마이크로컨트롤러, 및 상기 안테나는 상기 성형된 플라스틱 중앙 부분 내에 포함된다.

[0008] 바람직하게는, 본 발명은 한 방법을 제공하며, 여기서 상기 증폭기, 상기 아날로그-디지털 변환기, 상기 마이크로컨트롤러, 및 상기 안테나는 상기 성형된 플라스틱 중앙 부분에 부착된 와이어들 내에 포함되고, 상기 와이어들은 상기 사용자의 윗니 주위를 감싸고 상기 치과용 리테이너를 상기 사용자의 구강 내에 잡고 있는다.

[0009] 바람직하게는, 본 발명은 한 방법을 제공하며, 여기서 상기 제어 메커니즘은 360도 운동 및 상방 운동과 이어지는 하방 운동을 구비한다.

[0010] 바람직하게는, 본 발명은 한 방법을 제공하며, 여기서 상기 센서는 금속 구조, 압전 저항 구조, 또는 압전 구조를 포함하는 군에서 선택된다.

[0011] 바람직하게는, 본 발명은 한 방법을 제공하며, 여기서 상기 스트레인은 응력, 힘, 토크, 변위, 가속도 또는 위치를 포함하는 군에서 선택된다.

[0012] 바람직하게는, 본 발명은 한 방법을 제공하며, 여기서 상기 제어 메커니즘은 치과용 리테이너의 성형된 플라스틱 중앙 부분 상의 돌출부이고, 상기 돌출부는 운동학적 돌출부, 퍼짐 돌출부, 분산 돌출부, 반동 돌출부 또는 바운싱 돌출부를 포함하는 군에서 선택된다.

[0013] 바람직하게는, 본 발명은 한 방법을 제공하며, 여기서 상기 제어 신호는 상기 전자 디바이스에 대한 동작을 지시하고, 상기 동작은 온, 오프, 선택, 앞으로, 뒤로, 왼쪽, 오른쪽, 위, 아래 또는 임의로 정의된 임의의 다른 동작을 포함하는 군에서 선택된다.

[0014] 다른 측면에서 볼 때, 본 발명은 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 결합된 적어도 하나의 메모리를 포함하는 장치를 제공하고, 여기서 상기 적어도 하나의 메모리는 명령들을 포함하고, 상기 명령들은 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 사용자가 예시적인 실시예에 따라서 컴퓨터 시스템 또는 전자 디바이스의 동작을 제어할 수 있게 하고, 또한 상기 적어도 하나의 프로세서로 하여금: 구강내 제어 메커니즘으로부터 디지털 입력 신호를 수신하게 하고 ― 여기서, 상기 디지털 입력 제어 신호는 상기 구강내 제어 메커니즘으로부터: 상기 구강내 제어 메커니즘의 센서에 의해, 사용자의 혀가 제어 메커니즘을 고정된 위치로부터 멀어지게 이동시키는 것에 기초한 스트레인을 검출하는 단계; 상기 센서에 의해, 상기 검출된 스트레인을 제어 신호로 변환하는 단계; 상기 구강내 제어 메커니즘의 증폭기에 의해, 상기 제어 신호의 진폭을 증폭하여 증폭된 제어 신호를 생성하는 단계; 상기 구강내 제어 메커니즘의 아날로그-디지털 변환기에 의해, 상기 증폭된 제어 신호를 디지털 입력 신호로 변환하는 단계; 상기 구강내 제어 메커니즘의 무선 주파수(RF) 마이크로컨트롤러에 의해, 상기 디지털 입력 신호를 송신 주파(transmission frequency wave)로 변조하는 단계; 및 상기 RF 마이크로컨트롤러에 의해, 상기 디지털 입력 신호를 상기 컴퓨터 시스템에 송신하는 단계―이어서 상기 컴퓨터 시스템은 상기 디지털 입력 신호를 미리 훈련된 분류자들 및 기타 소프트웨어를 이용하여 디지털 제어 신호로 해석함―;를 포함하고, 상기 컴퓨터 시스템 자체에서 상기 디지털 제어 신호를 실행하고 상기 디지털 제어 신호와 연관된 동작을 수행하는 단계; 또는 상기 디지털 제어 신호를 상기 전자 디바이스의 전자 디바이스 제어 메커니즘에 송신하여 상기 전자 디바이스 제어 메커니즘이 포함된 상기 전자 디바이스가 상기 디지털 제어 신호에 의해 지시된 대로 동작하게 하는 단계; 중 하나를 포함하는 구강내 제어 메커니즘을 통해 수신됨 ―; 그리고 상기 사용자의 분석 및 특성화를 위해 상기 디지털 입력 신호를 저장하게 한다.

[0015] 다른 측면에서 볼 때, 본 발명은 한 장치를 제공하며, 여기서 상기 구강내 제어 메커니즘은 상기 사용자가 착용하는 치과용 리테이너 내에 포함된다.

[0016] 바람직하게는, 본 발명은 한 장치를 제공하며, 여기서 상기 치과용 리테이너는 상기 사용자의 구강 내 경구개에 부착되는 성형된 플라스틱 중앙 부분을 포함하고, 상기 성형된 플라스틱 중앙 부분은 적어도 상기 제어 메커니즘 및 상기 센서를 포함한다.

[0017] 바람직하게는, 본 발명은 한 장치를 제공하며, 여기서 상기 증폭기, 상기 아날로그-디지털 변환기, 상기 마이크로컨트롤러, 및 상기 안테나는 상기 성형된 플라스틱 중앙 부분 내에 포함된다.

[0018] 바람직하게는, 본 발명은 한 장치를 제공하며, 여기서 상기 증폭기, 상기 아날로그-디지털 변환기, 상기 마이크로컨트롤러, 및 상기 안테나는 상기 성형된 플라스틱 중앙 부분에 부착된 와이어들 내에 포함되고, 상기 와이어들은 상기 사용자의 윗니 주위를 감싸고 상기 치과용 리테이너를 상기 사용자의 구강 내에 잡고 있는다.

[0019] 바람직하게는, 본 발명은 한 장치를 제공하며, 여기서 상기 제어 메커니즘은 360도 운동 및 상방 운동과 이어지는 하방 운동을 구비한다.

[0020] 바람직하게는, 본 발명은 한 장치를 제공하며, 여기서 상기 센서는 금속 구조, 압전 저항 구조, 또는 압전 구조를 포함하는 군에서 선택된다.

[0021] 바람직하게는, 본 발명은 한 장치를 제공하며, 여기서 상기 스트레인은 응력, 힘, 토크, 변위, 가속도 또는 위치를 포함하는 군에서 선택된다.

[0022] 바람직하게는, 본 발명은 한 장치를 제공하며, 여기서 상기 제어 메커니즘은 치과용 리테이너의 성형된 플라스틱 중앙 부분 상의 돌출부이고, 상기 돌출부는 운동학적 돌출부, 퍼짐 돌출부, 분산 돌출부, 반동 돌출부 또는 바운싱 돌출부를 포함하는 군에서 선택된다.

[0023] 다른 관점에서 볼 때, 본 발명은 사용자가 컴퓨터 시스템 또는 전자 디바이스의 동작을 제어할 수 있도록 하기 위한 컴퓨터 판독 가능 프로그램이 저장된 컴퓨터 판독 가능 스토리지 매체를 포함하는 컴퓨터 프로그램 제품을 제공하며, 상기 컴퓨터 판독 가능 프로그램은 데이터 처리 시스템 상에서 실행될 때, 상기 데이터 처리 시스템으로 하여금: 구강내 제어 메커니즘으로부터 디지털 입력 신호를 수신하게 하고 ― 여기서, 상기 디지털 입력 제어 신호는 상기 구강내 제어 메커니즘으로부터: 상기 구강내 제어 메커니즘의 센서에 의해, 사용자의 혀가 제어 메커니즘을 고정된 위치로부터 멀어지게 이동시키는 것에 기초한 스트레인을 검출하는 단계; 상기 센서에 의해, 상기 검출된 스트레인을 제어 신호로 변환하는 단계; 상기 구강내 제어 메커니즘의 증폭기에 의해, 상기 제어 신호의 진폭을 증폭하여 증폭된 제어 신호를 생성하는 단계; 상기 구강내 제어 메커니즘의 아날로그-디지털 변환기에 의해, 상기 증폭된 제어 신호를 디지털 입력 신호로 변환하는 단계; 상기 구강내 제어 메커니즘의 무선 주파수(RF) 마이크로컨트롤러에 의해, 상기 디지털 입력 신호를 송신 주파(transmission frequency wave)로 변조하는 단계; 및 상기 RF 마이크로컨트롤러에 의해, 상기 디지털 입력 신호를 상기 컴퓨터 시스템에 송신하는 단계―이어서 상기 컴퓨터 시스템은 상기 디지털 입력 신호를 미리 훈련된 분류자들 및 기타 소프트웨어를 이용하여 디지털 제어 신호로 해석함―;를 포함하고, 상기 컴퓨터 시스템 자체에서 상기 디지털 제어 신호를 실행하고 상기 디지털 제어 신호와 연관된 동작을 수행하는 단계; 또는 상기 디지털 제어 신호를 상기 전자 디바이스의 전자 디바이스 제어 메커니즘에 송신하여 상기 전자 디바이스 제어 메커니즘이 포함된 상기 전자 디바이스가 상기 디지털 제어 신호에 의해 지시된 대로 동작하게 하는 단계; 중 하나를 포함하는 구강내 제어 메커니즘을 통해 수신됨 ―; 그리고 상기 사용자의 분석 및 특성화를 위해 상기 디지털 입력 신호를 저장하게 한다.

[0024] 본 발명의 이들 및 다른 특징들 및 이점들은 본 발명의 예시적인 실시예들에 대한 다음 상세한 설명을 고려하여 기술되거나, 이 기술 분야에서 통상의 지식을 가진 자에게는 명백할 것이다.

[0025] 본 발명 만 아니라 이의 바람직한 사용 모드, 추가 목적들 및 이점들은 첨부 도면과 함께 읽을 때 예시적인 실시예의 다음의 상세한 설명을 참조하여 가장 잘 이해될 것이다.
[0026] 도 1은 예시적인 실시예들이 구현될 수 있는 분산 데이터 처리 시스템의 예시적인 도면이다.
[0027] 도 2는 예시적인 실시예들이 구현될 수 있는 컴퓨팅 디바이스의 예시적인 블록도이다.
[0028] 도 3은 예시적인 실시예에 따라 사용자가 전자 디바이스의 동작을 제어하기 위한 구강내 제어 메커니즘의 하나의 예시적인 기능 블록도를 도시한다.
[0029] 도 4는 예시적인 실시예에 따라 사용자가 전자 디바이스의 동작을 제어하기 위한 구강내 제어 메커니즘의 전기 회로 개략도의 일례를 도시한다.
[0030] 도 5a 내지 5d는 예시적인 실시예에 따른 구강내 제어 메커니즘의 일 구현예를 예시로서 도시한다.
[0031] 도 6은 예시적인 실시예에 따라 사용자의 입에 맞는 구강내 제어 메커니즘의 일례를 도시한다.
[0032] 도 7은 예시적인 실시예에 따라 사용자가 전자 디바이스의 동작을 제어할 수 있도록 구강내 제어 메커니즘에 의해 수행되는 동작의 예시적인 흐름도를 도시한다.
[0033] 도 8은 예시적인 실시예에 따라 전자 디바이스의 동작을 제어하기 위해 구강내 제어 메커니즘으로부터 디지털 입력 신호를 수신하는 컴퓨터 시스템에 의해 수행되는 동작의 예시적인 흐름도를 도시한다.

[0034] 절단 장애인, 편마비, 단일 마비, 하반신 마비, 사지 마비 등의 마비 기반 사용자와 같은 접근성이 제한된 사용자와 이러한 상태에 영향을 받지 않는 다른 사용자는 다른 디바이스 또는 시스템을 차례로 제어할 수 있는 데이터 처리 시스템에 입력을 제공하기 위해 디바이스를 사용한다. 이러한 디바이스 및 시스템에는 수술 로봇, 비행 또는 기타 차량 제어 시스템, 전화기, 조명, 에어컨 및 난방 시스템, 차양, 휠체어 또는 기타 이동 디바이스가 포함될 수 있다. 제어 가능한 시스템에는 몰입형 증강 현실(AR) 및 가상 현실(VR) 기술(예를 들어, Microsoft Hololens, Google Glass 등)도 포함된다. 일상 생활에서 착용하는 헤드 마운트 기술은 운전, 수술, 보행 또는 기타 병행 작업에 손을 사용할 때 제어하기 어렵다. 휠체어와 관련하여, 이러한 제어 시스템의 이전 예는 ‘불기/빨기’식 입으로 제어되는 휠체어 시스템, 입술로 제어되는 조이스틱 휠체어 시스템, 혀 임플란트 제어되는 휠체어 시스템 등일 수 있다. 그러나, ‘불기/빨기’식 입으로 제어되는 휠체어 시스템은 움직임을 제어하는 데 촉각적으로 직관적인 방식이 아니다. 또한, 입술로 제어되는 조이스틱 휠체어 시스템은 복잡하고 부피가 크며 다른 사람에 의한 조정이 필요하다. 또한, 혀로 제어되는 휠체어 시스템은 자기장의 변화를 감지하거나 일련의 접점들에 필요한 탭핑을 구현하기 위해 혀 임플란트가 필요하다. 제어 시스템의 추가 구현에는 포인팅 스틱 및 아이 트래커의 입력을 활용하는 비키보드 기반 의사소통 도구가 포함된다. 이러한 비키보드 기반 의사소통 도구는 전용 애플리케이션이 필요하다. 즉, 다른 작업을 수행하기 어렵고 많은 양의 재주(목 전체를 사용하여 머리를 돌림)와 집중력이 필요하다.

[0035] 예시적인 실시예들은 신체 부위(예를 들어, 혀)로 쉽게 조작할 수 있지만 다른 사용(예를 들어, 씹기, 삼키기, 말하기) 중에는 방해가 되지 않는 형태로 구성될 수 있는 부드럽고 생물학적으로 영감을 받은 편심 모양의 ‘컨트롤러’를 설명한다. 인간 사용자에 의한 이 컨트롤러의 움직임은 하나 이상의 스트레인 게이지, 압력 센서 또는 기타 센서에 의해 디지털 입력 신호로 변환되어 (스마트 워치, 전화기, 랩톱, 또는 기타 그러한 디바이스일 수 있는) 컴퓨터 시스템으로 전송된다. 그곳에서 컴퓨터 시스템 상에서 실행되는 훈련된 분류기에 의해 온, 오프, 선택, 앞으로, 뒤로, 왼쪽, 오른쪽, 위, 아래 또는 기타 임의 명령과 같은 ‘제어’ 동작으로 디콘볼루션된다. 그런 후, 이러한 제어 명령은 수신 컴퓨터 시스템에 영향을 미치거나 다른 시스템이나 제어되는 디바이스로 전달될 수 있다. 일상 생활 중에 생성된 디바이스의 입력 신호들은 또한 씹기, 삼키기, 기침, 이갈이, 턱관절 장애와 관련된 활동 및 건강 상태를 특성화하는 데 사용될 수도 있다. 신호는 생성되는 다른 특징들로 명령을 제어하기 위해 유사한 방식으로 디콘볼루션된다.

[0036] 일시적인 실시예들의 다양한 측면 및 예시적인 실시예들에 의해 수행되는 개선된 컴퓨터 동작의 논의를 시작하기 전에, 본 발명을 실시하기 위한 구체적인 내용 전체적으로 “메커니즘”이라는 용어는 다양한 동작들, 기능들 등을 수행하는 본 발명의 요소들을 지칭하는 데 사용될 것임을 먼저 이해해야 한다. 본원에서 사용되는 용어 “메커니즘”은 장치, 절차, 또는 컴퓨터 프로그램 제품의 형태로 예시적인 실시예들의 기능들 또는 측면들이 구현된 것일 수 있다. 절차의 경우 절차는 하나 이상의 디바이스, 장치, 컴퓨터, 데이터 처리 시스템 등에 의해 구현된다. 컴퓨터 프로그램 제품의 경우, 컴퓨터 프로그램 제품 내 또는 그 상에 구현된 명령들 또는 컴퓨터 코드로 표현되는 논리가 특정 “메커니즘”과 관련된 기능을 구현하거나 작업을 수행하기 위해 하나 이상의 하드웨어 디바이스에 의해 실행된다. 따라서, 본원에 기술되는 메커니즘들은 특수 하드웨어, 하드웨어가 달리 수행할 수 없는 본 발명의 특수 기능을 구현하도록 하드웨어가 구성되게 하는 하드웨어에서 실행되는 소프트웨어, 매체 상에 저장된 소프트웨어 명령들로서 하드웨어가 본원에 설명된 인용된 기능 및 특정 컴퓨터 동작들을 수행하도록 구체적으로 구성되게 하는 하드웨어에 의해 쉽게 실행 가능한 소프트웨어 명령들, 기능들을 실행하기 위한 절차 또는 방법, 또는 위의 임의의 조합으로 구현될 수 있다.

[0037] 본 발명을 실시하기 위한 구체적인 내용 및 청구범위는 예시적인 실시예들의 특정 특징들 및 요소들과 관련하여 “단수 표현(a)”, “~중 적어도 하나(at least one of)”, 및 “~중 하나 이상(one or more of)”이라는 용어들을 사용할 수 있다. 이러한 용어들 및 문구들은 특정 예시적인 실시예에 존재하는 특정 특징 또는 요소 중 적어도 하나가 존재하지만, 둘 이상이 존재할 수도 있음을 나타내기 위한 것임을 이해해야 한다. 즉, 이러한 용어들/문구들은 발명을 실시하기 위한 구체적인 내용 또는 청구범위를 단일 특징/요소가 존재하는 것으로 제한하거나 복수의 그러한 특징/요소가 존재해야 함을 요구하도록 의도된 것은 아니다. 반대로, 이러한 용어들/문구들은 복수의 그러한 특징/요소가 발명을 실시하기 위한 구체적인 내용 및 청구범위의 범위 내에 있을 수 있는 가능성과 함께 적어도 하나의 특징/요소만을 필요로 한다.

[0038] 더욱이, 본 발명의 실시예들 및 특징들을 설명하는 것과 관련하여 본원에서 사용되는 경우 “엔진(engine)”이라는 용어의 사용은 엔진에 기인하고/거나 엔진에 의해 수행되는, 동작들, 단계들, 프로세스들 등을 달성 및/또는 수행하기 위한 특정 구현을 제한하려는 의도가 아님을 이해해야 한다. 엔진은 머신 판독 가능 메모리에 로드되거나 저장되고 프로세서에 의해 실행되는 적절한 소프트웨어와 함께 범용 및/또는 특수용 프로세서의 임의의 사용을 포함한, 그러나 이에 한정되지 않는, 지정된 기능들을 수행하는, 소프트웨어, 하드웨어 및/또는 펌웨어 또는 이들의 조합일 수 있지만, 이에 국한되지는 않는다. 또한, 특정 엔진과 관련된 이름은 무엇이든 달리 지정되지 않는 한 참조의 편의를 위한 것이며 특정 구현으로 제한할 의도가 있는 것은 아니다. 추가로, 엔진에 기인한 임의의 기능은 여러 엔진에 의해 동일하게 수행될 수 있거나, 동일하거나 다른 유형의 다른 엔진의 기능에 통합 및/또는 결합될 수 있거나, 다양한 구성의 하나 이상의 엔진에 분산될 수 있다.

[0039] 또한, 다음 설명은 예시적인 실시예들의 예시적인 구현들을 추가로 예시하고 예시적인 실시예들의 메커니즘들의 이해를 돕기 위해 예시적인 실시예들의 다양한 요소에 대한 복수의 다양한 예를 사용한다는 것을 이해해야 한다. 이러한 예들은 비제한적인 것으로 의도되며 예시적인 실시예들의 메커니즘들을 구현하기 위한 다양한 가능성을 완전하게 포함하지 않는다. 본 발명을 실시하기 위한 구체적인 내용의 관점에서 본 기술 분야에서 통상의 지식을 가진 자에게는 본 발명의 범위에서 벗어나지 않으면서 본원에 제공된 예들에 더하여 또는 이를 대체하여 이용될 수 있는 이러한 다양한 요소들에 대한 많은 다른 대안적인 구현들이 있다는 것이 명백할 것이다.

[0040] 따라서, 예시적인 실시예들은 많은 상이한 유형의 데이터 처리 환경에서 활용될 수 있다. 예시적인 실시예들의 특정 요소들 및 기능의 설명을 위한 맥락을 제공하기 위해, 도 1 및 2는 예시적인 실시예들의 특징들이 구현될 수 있는 예시적인 환경으로서 이하 제공된다. 도 1 및 2는 단지 예일 뿐이며 본 발명의 특징들 또는 실시예들이 구현될 수 있는 환경과 관련하여 임의의 제한을 주장하거나 암시할 의도가 있지 않음을 이해해야 한다. 묘사되는 환경에 대한 많은 변경이 본 발명의 정신과 범위를 벗어나지 않고 이루어질 수 있다.

[0041] 도 1은 예시적인 실시예들이 구현될 수 있는 예시적인 분산 데이터 처리 시스템의 그림 표현을 도시한다. 분산 데이터 처리 시스템(100)은 예시적인 실시예들이 구현될 수 있는 컴퓨터들의 네트워크를 포함할 수 있다. 분산 데이터 처리 시스템(100)은 분산 데이터 처리 시스템(100) 내에서 함께 연결된 다양한 디바이스들과 컴퓨터들 간의 통신 링크를 제공하는 데 사용되는 매체인 적어도 하나의 네트워크(102)를 포함한다. 네트워크(102)는 유선, 무선 통신 링크 또는 광섬유 케이블과 같은 연결들을 포함할 수 있다.

[0042] 도시된 예에서, 구강내 제어 메커니즘(116)은 블루투스(Bluetooth), 지그비(Zigbee), NFC, Wi-Fi, LiFi, 3G 등을 통해 어느 정도 상호작용하고 자율적으로 작동할 수 있는 전화기, 시계, 랩톱, 홈 허브 서버, 휠체어 등과 같은 일 세트의 디바이스들(114) 중 임의의 디바이스와 통신한다. 일 세트의 디바이스들(114)은 구강내 제어 메커니즘(116)으로부터 입력을 수신하고 통상적으로 기계 학습 모델을 사용하는 소프트웨어에 의해 입력을 명령들 또는 통신 프리미티브(communication primitive)들로 변환한다. 이러한 통신 요청들은 문자 입력, 이메일 또는 기타 컴퓨터 기능을 위한 커서 이동, 휠체어 방향, 말하기, 씹기, 삼키기, 기침 등과 관련된 건강 지표로 변환될 수 있다. 이러한 통신은 일 세트의 디바이스들(114) 중 하나 이상에서 작동하거나 저장되거나 전달될 수 있다. 유선 네트워크를 통해 또는 블루투스, 지그비, NFC, Wi-Fi, LiFi, 3G 등의 상이한 무선 프로토콜을 통해 연결될 수 있는, 어느 정도 상호작용하고 자율적으로 작동할 수 있는, 자체 프로토콜을 가진 다른 디바이스들(118)은 구강내 제어 메커니즘(116)의 입력에 기초하여 일 세트의 디바이스들(114) 중 하나 이상에 의해 제어되거나 영향을 받을 수 있다. 일 예에서, 구강내 제어 메커니즘(116)에 연결된 홈 허브 디바이스에 의해 가정 조명 및 차양이 제어된다. 도시된 예에서, 일 세트의 디바이스들 서버(104) 및 서버(106)가 클라우드 기반 분석 및 스토리지(108)와 함께 네트워크(102)에 연결된다. 또한, 클라이언트들(110 및 112), 및 스마트 디바이스(114)도 네트워크(102)에 연결된다. 도시된 예에서, 서버(104)는 부트 파일들, 운영 체제 이미지들 및 애플리케이션들과 같은 데이터를 클라이언트들(110 및 112)과 스마트 디바이스(114)에 제공한다. 클라이언트들(110 및 112)은 도시된 예에서 서버(104)에 대한 클라이언트들이다. 클라이언트들(110 및 112)은 예를 들어 개인용 컴퓨터, 네트워크 컴퓨터 등일 수 있다. 분산 데이터 처리 시스템(100)은 추가 서버들, 클라이언트들, 및 도시되지 않은 다른 디바이스들을 포함할 수 있다. 클라우드 기반 분석 및 스토리지(108)는, 최소한의 관리 노력 또는 서비스 제공자와의 상호작용으로 빠르게 프로비저닝 및 해제될 수 있는, 구성 가능한(configurable) 컴퓨팅 리소스들(예를 들어, 네트워크, 네트워크 대역폭, 서버, 처리, 메모리, 스토리지, 애플리케이션, 가상 머신, 및 서비스)의 공유 풀에 대한 편리한 주문형(on-demand) 네트워크 액세스를 가능하게 하는 서비스 전달 모델이다. 따라서, 클라우드 컴퓨팅 환경은 무국적(statelessness), 낮은 결합(low coupling), 모듈 방식(modularity), 및 의미적 상호운용성(semantic interoperability)에 중점을 둔 서비스를 지향한다. 클라우드 컴퓨팅의 중심에는 상호 연결된 노드들의 네트워크를 포함하는 인프라스트럭처가 있다.

[0043] 도시된 예에서, 분산 데이터 처리 시스템(100)은 TCP/IP(전송 제어 프로토콜/인터넷 프로토콜) 프로토콜 제품군을 사용하여 서로 통신하는 전 세계의 네트워크와 게이트웨이의 컬렉션을 나타내는 네트워크(102)를 가진 인터넷이다. 인터넷의 중심에는 데이터와 메시지들을 라우팅하는 수천 개의 상업용, 정부용, 교육용 및 기타 컴퓨터 시스템을 포함하여 주요 노드들 또는 호스트 컴퓨터들 간의 고속 데이터 통신 회선들의 백본이 있다. 물론, 분산 데이터 처리 시스템(100)은 또한 예를 들어 인트라넷, 근거리 통신망(LAN), 광역 통신망(WAN), 인체 영역 네트워크, Wi-Fi, 블루투스, 저전력 블루투스, 근거리 통신(NFC) 등 다수의 상이한 유형의 네트워크를 포함하도록 구현될 수 있다. 위에서 언급한 바와 같이, 도 1은 본 발명의 상이한 실시예들에 대한 아키텍처적 제한이 아닌 예시로서 의도된 것이며, 따라서, 도 1에 도시된 특정 요소들은 본 발명의 예시적인 실시예들이 구현될 수 있는 환경들과 관련하여 제한하는 것으로 간주되어서는 안 된다.

[0044] 도 1에 도시된 바와 같이, 컴퓨팅 디바이스들(예를 들어, 114) 및 서버(104) 중 하나 이상은 컴퓨팅 디바이스에 입력을 제공하거나 전자 디바이스의 동작을 제어하기 위한 제어 메커니즘을 구현하도록 특별히 구성될 수 있다. 컴퓨팅 디바이스를 구성하는 것은 예시적인 실시예들과 관련하여 본원에 설명된 출력들의 생성 및 동작의 수행을 용이하게 하기 위해 특정 용도용 하드웨어, 펌웨어 등을 제공하는 것을 포함할 수 있다. 컴퓨팅 디바이스를 구성하는 것은 또한 대안적으로, 하나 이상의 스토리지 디바이스에 저장되고 서버(104) 등의 컴퓨팅 디바이스의 메모리에 로드되는 소프트웨어 애플리케이션들을 제공하여 상기 컴퓨팅 디바이스의 하나 이상의 하드웨어 프로세서가 소프트웨어 애플리케이션들을 실행하여 프로세서들이 동작들을 수행하고 예시적인 실시예들과 관련하여 본원에 설명된 출력들을 생성하도록 구성되게 하는 것을 포함한다. 또한, 특정 용도용 하드웨어, 펌웨어, 하드웨어 상에서 실행되는 소프트웨어 애플리케이션 등의 임의의 조합이 예시적인 실시예들의 정신과 범위를 벗어나지 않고 사용될 수 있다.

[0045] 컴퓨팅 디바이스가 이러한 방식들 중 하나로 구성되고 나면, 컴퓨팅 디바이스는 예시적인 실시예들의 메커니즘들을 구현하도록 특별히 구성된 특수 컴퓨팅 디바이스가 되며 범용 컴퓨팅 디바이스가 아님을 이해해야 한다. 더욱이, 이하에 설명되는 바와 같이, 예시적인 실시예들의 메커니즘들의 구현은 컴퓨팅 디바이스의 기능을 향상하고, 컴퓨팅 디바이스에 입력을 제공하거나 구강내 제어 메커니즘을 활용하는 전자 디바이스의 동작을 제어하는 것을 용이하게 하는 유용하고 구체적인 결과를 제공한다.

[0046] 위에서 언급한 바와 같이, 예시적인 실시예들의 메커니즘들은 특별히 구성된 컴퓨팅 디바이스들, 또는 데이터 처리 시스템들을 활용하여, 컴퓨팅 디바이스에 입력을 제공하거나 구강내 제어 메커니즘을 활용하여 전자 디바이스의 동작을 제어하기 위한 동작들을 수행한다. 이러한 컴퓨팅 디바이스들, 또는 데이터 처리 시스템들은 하드웨어 구성, 소프트웨어 구성, 또는 하드웨어 및 소프트웨어 구성의 조합 중 하나를 통해 본원에 기술된 시스템들/서브시스템들 중 하나 이상을 구현하도록 특별히 구성된 다양한 하드웨어 요소들을 포함할 수 있다. 도 2는 예시적인 실시예들이 구현될 수 있는 단지 하나의 예시적인 데이터 처리 시스템의 블록도이다. 데이터 처리 시스템(200)은, 본 발명의 예시적인 실시예들의 프로세스들 및 특징들을 구현하는 컴퓨터 사용 가능 코드 또는 명령들이 본원에 기술된 예시적인 실시예들의 동작, 출력, 및 외부 효과들을 달성하기 위해 위치되고/거나 실행될 수 있는, 도 1에 있는 서버(104) 등의 컴퓨터의 한 예이다.

[0047] 도시된 예에서, 데이터 처리 시스템(200)은 노스 브리지(north bridge) 및 메모리 컨트롤러 허브(NB/MCH)(202) 및 사우스 브리지(south bridge) 및 입/출력(I/O) 컨트롤러 허브(SB/ICH)(204)를 포함하는 허브 아키텍처를 사용한다. 처리 유닛(206), 메인 메모리(208), 및 그래픽 프로세서(210)는 NB/MCH(202)에 연결된다. 그래픽 프로세서(210)는 가속 그래픽 포트(AGP)를 통해 NB/MCH(202)에 연결될 수 있다.

[0048] 도시된 예에서, 근거리 통신망(LAN) 어댑터(212)는 SB/ICH(204)에 연결된다. 오디오 어댑터(216), 키보드, 마우스 어댑터 또는 구강내 제어 시스템(220)일 수 있는 사용자 인터페이스(220), 모뎀(222), 읽기 전용 메모리(ROM)(224), 하드 디스크 드라이브(HDD)(226), 스토리지 매체(230), 범용 직렬 버스(USB) 포트들 및 기타 통신 포트들(232), 및 PCI/PCIe 디바이스들(234)은 버스(238) 및 버스(240)를 통해 SB/ICH(204)에 연결된다. PCI/PCIe 디바이스들은 예를 들어, 이더넷 어댑터들, 애드인 카드들, 노트북 컴퓨터용 PC 카드들을 포함할 수 있다. PCI는 카드 버스 컨트롤러를 사용하지만 PCIe는 사용하지 않는다. ROM(224)은 예를 들어 플래시 기본 입출력 시스템(BIOS)일 수 있다.

[0049] HDD(226)와 스토리지 매체(230)는 버스(240)를 통해 SB/ICH(204)에 연결된다. HDD(226)와 스토리지 매체(230)는 예를 들어 IDE(integrated drive electronics) 또는 SATA(serial advanced technology attachment) 인터페이스를 사용할 수 있다. 수퍼 I/O(SIO) 디바이스(236)는 SB/ICH(204)에 연결될 수 있다.

[0050] 운영 체제는 처리 유닛(206)에서 실행된다. 운영 체제는 도 2의 데이터 처리 시스템(200) 내의 다양한 컴포넌트들을 조정하고 이들에 대한 제어를 제공한다. 클라이언트로서 운영 체제는 Microsoft^® Windows 10^®, Swift^®, Python^® 등과 같은 상업적으로 이용 가능한 운영 체제일 수 있다. Java^TM 프로그래밍 시스템과 같은 객체 지향 프로그래밍 시스템이 상기 운영 체제와 함께 실행될 수 있고 데이터 처리 시스템(200) 상에서 실행되는 Java^TM 프로그램들 또는 애플리케이션들로부터 운영 체제에 대한 호출을 제공한다.

[0051] 서버로서, 데이터 처리 시스템(200)은 예를 들어 임의의 범용 운영 체제를 실행하는 임의의 범용 컴퓨터 시스템일 수 있다. 데이터 처리 시스템(200)은 처리 유닛(206)에 복수의 프로세서를 포함하는 대칭 멀티프로세서(SMP) 시스템일 수 있다. 대안적으로, 단일 프로세서 시스템이 사용될 수 있다.

[0052] 운영 체제, 객체 지향 프로그래밍 시스템, 애플리케이션 또는 프로그램에 대한 명령들은 HDD(226) 등의 스토리지 디바이스들 상에 위치하며, 처리 유닛(206)에 의한 실행을 위해 메인 메모리(208)로 로드될 수 있다. 본 발명의 프로세스들은 예를 들어 메인 메모리(208), ROM(224)과 같은 메모리에 또는 예를 들어 하나 이상의 주변 장치(226 및 230)에 위치할 수 있는 컴퓨터 사용 가능 프로그램 코드를 사용하여 처리 유닛(206)에 의해 수행될 수 있다.

[0053] 도 2에 도시된 바와 같이 버스(238) 또는 버스(240) 등의 버스 시스템은 하나 이상의 버스로 구성될 수 있다. 물론, 버스 시스템은 패브릭 또는 아키텍처에 부착된 서로 다른 컴포넌트들 또는 장치들 간의 데이터 전송을 제공하는 임의 유형의 통신 패브릭 또는 아키텍처를 사용하여 구현될 수 있다. 도 2의 모뎀(222) 또는 네트워크 어댑터(212)와 같은 통신 유닛은 데이터를 전송 및 수신하는 데 사용되는 하나 이상의 디바이스를 포함할 수 있다. 메모리는 예를 들어 도 2에 있는 메인 메모리(208), ROM(224), 또는 NB/MCH(202) 등에서 찾을 수 있는 캐시일 수 있다.

[0054] 전술한 바와 같이, 일부 예시적인 실시예에서, 예시적인 실시예들의 메커니즘들은 특정 용도용 하드웨어, 펌웨어 등, 및 처리 유닛(206) 등의 하나 이상의 하드웨어 프로세서에 의해 실행하기 위해, HDD(226) 등의 스토리지 디바이스에 저장되고 메인 메모리(208) 등의 메모리에 로드되는 애플리케이션 소프트웨어로 구현될 수 있다. 이와 같이, 도 2에 도시된 컴퓨팅 디바이스는 예시적인 실시예들의 메커니즘들을 구현하도록 특별히 구성되고, 이하에서 기술되는 바와 같이, 커서 입력을 통해 데이터 처리 시스템(200)에 입력들을 제공하거나 전자 디바이스(242) 등의 전자 디바이스의 동작을 제어하기 위한 구강내 제어 메커니즘과 관련하여 이하에서 기술되는 동작들을 수행하고 출력들을 생성하도록 특별히 구성된다.

[0055] 이 기술 분야에서 통상의 지식을 가진 자는 도 1 및 도 2의 하드웨어가 구현에 따라 달라질 수 있음을 이해할 것이다. 플래시 메모리, 등가의 비휘발성 메모리 또는 광 디스크 드라이브 등과 같은 다른 내부 하드웨어 또는 주변 장치들이 도 1 및 2에 도시된 하드웨어에 추가되어 또는 그 대신에 사용될 수 있다. 또한, 예시적인 실시예들의 프로세스들은 본 발명의 정신과 범위에서 벗어나지 않고 앞서 언급된 SMP 시스템 이외의 멀티프로세서 데이터 처리 시스템에 적용될 수 있다.

[0056] 더욱이, 데이터 처리 시스템(200)은 클라이언트 컴퓨팅 디바이스, 서버 컴퓨팅 디바이스, 태블릿 컴퓨터, 랩톱 컴퓨터, 전화기 또는 기타 통신 디바이스, 개인 휴대 정보 단말기(PDA) 등을 포함한 다수의 상이한 데이터 처리 시스템 중 임의의 형태를 취할 수 있다. 일부 예시적인 예들에서, 데이터 처리 시스템(200)은 예를 들어 운영 체제 파일들 및/또는 사용자 생성 데이터를 저장하기 위한 비휘발성 메모리를 제공하도록 플래시 메모리와 함께 구성되는 이동식 컴퓨팅 디바이스일 수 있다. 본질적으로, 데이터 처리 시스템(200)은 아키텍처 제한이 없는 임의의 알려지거나 나중에 개발되는 데이터 처리 시스템일 수 있다.

[0057] 도 3은 예시적인 실시예에 따라 사용자가 전자 디바이스의 동작을 제어하기 위한 구강내 제어 메커니즘의 하나의 예시적인 기능 블록도를 도시한다. 구강내 제어 메커니즘(300)은 센서(302), 증폭기(304), 아날로그-디지털 변환기(306), 무선 주파수(rf) 마이크로컨트롤러(308), 및 안테나(310)를 포함한다. 센서(302)는 변위, 가속도 또는 위치를 포함하여 응력, 힘, 토크 또는 기타 자극과 같은 스트레인을 측정하는 스트레인 게이지 센서, 압력 센서 등의 하나 이상의 센서일 수 있다. 센서(302)는 금속(포일); 반도체(필요에 따라 기본 저항을 얻기 위해 도핑 물질(보통 p 또는 n 유형의 경우 붕소 또는 비소)을 확산시켜 기본 물질이 도핑된 압전 저항성이라고 함) 압전 물질(일반적으로 페로브스카이트(PZT)) 등으로 구성될 수 있다. 예시적인 실시예들에 따르면, 센서(302)는 제어 메커니즘(312)에 결합되며, 제어 메커니즘은 사용자의 혀에 의해 터치될 때 제어 메커니즘(312) 상에 센서(302)에 의해 감지되는 스트레인을 유발하는 운동학적, 퍼짐, 분산, 반동, 바운싱 등의 특징의 형태를 취할 수 있다. 즉, 사용자의 혀에 의한 제어 메커니즘(312)의 움직임은 센서(302)에 의해 온, 오프, 선택, 앞으로, 뒤로, 왼쪽, 오른쪽, 위, 아래 등과 같은 제어 신호로 변환된다. 예시적인 실시예들에 따르면, 제어 메커니즘(312)은 360도 운동뿐 아니라 상방 운동과 이어지는 하방 운동을 구비한다.

[0058] 증폭기(304)는 이 제어 신호를 수신하고 전원 공급 장치로부터 전력을 사용하여 입력 단자들에 인가되는 제어 신호의 진폭을 증가시켜 출력 단자에서 비례적으로 더 큰 진폭 제어 신호를 생성한다. 아날로그-디지털 변환기(306)는 이 증폭된 제어 신호를 아날로그 신호의 형태로 수신하고 그 증폭된 제어 신호를 디지털 입력 신호로 변환한다. 무선 주파수(RF) 마이크로컨트롤러(308)는 상기 디지털 입력 신호를 수신하고 그 디지털 입력 신호를 Wi-Fi, 블루투스, 근거리 통신(NFC), 인체 영역 네트워크, 저전력 블루투스 등의 원하는 송신 주파(transmission frequency wave)로 변조하고 이후 이를 RF 마이크로컨트롤러(308)가 안테나(310)를 통해 밖으로 송신한다. 그런 후, RF 마이크로컨트롤러(308)에 의해 송신된 디지털 입력 신호는 정합 네트워크 안테나(도시되지 않음)에 의해 수신되고 이어서 컴퓨터 시스템에 의해 활용되며, 컴퓨터 시스템은 디지털 입력 신호를 미리 훈련된 분류자들 및 기타 소프트웨어를 이용하여 디지털 제어 신호로 해석하며, 이로써 컴퓨터 시스템은 컴퓨터 시스템 자체에서 디지털 제어 신호를 실행하고 그 디지털 제어 신호와 연관된 동작을 수행하거나 디지털 제어 신호를 전자 디바이스의 전자 디바이스 제어 메커니즘으로 송신하여, 이에 의해 전자 디바이스 제어 메커니즘이 포함된 전자 디바이스가 연관된 방식으로 전자 디바이스를 동작하게 한다.

[0059] 일 예시적인 실시예에 따르면, 구강내 제어 메커니즘(300)은 주문 제작되고 탈착 가능한 치과용 리테이너의 형태를 취할 수 있다. 치과용 리테이너의 중앙 부분, 즉 사용자의 구강 내 경구개에 부착되는 성형된 플라스틱 중앙 부분은 적어도 제어 메커니즘(312) 및 센서(302)를 포함한다. 증폭기(304), 아날로그-디지털 변환기(306), RF 마이크로컨트롤러(308), 및 안테나(310)는 성형된 플라스틱 중앙 부분 내에 포함되거나 사용자의 윗니 주위를 감싸고 사용자의 구강 내에서 치과용 리테이너를 잡고 있는 와이어들에 부착될 수 있다.

[0060] 사용자의 재주가 사용자마다 다르기 때문에, 사용자는 제어 메커니즘(312)을 예를 들어 휠체어 방향 제어 메커니즘을 훈련하는 데 사용할 수 있다. 즉, 초기 사용 시, 사용자는 제어 메커니즘(312)을 반복적으로 사용하여 온, 오프, 앞으로, 뒤로, 왼쪽, 오른쪽, 위 등과 같은 일 세트의 동작들 중 특정 동작을 수행한다. 따라서, 사용자가 제어 메커니즘(312)을 반복적으로 사용하여 특정 동작(예를 들어, 앞으로)을 수행하면, 휠체어 방향 제어 메커니즘은 구강내 제어 메커니즘(300)을 통해 수신된 신호에 레이블을 지정하고 수신된 신호를 앞으로 레이블과 연관시키며 이렇게 하여 휠체어 방향 제어 메커니즘을 훈련시킨다. 이 프로세스는 일 세트의 동작들 각각에 대해 반복된다. 훈련 후에, 사용자가 제어 메커니즘(312)을 움직이면, 휠체어 방향 제어 메커니즘은 구강내 제어 메커니즘(300)으로부터 신호를 수신하고 휠체어를 훈련된 신호와 연관된 방향으로 휠체어를 이동시킨다.

[0061] 따라서, 예시적인 실시예들은 신체 부위(예를 들어, 혀)로 쉽게 조작할 수 있지만 다른 사용(예를 들어, 씹기, 삼키기, 말하기) 중에는 방해가 되지 않는 형태로 구성될 수 있는 부드럽고 생물학적으로 영감을 받은 편심 모양의 ‘컨트롤러’를 제공한다. 인간 사용자에 의한 이 컨트롤러의 움직임들은 센서에 의해 디지털 신호로 변환되며 이는 훈련된 분류자들에 의해 온, 오프, 선택, 앞으로, 뒤로, 왼쪽, 오른쪽, 위 등과 같은 ‘제어’ 동작들로 디콘볼루션된다. 이러한 제어 동작들에는 방향적, 관용적, 문자 또는 기타 입력 유형 신호들이 포함된다.

[0062] 도 4는 예시적인 실시예에 따라 사용자가 전자 디바이스의 동작을 제어하기 위한 도 3의 구강내 제어 메커니즘(300)과 같은 구강내 제어 메커니즘의 전기 회로 개략도의 일례를 도시한다. 구강내 제어 메커니즘(400)은 센서(402), 증폭기(404), 아날로그-디지털 변환기/RF 마이크로컨트롤러(406), 및 정합 네트워크 안테나(410)를 포함한다. 도 3의 센서(302)와 유사한 센서(402)는 변위, 가속도 또는 위치를 포함하여 응력, 힘, 토크 또는 기타 자극과 같은 스트레인을 측정하는 스트레인 게이지 센서, 압력 센서 등의 센서일 수 있다. 센서(402)는 한 레그가 미지의 구성요소를 포함하는 브리지 회로의 두 레그의 균형을 유지함으로써 미지의 전기 저항을 측정하는 데 사용되는 전기 회로인 휘트스톤(Wheatstone) 브리지 회로로 예시된다. 이 경우, 미지의 구성요소는 압전 저항 센서이다. 예시적인 실시예들에 따르면, 센서(402)는 제어 메커니즘에 결합되며, 제어 메커니즘은 사용자의 혀에 의해 터치될 때 제어 메커니즘 상에 센서(402)에 의해 감지되는 스트레인을 유발하는 운동학적, 퍼짐, 분산, 반동, 바운싱 등의 특징의 형태를 취할 수 있다. 즉, 사용자의 혀에 의한 방향 제어 메커니즘의 움직임은 센서(402)에 의해 온, 오프, 선택, 앞으로, 뒤로, 왼쪽, 오른쪽, 위, 아래 등과 같은 방향 제어 신호로 변환된다. 도 4는 하나의 센서(402)만을 도시하지만, 사용자의 혀에 의한 움직임을 감지할 때 더 높은 정확도를 제공하기 위해, 복수의 센서(402)가 이용될 수 있다.

[0063] 도 4의 다른 전력 소비 디바이스들뿐만 아니라 센서(402)도 여러 다양한 방식으로 전력을 공급받을 수 있다. 일 실시예에서, 전력은 재충전 가능한 코인 배터리를 통해 제공될 수 있으며, 이 배터리는 구강내 제어 시스템을 사용자의 입에서 떼어서 충전 스테이션에 배치할 때 충전되거나 구강내 제어 시스템이 여전히 사용자의 입 안에 있는 동안 근거리 통신(NFC), 무선 주파수(RF) OTA(over-the-air) 충전 등과 같은 무선 충전 시스템을 통해 충전될 수 있다. 다른 실시예에서, 전력은 NFC, RF OTA(over-the-air) 충전을 통해 직접 제공될 수 있다. 또 다른 실시예에서, 압전 회로, 마찰 회로, 저작 기반 회로(chewing-based circuit) 등과 같은 에너지 하베스팅 회로가 전원 공급 장치로 사용될 수 있다.

[0064] 증폭기(404)는 이 방향 제어 신호를 수신하고 전원 공급 장치로부터 전력을 사용하여 입력 단자들에 인가되는 방향 제어 신호의 진폭을 증가시켜 출력 단자에서 비례적으로 더 큰 진폭의 방향 제어 신호를 생성한다. 아날로그-디지털 변환기/RF 마이크로컨트롤러(406)는 이 증폭된 방향 제어 신호를 아날로그 신호의 형태로 수신하고 그 아날로그 증폭된 방향 제어 신호를 디지털 방향 제어 신호로 변환하며, 이어서 이 신호는 Wi-Fi, 블루투스, 근거리 통신(NFC), 인체 영역 네트워크, 저전력 블루투스 등의 원하는 송신 주파로 변조되고, 이어서 정합 네트워크 안테나(410)을 통해 밖으로 송신된다. 일 세트의 디바이스들(114)과 같은 일 세트의 디바이스들 중 하나 이상일 수 있는 디바이스(416)에 결합되는 정합 네트워크 안테나(414)는 아날로그-디지털 변환기/RF 마이크로컨트롤러(406)에 의해 송신된 디지털 방향 제어 신호를 수신하고 이는 이어서 디바이스(416)에 의해 연관된 전자 디바이스를 연관된 방식으로 작동하는 데 이용된다.

[0065] 도 5a 내지 5d는 예시적인 실시예에 따른, 예시로서 도 3의 구강내 제어 메커니즘(300) 및 도 4의 구강내 제어 메커니즘(400)과 같은 구강내 제어 메커니즘의 일 구현을 도시한다. 앞서 언급된 바와 같이, 구강내 제어 메커니즘(300/400)은 주문 제작되고 탈착 가능한 치과용 리테이너의 형태를 취할 수 있다. 도 5a는 예시적인 실시예에 따른 구강내 제어 메커니즘을 포함하는 일 예시적인 치과용 리테이너를 도시한다. 치과용 리테이너(502)는 사용자의 윗니 주위를 감싸고 사용자의 구강 내에서 치과용 리테이너(502)를 잡고 있는 와이어들(506)에 부착된 성형된 플라스틱 중앙 부분(504)으로 구성된다. 성형된 플라스틱 중앙 부분(504)은 적어도 방향 제어 메커니즘(508) 및 센서(510)를 포함한다. 센서(510)는 다른 구성요소들, 즉, 증폭기, 아날로그-디지털 변환기, RF 마이크로컨트롤러 및 안테나에 결합되며, 이들은 성형된 플라스틱 중앙 부분(504)에 포함되거나 커플링(512)을 통해 와이어들(506)에 부착될 수 있다. 참고로, 센서(510)는 사용자의 혀에 의한 움직임을 감지할 때 더 높은 정확도를 제공하기 위해 복수의 센서일 수 있다. 도 5a에서, 커플링(512)은 6개의 와이어를 가진 것으로 도시된다. 이는 이 예에서 센서(510)가 3개의 스트레인 게이지를 사용하고 각 스트레인 게이지가 2개의 와이어를 필요로 하기 때문이다. 따라서, 6개의 와이어는 단지 하나의 예일 뿐이며, 센서(510)는 사용자의 혀에 의한 움직임을 감지할 때 더 높은 정확도를 제공하기 위해 임의의 수의 센서를 포함할 수 있다. 또한 모든 디바이스, 즉 센서(510), 커플링(512) 등은 사용자를 보호하기 위해 예시적인 실시예에 따라 절연된다는 점에 유의해야 한다.

[0066] 도 5b는 예시적인 실시예에 따른 성형된 플라스틱 중앙 부분(504)의 다른 도면을 도시한다. 예시된 바와 같이, 성형된 플라스틱 중앙 부분(504)은 적어도 방향 제어 메커니즘(508) 및 센서(510)를 포함하고, 이들은 커플링(512)을 통해 다른 구성요소들, 즉 증폭기, 아날로그-디지털 변환기, RF 마이크로컨트롤러, 및 안테나에 결합된다. 다시 말하면, 커플링(512)을 통해 센서(510)에 결합된 다른 구성요소들, 즉, 증폭기, 아날로그-디지털 변환기, RF 마이크로컨트롤러 및 안테나는 성형된 플라스틱 중앙 부분(504)에 포함되거나 성형된 플라스틱 중앙 부분(504)을 둘러싸는 와이어들에 부착될 수 있다.

[0067] 도 5c는 예시적인 실시예에 따른 방향 제어 메커니즘(508) 및 센서(510)의 확대도를 도시한다. 도시된 예에서, 센서(510)는 3개의 스트레인 게이지(압전 저항) 센서를 포함하는 포일로서 도시된다. 다시 말하면, 도 5c의 센서(510)는 3개의 스트레인 게이지를 도시하지만, 예시적인 실시예들은 사용자의 혀에 의한 움직임을 검출할 때 더 높은 정확도를 제공하기 위해 임의의 수의 센서가 이용될 수 있음을 인식한다. 도 5c에서, 커플링(512)은 6개의 와이어를 가진 것으로 도시된다. 이는 이 예에서 센서(510)가 3개의 스트레인 게이지를 사용하고 각 스트레인 게이지가 2개의 와이어를 필요로 하기 때문이다. 따라서, 6개의 와이어는 단지 하나의 예일 뿐이며, 센서(510)는 사용자의 혀에 의한 움직임을 감지할 때 더 높은 정확도를 제공하기 위해 임의의 수의 센서를 포함할 수 있다.

[0068] 도 5d는 예시적인 실시예에 따른 방향 제어 메커니즘(508)의 확대도를 도시한다. 도시된 바와 같이, 방향 제어 메커니즘(508)은 예시적인 실시예에 따른 센서(510)에 결합된다. 이 예에서, 센서(510)는 1개의 스트레인 게이지(압전 저항) 센서를 포함하는 포일로서 도시된다. 다시 말하면, 도 5d의 센서(510)는 1개의 스트레인 게이지를 도시하지만, 예시적인 실시예들은 사용자의 혀에 의한 움직임을 검출할 때 더 높은 정확도를 제공하기 위해 임의의 수의 센서가 이용될 수 있음을 인식한다. 도 5d에서, 커플링(512)은 2개의 와이어를 가진 것으로 도시된다. 이는 이 예에서 센서(510)가 1개의 스트레인 게이지를 사용하고 각 스트레인 게이지가 2개의 와이어를 필요로 하기 때문이다. 따라서, 2개의 와이어는 단지 하나의 예일 뿐이며, 센서(510)는 사용자의 혀에 의한 움직임을 감지할 때 더 높은 정확도를 제공하기 위해 임의의 수의 센서를 포함할 수 있다.

[0069] 도 6은 예시적인 실시예에 따른, 사용자의 구강 내에 맞는, 도 3의 구강내 제어 메커니즘(300) 및 도 4의 구강내 제어 메커니즘(400)과 같은 구강내 제어 메커니즘의 일 예를 도시한다. 도시된 바와 같이, 구강내 제어 메커니즘(600)은 사용자의 윗니 주위를 감싸고 사용자의 구강 내에서 치과용 리테이너(502)를 잡고 있는 와이어들(606)에 부착된 성형된 플라스틱 중앙 부분(604)을 포함한다. 성형된 플라스틱 중앙 부분(604)은 적어도 방향 제어 메커니즘(608) 및 센서(610)를 포함한다. 그런 후, 센서(610)는 다른 구성요소들, 즉, 증폭기, 아날로그-디지털 변환기, RF 마이크로컨트롤러 및 안테나에 결합되며, 이들은 성형된 플라스틱 중앙 부분(604)에 포함되거나 커플링(612)을 통해 와이어들(606)에 부착될 수 있다. 또한 모든 디바이스, 즉 센서(610), 커플링(612) 등은 사용자를 보호하기 위해 예시적인 실시예에 따라 절연된다는 점에 유의해야 한다.

[0070] 본 발명은 시스템, 방법, 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능 스토리지 매체를 포함할 수 있으며, 이 매체 상에 프로세서가 본 발명의 실시예들을 수행하도록 하는 컴퓨터 판독 가능 프로그램 명령들을 갖는다.

[0071] 상기 컴퓨터 판독 가능 스토리지 매체는 명령 실행 디바이스에 의해 사용될 명령들을 유지 및 저장할 수 있는 유형의(tangible) 디바이스일 수 있다. 상기 컴퓨터 판독 가능 스토리지 매체는, 예를 들면, 전자 스토리지 디바이스, 자기 스토리지 디바이스, 광 스토리지 디바이스, 전자기 스토리지 디바이스, 반도체 스토리지 디바이스, 또는 전술한 것들의 모든 적절한 조합일 수 있으며, 그러나 이에 한정되지는 않는다. 컴퓨터 판독 가능 스토리지 매체의 더 구체적인 예들의 비포괄적인 목록에는 다음이 포함될 수 있다: 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 및 프로그램가능 읽기 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대용 컴팩트 디스크 읽기 전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 메모리 스틱, 플로피 디스크, 천공-카드들 또는 명령들이 기록된 홈에 있는 융기된 구조들 같이 기계적으로 인코드된 디바이스, 및 전술한 것들의 모든 적절한 조합. 본원에서 사용될 때, 컴퓨터 판독 가능 스토리지 매체는 무선 전파들이나 다른 자유롭게 전파되는 전자기파들, 도파관이나 기타 전송 매체를 통해 전파되는 전자기파들(예를 들어, 광섬유 케이블을 통해 전달되는 광 펄스들), 또는 선(wire)을 통해 전송되는 전기 신호들 같이 그 자체로 일시적인(transitory) 신호들로 해석되지는 않는다.

[0072] 본원에 기술되는 컴퓨터 판독 가능 프로그램 명령들은, 예를 들어, 인터넷, 근거리 통신망, 광역 통신망 및/또는 무선 네트워크 등의 통신망(네트워크)을 통해 컴퓨터 판독 가능 스토리지 매체로부터 각각 컴퓨팅/처리 디바이스들로 또는 외부 컴퓨터 또는 외부 스토리지 디바이스로 다운로드될 수 있다. 상기 통신망은 구리 전송 케이블들, 광 전송 섬유들, 무선 전송, 라우터들, 방화벽들, 스위치들, 게이트웨이 컴퓨터들 및/또는 엣지 서버들을 포함할 수 있다. 각 컴퓨팅/처리 디바이스 내 네트워크 어댑터 카드 또는 네트워크 인터페이스는 상기 통신망으로부터 컴퓨터 판독 가능 프로그램 명령들을 수신하고 그 컴퓨터 판독 가능 프로그램 명령들을 각각의 컴퓨팅/처리 디바이스 내의 컴퓨터 판독 가능 스토리지 매체에 저장하기 위해 전송한다.

[0073] 본 발명의 동작들을 실행하기 위한 컴퓨터 판독 가능 프로그램 명령들은 Java, Smalltalk, C++ 또는 그와 유사 언어 등의 객체 지향 프로그래밍 언어와 파이썬(Python) 프로그래밍 언어 또는 그와 유사한 언어 등의 종래의 절차적 프로그래밍 언어들을 포함하여, 하나 이상의 프로그래밍 언어들을 조합하여 작성된(written) 어셈블러 명령들, 명령-세트-아키텍처(ISA) 명령들, 머신 명령들, 머신 종속 명령들, 마이크로코드, 펌웨어 명령들, 상태-셋팅 데이터, 또는 소스 코드나 목적 코드일 수 있다. 상기 컴퓨터 판독 가능 프로그램 명령들은 전적으로 사용자의 컴퓨터상에서, 부분적으로 사용자의 컴퓨터상에서, 독립형(stand-alone) 소프트웨어 패키지로서, 부분적으로 사용자의 컴퓨터상에서 그리고 부분적으로 원격 컴퓨터상에서 또는 전적으로 원격 컴퓨터나 서버상에서 실행될 수 있다. 위에서 마지막의 경우에, 원격 컴퓨터는 근거리 통신망(LAN) 또는 광역 통신망(WAN)을 포함한 모든 종류의 네트워크를 통해서 사용자의 컴퓨터에 접속될 수 있고, 또는 이 접속은 (예를 들어, 인터넷 서비스 제공자를 이용한 인터넷을 통해서) 외부 컴퓨터에 이루어질 수도 있다. 일부 실시예들에서, 예를 들어 프로그램 가능 논리 회로, 필드-프로그램 가능 게이트 어레이들(FPGA), 또는 프로그램 가능 논리 어레이들(PLA)을 포함한 전자 회로는 본 발명의 실시예들을 수행하기 위해 전자 회로를 맞춤화하도록 상기 컴퓨터 판독 가능 프로그램 명령들의 상태 정보를 활용하여 상기 컴퓨터 판독 가능 프로그램 명령들을 실행할 수 있다.

[0074] 여기에서는 본 발명의 실시예들에 따른 방법들, 장치들(시스템들), 및 컴퓨터 프로그램 제품들의 흐름 예시도들 및/또는 블록도들을 참조하여 본 발명의 실시예들을 기술한다. 흐름 예시도들 및/또는 블록도들의 각 블록과 흐름 예시도들 및/또는 블록도들 내 블록들의 조합들은 컴퓨터 판독 가능 프로그램 명령들에 의해 구현될 수 있다는 것을 이해할 수 있을 것이다.

[0075] 이들 컴퓨터 판독 가능 프로그램 명령들은 컴퓨터, 또는 기타 프로그램가능 데이터 처리 장치의 프로세서에 제공되어 머신(machine)을 생성하고, 그렇게 하여 그 명령들이 상기 컴퓨터 또는 기타 프로그램가능 데이터 처리 장치의 프로세서를 통해서 실행되어, 상기 흐름도 및/또는 블록도의 블록 또는 블록들에 명시된 기능들/동작들을 구현하기 위한 수단을 생성할 수 있다. 이들 컴퓨터 판독 가능 프로그램 명령들은 또한 컴퓨터 판독 가능 스토리지 매체에 저장될 수 있으며, 컴퓨터, 프로그램가능 데이터 처리 장치 및/또는 기타 디바이스들에 지시하여 명령들이 저장된 상기 컴퓨터 판독 가능 스토리지 매체가 상기 흐름도 및/또는 블록도의 블록 또는 블록들에 명시된 기능/동작의 특징들을 구현하는 명령들을 포함하는 제조품(an article of manufacture)을 포함하도록 특정한 방식으로 기능하게 할 수 있다.

[0076] 상기 컴퓨터 판독 가능 프로그램 명령들은 또한 컴퓨터, 기타 프로그램가능 데이터 처리 장치, 또는 다른 디바이스에 로드 되어, 상기 컴퓨터, 기타 프로그램가능 장치 또는 다른 디바이스에서 일련의 연산 단계들이 수행되게 하여 컴퓨터 구현 프로세스를 생성하며, 그렇게 하여 상기 컴퓨터, 기타 프로그램가능 장치, 또는 다른 디바이스 상에서 실행되는 명령들이 흐름도 및/또는 블록도의 블록 또는 블록들에 명시된 기능들/동작들을 구현할 수 있다.

[0077] 도 7은 예시적인 실시예에 따라 사용자가 전자 디바이스의 동작을 제어할 수 있도록 구강내 제어 메커니즘에 의해 수행되는 동작의 예시적인 흐름도를 도시한다. 작동이 시작되면, 구강내 제어 메커니즘의 센서가 변위, 가속도 또는 위치를 포함하여 응력, 힘, 토크 또는 기타 자극의 형태로 스트레인을 검출한다(단계 702). 센서에 의해 검출된 스트레인은 제어 메커니즘으로부터 오며, 이는 사용자의 혀에 의해 터치될 때 운동학적, 퍼짐, 분산, 반동, 바운싱 등의 특징의 형태를 취할 수 있다. 검출된 스트레인을 활용하여, 센서가 검출된 스트레인을 온, 오프, 선택, 앞으로, 뒤로, 왼쪽, 오른쪽, 위, 아래 등과 같은 제어 신호로 변환한다(단계 704).

[0078] 구강내 제어 메커니즘의 증폭기가 전원 공급 장치로부터 전력을 사용하여 제어 신호의 진폭을 증폭시켜 비례적으로 더 큰 진폭 제어 신호, 즉 증폭된 제어 신호를 생성한다(단계 706). 구강내 제어 메커니즘의 아날로그-디지털 변환기가 아날로그 신호인 증폭된 제어 신호를 디지털 입력 신호로 변환한다(단계 708). 그런 후, 구강내 제어 메커니즘의 무선 주파수(RF) 마이크로컨트롤러가 디지털 입력 신호를 원하는 송신 주파로 변조한다(단계 710). 그런 후, RF 마이크로컨트롤러가 디지털 입력 신호를 정합 안테나 시스템을 통해 컴퓨터 시스템으로 송신한다(단계 712). 이어서, 컴퓨터 시스템은 디지털 입력 신호를 미리 훈련된 분류자들 및 기타 소프트웨어를 이용하여 디지털 제어 신호로 해석하며, 이로써 컴퓨터 시스템은 컴퓨터 시스템 자체에서 디지털 제어 신호를 실행하고 원하는 동작을 수행하거나 컴퓨터 시스템은 디지털 제어 신호를 전자 디바이스의 전자 디바이스 제어 메커니즘으로 송신하여, 이에 의해 전자 디바이스 제어 메커니즘이 포함된 전자 디바이스가 디지털 제어 신호에 의해 지시된 방식으로 전자 디바이스를 동작하게 한다. 그 후에 이 동작은 종료되고 분석을 위해 저장되거나 저장되지 않을 수 있다.

[0079] 도 8은 예시적인 실시예에 따라 전자 디바이스의 동작을 제어하기 위해 구강내 제어 메커니즘으로부터 디지털 입력 신호를 수신하는 컴퓨터 시스템에 의해 수행되는 동작의 예시적인 흐름도를 도시한다. 본 발명의 하나 이상의 실시예에 따르면, 구강내 제어 시스템은 인간-컴퓨터 인터페이스를 구축하는 하나 이상의 스트레인 게이지를 포함하는 센서를 제공하는 것(단계 802)을 포함하고 이 인터페이스는 센서에 의해, 스트레인 게이지 상에 응력과 관련된 신호를 출력한다(단계 804). 수신기가 센서에 의해 출력된 신호를 수신하고(단계 806) 그 신호를 처리하여 관심 매개변수를 결정한다(단계 808). 본 발명의 하나 이상의 실시예에 따르면, 관심 매개변수는 이동성, 교통, 의사소통, 일상 생활 활동 및 직업 관련 활동 수행에 도움이 될 수 있는 움직임을 특성화한 것이다. 본원에 기술되는 매개변수는 예시적인 것이며, 이 기술 분야에서 통상의 지식을 가진 자는 센서에 의해 출력된 신호에 추가 매개변수가 매핑될 수 있음을 인식할 수 있음을 이해해야 한다. 예시적인 실시예에 따르면, 이후, 관심 매개변수는 다른 기계 상에서 작동되고/거나 다른 기계로 전달된다(단계 810).

[0080] 본 발명의 하나 이상의 실시예에 따르면, 기계 학습 프로세스(단계 812)는 센서가 신호(예를 들어, 파형 신호)로부터 관심 매개변수(단계 808)로 매핑하도록 설정한다. 매핑은 단계 808에서 신호를 처리하는 데 사용된다. 예를 들어, 센서의 출력은 주어진 파형이 특정 움직임에 해당하는지 결정하기 위해 계측될 수 있다.

[0081] 본 발명의 하나 이상의 실시예에 따르면, 단계 812의 기계 학습 프로세스와 단계 808의 신호 처리는 스스로 걸을 수 없는 사람들을 돕는 휠체어, 보행기 및 목발과 같은 이동성 디바이스에 적응된다.

[0082] 본 발명의 일 실시예에 따르면, 움직임의 특성화를 위해, 단계 812의 기계 학습은 훈련 세션을 포함한다. 단계 812의 기계 학습 프로세스는 스트레인 측정치 및 움직임 측정치로부터 구간 선형 회귀 모델(piece-wise linear regression model)의 추정을 더 포함한다. 구간 선형 회귀 모델(즉, 단계 812)이 주어지면, 단계 808의 신호 처리는 이 예시적인 경우에 관심 매개변수를 예측하기 위해 이 모델에 신호를 입력한다. 본 발명의 일 실시예에 따르면, 단계 808의 신호 처리는 수신된 스트레인 신호들(단계 806 참조)을 움직임들로 집단분류/군집분류하는 것을 포함한다. 단계 808의 신호 처리는 시간 경과에 따른 (예를 들어, 의사나 기술자에 대한 여러 방문 시, 수신기의 무선 통신 범위에 있을 때 등) 스트레인 신호를 기록하는 것을 포함하고, 여기서 스트레인은 하나 이상의 움직임에 대해 관찰되고 시간 경과에 따라 비교된다.

[0083] 스트레인 측정치 및 알려진 움직임이 주어지면, 단계 812의 기계 학습은 알려진 움직임 동작들에 대응하는 스트레인 측정치들의 그룹 분류, 동적 시간 워핑(DTW) 적용, 및 관용구 식별을 포함한다. DTW는 속도가 다른 두 시간적 시퀀스 사이의 유사성을 측정하는 방법이다. 본 발명의 하나 이상의 실시예에서, DTW 방법은 가변성(예를 들어, 상이한 속도로 일을 하는 상이한 대상체)을 보상하기 위해 적용되며, 여기서 DTW는 일 세트의 정렬된 스트레인 측정치들을 출력한다. 단계 812의 기계 학습은 문자 및 몸짓 레이블에 매핑된 스트레인 측정치들을 사용하여 훈련된 분류자(예를 들어, k-최근접 이웃, 서포트 벡터 머신(SVM), 신경망 등)를 생성하는 것을 포함한다. 본 발명의 일 실시예에 따르면, 단계 808의 신호 처리는 센서로부터 신호들을 수신하고 분류자를 사용하여 수신된 신호들로부터 문자들 및/또는 몸짓들을 예측한다.

[0084] 도면들 내 흐름도 및 블록도들은 본 발명의 여러 실시예들에 따른 시스템들, 방법들 및 컴퓨터 프로그램 제품들의 가능한 구현들의 아키텍처, 기능(functionality), 및 동작(operation)을 예시한다. 이와 관련하여, 상기 흐름도 또는 블록도들 내 각 블록은 상기 명시된 논리적 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령들을 포함한 모듈, 세그먼트 또는 명령들의 일부분을 나타낼 수 있다. 일부 다른 구현들에서, 상기 블록에 언급되는 기능들은 도면들에 언급된 순서와 다르게 일어날 수도 있다. 예를 들면, 연속으로 도시된 두 개의 블록은 실제로는 사실상 동시에 실행될 수도 있고, 또는 이 두 블록은 때때로 관련된 기능에 따라서는 역순으로 실행될 수도 있다. 블록도들 및/또는 흐름 예시도의 각 블록, 및 블록도들 및/또는 흐름 예시도 내 블록들의 조합들은 특수목적용 하드웨어 및 컴퓨터 명령들의 명시된 기능들 또는 동작들, 또는 이들의 조합들을 수행하는 특수목적용 하드웨어-기반 시스템들에 의해 구현될 수 있다는 것에 또한 주목해야 한다.

[0085] 따라서, 예시적인 실시예들은 사용자가 전자 디바이스의 동작을 제어할 수 있게 하는 구강내 제어 메커니즘을 위한 메커니즘들을 제공한다. 예시적인 실시예들은 신체 부위(예를 들어, 혀)로 쉽게 조작할 수 있지만 다른 사용(예를 들어, 씹기, 삼키기, 말하기) 중에는 방해가 되지 않는 형태로 구성될 수 있는 부드럽고 생물학적으로 영감을 받은 편심 모양의 ‘컨트롤러’를 제공한다. 인간 사용자에 의한 이 컨트롤러의 움직임들은 센서에 의해 디지털 신호로 변환되며 이는 훈련된 분류자들에 의해 온, 오프, 선택, 앞으로, 뒤로, 왼쪽, 오른쪽, 위 등과 같은 ‘제어’ 동작들로 디콘볼루션된다.

[0086] 위에서 언급한 바와 같이, 예시적인 실시예들은 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예 또는 하드웨어 및 소프트웨어 요소 둘 다를 포함하는 실시예의 형태를 취할 수 있음을 이해해야 한다. 일 예시적인 실시예에서, 예시적인 실시예들의 메커니즘들은 소프트웨어 또는 프로그램 코드로 구현되고, 여기에는 펌웨어, 상주 소프트웨어, 마이크로코드 등이 포함되나 이에 한정되지는 않는다.

[0087] 프로그램 코드를 저장 및/또는 실행하기에 적합한 데이터 처리 시스템은 예를 들어 시스템 버스와 같은 통신 버스를 통해 메모리 요소들에 직접 또는 간접적으로 결합된 적어도 하나의 프로세서를 포함할 것이다. 메모리 요소들은 프로그램 코드의 실제 실행 동안 사용되는 로컬 메모리, 대용량 스토리지, 및 실행 동안 대용량 스토리지에서 코드를 검색해야 하는 횟수를 줄이기 위해 적어도 일부 프로그램 코드의 임시 스토리지를 제공하는 캐시 메모리들을 포함할 수 있다. 메모리는 ROM, PROM, EPROM, EEPROM, DRAM, SRAM, 플래시 메모리, 솔리드 스테이트 메모리 등을 포함하지만 이에 제한되지 않는 다양한 유형일 수 있다.

[0088] (키보드, 디바이스, 포인팅 디바이스 등을 포함하나 이에 한정되지 않는) 입력/출력 또는 I/O 디바이스들은 직접 또는 개입하는 유선 또는 무선 I/O 인터페이스 및/또는 컨트롤러 등을 통해 시스템에 결합될 수 있다. I/O 디바이스는 종래의 키보드, 디스플레이, 포인팅 디바이스 등 이외에 예를 들어 스마트폰, 태블릿 컴퓨터, 터치 스크린 디바이스, 음성 인식 디바이스 등을 포함한 그러나 이에 한정되지 않는 유선 또는 무선 연결을 통해 결합된 통신 디바이스 등의 여러 상이한 형태를 취할 수 있다. 임의의 알려지거나 나중에 개발되는 I/O 디바이스는 예시적인 실시예들의 범위 내에 있는 것으로 의도된다.

[0089] 네트워크 어댑터는 또한 데이터 처리 시스템이 중개 사설 또는 공용 네트워크를 통해 다른 데이터 처리 시스템 또는 원격 프린터 또는 스토리지 디바이스에 결합될 수 있도록 시스템에 결합될 수 있다. 모뎀, 케이블 모뎀 및 이더넷 카드는 현재 사용 가능한 유선 통신 유형의 네트워크 어댑터 중 일부에 불과하다. 802.11 a/b/g/n 무선 통신 어댑터, 블루투스 무선 어댑터 등을 포함하지만 이에 제한되지 않는 무선 통신 기반 네트워크 어댑터가 사용될 수도 있다. 임의의 알려지거나 나중에 개발되는 네트워크 어댑터는 본 발명의 정신과 범위 내에 있는 것으로 의도된다.

[0090] 본 발명의 설명은 예시와 설명의 목적으로 제공되는 것이며, 발명을 개시되는 형태로 빠짐없이 총 망라하거나 한정하려는 의도가 있는 것은 아니다. 이 기술 분야에서 통상의 지식을 가진 자라면 개시된 실시예들의 범위와 정신을 벗어나지 않으면서 많은 수정들 및 변형들이 있을 수 있다는 것을 명백히 알 수 있을 것이다. 실시예는 발명의 원리들 및 실제 응용을 가장 잘 설명하기 위해 그리고 고려되는 구체적인 용도에 적합하게 여러 수정들을 갖는 다양한 실시예들에 대해 발명을 이 기술 분야에서 통상의 지식을 가진 다른 자들이 이해할 수 있도록 하기 위해, 선택되고 기술되었다. 본원에 사용된 용어는 실시예들의 원리, 시장에서 발견되는 기술에 대한 실질적인 응용 또는 기술적 개선을 가장 잘 설명하거나, 또는 이 기술 분야에서 통상의 지식을 가진 자가 본원에 개시된 실시예들을 이해할 수 있도록 하기 위해 선택되었다.

Claims

적어도 하나의 프로세서 및, 사용자가 예시적인 실시예에 따라서 컴퓨터 시스템 또는 전자 디바이스의 동작을 제어할 수 있게 하는 구강내 제어 메커니즘(an intraoral control mechanism)을 구현하는 상기 적어도 하나의 프로세서를 구성하도록 상기 적어도 하나의 프로세서에 의해 실행되는 명령들을 포함하는, 적어도 하나의 메모리를 포함하는 데이터 처리 시스템에서의, 방법으로서, 상기 방법은:
상기 구강내 제어 메커니즘의 센서에 의해, 사용자의 혀가 제어 메커니즘을 고정된 위치로부터 멀어지게 이동시키는 것에 기초한 스트레인을 검출하는 단계(detecting);
상기 센서에 의해, 상기 검출된 스트레인을 제어 신호로 변환하는 단계(transducing);
상기 구강내 제어 메커니즘의 증폭기에 의해, 상기 제어 신호의 진폭을 증폭하는 단계(amplifying) 및 이에 의해 증폭된 제어 신호를 생성하는 단계(producing);
상기 구강내 제어 메커니즘의 아날로그-디지털 변환기에 의해, 상기 증폭된 제어 신호를 디지털 입력 신호로 변환하는 단계(converting);
상기 구강내 제어 메커니즘의 무선 주파수(RF) 마이크로컨트롤러에 의해, 상기 디지털 입력 신호를 송신 주파(transmission frequency wave)로 변조하는 단계(modulating);
상기 RF 마이크로컨트롤러에 의해, 상기 디지털 입력 신호를 상기 컴퓨터 시스템에 송신하는 단계(transmitting)― 상기 컴퓨터 시스템은 그 다음 상기 디지털 입력 신호를 미리 훈련된 분류자들 및 기타 소프트웨어를 이용하여 디지털 제어 신호로 해석함―;를 포함하고, 상기 방법은:
　 상기 컴퓨터 시스템 자체에서 상기 디지털 제어 신호를 실행하는 단계(executing) 및 상기 디지털 제어 신호와 연관된 동작을 수행하는 단계(performing); 또는
상기 디지털 제어 신호를 상기 전자 디바이스의 전자 디바이스 제어 메커니즘에 송신하는 단계(transmitting) 및 이에 의해 상기 전자 디바이스 제어 메커니즘이 포함된 상기 전자 디바이스가 상기 디지털 제어 신호에 의해 지시된 대로 동작하게 하는 단계(causing to operate); 중 하나를 더 포함하며, 그리고 상기 방법은:
상기 사용자의 분석 및 특성화를 위해 상기 디지털 입력 신호를 저장하는 단계(saving);를 더 포함하는 방법.
제1항에 있어서,
상기 구강내 제어 메커니즘은 상기 사용자가 착용하는 치과용 리테이너 내에 포함되는 것을 특징으로 하는, 방법.
제2항에 있어서,
상기 치과용 리테이너는 상기 사용자의 구강 내 경구개에 부착되는 성형된 플라스틱 중앙 부분을 포함하고, 상기 성형된 플라스틱 중앙 부분은 적어도 상기 제어 메커니즘 및 상기 센서를 포함하는 것을 특징으로 하는, 방법.
제3항에 있어서,
상기 증폭기, 상기 아날로그-디지털 변환기, 상기 마이크로컨트롤러, 및 상기 안테나는 상기 성형된 플라스틱 중앙 부분 내에 포함되는 것을 특징으로 하는, 방법.
제3항에 있어서,
상기 증폭기, 상기 아날로그-디지털 변환기, 상기 마이크로컨트롤러, 및 상기 안테나는 상기 성형된 플라스틱 중앙 부분에 부착된 와이어들 내에 포함되고, 상기 와이어들은 상기 사용자의 윗니 주위를 감싸고 상기 치과용 리테이너를 상기 사용자의 구강 내에 잡고 있는 것을 특징으로 하는, 방법.
제1항에 있어서,
상기 제어 메커니즘은 360도 운동 및 상방 운동과 이어지는 하방 운동을 구비하는 것을 특징으로 하는, 방법.
제1항에 있어서,
상기 센서는 금속 구조, 압전 저항 구조, 또는 압전 구조를 포함하는 군에서 선택되는 것을 특징으로 하는, 방법.
제1항에 있어서,
상기 스트레인은 응력, 힘, 토크, 변위, 가속도 또는 위치를 포함하는 군에서 선택되는 것을 특징으로 하는, 방법.
제1항에 있어서,
상기 제어 메커니즘은 치과용 리테이너의 성형된 플라스틱 중앙 부분 상의 돌출부이고, 상기 돌출부는 운동학적 돌출부, 퍼짐 돌출부, 분산 돌출부, 반동 돌출부 또는 바운싱 돌출부를 포함하는 군에서 선택되는 것을 특징으로 하는, 방법.
제1항에 있어서,
상기 제어 신호는 상기 전자 디바이스에 대한 동작을 지시하고, 상기 동작은 온, 오프, 선택, 앞으로, 뒤로, 왼쪽, 오른쪽, 위, 아래 또는 임의로 정의된 임의의 다른 동작을 포함하는 군에서 선택되는 것을 특징으로 하는, 방법.
장치로서, 상기 장치는:
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서에 결합된 적어도 하나의 메모리를 포함하되,
상기 적어도 하나의 메모리는 명령들을 포함하고,
상기 명령들은 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 사용자가 예시적인 실시예에 따라서 컴퓨터 시스템 또는 전자 디바이스의 동작을 제어할 수 있게 하고, 또한 상기 적어도 하나의 프로세서로 하여금 방법을 수행하게 하며, 상기 방법은:
구강내 제어 메커니즘으로부터, 디지털 입력 신호를 수신하게 하는 단계 ― 상기 디지털 입력 제어 신호는 상기 구강내 제어 메커니즘으로부터 상기 구강내 제어 메커니즘을 통해 수신됨-;
상기 구강내 제어 메커니즘의 센서에 의해, 사용자의 혀가 제어 메커니즘을 고정된 위치로부터 멀어지게 이동시키는 것에 기초한 스트레인을 검출하는 단계;
상기 센서에 의해, 상기 검출된 스트레인을 제어 신호로 변환하는 단계;
상기 구강내 제어 메커니즘의 증폭기에 의해, 상기 제어 신호의 진폭을 증폭하는 단계 및 이에 의해 증폭된 제어 신호를 생성하는 단계;
상기 구강내 제어 메커니즘의 아날로그-디지털 변환기에 의해, 상기 증폭된 제어 신호를 디지털 입력 신호로 변환하는 단계;
상기 구강내 제어 메커니즘의 무선 주파수(RF) 마이크로컨트롤러에 의해, 상기 디지털 입력 신호를 송신 주파(transmission frequency wave)로 변조하는 단계; 그리고
상기 RF 마이크로컨트롤러에 의해, 상기 디지털 입력 신호를 상기 컴퓨터 시스템에 송신하는 단계― 상기 컴퓨터 시스템은 그 다음 상기 디지털 입력 신호를 미리 훈련된 분류자들 및 기타 소프트웨어를 이용하여 디지털 제어 신호로 해석함―;를 포함하고, 상기 방법은:
상기 컴퓨터 시스템 자체에서 상기 디지털 제어 신호를 실행하는 단계및 상기 디지털 제어 신호와 연관된 동작을 실행하는 단계; 또는
상기 디지털 제어 신호를 상기 전자 디바이스의 전자 디바이스 제어 메커니즘에 송신하는 단계 및 이에 의해 상기 전자 디바이스 제어 메커니즘이 포함된 상기 전자 디바이스가 상기 디지털 제어 신호에 의해 지시된 대로 동작하게 하는 단계; 중 하나를 더 포함하며, 그리고 상기 방법은:
상기 사용자의 분석 및 특성화를 위해 상기 디지털 입력 신호를 저장하는 단계를 더 포함하는 것을 특징으로 하는, 장치.
제11항에 있어서,
상기 구강내 제어 메커니즘은 상기 사용자가 착용하는 치과용 리테이너 내에 포함되는 것을 특징으로 하는, 장치.
제12항에 있어서,
상기 치과용 리테이너는 상기 사용자의 구강 내 경구개에 부착되는 성형된 플라스틱 중앙 부분을 포함하고, 상기 성형된 플라스틱 중앙 부분은 적어도 상기 제어 메커니즘 및 상기 센서를 포함하는 것을 특징으로 하는, 장치.
제13항에 있어서,
상기 증폭기, 상기 아날로그-디지털 변환기, 상기 마이크로컨트롤러, 및 상기 안테나는 상기 성형된 플라스틱 중앙 부분 내에 포함되는 것을 특징으로 하는, 장치.
제13항에 있어서,
상기 증폭기, 상기 아날로그-디지털 변환기, 상기 마이크로컨트롤러, 및 상기 안테나는 상기 성형된 플라스틱 중앙 부분에 부착된 와이어들 내에 포함되고, 상기 와이어들은 상기 사용자의 윗니 주위를 감싸고 상기 치과용 리테이너를 상기 사용자의 구강 내에 잡고 있는 것을 특징으로 하는, 장치.
제11항에 있어서,
상기 제어 메커니즘은 360도 운동 및 상방 운동과 이어지는 하방 운동을 구비하는 것을 특징으로 하는, 장치.
제11항에 있어서,
상기 센서는 금속 구조, 압전 저항 구조, 또는 압전 구조를 포함하는 군에서 선택되는 것을 특징으로 하는, 장치.
제11항에 있어서,
상기 스트레인은 응력, 힘, 토크, 변위, 가속도 또는 위치를 포함하는 군에서 선택되는 것을 특징으로 하는, 장치.
제11항에 있어서,
상기 제어 메커니즘은 치과용 리테이너의 성형된 플라스틱 중앙 부분 상의 돌출부이고, 상기 돌출부는 운동학적 돌출부, 퍼짐 돌출부, 분산 돌출부, 반동 돌출부 또는 바운싱 돌출부를 포함하는 군에서 선택되는 것을 특징으로 하는, 장치.
컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품은 사용자가 컴퓨터 시스템 또는 전자 디바이스의 동작을 제어할 수 있도록 하기 위한 컴퓨터 판독 가능 프로그램이 저장된 컴퓨터 판독 가능 스토리지 매체를 포함하고,
상기 컴퓨터 판독 가능 프로그램은 데이터 처리 시스템 상에서 실행될 때, 상기 데이터 처리 시스템으로 하여금 방법을 수행하도록 구성되며, 상기 방법은:
구강내 제어 메커니즘으로부터 디지털 입력 신호를 수신하는 단계 ― 상기 디지털 입력 제어 신호는 상기 구강내 제어 메커니즘으로부터 상기 구강내 제어 메커니즘을 통해 수신됨;
상기 구강내 제어 메커니즘의 센서에 의해, 사용자의 혀가 제어 메커니즘을 고정된 위치로부터 멀어지게 이동시키는 것에 기초한 스트레인을 검출하는 단계;
상기 센서에 의해, 상기 검출된 스트레인을 제어 신호로 변환하는 단계;
상기 구강내 제어 메커니즘의 증폭기에 의해, 상기 제어 신호의 진폭을 증폭하는 단계 및 이에 의해 증폭된 제어 신호를 생성하는 단계;
상기 구강내 제어 메커니즘의 아날로그-디지털 변환기에 의해, 상기 증폭된 제어 신호를 디지털 입력 신호로 변환하는 단계;
상기 구강내 제어 메커니즘의 무선 주파수(RF) 마이크로컨트롤러에 의해, 상기 디지털 입력 신호를 송신 주파(transmission frequency wave)로 변조하는 단계; 그리고
상기 RF 마이크로컨트롤러에 의해, 상기 디지털 입력 신호를 상기 컴퓨터 시스템에 송신하는 단계―상기 컴퓨터 시스템은 그 다음 상기 디지털 입력 신호를 미리 훈련된 분류자들 및 기타 소프트웨어를 이용하여 디지털 제어 신호로 해석함―;를 포함하고, 상기 방법은:
상기 컴퓨터 시스템 자체에서 상기 디지털 제어 신호를 실행하는 단계 및 상기 디지털 제어 신호와 연관된 동작을 수행하는 단계; 또는
상기 디지털 제어 신호를 상기 전자 디바이스의 전자 디바이스 제어 메커니즘에 송신하는 단계 및 이에 의해 상기 전자 디바이스 제어 메커니즘이 포함된 상기 전자 디바이스가 상기 디지털 제어 신호에 의해 지시된 대로 동작하게 하는 단계; 중 하나를 포함하며, 그리고 상기 방법은:
상기 사용자의 분석 및 특성화를 위해 상기 디지털 입력 신호를 저장하는 단계를 포함하는 것을 특징으로 하는, 컴퓨터 프로그램 제품.