KR20150114983A

KR20150114983A - 비접촉 제스쳐 제어 방법 및 전자 단말 장치

Info

Publication number: KR20150114983A
Application number: KR1020157023607A
Authority: KR
Inventors: 마오성 황; 슈위 왕; 산푸 리; 캉민 황; 위린 정; 커웨이 이; 량 량
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2013-01-31
Filing date: 2014-01-15
Publication date: 2015-10-13
Also published as: WO2014117647A1; EP3528093A1; US20150331668A1; KR101801073B1; CN103970260A; EP2942698A1; EP3528093B1; EP2942698B1; CN103970260B; EP2942698A4; US10671342B2

Abstract

본 발명은 인간 컴퓨터 상호작용의 기술 분야에 적용될 수 있고, 전자 단말 장치를 제어하는 비접촉 제스쳐 제어 방법, 및 전자 단말 장치를 제공한다. 이러한 방법은: 사용자의 A1 제스쳐 모션을 수신하는 단계로서, A1 제스쳐 모션은 전자 단말에 접촉하지 않는, 단계; A1 제스쳐 모션에 대응하는 A1 제어 지시를 식별하고 획득하는 단계로서, A1 제어 지시는 전자 단말 장치를 제어하는 데 사용되는 것이고, 이로써 전자 단말 장치가 A1 제어 지시에 대응하는 동작을 수행하는, 단계; 미리 정해진 지연 기간에 사용자의 A2 제어 지시를 획득하는 단계로서, 미리 정해진 지연 기간은 3 초 보다 짧고 A2 제어 지시는 전자 단말 장치를 제어하는 데 사용되는 것인, 단계; 및 A1 제어 지시를 A2 제어 지시와 비교하는 단계를 포함하고, A1 제어 지시가 A2 제어 지시와 일치되는 경우, 전자 단말 장치는 A2 제어 지시에 대응하는 동작을 수행하지 않고, A1 제어 지시가 A2 제어 지시와 일관되지 않는 경우, 전자 단말 장치는 A2 제어 지시에 대응하는 동작을 수행한다.

Description

비접촉 제스쳐 제어 방법 및 전자 단말 장치{NON-CONTACT GESTURE CONTROL METHOD, AND ELECTRONIC TERMINAL DEVICE}

본 발명은 인간-기계 상호작용 기술의 분야에 관한 것이고, 특히, 전자 단말 장치를 제어하는 비접촉 제스쳐 제어 방법 및 전자 단말 장치에 관한 것이다.

제스쳐(gesture)를 사용하여 장치를 제어하는 것은 인간-기계 상호작용 기술 중 하나이다. 종래의 마우스(mouse) 또는 키보드(keyboard) 입력과 비교했을 때, 제스쳐 제어는, 장치를 제어하거나 또는 장치에 특정 정보를 입력하기 위해 사용자가 특정 입력 장치를 잡을 것을 요구하지 않고, 특정 핸드 모션(hand motion)만을 요구한다. 비접촉 제스쳐의 흥미로움 및 편리함 때문에, 비접촉 제스쳐는 업계에서 컴퓨터 단말, 모바일 단말, 텔레비전 단말, 및 유사한 것을 제어하는 데 널리 사용된다.

선행 문헌 1에서, 비접촉 제스쳐 제어는, 공간으로부터 획득되고 깊이 정보를 수반하는 이미지가 이미지 인식 기술을 이용하여 분석되고 추출되며, 이미지의 제스쳐의 모션이 분석되고, 제스쳐의 모션의 템플릿(template)을 제어 명령과 매칭(matching)시킴으로써 제어 명령이 획득되고, 다음으로 대응하는 제어 명령이 실행되어 제어 목적을 달성하는 것을 가리킨다.

선행 문헌 1은 다음의 단점을 갖는다. 사용자는 제스쳐 모션이 인식되지 않는 경우를 우려하여 사용자의 의도를 강조하기 위해 일반적으로 계속해서 같은 제스쳐 모션을 취하거나; 또는 제스쳐 모션을 취할 때, 사용자는 음성 명령(voice command) 또는 입술 명령(lip command)을 전송하거나, 또는 뇌파(brain wave)를 사용하여 동일한 명령을 전송함으로써, 이로써 모든 이러한 반복된 명령들이 반복적으로 인식되고, 이는 오동작을 야기한다.

본 발명의 실시예는, 이로써 제스쳐 모션이 인식되지 않을 것을 사용자가 우려하여 동일한 명령의 전송을 강조하기 위해 동일한 제스쳐 모션을 일반적으로 계속적으로 취하고, 이러한 반복되는 명령들이 반복적으로 인식되고, 이것이 오동작을 야기하는 종래 기술의 문제점을 해결하기 위한, 비접촉 제스쳐 제어 방법 및 전자 단말 장치를 제공하는 것을 목적으로 한다.

본 발명의 한 실시예는 다음과 같이 구현된다: 전자 단말 장치를 제어하는 데 사용되는 비접촉 제스쳐 제어 방법으로서, 사용자의 A1 제스쳐 모션을 수신하는 단계 -상기 A1 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않음-; 인식 처리에 의하여, 상기 A1 제스쳐 모션에 대응하는 A1 제어 지시를 획득하는 단계 -상기 A1 제어 지시는 상기 전자 단말 장치가 상기 A1 제어 지시에 대응하는 동작을 수행하도록 상기 전자 단말 장치를 제어하는 데 사용되는 것임-; 미리 설정된 지연 기간 내에 상기 사용자의 A2 제어 지시를 획득하는 단계 -상기 미리 설정된 지연 기간은 3 초보다 짧고 상기 A2 제어 지시는 상기 전자 단말 장치를 제어하는 데 사용되는 것임-; 및 상기 A1 제어 지시를 상기 A2 제어 지시와 비교하는 단계를 포함하고, 상기 비교하는 단계에서, 상기 A1 제어 지시가 상기 A2 제어 지시와 일치되는 경우, 상기 전자 단말 장치는 상기 A2 제어 지시에 대응하는 동작을 수행하지 않고, 상기 A1 제어 지시가 상기 A2 제어 지시와 일치되지 않는 경우, 상기 전자 단말 장치는 상기 A2 제어 지시에 대응하는 동작을 수행한다.

본 발명의 본 실시예의 비접촉 제스쳐 제어 방법에 따르면, 상기 미리 설정된 지연 기간 내에 상기 사용자의 A2 제어 지시를 획득하는 단계는: 상기 미리 설정된 지연 기간 내에 상기 사용자의 A2 제스쳐 모션을 수신하고, 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계(mapping relationship)에 따라, 상기 A2 제스쳐 모션에 대응하는 상기 A2 제어 지시를 획득하는 단계 -상기 A2 제스쳐 모션은 상기 전자 단말 장치에 접촉하지 않음-; 또는 상기 미리 설정된 지연 기간 내에 상기 사용자의 A1 음성 명령을 수신하고, 음성 명령과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 A1 음성 명령에 대응하는 상기 A2 제어 지시를 획득하는 단계; 또는 상기 미리 설정된 지연 기간 내에 상기 사용자의 입술 모션을 나타내는 A1 신호를 수신하고, 입술 모션을 나타내는 신호와 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 입술 모션을 나타내는 상기 A1 신호에 대응하는 상기 A2 제어 지시를 획득하는 단계; 또는 상기 미리 설정된 지연 기간 내에 상기 사용자의 A1 뇌파 신호를 수신하고, 뇌파 신호와 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 A1 뇌파 신호에 대응하는 상기 A2 제어 지시를 획득하는 단계를 포함한다.

본 발명의 본 실시예의 비접촉 제스쳐 제어 방법에 따르면, 상기 사용자의 A1 제스쳐 모션을 수신하는 단계 전에, 상기 사용자의 시선 초점(line-of-sight focus)을 획득하고 A1 피제어 오브젝트를 판별하는 단계를 더 포함하고, 상기 A1 피제어 오브젝트는 상기 전자 단말 장치 상에 표시되는 조작 가능한 오브젝트임이며, 상기 전자 단말 장치가 상기 A1 제어 지시에 대응하는 동작을 수행하는 것은, 상기 전자 단말 장치가 상기 A1 제어 지시에 따라 상기 A1 피제어 오브젝트에 대해 동작을 수행하는 것을 포함한다.

종래 기술과 비교했을 때, 본 발명의 본 실시예에서 성취되는 유용한 효과는 다음과 같다: 반복되는 제스쳐 모션들을 사용, 또는 제스쳐 인식 및 음성 인식 명령을 조합, 또는 제스쳐 인식 및 입술 인식 명령을 조합, 제스쳐 인식 및 뇌파 인식 명령을 조합, 또는 제스쳐 인식 및 시선 추적을 조합함으로써, 사용자는 실행되기를 기대하는 명령을 강조하기 위해 명령을 반복할 수 있다; 시스템은 사용자로부터의 다수의 반복되는 명령들이 단 하나의 명령을 강조하는 것임을 인식하고, 명령을 반복적으로 실행하지 않고, 이는 사용자의 다수의 반복되는 제스쳐들에 의해 야기되는 오동작을 회피한다. 본 발명의 기술들을 사용함으로써 비접촉 제스쳐 제어의 정확성 및 신뢰성이 향상된다.

본 발명의 한 실시예는 비접촉 제스쳐 제어 방법을 더 제공하고, 전자 단말 장치를 제어하는 데 사용되고, 상기 방법은, 사용자의 B1 제스쳐 모션을 수신하는 단계 -상기 B1 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않음-; 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 B1 제스쳐 모션에 대응하는 B1 제어 지시를 획득하는 단계 -상기 B1 제어 지시는 상기 전자 단말 장치가 상기 B1 제어 지시에 대응하는 동작을 수행하도록 상기 전자 단말 장치를 제어하는 데 사용되는 것임-; 상기 사용자의 B2 제스쳐 모션을 수신하는 단계 -상기 B2 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않음-; 및 제스쳐 모션과 제어 지시 사이의 상기 미리 저장된 매핑 관계에 따라, 상기 B2 제스쳐 모션이 미리 설정된 확인 지시인지 여부를 판별하는 단계를 포함하고, 상기 판별하는 단계에서, 상기 B2 제스쳐 모션이 상기 미리 설정된 확인 지시인 경우, 상기 전자 단말 장치는 상기 B1 제어 지시에 대응하는 상기 동작을 수행하고, 상기 확인 지시는 상기 전자 단말 장치가 상기 B1 제어 지시에 대응하는 상기 동작을 수행하도록 트리거하는데 사용되는 것이다.

본 발명의 본 실시예의 유용한 효과는 다음과 같다: 비접촉 제스쳐 제어의 명령을 두 번 확인하는 것은 비접촉 제스쳐 제어의 정확성 및 신뢰성을 향상시킨다.

본 발명의 한 실시예는 비접촉 제스쳐 제어 방법을 더 제공하고, 전자 단말 장치를 제어하는데 사용되고, 상기 방법은, 사용자의 C1 제스쳐 모션을 수신하는 단계 -상기 C1 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않음-; 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 C1 제스쳐 모션에 대응하는 C1 제어 지시를 획득하는 단계 -상기 C1 제어 지시는 상기 전자 단말 장치가 상기 C1 제어 지시에 대응하는 동작을 수행하도록 상기 전자 단말 장치를 제어하는 데 사용되는 것임-; 상기 C1 제스쳐 모션과 상기 C1 제어 지시 사이의 매핑 관계가 활성화(enabled)되었는지 여부를 판별하는 단계; 및 상기 C1 제스쳐 모션과 상기 C1 제어 지시 사이의 상기 매핑 관계가 비활성화(disabled)된 경우, 상기 전자 단말 장치가 상기 C1 제어 지시에 대응하는 상기 동작을 수행하는 것을 스킵하고, 상기 C1 제스쳐 모션과 상기 C1 제어 지시 사이의 상기 매핑 관계가 활성화된 경우, 상기 전자 단말 장치가 상기 C1 제어 지시에 대응하는 동작을 수행하는 단계를 포함한다.

본 발명의 본 실시예의 유용한 효과는 다음과 같다: 비접촉 제스쳐 제어의 명령과 제스쳐 모션 사이의 대응은 활성화 또는 비활성화로 설정될 수 있고, 이로써 높은 오인식률을 갖는 비접촉 제스쳐 모션은 비활성화될 수 있어 비접촉 제스쳐 제어의 정확성 및 신뢰성을 향상시킨다.

본 발명의 한 실시예는 비접촉 제스쳐 제어 방법을 더 제공하고, 전자 단말 장치를 제어하는데 사용되고, 상기 방법은, 사용자의 D1 제스쳐 모션을 수신하는 단계 -상기 D1 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않음-; 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 D1 제스쳐 모션에 대응하는 D1 제어 지시를 획득하는 단계 -상기 D1 제어 지시는 상기 전자 단말 장치가 상기 D1 제어 지시에 대응하는 동작을 수행하도록 상기 전자 단말 장치를 제어하는 데 사용되는 것임-; 상기 사용자의 D2 제어 지시를 획득하고, 상기 D2 제어 지시가 취소 지시인 경우, 상기 D2 제어 지시가 취소 지시인 횟수를 기록하는 단계 -상기 취소 지시는 상기 D1 제어 지시의 실행을 취소하도록 지시하는 데 사용되는 것임-; 및 상기 D2 제어 지시가 취소 지시인 횟수가 미리 설정된 취소 횟수를 초과하는지 여부를 판별하고, 상기 D2 제어 지시가 취소 지시인 횟수가 상기 미리 설정된 취소 횟수를 초과하는 경우, 상기 D1 제스쳐 모션과 상기 D1 제어 지시 사이의 매핑 관계가 비활성화되도록 설정하거나, 또는 상기 D1 제스쳐 모션과 상기 D1 제어 지시 사이의 매핑 관계가 취소되도록 프롬프팅(prompting)하는 단계를 포함한다.

본 발명의 본 실시예의 비접촉 제스쳐 제어 방법에 따르면, 상기 사용자의 D2 제어 지시를 획득하는 것은: 상기 사용자의 D2 제스쳐 모션을 수신하고, 제스쳐 모션과 제어 지시 사이의 상기 미리 저장된 매핑 관계에 따라, 상기 D2 제스쳐 모션에 대응하는 상기 D2 제어 지시를 획득하는 단계 -상기 D2 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않음-; 또는 상기 사용자의 D1 음성 명령을 수신하고, 음성 명령과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 D1 음성 명령에 대응하는 상기 D2 제어 지시를 획득하는 단계; 또는 상기 사용자의 입술 모션을 나타내는 D1 신호를 수신하고, 입술 모션을 나타내는 신호와 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 입술 모션을 나타내는 상기 D1 신호에 대응하는 상기 D2 제어 지시를 획득하는 단계; 또는 상기 사용자의 D1 뇌파 신호를 수신하고, 뇌파 신호와 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 D1 뇌파 신호에 대응하는 상기 D2 제어 지시를 획득하는 단계를 포함한다.

본 발명의 본 실시예의 유용한 효과는 다음과 같다: 비접촉 제스쳐 제어의 제스쳐 모션이 취소된 횟수를 판별함으로써, 다수의 오동작을 야기하는 제스쳐 모션이 비접촉 제스쳐 제어 지시의 인식 정확성을 향상시키도록 조정되고, 이로써 제어 정확성 및 신뢰성을 향상시킨다.

본 발명의 한 실시예는 비접촉 제어 방법을 더 제공하고, 전자 단말 장치를 제어하는데 사용되고, 상기 방법은, 사용자의 잠금해제 명령을 수신하는 단계 -상기 전자 단말 장치는 잠금 상태를 종료하고 비접촉 제스쳐 모션이 수신될 수 있는 상태로 진입하도록 상기 잠금해제 명령을 실행함-; 상기 사용자의 E1 제스쳐 모션을 수신하는 단계 -상기 E1 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않음-; 및 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 E1 제스쳐 모션에 대응하는 E1 제어 지시를 획득하는 단계를 포함하고, 상기 E1 제어 지시는 상기 전자 단말 장치가 상기 E1 제어 지시에 대응하는 동작을 수행하도록 상기 전자 단말 장치를 제어하는 데 사용되는 것이다.

본 발명의 본 실시예의 유용한 효과는 다음과 같다: 비접촉 제스쳐 제어의 잠금 및 잠금해제는 장치가 사용자의 비의도적인 비접촉 제스쳐에 의해 제어될 때 비접촉 제스쳐 제어 장치가 오동작 제어 지시를 생성하는 것을 방지하도록 제어된다.

본 발명의 한 실시예는 비접촉 제스쳐 제어에 의해 제어되는 전자 단말 장치를 더 제공하고, 상기 전자 단말 장치는 A 제스쳐 모션 수신 유닛, A 제어 지시 획득 유닛, A 타이머, A 제어 지시 비교 유닛, 및 A 제어 지시 실행 유닛을 포함하고; 상기 A 제스쳐 모션 수신 유닛은, 사용자의 A1 제스쳐 모션 및 상기 A1 제스쳐 모션 이후의 A2 제스쳐 모션을 수신하도록 구성되고, 이때 상기 A1 제스쳐 모션과 상기 A2 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않으며; 상기 A 제어 지시 획득 유닛은, 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 A 제스쳐 모션 수신 유닛에 의해 수신된 상기 A1 제스쳐 모션에 대응하는 A1 제어 지시 및 상기 A 제스쳐 모션 수신 유닛에 의해 수신된 상기 A2 제스쳐 모션에 대응하는 A2 제어 지시를 획득하도록 구성되고, 여기서 상기 A1 제어 지시 및 상기 A2 제어 지시는 상기 전자 단말 장치를 제어하는 데 사용되는 것이고; 상기 A 타이머는, 상기 A 제어 지시 획득 유닛에 의해 상기 A1 제어 지시를 획득한 것과 상기 A 제어 지시 획득 유닛에 의해 상기 A2 제어 지시를 획득한 것 사이의 시간 간격을 기록하도록 구성되거나, 또는 상기 A 제스쳐 모션 수신 유닛에 의해 상기 A1 제스쳐 모션이 수신된 것과 싱기 A 제스쳐 모션 수신 유닛에 의해 상기 A2 제스쳐 모션이 수신된 것 사이의 시간 간격을 기록하도록 구성되고; 상기 A 제어 지시 비교 유닛은, 상기 A 타이머에 의해 기록된 상기 시간 간격이 미리 설정된 시간보다 짧을 때, 상기 A2 제어 지시를 상기 A1 제어 지시와 비교하고, 상기 A2 제어 지시가 상기 A1 제어 지시와 일치되는지 여부를 판별하고, 여기서 상기 미리 설정된 시간은 3 초보다 짧고; 상기 A 제어 지시 실행 유닛은, 상기 A1 제어 지시에 대응하는 동작을 수행하고, 상기 A 제어 지시 비교 유닛의 비교 결과가 상기 A2 제어 지시가 상기 A1 제어 지시와 일치된다는 것일 때, 상기 A2 제어 지시에 대응하는 동작을 수행하는 것을 스킵(skip)하고, 상기 A 제어 지시 비교 유닛의 상기 비교 결과가 상기 A2 제어 지시가 상기 A1 제어 지시와 일치되지 않는다는 것일 때, 상기 A2 제어 지시에 대응하는 동작을 수행하도록 구성된다.

본 발명의 본 실시예의 비접촉 제스쳐에 의해 제어되는 전자 단말 장치에 따르면, 상기 전자 단말 장치는 A 시선 추적 유닛을 더 포함하고, 상기 A 시선 추적 유닛은 상기 사용자에 의해 초점 맞춰진 A 피제어 오브젝트를 획득하기 위해 상기 사용자의 시선을 추적하도록 구성되고, 상기 A 피제어 오브젝트는 상기 전자 단말 장치 상에서 표시되는 조작 가능한 오브젝트이고; 상기 A 제어 지시 실행 유닛은 추가로, 상기 A1 제어 지시에 대응하는 동작을 상기 A 피제어 오브젝트에 대해 수행하고, 상기 A1 제어 지시 비교 유닛의 상기 비교 결과가 상기 A2 제어 지시가 상기 A1 제어 지시와 일치된다는 것일 때, 상기 A2 제어 지시에 대응하는 동작을 상기 A 피제어 오브젝트에 대해 수행하는 것을 스킵하고, 상기 A 제어 지시 비교 유닛의 상기 비교 결과가 상기 A2 제어 지시가 상기 A1 제어 지시와 일치되지 않는다는 것일 때, 상기 A2 제어 지시에 대응하는 동작을,상기 A 피제어 오브젝트에 대해 수행하도록 구성된다.

종래 기술과 비교했을 때, 본 발명의 본 실시예에서 성취되는 유용한 효과는 다음과 같다: 사용자는 실행되기를 기대하는 명령을 강조하기 위해 반복되는 제스쳐 모션들을 사용함으로써 명령을 반복할 수 있다; 시스템은 사용자로부터의 다수의 반복된 명령들이 단 하나의 명령을 강조하는 것임을 인식하고, 명령을 반복적으로 실행하지 않고, 이는 사용자의 다수의 반복된 제스쳐들에 의해 야기되는 오동작을 회피하고, 이로써 비접촉 제스쳐 제어의 정확성 및 신뢰성을 향상시킨다.

본 발명의 한 실시예는 비접촉 제스쳐에 의해 제어되는 전자 단말 장치를 더 제공하고, 상기 전자 단말 장치는, A1 제스쳐 모션 수신 유닛, A1 제어 지시 획득 유닛, A2 제어 지시 획득 유닛, A1 타이머, A1 제어 지시 비교 유닛, 및 A1 제어 지시 실행 유닛을 포함하고; 상기 A1 제스쳐 모션 수신 유닛은 사용자의 A1 제스쳐 모션을 수신하도록 구성되고, 이때 상기 A1 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않고; 상기 A1 제어 지시 획득 유닛은, 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 A1 제스쳐 모션 수신 유닛에 의해 수신된 상기 A1 제스쳐 모션과 대응하는 A1 제어 지시를 획득하도록 구성되고, 여기서 상기 A1 제어 지시는 상기 전자 단말 장치를 제어하는데 사용되는 것이고; 상기 A2 제어 지시 획득 유닛은 A2 제어 지시를 획득하도록 구성되고, 여기서 상기 A2 제어 지시는 상기 전자 단말 장치를 제어하는 데 사용되는 것이고; 상기 A1 타이머는 상기 A1 제어 지시 획득 유닛에 의해 상기 A1 제어 지시가 획득된 것과 상기 A2 제어 지시 획득 유닛에 의해 상기 A2 제어 지시가 획득된 것 사이의 시간 간격을 기록하도록 구성되고; 상기 A1 제어 지시 비교 유닛은, 상기 A1 타이머에 의해 기록된 상기 시간 간격이 미리 설정된 시간보다 짧으면, 상기 A1 제어 지시를 상기 A2 제어 지시와 비교하고, 상기 A1 제어 지시가 상기 A2 제어 지시와 일치되는지 여부를 판별하도록 구성되고, 여기서 상기 미리 설정된 시간은 3 초 보다 짧고; 상기 A1 제어 지시 실행 유닛은, 상기 A1 제어 지시에 대응하는 동작을 수행하도록 구성되고; 상기 A1 제어 지시 비교 유닛의 비교 결과가 상기 A1 제어 지시가 상기 A2 제어 지시와 일치된다는 것일 때, 상기 A2 제어 지시에 대응하는 동작을 수행하는 것을 스킵하고; 상기 A1 제어 지시 획득 유닛의 상기 비교 결과가 상기 A1 제어 지시가 상기 A2 제어 지시와 일치되지 않는다는 것일 때, 상기 A2 제어 지시에 대응하는 동작을 수행하도록 구성된다.

본 발명의 본 실시예의 비접촉 제스쳐에 의해 제어되는 전자 단말 장치에 따르면, 상기 A2 제어 지시 획득 유닛은, A1 음성 수신 유닛 및 A1 음성 인식 유닛을 포함하고, 상기 A1 음성 수신 유닛은 상기 사용자의 A1 음성 명령을 수신하도록 구성되고, 상기 A1 음성 인식 유닛은 상기 A1 음성 수신 유닛에 의해 수신된 상기 A1 음성 명령을 인식하고, 상기 A1 음성 명령에 대응하는 상기 A2 제어 지시를 획득하도록 구성되거나; 또는 상기 A2 제어 지시 획득 유닛은 A1 신호 수신 유닛 및 A1 입술 인식 유닛을 포함하고, A 신호는 입술 모션을 나타내고, A1 신호 수신 유닛은 상기 사용자의 입술 모션을 나타내는 A1 신호를 수신하도록 구성되고, 상기 A1 입술 인식 유닛은 A1 신호 수신 유닛에 의해 수신된 입술 모션을 나타내는 상기 A1 신호를 인식하고, 입술 모션을 나타내는 상기 A1 신호에 대응하는 상기 A2 제어 지시를 획득하도록 구성되거나; 또는 상기 A2 제어 지시 획득 유닛은 A1 뇌파 수신 유닛 및 A1 뇌파 인식 유닛을 포함하고, 상기 A1 뇌파 수신 유닛은 상기 사용자의 A1 뇌파 신호를 수신하도록 구성되고, 상기 A1 뇌파 인식 유닛은 상기 A1 뇌파 수신 유닛에 의해 수신된 상기 A1 뇌파 신호를 인식하고, 상기 A1 뇌파 신호에 대응하는 상기 A2 제어 지시를 획득하도록 구성된다.

본 발명의 본 실시예의 비접촉 제스쳐에 의해 제어되는 전자 단말 장치에 따르면, 상기 전자 단말 장치는 A1 시선 추적 유닛을 더 포함하고, 상기 A1 시선 추적 유닛은 상기 사용자에 의해 초점 맞춰진 A1 피제어 오브젝트를 획득하기 위해 상기 사용자의 시선을 추적하도록 구성되고, 상기 A1 피제어 오브젝트는 상기 전자 단말 장치 상에 표시되는 조작 가능한 오브젝트이고; 상기 A1 제어 지시 실행 유닛은 추가로, 상기 A1 제어 지시에 대응하는 동작을 상기 A1 피제어 오브젝트에 대해 수행하고, 상기 A1 제어 지시 비교 유닛의 상기 비교 결과가 상기 A1 제어 지시가 상기 A2 제어 지시와 일치된다는 것일 때, 상기 A2 제어 지시에 대응하는 동작을 상기 A1 피제어 오브젝트에 대해 수행하는 것을 스킵하고, 상기 A1 제어 지시 비교 유닛의 상기 비교 결과가 상기 A1 제어 지시가 상기 A2 제어 지시와 일치되지 않는다는 것일 때, 상기 A2 제어 지시에 대응하는 동작을 상기 A1 피제어 오브젝트에 대해 수행하도록 구성된다.

본 발명의 본 실시예의 유용한 효과는 다음과 같다: 제스쳐 인식 및 음성 인식 명령을 조합, 또는 제스쳐 인식 및 입술 인식 명령을 조합, 또는 제스쳐 인식 및 뇌파 인식 명령을 조합, 또는 제스쳐 인식 및 시선 추적을 조합함으로써, 사용자는 실행되기를 기대하는 명령을 강조하기 위해 다수의 수단들을 사용함으로써 명령을 반복할 수 있다; 시스템은 사용자로부터의 다수의 반복되는 명령들이 단 하나의 명령을 강조하기 위한 것임을 인식하고, 명령을 반복적으로 실행하지 않고, 이는 사용자의 다수 반복되는 제스쳐들에 의해 야기되는 오동작을 회피한다. 본 발명의 기술들을 사용함으로써 비접촉 제스쳐 제어의 정확성 및 신뢰성이 향상된다.

본 발명의 한 실시예는 비접촉 제스쳐에 의해 제어되는 전자 단말 장치를 더 제공하고, 상기 전자 단말 장치는, D 제스쳐 모션 수신 유닛, D 제어 지시 획득 유닛, D 저장 유닛, 및 D 매핑 관계 구축 유닛을 포함하고: 상기 D 제스쳐 모션 수신 유닛은, 사용자의 D1 제스쳐 모션 및 상기 D1 제스쳐 모션 이후의 D2 제스쳐 모션을 수신하도록 구성되고, 이때 상기 D1 제스쳐 모션과 상기 D2 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않고; 상기 D 제어 지시 획득 유닛은, 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 D 제스쳐 모션 수신 유닛에 의해 수신된 상기 D1 제스쳐 모션에 대응하는 D1 제어 지시와 상기 D 제스쳐 모션 수신 유닛에 의해 수신되는 상기 D2 제스쳐 모션에 대응하는 D2 제어 지시를 획득하도록 구성되고, 여기서상기 D1 제어 지시 및 상기 D2 제어 지시는 상기 전자 단말 장치를 제어하는 데 사용되는 것이고; 상기 D 저장 유닛은, 상기 D2 제어 지시가 취소 지시일 때, 상기 D2 제어 지시가 취소 지시인 횟수를 기록하도록 구성되고, 여기서 상기 취소 지시는 상기 D1 제어 지시의 실행을 취소하도록 지시하는 데 사용되는 것이고; 상기 D 매핑 관계 구축 유닛은, 제스쳐 모션과 제어 지시 사이의 상기 매핑 관계를 구축 및 저장하고, 상기 D2 제어 지시가 취소 지시이고 상기 D 저장 유닛에 의해 기록된 횟수가 미리 설정된 취소 횟수에 도달하거나 또는 초과하는 것으로 판별되었을 때, 상기 제스쳐 모션의 오인식을 감소시키기 위해 상기 매핑 관계에서 상기 D1 제어 지시에 대응하는 제스쳐 모션을 리셋시키도록 구성된다.

본 발명의 본 실시예의 비접촉 제스쳐에 의해 제어되는 전자 단말 장치에 따르면, 상기 전자 단말 장치는 D 프롬프팅 유닛을 더 포함하고, 상기 D 프롬프팅 유닛은, 상기 D2 제어 지시가 취소 지시인 횟수가 상기 미리 설정된 취소 횟수에 도달하거나 또는 초과한 때, 상기 D1 제스쳐 모션과 상기 D1 제어 지시 사이의 매핑 관계를 취소하도록 상기 사용자에게 프롬프트하도록 구성된다.

본 발명의 본 실시예의 유용한 효과는 다음과 같다: 본 발명의 비접촉 제스쳐에 의해 제어되는 전자 단말 장치는 비접촉 제스쳐 제어의 명령의 오동작을 인식하고 종종 오인식되는 제스쳐 모션을 조정함으로써 비접촉 제스쳐 제어 지시의 인식 정확성을 향상시키고, 이로써 제어 정확성 및 신뢰성을 향상시킨다.

본 발명의 한 실시예는 비접촉 제스쳐 제어에 의해 제어되는 전자 단말 장치를 더 제공하고, 상기 전자 단말 장치는, D1 제스쳐 모션 수신 유닛, D1 제어 지시 획득 유닛, D2 제어 지시 획득 유닛, D1 저장 유닛, 및 D1 매핑 관계 구축 유닛을 포함하고: 상기 D1 제스쳐 모션 수신 유닛은 사용자의 D1 제스쳐 모션을 수신하도록 구성되고, 이때 상기 D1 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않고; 상기 D1 제어 지시 획득 유닛은, 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 D1 제스쳐 모션 수신 유닛에 의해 수신되는 상기 D1 제스쳐 모션에 대응하는 D1 제어 지시를 획득하도록 구성되고, 여기서 상기 D1 제어 지시는 상기 전자 단말 장치를 제어하는 데 사용되는 것이고; 상기 D2 제어 지시 획득 유닛은 D2 제어 지시를 획득하도록 구성되고, 여기서 상기 D2 제어 지시는 상기 전자 단말 장치를 제어하는 데 사용되는 것이고; 상기 D1 저장 유닛은, 상기 D2 제어 지시가 취소 지시일 때, 상기 D2 제어 지시가 상기 취소 지시인 횟수를 기록하도록 구성되고, 여기서 상기 취소 지시는 상기 D1 제어 지시의 실행을 취소하도록 지시하는 데 사용되는 것이고; 상기 D1 매핑 관계 구축 유닛은 제스쳐 모션과 제어 지시 사이의 상기 매핑 관계를 구축 및 저장하고, 상기 D2 제어 지시가 상기 취소 지시이고 상기 D1 저장 유닛에 의해 기록된 횟수가 미리 설정된 취소 횟수에 도달하거나 또는 초과하는 것으로 판별되었을 때, 상기 제스쳐 모션의 오인식을 감소시키기 위해 상기 매핑 관계에서 상기 D1 제어 지시에 대응하는 제스쳐 모션을 리셋하도록 구성된다.

본 발명의 본 실시예의 비접촉 제스쳐에 의해 제어되는 전자 단말 장치에 따르면, 상기 D2 제어 지시 획득 유닛은, D1 음성 수신 유닛 및 D1 음성 인식 유닛을 포함하고, 상기 D1 음성 수신 유닛은 상기 사용자의 D1 음성 명령을 수신하도록 구성되고, 상기 D1 음성 인식 유닛은 상기 D1 음성 수신 유닛에 의해 수신되는 상기 D1 음성 명령을 인식하고, 상기 D1 음성 명령에 대응하는 상기 D2 제어 지시를 획득하도록 구성되거나; 또는 상기 D2 제어 지시 획득 유닛은 A1 신호 수신 유닛 및 D1 입술 인식 유닛을 포함하고, A1 신호는 입술 모션을 나태내고, A1 신호 수신 유닛은 상기 사용자의 입술 모션을 나타내는 D1 신호를 수신하도록 구성되고, 상기 D1 입술 인식 유닛은 A1 신호 수신 유닛에 의해 수신되는 입술 모션을 나타내는 상기 D1 신호를 인식하고, 입술 모션을 나타내는 상기 D1 신호에 대응하는 상기 D2 제어 지시를 획득하도록 구성되거나; 또는 상기 D2 제어 지시 획득 유닛은 D1 뇌파 수신 유닛 및 D1 뇌파 인식 유닛을 포함하고, 상기 D1 뇌파 수신 유닛은 상기 사용자의 D1 뇌파 신호를 수신하도록 구성되고, 상기 D1 뇌파 인식 유닛은 상기 D1 뇌파 수신 유닛에 의해 수신된 상기 D1 뇌파 신호를 인식하고, 상기 D1 뇌파 신호에 대응하는 상기 D2 제어 지시를 획득하도록 구성된다.

본 발명의 본 실시예의 비접촉 제스쳐에 의해 제어되는 전자 단말 장치에 따르면, 상기 전자 단말 장치는 D1 프롬프팅 유닛을 더 포함하고, 상기 D1 프롬프팅 유닛은, 상기 D2 제어 지시가 취소 지시인 횟수가 상기 미리 설정된 취소 횟수에 도달하거나 또는 초과할 때, 상기 D1 제스쳐 모션과 상기 D1 제어 지시 사이의 매핑 관계를 취소하도록 상기 사용자에게 프롬프트하도록, 구성된다.

본 발명의 실시예들의 기술적 해결방안을 더 명확하게 설명하기 위해서, 다음에서 선행 문헌 또는 실시예들을 설명하기 위해 필요한 첨부 도면들을 간략하게 설명한다. 명백하게도, 다음 설명의 첨부 도면들은 단지 본 발명의 몇몇 실시예들을 도시하고, 기술 분야의 통상의 기술자는 창조적 노력 없이 이러한 첨부 도면들로부터 다른 도면들을 도출해낼 수도 있다.
도 1은 본 발명에 따른 기술의 응용 시나리오(application scenario)의 개략적인 모식도이다.
도 2는 본 발명의 제1 실시예에 따른 비접촉 제스쳐 제어 방법의 구현예의 흐름도이다.
도 2a, 도 2b, 도 2c, 및 도 2d는 제1 실시예의 단계 23의 구현예의 4 개의 서브-흐름도이다.
도 3은 본 발명의 제2 실시예에 따른 비접촉 제스쳐 제어 방법의 구현예의 흐름도이다.
도 3a, 도 3b, 및 도 3c는 본 발명의 제2 실시예에 따른 비접촉 제스쳐 제어 방법의 3 개의 대안 가지(alternative branches)의 서브-흐름도이다.
도 4는 본 발명의 제3 실시예에 따른 비접촉 제스쳐 제어 방법의 구현예의 흐름도이다.
도 5는 본 발명의 제4 실시예에 따른 비접촉 제스쳐 제어 방법의 구현예의 흐름도이다.
도 5a, 도 5b, 도 5c, 및 도 5d는 제4 실시예에 따른 D2 제어 지시를 획득하는 것의 상세한 흐름도이다.
도 6은 본 발명의 제5 실시예에 따른 비접촉 제스쳐 제어 방법의 구현예의 흐름도이다.
도 7은 본 발명의 제6 실시예에 따른 비접촉 제스쳐에 의해 제어되는 전자 단말 장치의 기능 블록도이다.
도 8은 본 발명의 제7 실시예에 따른 비접촉 제스쳐에 의해 제어되는 전자 단말 장치의 기능 블록도이다.
도 8a, 도 8b, 및 도 8c는 제7 실시예에 따른 A2 제어 지시 획득 유닛의 3가지 방식의 서브-기능(3 manner sub-functions)의 구성 블록도이다.
도 9는 본 발명의 제8 실시예에 따른 비접촉 제스쳐에 의해 제어되는 전자 단말 장치의 기능 블록도이다.
도 10은 본 발명의 제9 실시예에 따른 비접촉 제스쳐에 의해 제어되는 전자 단말 장치의 기능 블록도이다.
도 10a, 도 10b, 및 도 10c는 제9 실시예에 따른 D2 제어 지시 획득 유닛의 3 방식 서브-기능의 구성 블록도이다.

본 발명의 목적, 기술적 해결방안, 및 장점을 더 이해할 수 있도록 하기 위해서, 다음에서 실시예들 및 첨부 도면을 참조하여 본 발명을 더 구체적으로 설명한다. 여기서 설명되는 구체적인 실시예들은 단지 본 발명을 설명하기 위해 사용되며, 본 발명을 제한하기 위한 것이 아님이 이해되어야 한다.

본 발명의 기술적 해결방안을 설명하기 위해서, 다음에서 설명을 위한 구체적인 실시예들을 사용한다. 도 1은 본 발명의 실시예에 따른 전자 단말 장치 및 방법의 응용 구현예 시나리오(an application implementation scenario)의 예제를 도시하고, 본 발명의 한 실시예에 제공된 비접촉 제스쳐에 의해 제어되는 전자 단말 장치는 컴퓨터 단말, 모바일 전화 단말, 태블릿 컴퓨터, 텔레비전 단말, 및 유사한 것을 포함할 수 있고, 하지만 이에 제한되지는 않는다.

제1 실시예

도 2는 본 발명의 제1 실시예에 따른 전자 단말 장치를 제어하는 비접촉 제스쳐 제어 방법의 구현 절차를 도시하고, 이 방법의 상세한 과정은 다음과 같다:

단계 21: 사용자의 A1 제스쳐 모션(A1 gesture motion)을 수신한다. 여기서, A1 제스쳐 모션은 전자 단말 장치와 접촉하지 않는다.

본 실시예에서, 사용자의 제스쳐 모션을 수신하기 위해 다양한 방법이 사용될 수 있고, 이 방법에는, 이미지 수집기(image collector)를 사용하여 사용자의 제스쳐 이미지를 수집하고, 이 제스쳐 이미지로부터 제스쳐 모션을 추출하는 방법; 또는 반사 제스쳐 추적기(a reflection gesture tracker), 적외선 제스쳐 제스처 추적기(infrared gesture tracking tracker), 또는 초음파 제스쳐 추적기(an ultrasonic gesture tracker)를 사용하여 사용자의 제스쳐 모션을 수신하는 방법이 포함되지만, 이에 한정되는 것은 아니다.

단계 22: 인식 처리에 의하여, A1 제스쳐 모션에 대응하는 A1 제어 지시를 획득한다. 여기서, A1 제어 지시는 전자 단말 장치가 A1 제어 지시에 대응하는 동작을 수행하도록 전자 단말 장치를 제어하기 위해 사용되는 것이다.

단계 23: 미리 설정된 지연 기간(a preset delay period) 내에 사용자의 A2 제어 지시(A2 control instruction)를 획득한다. 여기서, 미리 설정된 지연 기간은 3 초 보다 짧고 A2 제어 지시는 전자 단말 장치를 제어하는 데 사용되는 것이다.. 여기서, 미리 설정된 지연 기간은 사용자에 의해 받아들여질 수 있는 지시 응답 기간(an instruction response period)이고, 일반적으로 3 초 보다 짧다. 미리 설정된 지연 기간은 전자 단말 장치가 공장으로부터 출하될 때 미리 설정될 수 있고, 또한 환경설정 방식(a configuration manner)으로 사용자에 의해 설정될 수 있다.

단계 24: A1 제어 지시를 A2 제어 지시와 비교한다. A1 제어 지시가 A2 제어 지시와 일치하는 경우, 전자 단말 장치는 A2 제어 지시에 대응하는 동작을 수행하지 않고; A1 제어 지시가 A2 제어 지시와 일치하지 않는 경우, 전자 단말 장치는 A2 제어 지시에 대응하는 동작을 수행한다.

본 발명의 제1 실시예의 단계 23의 미리 설정된 지연 기간 내에 사용자의 A2 제어 지시를 획득하는 것은 다수의 구현 방식을 가질 수 있다.

제1 구현 방식으로, 도 2a에 도시된 바와 같이, 단계 23은:

단계 2301: 미리 설정된 지연 기간 내에 사용자의 A2 제스쳐 모션을 수신하는 단계 -A2 제스쳐 모션은 전자 단말 장치와 접촉하지 않음-; 및

단계 2302: 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, A2 제스쳐 모션에 대응하는 A2 제어 지시를 획득하는 단계

를 포함할 수 있다.

제2 구현예 방식으로, 도 2b에 도시된 바와 같이, 단계 23은:

단계 2311: 미리 설정된 지연 기간 내에 사용자의 A1 음성 명령(A1 voice command)을 수신하는 단계; 및

단계 2312: 음성 명령과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, A1 음성 명령에 대응하는 A2 제어 지시를 획득하는 단계

를 포함할 수 있고, 여기서: 단계 2312는:

단계 23121: A1 음성 명령을 인식하고 대응하는 A1 문자 명령(A1 text command)을 획득하는 단계; 및

단계 23122: 문자 명령과 제어 지시 사이의 저장된 대응관계에 따라, A1 문자 명령에 대응하는 A2 제어 지시를 획득하는 단계

를 포함할 수 있다.

단계 23122 전에, 문자 명령과 제어 지시 사이의 매핑 관계를 구축하고 저장하는 단계가 더 포함될 수 있다.

제3 구현예 방식으로, 도 2c에 도시된 바와 같이, 단계 23은:

단계 2321: 미리 설정된 지연 기간 내에 사용자의 입술 모션을 나타내는 A1 신호를 수신하는 단계; 및

단계 2322: 입술 모션을 나타내는 신호와 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 입술 모션을 나타내는 A1 신호에 대응하는 A2 제어 지시를 획득하는 단계

를 포함할 수 있고, 여기서: 단계 2322는:

단계 23221: 사용자의 입술 모션을 나타내는 A1 신호를 인식하고 대응하는 A1 문자 명령을 획득하는 단계; 및

단계 23222: 문자 명령과 제어 지시 사이의 저장된 대응관계에 따라, A1 문자 명령에 대응하는 A2 제어 지시를 획득하는 단계

를 포함할 수 있다.

단계 23222 전에, 문자 명령과 제어 지시 사이의 매핑 관계를 구축하고 저장하는 단계가 더 포함될 수 있다.

제4 구현예 방식으로, 도 2d에 도시된 바와 같이, 단계 23은:

단계 23321: 미리 설정된 지연 기간 내에 사용자의 A1 뇌파 신호를 수신하는 단계; 및

단계 23322: 뇌파 신호와 제어 지시 사이의 미리 저장된 매핑 관계에 따라, A1 뇌파 신호에 대응하는 A2 제어 지시를 획득하는 단계

를 포함할 수 있다.

단계 23322 전에, 뇌파 신호와 제어 지시 사이의 매핑 관계를 구축하고 저장하는 단계가 더 포함될 수 있다.

본 발명의 제1 실시예의 단계 21의 사용자의 A1 제스쳐 모션을 수신하는 단계 전에, 본 방법은 다음 단계를 더 포함할 수 있다:

단계 20: 사용자의 시선 초점(line-of-sight focus)을 획득하고 A1 피제어 오브젝트를 판별한다. 여기서, A1 피제어 오브젝트는 전자 단말 장치에 표시되는 동작 가능한 객체이다.

단계 22에서, 전자 단말 장치가 A1 제어 지시에 대응하는 동작을 수행하는 것은: 전자 단말 장치에 의해, A1 제어 지시에 따라 A1 피제어 오브젝트의 동작을 수행하는 것을 포함한다.

종래 기술과 비교했을 때, 본 발명의 본 실시예에서 성취되는 유익한 효과는 다음과 같다: 반복된 제스쳐 모션들을 사용, 또는 제스쳐 모션과 음성 인식 명령을 조합, 또는 제스쳐 모션과 입술 인식 명령을 조합, 또는 제스쳐 모션과 뇌파 인식 명령을 조합함으로써, 사용자는 제어 지시를 강조할 수 있고, 명령을 반복하는 것은 명령을 인식하는 기회를 증가시킨다; 그리고 본 발명에서, 반복된 명령은 명령이 한번 인식된 후에는 반복 실행되지 않고, 이는 제어되는 전자 장치가 오동작(misoperation)을 수행하는 것을 방지하고, 이로써 비접촉 제스쳐 제어의 신뢰성 및 정확성을 향상시킨다.

제2 실시예

도 3은 본 발명의 제2 실시예에 따른 전자 단말 장치를 제어하는 비접촉 제스쳐 제어 방법의 구현 절차를 도시하고, 방법의 상세한 과정은 다음과 같다:

단계 301: 사용자의 B1 제스쳐 모션을 수신한다. 여기서, B1 제스쳐 모션은 전자 단말 장치와 접촉하지 않는다.

본 실시예에서, 사용자의 제스쳐를 수신하는 방식은 제1 실시예의 단계 21에 설명된 사용자의 제스쳐를 수신하는 방식과 같으므로, 여기서 다시 설명하지 않는다.

단계 302: 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, B1 제스쳐 모션에 대응하는 B1 제어 지시를 획득한다. 여기서, B1 제어 지시는 전자 단말 장치가 B1 제어 지시에 대응하는 동작을 수행하도록 전자 단말 장치를 제어하는 데 사용되는 것이다.

단계 303: 사용자의 B2 제스쳐 모션을 수신한다. 여기서, B2 제스쳐 모션은 전자 단말 장치와 접촉하지 않는다.

단계 304: 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, B2 제스쳐 모션이 미리 설정된 확인 지시인지 판별한다. B2 제스쳐 모션이 미리 설정된 확인 지시인 경우, 전자 단말 장치는 B1 제어 지시에 대응하는 동작을 수행한다. 이 확인 지시는 전자 단말 장치가 B1 제어 지시에 대응하는 동작을 수행하도록 트리거하는 데 사용되는 것이다.

본 실시예에서, 단계 303 및 단계 304는 다음 대안 구현예 단계들을 또한 가질 수 있다.

제1 대안 구현 방식은 도 3a에 도시된다.

단계 313: 사용자의 B 음성 명령을 수신한다.

단계 314: 사용자의 B 음성 명령이 미리 설정된 확인 지시인지 여부를 인식한다. 사용자의 B 음성 명령이 미리 설정된 확인 지시인 경우, 전자 단말 장치는 B1 제어 지시에 대응되는 동작을 수행한다. 이 확인 지시는 전자 단말 장치가 B1 제어 지시에 대응하는 동작을 수행하도록 트리거하는 데 사용되는 것이다..

이러한 단계에서, 먼저, B 음성 명령이 대응하는 B 문자 명령을 획득하기 위해 인식될 수 있고, 그런 이후에 B 문자 명령이 확인 지시인지 여부가 문자 명령과 제어 지시 사이의 저장된 대응관계에 따라 판별된다.

제2 대안 구현 방식은 도 3b에 도시된다.

단계 323: 사용자의 입술 모션을 나타내는 B 신호를 수신한다.

단계 324: 사용자의 입술 모션을 나타내는 B 신호가 미리 설정된 확인 지시인지 여부를 인식한다. 사용자의 입술 모션을 나타내는 B 신호가 미리 설정된 확인 지시인 경우, 전자 단말 장치는 B1 제어 지시에 대응하는 동작을 수행한다. 이 확인 지시는 전자 단말 장치가 B1 제어 신호에 대응하는 동작을 수행하도록 트리거하는 데 사용되는 것이다.

이러한 단계에서, 먼저, 사용자의 입술 모션을 나타내는 B 신호가 대응하는 B1 문자 명령을 획득하기 위해 인식될 수 있고, 그런 이후에 B1 문자 명령이 확인 지시인지 여부가 문자 명령과 제어 지시 사이의 저장된 대응관계에 따라 판별된다.

제3 대안 구현 방식은 도 3c에 도시된다.

단계 333: 사용자의 B 뇌파 신호를 수신한다.

단계 334: 사용자의 B 뇌파 신호가 미리 설정된 확인 지시인지 여부를 인식한다. 사용자의 B 뇌파 신호가 미리 설정된 확인 지시일 경우, 전자 단말 장치는 B1 제어 지시에 대응하는 동작을 수행한다. 이 확인 지시는 전자 단말 장치가 B1 제어 지시에 대응하는 동작을 수행하도록 트리거하는 데 사용되는 것이다.

본 발명의 본 실시예의 유익한 효과는 다음과 같다: 비접촉 제스쳐 제어의 명령을 두 번 확인하는 것은 비접촉 제스쳐 제어의 신뢰성과 정확성을 향상시킨다.

제3 실시예

도 4는 본 발명의 제3 실시예에 따른 전자 단말 장치를 제어하는 비접촉 제스쳐 제어 방법의 구현 절차를 도시하고, 방법의 상세한 과정은 다음과 같다:

단계 41: 사용자의 C1 제스쳐 모션을 수신한다. 이때, C1 제스쳐 모션은 전자 단말 장치와 접촉하지 않는다.

단계 42: 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, C1 제스쳐 모션에 대응하는 C1 제어 지시를 획득한다. 여기서,C1 제어 지시는 전자 단말 장치가 C1 제어 지시에 대응하는 동작을 수행하도록 전자 단말 장치를 제어하는 데 사용되는 것이다.

단계 43: C1 제스쳐 모션과 C1 제어 지시 사이의 매핑 관계가 활성화 되었는지(enabled) 여부를 판별한다.

단계 44: C1 제스쳐 모션과 C1 제어 지시 사이의 매핑 관계가 비활성화된(disabled) 경우, 전자 단말 장치는 C1 제어 지시에 대응하는 동작을 수행하지 않고; C1 제스쳐 모션과 C1 제어 지시 사이의 매핑 관계가 활성화된 경우, 전자 단말 장치는 C1 제어 지시에 대응하는 동작을 수행한다.

본 발명의 본 실시예의 유익한 효과는 다음과 같다: 제스쳐 모션과 비접촉 제스쳐 제어의 명령 사이의 대응은 활성화 또는 비활성화로 설정될 수 있고, 이로써 높은 오인식 률(a high misrecognition rate)을 갖는 비접촉 제스쳐 모션이 비활성화 될 수 있어 비접촉 제스쳐 제어의 신뢰성과 정확성을 향상시킨다.

제4 실시예

도 5는 본 발명의 제4 실시예에 따른 전자 단말 장치를 제어하는 비접촉 제스쳐 제어 방법의 구현 절차를 도시하고, 방법의 상세한 과정은 다음과 같다:

단계 51: 사용자의 D1 제스쳐 모션을 수신한다. 이때, D1 제스쳐 모션은 전자 단말 장치와 접촉하지 않는다.

단계 52: 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, D1 제스쳐 모션에 대응하는 D1 제어 지시를 획득한다. 여기서, D1 제어 지시는 전자 단말 장치가 D1 제어 지시에 대응하는 동작을 수행하도록 전자 단말 장치를 제어하는 데 사용되는 것이다.

단계 53: 사용자의 D2 제어 지시를 획득하고; D2 제어 지시가 취소 지시인 경우, D2 제어 지시가 취소 지시인 횟수를 기록한다. 여기서, 취소 지시는 D1 제어 지시의 실행을 취소하도록 지시하는 데 사용되는 것이다.

단계 54: D2 제어 지시가 취소 지시인 횟수가 미리 설정된 취소 횟수를 초과하는지 여부를 판별하고; D2 제어 지시가 취소 지시인 횟수가 미리 설정된 취소 횟수를 초과하는 경우, D1 제스쳐 모션과 D1 제어 지시 사이의 매핑 관계를 비활성화되도록 설정하거나, 또는 D1 제스쳐 모션과 D1 제어 지시 사이의 매핑 관계가 취소되도록 프롬프트(prompt)한다.

이러한 실시예의 단계 53의 사용자의 D2 제어 지시를 획득하는 단계는 다음 4 개 구현 방식들을 사용할 수 있다.

제1 방식이 도 5a에 도시된다:

단계 5301: 사용자의 D2 제스쳐 모션을 수신한다. 이때D2 제스쳐 모션은 전자 단말 장치와 접촉하지 않는다

단계 5302: 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, D2 제스쳐 모션에 대응하는 D2 제어 지시를 획득한다.

제2 방식이 도 5b에 도시된다:

단계 5311: 사용자의 D1 음성 명령을 수신한다.

단계 5312: 음성 명령과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, D1 음성 명령에 대응하는 D2 제어 지시를 획득한다.

제3 방식이 도 5c에 도시된다:

단계 5321: 사용자의 입술 모션을 나타내는 D1 신호를 수신한다.

단계 5322: 입술 모션을 나타내는 신호와 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 입술 모션을 나타내는 D1 신호에 대응하는 D2 제어 지시를 획득한다.

제4 방식이 도 5d에 도시된다:

단계 5331: 사용자의 D1 뇌파 신호를 수신한다.

단계 5332: 뇌파 신호와 제어 지시 사이의 미리 저장된 매핑 관계에 따라, D1 뇌파 신호에 대응하는 D2 제어 지시를 획득한다.

본 발명의 본 실시예의 유익한 효과는 다음과 같다: 비접촉 제스쳐 제어의 제스쳐 모션이 취소된 횟수를 판별함으로써, 다수의 오작동들을 야기하는 제스쳐 모션이 비접촉 제스쳐 제어 지시의 인식 정확도를 향상시키도록 조정되고, 이로써 제어 정확성 및 신뢰성을 향상시킨다.

제5 실시예

도 6은 본 발명의 제5 실시예에 따른 전자 단말 장치를 제어하는 비접촉 제스쳐 제어 방법의 구현 절차를 도시하고, 방법의 상세한 과정은 다음과 같다:

단계 61: 사용자의 잠금해제 명령을 수신한다. 전자 단말 장치는 잠금 상태(a locking state)를 종료하고 비접촉 제스쳐 모션이 수신될 수 있는 상태로 진입하도록 잠금해제 명령을 실행한다.

단계 62: 사용자의 E1 제스쳐 모션을 수신하한다. 여기서, E1 제스쳐 모션은 전자 단말 장치와 접촉하지 않는다.

단계 63: 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, E1 제스쳐 모션에 대응하는 E1 제어 지시를 획득한다. E1 제어 지시는 전자 단말 장치가 E1 제어 지시에 대응하는 동작을 수행하도록 전자 단말 장치를 제어하는 데 사용되는 것이다.

단계 61은 다음 4 개 방식들의 상세한 단계들을 가질 수 있다.

제1 방식: 단계 61은 다음 단계들을 포함한다:

단계 6101: 사용자의 E 제스쳐 모션을 수신한다

단계 6102: 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, E 제스쳐 모션이 미리 설정된 잠금해제 명령인지 여부를 판별하고; E 제스쳐 모션이 미리 설정된 잠금해제 명령인 경우, 다른 제스쳐 모션에 대응하는 명령에 응답하여 단계 62를 수행하고; E 제스쳐 모션이 미리 설정된 잠금해제 명령이 아닌 경우, 상기한 다른 제스쳐 모션에 대응하는 명령에 응답하지 않고, 단계 6101 및 단계 6102를 순환하여 수행하고 잠금해제 명령을 기다린다.

제2 방식: 단계 61은 다음 단계들을 포함한다:

단계(6111): 사용자의 E 음성 명령을 수신한다.

단계(6112): 사용자의 E 음성 명령이 미리 설정된 잠금해제 명령인지 여부를 인식하고; 사용자의 E 음성 명령이 미리 설정된 잠금해제 명령인 경우, 제스쳐 모션을 기다리는 제스쳐 수신 기능을 활성화하고, 단계 62를 수행하고; 사용자의 E 음성 명령이 미리 설정된 잠금해제 명령이 아닌 경우, 단계 6111 및 단계 6112를 순환하여 수행하고 잠금해제 명령을 기다린다.

제3 방식: 단계 61은 다음 단계를 포함한다:

단계 6121: 잠금해제 키를 검출하고 잠금해제 키가 잠금해제 명령을 트리거하는지 여부를 판별하고; 잠금해제 키가 잠금해제 명령을 트리거하는 경우, 제스쳐 모션을 기다리는 제스쳐 수신 기능을 활성화하고, 단계 62를 수행하고; 잠금해제 키가 잠금해제 명령을 트리거하지 않는 경우, 단계 6121를 반복적으로 수행하고 잠금해제 명령을 기다린다.

본 발명의 본 실시예의 유용한 효과는 다음과 같다: 비접촉 제스쳐 제어의 잠금 및 잠금해제는 장치가 사용자의 비의도적인 비접촉 제스쳐에 의해 제어될 때 비접촉 제스쳐 제어 장치가 오동작 제어 지시를 생성하는 것을 방지하기 위해 제어되고, 이는 제어 정확성 및 신뢰성을 향상시킨다.

제6 실시예

도 7은 본 발명의 제6 실시예에 따른 비접촉 제스쳐에 의해 제어되는 전자 단말 장치의 기능 모듈들(function modules)의 구성 블록도를 도시하고, 설명의 편의를 위해, 본 발명의 본 실시예에 관계된 부분만이 도시되었다. 비접촉 제스쳐에 의해 제어되는 전자 단말 장치는 휴대 전화, 제스쳐 게임 단말, 데스크탑 컴퓨터, 태블릿 컴퓨터, 텔레비전, 냉장고, 워싱 머신(washing machine), 에어컨, 디지털 카메라, 감시 카메라, 의료 전자 기구, 및 그와 유사한 것일 수 있다; 그리고 비접촉 제스쳐에 의해 제어되는 전자 단말 장치의 기능 유닛은 소프트웨어 유닛, 하드웨어 유닛, 또는 소프트웨어 및 하드웨어 조합 유닛일 수 있다.

비접촉 제스쳐에 의해 제어되는 전자 단말 장치(7)는, A 제스쳐 모션 수신 유닛(71), A 제어 지시 획득 유닛(72), A 타이머(73), A 제어 지시 비교 유닛(74), 및 A 제어 지시 실행 유닛(75)을 포함하고, 각 유닛의 구체적인 기능은 다음과 같다:

A 제스쳐 모션 수신 유닛(71)은, 사용자의 A1 제스쳐 모션 및 A1 제스쳐 모션 이후의 A2 제스쳐 모션을 수신하도록 구성되고, 이때 A1 제스쳐 모션 및 A2 제스쳐 모션은 전자 단말 장치와 접촉되지 않는다. 그리고 바람직하게는, A 제스쳐 모션 수신 유닛(71)은 이미지 수집기(an image collector), 적외선 송신기(an infrared transmitter), 및 이미지 분석 유닛(an image analyzing unit)을 포함할 수 있고, 이미지 수집기는 인간 몸체의 제스쳐 이미지를 수집하도록 구성될 수 있고; 적외선 송신기는 인간 몸체에 도달하는 영역으로 적외선을 보내도록 구성될 수 있고; 이미지 분석 유닛은 이미지 수집기에 의해 수집된 제스쳐 이미지를 분석하도록 구성될 수 있고, 이로써 제스쳐 모션을 획득한다. A 제스쳐 모션 수신 유닛(71)은 초음파 송신기, 초음파 수신 유닛, 및 초음파 분석 유닛를 또한 포함할 수 있고, 초음파 송신기는 초음파를 제스쳐 제어 영역에 송신하도록 구성될 수 있고; 초음파 수신 유닛은 초음파 송신기로부터 송신되고 제스쳐 모션에 의해 반사된 초음파를 수신하도록 구성되고; 초음파 분석 유닛은 초음파 수신 유닛에 의해 수신된 반사된 초음파를 분석하도록 구성될 수 있고, 이로써 제스쳐 모션을 획득한다.

A 제어 지시 획득 유닛(72)은, 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, A 제스쳐 모션 수신 유닛(71)에 의해 수신된 A1 제스쳐 모션에 대응하는 A1 제어 지시 및 A 제스쳐 모션 수신 유닛(71)에 의해 수신된 A2 제스쳐 모션에 대응하는 A2 제어 지시를 획득하도록 구성되고, A1 제어 지시 및 A2 제어 지시는 전자 단말 장치(7)를 제어하는 데 사용되는 것이다.

A 타이머(73)는, A 제어 지시 획득 유닛(72)에 의해 A1 제어 지시가 획득되는 것과 A 제어 지시 획득 유닛(72)에 의해 A2 제어 지시가 획득되는 것 사이의 시간 간격을 기록하도록 구성되거나, 또는 A 제스쳐 모션수신 유닛(71)에 의해 A1 제스쳐 모션을 수신하는 것과 A 제스쳐 모션 수신 유닛(71)에 의해 A2 제스쳐 모션을 수신하는 것 사이의 시간 간격을 기록하도록 구성된다.

A 제어 지시 비교 유닛(74)은, 타이머(73)에 의해 기록된 시간 간격이 미리 설정된 시간보다 짧은 경우, A2 제어 지시를 A1 제어 지시와 비교하고, A2 제어 지시가 A1 제어 지시와 일치하는지 여부를 판별하도록 구성된다. 미리 설정된 시간은 3 초보다 짧다.

A 제어 지시 실행 유닛(75)은, A1 제어 지시에 대응하는 동작을 수행하고; A 제어 지시 비교 유닛(74)의 비교 결과가 A2 제어 지시가 A1 제어 지시와 일치한다는 것일 때, A2 제어 지시에 대응하는 동작을 수행하는 것을 스킵(skip)하고; A 제어 지시 비교 유닛(74)의 비교 결과가 A2 제어 지시가 A1 제어 지시와 일치하지 않는다는 것일 때, A2 제어 지시에 대응하는 동작을 수행하도록 구성된다.

본 발명의 본 실시예에 따른 비접촉 제스쳐에 의해 제어되는 전자 단말 장치(7)는, 사용자에 의해 초점 맞춰진(focused) A 피제어 오브젝트를 획득하기 위해 사용자의 시선(a line of sight)을 추적하도록 구성된 A 시선 추적 유닛(a line-of-sight tracking unit)(70)을 더 포함할 수 있고, A 피제어 오브젝트는 전자 단말 장치에서 표시되는 조작 가능한 오브젝트(an operable object)이다.

A 제어 지시 실행 유닛(75)은, A1 제어 지시에 대응하는 동작을 A 피제어 오브젝트에 대해 수행하도록 더 구성될 수 있다. A 제어 지시 비교 유닛(74)의 비교 결과가 A2 제어 지시가 A1 제어 지시와 일치된다는 것일 때, A2 제어 지시에 대응하는 동작을 A 피제어 오브젝트에 대해 수행하는 것을 스킵하고, A 제어 지시 비교 유닛(74)의 비교 결과가 A2 제어 지시가 A1 제어 지시와 일치되지 않는다는 것일 때, A2 제어 지시에 대응하는 동작을 A 피제어 오브젝트에 대해 수행한다.

A 시선 추적 유닛(70)은, A 카메라(701), A 참조 광원(702), 및 A 시선 분석 및 처리 유닛(703)을 포함할 수 있다. A 카메라(701)는 사용자의 동공 이미지를 촬영하고, A 참조 광원(702)은 다수의 참조 광 스팟(reference light spots)을 형성하도록 광원을 사용자의 동공에 송신하고, A 시선 분석 및 처리 유닛(703)은 A 카메라(701)에 의해 촬영된 다수의 동공 이미지들을 분석하고, 전자 단말 장치(7) 상의 사용자의 초점을 획득하도록 동공과 참조 광 스팟의 투사 사이의 위치 편차 관계(a position deviation relationship)를 판별하고 사용자에 의해 초점 맞춰진 A1 피제어 오브젝트를 획득한다.

종래 기술과 비교했을 때, 본 발명의 본 실시예에서 성취된 유용한 효과는 다음과 같다: 사용자는 실행되기를 기대하는 명령을 강조하기 위해 반복된 제스쳐 모션들을 사용함으로써 명령을 반복할 수 있다; 시스템은 사용자로부터의 다수의 반복된 명령들이 오직 하나의 명령을 강조하기 위한 것임을 인식하고, 명령을 반복적으로 실행하지 않고, 이는 사용자의 다수의 반복된 제스쳐들에 의해 야기되는 오동작을 피할 수 있고, 이로써 비접촉 제스쳐 제어의 신뢰성 및 정확성을 향상시킨다.

제7 실시예

도 8은 본 발명의 제7 실시예에 따른 비접촉 제스쳐에 의해 제어되는 전자 단말 장치의 기능 모듈들의 구성 블록도를 도시하고, 설명의 편의를 위해, 본 발명의 본 실시예에 관계되는 부분만 도시된다. 전자 단말 장치(8)는: A1 제스쳐 모션 수신 유닛(81), A1 제어 지시 획득 유닛(82), A2 제어 지시 획득 유닛(83), A1 타이머(84), A1 제어 지시 비교 유닛(85), 및 A1 제어 지시 실행 유닛(86)을 포함하고, 각 유닛의 구체적인 기능은 다음과 같다:

A1 제스쳐 모션 수신 유닛(81)은, 사용자의 A1 제스쳐 모션을 수신하도록 구성되고, A1 제스쳐 모션은 전자 단말 장치(8)와 접촉하지 않는다. 그리고 A1 제스쳐 모션 수신 유닛(81)의 구성 및 구현예 방식들은 전술한 제6 실시예의 A 제스쳐 모션 수신 유닛(71)의 그것들과 동일하고, 여기서 다시 설명하지 않는다.

A1 제어 지시 획득 유닛(82)은, 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, A1 제스쳐 모션 수신 유닛(81)에 의해 수신된 A1 제스쳐 모션에 대응하는 A1 제어 지시를 획득하도록 구성된다. A1 제어 지시는 전자 단말 장치(8)를 제어하는 데 사용되는 것이다.

A2 제어 지시 획득 유닛(83)은 A2 제어 지시를 획득하도록 구성된다. A2 제어 지시는 전자 단말 장치(8)를 제어하는 데 사용되는 것이다.

A1 타이머(84)는 A1 제어 지시 획득 유닛(82)에 의해 A1 제어 지시를 획득한 것과 A2 제어 지시 획득 유닛(83)에 의해 A2 제어 지시를 획득한 것 사이의 시간 간격을 기록하도록 구성된다.

A1 제어 지시 비교 유닛(85)은, A1 타이머(84)에 의해 기록된 시간 간격이 미리 설정된 시간보다 짧을 때, A1 제어 지시를 A2 제어 지시와 비교하고, A1 제어 지시가 A2 제어 지시와 일치되는지 여부를 판별하도록 구성된다. 미리 설정된 시간은 3 초 보다 짧다.

A1 제어 지시 실행 유닛(86)은, A1 제어 지시에 대응하는 동작을 수행하고; A1 제어 지시 비교 유닛(85)의 비교 결과가 A1 제어 지시가 A2 제어 지시와 일치된다는 것일 때, A2 제어 지시에 대응하는 동작을 수행하는 것을 스킵하고; A1 제어 지시 비교 유닛(85)의 비교 결과가 A1 제어 지시가 A2 제어 지시와 일치되지 않는다는 것일 때, A2 제어 지시에 대응하는 동작을 수행하도록 구성된다.

본 발명의 제7 실시예에서는, 도 8a에 도시된 바와 같이, A2 제어 지시 획득 유닛(83)이, A1 음성 수신 유닛(8301) 및 A1 음성 인식 유닛(8302)을 추가로 포함할 수 있는데,

A1 음성 수신 유닛(8301)은, 예를 들어 마이크로폰이며, 사용자의 A1 음성 명령을 수신하도록 구성되고,

A1 음성 인식 유닛(8302)은 A1 음성 수신 유닛에 의해 수신된 A1 음성 명령을 인식하고, A1 음성 명령에 대응하는 A2 제어 지시를 획득하도록 구성된다.

제1 대안 방식: 도 8b에 도시된 바와 같이, A2 제어 지시 획득 유닛(83)은: A1 신호 수신 유닛(8311) -A 신호는 입술 모션을 나타냄- 및 A1 입술 인식 유닛(8312)을 포함할 수 있는데,

A1 신호 수신 유닛(8311)은 사용자의 입술 모션을 나타내는 A1 신호를 수신하도록 구성되고,

A1 입술 인식 유닛(8312)은 A1 신호 수신 유닛(8311)에 의해 수신된 입술 모션을 나타내는 A1 신호를 인식하고; 입술 모션을 나타내는 A1 신호에 대응하는 A2 제어 지시를 획득하도록 구성된다.

제2 대안 방식: 도 8c에 도시된 바와 같이, A2 제어 지시 획득 유닛(83)은, A1 뇌파 수신 유닛(8321) 및 A1 뇌파 인식 유닛(8322)을 포함할 수 있는데,

A1 뇌파 수신 유닛(8321)은 사용자의 A1 뇌파 신호를 수신하도록 구성되고,

A1 뇌파 인식 유닛(8322)은 A1 뇌파 수신 유닛(8321)에 의해 수신된 A1 뇌파 신호를 인식하고; A1 뇌파 신호에 대응하는 A2 제어 지시를 획득하도록 구성된다.

본 발명의 본 실시예에 따른 비접촉 제스쳐에 의해 제어되는 전자 단말 장치(8)는, 사용자에 의해 초점 맞춰진 A1 피제어 오브젝트를 획득하기 위해 사용자의 시선을 추적하도록 구성된 A1 시선 추적 유닛(80)을 더 포함할 수 있고, 여기서 A1 피제어 오브젝트는 전자 단말 장치 상에 표시되는 조작 가능한 오브젝트이다.

A1 제어 지시 실행 유닛(86)은, A1 제어 지시에 대응하는 동작을 A1 피제어 오브젝트에 대해 수행하고; A1 제어 지시 비교 유닛(85)의 비교 결과가 A1 제어 지시가 A2 제어 지시와 일치된다는 것일 때, A2 제어 지시와 대응하는 동작을 A1 피제어 오브젝트에 대해 수행하는 것을 스킵하고; A1 제어 지시 비교 유닛(85)의 비교 결과가 A1 제어 지시가 A2 제어 지시와 일관되지 않는다는 것일 때, A2 제어 지시에 대응하는 동작을 A1 피제어 오브젝트에 대해 수행하도록 더 구성된다.

A1 시선 추적 유닛(80)은, A1 카메라(801), A1 참조 광원(802), 및 A1 시선 분석 및 처리 유닛(803)을 포함할 수 있다. A1 카메라(801)는 사용자의 동공 이미지를 촬영하고, A1 참조 광원(802)은 다수의 참조 광 스팟을 형성하기 위해 광원을 사용자의 동공으로 송신하고, A1 시선 분석 및 처리 유닛(803)은 A1 카메라(801)에 의해 촬영된 다수의 동공 이미지들을 분석하고, 전자 단말 장치 상의 사용자의 초점을 획득하기 위한 참조 광원의 투사와 동공 사이의 위치 편차 관계를 판별하고, 사용자에 의해 초점 맞춰지는 A1 피제어 오브젝트를 획득한다.

본 발명의 본 실시예의 유용한 효과는 다음과 같다: 제스쳐 인식과 음성 인식 명령을 조합, 또는 제스쳐 인식과 입술 인식 명령을 조합, 또는 제스쳐 인식과 뇌파 인식 명령을 조합, 또는 제스쳐 인식과 시선 추적을 조합함으로써, 사용자는 실행되기를 기대하는 명령을 강조하기 위해 다수의 수단들을 사용하여 명령을 반복할 수 있다; 시스템은 사용자로부터의 다수의 반복되는 명령들이 오직 하나의 명령을 강조한다는 것을 인식하고, 명령을 반복적으로 실행하지 않으며, 이는 사용자의 다수의 반복되는 제스쳐들에 의해 야기되는 오동작을 회피시킨다. 본 발명의 기술들을 사용함으로써 비접촉 제스쳐 제어의 신뢰성 및 정확성이 향상된다.

제8 실시예

도 9는 본 발명의 제8 실시예에 따른 비접촉 제스쳐에 의해 제어되는 전자 단말 장치의 기능 모듈들의 구성 블록도를 도시하고, 설명의 편의를 위해, 본 발명의 본 실시예에 관계된 부분만이 도시된다. 비접촉 제스쳐에 의해 제어되는 전자 단말 장치(9)는, D 제스쳐 모션 수신 유닛(91), D 제어 지시 획득 유닛(92), D 저장 유닛(93), 및 D 매핑 관계 구축 유닛(94)을 포함하고, 각 유닛의 구체적인 기능은 다음과 같다.

D 제스쳐 모션 수신 유닛(91)은 사용자의 D1 제스쳐 모션 및 D1 제스쳐 모션 이후의 D2 제스쳐 모션을 수신하도록 구성되고, D1 제스쳐 모션과 D2 제스쳐 모션은 전자 단말 장치(9)와 접촉하지 않으며, D 제스쳐 모션 수신 유닛(91)의 구성 및 구현 방식들은 전술한 제6 실시예의 제스쳐 모션 수신 유닛(71)의 그것들과 동일하므로, 여기서 다시 설명하지 않는다.

D 제어 지시 획득 유닛(92)은, 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, D 제스쳐 모션 수신 유닛(91)에 의해 수신되는 D1 제스쳐 모션에 대응하는 D1 제어 지시와 D 제스쳐 모션 수신 유닛(91)에 의해 수신되는 D2 제스쳐 모션에 대응하는 D2 제어 지시를 획득하도록 구성되고, D1 제어 지시 및 D2 제어 지시는 전자 단말 장치(9)를 제어하는 데 사용되는 것이다.

D 저장 유닛(93)은, D2 제어 지시가 취소 지시일 때, D2 제어 지시가 취소 지시인 횟수를 기록하도록 구성되고, 여기서 취소 지시는 D1 제어 지시의 실행을 취소하도록 지시하는 데 사용되는 것이다.

D 매핑 관계 성립 유닛(94)은, 제스쳐 모션과 제어 지시 사이의 매핑 관계를 구축 및 저장하고; D2 제어 지시가 취소 지시이고 D 저장 유닛(93)에 의해 기록된 횟수가 미리 정해진 취소 횟수에 도달하거나 또는 초과하는 것이 판별될 때, 제스쳐 모션의 오인식을 감소시키도록 매핑 관계에서 D1 제어 지시에 대응하는 제스쳐 모션을 리셋(re-set)시키도록 구성되고, 여기서 미리 정해진 취소 횟수는 환경설정으로 사용자에 의해 설정될 수 있고, 전자 단말 장치가 공장으로부터 배송되기 전에 미리 설정될 수도 있다.

나아가, 본 발명의 본 실시예에 설명된 전자 단말 장치는 D 프롬프팅 유닛(D prompting unit)(95)을 더 포함하고, D 프롬프팅 유닛(95)은, D2 제어 지시가 취소 지시인 횟수가 미리 설정된 취소 횟수에 도달하거나 또는 초과할 때, D1 제스쳐 모션과 D1 제어 지시 사이의 매핑 관계를 취소시키도록 사용자에게 프롬프트(prompt)하도록 구성될 수 있고, 프롬프팅 유닛은 표시 장치(display) 또는 경적 장치(horn)일 수 있다.

본 발명의 본 실시예의 유용한 효과는 다음과 같다: 본 발명의 비접촉 제스쳐에 의해 제어되는 전자 단말 장치는 비접촉 제스쳐 제어의 명령의 오동작을 인식하고 때때로 오인식되는 제스쳐 모션을 조정하며, 이로써 비접촉 제스쳐 제어 지시의 인식 정확도를 향상시켜 제어 정확성 및 신뢰성을 향상시킨다.

제9 실시예

도 10은 본 발명의 제9 실시예에 따른 비접촉 제스쳐에 의해 제어되는 전자 단말 장치의 기능 모듈들의 구성 블록도를 도시하고, 설명의 편의를 위해, 본 발명의 본 실시예에 관계된 부분만 도시된다. 비접촉 제스쳐에 의해 제어되는 전자 단말 장치(10)는, D1 제스쳐 모션 수신 유닛(101), D1 제어 지시 획득 유닛(102), D2 제어 지시 획득 유닛(103), D1 저장 유닛(104), 및 D1 매핑 관계 구축 유닛(105)를 포함하고, 각 유닛의 구체적인 기능은 다음과 같다:

D1 제스쳐 모션 수신 유닛(101)은 사용자의 D1 제스쳐 모션을 수신하도록 구성되고, 이때 D1 제스쳐 모션은 전자 단말 장치와 접촉되지 않는다. D1 제스쳐 모션 수신 유닛(101)의 구성 및 구현예 방식들은 전술한 제6 실시예의 제스쳐 모션 수신 유닛(71)의 그것들과 동일하기 때문에, 여기서 다시 설명하지 않는다.

D1 제어 지시 획득 유닛(102)은, 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, D1 제스쳐 모션 수신 유닛(101)에 의해 수신된 D1 제스쳐 모션에 대응하는 D1 제어 지시를 획득하도록 구성되는데, 여기서 D1 제어 지시는 전자 단말 장치(10)를 제어하는 데 사용되는 것이다.

D2 제어 지시 획득 유닛(103)은 D2 제어 지시를 획득하도록 구성되는데, D2 제어 지시는 전자 단말 장치(10)를 제어하는 데 사용되는 것이다.

D1 저장 유닛(104)은, D2 제어 지시가 취소 지시일 때, D2 제어 지시가 취소 지시인 횟수를 기록하도록 구성되고, 여기서 취소 지시는 D1 제어 지시의 실행을 취소시키도록 지시하는 데 사용되는 것이다.

D1 매핑 관계 구축 유닛(105)은, 제스쳐 모션과 제어 지시 사이의 매핑 관계를 구축 및 저장하고; D2 제어 지시가 취소 지시인 횟수와 D1 저장 유닛(104)에 의해 기록된 것이 미리 설정된 취소 횟수에 도달하거나 또는 초과한 것으로 판별될 때, 제스쳐 모션의 오인식을 제거하기 위해 매핑 관계에서 D1 제어 지시에 대응하는 제스쳐 모션을 리셋시키도록 구성되고, 미리 설정된 취소 횟수는 환경설정으로 사용자에 의해 설정될 수 있고, 전자 단말 장치가 공장으로부터 출하되기 전에 미리 설정될 수도 있다.

본 발명의 제9 실시예에서는, 도 10a에 도시된 것처럼, D2 제어 지시 획득 유닛(103)이 D1 음성 수신 유닛(10301) 및 D1 음성 인식 유닛(10302)를 더 포함할 수 있는데,

D1 음성 수신 유닛(10301)은 사용자의 D1 음성 명령을 수신하도록 구성되고;

D1 음성 인식 유닛(10302)은 D1 음성 수신 유닛(10301)에 의해 수신된 D1 음성 명령을 인식하고, D1 음성 명령에 대응하는 D2 제어 지시를 획득하도록 구성된다.

제1 대안 방식: 도 10b에 도시된 바와 같이, D2 제어 지시 획득 유닛(103)은 A1 신호 수신 유닛(10311)-A 신호는 입술 모션을 나타냄- 및 D1 입술 인식 유닛(10312)을 포함할 수 있는데,

A1 신호 수신 유닛(10311)은 사용자의 입술 모션을 나타내는 D1 신호를 수신하도록 구성되고;

D1 입술 인식 유닛(10312)은 A1 신호 수신 유닛(10311)에 의해 수신된 입술 모션을 나타내는 D1 신호를 인식하고; 입술 모션을 나타내는 D1 신호에 대응하는 D2 제어 지시를 획득하도록 구성된다.

제2 대안 방식: 도 10c에 도시된 바와 같이, D2 제어 지시 획득 유닛(103)은 D1 뇌파 수신 유닛(10321) 및 D1 뇌파 인식 유닛(10322)을 포함할 수 있는데,

D1 뇌파 수신 유닛(10321)은 사용자의 D1 뇌파 신호를 수신하도록 구성될 수 있고;

D1 뇌파 인식 유닛(10322)은 D1 뇌파 수신 유닛(10321)에 의해 수신된 D1 뇌파 신호를 인식하고; D1 뇌파 신호에 대응하는 D2 제어 지시를 획득하도록 구성된다.

나아가, 본 발명의 제9 실시예에 설명된 전자 단말 장치(10)는 D1 프롬프팅 유닛(106)을 더 포함할 수 있고, D1 프롬프팅 유닛(106)은, D2 제어 지시가 취소 지시인 횟수가 미리 설정된 취소 횟수에 도달하거나 또는 초과할 때, D1 제스쳐 모션과 D1 제어 지시 사이의 매핑 관계를 취소하도록 사용자에게 프롬프트하도록 구성되고, 프롬프팅 유닛은 표시 장치 또는 경적 장치일 수 있다.

본 발명의 본 실시예의 유용한 효과는 다음과 같다: 본 발명의 비접촉 제스쳐에 의해 제어되는 전자 단말 장치는 비접촉 제스쳐 제어의 명령의 오동작을 인식하고 종종 오인식되는 제스쳐 모션을 조정하며, 이로써 비접촉 제스쳐 제어 지시의 인식 정확도를 향상시키고, 이로써 제어 정확성 및 신뢰성을 향상시킨다.

본 발명의 실시예들에 제공되는 비접촉 제스쳐 제어 방법의 모든 또는 일부 단계들은 관련 하드웨어를 지시하는 프로그램(a program instructing relevant hardware)을 사용하여 구성될 수 있고, 예를 들어, 프로그램을 구동(run)시키는 컴퓨터를 사용하여 구성될 수 있다. 프로그램은 읽을 수 있는 저장 매체, 예를 들어 랜덤 엑세스 메모리(a random access memory), 마그네틱 디스크(a magnetic disk), 및 광 디스크(an optical disc), USB 플래시 드라이브(a USB flash drive), 착탈식 하드디스크(a removable hard disk), 읽기전용 메모리(Read-Only Memory, ROM), 랜덤 엑세스 메모리(Random Access Memory, RAM), 마그네틱 디스크, 또는 광 디스크에 저장될 수 있다.

Claims

전자 단말 장치를 제어하는 데 사용되는 비접촉 제스쳐 제어 방법으로서,
사용자의 A1 제스쳐 모션을 수신하는 단계 -상기 A1 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않음-;
인식 처리에 의하여, 상기 A1 제스쳐 모션에 대응하는 A1 제어 지시를 획득하는 단계 -상기 A1 제어 지시는 상기 전자 단말 장치가 상기 A1 제어 지시에 대응하는 동작을 수행하도록 상기 전자 단말 장치를 제어하는 데 사용되는 것임-;
미리 설정된 지연 기간 내에 상기 사용자의 A2 제어 지시를 획득하는 단계 -상기 미리 설정된 지연 기간은 3 초보다 짧고, 상기 A2 제어 지시는 상기 전자 단말 장치를 제어하는 데 사용되는 것임-; 및
상기 A1 제어 지시를 상기 A2 제어 지시와 비교하는 단계
를 포함하고,
상기 비교하는 단계에서, 상기 A1 제어 지시가 상기 A2 제어 지시와 일치되는 경우, 상기 전자 단말 장치는 상기 A2 제어 지시에 대응하는 동작을 수행하지 않고, 상기 A1 제어 지시가 상기 A2 제어 지시와 일치되지 않는 경우, 상기 전자 단말 장치는 상기 A2 제어 지시에 대응하는 동작을 수행하는,
비접촉 제스쳐 제어 방법.
제1 항에 있어서,
상기 미리 설정된 지연 기간 내에 상기 사용자의 A2 제어 지시를 획득하는 단계는:
상기 미리 설정된 지연 기간 내에 상기 사용자의 A2 제스쳐 모션을 수신하고, 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계(mapping relationship)에 따라, 상기 A2 제스쳐 모션에 대응하는 상기 A2 제어 지시를 획득하는 단계 -상기 A2 제스쳐 모션은 상기 전자 단말 장치에 접촉하지 않음-; 또는
상기 미리 설정된 지연 기간 내에 상기 사용자의 A1 음성 명령을 수신하고, 음성 명령과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 A1 음성 명령에 대응하는 상기 A2 제어 지시를 획득하는 단계; 또는
상기 미리 설정된 지연 기간 내에 상기 사용자의 입술 모션을 나타내는 A1 신호를 수신하고, 입술 모션을 나타내는 신호와 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 입술 모션을 나타내는 상기 A1 신호에 대응하는 상기 A2 제어 지시를 획득하는 단계; 또는
상기 미리 설정된 지연 기간 내에 상기 사용자의 A1 뇌파 신호를 수신하고, 뇌파 신호와 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 A1 뇌파 신호에 대응하는 상기 A2 제어 지시를 획득하는 단계를 포함하는,
비접촉 제스쳐 제어 방법.
제1 항에 있어서,
상기 사용자의 A1 제스쳐 모션을 수신하는 단계 전에,
상기 사용자의 시선 초점(line-of-sight focus)을 획득하고 A1 피제어 오브젝트를 판별하는 단계를 더 포함하고,
상기 A1 피제어 오브젝트는 상기 전자 단말 장치 상에 표시되는 조작 가능한 오브젝트임이며,
상기 전자 단말 장치가 상기 A1 제어 지시에 대응하는 동작을 수행하는 것은, 상기 전자 단말 장치가 상기 A1 제어 지시에 따라 상기 A1 피제어 오브젝트에 대해 동작을 수행하는 것을 포함하는,
비접촉 제스쳐 제어 방법.
전자 단말 장치를 제어하는 데 사용되는 비접촉 제스쳐 제어 방법으로서, 사용자의 B1 제스쳐 모션을 수신하는 단계 -상기 B1 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않음-;
제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 B1 제스쳐 모션에 대응하는 B1 제어 지시를 획득하는 단계 -상기 B1 제어 지시는 상기 전자 단말 장치가 상기 B1 제어 지시에 대응하는 동작을 수행하도록 상기 전자 단말 장치를 제어하는 데 사용되는 것임-;
상기 사용자의 B2 제스쳐 모션을 수신하는 단계 -상기 B2 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않음-; 및
제스쳐 모션과 제어 지시 사이의 상기 미리 저장된 매핑 관계에 따라, 상기 B2 제스쳐 모션이 미리 설정된 확인 지시인지 여부를 판별하는 단계
를 포함하고, 상기 판별하는 단계에서, 상기 B2 제스쳐 모션이 상기 미리 설정된 확인 지시인 경우, 상기 전자 단말 장치는 상기 B1 제어 지시에 대응하는 상기 동작을 수행하고,
상기 확인 지시는 상기 전자 단말 장치가 상기 B1 제어 지시에 대응하는 상기 동작을 수행하도록 트리거하는 데 사용되는 것인,
비접촉 제스쳐 제어 방법.
전자 단말 장치를 제어하는 데 사용되는 비접촉 제스쳐 제어 방법으로서,
사용자의 C1 제스쳐 모션을 수신하는 단계 -상기 C1 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않음-;
제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 C1 제스쳐 모션에 대응하는 C1 제어 지시를 획득하는 단계 -상기 C1 제어 지시는 상기 전자 단말 장치가 상기 C1 제어 지시에 대응하는 동작을 수행하도록 상기 전자 단말 장치를 제어하는 데 사용되는 것임-;
상기 C1 제스쳐 모션과 상기 C1 제어 지시 사이의 매핑 관계가 활성화(enabled)되었는지 여부를 판별하는 단계; 및
상기 C1 제스쳐 모션과 상기 C1 제어 지시 사이의 상기 매핑 관계가 비활성화(disabled)된 경우, 상기 전자 단말 장치가 상기 C1 제어 지시에 대응하는 상기 동작을 수행하는 것을 스킵하고, 상기 C1 제스쳐 모션과 상기 C1 제어 지시 사이의 매핑 관계가 활성화된 경우, 상기 전자 단말 장치가 상기 C1 제어 지시에 대응하는 동작을 수행하는 단계
를 포함하는 비접촉 제스쳐 제어 방법.
전자 단말 장치를 제어하는 데 사용되는 비접촉 제스쳐 제어 방법으로서,
사용자의 D1 제스쳐 모션을 수신하는 단계 -상기 D1 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않음-;
제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 D1 제스쳐 모션에 대응하는 D1 제어 지시를 획득하는 단계 -상기 D1 제어 지시는 상기 전자 단말 장치가 상기 D1 제어 지시에 대응하는 동작을 수행하도록 상기 전자 단말 장치를 제어하는 데 사용되는 것임-;
상기 사용자의 D2 제어 지시를 획득하고, 상기 D2 제어 지시가 취소 지시인 경우, 상기 D2 제어 지시가 취소 지시인 횟수를 기록하는 단계 -상기 취소 지시는 상기 D1 제어 지시의 실행을 취소하도록 지시하는 데 사용되는 것임-; 및
상기 D2 제어 지시가 취소 지시인 횟수가 미리 설정된 취소 횟수를 초과하는지 여부를 판별하고, 상기 D2 제어 지시가 취소 지시인 횟수가 상기 미리 설정된 취소 횟수를 초과하는 경우, 상기 D1 제스쳐 모션과 상기 D1 제어 지시 사이의 매핑 관계가 비활성화되도록 설정하거나, 또는 상기 D1 제스쳐 모션과 상기 D1 제어 지시 사이의 매핑 관계가 취소되도록 프롬프팅(prompting)하는 단계
를 포함하는 비접촉 제스쳐 제어 방법.
제6 항에 있어서,
상기 사용자의 D2 제어 지시를 획득하는 것은:
상기 사용자의 D2 제스쳐 모션을 수신하고, 제스쳐 모션과 제어 지시 사이의 상기 미리 저장된 매핑 관계에 따라, 상기 D2 제스쳐 모션에 대응하는 상기 D2 제어 지시를 획득하는 단계 - 상기 D2 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않음-; 또는
상기 사용자의 D1 음성 명령을 수신하고, 음성 명령과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 D1 음성 명령에 대응하는 상기 D2 제어 지시를 획득하는 단계; 또는
상기 사용자의 입술 모션을 나타내는 D1 신호를 수신하고, 입술 모션을 나타내는 신호와 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 입술 모션을 나타내는 상기 D1 신호에 대응하는 상기 D2 제어 지시를 획득하는 단계; 또는
상기 사용자의 D1 뇌파 신호를 수신하고, 뇌파 신호와 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 D1 뇌파 신호에 대응하는 상기 D2 제어 지시를 획득하는 단계
를 포함하는,
비접촉 제스쳐 제어 방법.
전자 단말 장치를 제어하는 데 사용되는 비접촉 제스쳐 제어 방법으로서,
사용자의 잠금해제 명령을 수신하는 단계 -상기 전자 단말 장치는 잠금 상태를 종료하고 비접촉 제스쳐 모션이 수신될 수 있는 상태로 진입하도록 상기 잠금해제 명령을 실행함-;
상기 사용자의 E1 제스쳐 모션을 수신하는 단계 -상기 E1 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않음-; 및
제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 E1 제스쳐 모션에 대응하는 E1 제어 지시를 획득하는 단계
를 포함하고,
상기 E1 제어 지시는 상기 전자 단말 장치가 상기 E1 제어 지시에 대응하는 동작을 수행하도록 상기 전자 단말 장치를 제어하는 데 사용되는 것인,
비접촉 제스쳐 제어 방법.
비접촉 제스쳐에 의해 제어되는 전자 단말 장치로서,
상기 전자 단말 장치는 A 제스쳐 모션 수신 유닛, A 제어 지시 획득 유닛, A 타이머, A 제어 지시 비교 유닛, 및 A 제어 지시 실행 유닛을 포함하고;
상기 A 제스쳐 모션 수신 유닛은, 사용자의 A1 제스쳐 모션 및 상기 A1 제스쳐 모션 이후의 A2 제스쳐 모션을 수신하도록 구성되고, 이때 상기 A1 제스쳐 모션과 상기 A2 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않으며;
상기 A 제어 지시 획득 유닛은, 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 A 제스쳐 모션 수신 유닛에 의해 수신된 상기 A1 제스쳐 모션에 대응하는 A1 제어 지시 및 상기 A 제스쳐 모션 수신 유닛에 의해 수신된 상기 A2 제스쳐 모션에 대응하는 A2 제어 지시를 획득하도록 구성되고, 여기서 상기 A1 제어 지시 및 상기 A2 제어 지시는 상기 전자 단말 장치를 제어하는 데 사용되는 것이고;
상기 A 타이머는, 상기 A 제어 지시 획득 유닛에 의해 상기 A1 제어 지시를 획득한 것과 상기 A 제어 지시 획득 유닛에 의해 상기 A2 제어 지시를 획득한 것 사이의 시간 간격을 기록하도록 구성되거나, 또는 상기 A 제스쳐 모션 수신 유닛에 의해 상기 A1 제스쳐 모션이 수신된 것과 싱기 A 제스쳐 모션 수신 유닛에 의해 상기 A2 제스쳐 모션이 수신된 것 사이의 시간 간격을 기록하도록 구성되고;
상기 A 제어 지시 비교 유닛은, 상기 A 타이머에 의해 기록된 상기 시간 간격이 미리 설정된 시간보다 짧을 때, 상기 A2 제어 지시를 상기 A1 제어 지시와 비교하고, 상기 A2 제어 지시가 상기 A1 제어 지시와 일치되는지 여부를 판별하고, 여기서 상기 미리 설정된 시간은 3 초보다 짧고;
상기 A 제어 지시 실행 유닛은, 상기 A1 제어 지시에 대응하는 동작을 수행하고, 상기 A 제어 지시 비교 유닛의 비교 결과가 상기 A2 제어 지시가 상기 A1 제어 지시와 일치된다는 것일 때, 상기 A2 제어 지시에 대응하는 동작을 수행하는 것을 스킵(skip)하고, 상기 A 제어 지시 비교 유닛의 상기 비교 결과가 상기 A2 제어 지시가 상기 A1 제어 지시와 일치되지 않는다는 것일 때, 상기 A2 제어 지시에 대응하는 동작을 수행하도록 구성된,
전자 단말 장치.
제9 항에 있어서,
상기 전자 단말 장치는 A 시선 추적 유닛을 더 포함하고,
상기 A 시선 추적 유닛은 상기 사용자에 의해 초점 맞춰진 A 피제어 오브젝트를 획득하기 위해 상기 사용자의 시선을 추적하도록 구성되고, 상기 A 피제어 오브젝트는 상기 전자 단말 장치 상에서 표시되는 조작 가능한 오브젝트이고;
상기 A 제어 지시 실행 유닛은 추가로, 상기 A1 제어 지시에 대응하는 동작을 상기 A 피제어 오브젝트에 대해 수행하고, 상기 A1 제어 지시 비교 유닛의 상기 비교 결과가 상기 A2 제어 지시가 상기 A1 제어 지시와 일치된다는 것일 때, 상기 A2 제어 지시에 대응하는 동작을 상기 A 피제어 오브젝트에 대해 수행하는 것을 스킵하고, 상기 A 제어 지시 비교 유닛의 상기 비교 결과가 상기 A2 제어 지시가 상기 A1 제어 지시와 일치되지 않는다는 것일 때, 상기 A2 제어 지시에 대응하는 동작을 상기 A 피제어 오브젝트에 대해 수행하도록 구성되는,
전자 단말 장치.
비접촉 제스쳐에 의해 제어되는 전자 단말 장치로서,
상기 전자 단말 장치는, A1 제스쳐 모션 수신 유닛, A1 제어 지시 획득 유닛, A2 제어 지시 획득 유닛, A1 타이머, A1 제어 지시 비교 유닛, 및 A1 제어 지시 실행 유닛을 포함하고;
상기 A1 제스쳐 모션 수신 유닛은, 사용자의 A1 제스쳐 모션을 수신하도록 구성되고, 이때 상기 A1 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않고;
상기 A1 제어 지시 획득 유닛은, 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 A1 제스쳐 모션 수신 유닛에 의해 수신된 상기 A1 제스쳐 모션과 대응하는 A1 제어 지시를 획득하도록 구성되고, 여기서 상기 A1 제어 지시는 상기 전자 단말 장치를 제어하는 데 사용되는 것이고;
상기 A2 제어 지시 획득 유닛은 A2 제어 지시를 획득하도록 구성되고, 여기서 상기 A2 제어 지시는 상기 전자 단말 장치를 제어하는 데 사용되는 것이고;
상기 A1 타이머는 상기 A1 제어 지시 획득 유닛에 의해 상기 A1 제어 지시가 획득된 것과 상기 A2 제어 지시 획득 유닛에 의해 상기 A2 제어 지시가 획득된 것 사이의 시간 간격을 기록하도록 구성되고;
상기 A1 제어 지시 비교 유닛은, 상기 A1 타이머에 의해 기록된 상기 시간 간격이 미리 설정된 시간보다 짧으면, 상기 A1 제어 지시를 상기 A2 제어 지시와 비교하고, 상기 A1 제어 지시가 상기 A2 제어 지시와 일치되는지 여부를 판별하도록 구성되고, 여기서 상기 미리 설정된 시간은 3 초 보다 짧고;
상기 A1 제어 지시 실행 유닛은, 상기 A1 제어 지시에 대응하는 동작을 수행하도록 구성되고; 상기 A1 제어 지시 비교 유닛의 비교 결과가 상기 A1 제어 지시가 상기 A2 제어 지시와 일치된다는 것일 때, 상기 A2 제어 지시에 대응하는 동작을 수행하는 것을 스킵하고; 상기 A1 제어 지시 획득 유닛의 상기 비교 결과가 상기 A1 제어 지시가 상기 A2 제어 지시와 일치되지 않는다는 것일 때, 상기 A2 제어 지시에 대응하는 동작을 수행하도록 구성된,
전자 단말 장치.
제11 항에 있어서,
상기 A2 제어 지시 획득 유닛은, A1 음성 수신 유닛 및 A1 음성 인식 유닛을 포함하고, 상기 A1 음성 수신 유닛은 상기 사용자의 A1 음성 명령을 수신하도록 구성되고, 상기 A1 음성 인식 유닛은 상기 A1 음성 수신 유닛에 의해 수신된 상기 A1 음성 명령을 인식하고, 상기 A1 음성 명령에 대응하는 상기 A2 제어 지시를 획득하도록 구성되거나; 또는
상기 A2 제어 지시 획득 유닛은 A1 신호 수신 유닛 및 A1 입술 인식 유닛을 포함하고, A 신호는 입술 모션을 나타내고, A1 신호 수신 유닛은 상기 사용자의 입술 모션을 나타내는 A1 신호를 수신하도록 구성되고, 상기 A1 입술 인식 유닛은 A1 신호 수신 유닛에 의해 수신된 입술 모션을 나타내는 상기 A1 신호를 인식하고, 입술 모션을 나타내는 상기 A1 신호에 대응하는 상기 A2 제어 지시를 획득하도록 구성되거나; 또는
상기 A2 제어 지시 획득 유닛은 A1 뇌파 수신 유닛 및 A1 뇌파 인식 유닛을 포함하고, 상기 A1 뇌파 수신 유닛은 상기 사용자의 A1 뇌파 신호를 수신하도록 구성되고, 상기 A1 뇌파 인식 유닛은 상기 A1 뇌파 수신 유닛에 의해 수신된 상기 A1 뇌파 신호를 인식하고, 상기 A1 뇌파 신호에 대응하는 상기 A2 제어 지시를 획득하도록 구성되는,
전자 단말 장치.
제11 항에 있어서,
상기 전자 단말 장치는 A1 시선 추적 유닛을 더 포함하고,
상기 A1 시선 추적 유닛은 상기 사용자에 의해 초점 맞춰진 A1 피제어 오브젝트를 획득하기 위해 상기 사용자의 시선을 추적하도록 구성되고, 상기 A1 피제어 오브젝트는 상기 전자 단말 장치 상에 표시되는 조작 가능한 오브젝트이고;
상기 A1 제어 지시 실행 유닛은 추가로, 상기 A1 제어 지시에 대응하는 동작을 상기 A1 피제어 오브젝트에 대해 수행하고, 상기 A1 제어 지시 비교 유닛의 상기 비교 결과가 상기 A1 제어 지시가 상기 A2 제어 지시와 일치된다는 것일 때, 상기 A2 제어 지시에 대응하는 동작을 상기 A1 피제어 오브젝트에 대해 수행하는 것을 스킵하고, 상기 A1 제어 지시 비교 유닛의 상기 비교 결과가 상기 A1 제어 지시가 상기 A2 제어 지시와 일치되지 않는다는 것일 때, 상기 A2 제어 지시에 대응하는 동작을 상기 A1 피제어 오브젝트에 대해 수행하도록 구성되는,
전자 단말 장치.
비접촉 제스쳐에 의해 제어되는 전자 단말 장치로서,
상기 전자 단말 장치는, D 제스쳐 모션 수신 유닛, D 제어 지시 획득 유닛, D 저장 유닛, 및 D 매핑 관계 구축 유닛을 포함하고:
상기 D 제스쳐 모션 수신 유닛은, 사용자의 D1 제스쳐 모션 및 상기 D1 제스쳐 모션 이후의 D2 제스쳐 모션을 수신하도록 구성되고, 이때 상기 D1 제스쳐 모션과 상기 D2 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않고;
상기 D 제어 지시 획득 유닛은, 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 D 제스쳐 모션 수신 유닛에 의해 수신된 상기 D1 제스쳐 모션에 대응하는 D1 제어 지시와 상기 D 제스쳐 모션 수신 유닛에 의해 수신되는 상기 D2 제스쳐 모션에 대응하는 D2 제어 지시를 획득하도록 구성되고, 여기서상기 D1 제어 지시 및 상기 D2 제어 지시는 상기 전자 단말 장치를 제어하는 데 사용되는 것이고;
상기 D 저장 유닛은, 상기 D2 제어 지시가 취소 지시일 때, 상기 D2 제어 지시가 취소 지시인 횟수를 기록하도록 구성되고, 여기서 상기 취소 지시는 상기 D1 제어 지시의 실행을 취소하도록 지시하는 데 사용되는 것이고;
상기 D 매핑 관계 구축 유닛은, 제스쳐 모션과 제어 지시 사이의 상기 매핑 관계를 구축 및 저장하고, 상기 D2 제어 지시가 취소 지시이고 상기 D 저장 유닛에 의해 기록된 횟수가 미리 설정된 취소 횟수에 도달하거나 또는 초과하는 것으로 판별되었을 때, 상기 제스쳐 모션의 오인식을 감소시키기 위해 상기 매핑 관계에서 상기 D1 제어 지시에 대응하는 제스쳐 모션을 리셋시키도록 구성되는,
전자 단말 장치.
제14 항에 있어서,
상기 전자 단말 장치는 D 프롬프팅 유닛을 더 포함하고,
상기 D 프롬프팅 유닛은, 상기 D2 제어 지시가 취소 지시인 횟수가 상기 미리 설정된 취소 횟수에 도달하거나 또는 초과한 때, 상기 D1 제스쳐 모션과 상기 D1 제어 지시 사이의 매핑 관계를 취소하도록 상기 사용자에게 프롬프트하도록 구성되는,
전자 단말 장치.
비접촉 제스쳐에 의해 제어되는 전자 단말 장치로서,
상기 전자 단말 장치는, D1 제스쳐 모션 수신 유닛, D1 제어 지시 획득 유닛, D2 제어 지시 획득 유닛, D1 저장 유닛, 및 D1 매핑 관계 구축 유닛을 포함하고:
상기 D1 제스쳐 모션 수신 유닛은 사용자의 D1 제스쳐 모션을 수신하도록 구성되고, 이때 상기 D1 제스쳐 모션은 상기 전자 단말 장치와 접촉하지 않고;
상기 D1 제어 지시 획득 유닛은, 제스쳐 모션과 제어 지시 사이의 미리 저장된 매핑 관계에 따라, 상기 D1 제스쳐 모션 수신 유닛에 의해 수신되는 상기 D1 제스쳐 모션에 대응하는 D1 제어 지시를 획득하도록 구성되고, 여기서 상기 D1 제어 지시는 상기 전자 단말 장치를 제어하는 데 사용되는 것이고;
상기 D2 제어 지시 획득 유닛은 D2 제어 지시를 획득하도록 구성되고, 여기서 상기 D2 제어 지시는 상기 전자 단말 장치를 제어하는 데 사용되는 것이고;
상기 D1 저장 유닛은, 상기 D2 제어 지시가 취소 지시일 때, 상기 D2 제어 지시가 상기 취소 지시인 횟수를 기록하도록 구성되고, 여기서 상기 취소 지시는 상기 D1 제어 지시의 실행을 취소하도록 지시하는 데 사용되는 것이고;
상기 D1 매핑 관계 구축 유닛은 제스쳐 모션과 제어 지시 사이의 상기 매핑 관계를 구축 및 저장하고, 상기 D2 제어 지시가 상기 취소 지시이고 상기 D1 저장 유닛에 의해 기록된 횟수가 미리 설정된 취소 횟수에 도달하거나 또는 초과하는 것으로 판별되었을 때, 상기 제스쳐 모션의 오인식을 감소시키기 위해 상기 매핑 관계에서 상기 D1 제어 지시에 대응하는 제스쳐 모션을 리셋하도록 구성되는,
전자 단말 장치.
제16 항에 있어서,
상기 D2 제어 지시 획득 유닛은, D1 음성 수신 유닛 및 D1 음성 인식 유닛을 포함하고, 상기 D1 음성 수신 유닛은 상기 사용자의 D1 음성 명령을 수신하도록 구성되고, 상기 D1 음성 인식 유닛은 상기 D1 음성 수신 유닛에 의해 수신되는 상기 D1 음성 명령을 인식하고, 상기 D1 음성 명령에 대응하는 상기 D2 제어 지시를 획득하도록 구성되거나; 또는
상기 D2 제어 지시 획득 유닛은 A1 신호 수신 유닛 및 D1 입술 인식 유닛을 포함하고, A1 신호는 입술 모션을 나태내고, A1 신호 수신 유닛은 상기 사용자의 입술 모션을 나타내는 D1 신호를 수신하도록 구성되고, 상기 D1 입술 인식 유닛은 A1 신호 수신 유닛에 의해 수신되는 입술 모션을 나타내는 상기 D1 신호를 인식하고, 입술 모션을 나타내는 상기 D1 신호에 대응하는 상기 D2 제어 지시를 획득하도록 구성되거나; 또는
상기 D2 제어 지시 획득 유닛은 D1 뇌파 수신 유닛 및 D1 뇌파 인식 유닛을 포함하고, 상기 D1 뇌파 수신 유닛은 상기 사용자의 D1 뇌파 신호를 수신하도록 구성되고, 상기 D1 뇌파 인식 유닛은 상기 D1 뇌파 수신 유닛에 의해 수신된 상기 D1 뇌파 신호를 인식하고, 상기 D1 뇌파 신호에 대응하는 상기 D2 제어 지시를 획득하도록 구성되는,
전자 단말 장치.
제16 항에 있어서,
상기 전자 단말 장치는 D1 프롬프팅 유닛을 더 포함하고,
상기 D1 프롬프팅 유닛은, 상기 D2 제어 지시가 취소 지시인 횟수가 상기 미리 설정된 취소 횟수에 도달하거나 또는 초과할 때, 상기 D1 제스쳐 모션과 상기 D1 제어 지시 사이의 매핑 관계를 취소하도록 상기 사용자에게 프롬프트하도록, 구성되는,
전자 단말 장치.