KR101429494B1 - 이동 통신 장치 및 이를 위한 입력 장치 - Google Patents

이동 통신 장치 및 이를 위한 입력 장치 Download PDF

Info

Publication number
KR101429494B1
KR101429494B1 KR1020097022307A KR20097022307A KR101429494B1 KR 101429494 B1 KR101429494 B1 KR 101429494B1 KR 1020097022307 A KR1020097022307 A KR 1020097022307A KR 20097022307 A KR20097022307 A KR 20097022307A KR 101429494 B1 KR101429494 B1 KR 101429494B1
Authority
KR
South Korea
Prior art keywords
input
mobile communication
hand
communication device
gesture
Prior art date
Application number
KR1020097022307A
Other languages
English (en)
Other versions
KR20090130083A (ko
Inventor
볼프강 리히터
롤란드 아우바우어
Original Assignee
마이크로칩 테크놀로지 저머니 Ⅱ 게엠베하 운트 콤파니 카게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로칩 테크놀로지 저머니 Ⅱ 게엠베하 운트 콤파니 카게 filed Critical 마이크로칩 테크놀로지 저머니 Ⅱ 게엠베하 운트 콤파니 카게
Publication of KR20090130083A publication Critical patent/KR20090130083A/ko
Application granted granted Critical
Publication of KR101429494B1 publication Critical patent/KR101429494B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G06F1/1673—Arrangements for projecting a virtual keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Abstract

본 발명은 이동 통신 장치 및 이동 통신 장치의 조작을 위해 제공되는 입력 장치에 관한 것으로서, 상기 입력 장치에 의해 이동 통신 장치를 사용하기 위한 입력 동작이 수행된다. 본 발명의 목적은 이동 통신 장치 및 디지털 카메라와 같은 소형의 휴대형 전자 장치에 있어서 사용자가 사용하기 용이한 방식으로 입력 동작을 수행할 수 있는 방법을 제공하는 것이다. 본 발명의 제1 측면에 의하면, 상기한 바와 같은 목적은, 한 손으로 잡을 수 있도록 형성된 하우징 구조와, 상기 하우징 구조에 포함되어 영상 재생 표면을 제공하는 디스플레이 장치와, 입력 과정을 실행할 수 있도록 입력 모드에서 입력 그래픽을 제공하도록 디스플레이 장치를 구동하는 제어 장치와, 수동 입력 과정에 의한 입력 과정을 수행하는 입력 장치를 포함하고, 이동 통신 장치를 조작하는 경우 디스플레이 장치로부터 이격된 영역에 입력 영역이 제공되고, 사용자가 디스플레이 장치 또는 이동 통신 장치를 손으로 접촉하지 않고 상기 입력 영역 안에서 사용자의 자유로운 손으로 하우징 구조에 대해 제어 동작을 수행함으로써 입력 동작이 이루어지도록 형성된 것을 특징으로 하는 이동 통신 장치에 의하여 달성된다.
이동 통신 장치, 비접촉 입력

Description

이동 통신 장치 및 이를 위한 입력 장치{MOBILE COMMUNICATION DEVICE AND INPUT DEVICE FOR THE SAME}
본 발명은 이동 통신 장치 및 이동 통신 장치의 동작을 위해 제공되며 이동 통신 장치의 사용을 위해 필요한 입력 동작을 처리할 수 있는 입력 장치에 관한 것이다.
또한, 본 발명은 휴대폰과 같은 이동 통신 장치 및 디지털 카메라 등과 같은 소형의 휴대형 전자 기기에서 입력 동작을 실행하기 위한 방법에 관한 것이다.
휴대폰 및 디지털 카메라는 일반적으로 키 필드(key fields) 및/또는 입력 버튼이 구비되어 있으며, 필요한 경우 터치 스크린(touch screen) 입력 장치가 구비되기도 하는데, 이에 의하여 상기 장치의 동작에 필요한 입력 동작이 이루어지게 된다.
특히, 이러한 장치들이 초소형으로 구현된 경우, 입력 과정을 수행하는 것은 상당한 정도의 정교한 움직임 조절 동작을 필요로 하는 경우가 있는데, 이는 특정한 사용자 또는 특정 환경에서는 매우 제한된 정도로만 제공될 수 있으며 또한 특정한 어플리케이션의 경우에는 다른 프로세스에 대한 주의력을 감소시키게 된다는 문제점이 있다.
이러한 문제점을 감안하여 본 발명은, 특히 매우 작은 휴대형 전자 기기, 예컨대 이동 통신 장치 및 디지털 카메라와 같은 전자 기기에 있어서, 사용자가 원활하게 입력 동작을 수행할 수 있도록 하는 방법을 제공하는 것을 목적으로 한다.
본 발명의 첫번째 측면에 의하면, 이러한 작업은 청구항 1에 개시된 특징을 갖는 이동 통신 장치에 의해서 달성된다.
이러한 방식에 의하여, 입력 동작을 위해 사용되는 사용자의 손의 개략적인 움직임에 의해서도 복잡한 입력 과정을 효과적으로 처리할 수 있는 유용한 방식을 제공할 수 있다.
본 발명의 또 다른 측면에 의하면, 제어 장치(control device)는, 사용자에 의해 발생하는 제어 움직임(control movement)으로부터 생성되는 입력 이벤트(input event)가 디스플레이 장치에 나타나는 사용자 인터페이스에 반영되도록 구성된다. 예컨대, 사용자의 입력 움직임에 상응하여 사용자 인터페이스에서 커서 구조나 기타 심볼을 지시하거나 그래픽 효과를 나타내도록 할 수 있다.
사용자 인터페이스는 입력 손의 횡방향 움직임(transverse movement)에 의하여 사용자 인터페이스에 나타나는 각각의 버튼 또는 필드를 선택할 수 있도록 구성할 수 있다. 또한, 사용자 인터페이스는 횡방향 움직임 뿐 아니라, 길이 방향 움직임(lengthwise movement) 및 깊이 방향 움직임(depth movement)을 감지하도록 구성할 수도 있다. 횡방향 및 길이방향 움직임을 검출함으로써, 특정한 메뉴 윈도우 내에서 2차원적으로 이동할 수 있다. 깊이 방향 움직임에 의하여 각각의 다른 메뉴 윈도우로 억세스(access)할 수 있다. 또한 사용자 인터페이스는 Z축 방향의 두드림(striking) 정보 변화와 같은 손의 두드림 움직임(striking movement)에 의해 선택 동작이 이루어지도록 구성될 수도 있다. 또한, 미리 설정된 제스처(gesture)를 검출하고 이러한 제스처로부터 사용자 인터페이스의 선택이나 기타 다른 명령을 추론할 수도 있다.
본 발명의 또 다른 측면에 의하면, 본 발명에 의한 시스템은 디스플레이 장치에 의해 표시되는 그래픽 표면의 폭 및/또는 높이보다 동작 영역(operational area)의 폭 및/또는 높이가 크도록 구성할 수 있으며, 또한 바람직하게는 이동 통신 장치 자체보다도 크게 할 수도 있다.
길이 방향 및 횡 방향의 움직임에 의하여, 사용자는 윈도우(window) 또는 프레임(frame) 내부를 네비게이션(navigate)할 수 있다. 본 발명에 의한 시스템은 또한 검출 이벤트(detection event)에 기초하여 선택 명령(selection command)이 유도되도록 구성할 수도 있다.
이러한 선택 명령은 손가락 제스처에 의해 생성될 수 있는데, 예컨대 검지 또는 기타 손가락들을 디스플레이 장치쪽으로 기울이는 것(tilting)에 의해 생성될 수 있다. 이러한 선택 명령은 검출 범위 내에서 일반적으로 일어나는 전기장 변화(electric-field changes)에 기초하여 생성될 수 있다. 본 발명에 의한 장치에는 입력 구조(input structure)가 제공될 수 있는데, 비접촉 방식에 의한 입력 동작을 위한 손의 움직임 이외에, 입력 버튼 등과 같은 이러한 입력 구조의 구동에 의하여 메뉴 아이템 선택 동작이 이루어질 수도 있다.
이러한 입력 구조는 키 구조(key structure)로서 구현될 수 있는데, 이러한 키 구조는 예컨대 사용자의 왼손의 엄지와 손가락으로 이동 통신 장치를 잡거나(오른손 잡이의 경우) 또는 오른손의 엄지와 손가락으로 잡는 경우(왼손잡이의 경우), 이들 손가락들에 의하여 조작될 수 있다.
이러한 선택 버튼은 엄지 또는 검지에 의해 인체공학상(ergonomically) 효과적인 방식으로 조작할 수 있도록 배치할 수 있다.
본 발명에 의한 이동 통신 장치는 입력 동작의 검출이 전기장 방식(field-electrical way)으로 이루어지도록 구성할 수 있다.
특히, 사용자의 몸체를 신호 전달 시스템에 포함시켜서, 예컨대 이동 통신 장치의 뒷면에 의하여 이동 통신 장치의 뒷쪽 영역에 제공되는 전극에서의 전압 변조에 의해 유도되는 슬라이딩 전류 이벤트(sliding current event)를 사용자와 커플링(coupling) 시킬 수 있다. 이동 통신 장치의 디스플레이 장치의 앞쪽 영역에서의 이러한 슬라이딩 전류 이벤트의 재전도(reconduction)는 이동 통신 장치에 통합 구성되어 있는 검출 전극(detection electrode)에 의해 다시 검출될 수 있다.
본 발명의 또 다른 측면에 의하면, 이동 통신 장치 또는 디지털 카메라는 입력 동작 중에 음향 피드백(acoustic feedback)이 생성되도록 구성할 수도 있는데, 예컨대 키를 스위칭하는 소리를 생성할 수 있다(키보드 소리). 또한, 필요한 경우 질량 가속 시스템(accelerating mass system)을 구비하는 액츄에이터에 의해 접촉 피드백(haptic feedback)을 생성할 수도 있다. 디스플레이 장치 또는 발광 다이오드와 같은 기타 광학적 수단에 의해 예컨대 입력이 완료된 동작에 대해 피드백 정보와 같은 추가적인 광학 정보를 생성할 수도 있다.
전체적인 신호 처리 구조는 입력 동작의 움직임 또는 입력 동작의 실행이 이른바 비행 효과(ballistic effects)도 고려하도록 구성할 수 있는데, 이는 조작 손을 신속하게 이동함으로써 해당 윈도우의 커서가 더 넓은 범위를 커버할 수 있도록 하는데 이에 의하여 비행 기능(ballistic fuction)이 이루어지게 된다(따라서 음 가속 계수(negative acceleration factor) a에 의해 저지된다). 검출 영역은 약 23×23cm 정도의 영역을 커버하는 크기인 것이 바람직한데, 이는 특히 이 정도의 영역에서 손목 부위의 기울임 동작과 팔꿈치 부분에서의 가벼운 회전 동작에 의해 조작 손의 신속한 움직임이 이루어질 수 있기 때문이다.
본 발명에 의한 이동 통신 장치에 음성 인식 시스템(voice recognition system)을 통합시키는 것도 효과적인데, 이에 의해 언어 신호(language signal)를 검출하여 텍스트 신호로 변환하는 것이 가능하게 된다. 이러한 텍스트 신호는 저렴한 비용으로 예컨데 이메일 또는 단문메시지서비스(SMS)와 같은 형태로 전송될 수 있다.
본 발명의 또 다른 측면에 의하면, 이러한 음성 인식 시스템은 제스처(gesture)의 검출 및 변환에도 사용된다. 본 발명은 이동 통신 장치에 포함된 검출 시스템에 대하여 사용자가 실행하는 손 제스처에 의해 생성되고 손 또는 손가락의 공간적 움직임과 연관되는 입력 신호를 처리하기 위한 방법에도 관한 것으로서, 여기에서 이러한 입력 신호는, 전달 신호(transfer signal)를 나타내도록 생성 및 변환되는데, 상기 전달 신호의 주파수대역은 음성 인식 시스템에 억세스할 수 있는(accessible) 소리 신호(sound signal)의 주파수대역(waveband)을 검출하고, 음성 인식 시스템에 의한 손 제스처의 해석(interpretation)은 이러한 전달 신호에 기초하여 이루어진다.
이러한 방식에 의하여, 제스처 검출(gesture detection) 및 평가(evaluation) 또한 음성 인식 기술 분야에서 발달되어 온 기존의 회로 및 평가 시스템을 이용하여 효과적으로 이루어질 수 있다. 음성 인식 분야에서 발전되어 온 기술과 칩셋(chip set) 기술을 이용한 어플리케이션을 제스처 해석에 사용할 수 있다. 또한, 음성 인식 시스템에 제스처 검출 기능을 추가적으로 구현하는 것도 가능한데, 예컨대 마이크 입력(microphone entry)이 제스처 신호에 대한 입력으로서 직접 작용하도록 할 수도 있다. 제스처 경로 처리(gesture path processes)를 음성-유사 시퀀스(sound-like sequence)로 변환하는 본 발명의 개념은 음성 인식 시스템이 구현될 수 있는 분산 컴퓨터 시스템 및 기타 시스템에서 이루어질 수 있는데, 예컨대 보조 장비로서 저렴한 비용으로 사용할 수 있는 마이크로컨트롤러(microcontroller)에서 이루어질 수 있다. 본 발명에 의하여 생성되는 음성-유사 시퀀스는 필요한 경우 마이크 입력 신호와 병행하여 시스템의 음향 입력과 결합되도록 구성할 수 있다. 이러한 개념에 의하여 음성 인식 프로그램을 제스처 해석 기능으로 효과적으로 확장할 수 있다. 제스처를 기록하고 손 제스처(필요한 경우 손가락만의 공간 움직임)를 검출하기 위한 검출 전극(detection electrode)은 이동 통신 장치의 하우징이나 헤드셋(headset) 또는 핸즈프리키트(hand-free kit) 또는 기타 주변 통신 장비에 통합적으로 형성될 수 있는데, 이에 의하여 제스처 검출에 대한 일반적인 기준점(reference point)를 주어지게 된다. 차량에서의 핸즈프리 또는 헤드셋은 차량 대쉬보드, 스티어링 휠, 중앙 콘솔 및 도어 패널 주변에 위치하는 것이 적절할 것이다.
본 발명에 의한 센서 장치(sensor device)는 손의 정지 형태 등과 같이 현저한 정적 제스처(static gesture)를 검출하고 이를 음향 시퀀스(sound sequence)로 충분히 명확하게 변환하도록 구성할 수 있다. 이러한 정적인 제스처는 예컨대 "평평한 손(flat hand)", "엄지를 뻗은 주먹(flat with streched thumb)", "승리 사인(Victory sign)" 등과 같은 형태로 실행될 수 있다. 이러한 정적 제스처의 경우, 정적 상태 동안 생성되는 센서 신호에 기초하여 특정한 음향 시퀀스가 생성될 수 있다.
또한, 정적 제스처를 형성하고 제거하는 이동 과정을 소리로 나타내도록 함으로서 이들 제스터의 검출을 고려하도록 할 수도 있다.
제스처와 연관되는 궤적 신호(trajectory signal)를 음성-유사 신호 시퀀스로 변환함으로써 제스처 정보를 소리 데이터 주파수 범위 내에서 통신 시스템 및 VOIP 시스템에 의하여 전달할 수 있다. 제스처 정보는 사용자 즉, 제스처를 취하는 사람과 멀리 떨어진 위치에서도 언어 전달 시스템(language transmission system)을 사용하여 이용할 수 있다. 본 발명에 의한 이러한 개념에 의하여 손 제스처 언어(hand gesture language)를 소리 언어(sound language)로 전달 또는 변환하는 것이 이루어질 수 있다.
단일 제스처 또는 특정 경로 처리(path processes)에 대한 인식 모델(identification model)은 학습 과정(teaching process)에 의하여 계산될 수 있으며 평가를 위해 저장될 수 있다.
본 발명에 의하면, 생물체(바람직하게는 인간)로부터의 제스처는 검출기(detector)에 의해 검출되고 톤 시퀀스(tone sequence)(소리 시퀀스)로 변환된다. 그리고 이들은 현재의 언어 또는 톤 시퀀스 처리 방법에 의해 분석 및 평가된다. 이들과 병행하여 구두 명령(verbal spoken commands)이 동일한 처리 장치의 동일한 채널을 통해 수신되어 제스처와 함께, 개별적으로 또는 순차적으로 평가할 수 있다.
제스처 인식 회로에 의해 생성되는 톤 시퀀스는 음성 입력과 동일한 주파수대에서 생성되는 것이 바람직한데, 이에 의하여 음성 처리의 필터 방식이 사용될 수 있다. 또한 다른 주파수대를 선택하는 것도 가능한데 예컨대 처리 주파수대역의 가장자리 영역 쪽으로 위치한 주파수 대역을 사용할 수도 있다. 음성 명령과 마찬가지 또는 유사한 방식으로 제스처도 시스템에 학습될 수 있으며 반복되는 경우에는 예컨대 테이블(table)에 저장된 기능으로서 실행될 수 있다. 제스처-톤 시퀀스 변환기와는 별개로 동일한 하드웨어 및 소프트웨어가 음성 처리에 사용될 수 있는데 이는 분리된 작업 시스템과 비교하여 회로 디자인상 유리하며 또한 경제적이다. 각각의 제스처는 검출 장치 앞쪽에서 일정 시간 동안 3차원적으로 수행될 수 있으며 사용자와는 매우 독립적이다.
본 발명에 의한 개념은 광학적, 용량성(capacitative) 또는 이미지 처리 기술 등과 같은 다양한 제스처 검출 기술에 적합하다. 제스처의 결정은 시퀀스로 이루어지며 각각의 모든 시퀀스에 대해서 특정한 톤이 생성될 수 있다. 따라서, 단순하거나 복잡한 제스처라도 어느정도 지속적인 서로 다른 톤 시퀀스를 생성하게 된다. 누구도 동일한 제스처를 정교하게 두번 입력할 수는 없으므로 시스템은 오차허용 검출(tolerant detection)을 제공하는 것이 바람직하다. 이는 프로그램에 기초하여 이루어지는 것이 바람직하다. 이러한 목적에 적합한 본 발명에 의한 소프트웨어는 음성 처리 시스템에 제공되는 인식 및 해석 방법을 이용하여 제공될 수 있는데, 본 발명에 의하여 제스처와 연관되는 톤 시퀀스, 특히 제스처 경로(gesture path)의 경우에는 구술 단어(spoken word) 또는 문장(sentnece)과 유사한 형태를 갖는다.
제스처 신호의 수신(Reception of the gesture signals)
제스처 신호의 수신은 하나 또는 다수개의 용량성(capacitive)(전기장(E-filed)) 센서에 의해 이루어지는 것이 바람직하다. 이들 센서들은 인공적으로 생성된 전기장 내에서의 변화를 검출하고 그 결과로서 손 또는 손가락의 위치 또는 움직임과 충분히 밀접하게 연관되는 신호를 전달할 수 있도록 구성되는 것이 바람직하다.
제스처 신호는 선처리(preprocessing)를 수행하는 것이 바람직하다. 이러한 선처리는 인식된 제스처와 동기화되는 것이 바람직하다.
제스처 검출은 각각의 센서에 의해 전달되는 신호를 분리/디멀티플렉싱(demultiplexing)에 이루어지거나 센서-신호의 일부만을 사용하여 이루어질 수 있다.
제스처의 해석은 센서 신호가 적어도 2 바람직하게는 3개의 공간 축에 대해 생성되도록 하는 것이 바람직하다. 이 센서 신호들은 다중 채널 측정 시스템에서 획득되는 것이 바람직한데, 센서 신호들은 다중 채널에서 병렬적으로 또는 시간 분할 멀티플렉스에 의해 검출될 수 있다. 시스템의 시간 분할 멀티플렉스 또는 주파수 멀티 플렉싱에서의 여기(excitation) 또한 가능하다.
다양한 센서 채널의 캐리어-변조(carrier-modulated)(수신 전극) 신호의 쉬프트(shift)는 엔벨로프 검출(envelope detection) 또는 정류(rectification)에 의해 이루어지며 또한 그 진폭(amplitude)이 수신 센서로부터/수신 센서쪽으로의 접근에 비례하는 수신된 저주파 신호로 로우패스 필터링(low pass filtering)(변위 주파수 < 로우패스 주파수 < 캐리어 주파수)함으로써 이루어질 수 있다.
제스처의 시작과 종료의 인식은 다음과 같은 과정의 하나 또는 이들의 결합에 의해 이루어질 수 있다.
a) 접근 검출(approximation detection) : 전기장 센서 중의 적어도 어느 하나의 신호가 소정의 레벨 또는 적응적으로 자동 조절되는 레벨을 초과하거나 그 아래로 떨어지는 경우 제스처가 검출된다
b) 움직임 검출(motion detection) : 최소 변화 속도(minimum change speed)를 갖는 전기장 센서의 신호에 의해서 제스처가 검출된다. 이를 위하여 이들 신호의 수학적인 유도식을 형성하는 것이 유용하다. 다른 예로서는, 이러한 수식 유도에 상응하는 하이패스 필터 필트레이션(high pass filter filtration)을 수행할 수도 있다.
c) a) 및 b)에 의한 상기 측정 과정을 결합하여 수행할 수 있다.
본 발명의 또 다른 실시예에 의하면, 제스처 신호의 정규화(normalization)가 이루어지는데, 예컨대 각각의 단일 센서 신호로부터 모든 센서 신호의 직접적인 신호 요소 또는 임시 평균값을 빼는 등의 방법으로 이루어질 수 있다.
또한, 검출된 센서 신호의 축 변환(coordinate transformation)이 가능한데 이에 의하여 해당 제스처가 공간 참조 평면(spatial reference plane)으로 나타날 수 있다.
이러한 참조 제스처 평면은 전극 평면과 평행하게 또한 센서 축과 수직으로 놓이는데 해당 제스처는 센서 중심으로부터 어느 정도의 거리만큼 떨어져서 항상 시각화될 수 있다. 제스처에 의해 펼쳐지는 영역의 무게 중심(center of mass)은 센서 축 위에 놓이는 것이 바람직하다.
다차원의 변환된 센서 신호는 전압-주파수 변환(예컨대, VCO)에 의해 보통 50Hz~8000Hz 또는 300~3400Hz(전화 통화 주파수 대역)의 음성 주파수 범위 안에 있는 적절한 톤으로 변환되는 것이 바람직한데, 이에 의하여 다수의(일반적으로 3) 센서 신호가 하나의 신호로 변환되어 평가될 수 있다(1 채널). 이는 다음 단계인 평가 단계에서의 제스처 검출기에서 사용가능하게 된다.
센서 신호는 시간 분할 멀티플렉스 신호(time-division multiplex-signal)로서 생성될 수 있다. VCO 변환에 의한 센서 신호의 변환은 각 시간 마다 언어 주파수 대역(language frequency range)에서 서로 다른 주파수 대역의 신호를 발생시킨다.
제스처 검출(Gesture detection)
제스처의 검출은 전체적인 제스처를 검출하기 위한 DTW(동적 시간 워핑, Dynamic Time Warping) 샘플 검출기를 이용하여 이루어지는 것이 바람직한데, 이는 언어 검출기(language detectors)에서의 단어 인식(word recognition)과 유사하다. 이러한 종류의 검출기는 유사하게 수행되는 제스처에 대한 다양한 응용 사례에 충분한 정도의 선택성(selectivity)을 가져서 두드림 제스처(striking gesture)를 갖는 작은 제스처 스펙트럼의 경우에도 충분한 인식율(identification rate)을 갖는 것을 특징으로 한다.
상기 DTW 패턴 인식을 대신하는 예로서, 공지의 히든 마르코프 모델(Hidden Markov Model, HMM) 검출기와 같은 음성 인식 기술 방법을 사용할 수도 있다. 이러한 음성 인식 기술에서는, 단어(words)는 언어의 원자 의사 정적 소리(atomic quasistationary sound)인 음소(phonemes)로 분리된다. 이와 마찬가지로 제스처는 HMM에서 상태(statuses)로 나타나는 제스처 조각(gesture fragment)으로 분리된다. 제스처 조각은 손가락/손/팔 등과 같은 제스처의 임의의 한 부분일 수 있다. 특히 직선 또는 구부림 움직임, 방향의 변화(손을 돌리는 것과 같은), 형태의 변화(손을 벌리는 것과 같은) 및 이러한 변화와 함께 관련되는 형태(움직임의 길이, 속도 등) 등일 수 있다. 이러한 제스처 조각은 각각 순차적으로 검출되고 다시 HMM 검출기에 의해 미리 정의된(학습 또는 설명 과정에서) 전체적인 제스처가 할당된다(예컨대 L 제스처).
본 발명에 의하여 손 제스처와 연관되며 음성-유사 시퀀스(sound-like signal sequence)로서 생성되는 신호들은 신경망 네트워크 검출기(neuronal network detector)와 음성 인식 기술에서와 유사한 제스처 조각 분류기(classifier)(음소 분류기(Phonem Classifier)에 의해 평가될 수 있다.
상기한 바와 같은 측정 기술들은 분산 언어 인식 과정과 함께 결합적으로 수행되어 본 발명에 의하여 음성-유사 신호 시퀀스로서 생성되는 제스처 신호를 평가하고 해석할 수 있다.
3 학습 구별 및 검출 단계(3 Distinction of training and detection phase)
검출할 제스처는 적어도 한번 이상, 가능하면 여러번 학습되어 제스처 검출기에 마스터 샘플(master sample)로서 저장되는 것이 바람직하다. 동일한 의미를 갖지만 서로 다른 것으로 간주되는 제스처는 학습 단계(training process)에서 거부되는 것이 바람직하다. 거부되지 않고 충분히 유사하며 정확한 제스처들은 해당 참조 신호(referrence signal)을 평균화함으로써 합쳐질 수 있다.
학습 과정의 다른 예로서, 마우스/메뉴 등에 기초한 참조 제스처(reference gesture)의 그래픽 입력을 수행할 수도 있다(우측에서 좌측으로, 상부에서 하부로 화살표(arrow) 이동, 원 등). 이러한 입력 제스처에 대해서 예상되는 센서 신호가 결정되어 제스처 검출기에 마스터 샘플로서 저장될 수 있다.
인식 단계(Identification phase)
인식 단계(identification phase)중에, 제스처 신호는 학습/설명 과정에서 저장된 참조 신호 모델과 비교되며 가장 개연성이 있는 제스처가 선택된다. 제스처 신호가 모든 참조 신호 모델과 다른 경우에는 "인식되지 않음(not recognized)"이 선택된다. 여기에서 임계치를 조절할 수 있으므로 검출 실패(인식된 제스처가 잘못 선택되는 경우)할 확률과 잘못된 거부(제스처가 검출되지 않고 거부되는 경우)가 발생하는 확률을 경우에 따라서 조절할 수 있다.
HMM 검출기의 경우 최적의 제스처를 검색하는 것은 비터비 알고리듬(Viterbi algorithm)에 의해 효과적으로 이루어진다.
본 발명에 의한 개념에 의하면, 제스처 신호를 음성 인식 시스템으로 유도하여 음성 인식 분야에서 이미 알려져 있는 음성 인식 과정에 의해 매우 효율적인 방식으로 이들을 평가할 수 있다.
약 100kHz 정도의 저주파 전기장을 사용하는 센서(전기장 센서)는 검출 전극으로부터 보통 50cm 범위 내의 거리에서 움직임을 안전하게 검출할 수 있다.
제스처의 공간적인 설명을 위해서 적어도 3개의 전극이 사용되는데, 이들 각각은 거리 변화의 움직임과 연관된 3개의 음성 기여(sound contribution)을 전달하게 된다. 손의 형태를 인식하고 해상도(resolution)를 향상시키고, 또한 경우에 따라서 약간의 여유를 가질 수 있도록, 3개 이상의 전극을 사용하여 필요한 좌표계보다 과결정(overdetermined)되는 시스템을 만드는 것도 효율적일 수 있다.
도 1은 본 발명에 의한 이동 통신 장치와 입력 동작을 위해 이동 통신 장치에 의해 제공되는 가상 입력 표면을 나타낸 사시도이다.
도 2는 이동 통신 장치에 대한 조작 손의 움직임을 검출하기 위한 전극 장치의 구조를 나타낸 개략적인 회로도이다.
도 3은 본 발명에 의한 이동 통신 장치의 회로 설계 구조를 나타낸 구조도면이다.
도 4는 본 발명에 의하여 입력 장치로서 이동 통신 장치 용으로 선제조된 그룹 형태를 나타낸 것으로서, 박형의 로직 보드 카드 구조와 그 위의 전극 표면을 구비하며 상기 로직 보드 카드 위에 ASIC 스위칭이 배치되어 전극 표면에 의해 검출되는 접근 효과에 기초하여 명령 신호를 생성하는 입력장치를 나타낸 도면이다.
도 5는 본 발명에 의한 제스처 검출 개념을 설명하기 위한 도면으로서, 손의 공간적 움직임은 3개의 전달 전극 및 수신 전극에 의해 검출되고 수신 전극에 의해 검출된 신호가 생성되어 음성 인식 시스템에 의하여 충분히 명확하게 검출되도록 변조되는 것을 나타낸 도면이다.
이하, 첨부 도면을 참조하여 본 발명에 의한 실시예를 설명한다.
도 1에 도시한 이동 통신 장치(movable communication device)는, 본 실시예에서는 평판 스크린 모니터(flat screen monitor)로 구현된 디스플레이 장치(display device,2)를 구비한다.
본 실시예의 이동 통신 장치(1)는 그 외부 디자인이 고성능의 이동 통신 장치 예컨대 아이폰(I-Phone) 단말기와 같은 형태를 닮아 있다.
디스플레이 장치(2)에 의해 다수개의 동작 윈도우(windows)를 제공할 수 있는 그래픽 사용자 인터페이스(graphical user interface)가 도시되는데, 각각의 동작 윈도우 안에는 2차원 네비게이션을 위한 커서(3)가 위치할 수 있으며, 이들은 구별되는 색상을 가질 수 있다.
도 1에 도시한 이동 통신 장치는, 사용자가 보통의 경우 한 손으로 잡을 경우에 나머지 자유로운 손(R)(도면에서는 오른쪽 손) 또는 앞으로 뻗은 검지(F)를 디스플레이 장치(2)에 접촉하지 않으면서 도시된 가상 입력 평면(E) 위에서 움직임으로써, 디스플레이 장치(2)에 제공되는 사용자 인터페이스 내에서 커서 이동 또는 선택 동작을 수행하도록 구성되어 있다. 본 실시예에서 전체 시스템은 가상 입력 평면(E)의 폭(B) 및 길이(L)가 디스플레이 장치(2)의 폭(B) 및 길이(L)보다 크도록 조절되어 있다.
이러한 구성에 의하여, 입력 움직임을 디스플레이 장치(2)의 크기보다 훨씬 크게 할 수 있다. 또한, 이동 통신 장치(1)의 입력 장치(input device)는, 선택 동작(selection operation)이 동작 손(R) 또는 검지(F)를 입력 평면(E)에 대해 직 각 방향(z축 방향)으로 두드리는 움직임(striking movements)에 의해 이루어질 수 있도록 구성되어 있다.
또한, 이동 통신 장치(1)는 푸쉬 버튼(pushbutton, 4,5) 형태의 입력 장치가 제공되는데, 이에 의하여 추가적인 입력 동작이 이루어질 수 있다. 이동 통신 장치(1)는 입력 손(R)의 순간적인 위치 이동에 의해 디스플레이 장치(2) 내에서 커서(3)의 위치 이동이 이루어지고 이것이 디스플레이 장치(2)에 직접 나타나도록 구성되어 있다. 이동 통신 장치(1)의 푸쉬 버튼(4,5)에 의해 리셋 과정(reset process)을 수행하는 것도 가능한데, 이는 디스플레이 장치(2)에서 커서(3)가 거의 중심에 위치하도록 하고 이 때의 이동 통신 장치(1)에 대한 조작 손(R)의 순간적인 위치를 0 위치(zero position)로 해석함으로써 이루어질 수 있다. 또한, 이동 통신 장치(1)는 학습 모드(teaching mode)에서 입력 명령을 생성하는 데 사용되는 가상 평면(E)의 폭(B) 및 길이(L)(필요한 경우)를 스캔(scan)하도록 구성할 수도 있다. 이는 예컨대 푸쉬 버튼(4,5)을 동시에 누르면서 동작 손(R)을 처음에는 좌측 끝으로, 그 다음에는 우측 끝으로, 다음에는 상단부 및 하단부쪽으로 이동시키는 것과 같이 미리 설정된 키 시퀀스를 이동하도록 함으로써 이루어질 수 있다.
도 1에 도시한 이동 통신 장치(10)에 의하여 신뢰성 있고 신속한 입력 동작이 접촉 없이 이루어질 수 있으며, 가상 입력 평면(E)에서 동작 손(R)을 다소 정교하지 않게 움직이는 것으로도 소형의 디스플레이 장치(2)에 직접 표시될 수 있다.
동작 손(operation hand, R)의 움직임을 검출하는 검출 수단(detection means)은 이동 통신 장치(1)에 직접 통합 구성되는 것이 바람직하다. 검출 수단은 동작 손(R)의 움직임 및 위치를 예컨대 전기 장 상호 작용 효과(electric field interaction effects)의 원리에 기초하여 검출하도록 구성할 수 있다.
손과 손가락의 움직임에 의하여 디스플레이 장치의 재생 영역(reproduction area) 안에 커서 구조(cursor structure)를 생성할 수 있다. 또한, 손과 손가락의 움직임에 의하여, 선택된 메뉴 포인트를 디스플레이 장치의 중앙 영역으로 이동시키고 중앙 윈도우로 하고자 하는 경우 이를 선택할 수도 있다. 또한, 이러한 방식을 결합하여, 미리 설정되어 있는 가장 자리 경계 영역, 예컨대 디스플레이 장치의 구석에 대해 대각선 방향으로 약 20% 정도에 있는 가장 자리 영역에 도달하는 경우, 실행되고 있는 이미지 영역이 있으면 실행되고 있는 이미지 영역에서 X-Y 네비게이션(필요한 경우 Z축 방향의 확대(zoomm))을 다시 수행하도록 구성할 수도 있다.
입력 장치는 가상 키보드(virtual keyboard)에 쓰는 경우와 유사하게 특정한 손가락 제스춰(finger gestures)를 해석하도록 구성할 수 있다. 또한, 디스플레이 장치(2)는 터치스크린(touchscreen)으로 구성될 수도 있다.
도 2에는 디스플레이 장치(2) 근방의 이동 통신 장치(1)의 비도전성 하우징 표면 아래쪽에 직접 적용될 수 있는 전극 구조를 나타내었다. 이러한 전극 구조(7)에 의하여 이동 통신 장치(1)에 대한 조작 손(R, 도 1)의 X, Y 및 Z축 방향 움직임을 검출하여 사용자 인터페이스 내에서의 네비게이션에 필요한 X/Y 신호, 필요한 경우에는 Z 신호도 생성할 수 있다.
전극 구조(7)는 입력 전극 장치(feeding electrode device,8), 차폐 전극 장 치(shield electrode device,9) 및 복수개의 검출 전극(detection electrode, 11,12,13,14)를 구비한다. 입력 전극 장치(8)에 의해 변조된 전기장(modulated E-field)이 생성되는데, 생성된 전기장은 동작 손(R)이 접근할 수 있는 이동 통신 장치(1)의 앞쪽 영역으로 전개된다. 차폐 전극 장치(9)는 입력 전극(8)에 의해 검출 전극들(11,12,13,14)과의 사이에서 생성되는 전기장의 직접 전기장 커플링(direct field-electrical coupling)을 방지한다. 동작 손(R)의 입력 전극(8)에 대한 위치 및 상대적인 움직임은 검출 전극들(11,12,13,14)에 의해 검출될 수 있다. 이를 위하여, 검출 전극들(11,12,13,14)은 평가 회로(evaluation circuit)에 결합될 수 있는데, 평가 회로는 각각의 검출 전극(11,12,13,14)에서 수신되는 전기장의 세기 등과 같은 검출 이벤트(detection event)를 서로 다르게 평가할 수 있는 평가 기술에 기초한다. 검출 전극(11,12,13,14)는 LC 회로망의 구성 요소로 구성되는 것이 바람직하다. 평가 기술은 전류, 전압, 전류 및 전압의 각각에 대한 위상 및 여기 시스템(exciting system)에 대한 위상, LC 회로망의 각 대응 영역에서의 커패시티(capacity) 등과 같은 것을 측정하는 것을 포함한다.
도 3은 이동 통신 장치(1)의 입력 과정을 위해 제공되는 회로 구조의 기본 형태를 단순화하여 나타낸 것이다. 디스플레이 장치(2)는 프로그램된 전자 제어 장치(programmed electronic control device, 20)에 의해 기동(trigger)된다. 여기에서 도시한 실시예에서의 디스플레이 장치(2)가 기동됨으로써, 디스플레이 장치(2) 상에서의 사용자 인터페이스는 입력 과정이 효율적으로 이루어지며 또한 신속하게 직관적으로 인식할 수 있도록 구성된다. 사용자 인터페이스는 복수개의 윈 도우(window)를 형성하도록 구성될 수 있는데, 복수개의 윈도우 중 적어도 하나의 윈도우에서 커서 구조의 2차원 쉬프팅(shifting), 또는 기타 추가적인 2차원 네비게이션이 이루어질 수 있다. 이미지 영역 내에서 커서 구조(3)를 쉬프팅하기 위한 X/Y 정보는 본 발명에 의한 검출 수단(21)에 의해 생성되는데, 검출 수단(21)은 이동 통신 장치(1) 내에 직접 포함되어 있다. 이러한 검출 수단(21)은 이동 통신 장치(1) 앞쪽의 동작 공간에서의 동작 손의 움직임이 디스플레이 장치(2) 쪽에서 이루어지도록 할 수 있다(도 1 참조). 도시된 실시예에서 입력 장치(21)는 사용자의 동작 손(R)의 입력 장치(21)에 대한 X/Y 움직임을 검출하도록 구성되어 있다. 이러한 움직임은 커서 구조(3)의 상응하는 움직임으로 이동 통신 장치(1)의 디스플레이에 직접 가시화된다. 본 실시예의 이동 통신 장치(1)는 또한 출력 구조, 즉, 음향 신호를 생성하는 라우드 스피커 장치(22), 추가적인 광 신호를 생성하는 추가 LED 수단(23) 및 접촉 신호(haptic signal)를 생성하는 펄스 액츄에이터(pulse actuator,24)를 더 구비할 수 있다. 도시된 실시예에서 동작 손(R)의 입력 장치(21)에 대한 움직임은 디스플레이 장치(2)에 의해 제공되는 사용자 인터페이스 내에서 커서 구조(3)의 쉬프팅을 발생시킨다. 특정 메뉴 아이템을 선택하는 경우, 라우드 스피커 장치(2)는 그와 관련되는 음향 신호 예컨대 음향 설계에 의하여 미리 설정된 키스트로크(keystroke) 소리 또는 비프(beep) 신호 등과 같은 신호를 생성한다. LED 수단(23)에 의하여서도 장치의 특정한 상태가 시각화될 수 있는데, 예컨대 입력 과정을 수행하기 위한 장비의 준비 상태, 특히 메뉴 레벨 등과 같은 것을 시각화할 수 있다. 예컨대, 이동 통신 장치(1)에서의 LED 체인(chain)에 의 해 생성되는 광 스크롤바(optical scrollbar)를 배치할 수도 있는데, 광 스크롤바에 의해 어떠한 윈도우 평면에 사용자가 현재 위치하고 있는지를 나타낼 수 있게 된다. 이러한 사용자 레벨은 동작 손(R)을 z-방향(가상 평면(E)에 수직 또는 장치 표면에 거의 수직)으로의 거리를 변화시킴으로써 처리될 수 있다.
그래픽 사용자 인터페이스 내에서 특정한 키를 선택하는 경우, 액츄에이터 수단(24)에 의해 작은 펄스 이벤트가 생성되어 특정 메뉴 아이템이 선택되었음을 사용자에게 추가적으로 알릴 수 있다.
본 발명에 의한 개념에 기초하여, 다른 한 손을 이동 통신 장치에 접촉하지 않은 상태로 한 손으로 이동 통신 장치를 사용할 수 있는데, 입력 손을 이동 통신 장치에 접촉하지 않은 상태에서 숫자 및 문자 필드를 갖는 정교한 메뉴 윈도우 조절이 이동 통신 장치에 대한 사용자의 자유로운 손에 의하여 처리될 수 있다.
본 발명에 의한 개념은 이동 통신 장치에의 사용에만 한정되는 것이 아니다. 본 발명에 의한 개념은 일반적으로 한 손으로 잡을 수 있으며 다른 한 손으로 조작할 수 있는 디지털 카메라, 게임보이(gameboys) 및 플레이스테이션(playstation) 및 기타 소형 전자 장치를 조작하는데에도 적합하다.
도 4는 본 발명에 의한 이동 통신 장치의 입력 장치(input device)가 통신 장치용으로 미리 제조된 경우를 나타낸 것으로서, 상기 입력 장치는 그 위에 전극 구조(8,9,11,12,13)가 형성된 얇은 로직 보드 카드 구조(thin logic board card structure,20)를 구비한다. 이러한 로직 보드 카드 구조 위에는 ASIC 스위칭(AC)이 배치되어 전극 장치에 의해 검출되는 접근 효과에 기초하여 명령 신호(command signal)를 생성한다. 이러한 명령 신호는 표준화된 신호에서 사용가능한데, 예컨대 연결 구조(AS)에 의하여 USB 표준 등에서 사용할 수 있다.
본 발명에 의한 비접촉식의 제스처 및 손 움직임 검출 시스템을 터치스크린 시스템과 같은 접촉 검출 시스템과 결합할 수도 있다. 또한, 예컨대 핸드셋(handset) 등과 같은 분야에서는 입력 동작을 수행하기 위하여, 자이로메터(gyrometer)와 같은 관성 센서(inertial sensor)에 의한 추가 입력 정보를 본 발명에 의한 검출 기술과 결합하여 처리할 수도 있다.
도 5는 본 발명에 의한 제스처 변환 회로(gesture conversion circuit)의 제1 변형예를 나타낸 것이다. 일반적으로 음성 처리(speech processing)에 적합하도록 구성된 전자 부품(예컨대 RSC 4128 모듈)은 프로그래머블 컨트롤러(programmable controller)를 구비한다. 프로그래머블 컨트롤러는 펌웨어(firmware)에 의해 적어도 하나의 IO-포트에서 변경 신호(changing signal, 1-0 시퀀스)를 생성하도록 지시된다. 이 신호는 예컨대 발광 다이오드 등과 같은 광학적 방식에 의해 또는 커플링 표면(coupling surface) 등에서 용량성 방식으로(capacitively) 발산될 수 있다. 후자의 경우는 교류 전기장을 발생시킨다. 바람직하게는 트랜스임피던스 증폭기(transimpedance amplifier)를 구비하는 검출기(detector)는 이러한 교류 전기장을 수신하거나 발광 다이오드로부터 나오는 빛을 수신할 수 있다. 이는 DC 전압으로 변환되고 DC 전압은 전압 제어 오실레이터(tension controlled oscillator,VCO)를 구동한다. 커버리지 영역 내로 예컨대 사람의 사지(limbs) 등이 침입하게 되면 광도(luminosity) 또는 전기장이 변화하게 되는데, 이는 피치(pitch)를 변화시킨다. 피치는 감소 또는 상승할 수 있다. 해당 컨트롤러 핀(controller pin)이 일시적으로만 구동된다면(예컨대 40ms), 톤(tone)의 변화 또한 이 시간 동안에만 발생한다. 결국 각각의 VCO는 다른 IO핀에 의해 스위치 온 또는 오프되어 아이들 상태(idle state)에서는 톤이 들리지 않는다. 접근에 의해 생성되는 톤 시퀀스(tone sequence)는 분석회로(analysis circuit)로 전달되는데, 분석회로는 음성 처리 회로에서 일반적으로 사용되는 것으로서 바람직하게는 동일한 칩 내에 하드웨어 및 소프트웨어의 결합체로 구성되며 전기장 또는 광 신호를 생성한다. 필요한 경우 복수개를 검출해야 한다면 복수개의 필드 형성 전극(field-forming electrode) 또는 발광 다이오드들이 제공된다. 이는 순차적으로 구동될 수 있는 같은 컨트롤러의 다른 IO 핀들에 의해 이루어질 수 있다(=시퀀스). 전술한 검출 개념의 대안으로서 광마우스 시스템 또는 기타 카메라 장치 특히 휴대폰의 카메라에 의해 제스처를 검출할 수도 있다.
본 발명에 의한 신호 처리(signal processing) 및 평가(evaluation)는 음성 처리(speech processing)에 사용되는 일반적인 분석 기술에 의해 이루어진다. 이러한 음성 인식 기술(speech recognition technique)은 본 발명에 의하여 제스처 검출에 사용되는데, 우선 제스처와 관련하여 제스처 물체(gesture object)(손 및/또는 손가락), 궤적 및 운동, 음성-유사(sound-like), 언어-유사(language-like) 신호 시퀀스가 형성된다. 이러한 음성-유사 신호 시퀀스의 평가는 상대적으로 신뢰성이 있는데, 이는 톤이 모음과 자음의 시퀀스로 나타나고 치찰음(sibilants)은 제거(반드시 그럴 필요는 없다)될 수 있기 때문이다. 이러한 방식으로 언어적 명 령과 제스처 명령을 서로 혼합하여 이들을 동시에 또는 순차적으로 실행할 수 있게 된다. 이러한 시스템은 신경망 네트워크 또는 기타 학습 알고리듬에 의하여 학습시키고 허용 임계치를(tolerance thresholds)를 조절할 수 있다.
도 5에 나타낸 전자 모듈에서 3개의 전기장-형성 전극(field-forming electrodes)(예컨대 동(copper) 표면의)이 IO 포트에 연결되어 있다. 그 주변에 센싱 전극이 위치하고 있다. 버퍼에(예컨대 트랜스임피던스 증폭기), 다이오드 및 컨덴서를 구비하는 팔로잉 정류 회로(following rectifier circuit)와 전압 제어 오실레이터(VCO, 여기서는 니들 펄스 제너레이터(needle pulse generator))가 위치하는 것으로 나타나 있다. 이러한 회로에 의하여 톤 시퀀스(tone sequence)를 생성할 수 있으며, 이는 사람의 사지 등의 접근에 의하여 그 높이가 변경된다. 시퀀서 회로(sequencer circuit)(소프트웨어 또는 하드웨어)에 의하여 각각의 전극 표면(E1~E3)이 짧은 길이, 예컨대 각 20 milliseconds 동안 100kHz의 1-0의 연속 시퀀스로 구성되는 교류 장에 의해 순차적으로 구동되어 교류 전기장이 상승하게 된다. 침입하는 사지는 수신 전극 표면(Ke)로 전기장을 감쇄시키거나 브릿지(bridge)로서 작용한다. 이러한 두가지 효과는 스위치 온된 VCO의 피치를 변화시킨다. 그 출력은 음성 처리가 통합되어 있는 칩으로 다시 입력된다. 따라서, 움직임 시퀀스는 간단하게 학습되고 평가될 수 있다. 동일 또는 다른 입력부에 언어적 명령을 처리하기 위한 마이크로폰이 연결될 수 있다.
본 발명은 매우 경제적으로 구현될 수 있으며 시너지 효과를 가져오면서 음성 및 제스처 검출을 구현할 수 있는 이동 통신 장치를 가능하게 한다.

Claims (27)

  1. 이동 통신 장치에 있어서,
    한 손으로 잡을 수 있도록 형성된 하우징;
    상기 하우징에 통합 형성되며 영상 재생 표면(image reproduction surface)을 제공하는 디스플레이 장치;
    입력 모드(input mode)에서 입력 과정(input procedure)의 수행을 보조하기 위한 사용자 인터페이스(user interface)를 제공하도록 상기 디스플레이 장치를 구동하는 제어 장치; 및
    수동(manual type)에 의한 입력 동작에 의하여 입력 과정을 수행하는 입력 장치(input device)
    를 포함하고,
    상기 입력 장치는, 이동 통신 장치를 의도하는 대로 조작하는 경우, 디스플레이 장치 앞쪽에 위치한 영역에 입력 영역(input zone)을 제공하고, 사용자가 디스플레이 장치 또는 이동 통신 장치를 손으로 접촉하지 않고 상기 입력 영역 내에서 사용자의 자유로운 손(free hand)으로 하우징에 대해 제어 움직임(control movement)을 수행함으로써 입력 동작이 이루어지도록 형성되고,
    상기 입력 장치는 전달 전극판에 의해 생성되는 저주파 전기장(low frequency electric field)을 검출하도록 구성된 제1, 제2 및 제3 수신 전극판을 포함하는 전극 구조를 구비하고,
    상기 입력 영역 내에서 자유로운 손의 위치와 움직임중 적어도 하나는 상기 적어도 하나의 3개의 수신 전극판으로부터 수신되는 신호들간의 차(difference)를 분석함으로써 검출되는 것을 특징으로 하는 이동 통신 장치.
  2. 제1항에 있어서,
    상기 제어 장치는 사용자에 의해 수행되는 제어 움직임이 디스플레이 장치에 시각화된 사용자 인터페이스에 반영되도록 구성된 것을 특징으로 하는 이동 통신 장치.
  3. 제1항에 있어서,
    사용자 인터페이스는 이동 통신 장치에 대한 조작 손의 횡방향 움직임(transverse movement)에 의하여 다른 버튼이 선택될 수 있도록 구성된 것을 특징으로 하는 이동 통신 장치.
  4. 제1항에 있어서,
    상기 사용자 인터페이스는 조작 손의 길이방향 움직임(lengthwise movement)에 의하여 다른 버튼이 선택될 수 있도록 구성된 것을 특징으로 하는 이동 통신 장치.
  5. 제1항에 있어서,
    깊이 방향 움직임(depth movement)에 의하여 사용자 인터페이스의 다른 메뉴 윈도우가 선택될 수 있는 것을 특징으로 하는 이동 통신 장치.
  6. 제1항에 있어서,
    깊이 방향 움직임에 의하여 다른 메뉴 윈도우 또는 프레임이 선택될 수 있는 것을 특징으로 하는 이동 통신 장치.
  7. 제1항에 있어서,
    깊이 방향 움직임에 의하여, 디스플레이 장치에 의해 시각화되는 사용자 인터페이스의 확대 계수(zoom factor)가 조절되는 것을 특징으로 하는 이동 통신 장치.
  8. 제1항에 있어서,
    길이 방향 및 횡 방향의 움직임에 의해 사용자의 자유로운 손이 윈도우 또는 프레임 내부를 네비게이션할 수 있는 것을 특징으로 하는 이동 통신 장치.
  9. 제1항에 있어서,
    상기 자유로운 손의 미리 설정된 움직임에 의해 생성되는 이벤트로부터 선택 명령(selection command)이 유도되는 것을 특징으로 하는 이동 통신 장치.
  10. 제9항에 있어서,
    상기 선택 명령은 디스플레이 장치에 대한 조작 손의 손가락의 움직임에 의하여 생성되는 것을 특징으로 하는 이동 통신 장치.
  11. 제1항에 있어서,
    해당하는 구동 동작(actuation)에 의하여 동작 모드를 선택하기 위한 입력 구조(input unit)를 구비하는 것을 특징으로 하는 이동 통신 장치.
  12. 제11항에 있어서,
    상기 입력 구조는, 상기 이동 통신 장치를 잡았을 때 잡은 손의 손가락에 의하여 조작될 수 있는 버튼을 구비하는 것을 특징으로 하는 이동 통신 장치.
  13. 제11항에 있어서,
    상기 전극 구조는 전기장 상호 효과(electric field interaction effects)에 의한 입력 동작을 검출하는 것을 특징으로 하는 이동 통신 장치.
  14. 삭제
  15. 제1항에 있어서,
    상기 전극 구조는 수신 전극판들이 전달 전극판 주위에 배치되도록 구성되고, 차폐 전극판은 전달 전극판과 수신 전극판들 사이에 배치되도록 구성되는 것을 특징으로 하는 이동 통신 장치.
  16. 제1항에 있어서,
    전달 전극판 주변의 사각형의 4 코너에 4개의 수신 전극판들이 배치되는 것을 특징으로 하는 이동 통신 장치.
  17. 제1항에 있어서,
    수신 전극판에 의해 검출될 수 있으며, 소정의 신호를 사용자의 잡은 손(seizing hand)으로 커플링(coupling)하기 위한 뒷쪽 영역(rearward area)을 구비하는 것을 특징으로 하는 이동 통신 장치.
  18. 제1항에 있어서,
    피에조 라우드스피커(piezo loudspeaker)와 같은 라우드스피커 장치가 제공되어 입력 동작을 실행하는 동안 음향 피드백(acoustic feedback)을 생성하는 것을 특징으로 하는 이동 통신 장치.
  19. 제1항에 있어서,
    상기 이동 통신 장치는 접촉 피드백(haptic feedback)을 생성하기 위한 장치가 제공되는 것을 특징으로 하는 이동 통신 장치.
  20. 제1항에 있어서,
    상기 이동 통신 장치는 광학적 피드백(optical feedback)을 생성하기 위한 장치가 제공되는 것을 특징으로 하는 이동 통신 장치.
  21. 제1항에 있어서,
    상기 이동 통신 장치는, 조작 손(R)에 의한 입력 동작을 위해 제공되는 가상 입력 평면(E)의 길이 및 폭이 디스플레이 장치의 길이 및 폭보다 크도록 구성된 것을 특징으로 하는 이동 통신 장치.
  22. 제1항에 있어서,
    상기 이동 통신 장치는, 동작 영역의 폭 또는 높이가 디스플레이 장치에 의해 표시되는 그래픽 표면의 폭(B) 또는 높이(H)보다 크도록 구성된 것을 특징으로 하는 이동 통신 장치.
  23. 제1항에 의한 이동 통신 장치의 입력 장치에 있어서,
    전극 구조를 구비하는 박형의 로직 보드 카드 구조를 구비하며,
    상기 전달 전극판은 적어도 3개의 수신 전극판에 의해 둘러 쌓여 있고,
    상기 로직 보드 카드 구조는 전극 장치에 의해 검출되는 접근 효과에 기초한 명령 신호를 생성하도록 배치된 ASIC 스위칭(ASIC-switching)을 더 구비하는 것을 특징으로 하는 입력 장치.
  24. 이동 통신 장치를 사용하는 동안 입력 과정을 실행하기 위한 방법으로서,
    상기 이동 통신 장치는,
    한 손으로 잡을 수 있도록 형성된 하우징과, 상기 하우징에 통합 형성되며 영상 재생 표면(image reproduction surface)을 제공하는 디스플레이 장치와, 입력 모드(input mode)에서 입력 과정(input procedure)의 수행을 보조하기 위한 사용자 인터페이스(user interface)를 제공하도록 상기 디스플레이 장치를 구동하는 제어 장치와, 수동(manual type)에 의한 입력 동작에 의하여 입력 과정을 수행하는 입력 장치(input device)를 구비하고,
    상기 입력 장치는, 이동 통신 장치를 의도하는 대로 조작하는 경우, 디스플레이 장치 앞쪽에 위치한 영역에 입력 영역(input zone)을 제공하고, 사용자가 디스플레이 장치 또는 이동 통신 장치를 손으로 접촉하지 않고 상기 입력 영역 내에서 사용자의 자유로운 손(free hand)으로 하우징에 대해 제어 움직임(control movement)을 수행함으로써 입력 동작이 이루어지도록 형성되고,
    상기 입력 장치는 전달 전극판에 의해 생성되는 저주파 전기장(low frequency electric field)을 검출하도록 구성된 제1, 제2 및 제3 수신 전극판을 포함하는 전극 구조를 구비하고,
    상기 입력 영역 내에서 자유로운 손의 위치와 움직임중 적어도 하나는 상기 적어도 하나의 3개의 수신 전극판으로부터 수신되는 신호들간의 차(difference)를 분석함으로써 검출되는 것을 특징으로 하는 방법.
  25. 삭제
  26. 이동 통신 장치에서 손 제스처에 의해 생성되는 입력 신호의 전기적 신호 처리에 의하여 손-제스처 명령의 입력을 구현하기 위한 방법으로서,
    a) 상기 손-제스처는 검출 시스템에 대향하는 사용자에 의해 수행되고,
    b) 입력 신호는 손 또는 손가락의 공간적 움직임과 연관되는 전달 신호(transfer signal)를 나타내도록 생성 또는 변환되고,
    c) 전달 신호는 그 주파수 대역(waveband)이 음성 인식 시스템으로 접근 가능한(accesible) 소리 신호를 검출할 수 있도록 생성되고,
    d) 손 제스처의 해석은 이동 통신 장치에 통합되거나 접근 가능한 음성 인식 시스템에 의하여, 음성 분석 과정(speech analysis procedure)을 사용하는 전달 신호에 기초하여 이루어지는 것
    을 특징으로 하는 손-제스처 명령의 입력 구현 방법.
  27. 제9항에 있어서,
    상기 선택 명령은 디스플레이 장치에 대한 조작 손의 하나 또는 다수의 손가락의 기울임에 의하여 생성되는 것을 특징으로 하는 이동 통신 장치.
KR1020097022307A 2007-03-26 2008-03-26 이동 통신 장치 및 이를 위한 입력 장치 KR101429494B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102007016408.6 2007-03-26
DE102007016408A DE102007016408A1 (de) 2007-03-26 2007-03-26 Mobiles Kommunikationsgerät und Eingabeeinrichtung hierfür
PCT/EP2008/002384 WO2008116642A2 (de) 2007-03-26 2008-03-26 Mobiles kommunikationsgerät und eingabeeinrichtung hierfür

Publications (2)

Publication Number Publication Date
KR20090130083A KR20090130083A (ko) 2009-12-17
KR101429494B1 true KR101429494B1 (ko) 2014-09-19

Family

ID=39719612

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097022307A KR101429494B1 (ko) 2007-03-26 2008-03-26 이동 통신 장치 및 이를 위한 입력 장치

Country Status (7)

Country Link
US (1) US9141148B2 (ko)
EP (1) EP2130109B1 (ko)
JP (1) JP5095811B2 (ko)
KR (1) KR101429494B1 (ko)
CN (1) CN101772750B (ko)
DE (2) DE102007016408A1 (ko)
WO (1) WO2008116642A2 (ko)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007020873A1 (de) 2007-04-26 2008-10-30 Ident Technology Ag Sensoreinrichtung, sowie Verfahren zur Generierung von hinsichtlich der Position oder Positionsänderung von Gliedmaßen indikativen Signalen
DE102007036636A1 (de) 2007-08-03 2009-02-05 Ident Technology Ag Spielzeug, insbesondere in der Art einer Puppe oder eines Stofftieres
DE102007039163A1 (de) 2007-08-20 2009-02-26 Ident Technology Ag Eingabeeinrichtung, insbesondere Computermaus
DE202007017303U1 (de) * 2007-08-20 2008-04-10 Ident Technology Ag Computermaus
US8545283B2 (en) 2008-02-20 2013-10-01 Ident Technology Ag Interactive doll or stuffed animal
DE112009000684A5 (de) 2008-03-26 2011-05-26 Ident Technology Ag System und Verfahren zur multidimensionalen Gestenauswertung
US8280732B2 (en) 2008-03-27 2012-10-02 Wolfgang Richter System and method for multidimensional gesture analysis
KR101498622B1 (ko) * 2008-06-25 2015-03-04 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
WO2010059216A1 (en) * 2008-11-20 2010-05-27 Cirque Corportion Method and system for measuring position on surface capacitance touch panel using a flying capacitor
EP2389622A1 (en) * 2009-01-26 2011-11-30 Zrro Technologies (2009) Ltd. Device and method for monitoring an object's behavior
WO2010083820A1 (de) * 2009-01-26 2010-07-29 Alexander Gruber Verfahren zur ausführung einer eingabe mittels einer auf einem bildschirm dargestellten, virtuellen tastatur
ES2571133T3 (es) 2009-04-07 2016-05-24 Microchip Tech Germany Gmbh Dispositivo sensor y procedimiento de detección de agarre y proximidad
DE102009020796B3 (de) * 2009-04-30 2010-07-29 Technische Universität Dresden Vorrichtung zur Verarbeitung und Wiedergabe von Signalen in elektronischen Systemen zur elektrotaktilen Stimulation
JP2010262557A (ja) * 2009-05-11 2010-11-18 Sony Corp 情報処理装置および方法
GB0910545D0 (en) 2009-06-18 2009-07-29 Therefore Ltd Picturesafe
FR2950713A1 (fr) * 2009-09-29 2011-04-01 Movea Sa Systeme et procede de reconnaissance de gestes
DE102009052537B4 (de) * 2009-11-11 2011-12-22 Ident Technology Ag Sensorelektronik für eine Mehrzahl von Sensorelementen sowie Verfahren zum Bestimmen einer Position eines Objektes an den Sensorelementen
JP5882232B2 (ja) * 2010-02-10 2016-03-09 マイクロチップ テクノロジー ジャーマニー ゲーエムベーハー 手動入力動作と相関する信号の発生のためのシステムおよび方法
DE102010007455A1 (de) * 2010-02-10 2011-08-11 Ident Technology AG, 82234 System und Verfahren zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Raum
DE102011017384A1 (de) 2010-04-16 2011-12-08 Ident Technology Ag TFT-Display, sowie Verfahren zur Detektion der räumlichen Position von Gliedmaßen in einem dem TFT-Display vorgelagerten räumlichen Bereich
CN102859477B (zh) 2010-04-16 2016-11-16 微晶片科技德国公司 Tft显示器、oled接口及用于在安置于显示器上游的空间区域中检测边沿的空间位置的方法
HK1147905A2 (en) * 2010-06-30 2011-08-19 Chi Ching Lee System and method for virtual touch sensing
US9335181B2 (en) * 2010-11-10 2016-05-10 Qualcomm Incorporated Haptic based personal navigation
US9258123B2 (en) 2010-12-16 2016-02-09 Blackberry Limited Multi-layered color-sensitive passwords
US8745694B2 (en) 2010-12-16 2014-06-03 Research In Motion Limited Adjusting the position of an endpoint reference for increasing security during device log-on
US9135426B2 (en) 2010-12-16 2015-09-15 Blackberry Limited Password entry using moving images
US8931083B2 (en) 2010-12-16 2015-01-06 Blackberry Limited Multi-layer multi-point or randomized passwords
US8863271B2 (en) 2010-12-16 2014-10-14 Blackberry Limited Password entry using 3D image with spatial alignment
US8769641B2 (en) 2010-12-16 2014-07-01 Blackberry Limited Multi-layer multi-point or pathway-based passwords
DE102010054859A1 (de) 2010-12-17 2012-06-21 Rohde & Schwarz Gmbh & Co. Kg System mit Gestenerkennungseinheit
US8543833B2 (en) * 2010-12-29 2013-09-24 Microsoft Corporation User identification with biokinematic input
JP5445599B2 (ja) 2011-03-23 2014-03-19 株式会社デンソー 車両用装置、および機器連携システム
US20120293404A1 (en) * 2011-05-19 2012-11-22 Panasonic Corporation Low Cost Embedded Touchless Gesture Sensor
US9223948B2 (en) 2011-11-01 2015-12-29 Blackberry Limited Combined passcode and activity launch modifier
CN103197805A (zh) * 2012-01-10 2013-07-10 深圳泰山在线科技有限公司 实现虚拟屏的系统和方法
KR101253451B1 (ko) * 2012-02-29 2013-04-11 주식회사 팬택 음원의 위치를 감지할 수 있는 모바일 디바이스 및 그 제어 방법
CN102749995B (zh) * 2012-06-19 2015-11-04 上海华勤通讯技术有限公司 移动终端及移动终端挥控方法
CN102880416B (zh) * 2012-08-31 2015-02-11 广东欧珀移动通信有限公司 一种移动设备在rcp通信过程中的遥控解锁方法
CN103116432B (zh) * 2013-03-04 2016-08-31 惠州Tcl移动通信有限公司 一种触摸屏的三维操作控制方法、装置及其移动终端
US20140375539A1 (en) * 2013-06-19 2014-12-25 Thaddeus Gabara Method and Apparatus for a Virtual Keyboard Plane
US9319665B2 (en) 2013-06-19 2016-04-19 TrackThings LLC Method and apparatus for a self-focusing camera and eyeglass system
US9736461B2 (en) 2013-06-19 2017-08-15 TrackThings LLC Method and apparatus for an attachable unit for a portable wireless system
WO2015003962A1 (en) * 2013-07-11 2015-01-15 Koninklijke Philips N.V. Capacitive powering system with increased efficiency
ITTO20130659A1 (it) * 2013-08-01 2015-02-02 St Microelectronics Srl Procedimento, apparecchiatura e dispositivo per il riconoscimento di gesti, prodotto informatico relativo
ITTO20130657A1 (it) 2013-08-01 2015-02-02 St Microelectronics Srl Procedimento, apparecchiatura e dispositivo per il riconoscimento di gesti, prodotto informatico relativo
US9261963B2 (en) 2013-08-22 2016-02-16 Qualcomm Incorporated Feedback for grounding independent haptic electrovibration
JP6174435B2 (ja) 2013-09-25 2017-08-02 富士通コンポーネント株式会社 コンバイナ及び操作検出装置
DE102013019335A1 (de) * 2013-11-20 2015-05-21 Expresso Deutschland Gmbh Von einem Bediener steuerbares Flurförderzeug
KR101565047B1 (ko) * 2014-08-12 2015-11-02 현대자동차주식회사 스티어링 휠 및 악셀 페달 통합 구조를 갖는 컨트롤 보드
JP6443149B2 (ja) * 2015-03-16 2018-12-26 コニカミノルタ株式会社 画像処理装置
KR20160133306A (ko) * 2015-05-12 2016-11-22 삼성전자주식회사 웨어러블 디바이스 및 웨어러블 디바이스의 피드백 제공 방법
TWM515150U (zh) * 2015-07-22 2016-01-01 聯陽半導體股份有限公司 觸控電極層
US10444892B2 (en) * 2015-10-07 2019-10-15 Microchip Technology Incorporated Capacitance measurement device with reduced noise
CN107274679B (zh) * 2017-06-06 2019-08-30 东莞理工学院 车辆识别方法、装置、设备及计算机可读存储介质
CN108197596B (zh) * 2018-01-24 2021-04-06 京东方科技集团股份有限公司 一种手势识别方法和装置
US11353967B2 (en) 2018-05-31 2022-06-07 Arkh Litho Holdings, LLC Interacting with a virtual environment using a pointing controller
JP7171421B2 (ja) * 2018-12-25 2022-11-15 エルジー ディスプレイ カンパニー リミテッド 表示装置、インターフェースユニット及び表示システム
CN109960404B (zh) * 2019-02-15 2020-12-18 联想(北京)有限公司 一种数据处理方法及装置
EP3839700A1 (en) * 2019-12-18 2021-06-23 Modelo Continente Hipermercados, S.A. Gesture recognition system for kitchen machines
US11755111B2 (en) 2020-03-16 2023-09-12 Arkh, Inc. Spatially aware computing hub and environment
USD1009861S1 (en) 2020-09-25 2024-01-02 Arkh, Inc. Smart ring
US11526686B1 (en) 2022-03-09 2022-12-13 Jt International Sa Programmable customization of a user interface of an electronic equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006010489A (ja) * 2004-06-25 2006-01-12 Matsushita Electric Ind Co Ltd 情報装置、情報入力方法およびプログラム
US20060161871A1 (en) * 2004-07-30 2006-07-20 Apple Computer, Inc. Proximity detector in handheld device

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4334280A (en) * 1980-06-09 1982-06-08 Texas Instruments Incorporated System and method for providing an audible sound and a tactile feedback in an electronic data processing system
EP0478614B1 (en) * 1989-06-21 1997-04-09 TAIT, David Adams Gilmour Finger operable control devices
JPH08171449A (ja) * 1994-12-20 1996-07-02 Hosiden Corp 感触式座標入力装置
GB2308641A (en) * 1995-12-28 1997-07-02 Thomson Multimedia Sa Manually-operated data input device eg for computers or video games
US6859141B1 (en) * 1999-12-08 2005-02-22 Nortel Networks Limited Electric field proximity detector for floating and grounded targets
US6720863B2 (en) * 2001-08-16 2004-04-13 Wildseed Ltd. Mobile electronic communication device with lights to indicate received messages
US6605789B2 (en) * 2001-12-18 2003-08-12 Eturbotouch Technology Inc. Polarizing device integrated with touch sensor
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7475015B2 (en) * 2003-09-05 2009-01-06 International Business Machines Corporation Semantic language modeling and confidence measurement
US7145552B2 (en) * 2003-10-22 2006-12-05 Solectron Corporation Electric field proximity keyboards and detection systems
US20050110771A1 (en) * 2003-11-21 2005-05-26 Hall Bernard J. Three dimensional position sensing apparatus and method for a display device
DE10361763A1 (de) * 2003-12-29 2005-07-28 Robert Bosch Gmbh Ultraschallströmungssensor mit verschränkten Sende- und Empfangselementen
WO2006054207A1 (en) * 2004-11-16 2006-05-26 Koninklijke Philips Electronics N.V. Touchless manipulation of images for regional enhancement
WO2006107245A1 (en) 2005-04-05 2006-10-12 Lk Innovatronic Method to control a display
US20060267966A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Hover widgets: using the tracking state to extend capabilities of pen-operated devices
JP4720568B2 (ja) * 2006-03-24 2011-07-13 ソニー株式会社 ユーザ入力装置及びユーザ入力方法
US7696932B2 (en) * 2006-04-03 2010-04-13 Ethertronics Antenna configured for low frequency applications
US8316324B2 (en) * 2006-09-05 2012-11-20 Navisense Method and apparatus for touchless control of a device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006010489A (ja) * 2004-06-25 2006-01-12 Matsushita Electric Ind Co Ltd 情報装置、情報入力方法およびプログラム
US20060161871A1 (en) * 2004-07-30 2006-07-20 Apple Computer, Inc. Proximity detector in handheld device

Also Published As

Publication number Publication date
WO2008116642A3 (de) 2009-08-27
EP2130109A2 (de) 2009-12-09
DE102007016408A1 (de) 2008-10-02
WO2008116642A9 (de) 2009-06-25
KR20090130083A (ko) 2009-12-17
WO2008116642A2 (de) 2008-10-02
US9141148B2 (en) 2015-09-22
US20100102941A1 (en) 2010-04-29
JP5095811B2 (ja) 2012-12-12
CN101772750B (zh) 2016-09-14
DE112008000771A5 (de) 2010-04-08
JP2010522492A (ja) 2010-07-01
CN101772750A (zh) 2010-07-07
EP2130109B1 (de) 2018-12-05

Similar Documents

Publication Publication Date Title
KR101429494B1 (ko) 이동 통신 장치 및 이를 위한 입력 장치
EP2430512B1 (en) System and method for contactless detection and recognition of gestures in a three-dimensional space
JP3987182B2 (ja) 情報表示装置および操作入力装置
Kratz et al. HoverFlow: expanding the design space of around-device interaction
KR101460866B1 (ko) 차량에서 사용자 인터페이스를 제공하는 방법 및 장치
KR101136153B1 (ko) 지문 인식 또는 멀티 터치가 가능한 센서 그리드 방식의 투명 패널 사용자 입력 장치, 사용자 지문 인식 방법, 및 사용자 터치 인식 방법
US8830189B2 (en) Device and method for monitoring the object&#39;s behavior
Kim et al. A new wearable input device: SCURRY
US20030048260A1 (en) System and method for selecting actions based on the identification of user&#39;s fingers
EP2426598A2 (en) Apparatus and method for user intention inference using multimodal information
US20110210931A1 (en) Finger-worn device and interaction methods and communication methods
EP2338154A1 (en) Finger-worn device and interaction methods and communication methods
JP5485154B2 (ja) 入力装置、特にコンピュータ用マウス
WO2007144014A1 (en) Mobile device with virtual keypad
JP2006285370A (ja) ハンドパターンスイッチ装置及びハンドパターン操作方法
US10078374B2 (en) Method and system enabling control of different digital devices using gesture or motion control
KR20020072081A (ko) 손가락의 움직임에 의한 입력장치 및 그 방법
JP2006502484A (ja) 急速入力装置
KR20040000845A (ko) 손가락이동방향 및 거리감지에 의한 비접촉 제어기기콘트롤 방법 및 장치
KR101985620B1 (ko) 손동작 인식 기능이 구비된 프리젠터 장치
JPH05241496A (ja) 手話翻訳装置
KR20110006509A (ko) 음성을 이용한 화면의 디스플레이 상태 제어장치 및 그 제어방법
KR200290460Y1 (ko) 손가락이동방향 및 거리감지에 의한 비접촉 제어기기콘트롤 장치
KR101805111B1 (ko) 그립형 입력인터페이스 장치 및 그 방법
Li et al. An acoustic interface for triggering actions in virtual environments

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180801

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190801

Year of fee payment: 6