KR20010075474A - 스캐닝 센서를 사용한 입력 디바이스 - Google Patents

스캐닝 센서를 사용한 입력 디바이스 Download PDF

Info

Publication number
KR20010075474A
KR20010075474A KR1020017004048A KR20017004048A KR20010075474A KR 20010075474 A KR20010075474 A KR 20010075474A KR 1020017004048 A KR1020017004048 A KR 1020017004048A KR 20017004048 A KR20017004048 A KR 20017004048A KR 20010075474 A KR20010075474 A KR 20010075474A
Authority
KR
South Korea
Prior art keywords
image
user
movement
computer
respect
Prior art date
Application number
KR1020017004048A
Other languages
English (en)
Other versions
KR100896745B1 (ko
Inventor
던톤랜디알.
찰즈워스토마스엠.
리차드손존더블유.
실버스터케란에스.
시모다메리온에이치.
Original Assignee
피터 엔. 데트킨
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 피터 엔. 데트킨, 인텔 코오퍼레이션 filed Critical 피터 엔. 데트킨
Publication of KR20010075474A publication Critical patent/KR20010075474A/ko
Application granted granted Critical
Publication of KR100896745B1 publication Critical patent/KR100896745B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0331—Finger worn pointing device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 디바이스(10)는 입력 디바이스의 이미지(34a) 및 그들 이미지와 사용자의 상호 작용을 탐지하는 스캐닝 센서(14, 16, 22)를 사용하여 입력을 수신한다. 예를 들어, 마우스의 이미지(34b)가 영사될 수 있고 그 이미지와 사용자의 상호 작용은 디지털 비디오 카메라(14, 16, 22)를 사용하여 스캐닝될 수 있다. 그 후 이들 사용자의 움직임 이미지는 포인터 위치 명령 신호를 제공하기 위해서, 예를 들어, 사용자의 이동 방향, 길이 및 속도를 결정하도록 분석될 수 있다. 마찬가지로 가상 키보드 이미지(34a)에 관한 사용자의 움직임이 분석되어 작동된 가상 키에 응답하는 키 작동 신호로 변환될 수 있다.

Description

스캐닝 센서를 사용한 입력 디바이스{INPUT DEVICE USING SCANNING SENSORS}
디스플레이상의 포인터 또는 커서의 위치를 제어하기 위해 다양한 포인팅 디바이스가 컴퓨터 시스템에서 사용되어 왔다. 포인터 또는 커서는 사용자 인터페이스상에 실체적 묘사의 형식으로 제공되는 특정 옵션을 선택하도록 스크린의 전반에 걸쳐 이동할 수 있는 이미지이다. 이러한 방식으로, 사용자는 사용자 인터페이스를 통해서 제공되는 특정 태스크 및 액티비티에 포커스를 맞추도록 비디오 디스플레이와 상호 작용할 수 있다.
알려진 포인팅 디바이스는 마우스, 트랙 볼 및 포인팅 스틱을 포함한다. 일반적으로 모든 이들 디바이스는 고장나기 쉬운 전자기계적 인터페이스를 포함한다. 인터페이스가 고장날 때, 그것은 잘못된 신호를 초래하여 포인팅 디바이스의 움직임이 디스플레이의 포인터 위치에 잘못 반영되게 할 수 있다.
또 다른 주지의 포인팅 디바이스인 터치 패드 포인팅 디바이스는 사용자가 접촉 표면을 터치하게 한다. 접촉 표면상에서 사용자 손가락의 움직임이 컴퓨터 디스플레이상에서 포인터의 상응 움직임으로서 트래킹된다. 보통, 터치 패드는 손가락의 위치 및 움직임을 탐지하여 그 움직임을 위치 제어 신호로 변환하는 용량성 센서를 갖는다.
터치 패드 포인팅 디바이스는 먼지 또는 습기에 의해 더러워지게 되고, 상기한 바와 같이 잘못된 신호의 결과를 초래한다. 더하여, 터치 패드 디바이스는 제한된 정도의 움직임을 제공하고, 포인팅 디바이스를 통하여 이용 가능한 제한된 움직임을 사용해서 포인터를 제어하는 것을 학습하기 어렵게 한다.
많은 컴퓨터 시스템은 텍스트 정보를 컴퓨터에 입력하기 위해서 키보드를 사용한다. 일반적으로 키보드는 케이블에 의해서 컴퓨터에 접속된다. 포인팅 디바이스처럼, 키보드는 고장나기 쉬운 전자기계적 인터페이스를 포함한다. 이들 고장은 특정 입력을 시동시키는 특정 키의 불능을 초래할 수 있다. 여하튼, 키보드에 제공되는 입력은 디스플레이 스크린상에 나타나는 텍스트에 잘못 반영될 수 있다.
따라서, 덜 고장날 수 있는 방식으로 사용자가 정보를 입력하게 하는 향상된 입력 디바이스에 대한 필요성이 있다.
컴퓨터 시스템을 포함하는 많은 전자 디바이스는 키보드와 같이 비교적 부피가 큰 입력 디바이스를 포함한다. 예를 들어, 랩탑 또는 노트북 컴퓨터와 같은 많은 휴대용 컴퓨터에서, 폴딩 하우징이 사용되는데 본질적으로 디스플레이는 전체 하우징의 한 부분이고 키보드는 그 반대 부분이다. 따라서, 디바이스의 전체 부피의 상당한 부분을 키보드가 차지한다. 마찬가지로, 어떤 퍼스널 디지털 어시스턴트(PDA) 또는 손바닥-크기의 컴퓨터에서는, 키보드 또는 키패드 입력 디바이스가 디바이스의 전체 부피의 상당한 부분을 차지한다.
더 작은 컴퓨팅 디바이스가 요구되고 있다. 랩탑 또는 노트북 컴퓨터와 같은 휴대용 컴퓨터는 점진적으로 그 크기가 작아지고 있다. 마찬가지로 PDA-타입 또는 손바닥-크기의 컴퓨터 시스템에 관한 관심이 증가하고 있다.
따라서, 컴퓨터 시스템을 포함한 전자 디바이스의 크기를 줄이는 새로운 방법이 계속적으로 요구되고 있다.
(개요)
일 실시예에 따라서, 데이터를 전자 디바이스에 입력하는 방법은 이미지를 표면상에 영사하는 것을 포함한다. 사용자의 움직임은 영사된 이미지에 관하여 탐지된다.
본 발명은 일반적으로 컴퓨터 시스템을 포함한 전자 디바이스용 입력 디바이스에 관한 것이고 특히 비디오 제어 입력을 사용하는 그러한 디바이스에 관한 것이다.
도 1은 본 발명에 따른 일 실시예의 측면 입면도,
도 2는 도 1에 도시된 실시예의 정면 입면도,
도 3은 도 1에 도시된 디바이스에 의해 영사될 수 있는 이미지의 평면도,
도 4는 도 1에 도시된 디바이스를 구현하는 본 발명에 따른 일 실시예의 블록 선도,
도 5는 본 발명에 따른 일 실시예에서 도 1에 도시된 디바이스의 특징적 기능을 제공할 수 있는 디바이스의 형성 프로세스의 흐름 선도,
도 6은 도 1에 도시된 실시예의 일 소프트웨어 구현에 대한 흐름 선도,
도 7 및 도 8은 본 발명에 따른 일 실시예에서 교정 소프트웨어에 대한 흐름선도.
도 1에 도시된 컴퓨터 시스템(10)처럼 구현될 수 있는 전자 디바이스는 디스플레이(18)를 포함하는 하우징(12)을 포함할 수 있다. 종래 컴퓨터 시스템과는 다르게, 시스템(10)은 키보드 또는 포인팅 디바이스를 갖지 않을 수 있다. 스캐닝 센서(14 및 16)는 하우징(12) 전방 영역을 스캐닝할 수 있도록 뻗은 암(26 및 30)상에 제공될 수 있다. 스캐닝 센서(14 및 16)는, 예를 들어, 암(26 및 30)에 포함된 케이블을 통해서 하우징(12)에 전해지는 스트리밍 비디오를 산출하는 디지털 카메라일 수 있다. 도 2에 도시된 바와 같이, 부가적 스캐닝 센서(22)가 디스플레이 (18) 아래에 하우징(12)의 정면상에 제공될 수 있다.
또한, 하우징(12)의 전방에 위치한, 탁상과 같은 표면상에 이미지를 영사하는 영사기(20)가 하우징(12)상에 위치한다. 영사기(20)는 예를 들어, 텍사스 인스트루먼트 인코포레이티드로부터의 디지털 라이트 프로세싱(DLP) 라이트 엔진과 같은 라이트 엔진 영사기, 레이저 영사기, 또는 액정 표시 장치(LCD) 영사기일 수 있다. 이미지가 영사되는 영역은 스캐닝 센서(14, 16 및 22)에 의해서 스캐닝되는 동일 영역일 수 있다. 각각의 스캐너는 더 나은 3차원 이미징을 위해 다른 스캐너 각각의 교축상에 정렬될 수 있다. 하우징(12)은 스탠드(24)에 의해 비스듬하게 지지될 수 있다.
본 발명에 따른 일 실시예에서, 도 3에 도시된 가상 키보드(34a) 및 마우스 (34b)와 같은 하나 이상의 입력 디바이스가 하우징(12) 전방의 표면상에 영사될 수있다. 그러나, 본 발명은 이러한 예시된 실시예에 한정되지 않는다. 사용자가 실체적 입력 디바이스를 사용할 때처럼 사용자의 손을 이미지 위로 위치시킬 때, 스캐닝 센서는 사용자 손의 움직임을 캡쳐링하여 이 움직임을 입력 명령 신호로 변환할 수 있다. 예를 들어, 마우스 이미지(34b)가 영사된 표면 위로의 사용자 손의 움직임은 디스플레이(18)상에서 포인터의 위치를 이동시키기 위한 포인터 위치 신호로 변환될 수 있다. 마찬가지로, 키보드 이미지(34a)가 영사된 표면 위로의 사용자 손의 타이핑 움직임은 상응 텍스트 입력이 엔터링되어 디스플레이(18)상에 나타나게 할 수 있다. 따라서, 전자기계적 입력 디바이스가 제거될 수 있다.
대안으로, 스캐닝 센서는 사용자 손으로부터 반사되어 영사된 광을 감지할 수 있다. 스캐닝 센서는 또한 반사되어 영사된 광 및 사용자 손의 조합을 탐지할 수 있다. 또한, 영사된 이미지는 탐지된 사용자 손의 움직임을 "따라" 움직일 수 있다.
이제 도 4를 보면, 본 발명에 따른 일 실시예를 구현하는 컴퓨터 시스템(35)의 예는 호스트 버스(38)에 연결된 프로세서(36)를 포함할 수 있다. 예시된 컴퓨터 시스템(35)은 인텔 코포레이션으로부터 이용 가능한 펜티엄Ⅱ 프로세서를 갖는 440BX 칩 셋을 포함한다. 호스트 버스(38)는 호스트 브리지(40)에 연결되고, 호스트 브리지(40)는 차례로 주메모리(42)에 연결된다. 또한 호스트 브리지(40)는 그래픽 디바이스(50)와 연결되는 가속 그래픽 포트(AGP) 버스(48)(캘리포니아, 산타 클라라의 인텔 코포레이션에 의해 1996년 7월 31일에 발행된, 가속 그래픽스 포트 인터페이스 설명서, 리비젼 1.0 참조)와 연결된다. 그래픽스 디바이스(50)는 스캐닝센서(14, 16 및 22)로부터 입력을 수신하여 그래픽스 디바이스(50)에 또한 연결된 디스플레이(18)상에 결과적 입력을 디스플레이할 수 있다. 그래픽스 디바이스(50)는 또한 비디오 기본 입출력 시스템(BIOS)(54) 및 그래픽스 로컬 메모리(56)를 가질 수 있다.
또한 호스트 브리지(40)는 주변 디바이스를 수용하기 위한 복수의 슬롯(46)을 포함할 수 있는 버스(44)와 연결된다. 버스(44)는 또한 차례로 부가 버스(70)에 연결된 버스-버스 브리지(58)에 연결된다. 버스(70)는 부가적 주변 디바이스를 수용하기 위한 복수의 슬롯(72) 및 시스템 BIOS(74)를 포함한다. 브리지(58)는 또한 복수의 포트(60 및 66)에 연결될 수 있다. 포트(60)는, 예를 들어, 나타내어진 바와 같이 하나 이상의 프로그램(64, 106 및 122)을 저장하는 하드 디스크 드라이브(62)에 연결될 수 있다. 포트(66)는 영사기(20)에 연결될 수 있다.
컴퓨터 시스템의 일 예가 도 4에 도시되었지만, 여기서 설명된 목적을 성취하기 위해서 많은 다른 시스템이 이용될 수 있음을 당업자는 인식할 것이다. 따라서 예시된 시스템은 예일뿐이라는 것을 인식하여야 한다.
이제 도 5를 보면, 이전에 설명된 기능을 갖는 디바이스를 제공하기 위한 방법의 일 실시예가 본 발명에 따라서 예시된다. 블록(76)에 나타내어진 바와 같이, 처음에 비디오 기능이 시스템에 제공된다. 예를 들어, 복수의 스트리밍 비디오 입력을 프로세싱하는 기능이 컴퓨터 시스템에 제공될 수 있다. 또한 복수의 디지털 카메라가 시스템에 설비될 수 있다. 블록(78)에 나타내어진 바와 같이, 영사기가 입력 디바이스의 이미지를 표면상에 영사하게 할 수 있다. 또한 사용자 손의 결과적 움직임의 비디오 분석을 제공하는 기능이, 예를 들어, 블록(80)에 나타내어진 바와 같이 제공될 수 있다. 일 실시예에 따라서, 비디오 분석은 사용자 손의 형상 및 그 상응 움직임을 인식하는 통상적인 패턴 인식 소프트웨어일 수 있다. 다음으로, 영사된 이미지와 연관된 사용자의 움직임을 포인터 위치 제어 신호로 변환하는 기능이 블록(82)에 나타내어진 바와 같이 제공될 수 있다. 마지막으로, 블록(84)에 나타내어진 바와 같이, 사용자의 움직임을 텍스트 입력으로 변환하는 기능이 제공될 수 있다. 더하여, 키 스트로크가 인식될 때 키 클릭킹 소리와 같은 청취 가능한 확인음이 산출될 수 있다.
이제 도 6을 보면, 본 발명에 따른 일 실시예에서 소프트웨어(64)가 하드 디스크 드라이브(62)에 저장될 수 있다. 처음에 소프트웨어는 하나 이상의 입력 디바이스의 이미지가 표면상에 영사되게 한다. 예를 들어, 블록(86)에 나타내어진 바와 같이, 키보드 및 마우스의 이미지가 영사될 수 있다. 그 후 스트리밍 비디오가 수신될 수 있고(블록(87)), 블록(88)에 나타내어진 바와 같이 특정 비디오 프레임이 선택될 수 있다. 프레임은, 예를 들어, 선택 기술을 사용하여 정기적 간격으로 또는 무작위로 선택될 수 있다.
더하여, 화면에 중요한 변화가 있는 때를 판정하기 위해서 화면 변화 탐지기가 사용될 수 있다. 중요한 화면 변화가 일어날 때, 후속 분석을 위해 프레임이 캡쳐링될 수 있다. 화면 변화 탐지기는 하나 이상의 카메라에서 이미징 어레이를 형성하는 픽셀에 의해서 결정되는 강도 신호의 패턴 분석을 포함할 수 있는 기술에서 알려져 있다. 예를 들어, 다양한 픽셀 센서가 출력 신호를 제공할 수 있다. 출력신호가 특정 강도 레벨 이상이면, 그것은 흰 색으로 생각될 수 있고, 특정 레벨 이하면 검은 색으로 생각될 수 있다. 검은색 대 흰 색 출력 신호의 수에서의 중요한 변화는 스트리밍 비디오로부터 하나의 프레임 선택을 개시하는 화면 변화로서 인식될 수 있다.
이 분석에 대해 단일 프레임의 사용에 관해서 본 발명이 설명되었지만, 연속하는 프레임을 연속적으로 또는 계속적으로 분석함으로써 계속적으로 분석될 수 있다. 움직임이 탐지된 것을 보증하도록 오버샘플링이 사용될 수 있다.
도 6에 예시된 실시예에서, 블록(88)에 나타내어진 바와 같이, 프레임이 선택된 후에, 블록(92)에 나타내어진 바와 같이, 디지털 비디오 데이터 스트림에 의해 특정 이미지 패턴이 표현되는지를 판정하기 위해서 통상적인 패턴 인식 소프트웨어가 이용될 수 있다. 이 소프트웨어는 가상 키보드상의 사용자 손가락 부분 또는 가상 마우스 상부의 사용자 손 부분과 같은 특정 사전프로그래밍된 이미지를 인식할 수 있다. 이 소프트웨어는 그것을 이전에 기록된 묘사와 비교함으로써 이미지를 인식할 수 있거나 또는 그 소프트웨어는 학습 소프트웨어를 사용하여 컴퓨터 소유자 또는 사용자의 협력을 통하여 특정 이미지를 학습하도록 교육받을 수 있다.
판정블록(94)에서, 소프트웨어는 선택된 프레임이 특정 입력 명령에 상응하는 소정 패턴과 매칭하는 패턴을 포함하는지를 대조하여 판정한다. 만약 매칭하지 않으면, 흐름은 되돌아 가서 다른 프레임을 선택한다.
패턴 매치가 탐지된다면, 블록(96)에 나타내어진 바와 같이 처음의 프레임과 후속 프레임이 비교된다. 다음으로, 비교가 위치에서의 변화를 나타내는지를 검사하여 판정한다(판정블록(98)). 만약 위치 변화가 있다면, 이미지의 이동 방향 및 속도가 결정될 수 있다(블록(100)). 이동 방향 및/또는 속도는 상응 명령 입력을 제공하도록 사용될 수 있다. 예를 들어, 마우스 이미지와 연관된 사용자 손의 움직임과 관련해서, 이동 속도 및 방향은 디스플레이(18)상의 포인터의 상응 이동에 반영될 수 있다. 예를 들어, "온 스크린" 포인터의 3차원 위치를 계산하기 위해서 상관 계수가 사용될 수 있다(블록(102)). 사용자 손의 이동 속도 또는 방향에 따라 디스플레이(18)상의 포인터를 이동시키기 위해서(블록(104)) 사용자 입력은 그래픽스 디바이스(50)로의 신호에 의해 표현될 수 있다. 다시 비교를 시작하기 위해서 흐름은 되돌아 가서 새 프레임을 선택한다(블록(88)).
대안으로, 대상물이 쉽게 인식될 수 있도록 뚜렷한 대상물이 사용자와 연관될 수 있다. 예를 들어, 쉽게 탐지될 수 있는 뚜렷한 색상의 링이 사용될 수 있다. 링의 움직임은 포인터 위치 명령으로서 탐지될 수 있다.
시스템이 포인터 위치 명령에 대해 포커스 포인트를 교정하게 하는 소프트웨어(106)가 도 7에 의해서 예시된다. 원하는 입력을 인식하는 시스템을 프로그래밍하기 위하여 교정 기간동안 소프트웨어(106)가 이용될 수 있다. 도 7을 참조하면, 블록(108)에 나타내어진 바와 같이 처음에 스트리밍 비디오가 수신된다. 블록(110)에 예시된 바와 같이, 그 스트리밍 비디오의 프레임이 캡쳐링된다.
다음으로, 블록(112)에 도시된 바와 같이 정해진 방향으로의 이동에 대해서 시스템이 프롬프팅된다. 예를 들어, 온 스크린 디스플레이가 학습 프로세스를 통해서 사용자를 안내할 수 있다. 예를 들어, 온 스크린 디스플레이는 처음에 사용자에게 좌측 커서 위치 명령을 나타내도록 지시할 수 있다. 그 후 시퀀스는 커서 명령 방향의 각각을 통해서 사이클링한다. 어떤 커서 명령이 프로그래밍되고 있는지를 시스템이 안 후에, 블록(114)에 나타내어진 바와 같이 비디오의 새 프레임을 캡쳐링할 수 있다. 새 프레임과 이전 프레임은 주어진 커서 명령이 되는 차이를 결정하기 위해 비교된다(블록(116)). 판정블록(118)에서 포커스 포인트가 식별되었는지를 검사하여 판정한다. 즉, 시스템은 그 후 그들 차이를 특정 포인터 위치 명령으로서 인식할 수 있도록 두 프레임을 충분히 구별할 수 있어야만 한다. 만약 식별되지 않는다면 프로세스는 다시 시도된다. 식별된다면, 블록(120)에 나타내어진 바와 같이, 시스템은 식별된 포커스 포인트의 포커스 포인트 데이터를 저장한다.
도 8을 참조하면, 소프트웨어(122)는 포인터 위치 명령의 방향 및 속도를 교정할 수 있다. 소프트웨어(106)에 의해 결정된 포커스 포인트 데이터가 블록(123)에서 로딩된다. 블록(124)에 나타내어진 바와 같이 스트리밍 비디오가 수신되고 블록(126)에 도시된 바와 같이 프레임이 캡쳐링된다. 블록(128)에 나타내어진 바와 같이 사용자의 손가락과 같은 포커스 포인트가 식별되고 이동 프롬프트가 제공된다(블록(130)). 프롬프트는 사용자가 원하는 이동으로서 사용하기를 원하는 것을 구현하도록 사용자에게 요청하는 스크린상의 메시지 블록일 수 있다. 새(후속) 프레임이 블록(132)에서 캡쳐링되고 블록(134)에 의해서 예시된 바와 같이 블록(126)에서 캡쳐링된 프레임에 비교된다.
포커스 포인트 이동이 식별되고(블록(136)) 블록(138)에 나타내어진 바와 같이 이동 속도 및 방향이 계산된다. 스크린 포인터의 상응 이동 속도 및 방향을 계산하기 위해서 x, y 및 z 방향에 대한 상관 계수가 사용된다(블록(140)). 그 후 블록(142)에 나타내어진 바와 같이 스크린 포인터가 이동된다. 그 후 블록(144)에 나타내어진 바와 같이 사용자는, 예를 들어, 프롬프트 스크린에 의해서 제공된 입력을 통해서, 사용자 손가락의 주어진 움직임에 대해서 포인터의 이동량을 조절할 수 있다. 더하여, 사용자는 특정 포인터 위치 명령으로서 수신될 수 있는 대안의 입력을 제공할 수 있다. 그 후 판정블록(146)에서 사용자가 완료되었는지를 나타내도록 사용자는 프롬프팅된다. 완료되지 않았다면, 흐름은 사이클링하고 새로운 명령이 상기한 바와 같이 학습될 수 있다. 완료되었다면 흐름은 종료되고 정보는 저장된다(블록(148)).
사용될 수 있는 카메라의 수는 상당히 변화될 수 있다. 더 많은 카메라는 더 나은 3차원 이미징을 초래할 수 있다. 이것은 3차원에서의 움직임이 입력 명령 신호로서 인식되게 할 수 있다. 더하여, 카메라 리던던시는 제거된 에러에 사용될 수 있다.
본 발명은 컴퓨터상에 탑재된 개별적인 카메라에 관해서 예시되었지만, 카메라는 컴퓨터 시스템 자체의 하우징내로 통합될 수 있다. 더하여, 본 발명은 가시 스펙트럼에서의 광을 감지하는 카메라에 관련해서 예시되었지만, 적외선 탐지 카메라 또한 사용될 수 있다.
입력 정보를 제어하는 스트리밍 비디오를 사용함으로써, 몇 실시예에서 전자기계적 접속(에러 또는 고장나기 쉬울 수 있음)이 제거될 수 있다. 더하여, 예를 들어, 터치 패드 포인팅 디바이스에 비교될 때, 먼지 또는 습기에 기인한 잘못된작동의 가능성이 제거될 수 있기 때문에, 몇 실시예에서 입력의 정확성이 향상될 수 있다.
다른 입력 디바이스가 동일 방식으로 조작될 수 있다. 예를 들어, 전화기가 전화기의 영사된 이미지로 대체될 수 있다. 핸드셋을 집어들 때 스캐닝 센서 시스템에 의해서 인식되는 바와 같이 컴퓨터 마이크로폰이 시동될 수 있다. 키보드 영사된 이미지의 작동과 관련해서 상기된 동일 방식으로 다이얼링이 조작될 수 있다.
영사된 이미지는 통상의 입력 디바이스 위에 위치한 사용자의 손으로써 사용자가 알 수 있는 입력 디바이스의 부분에 상응하도록 변할 수 있다. 이 변화된 이미지는 사용자의 손이 영사된 이미지를 수신하는 표면 위의 위치에 있는 것으로서 탐지될 때 산출될 수 있다. 또한, 입력 디바이스 이미지는 그 이미지와 사용자의 상호 작용을 반영하도록 그 자체로 수정될 수 있다. 예를 들어, 손가락 움직임이 키 누름에 상응할 때, 영사된 이미지는 가상의 키가 움직인 것을 시사하도록 변화될 수 있다.
본 발명이 제한된 수의 실시예에 관하여 설명되었지만, 그로부터 당업자는 많은 변형 및 수정을 인식할 것이다. 첨부된 청구항은 본 발명의 취지 및 범위에 속하는 그러한 모든 변형 및 수정을 포함하는 것으로 의도된다.

Claims (20)

  1. 데이터를 전자 디바이스에 입력하는 방법에 있어서,
    이미지를 표면상에 영사하는 단계; 및
    상기 영사된 이미지에 관한 사용자의 움직임을 탐지하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서, 영사된 이미지와 연관된 사용자의 디지털 비디오 이미지를 캡쳐링하고 상기 이미지의 표현을 전자 디바이스에 입력하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  3. 제 2 항에 있어서, 패턴 인식 소프트웨어를 사용하는 것을 포함한 상기 디지털 비디오 이미지를 분석하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  4. 제 3 항에 있어서, 상기 디지털 비디오 이미지에서 묘사된 대상물의 이동 방향을 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  5. 제 1 항에 있어서, 이미지를 영사하는 단계는 표면상에 마우스의 이미지를 영사하고 상기 마우스 이미지에 관한 사용자의 움직임을 탐지하는 단계를 포함하는 것을 특징으로 하는 방법.
  6. 제 1 항에 있어서, 이미지를 영사하는 단계는 키보드의 이미지를 영사하고 상기 키보드 이미지에 관한 사용자의 움직임을 탐지하는 단계를 포함하는 것을 특징으로 하는 방법.
  7. 제 1 항에 있어서, 이미지를 영사하는 단계는 입력 디바이스의 이미지를 영사하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 컴퓨터가 이미지를 표면상에 영사하고;
    상기 이미지에 관한 사용자의 움직임을 탐지하게 하는 명령어를 저장하는 매체를 포함하는 것을 특징으로 하는 장치.
  9. 제 8 항에 있어서, 컴퓨터가 패턴 인식 소프트웨어를 사용하여 디지털 비디오 스트림을 분석하게 하는 명령어를 더 포함하는 것을 특징으로 하는 장치.
  10. 제 9 항에 있어서, 컴퓨터가 상기 디지털 비디오 스트림에서 묘사된 대상물의 이동 방향을 결정하게 하는 명령어를 더 포함하는 것을 특징으로 하는 장치.
  11. 제 8 항에 있어서, 컴퓨터가 마우스의 이미지를 표면상에 영사하고 상기 마우스 이미지에 관한 사용자의 움직임을 탐지하게 하는 명령어를 포함하는 것을 특징으로 하는 장치.
  12. 제 8 항에 있어서, 컴퓨터가 키보드의 이미지를 영사하고 상기 키보드 이미지에 관한 사용자의 움직임을 탐지하게 하는 명령어를 포함하는 것을 특징으로 하는 장치.
  13. 제 8 항에 있어서, 컴퓨터가 입력 디바이스의 이미지를 영사하게 하는 명령어를 포함하는 것을 특징으로 하는 장치.
  14. 프로세서;
    상기 프로세서에 연결된 센서;
    상기 프로세서에 연결된 영사기; 및
    상기 프로세서와 연관된 메모리를 포함하고, 상기 메모리는 상기 프로세서가
    상기 영사기를 사용하여 입력 디바이스의 이미지를 영사하고;
    입력 디바이스의 상기 이미지에 관한 사용자의 움직임을 탐지하기 위해서 상기 센서를 사용하게 하는 컴퓨터 프로그램을 저장하는 것을 특징으로 하는 시스템.
  15. 제 14 항에 있어서, 복수의 디지털 비디오 카메라를 포함하는 것을 특징으로 하는 시스템.
  16. 제 14 항에 있어서, 상기 프로그램은 사용자의 움직임에 응답하여 포인터의 위치를 제어하는 것을 특징으로 하는 시스템.
  17. 제 14 항에 있어서, 상기 시스템은 컴퓨터 시스템인 것을 특징으로 하는 시스템.
  18. 제 14 항에 있어서, 상기 메모리는 패턴 인식 소프트웨어를 포함하는 것을 특징으로 하는 시스템.
  19. 제 14 항에 있어서, 상기 영사기는 포인팅 디바이스의 이미지를 영사하는 것을 특징으로 하는 시스템.
  20. 제 14 항에 있어서, 상기 영사기는 키보드의 이미지를 영사하는 것을 특징으로 하는 시스템.
KR1020017004048A 1998-10-07 1999-08-26 스캐닝 센서를 사용한 입력 디바이스 KR100896745B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16781498A 1998-10-07 1998-10-07
US09/167,814 1998-10-07
US09/187,903 1998-11-06
US09/187,903 US6690357B1 (en) 1998-10-07 1998-11-06 Input device using scanning sensors

Publications (2)

Publication Number Publication Date
KR20010075474A true KR20010075474A (ko) 2001-08-09
KR100896745B1 KR100896745B1 (ko) 2009-05-11

Family

ID=22608949

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020017004048A KR100896745B1 (ko) 1998-10-07 1999-08-26 스캐닝 센서를 사용한 입력 디바이스

Country Status (6)

Country Link
US (1) US6690357B1 (ko)
KR (1) KR100896745B1 (ko)
AU (1) AU6020999A (ko)
HK (1) HK1042969A1 (ko)
MY (1) MY118106A (ko)
WO (1) WO2000021023A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100969681B1 (ko) * 2008-05-02 2010-07-14 주식회사 그린벨임베디드시스템 키보드 인식방법
US8319732B2 (en) 2005-10-07 2012-11-27 Samsung Electronics Co., Ltd. Data input apparatus, medium, and method detecting selective data input

Families Citing this family (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6750848B1 (en) * 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
JP4052498B2 (ja) * 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
US20030174125A1 (en) * 1999-11-04 2003-09-18 Ilhami Torunoglu Multiple input modes in overlapping physical space
JP2001184161A (ja) 1999-12-27 2001-07-06 Ricoh Co Ltd 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
EP1148411A3 (en) * 2000-04-21 2005-09-14 Sony Corporation Information processing apparatus and method for recognising user gesture
KR100865598B1 (ko) * 2000-05-29 2008-10-27 브이케이비 인코포레이티드 수문자 조합 및 다른 데이터의 입력을 위한 가상 데이터입력 장치 및 방법
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US7242388B2 (en) * 2001-01-08 2007-07-10 Vkb Inc. Data input device
US6943774B2 (en) * 2001-04-02 2005-09-13 Matsushita Electric Industrial Co., Ltd. Portable communication terminal, information display device, control input device and control input method
GB2374266A (en) * 2001-04-04 2002-10-09 Matsushita Comm Ind Uk Ltd Virtual user interface device
US20030043271A1 (en) * 2001-09-04 2003-03-06 Koninklijke Philips Electronics N.V. Computer interface system and method
GB0121536D0 (en) * 2001-09-06 2001-10-24 4D Technology Systems Ltd Controlling electronic device
JP2005504374A (ja) * 2001-09-24 2005-02-10 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ インタラクティブシステム及びインタラクション方法
AU2002362085A1 (en) * 2001-12-07 2003-07-09 Canesta Inc. User interface for electronic devices
WO2003071410A2 (en) * 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US10242255B2 (en) 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
US20030169906A1 (en) * 2002-02-26 2003-09-11 Gokturk Salih Burak Method and apparatus for recognizing objects
JP4096164B2 (ja) * 2002-06-10 2008-06-04 日本電気株式会社 ポインティングデバイスのセットアップ方法と該方法を記録した記録媒体および携帯端末
US7307661B2 (en) * 2002-06-26 2007-12-11 Vbk Inc. Multifunctional integrated image sensor and application to virtual interface technology
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US7526120B2 (en) * 2002-09-11 2009-04-28 Canesta, Inc. System and method for providing intelligent airbag deployment
US20040066500A1 (en) * 2002-10-02 2004-04-08 Gokturk Salih Burak Occupancy detection and measurement system and method
WO2004044664A1 (en) * 2002-11-06 2004-05-27 Julius Lin Virtual workstation
US6954197B2 (en) * 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US7629967B2 (en) * 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US7532206B2 (en) * 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7747596B2 (en) * 2005-06-17 2010-06-29 Fotonation Vision Ltd. Server device, user interface appliance, and media processing network
US7685341B2 (en) * 2005-05-06 2010-03-23 Fotonation Vision Limited Remote control apparatus for consumer electronic appliances
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
EP1507389A1 (en) * 2003-08-13 2005-02-16 Sony Ericsson Mobile Communications AB Mobile phone with means for switching off the alarm remotely
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
KR20060111472A (ko) * 2003-10-31 2006-10-27 브이케이비 인코포레이티드 가상 인터페이스 투사 및 검출을 위한 광학 장치
US7355593B2 (en) * 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
WO2005078558A1 (en) * 2004-02-16 2005-08-25 Simone Soria A process for generating command signals, in particular for disabled users
US7232986B2 (en) * 2004-02-17 2007-06-19 Smart Technologies Inc. Apparatus for detecting a pointer within a region of interest
US7460110B2 (en) * 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7492357B2 (en) * 2004-05-05 2009-02-17 Smart Technologies Ulc Apparatus and method for detecting a pointer relative to a touch surface
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US8120596B2 (en) * 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
US7683881B2 (en) * 2004-05-24 2010-03-23 Keytec, Inc. Visual input pointing device for interactive display system
WO2005125161A2 (en) * 2004-06-15 2005-12-29 Sony Ericsson Communications Ab Portable communication device with two cameras
EP1608135A1 (en) * 2004-06-15 2005-12-21 Sony Ericsson Mobile Communications AB Portable communication device with two cameras
US7199884B2 (en) * 2004-12-21 2007-04-03 Honeywell International Inc. Thin thickness measurement method and apparatus
US20060152482A1 (en) * 2005-01-07 2006-07-13 Chauncy Godwin Virtual interface and control device
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
WO2006090386A2 (en) * 2005-02-24 2006-08-31 Vkb Inc. A virtual keyboard device
US9204116B2 (en) * 2005-02-24 2015-12-01 Brainlab Ag Portable laser projection device for medical image display
EP1695670A1 (de) * 2005-02-24 2006-08-30 BrainLAB AG Tragbare Laserprojektionsvorrichtung für die medizintechnische Bilddarstellung
EP1696306A1 (de) * 2005-02-25 2006-08-30 Siemens Aktiengesellschaft Mobiles Endgerät mit skalierbarer Anzeige
US7694048B2 (en) * 2005-05-06 2010-04-06 Fotonation Vision Limited Remote control apparatus for printer appliances
US20070019103A1 (en) * 2005-07-25 2007-01-25 Vkb Inc. Optical apparatus for virtual interface projection and sensing
US20070019099A1 (en) * 2005-07-25 2007-01-25 Vkb Inc. Optical apparatus for virtual interface projection and sensing
US8017927B2 (en) * 2005-12-16 2011-09-13 Honeywell International Inc. Apparatus, system, and method for print quality measurements using multiple adjustable sensors
US7688447B2 (en) * 2005-12-29 2010-03-30 Honeywell International Inc. Color sensor
US20070165007A1 (en) * 2006-01-13 2007-07-19 Gerald Morrison Interactive input system
US20070205994A1 (en) * 2006-03-02 2007-09-06 Taco Van Ieperen Touch system and method for interacting with the same
US8972902B2 (en) 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
US9696808B2 (en) 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US8589824B2 (en) * 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US8180114B2 (en) 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US8234578B2 (en) 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
US20090115915A1 (en) * 2006-08-09 2009-05-07 Fotonation Vision Limited Camera Based Feedback Loop Calibration of a Projection Device
US8432448B2 (en) 2006-08-10 2013-04-30 Northrop Grumman Systems Corporation Stereo camera intrusion detection system
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
US20080134102A1 (en) * 2006-12-05 2008-06-05 Sony Ericsson Mobile Communications Ab Method and system for detecting movement of an object
US7880156B2 (en) * 2006-12-27 2011-02-01 Honeywell International Inc. System and method for z-structure measurements using simultaneous multi-band tomography
US8115753B2 (en) * 2007-04-11 2012-02-14 Next Holdings Limited Touch screen system with hover and click input methods
TWI406153B (zh) * 2007-06-12 2013-08-21 Quanta Comp Inc 游標控制方法及應用該游標控制方法之簡報系統及電腦可讀取儲存媒體
CA2591808A1 (en) * 2007-07-11 2009-01-11 Hsien-Hsiang Chiu Intelligent object tracking and gestures sensing input device
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
US20090048707A1 (en) * 2007-08-15 2009-02-19 Deline Jonathan E Fuel dispenser
KR20100055516A (ko) * 2007-08-30 2010-05-26 넥스트 홀딩스 인코포레이티드 개선된 조광을 가진 광학 터치 스크린
CA2697856A1 (en) 2007-08-30 2009-03-05 Next Holdings, Inc. Low profile touch panel systems
US8184101B2 (en) * 2007-10-03 2012-05-22 Microsoft Corporation Detecting touch on a surface via a scanning laser
US8139110B2 (en) 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
US9377874B2 (en) 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
US20090172606A1 (en) * 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
US8405636B2 (en) * 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US20090207144A1 (en) * 2008-01-07 2009-08-20 Next Holdings Limited Position Sensing System With Edge Positioning Enhancement
US20090213093A1 (en) * 2008-01-07 2009-08-27 Next Holdings Limited Optical position sensor using retroreflection
US20090278794A1 (en) * 2008-05-09 2009-11-12 Smart Technologies Ulc Interactive Input System With Controlled Lighting
US20090277697A1 (en) * 2008-05-09 2009-11-12 Smart Technologies Ulc Interactive Input System And Pen Tool Therefor
US8902193B2 (en) * 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
US9649551B2 (en) 2008-06-03 2017-05-16 Tweedletech, Llc Furniture and building structures comprising sensors for determining the position of one or more objects
US8602857B2 (en) 2008-06-03 2013-12-10 Tweedletech, Llc Intelligent board game system with visual marker based game object tracking and identification
WO2012033863A1 (en) 2010-09-09 2012-03-15 Tweedletech, Llc A board game with dynamic characteristic tracking
US8974295B2 (en) * 2008-06-03 2015-03-10 Tweedletech, Llc Intelligent game system including intelligent foldable three-dimensional terrain
US10155156B2 (en) 2008-06-03 2018-12-18 Tweedletech, Llc Multi-dimensional game comprising interactive physical and virtual components
WO2009149112A1 (en) * 2008-06-03 2009-12-10 Tweedletech, Llc An intelligent game system for putting intelligence into board and tabletop games including miniatures
US8345920B2 (en) 2008-06-20 2013-01-01 Northrop Grumman Systems Corporation Gesture recognition interface system with a light-diffusive screen
US20090327871A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation I/o for constrained devices
US20100079385A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for calibrating an interactive input system and interactive input system executing the calibration method
CN102232209A (zh) * 2008-10-02 2011-11-02 奈克斯特控股有限公司 解决触摸检测系统中的多点触摸的立体光学传感器
US8339378B2 (en) * 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
GB2466023A (en) * 2008-12-08 2010-06-09 Light Blue Optics Ltd Holographic Image Projection Systems
GB2466497B (en) 2008-12-24 2011-09-14 Light Blue Optics Ltd Touch sensitive holographic displays
US20100229090A1 (en) * 2009-03-05 2010-09-09 Next Holdings Limited Systems and Methods for Interacting With Touch Displays Using Single-Touch and Multi-Touch Gestures
JP5347673B2 (ja) * 2009-04-14 2013-11-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US8692768B2 (en) 2009-07-10 2014-04-08 Smart Technologies Ulc Interactive input system
US20110095977A1 (en) * 2009-10-23 2011-04-28 Smart Technologies Ulc Interactive input system incorporating multi-angle reflecting structure
US20110199387A1 (en) * 2009-11-24 2011-08-18 John David Newton Activating Features on an Imaging Device Based on Manipulations
CN102713794A (zh) * 2009-11-24 2012-10-03 奈克斯特控股公司 用于手势识别模式控制的方法和装置
US20110205151A1 (en) * 2009-12-04 2011-08-25 John David Newton Methods and Systems for Position Detection
CN102893293A (zh) * 2010-03-12 2013-01-23 莎法·瓦拉 位置捕获输入设备、系统及其方法
JP2011203823A (ja) 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US20110234542A1 (en) * 2010-03-26 2011-09-29 Paul Marson Methods and Systems Utilizing Multiple Wavelengths for Position Detection
US8401809B2 (en) 2010-07-12 2013-03-19 Honeywell International Inc. System and method for adjusting an on-line appearance sensor system
US20120280900A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
US8618929B2 (en) 2011-05-09 2013-12-31 Honeywell International Inc. Wireless conveyor belt condition monitoring system and related apparatus and method
GB201110157D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch sensitive display devices
GB201110156D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch-sensitive display devices
GB201110159D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch sensitive display devices
GB201117542D0 (en) 2011-10-11 2011-11-23 Light Blue Optics Ltd Touch-sensitive display devices
DE112011105888T5 (de) * 2011-12-23 2014-09-11 Hewlett-Packard Development Company, L.P. Eingabebefehl, der auf Handgeste basiert
US20130179811A1 (en) * 2012-01-05 2013-07-11 Visteon Global Technologies, Inc. Projection dynamic icon knobs
US20140362052A1 (en) 2012-01-20 2014-12-11 Light Blue Optics Ltd Touch Sensitive Image Display Devices
GB2513498A (en) 2012-01-20 2014-10-29 Light Blue Optics Ltd Touch sensitive image display devices
GB201205303D0 (en) 2012-03-26 2012-05-09 Light Blue Optics Ltd Touch sensing systems
US9841847B2 (en) 2014-12-25 2017-12-12 Panasonic Intellectual Property Management Co., Ltd. Projection device and projection method, for projecting a first image based on a position of a moving object and a second image without depending on the position
CA3012217C (en) 2016-04-21 2024-04-30 Wayne Fueling Systems Llc Intelligent fuel dispensers
PT3866389T (pt) 2016-05-27 2022-09-29 Wayne Fueling Systems Llc Dispensador de combustível transparente
CN110221688B (zh) * 2019-05-06 2022-04-26 创新先进技术有限公司 可穿戴设备、鼠标的控制方法及装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5148155A (en) * 1990-11-13 1992-09-15 Wang Laboratories, Inc. Computer with tablet input to standard programs
US5168531A (en) * 1991-06-27 1992-12-01 Digital Equipment Corporation Real-time recognition of pointing information from video
EP0554492B1 (en) 1992-02-07 1995-08-09 International Business Machines Corporation Method and device for optical input of commands or data
EP0829799A3 (en) 1992-05-26 1998-08-26 Takenaka Corporation Wall computer module
US5436639A (en) * 1993-03-16 1995-07-25 Hitachi, Ltd. Information processing system
US5936610A (en) * 1993-07-27 1999-08-10 Canon Kabushiki Kaisha Control device for image input apparatus
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5682181A (en) * 1994-04-29 1997-10-28 Proxima Corporation Method and display control system for accentuating
JP3419050B2 (ja) * 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
DE19612949C1 (de) 1996-04-01 1997-08-14 Siemens Ag Verfahren zur Erkennung mindestens eines fingerförmigen Objekts in einem ersten, handförmigen Objekt durch einen Rechner
US5859623A (en) * 1996-05-14 1999-01-12 Proxima Corporation Intelligent display system presentation projection arrangement and method of using same
EP0837418A3 (en) * 1996-10-18 2006-03-29 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
JP3749369B2 (ja) 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
US5864334A (en) * 1997-06-27 1999-01-26 Compaq Computer Corporation Computer keyboard with switchable typing/cursor control modes
US6104384A (en) * 1997-09-12 2000-08-15 Ericsson, Inc. Image based keyboard for a small computing device
DE29802455U1 (de) 1998-02-13 1998-03-26 Wilms, Marita, 41372 Niederkrüchten Warensicherungsanlage
US6043805A (en) * 1998-03-24 2000-03-28 Hsieh; Kuan-Hong Controlling method for inputting messages to a computer
US6431711B1 (en) * 2000-12-06 2002-08-13 International Business Machines Corporation Multiple-surface display projector with interactive input capability

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8319732B2 (en) 2005-10-07 2012-11-27 Samsung Electronics Co., Ltd. Data input apparatus, medium, and method detecting selective data input
KR100969681B1 (ko) * 2008-05-02 2010-07-14 주식회사 그린벨임베디드시스템 키보드 인식방법

Also Published As

Publication number Publication date
US6690357B1 (en) 2004-02-10
HK1042969A1 (en) 2002-08-30
AU6020999A (en) 2000-04-26
KR100896745B1 (ko) 2009-05-11
MY118106A (en) 2004-08-30
WO2000021023A1 (en) 2000-04-13

Similar Documents

Publication Publication Date Title
KR100896745B1 (ko) 스캐닝 센서를 사용한 입력 디바이스
EP1127332B1 (en) Input device using scanning sensors
US7737959B2 (en) Position detection system using laser speckle
US20070018966A1 (en) Predicted object location
US10209881B2 (en) Extending the free fingers typing technology and introducing the finger taps language technology
USRE43084E1 (en) Method and apparatus for inputting information including coordinate data
US5767842A (en) Method and device for optical input of commands or data
US20050162384A1 (en) Pointing device, method for displaying point image, and program therefor
US8957864B2 (en) Coordinate input apparatus and method
US20030048280A1 (en) Interactive environment using computer vision and touchscreens
US20020080239A1 (en) Electronics device applying an image sensor
US20070222746A1 (en) Gestural input for navigation and manipulation in virtual space
US20090027335A1 (en) Free-Space Pointing and Handwriting
US20040095315A1 (en) Virtual holographic input method and device
JP2006509269A (ja) データを入力するための装置及び方法
TWI695297B (zh) 鍵盤手勢指令之產生方法及其電腦程式產品與非暫態電腦可讀取媒體
CN103677442B (zh) 键盘装置及电子装置
CN101869484A (zh) 具有触摸屏的医疗诊断装置及其操控方法
US6738041B2 (en) Using video information to control cursor position
US20070257887A1 (en) Apparatus and method for cursor control
JP3355708B2 (ja) コマンド処理装置
WO2019134606A1 (zh) 终端的控制方法、装置、存储介质及电子设备
US8026897B2 (en) Cursor motion control of a pointing device
KR101911676B1 (ko) 지시체의 움직임을 고려한 프리젠테이션 영상 처리장치 및 방법
KR102300290B1 (ko) 카메라를 이용한 손가락 움직임 연동형 스마트 마우스 및 이를 이용한 마우스 커서의 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20030724

Effective date: 20050624

J2X1 Appeal (before the patent court)

Free format text: APPEAL AGAINST DECISION TO DECLINE REFUSAL

J302 Written judgement (patent court)

Free format text: JUDGMENT (PATENT COURT) FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20050728

Effective date: 20060602

J2X2 Appeal (before the supreme court)

Free format text: APPEAL BEFORE THE SUPREME COURT FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL

J303 Written judgement (supreme court)

Free format text: JUDGMENT (SUPREME COURT) FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20060621

Effective date: 20070726

J222 Remand (patent court)

Free format text: REMAND (PATENT COURT) FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL

J302 Written judgement (patent court)

Free format text: JUDGMENT (PATENT COURT) FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20070807

Effective date: 20071011

J2X2 Appeal (before the supreme court)

Free format text: APPEAL BEFORE THE SUPREME COURT FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL

J221 Remand (intellectual property tribunal)

Free format text: REMAND (INTELLECTUAL PROPERTY TRIBUNAL) FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL

J303 Written judgement (supreme court)

Free format text: JUDGMENT (SUPREME COURT) FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20071112

Effective date: 20080515

J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20080519

Effective date: 20080808

S901 Examination by remand of revocation
E902 Notification of reason for refusal
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment
FPAY Annual fee payment
FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee