KR20070031292A - 사용자 명령을 프로세서에 입력하기 위한 시스템 및 방법 - Google Patents

사용자 명령을 프로세서에 입력하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20070031292A
KR20070031292A KR1020067022017A KR20067022017A KR20070031292A KR 20070031292 A KR20070031292 A KR 20070031292A KR 1020067022017 A KR1020067022017 A KR 1020067022017A KR 20067022017 A KR20067022017 A KR 20067022017A KR 20070031292 A KR20070031292 A KR 20070031292A
Authority
KR
South Korea
Prior art keywords
image
camera
time window
during
motion detection
Prior art date
Application number
KR1020067022017A
Other languages
English (en)
Inventor
이타이 카츠
Original Assignee
아이사이트 모빌 테크놀로지 엘티디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이사이트 모빌 테크놀로지 엘티디 filed Critical 아이사이트 모빌 테크놀로지 엘티디
Priority to KR1020067022017A priority Critical patent/KR20070031292A/ko
Publication of KR20070031292A publication Critical patent/KR20070031292A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Abstract

운영 체제 (OS) 명령을 데이터 처리 장치로 입력하기 위한 시스템. 상기 시스템은 관측 공간의 이미지를 캡처하는 비디오카메라를 포함한다. 프로세서는 이미지의 배경 정보를 포함하지 않는 대상 인식 알고리즘을 사용하여 상기 이미지 내의 미리 정해진 대상을 검출한다. 상기 대상의 하나 또는 그이상의 이미지 해석 파라미터는 상기 이미지로부터 추출되고 하나 또는 그이상의 동작 검출 테스트가 적용된다. 각각의 동작 검출 테스트는 관련 OS 명령을 갖고, 테스트가 성공할 때, 테스트와 관련된 상기 OS 명령이 실행된다. 이미지 내의 배경 정보에 의지하지 않음으로써, 본 발명의 시스템은 팜 플로트, 개인 휴대 정보 단말기 (PDA), 이동 전화, 디지털 카메라, 및 휴대 게임기와 같이, 사용 중 이동되는 장치로 사용될 수 있다.
Figure 112006076553501-PCT00001
사용자 명령 입력 시스템

Description

사용자 명령을 프로세서에 입력하기 위한 시스템 및 방법 {SYSTEM AND METHOD FOR INPUTING USER COMMANDS TO A PROCESSOR}
본 발명은 사용자 입력을 받기 위해 구성된 장치에 관한 것이다.
데이터 처리 장치(a data processing device)에 들어가는 데이터는 키보드, 마우스 또는 조이스틱과 같은 데이터 입력 장치(a data input device)를 사용하여 이루어진다. 비록 전자 장치가 지속적으로 소형화되고 있지만, 다양한 관련 데이터 입력 장치의 크기는 사용자의 손 크기에 맞아야하기 때문에 사실상 축소될 수 없다. 데이터 입력하기 위한 방법은 그러므로 사용자 손이 장치를 누르지 않도록 발명되었다. Korth의 미합중국 특허 제5,767,842호와, Arnon의 제6,650,318호의 실시예에서, 카메라(a camera)가 사용자의 손과 손가락의 동작을 모니터하는(monitor) 광학 시스템(an optical system)을 개시한다. 소프트웨어 애플리케이션(a software application)은 이들 동작을 물리적으로 존재하지 않는 컴퓨터 키보드 또는 다른 입력 장치에의 연산(operation)으로 해석한다. 이들 시스템에서, 이미지(the image)의 배경을 일정하게 유지하도록, 카메라는 고정된 위치에 있다. 이는 소프트웨어 애플리케이션이 각각의 이미지에서 사용자 손을 검출하기(detect) 위해 일정한 배경에 있는 정보를 사용하는 것을 허용한다. 이 시스템은, 그러므로, 사용 중 에 움직이는 장치에서는 사용될 수 없는데, 이 경우는, 상기 이미지의 배경이 일정하지 않아서 상기 이미지에 신뢰할 만한 배경 정보가 없기 때문이다. 사용 중에 있는 움직이는 장치들은 팜 플로트(a palm plot), 개인 휴대 정보 단말기(personal digital assistant) (PDA), 이동 전화(a mobile telephone), 디지털 카메라, 및 이동 게임기(a mobile game machine)와 같은 휴대 장치(hand-held device)를 포함한다.
본 발명은 운영 체제(operating system) 명령을 데이터 처리 장치에 입력하기 위한 방법과 시스템을 제공한다. 본 발명의 시스템은 키보드, 마우스 또는 조이스틱과 같은 장치와 결합한 어떤 입력 장치를 대신하거나 추가한 장치에 OS 명령을 입력하기 위해 사용될 수 있다. 본 발명의 시스템은 개인용 컴퓨터(PC), PDA, 랩탑(a laptop) 또는 팜 플로트와 같은 휴대용 컴퓨터(a portable computer), 이동 전화, 라디오 또는 다른 엔터테인먼트 기기(entertainment device), 비이클(a vehicle), 디지털 카메라, 이동 게임기, 컴퓨터 의료 장비 (a computerized medical device)와 스마트 하우스 제품(a smart house product)과 같은 어떤 형식의 데이터 처리 장치로 사용될 수 있다.
본 발명의 시스템은 비디오카메라와 프로세서를 포함한다. 상기 카메라는 관측 공간(a viewing space)에서 이미지를 캡처(capture)하도록 위치한다. 카메라에 의해 캡처된 이미지는 카메라에 의해 디지털화되고 프로세서에 입력된다. 상기 프로세서는 카메라에 의해 캡처된 이미지를 해석하는(analyse) 소프트웨어 애플리케이션을, 가급적 실시간으로 실행하게 설정한다. 소프트웨어 애플리케이션에 의해 실행된 상기 해석은 시간 tk에서 얻은 이미지에서 카메라의 관측 공간의 미리 정해진 대상을 검출하는 것을 포함한다. 상기 대상은, 예를 들어, 하나 또는 그이상의 사용자의 손가락 또는 손으로 잡고 쓸 수 있는 스타일러스(stylus)일 수 있다.
본 발명에 따르면, 이미지에서 대상을 검출하는 것은 이미지에 있는 배경 정보에 의존하지 않는 알고리즘(algorithm)을 사용하게 된다. 이미지의 배경 정보에 의지하지 않기 때문에, 본 발명의 시스템은 움직여 사용하는 장치에 사용될 수 있다. 예를 들어, 상기 대상은 분할 알고리즘(a segmentation algorithm)을 사용하는 이미지에서 검출될 수 있다. 세분화를 위한 방법은, 예를 들어, Gonzalez, R. C와 Woods, R. E. [2002]. 디지털 이미지 처리(Digital Image Processing), 제 2판, Prentice Hall, Upper Saddle River, N.J.; R. Gonzalez, "매트랩을 사용한 디지털 이미지 처리 (Digital Image Processing using Matlab)", Pearson Prentice Hall 2004; 및 Sigal, L et al "다양한 조명 아래에서 피부 분할을 위해 발전하는 색 분산에 대한 평가와 예측(Estimation and Prediction of Evolving Color Distributions for Skin Segmentation Under Varying Illumination)", BU CS TR99-015.v2, Dec.1999 (2000년 5월에 개정)에서 개시되었다. 본 기술 분야에서는 잘 알려진 바와 같이 "워테쉐드(WaterShed)" 분할이나 “그로잉 리전 분할(growing region segmantation)"과 같은 어떤 형식의 분할 알고리즘이라도 본 발명의 시스템에서 사용될 수 있다.
분할 알고리즘은 다단계(multi-staged) 프로세스이고, 거기에서 각 단계에서 상기 이미지는 특정한 역치 이하의 명암도(intensity) (예를 들어, 그레이 레벨 스케일(gray level scale)이나 어떤 하나 또는 그이상의 적색, 녹색, 또는 청색의 스케일)를 가진 화소 세트(pixels set)와 상기 역치(threshold) 이상의 명암도를 가진 화소 세트로 이진법화된다. 각각의 단계에서, 상기 역치는 증가되고 각 세트 안에서 인접한 화소 세트가 식별된다. 프로세스의 끝에서, 인접한 점의 안정된 세트(stable sets)는 식별된다. 인접한 화소의 안정된 세트는 미리 결정된 수의 프로세스의 연속적인 단계 동안 일정하게 유지된 세트이다. 안정된 인접한 화소 세트가 이미지로 식별된 후에, 대상 인식 절차는 안정된 세트 사이에서 대상을 식별하기 위한 안정된 세트에서 이루어진다. 대상 인식 절차는 그것의 편심(eccentricity) 또는 디멘젼(dimension)과 같은 대상의 특징에 관한 미리 얻은 이미지 데이터를 이용한다. 미리 얻은 이미지 데이터 각각의 이미지에 적용되거나, 이미지 데이터가 대상의 최근 앞의 이미지를 기초로 갱신될 수 있다. 어떠한 대상 인식 절차라도 안정된 세트에 적용될 수 있다. 예를 들어, 순응적인(adaptive) 일차결합(linear combination)은 상기 대상의 하나 또는 그이상의 특징으로 계산되고 각각의 안정된 세트에 적용될 수 있다.
상기 소프트웨어 애플리케이션은 또한 시간 tk에서 얻은 이미지에서 하나 또는 그이상의 해석 파라미터(image analysis parameters) xi(tk)를 추출한다. 하나 또는 그이상의 이미지 해석 파라미터는 상기 팁의 이미지 내의 화소 주소(the pixel address) 또는 상기 이미지 내의 화소 안의 대상의 너비, 상기 이미지 내의 대상의 화소의 길이, 또는 상기 이미지 내의 대상의 방향(the orientation)과 같이, 이력(history)에 독립적일 수 있다. 하나 또는 그이상의 이미지에서 파라미터는 이력에 의존적일 수 있는데, 이러한 경우에 파라미터의 추출은 이전 및/또는 다음에 얻은 이미지와 함께 상기 이미지에 대하여 수행된다. 이러한 이력에 의존적인 파라미터는 상기 이미지의 상기 시간에서의 대상의 속도, 상기 이미지의 상기 시간에서의 대상의 너비의 크기 변화, 또는 상기 이미지의 상기 시간에서의 회전 속도 및 방향을 포함한다. 하나 또는 그이상의 이미지 해석 파라미터는 이진법 파라미터가 될 수 있다. 예를 들어, 파라미터는 만약 대상이 관측 공간에서 검출된다면 값 1 그리고 만약 대상이 관측 공간에서 검출되지 않는다면 값 0을 취할 수 있다. 상기 소프트웨어의 해석은 그러므로 메모리에 저장된 벡터 X(tk) = {x1(tk), ... ,xn(tk)}의 시간 순서(a time sequence)를 생성한다.
상기 소프트웨어는 추가로 하나 또는 그이상의 동작 검출 테스트를 최근 타임 윈도우에서 얻고 메모리에 저장된 하나 또는 그이상의 벡터 X에 적용하도록 구성된다. 상기 타임 윈도우는, 예를 들어 0.5초, 또는 1초가 될 수 있다. 각 테스트는 타임 윈도우 동안의 대상의 특정한 형식의 동작을 검출한다. 테스트는 이진법 테스트가 될 수 있는데, 이러한 경우에 테스트의 결과는 테스트가 실패한 (즉 대상은 타임 윈도우 동안 테스트에 의해 검출된 동작을 실행하지 않는다) 지시값(indication) 0 또는 테스트가 성공한 (즉 대상은 테스트에 의해 검출된 동작을 실행한다) 지시값 1이다. 대신에, 테스트의 결과는 0과 1사이의 수 일 수 있다. 하나 또는 그 이상의 테스트는 미리 정해진 테스트의 일차결합으로 정의될 수 있다. 이러한 경우에 있어서, 테스트가 성공인지 실패인지 결정하는 것은, 예를 들어서, 스테이트 머신(state machine), 형태학적 알고리즘(morphological algorithms), 또는 신경 회로망(neural network)을 사용하여 수행될 수 있다.
첫 번째 실시예로, 테스트는, 예를 들어, 타임 윈도우 동안 상기 대상이 카메라에 접근한 것일 수 있다. 상기 테스트는 만약 화소 안의 대상의 너비가 타임 윈도우 동안 증가한다면 성공한다. 두 번째 실시예로, 테스트는 예를 들어 상기 대상의 카메라에서 멀어진 것이 될 수 있다 (화소 내의 대상의 너비가 타임 윈도우 동안 감소했다). 테스트의 다른 실시예는 타임 윈도우 동안 상기 대상이 먼저 카메라에 접근하고 나서 카메라에서 멀어진 것, 상기 대상이 카메라의 관측 공간으로부터 사라진 것, 상기 대상이 원이나 문자와 숫자로 이루어진 기호를 따라가는 것과 같은 미리 정해진 경로로 이동하는 것, 상기 대상이 회전하는 것, 상기 대상이 움직이는 것, 상기 대상이 이동하는 것(어떤 형식의 동작을 실행하는 것), 상기 대상이 튕기는 동작(a flicking motion)을 수행하는 것, 상기 대상이 가속하는 것, 상기 대상이 감속하는 것, 상기 대상이 움직인 다음 멈추고, 또는 상기 대상이 미리 정해진 시간 동안 특정한 위치에 정지한 채로 있는 것을 포함한다.
시스템의 메모리는 각 테스트를 위해, 관련 OS 명령(an associated OS command)을 제공하는 조사표(a look-up table)를 저장한다. 테스트가 성공일 때, 테스트와 관련된 OS 명령은 실행된다. 상기 OS 명령은, 예를 들어, 표시 화면상에 표시된 가상 키(virtual key)를 누르는 것, 화면상에 나타나는 커서를 화면상의 새로운 위치로 움직이는 것, 메모리에 저장된 소프트웨어 애플리케이션을 프로세서상에서 구동하는 것, 장치와 연동하여 빛을 켜거나 끄는 것, 소음 레벨이나 라디오상의 스테이션(station)이 변하는 것, 또는 장치를 끄는 것, 화면상에 표시된 이미지를 확대하거나 축소하는 것, 외과 도구(surgical instrument)를 제어하는 것, 그리고 애플리케이션(application)에 명령을 보내는 것 (예를 들면 “슈팅” 명령을 게임 애플리케이션에 보내는 것)일 수 있다.
바람직하게는, 테스트에 의해 검출된 동작과 테스트와 관련된 OS 명령 사이는 직관적인 관계에 있다. 다음은 테스트에 의해 검출된 동작과 관련 OS 명령 사이의 직관적인 관계의 실시예들이다.
카메라를 향해 움직인 후 카메라로부터 멀어진 상기 대상을 검출하는 테스트는 화면상의 커서가 현재 가르키는 가상 키보드 상의 키를 누르는 관련 OS 명령을 가질 수 있다.
관측 공간을 가로지르는 상기 대상의 직선 운동(linear movement)을 검출하는 테스트는 표시 화면상에 새로운 위치로 커서와 같은 대상을 드래그하는 관련 OS 명령을 가질 수 있다.
상기 대상이 관측 공간 안에서 특정한 문자와 숫자로 이루어진 기호의 모양으로 카메라의 경로를 그렸는지를 검출하는 테스트는 문자와 숫자로 이루어진 기호를 위한 장치의 디스플레이(display) 상에 표시되는 가상 키보드 상의 키를 누르는 관련 OS 명령을 가질 수 있다.
상기 대상의 “슈팅 동작(shooting motion)”을 검출하는 테스트는 디스플레이 상에 나타나는 표적(target)에 ”슈팅“의 관련 OS 명령을 가질 수 있다.
상기 대상의 튕기는 동작을 검출하는 테스트는 장치를 끄는 관련 OS 명령(an associated OS command)을 가질 수 있다.
본 발명의 시스템은 펜던트(a pendent)나 고글(goggles)과 같이, 착용하기에 적합한 장치에 사용될 수 있다. 상기 시스템은 장치를 만지지 않고 OS 명령들이 장치에 입력되게 한다. 상기 장치는 이와 같이 기술자, 요리사, 그리고 외과의사와 같이, 손이 더러워진 사용자에게 도움이 된다. 상기 시스템은 또한 하나 또는 그이상의 3차원의 가상의 대상을 가지는 장치로 사용될 수 있다.
그러므로, 본 발명의 첫 번째 목적에서, 본 발명은 데이터 처리 장치에: (a) 관측 공간의 이미지를 캡처하는 비디오카메라; 및 (b) i) 이미지 내의 배경 정보를 포함하지 않는 대상 인식 알고리즘을 사용한 상기 카메라에 의해 얻은 하나 또는 그이상의 이미지에서 미리 정해진 대상을 검출하고; ii) 상기 카메라에 의해 얻은 하나 또는 그이상의 이미지에서 상기 대상의 하나 또는 그이상의 이미지 해석 파라미터를 추출하며; 그리고 iii) (I) 최근의 타임 윈도우 동안 추출된 이미지 해석 파라미터에 동작 검출 테스트를 적용하고 ; 그리고 (II) 만약 상기 동작 검출 테스트가 성공이라면 상기 동작 검출 테스트와 관련된 운영 체제(operating system) 명령을 실행하는 각각의 하나 또는 그이상의 동작 검출 테스트를 위해 구성된 프로세서를 포함하는 운영 체제(operation system) (OS) 명령 입력하기 위한 시스템을 제공한다.
본 발명의 두 번째 목적에서, 본 발명은 본 발명의 운영 체제(OS) 명령을 입력하기 위한 시스템을 포함하는 데이터 처리 장치를 제공한다.
본 발명의 세 번째 목적에서, 본 발명은 관측 공간의 이미지를 캡처하는 비디오카메라가 있는 데이터 처리 장치에 운영 체제(OS) 명령을 입력하기 위해: a. 이미지의 배경 정보를 포함하지 않는 대상 인식 알고리즘을 사용하여 상기 카메라에 의해 얻은 하나 또는 그 이상의 이미지에서 미리 정해진 대상을 검출하는 단계; b. 상기 카메라에 의해 얻은 하나 또는 그이상의 이미지에서 상기 대상의 하나 또는 그이상의 이미지 해석 파라미터를 추출하는 단계; 및 c. 각각의 하나 또는 그이상의 동작 검출 테스트를 위해: i. 상기 동작 검출 테스트를 타임 윈도우 동안 추출한 이미지 해석 파라미터를 적용하는 단계; 및 ii. 만약 동작 검출 테스트가 성공이라면 상기 동작 검출 테스트와 관련한 운영 체제(operating system) 명령을 실행하는 단계를 포함하는 방법을 제공한다.
본 발명의 네 번째 목적에서, 본 발명은 본 발명의 상기 방법의 모든 단계를 수행하기 위한 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램을 제공한다
본 발명의 네 번째 목적에서, 본 발명은 컴퓨터로 읽을 수 있는 매체 상에 실시된 본 발명의 컴퓨터 프로그램을 제공한다.
본 발명의 이해 및 본 발명이 실제로 어떻게 수행되는지를 알기 위해, 첨부한 도면을 참조하여, 비제한적인 실시예만으로 바람직한 실시태양이 기술될 것이다:
도 1은 본 발명의 하나의 실시태양에 따른 데이터 처리 장치로 OS 명령을 입력하기 위한 시스템을 갖는 장치를 보여준다.
도 2는 본 발명의 방법에 따른 데이터 처리 장치로 본 OS 명령을 입력하기 위한 방법을 보여준다.
도 1은 본 발명의 하나의 실시태양에 따른 데이터 입력 장치 (2)를 보여준다. 상기 데이터 처리 장치 (2)는, 예를 들어, 개인용 컴퓨터(PC), PDA, 랩탑 또는 팜 플로트와 같은 휴대용 컴퓨터, 또는 이동 전화, 라디오 또는 다른 엔터테인먼트 기기, 비이클, 디지털 카메라 또는 휴대 게임기가 될 수 있다. 상기 장치 (2)는 비디오카메라 (6)를 가진다. 상기 장치 (2)는 또한 표시 화면 (4) 및 데이터 입력 장치 (2)에 데이터를 입력하기 위한 다수의 키 (10)를 가지는 키패드(a keypad) (8)과 같은 다양한 데이터 입력 장치가 제공될 수 있다.
상기 장치 (2)는 하우징(housing) (14) 내에 프로세서 (12)를 가진다. 상기 프로세서 (12)는 카메라 (6) 및 키패드 (8)와 같은 장치 (2)와 관련한 어떤 다른 입력 장치로부터 데이터를 받도록 구성된다.
상기 카메라 (6)는 점선에 의해 표시된 원뿔형태 또는 피라미드 형태의 공간 (16)을 바라본다. 상기 카메라 (6)가 상기 장치 (2) 위에 고정된 위치를 가져서 이 경우에 상기 관측 공간 (16)이 상기 장치 (2)에 관하여 고정되거나, 이 경우에 장치 (2) 위에 위치를 정할 수 있어서, 상기 관측 공간 (16)은 상기 장치 (2)에 관하여 선택 가능하다. 상기 카메라 (6)에 의해서 캡처 이미지는 상기 카메라 (6)에 의 해 디지털화되고 프로세서 (12)에 입력한다.
상기 프로세서 (12)는 상기 카메라 (6)에 의해 캡처된 이미지를 해석하는 소프트웨어 애플리케이션을 구동하도록 구성된다. 소프트웨어 애플리케이션에 의해 수행되는 상기 해석은 관측 공간 (16) 안에 시간 tk에서 얻은 이미지에서 미리 정해진 대상 (24)을 검출하는 것을 포함한다. 위에서 기술한 것처럼 상기 대상 (24)은, 예를 들면, 분할 알고리즘 사용에 의해, 상기 이미지의 배경 정보를 포함하지 않는 대상 인식 알고리즘을 사용하여 검출된다. 상기 대상 (24)은 도 2에서 나타나듯이, 예를 들어, 사용자의 손가락일 수 있다. 그 대신에, 상기 대상은 손으로 잡는 스타일러스일 수 있다 (보이지 않음). 상기 대상 (24)은 대상 (24)의 자유단에 팁 (25)이 있는 벡터 (27)에 의하여 표현되는 관측 공간 안에 길이 및 방향을 가진다. 상기 대상 (24)은 또한 폭 (23)을 가진다. 만약 상기 장치 (2)가 휴대할 수 있는 장치라면, 사용자는 사용할 때 장치 (2)를 잡기 위해 사용자의 다른 손 (19)을 사용할 수 있다. 상기 손 (19)은 또한 키패드 (8) 위의 작동 키 (10)와 같이, 상기 장치 (2)와 관련한 실제 입력 장치를 작동하기 위해 사용될 수 있다.
상기 소프트웨어 애플리케이션은 추가로 시간 tk에서 얻은 이미지로부터 하나 또는 그이상의 이미지 해석 파라미터 xi(tk)를 추출하도록 구성된다. 하나 또는 그 이상의 상기 이미지 해석 파라미터는 상기 팁 (25)의 상기 이미지에서 화소 주소, 상기 이미지 내의 화소에서 대상 (24)의 폭 (23), 상기 이미지 안의 대상 (24)의 길이, 또는 벡터 (27)가 이미지 안에서 고정된 방향과 만든 각도와 같이, 이력 에 독립적일 수 있다. 하나 또는 그이상의 상기 이미지 해석 파라미터가 이력에 의존적일 수 있는데 이 경우에 상기 파라미터의 추출이 이전 및/또는 뒤에 얻어진 이미지와 함께 상기 이미지에 대하여 행하여 진다. 이러한 이력에 의존적인 파라미터는 상기 이미지의 시간 tk에서의 상기 팁 (25)의 속도, 상기 이미지의 상기 시간에서 대상 (24)의 폭 (23)의 크기 변화, 또는 상기 이미지의 상기 시간에서 벡터 (27)의 회전 속도를 포함한다. 하나 또는 그이상의 이미지 해석 파라미터는 이진법 파라미터가 될 수 있다. 예를 들면, 만약 상기 대상 (24)이 상기 관측 공간에서 검출된다면 파라미터는 값 1을 그리고 만약 상기 대상 (24)이 상기 관측 공간에서 검출되지 않는다면 값 0을 취할 수 있다. 상기 프로세서의 해석은 그러므로 메모리 (16)에 저장된 벡터 Xk = {x1(tk), ... ,xn(tk)}의 시간 시퀀스를 생성한다.
상기 소프트웨어 애플리케이션은 또한 하나 또는 그이상의 동작 검출 테스트를 최근 타임 윈도우에서 얻어 상기 메모리 (16)에 저장한 하나 또는 그 이상의 상기 벡터 Xk에 적용한다. 상기 타임 윈도우는, 예를 들면 0.5 초, 또는 1초 일 수 있다. 상기 타임 윈도우의 길이는 다른 테스트에서는 다를 수 있다. 각각의 테스트는 상기 타임 윈도우 동안 상기 대상 (24)의 특정한 형식의 동작을 검출한다. 각각의 테스트의 결과는 상기 테스트가 실패했다(즉 상기 대상 (24)은 상기 타임 윈도우 동안 테스트에 의해 검출되는 동작을 수행하지 않음)는 표시 또는 상기 테스트가 그것을 성공했다(즉 상기 대상 (24)이 테스트에 의해 검출되는 동작을 수행함)는 표시이다. 위에서 기술한 것처럼, 테스트는 이진법 테스트이거나 아닐 수도 있다. 테스트의 상기 결과는 사용자 입력에 좌우될 수 있다. 예를 들어, 만약 상기 사용자가 키패드 (8) 상의 미리 정해진 키를 동시에 누른 경우에만 테스트가 성공의 표시를 보일 수 있다.
첫 번째 실시예와 같이, 테스트는, 예를 들면, 상기 타임 윈도우 동안 상기 대상 (24)이 카메라에 접근하는 것일 수 있다. 본 테스트는 만약 화소 내의 상기 대상의 폭 (23)이 상기 타임 윈도우 동안 증가한다면 성공 표시를 나타낸다. 두 번째 실시예와 같이, 테스트는 예를 들어 대상이 상기 카메라로부터 멀어진 것일 수 있다 (화소 내의 상기 대상의 폭 (23)이 상기 타임 윈도우 동안 감소했다). 테스트의 다른 실시예는 상기 타임 윈도우 동안 상기 대상 (24)이 상기 카메라에 먼저 접근한 다음 상기 카메라에서 멀어진 것, 상기 대상이 관측 공간 (16)에서 사라진 것, 상기 대상이 미리 정해진 경로에서 이동한 것, 상기 대상이 회전한 것, 상기 대상이 고정되어 있는 것, 상기 대상이 이동한 것(어떤 형식의 동작을 수행한 것), 상기 대상이 튕기는 동작을 수행하는 것, 상기 대상이 가속한 것, 상기 대상이 감속한 것, 또는 상기 대상이 이동한 다음 멈추는 것을 포함한다.
상기 메모리 (16)는 각각의 테스트를 위해, 관련 OS 명령을 제공하는 조사표를 저장한다. 테스트가 성공일 때, 상기 테스트와 관련된 상기 OS 명령이 실행된다. 상기 OS 명령은, 예를 들면, 상기 표시 화면상의 가상키를 누르거나, 상기 표시 화면에 나타나는 커서를 화면상의 새로운 지점으로 이동시키거나, 상기 메모리 (16)에 저장된 소프트웨어 애플리케이션을 프로세서 (12)에서 구동하거나, 또는 장치 (2)를 끄는 것일 수 있다. 상기 장치는 상기 OS 명령이 실행되었다는 표시를 제 공할 수 있다. 예를 들면, 상기 가상 키보드 상의 키를 누르는 것과 동등한 OS 명령은 상기 화면 (4) 상의 가상 키보드 상의 키가 눌려진 것을 단순히 보여주거나, 또는 상기 키의 모양을 간단히 변화시킴으로써 표시될 수 있다. OS 명령이 실행되어진 것을 표시하기 위한 다른 가능성은 간단히 확대하거나 또는 다른 방법으로 상기 화면 (4) 상의 눌린 키 또는 상기 커서의 모양을 변화시키고, 상기 화면 (4)에 아이콘(an icon)을 표시하며, 소리를 만들어 내고, 그리고 상기 장치를 진동시키는 것을 포함한다.
상기 관측 공간 (16)은 다른 부분 공간(subspaces) 안의 상기 대상 (24)의 동작에 다른 테스트가 적용되게 하면서, 둘 또는 그 이상의 독립적인 부분 공간으로 나누어질 수 있다.
도 2는 본 발명의 방법에 대한 하나의 실시태양에 따라 OS 명령을 데이터 처리 장치에 입력하기 위한 방법에 대한 흐름도(a flow chart)를 보여준다. 단계 (30)에서 상기 카메라 (6)에 의해 얻은 이미지는 상기 프로세서 (12)의 메모리 (16)에 입력된다. 단계 (31)에서, 미리 정해진 대상 (24)은 상기 이미지 내의 배경 정보를 포함하지 않는 대상 인식 절차를 사용하는 이미지 내에서 식별된다. 단계 (32)에서, 하나 또는 그이상의 이미지 해석 파라미터는 상기 이미지로부터 추출되고 상기 메모리에 저장된다. 단계 (34)에서 동작 검출 테스트가 최근의 타임 윈도우 동안 얻고 메모리 (16)에 저장한 상기 추출된 이미지 해석 파라미터에 적용된다. 단계 (36)에서 상기 테스트의 표시가 결정된다. 만약 상기 표시가 “성공”이라면, 즉 상기 테스트가 테스트에 의해 검출된 동작의 형식을 검출했다면, 다음 단 계 (38)에서, 상기 테스트와 관련한 상기 OS 명령은 상기 메모리 (16)에 저장된 상기 조사표를 검색하고, 단계 (40)에서, 상기 테스트와 관련한 상기 OS 명령은 실행된다. 만약 단계 (36)에서 상기 테스트의 표시가 “실패”라고 결정된다면, 즉 상기 테스트가 테스트에 의해 동작의 형식을 검출하지 않았거나, 또는 단계 (40) 후에, 만약 테스트의 표시가 1이었다면, 상기 프로세스는 또 다른 동작 테스트가 상기 이미지에 적용될 지를 결정하는 단계 (42)로 진행한다. 만약 “예”라면, 상기 프로세스는 또 다른 동작 검출 테스트가 상기 이미지에 적용되면서 단계 (34)로 되돌아간다. 만약 “아니오”라면 (즉 상기 동작 검출 테스트 모두가 현재의 타임 윈도우에 적용되고 있다면) 상기 프로세스는 상기 카메라 (6)에 의해 얻어진 새로운 이미지가 상기 메모리 (16)에 저장면서 단계 (20)로 되돌아간다.
본 발명에 따른 상기 시스템이 적절하게 프로그램된 컴퓨터일 수 있다는 것 또한 이해할 될 수 있다. 마찬가지로, 본 발명은 본 발명의 방법을 수행하도록 컴퓨터에 의해 읽을 수 있는 컴퓨터 프로그램을 의도한다. 본 발명은 본 발명의 방법을 수행하기 위해 기계에 의해 수행 가능한 명령어 프로그램을 유형적으로 구현시키는 기계 가능 메모리(a machine-readable memory)를 추가로 의도한다.

Claims (24)

  1. (a) 관측 공간의 이미지를 캡처하는 비디오카메라; 및 (b) i) 상기 카메라에 의해 얻은 하나 또는 그이상의 이미지에서 이미지의 배경 정보를 포함하지 않는 대상 인식 알고리즘을 사용하여 미리 정해진 대상을 검출하고; ii) 상기 카메라에 의해 얻은 하나 또는 그 이상의 이미지에서 상기 대상의 하나 또는 그 이상의 이미지 해석 파라미터를 추출하며; 그리고 iii) (III) 상기 동작 검출 테스트를 최근 타임 윈도우(time window) 동안 추출된 이미지 해석 파라미터에 적용; 및 (IV) 만약 상기 동작 검출 테스트가 성공이라면 동작 검출 테스트와 관련된 운영 체제(operating system) 명령을 실행하는 각각의 하나 또는 그이상의 동작 검출 테스트를 위해 설정된 프로세서를 포함하는 데이터 처리 장치에 운영 체제(operation system) (OS) 명령을 입력하는 시스템.
  2. 제1항의 시스템에 있어서 상기 카메라에 의해 얻은 하나 또는 그이상의 이미지에서 미리 정해진 대상을 검출하는 단계가 분할 알고리즘을 사용하여 실행되는 것을 특징으로 하는 시스템.
  3. 제1항의 시스템에 있어서 상기 미리 정해진 대상이 손가락이거나 스타일러스(a stylus) 인 것을 특징으로 하는 시스템.
  4. 제1항의 시스템에 있어서 하나 또는 그이상의 이미지 해석 파라미터가 이력에 독립적인 것을 특징으로 하는 것을 특징으로 하는 시스템.
  5. 제1항의 시스템에 있어서 하나 또는 그이상의 상기 이미지 해석 파라미터가 이력에 의존적인 것을 특징으로 하는 시스템.
  6. 제1항의 시스템에 있어서 하나 또는 그 이상의 상기 이미지 해석 파라미터가 (a) 이미지 내의 상기 대상의 팁(a tip)의 위치; (b) 이미지 내의 상기 대상의 폭; (c) 이미지 내의 상기 대상의 길이; (d) 이미지 내의 상기 대상의 방향; (e) 상기 카메라에 의해 이미지가 얻어지는 시간에서의 상기 대상의 속도 (f) 상기 카메라에 의해 이미지가 얻어지는 시간에서의 상기 대상의 폭 변화 (g) 상기 카메라에 의해 이미지가 얻어지는 시간에서의 상기 대상의 회전속도 (h) 상기 대상이 상기 이미지에서 검출된다면 첫 번째 값을 그리고 상기 대상이 상기 이미지에서 검출되지 않는다면 두 번째 값을 갖는 이미지 해석 파라미터로부터 선택되는 것임을 특징으로 하는 시스템.
  7. 제1항의 시스템에 있어서 하나 또는 그이상의 상기 동작 검출 테스트는 (a) 상기 타임 윈도우 동안 상기 카메라에 접근하는 상기 대상; (b) 상기 타임 윈도우 동안 상기 카메라로부터 멀어지는 상기 대상; (c) 상기 타임 윈도우 동안 상기 카메라에 접근한 다음 카메라로부터 멀어지는 상기 대상; (d) 상기 타임 윈도우 동안 먼저 상기 카메라의 상기 관측 공간에서 사라지는 상기 대상; (e) 상기 타임 윈도우 동안 미리 정해진 경로로 이동하는 상기 대상; (f) 상기 타임 윈도우 동안 회전하는 상기 대상, (g) 상기 타임 윈도우 동안 고정된 상기 대상, (h) 상기 타임 윈도우 동안 이동하는 상기 대상; (i) 상기 타임 윈도우 동안 튕기는 동작을 수행하는 상기 대상; (j) 상기 타임 윈도우 동안 가속하는 상기 대상; (k) 상기 타임 윈도우 동안 감속하는 상기 대상; (l) 상기 타임 윈도우 동안 이동한 다음 멈추는 상기 대상으로부터 선택된 동작을 검출하는 동작 검출 테스트인 것을 특징으로 하는 시스템.
  8. 제7항의 시스템에 있어서 하나 또는 그이상의 상기 동작 검출 테스트는 상기 타임 윈도우 동안 미리 정해진 경로로 이동하는 상기 대상을 검출하는 동작 검출 테스트인 것을 특징으로 하는 시스템.
  9. 상기 청구항들 중 어느 하나의 항의 시스템에 있어서 하나 또는 그이상의 상기 OS 명령은: (a) 화면상에 표시된 가상키를 누르는 단계; (b) 화면상에 나타난 커서를 이동시키는 단계 (c) 소프트웨어 애플리케이션을 프로세서에서 구동하는 단계; (d) 불을 켜거나 끄는 단계; (e) 상기 시스템을 끄는 단계; (f) 화면상의 영상을 확대하거나 축소하는 단계; (g) 라디오나 다른 엔터테인먼트 기기를 조정하는 단계; (h) 의료 장치를 조정하는 단계; 및 (i) 애플리케이션 기기에 명령을 전달하는 단계로부터 선택되는 것을 특징으로 하는 시스템.
  10. 상기 청구항들 중 어느 하나의 항의 운영 체제 (OS) 명령을 입력하기 위한 시스템을 포함하는 데이터 처리 장치.
  11. 제10항에 따른 데이터 처리 장치에 있어서, 개인용 컴퓨터 (PC), 휴대용 컴퓨터, PDA, 랩탑, 팜 플로트(a palm plot), 또는 이동 전화, 라디오, 디지털 카메라, 비이클(a vehicle), 의료 장치, 스마트 홈 기구, 및 휴대 게임기로부터 선택된 것을 특징으로 하는 데이터 처리 장치.
  12. 관측 공간의 이미지를 캡처하는 비디오카메라가 있는 데이터 처리 장치에 운영 체제 (OS) 명령을 입력하기 위해: (a) 이미지의 배경 정보를 포함하지 않는 대상 인식 알고리즘을 사용하는 상기 카메라에 의해 얻은 하나 또는 그이상의 이미지에서 미리 정해진 대상을 검출하는 단계; (b) 상기 카메라에 의한 상기 하나 또는 그이상의 이미지에서 상기 대상의 하나 또는 그이상의 이미지 해석 파라미터를 추출하는 단계; 및 (c) 각각의 하나 또는 그이상의 동작 검출 테스트를 위해: i) 상기 동작 검출 테스트를 최근 타임 윈도우 동안 추출된 이미지 해석 파라미터에 적용하는 단계; 및 ii) 만약 상기 동작 검출 테스트가 성공이라면 상기 동작 검출 테스트와 관련된 운영 체제(operating system) 명령을 수행하는 단계를 포함하는 방법.
  13. 제12항의 방법에 있어서 상기 카메라에 의해 얻은 하나 또는 그이상의 이미지에서 미리 정해진 대상을 검출하는 단계가 분할 알고리즘을 사용하여 실행되는 것을 특징으로 하는 방법.
  14. 제12항의 방법에 있어서 상기 미리 정해진 대상이 하나 또는 그이상의 손가락 또는 스타일러스인 것을 특징으로 하는 방법.
  15. 제12항 내지 제14항의 어느 하나의 항의 방법에 있어서 하나 또는 그이상의 상기 이미지 해석 파라미터는 이력에 독립적인 것임을 특징으로 하는 방법.
  16. 제12항 내지 제14항의 어느 하나의 항의 방법에 있어서 하나 또는 그이상의 상기 이미지 해석 파라미터는 이력에 의존적인 것임을 특징으로 하는 방법.
  17. 제12항의 방법에 있어서 하나 또는 그이상의 상기 이미지 해석 파라미터가 (a) 이미지 내의 상기 대상의 팁의 위치; (b) 이미지 내의 상기 대상의 폭; (c) 이미지 내의 상기 대상의 길이; (d) 이미지 내의 상기 대상의 방향; (e) 상기 카메라에 의해 상기 이미지가 얻어진 시간에서 상기 대상의 속도; (f) 상기 카메라에 의해 상기 이미지가 얻어진 시간에서 상기 대상의 변화; (g) 상기 카메라에 의해 상기 이미지가 얻어진 시간에서 상기 대상의 회전 속도; (h) 만약 상기 이미지 내에서 상기 대상이 검출된다면 첫 번째 값을 그리고 만약 상기 이미지 내에서 상기 대 상이 검출되지 않는다면 두 번째 값을 가지는 이미지 해석 파라미터로부터 선택되는 것임을 특징으로 하는 방법.
  18. 제12항 내지 제17항 중 어느 하나의 항의 방법에 있어서 하나 또는 그 이상의 상기 동작 검출 테스트가: (a) 상기 타임 윈도우 동안 상기 카메라에 접근하는 상기 대상; (b) 상기 타임 윈도우 동안 상기 카메라로부터 멀어지는 상기 대상; (c) 상기 타임 윈도우 동안 상기 카메라에 접근한 다음 카메라로부터 멀어지는 상기 대상; (d) 상기 타임 윈도우 동안 먼저 상기 카메라의 상기 관측 공간에서 사라지는 상기 대상; (e) 상기 타임 윈도우 동안 미리 정해진 경로로 이동하는 상기 대상; (f) 상기 타임 윈도우 동안 회전하는 상기 대상, (g) 상기 타임 윈도우 동안 고정된 상기 대상, (h) 상기 타임 윈도우 동안 이동하는 상기 대상; (i) 상기 타임 윈도우 동안 튕기는 동작을 수행하는 상기 대상; (j) 상기 타임 윈도우 동안 가속하는 상기 대상; (k) 상기 타임 윈도우 동안 감속하는 상기 대상; (l) 상기 타임 윈도우 동안 이동한 다음 멈추는 상기 대상으로부터 선택되는 동작을 검출하는 동작 검출 테스트인 것을 특징으로 하는 방법.
  19. 제18항의 방법에 있어서 하나 또는 그이상의 상기 동작 검출 테스트는 상기 타임 윈도우 동안 미리 정해진 경로로 이동하는 상기 대상을 검출하는 동작 검출 테스트임을 특징으로 하고, 상기 미리 정해진 경로는 문자와 숫자로 이루어진 기호(an alphanumeric character)를 따라 추적하는 것임을 특징으로 하는 방법.
  20. 제12항 내지 제19항의 어느 한 항의 방법에 있어서 하나 또는 그이상의 상기 OS 명령은: (a) 화면상에 표시된 가상키를 누르는 단계; (b) 화면상에 나타난 커서를 이동하는 단계; (c) 소프트웨어 애플리케이션을 프로세서로 구동하는 단계; (d) 불을 켜거나 끄는 단계; (e) 상기 시스템을 끄는 단계; (f) 화면상의 영상을 확대하거나 축소하는 단계; (g) 라디오나 다른 엔터테인먼트 기기를 조정하는 단계; (h) 의료 장치를 조정하는 단계; 및 (i) 애플리케이션(an application)에 명령을 전달하는 단계로부터 선택된 것임을 특징으로 하는 방법.
  21. 관측 공간의 이미지를 캡처하는 비디오카메라가 있는 데이터 처리 장치에 운영 체제 (OS) 명령을 입력하기 위한 방법 단계를 수행하기 위해 기계에 의해 실행 가능한 명령어 프로그램(a programe of instructions)을 유형적으로 구현하는 기계에 의해 프로그램 기억 장치에 있어서, 상기 방법은: (a) 이미지의 배경 정보를 포함하지 않는 대상 인식 알고리즘을 사용하는 상기 카메라에 의해 얻은 하나 또는 그이상의 이미지에서 미리 정해진 대상을 검출하는 단계; (b) 상기 카메라에 의한 상기 하나 또는 그이상의 이미지에서 상기 대상의 하나 또는 그이상의 이미지 해석 파라미터를 추출하는 단계; 및 (c) 각각의 하나 또는 그이상의 동작 검출 테스트를 위해: i) 상기 동작 검출 테스트를 최근 타임 윈도우 동안 추출된 이미지 해석 파라미터에 적용하는 단계; 및 ii) 만약 상기 동작 검출 테스트가 성공이라면 상기 동작 검출 테스트와 관련된 운영 체제(operating system) 명령을 추출하는 단계을 포함하는 방법.
  22. 관측 공간의 이미지를 캡처하는 비디오카메라가 있는 데이터 처리 장치에 운영 체제 (OS) 명령어를 입력하기 위한 컴퓨터로 사용가능한 매체 안에서 구현되는 컴퓨터로 읽을 수 있는 프로그램 코드를 포함하는 컴퓨터 프로그램 제품에 있어서, 상기 컴퓨터가 이미지의 배경 정보를 포함하지 않는 대상 인식 알고리즘을 사용하여 상기 카메라에 의해 얻어진 하나 또는 그이상의 이미지에서 미리 정해진 대상을 검출하도록 하기 위한 컴퓨터로 읽을 수 있는 프로그램 코드; 상기 컴퓨터가 카메라에 의해 얻은 상기 하나 또는 그이상의 이미지에서 상기 대상의 하나 또는 그이상의 이미지 해석 파라미터를 추출하도록 하기 위한 컴퓨터가 읽을 수 있는 프로그램 코드; 그리고 상기 컴퓨터가, 각각의 하나 또는 그이상의 동작 검출 테스트에 대해,: 최근의 타임 윈도우 동안에 추출된 이미지 해석 파라미터에 상기 동작 검출 테스트를 적용하도록 하며; 그리고 만약 상기 동작 검출 테스트가 성공이라면 상기 동작 검출 테스트와 관련된 운영 체제(operating system) 명령을 추출하도록 하기위한 컴퓨터가 읽을 수 있는 프로그램 코드를 포함하는 컴퓨터 프로그램 제품.
  23. 컴퓨터상에서 상기 프로그램이 구동될 때 제12항 내지 제20항 중 어느 하나의 항의 모든 단계를 수행하기 위한 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램.
  24. 제 24항에 따르는 컴퓨터 프로그램에 있어서 컴퓨터로 읽을 수 있는 매체에 구현되는 것을 특징으로 하는 컴퓨터 프로그램.
KR1020067022017A 2004-03-22 2005-03-22 사용자 명령을 프로세서에 입력하기 위한 시스템 및 방법 KR20070031292A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020067022017A KR20070031292A (ko) 2004-03-22 2005-03-22 사용자 명령을 프로세서에 입력하기 위한 시스템 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IL161002 2004-03-22
KR1020067022017A KR20070031292A (ko) 2004-03-22 2005-03-22 사용자 명령을 프로세서에 입력하기 위한 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20070031292A true KR20070031292A (ko) 2007-03-19

Family

ID=43655655

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067022017A KR20070031292A (ko) 2004-03-22 2005-03-22 사용자 명령을 프로세서에 입력하기 위한 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20070031292A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012060598A2 (ko) * 2010-11-04 2012-05-10 주식회사 매크론 가상마우스 구동방법
KR101374720B1 (ko) * 2013-07-15 2014-03-17 전자부품연구원 손동작 기반 가상 마우스 제어장치 및 그 방법
KR20190021426A (ko) * 2016-06-30 2019-03-05 스냅 인코포레이티드 비디오 스트림에서 객체 모델링 및 대체

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012060598A2 (ko) * 2010-11-04 2012-05-10 주식회사 매크론 가상마우스 구동방법
WO2012060598A3 (ko) * 2010-11-04 2012-09-13 주식회사 매크론 가상마우스 구동방법
KR101374720B1 (ko) * 2013-07-15 2014-03-17 전자부품연구원 손동작 기반 가상 마우스 제어장치 및 그 방법
US9430039B2 (en) 2013-07-15 2016-08-30 Korea Electronics Technology Institute Apparatus for controlling virtual mouse based on hand motion and method thereof
KR20190021426A (ko) * 2016-06-30 2019-03-05 스냅 인코포레이티드 비디오 스트림에서 객체 모델링 및 대체
KR20200092426A (ko) * 2016-06-30 2020-08-03 스냅 인코포레이티드 비디오 스트림에서 객체 모델링 및 대체
KR20210010640A (ko) * 2016-06-30 2021-01-27 스냅 인코포레이티드 비디오 스트림에서 객체 모델링 및 대체

Similar Documents

Publication Publication Date Title
US11137834B2 (en) Vehicle system and method for detection of user motions performed simultaneously
US10126826B2 (en) System and method for interaction with digital devices
JP4965653B2 (ja) 視覚ディスプレイのためのバーチャルコントローラ
US10095033B2 (en) Multimodal interaction with near-to-eye display
KR100947990B1 (ko) 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
KR101514169B1 (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
CN104583906A (zh) 便携式设备的输入方法和装置
JP2013164834A (ja) 画像処理装置および方法、並びにプログラム
KR20080031967A (ko) 움직임 패턴 식별 장치 및 방법
CN106843669A (zh) 应用界面操作方法和装置
CN107797748B (zh) 虚拟键盘输入方法和装置及机器人
CN113194253A (zh) 去除图像反光的拍摄方法、装置和电子设备
CN111984124A (zh) 一种舞台灯光控台的操作方法、介质及舞台灯光控台
KR20070031292A (ko) 사용자 명령을 프로세서에 입력하기 위한 시스템 및 방법
CN112437231B (zh) 图像拍摄方法和装置、电子设备及存储介质
Ling et al. Secure fingertip mouse for mobile devices
KR20210040435A (ko) 제스처 인식 방법, 제스처 처리 방법 및 장치
Heckenberg et al. MIME: A gesture-driven computer interface
KR100701772B1 (ko) 단말기의 움직임 인식 시스템 및 방법
Singh et al. Real Time Virtual Mouse System Using Hand Tracking Module Based on Artificial Intelligence
Huerta et al. Hand Gesture Recognition With a Novel Particle Filter
CN116954367A (zh) 一种虚拟现实的交互方法、系统及设备
CN117406905A (zh) 触控区域分类方法、装置、电子设备及计算机可读介质
Narvekar et al. Design of Human Computer Interaction using Image Recognition and Gesture Movements
Narvekar et al. Smart Eye for Computer Application

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B601 Maintenance of original decision after re-examination before a trial
J801 Dismissal of trial

Free format text: REJECTION OF TRIAL FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20110930

Effective date: 20120723