KR100663515B1 - 휴대 단말 장치 및 이를 위한 데이터 입력 방법 - Google Patents

휴대 단말 장치 및 이를 위한 데이터 입력 방법 Download PDF

Info

Publication number
KR100663515B1
KR100663515B1 KR1020040090574A KR20040090574A KR100663515B1 KR 100663515 B1 KR100663515 B1 KR 100663515B1 KR 1020040090574 A KR1020040090574 A KR 1020040090574A KR 20040090574 A KR20040090574 A KR 20040090574A KR 100663515 B1 KR100663515 B1 KR 100663515B1
Authority
KR
South Korea
Prior art keywords
data
user input
input means
image
user
Prior art date
Application number
KR1020040090574A
Other languages
English (en)
Other versions
KR20060041094A (ko
Inventor
하태영
김동한
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040090574A priority Critical patent/KR100663515B1/ko
Priority to US11/266,794 priority patent/US8311370B2/en
Priority to CNB2005101156821A priority patent/CN100383717C/zh
Priority to EP05024328A priority patent/EP1655659A3/en
Publication of KR20060041094A publication Critical patent/KR20060041094A/ko
Application granted granted Critical
Publication of KR100663515B1 publication Critical patent/KR100663515B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Abstract

본 발명은 가상 입력 장치를 투영하지 않고 2차원의 이미지 센서 하나만으로 사용자 입력 수단의 움직임을 검출 및 분석하여 가상 입력 장치의 데이터를 입력 받는 방법 및 장치에 관한 것이다. 이를 위하여 본 발명에 따라 가상 입력 장치를 이용하여 사용자 입력 수단으로부터 데이터를 입력 받는 휴대 단말 장치는, 상기 사용자 입력 수단의 이미지를 인식하여 이미지 데이터를 출력하는 이미지 인식부; 상기 이미지 데이터로부터 상기 사용자 입력 수단의 위치 데이터와 움직임 데이터를 검출하는 이미지 분석부; 상기 검출된 사용자 입력 수단의 상기 위치 데이터와 상기 움직임 데이터로부터 상기 가상 입력 장치에서 입력된 데이터를 판별하는 데이터 입력 판단부; 상기 사용자 입력 수단의 이미지 데이터를 상기 가상 입력 장치와 함께 화면에 표시하는 화면 표시부; 및 상기 가상 입력 장치의 크기와 상기 사용자 입력 수단의 움직임의 범위의 비례치에 따라 상기 사용자 입력 수단의 움직임 범위를 초기화하고, 상기 가상 입력 장치의 종류에 따른 상기 사용자 입력 수단의 상기 데이터 입력을 위한 특징 이미지를 초기화하는 초기 설정부를 구비하는 것을 특징으로 한다.
휴대 단말 장치, 가상 입력 장치, 이미지 센서, 광류

Description

휴대 단말 장치 및 이를 위한 데이터 입력 방법{A portable terminal apparatus and method for inputting data for the portable terminal apparatus}
도 1은 종래에 휴대 단말 장치와 외부 입력 장치의 연결 구성도.
도 2는 종래에 가상 입력 장치를 이용하는 휴대 단말 장치의 구성도.
도 3은 본 발명에 따른 휴대 단말 장치의 구성도.
도 4는 본 발명에 따른 사용자 입력 수단의 이미지 초기화 작업을 위해 화면에 표시되는 예를 나타내는 도면.
도 5는 본 발명에 따른 사용자 입력 수단의 움직임 범위 초기화 작업의 예를 나타내는 도면.
도 6은 본 발명에 따른 사용자 입력 수단의 움직임 범위 초기화 작업을 위해 화면에 표시되는 예를 나타내는 도면.
도 7은 본 발명에 따른 사용자 입력 수단의 움직임 범위 초기화 작업을 위해 사용자가 동작하는 예를 나타내는 도면.
도 8은 도 3의 이미지 분석부의 세부 구성도.
도 9는 본 발명에 따라 인식된 원본 이미지 데이터의 일 예를 나타내는 도면.
도 10은 본 발명에 따라 경계 검출된 이미지 데이터의 일 예를 나타내는 도면.
도 11은 본 발명에 따라 인식된 원본 이미지 데이터의 다른 예를 나타내는 도면.
도 12는 본 발명에 따라 색 검출된 이미지 데이터의 예를 나타내는 도면.
도 13은 본 발명에 따라 경계 검출된 이미지 데이터의 다른 예를 나타내는 도면.
도 14는 본 발명에 따라 최종 위치 검출된 이미지 데이터의 일 예를 나타내는 도면.
도 15는 본 발명에 따라 광류를 분석한 예를 나타내는 도면.
도 16은 본 발명에 따라 가상 입력 장치를 이용하여 데이터를 입력하는 방법의 흐름도.
본 발명은 휴대 단말 장치 및 이를 위한 데이터 입력 방법에 관한 것으로, 보다 상세하게는 가상 입력 장치를 투영하지 않고 2차원의 이미지 센서 하나만으로 사용자 입력 수단의 움직임을 검출 및 분석하여 가상 입력 장치의 데이터를 입력 받는 방법 및 장치에 관한 것이다.
일반적으로 휴대 단말 장치의 입력 장치는 휴대 장치의 소형화로 인해 입력이 한정적이다. 이에 사용자가 좀 더 확장된 입력 장치를 요구할 경우에는 휴대 단말 장치의 외부에 확장 입력 장치를 연결하여 사용하여야 한다. 종래의 외부 입력 장치에는 쿼티(Qwerty) 키보드가 대표적이며 가상의 입력 장치도 존재한다.
외부 입력 장치는 도 1과 같이 휴대 단말 장치(11) 내의 통신 단자를 이용하여 휴대 단말 장치(11)와 연결되고, 유선 통신이나 무선 통신으로 정보를 교환한다. 이러한 방법은 사용자가 외부 입력 장치(12)를 항상 휴대하고 다녀야 하며, 외부 입력 장치와 휴대 장치와의 통신을 연결하는 수단(13)이 필요하여, 사용자의 편리성 및 휴대성 등의 요구를 만족시키지 못하는 문제점이 있다.
한편, 외부 입력 장치가 가상 입력 장치일 경우에는 도 2와 같이 휴대 단말 장치(21)에 구비된 영사기(27)에서 가상 입력 장치(22)의 영상을 투영하고, 사용자가 가상 입력 장치(22)에 타이핑을 하면 사용자 손(26)의 움직임을 센서(23 내지 25)가 인식하여 입력 데이터를 판단한다. 이러한 방법은 가상 입력 장치(22)를 투영하기 위한 영사기(27)와 손(26)의 움직임을 인식하는 센서(23 내지 25)가 추가적으로 필요하며 센서(23 내지 25)가 손(26)의 움직임을 얼마나 정확하게 인식하느냐가 중요하다. 이에 종래에 가상 입력 장치를 이용하여 데이터를 입력 받는 휴대 단말 장치는 도 2와 같이 여러 개의 센서를 구비하여 3차원으로 손의 움직임을 인식하여 처리하는 것이 일반적이다. 그러나 이와 같이 휴대 단말 장치가 영사기와 여러 개의 센서를 구비하는 경우에는 제품의 구성이 복잡해져 휴대 단말 장치임에도 불구하고 사용자에게 사용의 편리함을 제공하기 어렵게 되고, 구성요소가 증가하므 로 가격이 상승하며, 영사기와 센서의 위치에 따라 가상 입력 장치의 사용이 제한되는 문제점이 있다.
상술한 문제점을 해결하기 위하여 본 발명의 목적은 휴대 단말 장치의 외부에 추가적인 입력 장치를 연결하지 않고 가상 입력 장치를 이용하여 데이터를 입력 받는데 있다.
본 발명의 다른 목적은, 휴대 단말 장치에서 가상 입력 장치의 영상을 투영하지 않고 휴대 단말 장치 사용자의 동작 및 움직임을 분석하여 데이터를 입력 받는데 있다.
본 발명의 또 다른 목적은, 휴대 단말 장치에 2차원의 이미지 센서를 구비하여 사용자의 동작 및 움직임을 인식함으로써 가상으로 데이터를 입력 받는데 있다.
이를 위하여, 본 발명의 제 1 실시 예에 따라 가상 입력 장치를 이용하여 사용자 입력 수단으로부터 데이터를 입력 받는 휴대 단말 장치는, 상기 사용자 입력 수단의 이미지를 인식하여 이미지 데이터를 출력하는 이미지 인식부; 상기 이미지 데이터로부터 상기 사용자 입력 수단의 위치 데이터와 움직임 데이터를 검출하는 이미지 분석부; 상기 검출된 사용자 입력 수단의 상기 위치 데이터와 상기 움직임 데이터로부터 상기 가상 입력 장치에서 입력된 데이터를 판별하는 데이터 입력 판 단부; 상기 사용자 입력 수단의 이미지 데이터를 상기 가상 입력 장치와 함께 화면에 표시하는 화면 표시부; 및 상기 가상 입력 장치의 크기와 상기 사용자 입력 수단의 움직임의 범위의 비례치에 따라 상기 사용자 입력 수단의 움직임 범위를 초기화하고, 상기 가상 입력 장치의 종류에 따른 상기 사용자 입력 수단의 상기 데이터 입력을 위한 특징 이미지를 초기화하는 초기 설정부를 구비하는 것을 특징으로 한다.
그리고 상기 이미지 분석부는, 상기 이미지 데이터에 대한 경계 검출을 통해 상기 사용자 입력 수단의 상기 위치 데이터를 검출하는 경계 검출부; 상기 이미지 데이터에 대한 색 검출을 통해 상기 사용자 입력 수단의 상기 위치 데이터를 검출하는 색 검출부; 및 상기 이미지 데이터에 대한 광류 분석을 통해 상기 사용자 입력 수단의 상기 움직임 데이터를 검출하는 광류 분석부를 구비하며, 상기 광류 분석부는 상기 이미지 데이터의 복수 개의 프레임으로부터 광류의 변화율을 분석한다.
한편, 상기 초기 설정부는 상기 비례치를 상기 화면 표시부에 표시된 지점과 상기 사용자 입력 수단으로부터 입력된 상기 지점의 데이터를 이용하여 계산하고; 상기 데이터 입력 판단부는 상기 광류 변화율이 상기 사용자 입력 수단의 상기 데이터 입력을 위한 움직임을 구별할 수 있는 임계값 이상이면 상기 사용자 입력 수단으로부터 상기 데이터가 입력된 것으로 판별하며; 상기 이미지 인식부는 2차원의 이미지 센서인 것을 특징으로 한다.
그리고 본 발명의 제 2 실시 예에 따라, 이미지 인식 수단과 화면 표시 수단 을 구비하는 휴대 단말 장치에서 가상 입력 장치를 이용하여, 사용자가 데이터를 입력할 때 사용하는 사용자 입력 수단으로부터 상기 데이터를 입력 받는 방법은, 상기 화면 표시 수단의 크기와 상기 사용자 입력 수단의 움직임의 범위의 비례치에 따라 상기 사용자 입력 수단의 움직임 범위를 초기화하고, 상기 가상 입력 장치의 종류에 따른 상기 사용자 입력 수단의 상기 데이터 입력을 위한 특징 이미지를 초기화하는 과정; 상기 이미지 인식 수단으로부터 인식되는 상기 사용자 입력 수단의 이미지 데이터로부터, 상기 사용자 입력 수단의 상기 데이터 입력을 위한 특징 이미지의 위치 데이터를 검출하고, 상기 데이터 입력을 위한 특징 이미지에 대한 광류 분석을 통해 상기 사용자 입력 수단의 움직임 데이터를 검출하는 과정; 및 상기 사용자 입력 수단의 상기 위치 데이터와 상기 움직임 데이터로부터 상기 입력된 데이터를 판별하는 과정을 포함하는 것을 특징으로 한다.
상기 사용자 입력 수단의 움직임 범위 초기화 과정에서는, 상기 화면 표시 수단에 표시된 지점과 상기 사용자 입력 수단으로부터 입력된 상기 지점의 이미지 데이터를 이용하여 상기 비례치를 계산한다. 그리고 상기 사용자 입력 수단의 상기 위치 데이터 검출 과정은, 상기 이미지 데이터에 대한 경계 검출을 통해 상기 사용자 입력 수단의 상기 위치 데이터를 검출하거나, 상기 이미지 데이터에 대한 색 검출을 통해 상기 사용자 입력 수단의 상기 위치 데이터를 검출하는 것을 특징으로 하고, 상기 사용자 입력 수단의 상기 움직임 데이터 검출 과정은, 상기 이미지 데이터의 복수 개의 프레임으로부터 광류의 변화율을 분석하여 상기 사용자 입력 수단의 움직임을 검출하는 것을 특징으로 한다.
상기 입력된 데이터의 판별은, 상기 광류 변화율이 상기 사용자 입력 수단의 상기 데이터 입력을 위한 움직임을 구별할 수 있는 임계값 이상이면 상기 사용자 입력 수단으로부터 상기 데이터가 입력된 것으로 판별하고, 상기 이미지 인식 수단은 2차원의 이미지 센서인 것을 특징으로 한다.
그리고 본 발명의 제 2 실시 예는 상기 사용자 입력 수단의 움직임 범위와 상기 사용자 입력 수단의 상기 데이터 입력을 위한 특징 이미지 초기화 과정 후, 상기 사용자 입력 수단의 움직임 범위와 상기 사용자 입력 수단의 상기 데이터 입력을 위한 특징 이미지 초기화 과정의 반복 여부를 확인하는 과정과; 상기 사용자 입력 수단의 움직임 범위 초기화 과정 이전에, 상기 가상 입력 장치의 종류를 선택하도록 메뉴를 제공하는 과정; 상기 입력된 데이터를 판별하는 과정 후, 상기 판별된 데이터를 사용자에게 알리는 과정; 및 상기 사용자에게 상기 판별된 데이터를 확인하도록 메뉴를 제공하는 과정을 더 포함하는 것을 특징으로 한다.
본 발명의 제 3 실시 예에 따라 가상 입력 장치를 이용하여 사용자 입력 수단으로부터 데이터를 입력 받는 휴대 단말 장치는, 상기 사용자 입력 수단의 이미지를 인식하여 이미지 데이터를 출력하는 이미지 인식부; 상기 이미지 데이터로부터 상기 사용자 입력 수단의 위치와 움직임을 검출하는 이미지 분석부; 상기 검출된 사용자 입력 수단의 위치와 움직임으로부터 상기 가상 입력 장치에서 입력된 데이터를 판별하는 데이터 입력 판단부; 및 상기 사용자 입력 수단의 이미지와 움직임 범위를 초기화하는 초기 설정부를 구비하는 것을 특징으로 한다. 그리고 상기 가상 입력 장치의 형태를 화면에 표시하는 화면 표시부를 더 구비할 수 있다. 여기 서 상기 초기 설정부는, 상기 화면 표시부에 표시된 지점들에 대한 상기 사용자 입력 수단의 움직임의 범위의 비례치에 따라 상기 사용자 입력 수단의 움직임 범위를 초기화한다.
한편, 상기 이미지 분석부는, 상기 이미지 데이터에 대한 경계 검출을 통해 상기 사용자 입력 수단의 상기 위치를 검출하는 경계 검출부; 상기 이미지 데이터에 대한 색 검출을 통해 상기 사용자 입력 수단의 상기 위치를 검출하는 색 검출부; 및 상기 이미지 데이터에 대한 광류 분석을 통해 상기 사용자 입력 수단의 상기 움직임을 검출하는 광류 분석부를 구비하는 것을 특징으로 한다. 특히, 상기 광류 분석부는 상기 이미지 데이터의 복수 개의 프레임으로부터 광류의 변화율을 분석한다. 상기 데이터 입력 판단부는, 이러한 광류 변화율이 상기 사용자 입력 수단의 상기 데이터 입력을 위한 움직임을 구별할 수 있는 임계값 이상이면 상기 사용자 입력 수단으로부터 상기 데이터가 입력된 것으로 판별한다.
본 발명의 제 4 실시 예에 따라 이미지 인식 수단과 화면 표시 수단을 구비하는 휴대 단말 장치에서 가상 입력 장치를 이용하여 사용자 입력 수단으로부터 상기 데이터를 입력 받는 방법은, 상기 사용자 입력 수단의 이미지와 움직임 범위를 초기화하는 과정; 상기 사용자 입력 수단의 이미지를 인식하는 과정; 상기 인식되는 상기 사용자 입력 수단의 이미지로부터 상기 사용자 입력 수단의 위치와 움직임을 검출하는 과정; 및 상기 사용자 입력 수단의 상기 위치와 움직임으로부터 상기 입력된 데이터를 판별하는 과정을 포함하는 것을 특징으로 한다.
상기 초기화 과정은 상기 화면 표시 수단의 크기와 상기 사용자 입력 수단의 움직임의 범위의 비례치에 따라 상기 사용자 입력 수단의 움직임 범위를 초기화하고, 상기 사용자 입력 수단의 움직임 범위 초기화 과정은 상기 화면 표시 수단에 표시된 지점과 상기 사용자 입력 수단으로부터 입력된 상기 지점의 이미지 데이터를 이용하여 상기 비례치를 계산하는 것을 특징으로 한다.
또한, 상기 초기화 과정은 상기 가상 입력 장치의 종류에 따라 상기 사용자 입력 수단의 특징 이미지를 초기화한다.
한편, 상기 사용자 입력 수단의 상기 위치 검출 과정은 상기 이미지에 대한 경계 검출을 통해 수행되거나, 상기 이미지에 대한 색 검출을 통해 수행되고, 상기 사용자 입력 수단의 상기 움직임 검출 과정은 상기 이미지의 복수 개의 프레임으로부터 광류의 변화율을 분석하여 상기 사용자 입력 수단의 움직임을 검출하는 것을 특징으로 한다.
상기 입력된 데이터를 판별하는 과정은, 상기 광류 변화율이 상기 사용자 입력 수단의 상기 데이터 입력을 위한 움직임을 구별할 수 있는 임계값 이상이면 상기 사용자 입력 수단으로부터 상기 데이터가 입력된 것으로 판별하는 것을 특징으로 한다.
한편, 본 발명에서의 가상 입력 장치란, 휴대 단말 장치에 하드웨어로 구비되어 있는 버튼이나 마우스 패드, 또는 터치 스크린 등 사용자가 사용자 입력 수단으로 직접 데이터를 입력할 수 있는 입력 장치를 의미하는 것이 아니라, 휴대 단말 장치에 하드웨어로 구성되어 있지는 않지만 종래의 입력 장치와 유사한 형태의 입력 장치가 휴대 단말의 외부에 가상으로 존재한다고 여겨지는 입력 장치이다. 그러 므로 눈으로 보여지지 않는 가상 입력 장치를 이용하기 위해서는 가상 입력 장치에서 데이터를 입력하는 사용자 입력 수단의 이미지를 인식하는 것이 필수적이다.
또한 본 발명에서 사용자 입력 수단이란, 가상 입력 장치에 데이터를 입력하는 사용자의 손이나 손가락 등의 신체 일부, 그리고 손으로 잡고 움직일 수 있는 펜이나 막대 모양의 물건 등 사용자가 데이터를 입력하는데 이용하는 수단을 일컫는다.
이하, 본 발명의 바람직한 실시 예를 첨부 도면을 참조하여 보다 상세하세 설명한다.
본 발명에 따른 휴대 단말 장치는, 도 3에 도시된 바와 같이 이미지 인식부(31), 초기 설정부(32), 이미지 분석부(33), 화면 표시부(34), 및 데이터 입력 판단부(35)를 구비한다.
이미지 인식부(31)는 2차원의 이미지 센서로서, 사용자 입력 수단의 동작 및 움직임을 인식한다.
데이터 입력 판단부(35)는 사용자가 가상 입력 장치를 이용하고자 하면 가상 입력 장치의 종류를 선택하도록 하고, 선택된 가상 입력 장치의 종류에 따라 초기 설정부(32)를 제어한다. 이러한 가상 입력 장치의 종류 선택 과정은 사용자가 아직 가상 입력 장치를 사용할 수 없는 상태에서 수행되므로 휴대 단말 장치의 임의의 키나 음성 인식을 이용하여 수행되는 것이 바람직하다. 그리고 휴대 단말 장치에 따라 이용되는 가상 입력 장치의 종류가 하나이면 이러한 과정은 생각될 수 있다. 가상 입력 장치의 종류에는 키보드, 마우스, 조이스틱, 및 리모트 컨트롤러 등 휴 대 단말 장치에서 필요로 하는 데이터의 조합으로 이루어진 것이면 어느 것이든 가능하다.
초기 설정부(32)는 사용자가 가상 입력 장치를 이용하여 데이터를 입력하기 전에 이미지 인식부(31)와 연계하여 입력되는 사용자 입력 수단의 이미지와 움직임 범위를 미리 인식하여 초기화한다. 본 발명은 가상 입력 장치를 영사하지 않고 사용자 입력 수단의 움직임을 분석해야 하므로 가상 입력 장치를 통하여 데이터를 입력 받기 전에 미리 사용자 입력 수단의 이미지와 위치를 인식해 놓는 것이 중요하다. 이는 사용자가 화면 표시부(34)에 표시되는 사용자 입력 수단의 이미지와 가상 입력 장치를 보면서 데이터를 입력할 때 발생할 수 있는 오차를 최소로 줄이기 위함이다.
초기화 작업은, 사용자 입력 수단의 종류에 따라 사용자 입력 수단의 움직임으로부터 데이터 입력을 위한 움직임을 용이하게 구별하기 위해 사용자 입력 수단의 이미지를 초기화하는 사용자 입력 수단의 이미지 초기화 작업과, 사용자 입력 수단이 움직이는 범위를 설정하는 사용자 입력 수단의 움직임 범위 초기화 작업이 있다.
먼저 사용자 입력 수단의 이미지 초기화 작업은, 선택된 가상 입력 장치의 종류에 따라 사용자 입력 수단의 종류가 결정되고 사용자별로 사용자 입력 수단의 크기와 모양에 차이가 있으므로 이를 정확히 인식하고자 데이터 입력 과정 전에 사용자 입력 수단의 이미지를 미리 인식해 놓는 것이다. 그리고 이때 가상 입력 장치의 종류별로 사용자 입력 수단에서 특히 데이터 입력에 필요한 부분의 특징만을 부 분적으로 인식하여 후에 후술되는 이미지 분석부(33)에서 데이터 입력에 따른 사용자 입력 수단의 이미지 분석 시 이미지 데이터의 처리량을 줄일 수도 있다. 예를 들어, 사용자가 선택한 가상 입력 장치가 키보드라면 도 4와 같이 화면 표시부(34)에 키보드 모양을 표시하고 이를 위한 사용자 입력 수단으로서의 손 모양을 함께 표시한다. 그러면 사용자는 상기 화면에 표시된 손 모양에 자신의 손을 일치시키고 이에 초기 설정부(32)는 사용자의 손가락 모양을 인식하여 기억한다. 그리고 키보드는 주로 손톱이 있는 손가락의 끝부분을 이용하여 데이터를 입력하므로, 초기 설정부(32)는 손톱 부분을 중점적으로 인식하여 기억해 놓는다. 그러면 이미지 분석부(34)는 입력되는 사용자 입력 수단의 이미지 데이터에서 전체 이미지를 처리하지 않고, 초기 설정부(32)에서 인식한 손톱 부분의 이미지만을 중점적으로 분석한다. 이러한 사용자 입력 수단의 이미지 초기화 작업은 초기화 작업의 정밀도를 높이기 위해서 반복 수행될 수 있다.
사용자 입력 수단의 움직임 범위 초기화 작업은 도 5에 도시된 바와 같이 화면 표시부(34)인 화면의 크기와 실제 가상 입력 장치를 사용하기 위해 사용자 입력 수단이 움직이는 거리의 비례치를 계산하여, 계산된 비례치에 따라 사용자 입력 수단이 화면의 크기에 알맞게 표시되도록 하는 것이다. 이를 위해 사용자 입력 수단의 움직임 범위 초기화 작업은 x축 및 y축으로 진행한다. 초기 설정부(32)는 화면 표시부(34)에 사용자 입력 수단의 모양과 초기화에 필요한 지점을 표시하여 사용자가 초기화 지점을 선택하도록 한다. 예를 들어, 도 6과 같이 화면 표시부(34)에 a, b, c, d, e 지점을 표시하여, 사용자가 가상 입력 장치를 이용하고자 하는 위치에 서 사용자 입력 수단(여기서는 사용자의 손)으로 a, b, c, d, e 지점을 누르게 한다. 그러면 실제로 사용자는 도 7과 같이 가상 입력 장치를 이용하고자 하는 위치에서 a′, b′, c′, d′, e′지점을 누르고, 이를 이미지 인식부(31)가 인식하여 초기 설정부(32)로 전달하면, 초기 설정부(32)는 화면 표시부(34)에서 표시된 a, b, c, d, e 지점과 실제 사용자가 움직이는 a′, b′, c′, d′, e′지점 간의 거리 비례치를 계산하여 사용자 입력 수단의 움직임 범위를 판단한다.
이러한 초기화 작업은 가상 입력 장치의 가변성에 구애 받지 않고 수행될 수 있다. 예를 들어 기존의 컴퓨터에서 사용하는 키보드나 PDA(Personal Digital Assistant)와 같은 소형 단말 장치의 키보드는 크기가 서로 다르지만 본 발명의 초기화 작업을 수행하면, 거리의 비례치를 이용하므로 휴대 단말 장치의 표시 장치에서 모두 표현 가능하게 된다. 그리고 초기화 작업의 정밀도를 높이기 위해서 사용자 입력 수단의 움직임 범위 초기화 작업 또한 반복 수행될 수 있다.
그리고 사용자 입력 수단의 이미지 초기화 작업과 움직임 범위 초기화 작업은 가상 입력 장치의 종류를 선택하는 방식과 유사하게 사용자가 휴대 단말 장치의 임의의 키나 음성 인식을 이용하여 초기화를 요청하였을 경우 수행될 수 있다. 또한 이러한 사용자 입력 수단의 이미지 초기화 작업과 움직임 범위 초기화 작업은 모두 가상 입력 장치의 종류의 선택 이후에 수행되는 것이므로, 화면 표시부(34)에 표시되는 가상 입력 장치의 작업 메뉴를 통하여 수행될 수도 있다.
사용자 입력 수단의 이미지 초기화 작업과 움직임 범위 초기화 작업이 수행되고 나면, 화면 표시부(34)에는 사용자가 선택한 가상 입력 장치와 사용자 입력 수단이 표시된다. 이에 사용자는 화면 표시부(34)에 표시되는 자신의 입력 수단을 보면서 가상 입력 장치를 이용하여 데이터를 입력하게 된다.
이미지 분석부(33)는 이미지 인식부(31)에서 인식된 이미지 데이터로부터 경계 검출(Edge Detection) 방법, 색 검출(Color Detection) 방법, 및 광류(Optical Flow)를 이용하여 사용자 입력 수단의 위치와 움직임을 분석한다. 이를 위해 이미지 분석부(33)는 세부적으로 도 8과 같이 경계 검출부(81), 색 검출부(82), 및 광류 분석부(83)를 구비한다.
경계 검출부(81)는 이미지 데이터로부터 경계를 검출하여 사용자 입력 수단의 위치를 검출한다. 경계는 빛의 분포로 구성되어 있는 이미지 데이터에서 화소값이 급격히 변화하는 부분인 명암이 다른 물체나 면이 시작되는 부분이며, 경계 검출부(81)는 이웃 하는 화소들 사이의 밝기 변화를 계산하여 임의의 임계치 이상이면 경계로 판단한다. 예를 들어 도 9의 원본 이미지에서 경계를 검출하게 되면 도 10과 같이 이미지의 사물이나 배경의 경계를 알 수 있게 된다.
색 검출부(82)는 이미지 데이터로부터 색을 검출하여 사용자 입력 수단의 위치를 검출한다. 색 검출은, 먼저 대상 물체 색의 각 성분(색의 밝기(Luminance)인 Y 성분과 색상(Chrominance)인 U와 V 성분)의 범위를 결정하고, 이미지 데이터의 화소 색이 결정된 범위 내에 존재하는지 임계값 처리한 후, 그룹과 크기별로 구분 한 후 면적 중심법을 이용하여 위치를 계산하는 것이다. 보다 구체적으로 설명하면, 대상 물체 색의 각 성분에 대한 범위를 결정하기 위해서는 검출하고자 하는 물체(여기서는 사용자 입력 수단) 색의 각 성분의 범위를 정해야 한다. 예를 들어 사 용될 색 공간이 RGB(Red, Green, and Blue) 형식이라면 R, G, B 각 성분의 상한값과 하한값을 정해야 할 것이다. 이 범위를 정하기 위해서는 검출하고자 하는 색의 히스토그램 분포를 이용하는 것이 바람직하다. 임계값 처리는 색의 각 성분의 범위가 결정되면 2차원 이미지 데이터의 각 화소를 조사하여 그 범위에 있는지 조사하고, 그 범위 안에 있는 모든 화소들의 위치를 저장하는 것이다. 도 11의 원본 이미지에서 사용자 입력 수단인 손의 색을 검출하면 도 12와 같다.
즉, 본 발명은 사용자 입력 수단의 위치를 검출하기 위하여 경계 검출부(81)의 경계 검출 방법과 색 검출부(82)의 색 검출 방법 중 어느 한가지 방법으로 사용자 입력 수단의 위치를 검출할 수 있다. 그러나 바람직하게는 사용자 입력 수단의 위치를 보다 정확하게 검출하기 위하여 경계 검출 방법과 색 검출 방법을 모두 사용하는 것을 특징으로 한다. 즉, 본 발명은 이렇게 경계 검출부(81)와 색 검출부(82)에서 검출된 각각의 데이터를 이용하여 최종적으로 사용자 입력 수단의 위치를 검출한다. 예를 들면, 처리 시간이 비교적 짧은 색 검출 방법으로 이미지 인식부(31)에서 인식된 전체 이미지 데이터로부터 도 12와 같이 사용자 입력 수단의 위치를 알아 낸 후, 이 부분을 탐색 영역(121)으로 지정하고, 이 후 도 13과 같이 이미지 인식부(31)에서 인식된 전체 이미지 데이터 중 탐색 영역(121) 창 내의 이미지에서만 경계 검출 방법을 이용하여 보다 정확한 위치를 알아낸다. 예를 들어, 가상 입력 장치가 키보드이고 사용자 입력 수단이 두 손이라고 가정하면, 색 검출부(82)에서는 전체 이미지에서 사용자의 두 손만의 위치를 검출하고, 경계 검출부(81)는 전체 이미지가 아닌 색 검출부(82)에서 검출된 두 손의 위치에서 경계를 검출하여 타이핑과 직접 연관된 손가락의 위치 정확히 검출하여, 보다 짧은 시간에 정확한 손가락의 위치를 검출한다. 이러한 검출 방법의 제어는 제어부(35)에서 판단하며, 가상 입력 장치의 종류와 그에 따른 사용자 입력 수단의 종류에 따라 경계 검출부(81)와 색 검출부(82)를 적절히 이용하여 최상의 사용자 입력 수단의 위치 검출이 이루어지도록 한다.
광류 분석부(83)는 광류를 이용하여 사용자 입력 수단의 움직임 정보를 보다 정확하게 분석한다. 실질적으로 경계 검출부(81)와 색 검출부(82)에서 검출된 사용자 입력 수단의 위치만으로도 사용자의 데이터 입력 동작을 모두 알아 낼 수 있지만, 본 발명에서는 보다 정확한 분석을 위하여 광류를 이용하는 것을 특징으로 한다. 움직이는 물체를 검출하는데 필수적인 광류는 속도 벡터 즉, 인접한 이미지 데이터 간에 일어난 화소의 상대적 변위를 의미하며, 연속적인 이미지 데이터에서 프레임(Frame) 간 특정 위치의 대응 관계를 추출한다. 따라서 사용자 입력 수단의 데이터 입력 동작을 단순 움직임과 구별하기 위하여 본 발명은 광류를 이용한다.
보다 상세하게, 사용자가 데이터를 입력할 때에는 일반적인 단순 움직임과는 달리 키보드를 타이핑 한다거나 버튼을 누르는 동작 같은 움직임은 데이터의 입력 시점에서 동작이 급격히 멈춘다는 특징이 있다. 따라서 본 발명은 속도 벡터를 의미하는 광류를 이용하여 데이터의 입력 동작을 단순 움직임 동작과 구별하는 것이다. 예를 들면, 가상 입력 장치가 키보드인 경우 사용자 입력 수단으로서 가장 중요한 부분은 손가락 끝이다. 이에 광류를 구하기 위해서는 도 14에 도시된 바와 같이 경계 검출 방법과 색 검출 방법에 의해 손가락의 위치가 검출되면, 손가락 부분 만 광류를 계산하여 데이터의 입력 여부를 쉽게 판단할 수 있다. 도 15는 도 14의 손가락 부분의 광류를 얻기 위하여 현재 프레임 이미지 데이터의 광류에서 이전 프레임 이미지 데이터의 광류를 서로 뺀 결과이다. 즉, 본 발명은 데이터를 입력한 손가락의 광류 변화율은 다른 손가락의 광류 변화율과 그 크기로서 구별되는 원리를 이용한 것이다. 이러한 광류 검출을 위한 프레임 수는 가상 입력 장치의 종류와 그에 따른 사용자 입력 수단의 종류에 따라 조절되고, 광류 검출 결과를 상술한 경계 검출 결과와 색 검출 결과와 조합하면 정확한 움직임의 위치를 판단할 수 있다.
그리고 이상 이미지 분석부(33)에서 수행되는 사용자 입력 수단의 움직임 분석은, 학습 소프트웨어를 사용하여 사용자의 습관 및 입력 패턴을 학습하여 보다 정확한 데이터 입력을 인식할 수 있다.
한편, 데이터 입력 판단부(35)는 이미지 분석부(33)로부터 분석된 사용자 입력 수단의 위치와 움직임 데이터를 이용하여, 분석된 광류 변화율이 일정 임계값 이상이면 단순 움직임이 아닌 데이터 입력 동작이라 판단하고, 해당 사용자 입력 수단의 위치를 화면 표시부(34)에 표시된 가상 입력 장치의 위치와 비교하여 입력된 데이터를 판별하고 휴대 단말 장치가 그에 따른 기능을 수행하도록 한다. 또한 데이터 입력 판단부(35)는 사용자의 가상 입력 장치 이용 여부를 판단하여 사용자가 가상 입력 장치를 이용하고자 하면 이미지 인식부(31)와 초기 설정부(32)를 제어하여 초기화 작업을 수행하도록 하고, 사용자가 데이터를 입력하면 입력된 데이터가 무엇인지(예를 들어, 가상 입력 장치가 키보드라면 알파벳이나 숫자) 판별하기 위하여 이미지 인식부(31)를 통해서 입력되는 이미지 데이터를 이미지 분석부 (33)에 전달하여 분석하도록 한다. 그밖에 데이터 입력 판단부(35)는 사용자가 선택한 가상 입력 장치의 모양과 사용자 입력 수단의 움직임에 따라 이미지 인식부(31)를 통해 입력되는 이미지 데이터를 그대로 화면 표시부(34)에 표시하여, 사용자로 하여금 사용자 입력 수단의 움직임을 인식하기 편하게 하고 이에 화면에 표시되는 가상 입력 장치의 데이터 부분을 사용자가 정확히 선택하여 입력하도록 한다. 또한 데이터 입력 판단부(35)는 입력된 데이터를 화면 표시부(34)에 표시하거나 음성으로 사용자에게 알린다.
한편, 사용자는 화면 표시부(34)나 음성을 통하여 입력된 데이터를 확인하고, 입력된 데이터를 취소하거나 다음의 데이터를 입력하거나 데이터 입력의 종료를 수행할 수 있다. 구체적으로 예를 들어 설명하면, 사용자는 알파벳 A를 입력하였는데 이미지 분석 결과 데이터 입력 판단부(35)에서는 S를 입력하였다고 사용자에게 알리면, 사용자는 가상 입력 장치에 구비되어 있는 취소 버튼을 입력하여 입력된 알파벳 S를 취소 시킨 후 다음 데이터를 입력하고, 만약 데이터 입력 판단부(35)에서 알파벳 A를 입력하였다고 사용자에게 알리면 사용자는 바로 다음 데이터를 입력한다. 도 16은 상술한 바와 같은 휴대 단말 장치에서 본 발명에 따라 데이터를 입력하는 방법의 흐름도이다.
먼저 사용자가 가상 입력 장치를 사용하고자 하면, 데이터 입력 판단부(35)는 사용자로부터 가상 입력 장치의 종류를 선택하도록 하고(S161), 선택된 가상 입력 장치에 따라 초기 설정부(32)는 사용자 입력 수단의 이미지 초기화 작업을 수행한다(S162). 그리고 초기 설정부(32)는 초기화된 사용자 입력 수단의 이미지에 대 해 움직임의 범위를 초기화하는 작업을 수행한다(S163).
상술한 사용자 입력 수단의 이미지 초기화 과정(S162)과 사용자 입력 수단의 움직임 범위 초기화 과정(S163)은 경우에 따라 반복 실행되어 이미지 인식과 분석의 정밀도를 높일 수 있고, 가상 입력 장치의 종류 선택 과정(S161) 또한 휴대 단말 장치에서 제공하는 가상 입력 장치가 하나로 유일할 경우에는 생략될 수 있다.
사용자 입력 수단의 움직임 범위 초기화 과정(S163) 후에는 이미지 인식부(31)가 실시간으로 사용자 입력 수단의 이미지를 인식한다(S164). 그러면 이미지 분석부(33)는 인식된 이미지 데이터를 분석하여 사용자 입력 수단의 위치와 움직임을 검출한다(S165).
데이터 입력 판단부(35)는 분석된 사용자 입력 수단의 위치와 움직임 데이터를 이용하여, 분석된 움직임 데이터가 데이터 입력에 따른 동작이라 판단되면, 해당 사용자 입력 수단의 위치를 화면 표시부(34)에 표시된 가상 입력 장치의 위치와 비교하여 입력된 데이터를 판별한다(S166).
필요에 따라 데이터 입력 판단부(35)는 판별된 입력 데이터를 화면 표시부(34) 또는 음성으로 사용자에게 알리고, 판별된 입력 데이터의 정확 여부를 확인 받을 수 있고, 이러한 입력 데이터 알림 과정과 확인 과정을 생략하여 데이터를 연속적으로 입력 받을 수도 있다.
상술한 바와 같이, 가상 입력 장치를 투영하지 않고 가상 입력 장치를 통하 여 데이터를 입력 받으면 사용자 입력 수단의 움직임의 공간에 제한을 받지 않아 입력 데이터의 확장성과 사용의 편리함을 모두 제공할 수 있다.
그리고 광류를 이용하여 이미지의 움직임을 검출함으로써 복수 개의 이미지 센서를 필요로 하지 않고 2차원의 이미지 데이터만으로도 충분히 이미지의 움직임을 분석할 수 있으므로, 가상 입력 장치를 제공하는 휴대 단말 장치의 구성이 단순해지고 이미지 데이터 처리량도 줄어드는 효과가 있다.

Claims (30)

  1. 가상 입력 장치를 이용하여 사용자 입력 수단으로부터 데이터를 입력 받는 휴대 단말 장치에 있어서,
    상기 사용자 입력 수단의 이미지를 인식하여 이미지 데이터를 출력하는 이미지 인식부;
    상기 이미지 데이터로부터 상기 사용자 입력 수단의 위치 데이터와 움직임 데이터를 검출하는 이미지 분석부;
    상기 검출된 사용자 입력 수단의 상기 위치 데이터와 상기 움직임 데이터로부터 상기 가상 입력 장치에서 입력된 데이터를 판별하는 데이터 입력 판단부;
    상기 사용자 입력 수단의 이미지 데이터를 상기 가상 입력 장치와 함께 화면에 표시하는 화면 표시부; 및
    상기 가상 입력 장치의 크기와 상기 사용자 입력 수단의 움직임의 범위의 비례치에 따라 상기 사용자 입력 수단의 움직임 범위를 초기화하고, 상기 가상 입력 장치의 종류에 따른 상기 사용자 입력 수단의 상기 데이터 입력을 위한 특징 이미지를 초기화하는 초기 설정부를 구비하는 것을 특징으로 하는 휴대 단말 장치.
  2. 제 1항에 있어서,
    상기 초기 설정부는,
    상기 비례치를, 상기 화면 표시부에 표시된 지점과 상기 사용자 입력 수단으로부터 입력된 상기 지점의 이미지 데이터를 이용하여 계산하는 것을 특징으로 하는 휴대 단말 장치.
  3. 제 1항에 있어서,
    상기 이미지 분석부는,
    상기 이미지 데이터에 대한 경계 검출을 통해 상기 사용자 입력 수단의 상기 위치 데이터를 검출하는 경계 검출부;
    상기 이미지 데이터에 대한 색 검출을 통해 상기 사용자 입력 수단의 상기 위치 데이터를 검출하는 색 검출부; 및
    상기 이미지 데이터에 대한 광류 분석을 통해 상기 사용자 입력 수단의 상기 움직임 데이터를 검출하는 광류 분석부를 구비하는 것을 특징으로 하는 휴대 단말 장치.
  4. 제 3항에 있어서,
    상기 광류 분석부는,
    상기 특정 이미지의 복수 개의 프레임으로부터 광류의 변화율을 분석하는 것을 특징으로 하는 휴대 단말 장치.
  5. 제 4항에 있어서,
    상기 데이터 입력 판단부는,
    상기 광류 변화율이 상기 사용자 입력 수단의 상기 데이터 입력을 위한 움직임을 구별할 수 있는 임계값 이상이면 상기 사용자 입력 수단으로부터 상기 데이터가 입력된 것으로 판별하는 것을 특징으로 하는 휴대 단말 장치.
  6. 제 1항 내지 제 5항 중 어느 한 항에 있어서,
    상기 이미지 인식부는,
    2차원의 이미지 센서인 것을 특징으로 하는 휴대 단말 장치.
  7. 이미지 인식 수단과 화면 표시 수단을 구비하는 휴대 단말 장치에서 가상 입력 장치를 이용하여, 사용자가 데이터를 입력할 때 사용하는 사용자 입력 수단으로부터 상기 데이터를 입력 받는 방법에 있어서,
    상기 화면 표시 수단의 크기와 상기 사용자 입력 수단의 움직임의 범위의 비례치에 따라 상기 사용자 입력 수단의 움직임 범위를 초기화하고, 상기 가상 입력 장치의 종류에 따른 상기 사용자 입력 수단의 상기 데이터 입력을 위한 특징 이미지를 초기화하는 과정;
    상기 이미지 인식 수단으로부터 인식되는 상기 사용자 입력 수단의 이미지 데이터로부터, 상기 사용자 입력 수단의 상기 데이터 입력을 위한 특징 이미지의 위치 데이터를 검출하고, 상기 데이터 입력을 위한 특징 이미지에 대한 광류 분석을 통해 상기 사용자 입력 수단의 움직임 데이터를 검출하는 과정; 및
    상기 사용자 입력 수단의 상기 위치 데이터와 상기 움직임 데이터로부터 상기 입력된 데이터를 판별하는 과정을 포함하는 것을 특징으로 하는 데이터 입력 방법.
  8. 제 7항에 있어서,
    상기 사용자 입력 수단의 움직임 범위 초기화 과정은,
    상기 화면 표시 수단에 표시된 지점과 상기 사용자 입력 수단으로부터 입력된 상기 지점의 이미지 데이터를 이용하여 상기 비례치를 계산하는 것을 특징으로 하는 데이터 입력 방법.
  9. 제 7항에 있어서,
    상기 사용자 입력 수단의 상기 위치 데이터 검출 과정은,
    상기 이미지 데이터에 대한 경계 검출을 통해 상기 사용자 입력 수단의 상기 위치 데이터를 검출하는 것을 특징으로 하는 데이터 입력 방법.
  10. 제 7항에 있어서,
    상기 사용자 입력 수단의 상기 위치 데이터 검출 과정은,
    상기 이미지 데이터에 대한 색 검출을 통해 상기 사용자 입력 수단의 상기 위치 데이터를 검출하는 것을 특징으로 하는 데이터 입력 방법.
  11. 제 7항에 있어서,
    상기 사용자 입력 수단의 상기 움직임 데이터 검출 과정은,
    상기 특정 이미지의 복수 개의 프레임으로부터 광류의 변화율을 분석하여 상기 사용자 입력 수단의 움직임을 검출하는 것을 특징으로 하는 데이터 입력 방법.
  12. 제 11항에 있어서,
    상기 입력된 데이터를 판별하는 과정은,
    상기 광류 변화율이 상기 사용자 입력 수단의 상기 데이터 입력을 위한 움직임을 구별할 수 있는 임계값 이상이면 상기 사용자 입력 수단으로부터 상기 데이터가 입력된 것으로 판별하는 것을 특징으로 하는 데이터 입력 방법.
  13. 제 7항 내지 제 12항 중 어느 한 항에 있어서,
    상기 이미지 인식 수단은,
    2차원의 이미지 센서인 것을 특징으로 하는 데이터 입력 방법.
  14. 제 7항 내지 제 12항 중 어느 한 항에 있어서,
    상기 사용자 입력 수단의 움직임 범위와 상기 사용자 입력 수단의 상기 데이터 입력을 위한 특징 이미지 초기화 과정 후, 상기 사용자 입력 수단의 움직임 범위와 상기 사용자 입력 수단의 상기 데이터 입력을 위한 특징 이미지 초기화 과정의 반복 여부를 확인하는 과정을 더 포함하는 것을 특징으로 하는 데이터 입력 방법.
  15. 제 7항 내지 제 12항 중 어느 한 항에 있어서,
    상기 사용자 입력 수단의 움직임 범위 초기화 과정 이전에, 상기 가상 입력 장치의 종류를 선택하도록 메뉴를 제공하는 과정을 더 포함하는 것을 특징으로 하는 데이터 입력 방법.
  16. 제 7항 내지 제 12항 중 어느 한 항에 있어서,
    상기 입력된 데이터를 판별하는 과정 후, 상기 판별된 데이터를 사용자에게 알리는 과정과;
    상기 사용자로부터 상기 판별된 데이터의 정확여부를 확인받는 과정을 더 포함하는 것을 특징으로 하는　 데이터 입력 방법.
  17. 가상 입력 장치를 이용하여 사용자 입력 수단으로부터 데이터를 입력 받는 휴대 단말 장치에 있어서,
    상기 사용자 입력 수단의 이미지를 인식하여 이미지 데이터를 출력하는 이미지 인식부;
    상기 이미지 데이터로부터 상기 사용자 입력 수단의 위치와 움직임을 검출하는 이미지 분석부;
    상기 검출된 사용자 입력 수단의 위치와 움직임으로부터 상기 가상 입력 장치에서 입력된 데이터를 판별하는 데이터 입력 판단부; 및
    상기 사용자 입력 수단의 이미지와 움직임 범위를 초기화하는 초기 설정부를 구비하는 것을 특징으로 하는 휴대 단말 장치.
  18. 제17항에 있어서,
    상기 가상 입력 장치의 형태를 화면에 표시하는 화면 표시부를 더 구비하는 것을 특징으로 하는 휴대 단말 장치.
  19. 제18항에 있어서,
    상기 초기 설정부는,
    상기 화면 표시부에 표시된 지점들에 대한 상기 사용자 입력 수단의 움직임의 범위의 비례치에 따라 상기 사용자 입력 수단의 움직임 범위를 초기화함을 특징으로 하는 휴대 단말 장치.
  20. 제18항에 있어서,
    상기 이미지 분석부는,
    상기 이미지 데이터에 대한 경계 검출을 통해 상기 사용자 입력 수단의 상기 위치를 검출하는 경계 검출부;
    상기 이미지 데이터에 대한 색 검출을 통해 상기 사용자 입력 수단의 상기 위치를 검출하는 색 검출부; 및
    상기 이미지 데이터에 대한 광류 분석을 통해 상기 사용자 입력 수단의 상기 움직임을 검출하는 광류 분석부를 구비하는 것을 특징으로 하는 휴대 단말 장치.
  21. 제 20항에 있어서,
    상기 광류 분석부는,
    상기 특정 이미지의 복수 개의 프레임으로부터 광류의 변화율을 분석하는 것을 특징으로 하는 휴대 단말 장치.
  22. 제 21항에 있어서,
    상기 데이터 입력 판단부는,
    상기 광류 변화율이 상기 사용자 입력 수단의 상기 데이터 입력을 위한 움직임을 구별할 수 있는 임계값 이상이면 상기 사용자 입력 수단으로부터 상기 데이터가 입력된 것으로 판별하는 것을 특징으로 하는 휴대 단말 장치.
  23. 이미지 인식 수단과 화면 표시 수단을 구비하는 휴대 단말 장치에서 가상 입력 장치를 이용하여, 사용자 입력 수단으로부터 상기 데이터를 입력 받는 방법에 있어서,
    상기 사용자 입력 수단의 이미지와 움직임 범위를 초기화하는 과정;
    상기 사용자 입력 수단의 이미지를 인식하는 과정;
    상기 인식되는 상기 사용자 입력 수단의 이미지로부터 상기 사용자 입력 수 단의 위치와 움직임을 검출하는 과정; 및
    상기 사용자 입력 수단의 상기 위치와 움직임으로부터 상기 입력된 데이터를 판별하는 과정을 포함하는 것을 특징으로 하는 데이터 입력 방법.
  24. 제 23항에 있어서,
    상기 초기화 과정은 상기 화면 표시 수단의 크기와 상기 사용자 입력 수단의 움직임의 범위의 비례치에 따라 상기 사용자 입력 수단의 움직임 범위를 초기화함을 특징으로 하는 데이터 입력 방법.
  25. 제 24항에 있어서,
    상기 사용자 입력 수단의 움직임 범위 초기화 과정은,
    상기 화면 표시 수단에 표시된 지점과 상기 사용자 입력 수단으로부터 입력된 상기 지점의 이미지 데이터를 이용하여 상기 비례치를 계산하는 것을 특징으로 하는 데이터 입력 방법.
  26. 제 23항에 있어서,
    상기 초기화 과정은 상기 가상 입력 장치의 종류에 따라 상기 사용자 입력 수단의 특징 이미지를 초기화함을 포함함을 특징으로 하는 데이터 입력 방법.
  27. 제 23항에 있어서,
    상기 사용자 입력 수단의 상기 위치 검출 과정은,
    상기 이미지에 대한 경계 검출을 통해 수행되는 것을 특징으로 하는 데이터 입력 방법.
  28. 제 23항에 있어서,
    상기 사용자 입력 수단의 상기 위치 검출 과정은,
    상기 이미지에 대한 색 검출을 통해 수행되는 것을 특징으로 하는 데이터 입력 방법.
  29. 제 23항에 있어서,
    상기 사용자 입력 수단의 상기 움직임 검출 과정은,
    상기 특정 이미지의 복수 개의 프레임으로부터 광류의 변화율을 분석하여 상기 사용자 입력 수단의 움직임을 검출하는 것을 특징으로 하는 데이터 입력 방법.
  30. 제 29항에 있어서,
    상기 입력된 데이터를 판별하는 과정은,
    상기 광류 변화율이 상기 사용자 입력 수단의 상기 데이터 입력을 위한 움직임을 구별할 수 있는 임계값 이상이면 상기 사용자 입력 수단으로부터 상기 데이터가 입력된 것으로 판별하는 것을 특징으로 하는 데이터 입력 방법.
KR1020040090574A 2004-11-08 2004-11-08 휴대 단말 장치 및 이를 위한 데이터 입력 방법 KR100663515B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020040090574A KR100663515B1 (ko) 2004-11-08 2004-11-08 휴대 단말 장치 및 이를 위한 데이터 입력 방법
US11/266,794 US8311370B2 (en) 2004-11-08 2005-11-04 Portable terminal and data input method therefor
CNB2005101156821A CN100383717C (zh) 2004-11-08 2005-11-08 便携式终端及用于其的数据输入方法
EP05024328A EP1655659A3 (en) 2004-11-08 2005-11-08 Portable terminal and data input method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040090574A KR100663515B1 (ko) 2004-11-08 2004-11-08 휴대 단말 장치 및 이를 위한 데이터 입력 방법

Publications (2)

Publication Number Publication Date
KR20060041094A KR20060041094A (ko) 2006-05-11
KR100663515B1 true KR100663515B1 (ko) 2007-01-02

Family

ID=35610205

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040090574A KR100663515B1 (ko) 2004-11-08 2004-11-08 휴대 단말 장치 및 이를 위한 데이터 입력 방법

Country Status (4)

Country Link
US (1) US8311370B2 (ko)
EP (1) EP1655659A3 (ko)
KR (1) KR100663515B1 (ko)
CN (1) CN100383717C (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050280628A1 (en) * 2004-05-12 2005-12-22 Northrop Grumman Corp. Projector pen image stabilization system
KR100663515B1 (ko) * 2004-11-08 2007-01-02 삼성전자주식회사 휴대 단말 장치 및 이를 위한 데이터 입력 방법
US9727082B2 (en) * 2005-04-26 2017-08-08 Apple Inc. Back-side interface for hand-held devices
US9477310B2 (en) * 2006-07-16 2016-10-25 Ibrahim Farid Cherradi El Fadili Free fingers typing technology
DE102008020772A1 (de) * 2008-04-21 2009-10-22 Carl Zeiss 3D Metrology Services Gmbh Darstellung von Ergebnissen einer Vermessung von Werkstücken
US8436816B2 (en) 2008-10-24 2013-05-07 Apple Inc. Disappearing button or slider
JP5168161B2 (ja) * 2009-01-16 2013-03-21 ブラザー工業株式会社 ヘッドマウントディスプレイ
GB2480140B (en) * 2010-05-04 2014-11-12 Timocco Ltd System and method for tracking and mapping an object to a target
US20130082928A1 (en) * 2011-09-30 2013-04-04 Seung Wook Kim Keyboard-based multi-touch input system using a displayed representation of a users hand
JP5970872B2 (ja) * 2012-03-07 2016-08-17 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US8509986B1 (en) * 2012-04-27 2013-08-13 Innova Electronics, Inc. Automotive diagnostic tool with projection display and virtual input
CN102937822A (zh) * 2012-12-06 2013-02-20 广州视声电子科技有限公司 一种移动设备的背面操控结构及方法
US11137832B2 (en) * 2012-12-13 2021-10-05 Eyesight Mobile Technologies, LTD. Systems and methods to predict a user action within a vehicle
US9274608B2 (en) * 2012-12-13 2016-03-01 Eyesight Mobile Technologies Ltd. Systems and methods for triggering actions based on touch-free gesture detection
TWI456604B (zh) * 2013-05-30 2014-10-11 Quanta Comp Inc 電腦系統與其具影像投射功能之電源變壓器
CN103500063B (zh) * 2013-09-24 2016-08-17 小米科技有限责任公司 虚拟键盘显示方法、装置及终端
US10152136B2 (en) * 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
US9891712B2 (en) 2013-12-16 2018-02-13 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras with vectors
DE102014202836A1 (de) * 2014-02-17 2015-08-20 Volkswagen Aktiengesellschaft Anwenderschnittstelle und Verfahren zur Unterstützung eines Anwenders bei der Bedienung einer Anwenderschnittstelle
US9766806B2 (en) 2014-07-15 2017-09-19 Microsoft Technology Licensing, Llc Holographic keyboard display
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0683512A (ja) * 1992-02-07 1994-03-25 Internatl Business Mach Corp <Ibm> コマンド及びデータ入力方法及び入力装置

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59132079A (ja) * 1983-01-17 1984-07-30 Nippon Telegr & Teleph Corp <Ntt> 手操作入力装置
US6590573B1 (en) * 1983-05-09 2003-07-08 David Michael Geshwind Interactive computer system for creating three-dimensional image information and for converting two-dimensional image information for three-dimensional display systems
US5598487A (en) * 1986-08-15 1997-01-28 Norand Corporation Hand-held data entry system removable signature pad
US5168531A (en) * 1991-06-27 1992-12-01 Digital Equipment Corporation Real-time recognition of pointing information from video
US5999185A (en) * 1992-03-30 1999-12-07 Kabushiki Kaisha Toshiba Virtual reality control using image, model and control data to manipulate interactions
JP3244798B2 (ja) * 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
KR19990008158A (ko) * 1995-04-28 1999-01-25 모리시타요우이치 인터페이스 장치
US5780834A (en) * 1995-05-15 1998-07-14 Welch Allyn, Inc. Imaging and illumination optics assembly
US6060722A (en) * 1995-05-15 2000-05-09 Havens; William H. Optical reader having illumination assembly including improved aiming pattern generator
US5783811A (en) * 1995-06-26 1998-07-21 Metanetics Corporation Portable data collection device with LED targeting and illumination assembly
US5793033A (en) * 1996-03-29 1998-08-11 Metanetics Corporation Portable data collection device with viewing assembly
US5995102A (en) * 1997-06-25 1999-11-30 Comet Systems, Inc. Server system and method for modifying a cursor image
WO1999035633A2 (en) 1998-01-06 1999-07-15 The Video Mouse Group Human motion following computer mouse and game controller
JP3554172B2 (ja) * 1998-01-09 2004-08-18 キヤノン株式会社 放射線撮影装置
US6782132B1 (en) * 1998-08-12 2004-08-24 Pixonics, Inc. Video coding and reconstruction apparatus and methods
US6392632B1 (en) * 1998-12-08 2002-05-21 Windbond Electronics, Corp. Optical mouse having an integrated camera
US6633282B1 (en) * 1999-01-04 2003-10-14 Adam A. Monroe Ballpoint pen type input device for computer
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6323942B1 (en) * 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US20030174125A1 (en) * 1999-11-04 2003-09-18 Ilhami Torunoglu Multiple input modes in overlapping physical space
US7493644B1 (en) * 1999-12-28 2009-02-17 Nokia Corporation Method, apparatus, and system for video fast forward functionality in a mobile phone
US6661920B1 (en) * 2000-01-19 2003-12-09 Palm Inc. Method and apparatus for multiple simultaneously active data entry mechanisms on a computer system
JP2001209487A (ja) * 2000-01-25 2001-08-03 Uw:Kk 筆跡通信システムおよび該システムで使用される筆跡入力装置及び筆跡表示装置
IL136434A0 (en) 2000-05-29 2001-06-14 Gal Moshe Ein Wireless cursor control
JP2002196877A (ja) 2000-12-25 2002-07-12 Hitachi Ltd イメージセンサを用いた電子機器
US6600475B2 (en) * 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
US7064742B2 (en) * 2001-05-31 2006-06-20 Siemens Corporate Research Inc Input devices using infrared trackers
US7251352B2 (en) * 2001-08-16 2007-07-31 Siemens Corporate Research, Inc. Marking 3D locations from ultrasound images
CN1545679B (zh) * 2001-08-23 2010-05-26 富士通先端科技株式会社 便携式终端设备
US20030043095A1 (en) * 2001-08-31 2003-03-06 Kia Silverbrook Scanning electronic book
JP2003152851A (ja) * 2001-11-14 2003-05-23 Nec Corp 携帯端末装置
US6909453B2 (en) * 2001-12-20 2005-06-21 Matsushita Electric Industrial Co., Ltd. Virtual television phone apparatus
US6824467B2 (en) * 2002-02-18 2004-11-30 Igt Modeled games and pay table generation and evalution therefor
US7307661B2 (en) * 2002-06-26 2007-12-11 Vbk Inc. Multifunctional integrated image sensor and application to virtual interface technology
JP2004038840A (ja) * 2002-07-08 2004-02-05 Fujitsu Ltd メモ画像管理装置、メモ画像管理システムおよびメモ画像管理方法
US7102615B2 (en) * 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
JP3980966B2 (ja) * 2002-08-21 2007-09-26 シャープ株式会社 プレゼンテーション用表示装置
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
US7002560B2 (en) * 2002-10-04 2006-02-21 Human Interface Technologies Inc. Method of combining data entry of handwritten symbols with displayed character data
US7337410B2 (en) * 2002-11-06 2008-02-26 Julius Lin Virtual workstation
US7774075B2 (en) * 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
JP2004173907A (ja) * 2002-11-27 2004-06-24 Canon Inc Ｘ線撮像装置
EP1437677A1 (en) * 2002-12-30 2004-07-14 Nokia Corporation Optical user interface for controlling portable electric device
JP4301820B2 (ja) * 2003-01-16 2009-07-22 株式会社ルネサステクノロジ 情報認識装置
US7379560B2 (en) * 2003-03-05 2008-05-27 Intel Corporation Method and apparatus for monitoring human attention in dynamic power management
KR20040083788A (ko) * 2003-03-25 2004-10-06 삼성전자주식회사 제스쳐 커맨드를 이용하여 프로그램을 구동시킬 수 있는휴대용 단말기 및 이를 이용한 프로그램 구동 방법
JP4125165B2 (ja) * 2003-03-25 2008-07-30 キヤノン株式会社 放射線撮影装置
KR100682885B1 (ko) * 2003-04-23 2007-02-15 삼성전자주식회사 공간형 정보 입력 장치 및 방법, 이를 위한 소프트 키매핑 방법 및 그에 따른 가상 키보드
EP1523807A1 (en) * 2003-06-30 2005-04-20 Mobisol Pointing device having fingerprint image recognition function, fingerprint image recognition and pointing method, and method for providing portable terminal service using thereof
JP2005242694A (ja) * 2004-02-26 2005-09-08 Mitsubishi Fuso Truck & Bus Corp ハンドパターンスイッチ装置
US20050190970A1 (en) * 2004-02-27 2005-09-01 Research In Motion Limited Text input system for a mobile electronic device and methods thereof
FR2867878B1 (fr) * 2004-03-16 2006-07-14 Neopost Ind Systeme de suivi optimise de la livraison d'objets
US20070115261A1 (en) * 2005-11-23 2007-05-24 Stereo Display, Inc. Virtual Keyboard input system using three-dimensional motion detection by variable focal length lens
US7446753B2 (en) * 2004-09-10 2008-11-04 Hand Held Products, Inc. Hand held computer device
JP4388878B2 (ja) * 2004-10-19 2009-12-24 任天堂株式会社 入力処理プログラムおよび入力処理装置
KR100663515B1 (ko) * 2004-11-08 2007-01-02 삼성전자주식회사 휴대 단말 장치 및 이를 위한 데이터 입력 방법
US7780089B2 (en) * 2005-06-03 2010-08-24 Hand Held Products, Inc. Digital picture taking optical reader having hybrid monochrome and color image sensor array
US20070018966A1 (en) * 2005-07-25 2007-01-25 Blythe Michael M Predicted object location
JP4157579B2 (ja) * 2006-09-28 2008-10-01 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
US8027518B2 (en) * 2007-06-25 2011-09-27 Microsoft Corporation Automatic configuration of devices based on biometric data
TW200907764A (en) * 2007-08-01 2009-02-16 Unique Instr Co Ltd Three-dimensional virtual input and simulation apparatus
JP2009146333A (ja) * 2007-12-18 2009-07-02 Panasonic Corp 空間入力動作表示装置
US8769427B2 (en) * 2008-09-19 2014-07-01 Google Inc. Quick gesture input

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0683512A (ja) * 1992-02-07 1994-03-25 Internatl Business Mach Corp <Ibm> コマンド及びデータ入力方法及び入力装置

Also Published As

Publication number Publication date
US8311370B2 (en) 2012-11-13
CN100383717C (zh) 2008-04-23
KR20060041094A (ko) 2006-05-11
EP1655659A3 (en) 2007-10-31
CN1773439A (zh) 2006-05-17
EP1655659A2 (en) 2006-05-10
US20060097985A1 (en) 2006-05-11

Similar Documents

Publication Publication Date Title
KR100663515B1 (ko) 휴대 단말 장치 및 이를 위한 데이터 입력 방법
US9274551B2 (en) Method and apparatus for data entry input
US11294470B2 (en) Human-to-computer natural three-dimensional hand gesture based navigation method
US8274578B2 (en) Gaze tracking apparatus and method using difference image entropy
US7810050B2 (en) User interface system
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
US10452206B2 (en) Projection video display device and video display method
WO2012056864A1 (ja) 入力装置、当該入力装置を備えた情報機器、コンピュータを入力装置として機能させるためのプログラム、および入力装置を用いて文字を入力するための方法
US9418285B2 (en) Information processing apparatus and input control method
CN102033702A (zh) 影像显示装置及其显示控制方法
US9539505B2 (en) Game device and computer-readable storage medium
US11537215B2 (en) Ambient light sensing device and method, and interactive device using same
US10621766B2 (en) Character input method and device using a background image portion as a control region
TW201423612A (zh) 手勢辨識裝置及方法
CN103543825B (zh) 摄像机光标系统
US8355599B2 (en) Methods and devices for detecting changes in background of images using multiple binary images thereof and hough transformation
JP5928628B2 (ja) 仮想キーボード入力方法
KR101609353B1 (ko) 화면을 제어하는 인터페이스 방법 및 장치
JP2013134549A (ja) データ入力装置およびデータ入力方法
KR101911676B1 (ko) 지시체의 움직임을 고려한 프리젠테이션 영상 처리장치 및 방법
JP5252579B2 (ja) 情報端末装置
KR20190069023A (ko) 손 인식 기반 비접촉식 입력 인터페이스 제공 방법 및 장치
JP2015122124A (ja) 仮想マウスによるデータ入力機能を有する情報装置
US20240069647A1 (en) Detecting method, detecting device, and recording medium
JP2015045943A (ja) まばたき検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121129

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131128

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141127

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151127

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20161129

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee