KR19990061763A - 손 동작을 이용한 컴퓨터와 사용자간의 인터페이스 방법 및 장치 - Google Patents

손 동작을 이용한 컴퓨터와 사용자간의 인터페이스 방법 및 장치 Download PDF

Info

Publication number
KR19990061763A
KR19990061763A KR1019970082053A KR19970082053A KR19990061763A KR 19990061763 A KR19990061763 A KR 19990061763A KR 1019970082053 A KR1019970082053 A KR 1019970082053A KR 19970082053 A KR19970082053 A KR 19970082053A KR 19990061763 A KR19990061763 A KR 19990061763A
Authority
KR
South Korea
Prior art keywords
user
computer
image
hand
pattern
Prior art date
Application number
KR1019970082053A
Other languages
English (en)
Inventor
신성철
김성동
Original Assignee
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자 주식회사 filed Critical 윤종용
Priority to KR1019970082053A priority Critical patent/KR19990061763A/ko
Publication of KR19990061763A publication Critical patent/KR19990061763A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

본 발명은 손 동작을 이용한 컴퓨터와 사용자간의 인터페이스 방법 및 장치를 개시한다. 이 인터페이스 방법은, 사용자의 손 동작을 포함한 영상을 감지하고, 감지된 영상을 촬영하여 영상 신호를 얻는 영상 촬영단계, 영상 신호로부터 손 동작의 패턴 인식에 필요한 정보를 추출하는 전처리단계, 추출된 정보로부터 패턴을 인식하는 패턴 인식단계, 인식된 패턴이 미리 저장된 소정수의 패턴내에 있는가를 판단하고, 소정수의 패턴내에 없으면 영상 촬영단계로 진행하는 단계 및 소정수의 패턴내에 있으면, 손 동작에 따라 미리 정해진 동작을 수행시키는 명령 수행단계를 구비하는 것을 특징으로 한다.

Description

손 동작을 이용한 컴퓨터와 사용자간의 인터페이스 방법 및 장치
본 발명은 컴퓨터와 사용자간의 인터페이스에 관한 것으로서, 특히 손 동작을 이용한 컴퓨터와 사용자간의 인터페이스 방법 및 장치에 관한 것이다.
일반적으로, 모니터등과 같은 화면 출력 장치에서 사용자가 작업을 처리하고 있는 현재의 위치를 표시하기 위하여 깜빡이는 사각형 모습의 기호인 커서가 사용된다. 이러한 커서의 움직임은 키보드를 통해 사용자가 키를 입력할 경우에 제어된다. 키보드 이외에 컴퓨터와 사용자간의 인터페이스를 가능케하는 일반적인 입력 장치로서 마우스가 있다.
도 1은 마우스를 이용한 종래의 컴퓨터와 사용자간의 인터페이스를 나타내는 도면으로서, 100은 개인용 컴퓨터를 나타내고, 102는 컴퓨터에 대한 입력장치로서의 마우스를 나타낸다. 마우스는 화면에 나타나 있는 물체들 중에서 하나의 물체를 선택하기 위하여 사용되는 입력 장치이다. 마우스가 설치된 컴퓨터의 화면에는 화살 표시 모양의 커서가 나타나게 되는데, 이러한 커서가 마우스의 위치를 표시하게 된다. 마우스는 키보드에 비해 사용자가 커서의 위치를 빠르게 변화시킬 수 있고 2~3개의 버튼을 이용하여 원하는 작업의 처리를 빠르게 실행시킬 수 있다.
이와 같이, 종래에는 사용자가 대표적으로 키보드와 마우스를 이용하여 컴퓨터와 인터페이스를 했으며, 이들 입력 장치는 현재 널리 상용되고 있는 운영체제상에서는 사용자에게 편의를 도모하고 있다.
그러나, 컴퓨터 소프트웨어가 2차원 영상에서 3차원 영상으로 발전됨에 따라, 사용자가 입력 장치로서 마우스를 가지고 컴퓨터와 인터페이스하는데에는 한계가 있다. 즉, 마우스로는 3차원 조작이 불가능하므로, 커서를 사용자가 원하는 3차원의 움직임으로 조정할 수 없다.
또한, 현재 컴퓨터와 주변 장치가 점차 소형화됨에 따라, 입력 장치 또한 공간에 구애받지 않고 사용자가 사용가능하도록 발전되어야 한다. 그러나, 현재의 마우스는 사용자가 마우스를 조작하는데 필요한 충분한 공간을 차지하게 되므로, 사용면에서 불편한 점이 있다.
본 발명이 이루고자하는 기술적 과제는, 전술한 문제점을 극복하기 위해 창출된 것으로서 사용자의 손 동작을 컴퓨터의 입력 수단으로서 이용하여 사용자에게 보다 간편한 컴퓨터와의 인터페이스를 제공하며, 3차원 입력을 가능케하고 컴퓨터 시스템의 사용 공간을 줄이는, 손 동작을 이용한 컴퓨터와 사용자간의 인터페이스 방법을 제공하는데 있다.
본 발명이 이루고자하는 다른 기술적 과제는, 상기 방법을 수행하는 컴퓨터와 사용자간의 인터페이스 장치를 제공하는데 있다.
도 1은 마우스를 이용한 종래의 컴퓨터와 사용자간의 인터페이스를 나타내는 도면이다.
도 2는 손 동작을 이용한 본 발명에 의한 컴퓨터와 사용자간의 인터페이스를 나타내는 도면이다.
도 3은 본 발명에 의한 컴퓨터와 사용자간의 인터페이스 방법을 설명하기 위한 플로우챠트이다.
도 4 (a)~(d)는 컴퓨터의 입력수단으로서 이용되는 몇가지의 손 동작을 예시적으로 나타내는 도면들이다.
상기 과제를 이루기 위하여, 본 발명에 의한 손 동작을 이용한 컴퓨터와 사용자간의 인터페이스 방법은, 사용자의 손 동작을 포함한 영상을 감지하고, 감지된 영상을 촬영하여 영상 신호를 얻는 영상 촬영단계, 영상 신호로부터 손 동작의 패턴 인식에 필요한 정보를 추출하는 전처리단계, 추출된 정보로부터 패턴을 인식하는 패턴 인식단계, 인식된 패턴이 미리 저장된 소정수의 패턴내에 있는가를 판단하고, 소정수의 패턴내에 없으면 영상 촬영단계로 진행하는 단계 및 소정수의 패턴내에 있으면, 손 동작에 따라 미리 정해진 동작을 수행시키는 명령 수행단계로 구성된다.
상기 다른 과제를 이루기 위하여, 본 발명에 의한 손 동작을 이용한 컴퓨터와 사용자간의 인터페이스 장치는, 컴퓨터의 화면앞에 나타나는 사용자의 손 동작을 포함한 영상을 감지하고, 감지된 영상을 촬영하여 영상 신호로서 출력하는 영상 촬영부, 영상 신호로부터 손 동작의 패턴 인식에 필요한 정보를 추출하는 전처리부, 추출된 정보로부터 패턴을 인식하고, 인식된 패턴이 미리 저장된 소정수의 패턴내에 있는가의 유무를 판별하는 패턴 인식부 및 패턴 인식부의 판별 결과에 따라 손 동작에 따라 미리 정해진 동작을 수행하는 명령 수행부로 구성된다.
이하, 본 발명에 의한 컴퓨터와 사용자간의 인터페이스 방법 및 장치의 구성 및 동작을 첨부한 도면을 참조하여 다음과 같이 설명한다.
도 2는 손 동작을 이용한 본 발명에 의한 컴퓨터와 사용자간의 인터페이스를 나타내는 도면으로서, 200은 개인용 컴퓨터를 나타내고, 202는 컴퓨터 화면 상단에 설치된 카메라를 나타내고, 204는 입력수단으로서의 사용자의 손 동작을 나타낸다.
도 2를 참조하면, 본 발명은 컴퓨터(200)와 사용자간의 인터페이스를 위해 사용자의 손 동작(204)을 이용한다. 컴퓨터(200)의 화면 상단에 설치된 영상 촬영부에 해당하는 카메라(202)는 컴퓨터(200)의 화면앞에 나타나는 사용자의 손 동작(204)을 포함한 영상을 감지하고, 감지된 영상을 촬영하여 영상 신호로서 출력한다.
컴퓨터(200)내의 영상처리장치(미도시)에서 전처리부는 카메라(202)를 통해 입력되는 영상 신호로부터 손 동작의 패턴 인식에 필요한 정보를 추출한다. 예컨대, 카메라(200)에 의해 감지된 영상에서 에지 부분을 추출하여 손 동작의 윤곽으로 고려할 수 있다. 패턴 인식부는 전처리부에서 추출된 정보로부터 패턴을 인식하고, 인식된 패턴이 미리 저장된 소정수의 패턴내에 있는가의 유무를 판별한다. 명령 수행부는 패턴 인식부의 판별 결과에 따라 인식된 패던이 미리 저장된 패턴이면, 손 동작에 상응하는 미리 정해진 동작을 수행한다. 예컨대, 손 동작의 이동 방향에 대응하여 컴퓨터(200) 화면상에 표시되는 커서의 움직임을 제어한다.
도 3은 본 발명에 의한 컴퓨터와 사용자간의 인터페이스 방법을 설명하기 위한 플로우챠트이다.
도 3을 참조하여 동작을 설명하면, 먼저, 사용자의 손 동작을 포함한 영상을 감지한다(제302단계). 감지된 영상을 촬영하여 영상 신호를 얻는다(제302단계). 이러한 영상 신호로부터 손 동작의 패턴 인식에 필요한 정보를 추출한다(제304단계). 추출된 정보로부터 패턴을 인식한다(제306단계). 인식된 패턴이 미리 저장된 소정수의 패턴내에 있는가를 판단한다(제310단계). 여기서, 미리 저장된 소정수의 패턴은 이후에 상세히 설명될 것이다. 제310단계에서, 소정수의 패턴내에 있으면, 손 동작에 따라 미리 정해진 동작을 수행시킨다(제312단계). 반면, 소정수의 패턴내에 없으면, 제302단계로 진행한다.
도 4 (a)~(d)는 컴퓨터의 입력수단으로서 이용되는 몇가지의 손 동작의 포맷을 예시적으로 나타내는 도면들이다.
예컨대, 제310단계에서 미리 저장된 소정수의 패턴내에 허용되는 손 동작은 다음과 같이 정의할 수 있다. 도 4 (a)에 도시된 바와 같이 정지된 형태의 손 동작이 카메라에 의해 감지되면, 컴퓨터 화면내의 커서의 모드를 움직임 모드로 설정하는 동작으로서 정의하고, 이 손 동작 이후의 움직임은 움직임 모드에 따라 커서의 방향을 제어하는데 사용된다. 도 4 (b)에 도시된 바와 같이 임의의 방향으로 움직이는 손 동작이 카메라에 의해 감지되면, 손 동작의 움직임 방향에 따른 커서의 실제의 움직임을 제어하는 동작으로서 정의한다. 즉, 도 4 (a)에 도시된 정지된 손 동작의 시작에 따라 움직 모드가 설정되면, 그 후에 상하 좌우 또는 전후로 움직이는 손 동작에 따라 커서 또는 화면이 손 동작의 움직임 방향으로 이동된다.
또한, 도 4 (c)에 도시된 바와 같이 잡아 끌기 형태의 손 동작이 카메라에 의해 감지되면, 화면상의 물체를 선택하여 원하는 곳으로 움직일 수 있는 동작으로서 정의한다. 이에 대응하여, 도 4 (d)에 도시된 바와 같이 풀기 형태의 손 동작이 카메라에 의해 감지되면, 도 4 (c)에 도시된 손 동작에 의해 선택하여 잡은 물체를 풀고 제어를 해제하는 동작으로서 정의한다.
이러한 손 동작의 몇가지 포맷은 단순하지만 가장 필요한 기능을 예로 들고 있으며, 상용중인 마우스의 기능에 대응하여 정의된 것이다. 그러나, 본 발명에 의한 컴퓨터와 사용자간의 인터페이스를 위한 손 동작은 이러한 몇가지 포맷에 제한되지 않으며, 그 변형 및 수정이 가능하다.
이상에서 설명한 바와 같이, 본 발명에 의한 컴퓨터와 사용자간의 인터페이스 방법 및 장치는, 사용자의 손 동작을 컴퓨터의 입력 수단으로서 이용하여 사용자에게 보다 간편한 컴퓨터와의 인터페이스를 제공하며, 3차원 입력을 가능케하고 컴퓨터 시스템의 사용 공간을 줄이는 이점이 있다.

Claims (4)

  1. 손 동작을 이용한 컴퓨터와 사용자간의 인터페이스 방법에 있어서,
    상기 사용자의 손 동작을 포함한 영상을 감지하고, 감지된 영상을 촬영하여 영상 신호를 얻는 영상 촬영단계;
    상기 영상 신호로부터 상기 손 동작의 패턴 인식에 필요한 정보를 추출하는 전처리단계;
    추출된 정보로부터 패턴을 인식하는 패턴 인식단계;
    인식된 패턴이 미리 저장된 소정수의 패턴내에 있는가를 판단하고, 상기 소정수의 패턴내에 없으면 상기 영상 촬영단계로 진행하는 단계; 및
    상기 소정수의 패턴내에 있으면, 상기 손 동작에 따라 미리 정해진 동작을 수행시키는 명령 수행단계를 구비하는 것을 특징으로 하는 컴퓨터와 사용자간의 인터페이스 방법.
  2. 제1항에 있어서, 상기 명령 수행단계는,
    상기 손 동작의 이동 방향에 대응하여 상기 컴퓨터 화면상에 표시되는 커서의 움직임을 제어하는 것을 특징으로 하는 컴퓨터와 사용자간의 인터페이스 방법.
  3. 손 동작을 이용한 컴퓨터와 사용자간의 인터페이스 장치에 있어서,
    상기 컴퓨터의 화면앞에 나타나는 상기 사용자의 손 동작을 포함한 영상을 감지하고, 감지된 영상을 촬영하여 영상 신호로서 출력하는 영상 촬영부;
    상기 영상 신호로부터 상기 손 동작의 패턴 인식에 필요한 정보를 추출하는 전처리부;
    추출된 정보로부터 패턴을 인식하고, 인식된 패턴이 미리 저장된 소정수의 패턴내에 있는가의 유무를 판별하는 패턴 인식부; 및
    상기 패턴 인식부의 판별 결과에 따라 상기 손 동작에 따라 미리 정해진 동작을 수행하는 명령 수행부를 구비하는 것을 특징으로 하는 컴퓨터와 사용자간의 인터페이스 장치.
  4. 제3항에 있어서, 상기 명령 수행부는,
    상기 손 동작의 이동 방향에 대응하여 상기 컴퓨터 화면상에 표시되는 커서의 움직임을 제어하는 것을 특징으로 하는 컴퓨터와 사용자간의 인터페이스 장치.
KR1019970082053A 1997-12-31 1997-12-31 손 동작을 이용한 컴퓨터와 사용자간의 인터페이스 방법 및 장치 KR19990061763A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019970082053A KR19990061763A (ko) 1997-12-31 1997-12-31 손 동작을 이용한 컴퓨터와 사용자간의 인터페이스 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970082053A KR19990061763A (ko) 1997-12-31 1997-12-31 손 동작을 이용한 컴퓨터와 사용자간의 인터페이스 방법 및 장치

Publications (1)

Publication Number Publication Date
KR19990061763A true KR19990061763A (ko) 1999-07-26

Family

ID=66182147

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970082053A KR19990061763A (ko) 1997-12-31 1997-12-31 손 동작을 이용한 컴퓨터와 사용자간의 인터페이스 방법 및 장치

Country Status (1)

Country Link
KR (1) KR19990061763A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007097548A1 (en) * 2006-02-20 2007-08-30 Cheol Woo Kim Method and apparatus for user-interface using the hand trace
KR101236465B1 (ko) * 2004-10-26 2013-02-28 소니 주식회사 콘텐츠 이용장치, 콘텐츠 이용방법, 분배 서버 장치, 정보분배 방법 및 기록 매체
US8466871B2 (en) 2009-02-27 2013-06-18 Hyundai Motor Japan R&D Center, Inc. Input apparatus for in-vehicle devices

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101236465B1 (ko) * 2004-10-26 2013-02-28 소니 주식회사 콘텐츠 이용장치, 콘텐츠 이용방법, 분배 서버 장치, 정보분배 방법 및 기록 매체
WO2007097548A1 (en) * 2006-02-20 2007-08-30 Cheol Woo Kim Method and apparatus for user-interface using the hand trace
US8466871B2 (en) 2009-02-27 2013-06-18 Hyundai Motor Japan R&D Center, Inc. Input apparatus for in-vehicle devices

Similar Documents

Publication Publication Date Title
US7849421B2 (en) Virtual mouse driving apparatus and method using two-handed gestures
US20070018966A1 (en) Predicted object location
JP4725526B2 (ja) 情報処理装置、撮像装置、情報処理システム、装置制御方法及びプログラム
JP3904637B2 (ja) 情報入力装置及び方法
US20110102570A1 (en) Vision based pointing device emulation
JP6350261B2 (ja) オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法
JP2007128288A (ja) 情報表示システム
JP2002526867A (ja) データ入力方法
JPH0844490A (ja) インターフェイス装置
KR19990011180A (ko) 화상인식을 이용한 메뉴 선택 방법
JPH09319556A (ja) 情報処理装置
JP2002196877A (ja) イメージセンサを用いた電子機器
JP6452369B2 (ja) 情報処理装置とその制御方法、プログラム、記憶媒体
JP2012027515A (ja) 入力方法及び入力装置
WO2022267760A1 (zh) 按键功能执行方法、装置、设备及存储介质
CN103135745B (zh) 基于深度图像的非接触控制方法、信息设备和系统
KR19990061763A (ko) 손 동작을 이용한 컴퓨터와 사용자간의 인터페이스 방법 및 장치
JP2000276577A (ja) 画像感応型イベント発生装置
Ye et al. Vics: A modular vision-based hci framework
KR101360322B1 (ko) 다양한 손모양 검출 및 추적을 기반으로 한 원격 전자칠판 제어 장치 및 그 방법
JPH09237151A (ja) グラフィカルユーザインタフェース
US20130187893A1 (en) Entering a command
KR101911676B1 (ko) 지시체의 움직임을 고려한 프리젠테이션 영상 처리장치 및 방법
CN110007748B (zh) 终端的控制方法、处理装置、存储介质及终端
JP5456817B2 (ja) 表示制御装置、表示制御方法、情報表示システム及びプログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid