KR20030021987A - 영상처리를 이용한 무선 Finger Mouse 시스템 - Google Patents

영상처리를 이용한 무선 Finger Mouse 시스템 Download PDF

Info

Publication number
KR20030021987A
KR20030021987A KR1020010055629A KR20010055629A KR20030021987A KR 20030021987 A KR20030021987 A KR 20030021987A KR 1020010055629 A KR1020010055629 A KR 1020010055629A KR 20010055629 A KR20010055629 A KR 20010055629A KR 20030021987 A KR20030021987 A KR 20030021987A
Authority
KR
South Korea
Prior art keywords
finger
user
information
image
mouse
Prior art date
Application number
KR1020010055629A
Other languages
English (en)
Inventor
이민호
김원철
이규봉
Original Assignee
이민호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이민호 filed Critical 이민호
Priority to KR1020010055629A priority Critical patent/KR20030021987A/ko
Publication of KR20030021987A publication Critical patent/KR20030021987A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

현재 여러 종류의 마우스가 개발되어 시판되고 있지만, 기존 마우스들은 별도의 마우스 본체를 사람이 직접 조정해야 하기 때문에 장시간 이용하는 경우 사용자에게 상당한 피로를 누적시키고 있다. 이러한 문제는 근래에 대중화 추세에 있는 PC 카메라와 CCD카메라 같은 Image sensor를 이용해서 실시간으로 사용자의 Finger(손가락)영상을 획득하여 손가락의 움직임을 인식하는 영상처리 프로그램과 사용자의 수신호를 해석하는 과정에서 얻어진 정보에 따라 구동되는 무선 수신호 마우스(Finger Mouse)로 해결될 수 있다. 무선 Finger Mouse는 PC사용자의 손가락정보를 추출하여 사전에 미리 저장해 두고, 이후 PC카메라로부터 실시간으로 입력되는 사용자의 손가락 영상을 저장되어 있는 정보와 비교해서 현재 사용자의 손가락 움직임과 형태에 일치하는 수신호를 정확히 파악하여 그에 맞는 마우스 동작을 취하게 된다. 그래서 PC사용자는 수신호만으로 편리하고 간편하게 PC를 조작할 수 있게 된다. 손가락 인식은 PC사용에 있어서 사용자의 손가락의 동작이 계속해서 변하므로 물체의 움직임을 검출하고 이를 인식 및 추적하는 실시간 패턴인식 영상처리 방법으로 인식되어진다. 마우스 구동은 검출된 사용자의 손가락 위치를 PC모니터에 마우스의 좌표로 표현하고 손가락의 동작인 수신호가 변할 때마다 그에 해당하는 명령을 수행하므로 마우스의 기능을 하게된다.

Description

영상처리를 이용한 무선 Finger Mouse 시스템{Wireless finger mouse system based on image processing}
영상처리를 이용한 Finger Mouse는 PC환경이 고급의 멀티미디어로 부각됨으로 인한, PC의 급속한 대중화에 맞추어 인간친화형, 인간중심의 PC환경 구현의 일부분이다. 또한 PC통신이 영상과 오디오로 특징지어 지는 입체화 통신시대로 접어들면서 PC카메라의 대중화를 이루었는데, Finger Mouse는 PC카메라와 향후 부착될 고성능의 image sensor의 새로운 응용분야를 개척하는 발명이다. Finger Mouse는 별도의 마우스 본체를 필요치 않으면서 간단한 수신호로 마우스기능을 수행할수 있는 시스템이다. 이로 인해 사용자의 마우스 조작부담을 경감시킬 수 있다. 영상처리를 이용한 Finger Mouse시스템의 구성은 도면 1과 같다. 도면 1에서 사용자는 손가락 신호로 마우스를 조작하고, PC카메라와 같은 image sensor는 사용자의 손가락 영상을 실시간으로 PC에 전달하고, PC내에 구성된 손가락인식기와 Finger Mouse 드라이버는 손가락의 신호를 해석하고 이를 마우스 명령화 해서 마우스의 기능을 수행한다. 손가락 인식기와 마우스 드라이버는 도면 2와 같다. 도면 2에서 손가락 인식기는 동작명령을 내리는 사용자의 손가락 정보를 각 명령별로 사전에 저장해 두고, 실시간으로 입력되는 손가락 신호를 저장되어 있는 정보와 비교해서 정확한 명령을 판독한다. 마우스 드라이버는 판독된 정보를 바탕으로 사용자의 손가락 위치를 PC모니터에 마우스 포인터로 표시하고, 사용자의 수신호에 해당하는 동작을 수행한다.
Finger Mouse의 개발로 인한 편리한 PC조작 환경구현과 대중화된 PC 카메라의 새로운 응용 분야 개척
본 발명은 현재 다양하게 연구가 진행되고 있는 인간친화, 인간중심 기술개발분야에 속하는 것으로, PC이용자의 수신호를 영상처리 기법으로 인식하여 그 정보로 마우스를 구동하는 시스템은 없다. 관련 기술분야는 영상을 실시간으로 획득및 가공하는 실시간 영상처리 기술, 움직이는 물체를 감지하여 인식하고 추적하는패턴 인식 알고리즘 기술, 영상처리 정보를 이용한 마우스 구동 드라이버 제작 기술이다. 이러한 영상처리를 이용한 기술들이 무선 마우스 시스템에 적용된 사례가 없다.
PC사용 환경에 있어서 배경의 잡음 속에서 사용자의 움직이는 손가락을 정확히 찾고 또한 그 형태를 분석하는 실시간 패턴인식 영상처리 기술의 개발, 그리고 영상처리로부터 구해진 손가락의 위치와 형태 정보를 이용해서 수신호만으로 동작하는 무선 Finger Mouse 구동시스템의 구현이 이루고자 하는 기술적 과제이다.
도면 1은 영상처리 방법을 이용한 무선 Finger Mouse의 전체 시스템 구성도 이다.
도면 2는 도면 1에서 PC사용자의 손가락을 획득하고 이를 인식하는 영상처리 부분과 Finger Mouse의 세부 구현도 이다. PC카메라로부터 사용자의 손가락을 입력받아서 배경의 잡음요소를 고려하여 사용자의 손가락을 정확히 찾아내고, 그때의 정확한 형태를 패턴인식 영상처리방법으로 분석하는 부분이 포함되어 있다. 또한 분석된 손가락정보를 받아서 손가락의 위치를 PC모니터에 사상시키고 손가락의 형태에 따라서 정해진 규칙에 맞게 마우스를 구동하는 Finger Mouse 드라이버의 세부 구성도 이다.
본 발명 기술의 구성은 실시간 영상처리 시스템과 Finger Mouse 드라이버 시스템으로 구성된다. 실시간 영상처리 시스템은 사용자의 손가락 영상을 실시간으로 획득하는 PC카메라 및 image sensor같은 영상획득장치와 수집한 영상을 저장하는 메모리 그리고, PC사용자의 손가락 형태를 인식 및 분석하는 인식기로 구성된다. Finger Mouse 드라이버는 분석된 손가락 영상정보를 PC모니터에 사상시키는 프로그램과 사용자의 수신호에 따라 PC와 같은 피동작물에 수행해야할 명령을 내리는 마우스 드라이버로 구성된다.
본 발명은 PC사용자들에게 있어서 마우스를 장기간 사용했을 때 발생하는 육체적인 피로를 경감시켜주고, 인간 친화적인 마우스 조작으로 인해 PC사용 환경을 간략화 시켜준다. 한편, 앞으로 보급률이 증가될 PC카메라 및 고성능의 imagesensor의 새로운 응용분야를 개척함으로써 PC카메라 시장에 대한 파급효과가 클 것으로 기대된다. 그리고 현재 외국 업체가 기술적 우위에 있는 무선 마우스와 인체공학적인 마우스 개발에 있어서 영상처리에 의해 동작하는 마우스 기술을 제시함으로써 관련기술을 선점하고 새로운 시장을 개척하는 효과가 기대된다. 또한 향후 영상처리를 이용한 인간친화형 하드웨어구현에 기본 패러다임을 제시함으로써 새로운 기술개발의 촉매제가 될 것으로 기대된다. 성능 면에서도 사용자의 손짓이 그리는 궤적을 스크린에 실시간으로 표현할 수 있기 때문에 손가락 연필(finger pencil)과 손가락 붓(finger brush)의 개발도 기대할 수 있다. 마지막으로 PC와 가전제품의 일체화 성향이 가속되고 PC에서 가전제품을 통제하는 통합 시스템이 구현되면 사용자의 손짓으로 모든 전자시스템을 통제하는 효과를 얻을 수 있다.

Claims (2)

  1. 영상처리 기법으로 PC사용자의 손가락의 위치와 형태를 인식하여 수신호로 동작하는 Finger Mouse 시스템을 구현함에 있어서,
    사용자의 손가락이 중심이 되는 사용자 환경에 대한 영상정보를 카메라를 이용하여 실시간으로 획득하는 단계와,
    입력된 사용자 영상으로부터 주변 영상의 배경잡음을 고려하여 사용자의 손가락 위치와 매 순간 변하는 모양을 정확히 인식하는 단계와,
    인식된 손가락의 정보로부터 사용자가 컴퓨터에게 지시하는 명령을 정해둔 명령 패턴과 비교해서 사용자가 지시한 명령을 정확히 판독하는 단계와,
    인식된 손가락 정보와 수신호 명령으로부터 마우스 포인터를 PC모니터 상에 사상시키는 단계와,
    수신호 명령에 해당하는 동작을 마우스 드라이버가 hard ware에 명령을 주어 구동시키는 방법.
  2. 영상처리 기법으로 PC사용자의 손가락의 위치와 형태를 인식하여 수신호로 동작하는 Finger Mouse 시스템을 구현함에 있어서,
    실시간으로 사용자 환경에 대한 영상정보를 받아들이기 위해 사용자 환경의 정보를 image sensor와 영상 획득 보드를 이용해서 입력받는 영상 입력부와,
    실시간으로 입력되는 영상을 연속적으로 저장하고 실시간으로 인식기의 입력으로 제공하기 위한 영상정보 저장 장치부와,
    입력영상으로부터 사용자의 손가락 정보를 분석하는 패턴인식 영상처리 기법으로 구성된 사용자 손가락 인식기부와,
    인식기에서 구해진 정보를 이용해 사용자의 손가락을 모니터 상에 사상시켜 주는 손가락 위치를 마우스 좌표화 하는 디스플레이부와,
    인식기에서 판독된 수신호 정보를 이용해 각 컴퓨터 장치들을 구동시키기 위한 마우스 명령을 발생하는 Finger Mouse 드라이버 장치.
KR1020010055629A 2001-09-07 2001-09-07 영상처리를 이용한 무선 Finger Mouse 시스템 KR20030021987A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020010055629A KR20030021987A (ko) 2001-09-07 2001-09-07 영상처리를 이용한 무선 Finger Mouse 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020010055629A KR20030021987A (ko) 2001-09-07 2001-09-07 영상처리를 이용한 무선 Finger Mouse 시스템

Publications (1)

Publication Number Publication Date
KR20030021987A true KR20030021987A (ko) 2003-03-15

Family

ID=27723347

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010055629A KR20030021987A (ko) 2001-09-07 2001-09-07 영상처리를 이용한 무선 Finger Mouse 시스템

Country Status (1)

Country Link
KR (1) KR20030021987A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100444074B1 (ko) * 2002-10-04 2004-08-12 현대자동차주식회사 터치 스크린 시스템
KR100843586B1 (ko) * 2006-06-02 2008-07-04 엠텍비젼 주식회사 무접점 기능을 수행하는 장치 및 방법
US8237654B2 (en) 2007-12-18 2012-08-07 Samsung Electroncis Co., Ltd. Display apparatus and control method thereof

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0784714A (ja) * 1993-06-29 1995-03-31 Casio Comput Co Ltd コマンド処理装置
JPH08211979A (ja) * 1995-02-02 1996-08-20 Canon Inc 手振り入力装置及び方法
JPH09185456A (ja) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd インターフェイス装置
KR19980040109A (ko) * 1996-11-29 1998-08-17 구자홍 카메라 부착형 컴퓨터의 화면 스크롤 방법
US5821922A (en) * 1997-05-27 1998-10-13 Compaq Computer Corporation Computer having video controlled cursor system
US6043805A (en) * 1998-03-24 2000-03-28 Hsieh; Kuan-Hong Controlling method for inputting messages to a computer
JP2001034388A (ja) * 1999-07-23 2001-02-09 Matsushita Electric Ind Co Ltd 機器制御装置およびナビゲーション装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0784714A (ja) * 1993-06-29 1995-03-31 Casio Comput Co Ltd コマンド処理装置
JPH08211979A (ja) * 1995-02-02 1996-08-20 Canon Inc 手振り入力装置及び方法
JPH09185456A (ja) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd インターフェイス装置
KR19980040109A (ko) * 1996-11-29 1998-08-17 구자홍 카메라 부착형 컴퓨터의 화면 스크롤 방법
US5821922A (en) * 1997-05-27 1998-10-13 Compaq Computer Corporation Computer having video controlled cursor system
US6043805A (en) * 1998-03-24 2000-03-28 Hsieh; Kuan-Hong Controlling method for inputting messages to a computer
JP2001034388A (ja) * 1999-07-23 2001-02-09 Matsushita Electric Ind Co Ltd 機器制御装置およびナビゲーション装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100444074B1 (ko) * 2002-10-04 2004-08-12 현대자동차주식회사 터치 스크린 시스템
KR100843586B1 (ko) * 2006-06-02 2008-07-04 엠텍비젼 주식회사 무접점 기능을 수행하는 장치 및 방법
US8237654B2 (en) 2007-12-18 2012-08-07 Samsung Electroncis Co., Ltd. Display apparatus and control method thereof

Similar Documents

Publication Publication Date Title
Quek Eyes in the interface
WO2018076523A1 (zh) 手势识别的方法、装置及车载系统
CN105229582B (zh) 基于近距离传感器和图像传感器的手势检测
US20180292907A1 (en) Gesture control system and method for smart home
US8648811B2 (en) Remote control system for electronic device and remote control method thereof
US20110007035A1 (en) Finger-worn devices and related methods of use
US20040196400A1 (en) Digital camera user interface using hand gestures
US20090208057A1 (en) Virtual controller for visual displays
Jeong et al. Single-camera dedicated television control system using gesture drawing
EP2304527A1 (en) Gesture-based control system for vehicle interfaces
CN104102336A (zh) 提供非接触交互的便携式设备和方法
CN101238428A (zh) 自由空间指点和手写
CN110489027B (zh) 手持输入设备及其指示图标的显示位置控制方法和装置
CN113168221B (zh) 信息处理设备、信息处理方法和程序
Corradini et al. A map-based system using speech and 3D gestures for pervasive computing
Veluri et al. Hand gesture mapping using MediaPipe algorithm
CN109753154B (zh) 有屏设备的手势控制方法和装置
KR20030021987A (ko) 영상처리를 이용한 무선 Finger Mouse 시스템
CN104914985A (zh) 手势控制方法及系统与视频流处理装置
Ferscha et al. Orientation sensing for gesture-based interaction with smart artifacts
Maidi et al. Interactive media control using natural interaction-based Kinect
Tiwari et al. Volume Controller using Hand Gestures
Koutlemanis et al. Tracking of multiple planar projection boards for interactive mixed-reality applications
Eswaran et al. Hand gesture recognition for human-computer interaction using computer vision
Karray et al. A survey of ar systems and a case study of virtual keyboard based camera projector system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
E601 Decision to refuse application