KR100891558B1 - 노터치 마우스 동작 방법 - Google Patents

노터치 마우스 동작 방법 Download PDF

Info

Publication number
KR100891558B1
KR100891558B1 KR1020090001386A KR20090001386A KR100891558B1 KR 100891558 B1 KR100891558 B1 KR 100891558B1 KR 1020090001386 A KR1020090001386 A KR 1020090001386A KR 20090001386 A KR20090001386 A KR 20090001386A KR 100891558 B1 KR100891558 B1 KR 100891558B1
Authority
KR
South Korea
Prior art keywords
color
image
information sticker
color information
screen
Prior art date
Application number
KR1020090001386A
Other languages
English (en)
Inventor
배기태
희 한
Original Assignee
(주)티미스솔루션즈
배기태
희 한
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)티미스솔루션즈, 배기태, 희 한 filed Critical (주)티미스솔루션즈
Priority to KR1020090001386A priority Critical patent/KR100891558B1/ko
Application granted granted Critical
Publication of KR100891558B1 publication Critical patent/KR100891558B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0334—Foot operated pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Abstract

노터치 마우스 동작 방법이 개시된다. 본 발명의 실시예에 따른 노터치 마우스 동작 방법은, 일정한 시간 동안에 색상 정보 스티커와 그 주변 영상을 웹 캠으로 입력받는, 영상 입력 단계; 상기 웹 캠으로 입력된 RGB 영상을 YCbCr 영상으로 변환하고, 상기 YCbCr 영상으로부터 Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리하는, 변환/분리 단계; 상기 Cb 색상 기반 영상과 상기 Cr 색상 기반 영상으로부터, 상기 화면 상에서 상기 색상 정보 스티커 영역을 검출하는, 검출 단계; 및 상기 색상 정보 스티커 영역의 중심 좌표에 기초하여, 상기 색상 정보 스티커의 움직임과 마우스 이벤트를 연동하는, 이벤트 연결 단계를 구비한다.

Description

노터치 마우스 동작 방법{Operating method of mouse}
본 발명의 실시예는 행동이 불편한 장애인이나 일반 사용자가 자신이 원하는 신체 부위나 특정 기기를 통해 프로그램을 쉽게 제어하도록 할 수 있는 노터치 마우스 동작 방법에 관한 것이다.
국내의 장애인 정보화 보조기기 산업의 경우 보조기기의 시장이 협소하고 대부분 수입에 의존하고 있기 때문에 보조기기 자체의 가격이 매우 고가이며 이로 인해 관련 업체들의 생산이나 판매 실적이 미비한 상태다. 특히 정부 지원이 아닌 장애인이 직접 보조기기를 구매할 경우, 비싼 가격으로 인해 구매에 어려움이 발생 하고 있으며 이는 관련 시장의 성장을 막고 있는 요인으로 작용 하고 있다.
국내외적으로 장애인이나 노인을 위한 기기개발에 관한 많은 연구가 진행되고 있는데, 특히 HCI(Human Computer Interaction)분야와 같은 특정 연구영역에서는 인간의 다양한 신체부위를 인터페이스로 사용하는 경우가 많다. 하지만 대부분의 경우 사람마다의 고유한 특성과 부정확한 정보획득으로 인하여 한정적으로 특정 분야에서만 사용되는 경우가 많고 실제적으로 범용 인터페이스에 적용되는 경우는 거의 없는 실정이다.
이러한 단점을 해결하기 위해 게임이나 특정 분야에서는 해당 분야에서만 사용할 수 있는 특수 기기를 제작하거나 센서를 이용한 센서 연동 방식을 사용하고 있다. 그러나 이러한 방법은 비용이 많이 들고 제작된 기기들이 특정 프로그램에 종속되어 사용되어지기 때문에 활용성이 떨어지는 단점이 있다.
본 발명이 이루고자 하는 기술적 과제는, 행동이 불편한 장애인이나 일반 사용자가 자신이 원하는 신체 부위나 특정 기기를 통해 프로그램을 쉽게 제어하도록 할 수 있는 노터치 마우스 동작 방법을 제공하는 데 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 실시예에 따른 노터치 마우스 동작 방법은, 일정한 시간 동안에 색상 정보 스티커와 그 주변 영상을 웹 캠으로 입력받는, 영상 입력 단계; 상기 웹 캠으로 입력된 RGB 영상을 YCbCr 영상으로 변환하고, 상기 YCbCr 영상으로부터 Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리하는, 변환/분리 단계; 상기 Cb 색상 기반 영상과 상기 Cr 색상 기반 영상으로부터, 상기 화면 상에서 상기 색상 정보 스티커 영역을 검출하는, 검출 단계; 및 상기 색상 정보 스티커 영역의 중심 좌표에 기초하여, 상기 색상 정보 스티커의 움직임과 마우스 이벤트를 연동하는, 이벤트 연결 단계를 구비한다.
자동 모드에서, 상기 영상 입력 단계 이전에, 상기 화면 상의 사전에 설정된 영역 내에, 색상 정보 스티커를 일정한 시간 동안 위치시키는 단계를 더 구비한다. 상기 영상 입력 단계는, 상기 사전에 설정된 영역의 영상을 웹 캠으로 입력받고, 상기 변환/분리 단계는, 상기 사전에 설정된 영역의 영상으로부터, Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리한다.
반자동 모드에서, 상기 영상 입력 단계 이후에, 상기 화면 상에서 사용자에 의하여 선택된 영역을 캡쳐하는 단계를 더 구비한다. 상기 변환/분리 단계는, 상기 캡쳐된 영역의 영상으로부터, Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리한다.
수동 모드에서, 상기 변환/분리 단계는, 상기 영상 입력 단계에서 입력된 상기 화면의 모든 영역의 영상으로부터, Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리한다. 상기 변환/분리 단계 이후에, 상기 변환/분리된 영상 내에서, 사용자에 의하여 선택된 색상에 대응되는 영역을 화면 상에 표시하는 단계를 더 구비한다. 상기 검출 단계는, 사용자가 색상을 변경 선택하면서, 상기 색상 정보 스티커 영역을 검출한다.
본 발명의 실시예에 따른 노터치 마우스 동작 방법은, 행동이 불편한 장애인이나 일반 사용자가 자신이 원하는 신체 부위나 특정 기기를 통해 프로그램을 쉽게 제어하도록 할 수 있다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 실시예에 따른 노터치 마우스 동작 방법의 개념도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 노터치 마우스 동작 방법은, 특정 색깔이나 특정 마크가 표시된 스티커(107)를 임의의 기기(안경, 머리띠, 막대, 시계)나 신체 일부(이마, 코, 팔, 다리)등에 부착하여 카메라(108)를 통해 색깔이나 마크에 대한 정보를 입력 받는다. 제어부(190)는 입력받은 정보를 영상 처리 기술을 통해 분석한 후 처리된 정보(좌표)를 특정 이벤트(키보드, 이벤트)에 연결하여 다양한 응용 프로그램을 제어한다.
색상 정보 스티커(107)를 안경의 중앙부에 부착하고, 사용자는 안경을 착용한다. 카메라(108)를 통해 입력된 영상에서 안경에 부착된 색상 정보 스티커(107)의 색차 정보를 자동으로 추출한다. 추출된 정보를 기반으로 색상 정보 스티커 영역을 검출하고, 검출된 색상 정보 스티커 영역의 중심 좌표를 마우스 이벤트와 연결시킨다. 사용자는 안경이 이동하는 방향에 따라 마우스 커서의 위치를 이동시킬 수 있다. 이러한 인터페이스를 통해 사용자는 기존의 마우스로 느낄 수 없는 공간적인 실제 감을 느낄 수 있다. 특히 이마의 이동에 따라 마우스 커서가 이동하는 효과가 다른 신체 기관의 움직임에 비해 안정적이다.
도 1에서 101은 사용자의 모니터를 나타낸다. 110은 카메라(108)로 촬영된 영상을 나타내는 화면이고, 105는 각종 동작 모드를 제어하기 위한 인터페이스이다. 170은 마우스가 보여지는 화면이고, 180은 마우스 커서를 나타낸다.
도 2는 본 발명의 실시예에 따른 노터치 마우스 동작 방법의 순서도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 노터치 마우스 동작 방법은 영상 입력 단계(S210), 변환/분리 단계(S220), 검출 단계(S230), 및 이벤트 연결 단계(S240)를 구비한다.
영상 입력 단계(S210)에서, 일정한 시간 동안에 색상 정보 스티커(107)와 그 주변 영상을 웹 캠(108)으로 입력받는다. 변환/분리 단계(S220)에서, 웹 캠(108)으로 입력된 RGB 영상을 YCbCr 영상으로 변환하고, YCbCr 영상으로부터 Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리한다. 검출 단계(S230)에서, Cb 색상 기반 영상과 Cr 색상 기반 영상으로부터, 화면 상에서 색상 정보 스티커 영역을 검출한다. 이벤트 연결 단계(S240)에서, 색상 정보 스티커 영역의 중심 좌표에 기초하여, 색상 정보 스티커의 움직임과 마우스 이벤트를 연동시킨다.
도 3은 본 발명의 실시예에 따른 노터치 마우스 동작 방법을 구현한 모습을 나타낸다.
도 3을 참조하면, 310은 웹 캠(108)로 촬영된 영상을 나타내는 화면이고, 305는 각종 동작 모드를 제어하기 위한 인터페이스이다. 본 발명의 실시예에 따른 노터치 마우스 동작 방법의 동작 모드에는, 자동 모드, 반자동 모드와 수동 모드가 있다. 자동 모드는 도 3에 도시된 “1” 메뉴를 이용하여 실행될 수 있고, 반자동 모드는 도 3에 도시된 “2” 메뉴를 이용하여 실행될 수 있다. 또한, 수동 모드는 도 3에 도시된 “5” 메뉴를 이용하여 실행될 수 있다.
도 4(a)는 자동 모드의 과정을 나타내는 도면이다.
도 4(b)는 자동 모드를 나타내는 순서도이다.
이하에서 도 4(a)와 도 4(b)를 참조하여 자동 모드를 설명한다.
자동 모드가 실행되면, 화면(310) 상에 사전에 설정된 영역(420)이 보여진다(도 4(a)의 왼쪽 도면을 참조하라). 도 4(a)에 도시된 사전에 설정된 영역(420)의 위치는 단순한 예시로써 변경될 수 있다. 사전에 설정된 영역(420)은, 사용자의 제어 없이 미리 설정되는 영역이다.
도 4(a)의 오른쪽 도면을 참조하면, 사용자는, 화면(310) 상의 사전에 설정된 영역(420) 내에 색상 정보 스티커를 일정한 시간 동안 위치시킨다(S405).
다음으로, 사전에 설정된 영역(420)의 영상을 웹 캠으로 입력받고(S410), 사전에 설정된 영역(420)의 영상으로부터, Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리한다(S420). Cb 색상 기반 영상과 Cr 색상 기반 영상으로부터, 화면(310) 상에서 색상 정보 스티커 영역(450)을 검출한다(S430). 색상 정보 스티커 영역(450)의 중심 좌표에 기초하여, 색상 정보 스티커의 움직임과 마우스 이벤트를 연동시킨다(S440).
도 5(a)는 반자동 모드의 과정을 나타내는 도면이다.
도 5(b)는 반자동 모드를 나타내는 순서도이다.
이하에서 도 5(a)와 도 5(b)를 참조하여 반자동 모드를 설명한다.
자동 모드가 실행되면 사전에 설정된 영역(도 4(a)의 420)이 표시되는 것과 는 달리, 반자동 모드가 실행되면 도 4(a)의 420에 대응되는 영역이 표시되지 않는다. 반자동 모드가 실행되면, 일정한 시간 동안에 색상 정보 스티커와 그 주변 영상을 입력받아서 화면(310)에 표시한다(S510 ; 도 5(a)의 왼쪽 그림 참조). 다음으로, 사용자가 화면(310) 상에서 색상 정보 스티커 영역(550)을 포함하는 영역(520)을 선택하고, 선택된 영역(520)의 영상을 캡쳐한다(S515 ; 도 5(a)의 오른쪽 그림 참조). 사용자는 화면(310) 상에서 마우스를 드래그함으로써, 영역(520)을 선택할 수 있다,
캡쳐한 영역(520)의 영상으로부터, Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리한다(S520). Cb 색상 기반 영상과 Cr 색상 기반 영상으로부터, 화면(310) 상에서 색상 정보 스티커 영역(550)을 검출한다(S530). 색상 정보 스티커 영역(550)의 중심 좌표에 기초하여, 색상 정보 스티커의 움직임과 마우스 이벤트를 연동시킨다(S540).
도 6(a)는 수동 모드의 과정을 나타내는 도면이다.
도 6(b)는 수동 모드를 나타내는 순서도이다.
이하에서 도 6(a)와 도 6(b)를 참조하여 수동 모드를 설명한다.
수동 모드가 실행되면, 일정한 시간 동안에 색상 정보 스티커와 그 주변 영상을 입력받아서 화면에 표시한다(S610 ; 도 6(a)의 왼쪽 그림 참조). 화면(310)의 모든 영역의 영상으로부터, Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리한다(S620).
다음으로, 사용자는 색상 정보 스티커 영역(650)만을 화면(310)에 보여지게 한다. 좀 더 설명하면, 화면(310)에는 사용자가 선택한 색상을 가지는 영역만 보여지고, 다른 색상을 가지는 영역은 보여지지 않는다. 그에 따라, 사용자가 색상을 조절하는 도중에, 색상 정보 스티커 영역(650)의 색상이 선택되면, 색상 정보 스티커 영역(650)만이 화면(310)에 보여진다.
본 발명의 실시예에 따른 노터치 마우스 동작 방법은, 완전 자동 모드로 실행될 수도 있다. 완전 자동 모드에서는, 화면의 모든 영역의 영상의 색상 분포를 분석하여, 특정 색상이 집중되어 있는 영역을 색상 정보 스티커 영역으로 검출한다. 이 과정에서 사용자는 색상 정보 스티커를 웹 캠 앞에 위치시키기만 하면 된다.
본 발명의 실시예에 따른 노터치 마우스 동작 방법은, 색상 저장 모드를 더 구비할 수 있다. 색상 저장 모드에서는, 색상 정보 스티커가 가질 수 있는 복수개의 색상들을 사전에 저장해 놓는다. 다음으로, 색상 저장 모드에서 저장된 색상들을 기초로 하여, 색상 정보 스티커 영역을 검출한다(도 3의 “3” 참조).
또한, 본 발명의 실시예에 따른 노터치 마우스 동작 방법이 실행되었을 때 검출되었던 색상 정보 스티커 영역의 Y 색상, Cb 색상, 및 Cr 색상을 저장했다가, 본 발명의 실시예에 따른 노터치 마우스 동작 방법이 다시 실행되었을 때, 이용할 수도 있다. 즉, 저장했던 Y 색상, Cb 색상, 및 Cr 색상을 기초로 하여, 색상 정보 스티커 영역을 자동으로 검출할 수도 있다(도 3의 “7” 참조).
화면 상에서 색상 정보 스티커의 움직임을 인식하는 범위를 결정할 수도 있다. 즉, 화면 인식 범위를 조절하여 사용자의 이동 정도에 따라 마우스의 이동 폭을 조절할 수 있다(도 3의 “4” 참조).
또한, 색상 정보 스티커의 움직임에 연동되는 노터치 마우스의 커서가 움직이는 속도를 결정할 수도 있다. 커서의 이동 속도를 조절함으로써, 마우스 떨림이 나 움직임이 느린 사용자를 위한 커서 속도 조절 인터페이스를 구현할 수 있다(도 3의 “4” 참조).
노터치 마우스의 클릭 이벤트는, 사용자의 발의 움직임에 의하여 생성될 수 있다. 클릭 이벤트를 발생시킬 수 있는 발 마우스의 예가 도 7에 도시된다. 또한, 노터치 마우스의 클릭 이벤트는 사용자의 음성에 의하여 생성될 수 있다.
본 발명의 실시예에 따른 노터치 마우스 동작 방법의 원리를 이용하여, 파워 포인트 제어 기능을 구현할 수 있고, 키보드 제어 기능을 구현할 수도 있다.
이처럼, 본 발명의 실시예에 따른 노터치 마우스 동작 방법은, 행동이 불편한 장애인이나 일반 사용자가 자신이 원하는 신체 부위나 특정 기기를 통해 프로그램을 쉽게 제어하는 방법을 제공하는 것이다. 예를 들면 손을 사용할 수 없는 장애인이 머리의 움직임을 이용하여 프로그램을 제어하고자 하는 경우 안경과 같은 기기에 특정 스티커를 부착한 후 카메라를 통해 입력된 스티커 영상을 인식하여 사용자가 지정한 응용 프로그램이나 특정 프로그램을 제어하는 방법이다.
특히 제안하는 시스템은 기기에 부착된 고정된 스티커의 정보를 이용하기 때문에 안정성이 높고 사용하고자 하는 인터페이스의 제약이 없기 때문에 다양한 분야에서 활용 될 수 있다.
기존의 장애인들을 위한 정보기기들은 특수하게 제작된 장비를 사용해야 하거나 고가의 장비를 사용해야 하는 단점이 있지만 제안하는 시스템은 설치가 간단하고 공간적인 제약을 해결할 수 있기 때문에 다양한 콘텐츠와의 연동을 통해 많은 장점을 제공할 수 있다.
이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 실시예에 따른 노터치 마우스 동작 방법의 개념도이다.
도 2는 본 발명의 실시예에 따른 노터치 마우스 동작 방법의 순서도이다.
도 3은 본 발명의 실시예에 따른 노터치 마우스 동작 방법을 구현한 모습을 나타낸다.
도 4(a)는 자동 모드의 과정을 나타내는 도면이다.
도 4(b)는 자동 모드를 나타내는 순서도이다.
도 5(a)는 반자동 모드의 과정을 나타내는 도면이다.
도 5(b)는 반자동 모드를 나타내는 순서도이다.
도 6(a)는 수동 모드의 과정을 나타내는 도면이다.
도 6(b)는 수동 모드를 나타내는 순서도이다.
도 7은 발 마우스의 예를 나타낸다.

Claims (8)

  1. 일정한 시간 동안에 색상 정보 스티커와 그 주변 영상을 웹 캠으로 입력받는, 영상 입력 단계;
    상기 웹 캠으로 입력된 RGB 영상을 YCbCr 영상으로 변환하고, 상기 YCbCr 영상으로부터 Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리하는, 변환/분리 단계;
    상기 Cb 색상 기반 영상과 상기 Cr 색상 기반 영상으로부터, 상기 화면 상에서 상기 색상 정보 스티커 영역을 검출하는, 검출 단계; 및
    상기 색상 정보 스티커 영역의 중심 좌표에 기초하여, 상기 색상 정보 스티커의 움직임과 마우스 이벤트를 연동하는, 이벤트 연결 단계를 구비하고,
    자동 모드에서,
    상기 영상 입력 단계 이전에, 상기 화면 상의 사전에 설정된 영역 내에, 색상 정보 스티커를 일정한 시간 동안 위치시키는 단계를 더 구비하고,
    상기 영상 입력 단계는, 상기 사전에 설정된 영역의 영상을 웹 캠으로 입력받고,
    상기 변환/분리 단계는, 상기 사전에 설정된 영역의 영상으로부터, Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리하고,
    반자동 모드에서,
    상기 영상 입력 단계 이후에, 상기 화면 상에서 사용자에 의하여 선택된 영역을 캡쳐하는 단계를 더 구비하고,
    상기 변환/분리 단계는, 상기 캡쳐된 영역의 영상으로부터, Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리하고,
    수동 모드에서,
    상기 변환/분리 단계는, 상기 영상 입력 단계에서 입력된 상기 화면의 모든 영역의 영상으로부터, Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리하고,
    상기 변환/분리 단계 이후에, 상기 변환/분리된 영상 내에서, 사용자에 의하여 선택된 색상에 대응되는 영역을 화면 상에 표시하는 단계를 더 구비하고,
    상기 검출 단계는, 사용자가 색상을 변경 선택하면서, 상기 색상 정보 스티커 영역을 검출하는 것을 특징으로 하는 노터치 마우스 동작 방법.
  2. 제1항에 있어서, 상기 반자동 모드에서,
    사용자가 화면 상에서 마우스를 드래그함으로써, 상기 화면 상에서 사용자에 의하여 선택된 영역을 캡쳐하는 것을 특징으로 하는 노터치 마우스.
  3. 제1항에 있어서,
    상기 노터치 마우스는, 완전 자동 모드를 더 구비하고,
    상기 완전 자동 모드에서,
    상기 검출 단계는, 상기 화면의 모든 영역의 영상의 색상 분포를 분석하여, 특정 색상이 집중되어 있는 영역을 상기 색상 정보 스티커 영역으로 검출하는 것을 특징으로 하는 노터치 마우스 동작 방법.
  4. 제1항에 있어서, 상기 영상 입력 단계 이전에,
    복수개의 색상들을 사전에 저장해 놓는, 색상 저장 모드를 더 구비하고,
    상기 검출 단계는, 상기 색상 저장 모드에서 저장된 색상을 기초로 하여, 상기 색상 정보 스티커 영역을 검출하는 것을 특징으로 하는 노터치 마우스 동작 방법.
  5. 제1항에 있어서, 상기 검출 단계 이후에,
    상기 색상 정보 스티커 영역의 Y 색상, Cb 색상, 및 Cr 색상을 저장하는 단계를 더 구비하고,
    상기 촬영 단계 이후에,
    상기 저장되었던 Y 색상, Cb 색상, 및 Cr 색상을 기초로 하여, 상기 색상 정보 스티커 영역을 검출하는, 자동 시작 모드를 더 구비하는 것을 특징으로 하는 노터치 마우스 동작 방법.
  6. 제1항에 있어서,
    상기 화면 상에서 상기 색상 정보 스티커의 움직임을 인식하는 범위를 결정하는 것을 특징으로 하는 노터치 마우스 동작 방법.
  7. 제1항에 있어서,
    상기 색상 정보 스티커의 움직임에 연동되는 노터치 마우스의 커서가 움직이는 속도를 결정하는 것을 특징으로 하는 노터치 마우스 동작 방법.
  8. 제1항에 있어서, 상기 노터치 마우스의 클릭 이벤트는,
    사용자의 발의 움직임에 의하여 생성되는 것을 특징으로 하는 노터치 마우스 동작 방법.
KR1020090001386A 2009-01-08 2009-01-08 노터치 마우스 동작 방법 KR100891558B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090001386A KR100891558B1 (ko) 2009-01-08 2009-01-08 노터치 마우스 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090001386A KR100891558B1 (ko) 2009-01-08 2009-01-08 노터치 마우스 동작 방법

Publications (1)

Publication Number Publication Date
KR100891558B1 true KR100891558B1 (ko) 2009-04-03

Family

ID=40757209

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090001386A KR100891558B1 (ko) 2009-01-08 2009-01-08 노터치 마우스 동작 방법

Country Status (1)

Country Link
KR (1) KR100891558B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030928A (ko) * 2017-09-15 2019-03-25 한동대학교 산학협력단 아이트래킹 및 음성인식을 활용한 컴퓨터 대체접근 시스템 및 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040018708A (ko) * 2002-08-26 2004-03-04 주식회사 파인디지털 화면 스캔을 이용한 포인터 이동방법
KR20070016018A (ko) * 2005-08-02 2007-02-07 삼성전자주식회사 얼굴 검출 장치 및 방법
KR20070030398A (ko) * 2005-09-13 2007-03-16 주식회사 팬택 사용자의 손 동작에 따라서 마우스 포인터를 제어하는 이동통신 단말기 및 그 구현 방법
KR100849532B1 (ko) 2006-06-14 2008-07-31 엠텍비젼 주식회사 무접점 마우스 기능을 가지는 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040018708A (ko) * 2002-08-26 2004-03-04 주식회사 파인디지털 화면 스캔을 이용한 포인터 이동방법
KR20070016018A (ko) * 2005-08-02 2007-02-07 삼성전자주식회사 얼굴 검출 장치 및 방법
KR20070030398A (ko) * 2005-09-13 2007-03-16 주식회사 팬택 사용자의 손 동작에 따라서 마우스 포인터를 제어하는 이동통신 단말기 및 그 구현 방법
KR100849532B1 (ko) 2006-06-14 2008-07-31 엠텍비젼 주식회사 무접점 마우스 기능을 가지는 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030928A (ko) * 2017-09-15 2019-03-25 한동대학교 산학협력단 아이트래킹 및 음성인식을 활용한 컴퓨터 대체접근 시스템 및 동작 방법
KR102083372B1 (ko) * 2017-09-15 2020-03-02 한동대학교 산학협력단 아이트래킹 및 음성인식을 활용한 컴퓨터 대체접근 시스템 및 동작 방법

Similar Documents

Publication Publication Date Title
US11977677B2 (en) Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions
JP5387557B2 (ja) 情報処理装置及び方法、並びにプログラム
CN110456907A (zh) 虚拟画面的控制方法、装置、终端设备及存储介质
US9218124B2 (en) Information processing apparatus, information processing method, and program
US9257114B2 (en) Electronic device, information processing apparatus,and method for controlling the same
KR101302638B1 (ko) 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US20150317810A1 (en) User Interfaces for Mobile and Wearable Medical Devices
US8942510B2 (en) Apparatus and method for switching a display mode
US20150338651A1 (en) Multimodal interation with near-to-eye display
JP5606281B2 (ja) 表示装置
TWI362005B (ko)
AU9418701A (en) Image processing apparatus, image processing method, record medium, computer program, and semiconductor device
CN103105930A (zh) 一种基于视频图像的非接触式智能输入方法及装置
WO2018076380A1 (zh) 在电子设备中生成视频缩略图的方法及电子设备
KR20160121287A (ko) 이벤트에 기반하여 화면을 디스플레이하는 방법 및 장치
KR20190030140A (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
CN109572239B (zh) 一种美甲装置的打印方法、系统、美甲设备和介质
EP3679825A1 (en) A printing method and system of a nail printing apparatus, and a medium thereof
KR20150106823A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
EP3438789A1 (en) Information processing device, information processing method, and program
CN112817443A (zh) 基于手势的显示界面控制方法、装置、设备及存储介质
US20160147294A1 (en) Apparatus and Method for Recognizing Motion in Spatial Interaction
KR20070043469A (ko) 장애인을 위한 마우스 동작 인식 시스템
US10444831B2 (en) User-input apparatus, method and program for user-input
KR100891558B1 (ko) 노터치 마우스 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130326

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140408

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee