KR100891558B1 - Operating method of mouse - Google Patents

Operating method of mouse Download PDF

Info

Publication number
KR100891558B1
KR100891558B1 KR1020090001386A KR20090001386A KR100891558B1 KR 100891558 B1 KR100891558 B1 KR 100891558B1 KR 1020090001386 A KR1020090001386 A KR 1020090001386A KR 20090001386 A KR20090001386 A KR 20090001386A KR 100891558 B1 KR100891558 B1 KR 100891558B1
Authority
KR
South Korea
Prior art keywords
color
image
information sticker
color information
screen
Prior art date
Application number
KR1020090001386A
Other languages
Korean (ko)
Inventor
배기태
희 한
Original Assignee
(주)티미스솔루션즈
배기태
희 한
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)티미스솔루션즈, 배기태, 희 한 filed Critical (주)티미스솔루션즈
Priority to KR1020090001386A priority Critical patent/KR100891558B1/en
Application granted granted Critical
Publication of KR100891558B1 publication Critical patent/KR100891558B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0334—Foot operated pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Abstract

An operation method of a no-touch mouse is provided to enable the disabled person or general user to control a program easily by using a part of his/her body or a specific instrument. A web camera photographs a color information sticker and peripheral images for a predetermined time(S210). An RGB image which is inputted to the web camera is converted into an YCbCr image. The YCbCr image is divided into a Cb color-based image and Cr color-based image(S220). The color information sticker region on a screen is detected from the Cb color-based image and Cr color-based image(S230). The movement of the color information sticker interlocks with a mouse event on the basis of the central coordinates of the color information sticker region(S240).

Description

노터치 마우스 동작 방법{Operating method of mouse}Operating method of mouse

본 발명의 실시예는 행동이 불편한 장애인이나 일반 사용자가 자신이 원하는 신체 부위나 특정 기기를 통해 프로그램을 쉽게 제어하도록 할 수 있는 노터치 마우스 동작 방법에 관한 것이다.An embodiment of the present invention relates to a method of operating a no-touch mouse that enables a disabled person or a general user having an uncomfortable behavior to easily control a program through a desired body part or a specific device.

국내의 장애인 정보화 보조기기 산업의 경우 보조기기의 시장이 협소하고 대부분 수입에 의존하고 있기 때문에 보조기기 자체의 가격이 매우 고가이며 이로 인해 관련 업체들의 생산이나 판매 실적이 미비한 상태다. 특히 정부 지원이 아닌 장애인이 직접 보조기기를 구매할 경우, 비싼 가격으로 인해 구매에 어려움이 발생 하고 있으며 이는 관련 시장의 성장을 막고 있는 요인으로 작용 하고 있다. In the case of the information technology assistive device industry for the disabled in Korea, the price of the assistive device itself is very expensive because the market of the assistive device is narrow and most of it depends on imports. In particular, if a person with a disability, who is not a government support, purchases an assistive device directly, it is difficult to purchase due to the high price, which is preventing the growth of the related market.

국내외적으로 장애인이나 노인을 위한 기기개발에 관한 많은 연구가 진행되고 있는데, 특히 HCI(Human Computer Interaction)분야와 같은 특정 연구영역에서는 인간의 다양한 신체부위를 인터페이스로 사용하는 경우가 많다. 하지만 대부분의 경우 사람마다의 고유한 특성과 부정확한 정보획득으로 인하여 한정적으로 특정 분야에서만 사용되는 경우가 많고 실제적으로 범용 인터페이스에 적용되는 경우는 거의 없는 실정이다. There are many studies on device development for the disabled and the elderly at home and abroad. In particular, in a specific research area such as the Human Computer Interaction (HCI) field, various human body parts are often used as interfaces. However, in most cases, due to their unique characteristics and inaccurate information acquisition, they are often used only in a specific field and are rarely applied to general-purpose interfaces.

이러한 단점을 해결하기 위해 게임이나 특정 분야에서는 해당 분야에서만 사용할 수 있는 특수 기기를 제작하거나 센서를 이용한 센서 연동 방식을 사용하고 있다. 그러나 이러한 방법은 비용이 많이 들고 제작된 기기들이 특정 프로그램에 종속되어 사용되어지기 때문에 활용성이 떨어지는 단점이 있다.In order to solve these drawbacks, a game or a specific field is using a sensor interlock method using a sensor or a special device that can be used only in the corresponding field. However, this method has a disadvantage in that it is inexpensive because the expensive and manufactured devices are used depending on a specific program.

본 발명이 이루고자 하는 기술적 과제는, 행동이 불편한 장애인이나 일반 사용자가 자신이 원하는 신체 부위나 특정 기기를 통해 프로그램을 쉽게 제어하도록 할 수 있는 노터치 마우스 동작 방법을 제공하는 데 있다.The technical problem to be achieved by the present invention is to provide a no-touch mouse operation method that allows a disabled person or a general user with an inconvenient behavior to easily control a program through a desired body part or a specific device.

상기 기술적 과제를 달성하기 위한 본 발명의 실시예에 따른 노터치 마우스 동작 방법은, 일정한 시간 동안에 색상 정보 스티커와 그 주변 영상을 웹 캠으로 입력받는, 영상 입력 단계; 상기 웹 캠으로 입력된 RGB 영상을 YCbCr 영상으로 변환하고, 상기 YCbCr 영상으로부터 Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리하는, 변환/분리 단계; 상기 Cb 색상 기반 영상과 상기 Cr 색상 기반 영상으로부터, 상기 화면 상에서 상기 색상 정보 스티커 영역을 검출하는, 검출 단계; 및 상기 색상 정보 스티커 영역의 중심 좌표에 기초하여, 상기 색상 정보 스티커의 움직임과 마우스 이벤트를 연동하는, 이벤트 연결 단계를 구비한다.In accordance with another aspect of the present invention, there is provided a method of operating a no-touch mouse, the image input step of receiving a color information sticker and its surrounding image through a web cam for a predetermined time; Converting / separating the RGB image inputted to the web cam into a YCbCr image and separating a Cb color based image and a Cr color based image from the YCbCr image; Detecting the color information sticker area on the screen from the Cb color based image and the Cr color based image; And an event linking step of linking a movement of the color information sticker and a mouse event based on a center coordinate of the color information sticker region.

자동 모드에서, 상기 영상 입력 단계 이전에, 상기 화면 상의 사전에 설정된 영역 내에, 색상 정보 스티커를 일정한 시간 동안 위치시키는 단계를 더 구비한다. 상기 영상 입력 단계는, 상기 사전에 설정된 영역의 영상을 웹 캠으로 입력받고, 상기 변환/분리 단계는, 상기 사전에 설정된 영역의 영상으로부터, Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리한다. In the automatic mode, before the image input step, the method further comprises the step of placing a color information sticker in a predetermined area on the screen for a predetermined time. The image input step receives an image of the preset area through a web cam, and the conversion / separation step separates a Cb color-based image and a Cr color-based image from the image of the preset area.

반자동 모드에서, 상기 영상 입력 단계 이후에, 상기 화면 상에서 사용자에 의하여 선택된 영역을 캡쳐하는 단계를 더 구비한다. 상기 변환/분리 단계는, 상기 캡쳐된 영역의 영상으로부터, Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리한다.In the semi-automatic mode, after the image input step, further comprising the step of capturing the area selected by the user on the screen. The converting / separating step separates the Cb color based image and the Cr color based image from the captured region image.

수동 모드에서, 상기 변환/분리 단계는, 상기 영상 입력 단계에서 입력된 상기 화면의 모든 영역의 영상으로부터, Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리한다. 상기 변환/분리 단계 이후에, 상기 변환/분리된 영상 내에서, 사용자에 의하여 선택된 색상에 대응되는 영역을 화면 상에 표시하는 단계를 더 구비한다. 상기 검출 단계는, 사용자가 색상을 변경 선택하면서, 상기 색상 정보 스티커 영역을 검출한다.In the manual mode, the converting / separating step separates the Cb color-based image and the Cr color-based image from the images of all regions of the screen input in the image input step. After the converting / separating step, the method further includes displaying, on the screen, an area corresponding to the color selected by the user in the converted / separated image. The detecting step detects the color information sticker area while the user changes and selects a color.

본 발명의 실시예에 따른 노터치 마우스 동작 방법은, 행동이 불편한 장애인이나 일반 사용자가 자신이 원하는 신체 부위나 특정 기기를 통해 프로그램을 쉽게 제어하도록 할 수 있다.The method of operating a no-touch mouse according to an embodiment of the present invention may allow a disabled person or a general user who is inconvenient to easily control a program through a desired body part or a specific device.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.DETAILED DESCRIPTION In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings which illustrate preferred embodiments of the present invention and the contents described in the drawings.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Like reference numerals in the drawings denote like elements.

도 1은 본 발명의 실시예에 따른 노터치 마우스 동작 방법의 개념도이다.1 is a conceptual diagram of a no-touch mouse operation method according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 노터치 마우스 동작 방법은, 특정 색깔이나 특정 마크가 표시된 스티커(107)를 임의의 기기(안경, 머리띠, 막대, 시계)나 신체 일부(이마, 코, 팔, 다리)등에 부착하여 카메라(108)를 통해 색깔이나 마크에 대한 정보를 입력 받는다. 제어부(190)는 입력받은 정보를 영상 처리 기술을 통해 분석한 후 처리된 정보(좌표)를 특정 이벤트(키보드, 이벤트)에 연결하여 다양한 응용 프로그램을 제어한다.Referring to FIG. 1, a method of operating a no-touch mouse according to an exemplary embodiment of the present invention may include a sticker 107 in which a specific color or a specific mark is displayed on an arbitrary device (glasses, a headband, a bar, a watch) or a body part (a forehead, a nose). , Arms, legs), etc., to receive information about the color or mark through the camera 108. The controller 190 analyzes the received information through image processing technology and controls the various application programs by connecting the processed information (coordinates) to specific events (keyboards and events).

색상 정보 스티커(107)를 안경의 중앙부에 부착하고, 사용자는 안경을 착용한다. 카메라(108)를 통해 입력된 영상에서 안경에 부착된 색상 정보 스티커(107)의 색차 정보를 자동으로 추출한다. 추출된 정보를 기반으로 색상 정보 스티커 영역을 검출하고, 검출된 색상 정보 스티커 영역의 중심 좌표를 마우스 이벤트와 연결시킨다. 사용자는 안경이 이동하는 방향에 따라 마우스 커서의 위치를 이동시킬 수 있다. 이러한 인터페이스를 통해 사용자는 기존의 마우스로 느낄 수 없는 공간적인 실제 감을 느낄 수 있다. 특히 이마의 이동에 따라 마우스 커서가 이동하는 효과가 다른 신체 기관의 움직임에 비해 안정적이다.The color information sticker 107 is attached to the center of the glasses, and the user wears the glasses. Color difference information of the color information sticker 107 attached to the glasses is automatically extracted from the image input through the camera 108. The color information sticker area is detected based on the extracted information, and the center coordinates of the detected color information sticker area are connected with the mouse event. The user may move the position of the mouse cursor according to the direction in which the glasses move. Through this interface, the user can feel a sense of space that cannot be felt with a conventional mouse. In particular, the effect of moving the mouse cursor according to the movement of the forehead is more stable than the movement of other body organs.

도 1에서 101은 사용자의 모니터를 나타낸다. 110은 카메라(108)로 촬영된 영상을 나타내는 화면이고, 105는 각종 동작 모드를 제어하기 위한 인터페이스이다. 170은 마우스가 보여지는 화면이고, 180은 마우스 커서를 나타낸다.In FIG. 1, reference numeral 101 denotes a monitor of a user. 110 is a screen showing an image captured by the camera 108, and 105 is an interface for controlling various operation modes. 170 is a screen on which a mouse is shown, and 180 is a mouse cursor.

도 2는 본 발명의 실시예에 따른 노터치 마우스 동작 방법의 순서도이다.2 is a flowchart illustrating a method of operating a no-touch mouse according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 실시예에 따른 노터치 마우스 동작 방법은 영상 입력 단계(S210), 변환/분리 단계(S220), 검출 단계(S230), 및 이벤트 연결 단계(S240)를 구비한다.Referring to FIG. 2, a method of operating a no-touch mouse according to an exemplary embodiment of the present invention includes an image input step S210, a conversion / separation step S220, a detection step S230, and an event connection step S240.

영상 입력 단계(S210)에서, 일정한 시간 동안에 색상 정보 스티커(107)와 그 주변 영상을 웹 캠(108)으로 입력받는다. 변환/분리 단계(S220)에서, 웹 캠(108)으로 입력된 RGB 영상을 YCbCr 영상으로 변환하고, YCbCr 영상으로부터 Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리한다. 검출 단계(S230)에서, Cb 색상 기반 영상과 Cr 색상 기반 영상으로부터, 화면 상에서 색상 정보 스티커 영역을 검출한다. 이벤트 연결 단계(S240)에서, 색상 정보 스티커 영역의 중심 좌표에 기초하여, 색상 정보 스티커의 움직임과 마우스 이벤트를 연동시킨다.In the image input step (S210), the color information sticker 107 and its surrounding image are input to the web cam 108 for a predetermined time. In the conversion / separation step (S220), the RGB image input to the web cam 108 is converted into a YCbCr image, and the Cb color-based image and the Cr color-based image are separated from the YCbCr image. In the detecting step S230, the color information sticker area is detected on the screen from the Cb color-based image and the Cr color-based image. In the event connection step (S240), based on the center coordinates of the color information sticker area, the movement of the color information sticker and the mouse event is linked.

도 3은 본 발명의 실시예에 따른 노터치 마우스 동작 방법을 구현한 모습을 나타낸다.3 is a view showing an implementation of a no-touch mouse operating method according to an embodiment of the present invention.

도 3을 참조하면, 310은 웹 캠(108)로 촬영된 영상을 나타내는 화면이고, 305는 각종 동작 모드를 제어하기 위한 인터페이스이다. 본 발명의 실시예에 따른 노터치 마우스 동작 방법의 동작 모드에는, 자동 모드, 반자동 모드와 수동 모드가 있다. 자동 모드는 도 3에 도시된 “1” 메뉴를 이용하여 실행될 수 있고, 반자동 모드는 도 3에 도시된 “2” 메뉴를 이용하여 실행될 수 있다. 또한, 수동 모드는 도 3에 도시된 “5” 메뉴를 이용하여 실행될 수 있다.Referring to FIG. 3, 310 is a screen representing an image captured by the web cam 108, and 305 is an interface for controlling various operation modes. An operation mode of the no-touch mouse operation method according to the embodiment of the present invention includes an automatic mode, a semi-automatic mode, and a manual mode. The automatic mode may be executed using the “1” menu shown in FIG. 3, and the semi-automatic mode may be executed using the “2” menu shown in FIG. 3. In addition, the manual mode may be executed using the “5” menu shown in FIG. 3.

도 4(a)는 자동 모드의 과정을 나타내는 도면이다.4 (a) is a diagram illustrating a process of the automatic mode.

도 4(b)는 자동 모드를 나타내는 순서도이다.4 (b) is a flowchart showing an automatic mode.

이하에서 도 4(a)와 도 4(b)를 참조하여 자동 모드를 설명한다. Hereinafter, the automatic mode will be described with reference to FIGS. 4A and 4B.

자동 모드가 실행되면, 화면(310) 상에 사전에 설정된 영역(420)이 보여진다(도 4(a)의 왼쪽 도면을 참조하라). 도 4(a)에 도시된 사전에 설정된 영역(420)의 위치는 단순한 예시로써 변경될 수 있다. 사전에 설정된 영역(420)은, 사용자의 제어 없이 미리 설정되는 영역이다.When the automatic mode is executed, the preset area 420 is shown on the screen 310 (see the left figure of FIG. 4A). The position of the preset area 420 shown in FIG. 4A may be changed by way of example only. The preset area 420 is an area that is preset without user control.

도 4(a)의 오른쪽 도면을 참조하면, 사용자는, 화면(310) 상의 사전에 설정된 영역(420) 내에 색상 정보 스티커를 일정한 시간 동안 위치시킨다(S405). Referring to the right drawing of FIG. 4A, the user places the color information sticker in the preset area 420 on the screen 310 for a predetermined time (S405).

다음으로, 사전에 설정된 영역(420)의 영상을 웹 캠으로 입력받고(S410), 사전에 설정된 영역(420)의 영상으로부터, Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리한다(S420). Cb 색상 기반 영상과 Cr 색상 기반 영상으로부터, 화면(310) 상에서 색상 정보 스티커 영역(450)을 검출한다(S430). 색상 정보 스티커 영역(450)의 중심 좌표에 기초하여, 색상 정보 스티커의 움직임과 마우스 이벤트를 연동시킨다(S440).Next, the image of the preset area 420 is input to the web cam (S410), and the Cb color based image and the Cr color based image are separated from the image of the preset area 420 (S420). The color information sticker area 450 is detected on the screen 310 from the Cb color-based image and the Cr color-based image (S430). Based on the center coordinates of the color information sticker area 450, the movement of the color information sticker and the mouse event are linked (S440).

도 5(a)는 반자동 모드의 과정을 나타내는 도면이다.5 (a) is a diagram illustrating a process of a semi-automatic mode.

도 5(b)는 반자동 모드를 나타내는 순서도이다.5B is a flowchart showing a semi-automatic mode.

이하에서 도 5(a)와 도 5(b)를 참조하여 반자동 모드를 설명한다.Hereinafter, the semi-automatic mode will be described with reference to FIGS. 5A and 5B.

자동 모드가 실행되면 사전에 설정된 영역(도 4(a)의 420)이 표시되는 것과 는 달리, 반자동 모드가 실행되면 도 4(a)의 420에 대응되는 영역이 표시되지 않는다. 반자동 모드가 실행되면, 일정한 시간 동안에 색상 정보 스티커와 그 주변 영상을 입력받아서 화면(310)에 표시한다(S510 ; 도 5(a)의 왼쪽 그림 참조). 다음으로, 사용자가 화면(310) 상에서 색상 정보 스티커 영역(550)을 포함하는 영역(520)을 선택하고, 선택된 영역(520)의 영상을 캡쳐한다(S515 ; 도 5(a)의 오른쪽 그림 참조). 사용자는 화면(310) 상에서 마우스를 드래그함으로써, 영역(520)을 선택할 수 있다,Unlike the case in which the preset area (420 of FIG. 4A) is displayed when the automatic mode is executed, the area corresponding to 420 of FIG. 4A is not displayed when the semi-automatic mode is executed. When the semi-automatic mode is executed, the color information sticker and the surrounding image are received and displayed on the screen 310 for a predetermined time (S510; see the left figure of FIG. 5A). Next, the user selects an area 520 including the color information sticker area 550 on the screen 310 and captures an image of the selected area 520 (S515; refer to the right figure of FIG. 5A). ). The user may select the area 520 by dragging the mouse on the screen 310.

캡쳐한 영역(520)의 영상으로부터, Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리한다(S520). Cb 색상 기반 영상과 Cr 색상 기반 영상으로부터, 화면(310) 상에서 색상 정보 스티커 영역(550)을 검출한다(S530). 색상 정보 스티커 영역(550)의 중심 좌표에 기초하여, 색상 정보 스티커의 움직임과 마우스 이벤트를 연동시킨다(S540).From the image of the captured region 520, the Cb color-based image and the Cr color-based image are separated (S520). The color information sticker area 550 is detected on the screen 310 from the Cb color-based image and the Cr color-based image (S530). Based on the center coordinates of the color information sticker area 550, the movement of the color information sticker and the mouse event are linked (S540).

도 6(a)는 수동 모드의 과정을 나타내는 도면이다.6 (a) is a diagram illustrating a process of the manual mode.

도 6(b)는 수동 모드를 나타내는 순서도이다.6 (b) is a flowchart showing a passive mode.

이하에서 도 6(a)와 도 6(b)를 참조하여 수동 모드를 설명한다.Hereinafter, the manual mode will be described with reference to FIGS. 6A and 6B.

수동 모드가 실행되면, 일정한 시간 동안에 색상 정보 스티커와 그 주변 영상을 입력받아서 화면에 표시한다(S610 ; 도 6(a)의 왼쪽 그림 참조). 화면(310)의 모든 영역의 영상으로부터, Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리한다(S620). When the manual mode is executed, the color information sticker and its surrounding image are received and displayed on the screen for a predetermined time (S610; see the left figure of FIG. 6 (a)). From the images of all regions of the screen 310, the Cb color-based image and the Cr color-based image are separated (S620).

다음으로, 사용자는 색상 정보 스티커 영역(650)만을 화면(310)에 보여지게 한다. 좀 더 설명하면, 화면(310)에는 사용자가 선택한 색상을 가지는 영역만 보여지고, 다른 색상을 가지는 영역은 보여지지 않는다. 그에 따라, 사용자가 색상을 조절하는 도중에, 색상 정보 스티커 영역(650)의 색상이 선택되면, 색상 정보 스티커 영역(650)만이 화면(310)에 보여진다.Next, the user displays only the color information sticker area 650 on the screen 310. In more detail, the screen 310 shows only the region having the color selected by the user, and does not display the region having a different color. Accordingly, if the color of the color information sticker area 650 is selected while the user adjusts the color, only the color information sticker area 650 is shown on the screen 310.

본 발명의 실시예에 따른 노터치 마우스 동작 방법은, 완전 자동 모드로 실행될 수도 있다. 완전 자동 모드에서는, 화면의 모든 영역의 영상의 색상 분포를 분석하여, 특정 색상이 집중되어 있는 영역을 색상 정보 스티커 영역으로 검출한다. 이 과정에서 사용자는 색상 정보 스티커를 웹 캠 앞에 위치시키기만 하면 된다.The no-touch mouse operating method according to the embodiment of the present invention may be executed in a fully automatic mode. In the fully automatic mode, the color distribution of the image of all areas of the screen is analyzed, and the area in which a specific color is concentrated is detected as the color information sticker area. In this process, the user only needs to place the color information sticker in front of the web cam.

본 발명의 실시예에 따른 노터치 마우스 동작 방법은, 색상 저장 모드를 더 구비할 수 있다. 색상 저장 모드에서는, 색상 정보 스티커가 가질 수 있는 복수개의 색상들을 사전에 저장해 놓는다. 다음으로, 색상 저장 모드에서 저장된 색상들을 기초로 하여, 색상 정보 스티커 영역을 검출한다(도 3의 “3” 참조).The no-touch mouse operating method according to the embodiment of the present invention may further include a color storage mode. In the color storage mode, a plurality of colors that the color information sticker may have are stored in advance. Next, the color information sticker area is detected based on the colors stored in the color storage mode (see “3” in FIG. 3).

또한, 본 발명의 실시예에 따른 노터치 마우스 동작 방법이 실행되었을 때 검출되었던 색상 정보 스티커 영역의 Y 색상, Cb 색상, 및 Cr 색상을 저장했다가, 본 발명의 실시예에 따른 노터치 마우스 동작 방법이 다시 실행되었을 때, 이용할 수도 있다. 즉, 저장했던 Y 색상, Cb 색상, 및 Cr 색상을 기초로 하여, 색상 정보 스티커 영역을 자동으로 검출할 수도 있다(도 3의 “7” 참조).Further, the Y color, the Cb color, and the Cr color of the color information sticker area detected when the no-touch mouse operating method according to the embodiment of the present invention is stored, and then the no-touch mouse operating method according to the embodiment of the present invention It can also be used when it is run again. That is, on the basis of the Y color, the Cb color, and the Cr color that have been stored, the color information sticker area may be automatically detected (see “7” in FIG. 3).

화면 상에서 색상 정보 스티커의 움직임을 인식하는 범위를 결정할 수도 있다. 즉, 화면 인식 범위를 조절하여 사용자의 이동 정도에 따라 마우스의 이동 폭을 조절할 수 있다(도 3의 “4” 참조).The range of recognizing the movement of the color information sticker on the screen may be determined. That is, the width of the mouse may be adjusted according to the degree of movement of the user by adjusting the screen recognition range (see “4” in FIG. 3).

또한, 색상 정보 스티커의 움직임에 연동되는 노터치 마우스의 커서가 움직이는 속도를 결정할 수도 있다. 커서의 이동 속도를 조절함으로써, 마우스 떨림이 나 움직임이 느린 사용자를 위한 커서 속도 조절 인터페이스를 구현할 수 있다(도 3의 “4” 참조).In addition, it is also possible to determine the speed at which the cursor of the no-touch mouse moves in conjunction with the movement of the color information sticker. By adjusting the movement speed of the cursor, it is possible to implement a cursor speed adjustment interface for a user with a mouse shake or a slow movement (see “4” in FIG. 3).

노터치 마우스의 클릭 이벤트는, 사용자의 발의 움직임에 의하여 생성될 수 있다. 클릭 이벤트를 발생시킬 수 있는 발 마우스의 예가 도 7에 도시된다. 또한, 노터치 마우스의 클릭 이벤트는 사용자의 음성에 의하여 생성될 수 있다.The click event of the no-touch mouse may be generated by the movement of the user's foot. An example of a foot mouse that can generate a click event is shown in FIG. 7. In addition, the click event of the no-touch mouse may be generated by the user's voice.

본 발명의 실시예에 따른 노터치 마우스 동작 방법의 원리를 이용하여, 파워 포인트 제어 기능을 구현할 수 있고, 키보드 제어 기능을 구현할 수도 있다.Using the principle of the no-touch mouse operating method according to an embodiment of the present invention, it is possible to implement a power point control function, and to implement a keyboard control function.

이처럼, 본 발명의 실시예에 따른 노터치 마우스 동작 방법은, 행동이 불편한 장애인이나 일반 사용자가 자신이 원하는 신체 부위나 특정 기기를 통해 프로그램을 쉽게 제어하는 방법을 제공하는 것이다. 예를 들면 손을 사용할 수 없는 장애인이 머리의 움직임을 이용하여 프로그램을 제어하고자 하는 경우 안경과 같은 기기에 특정 스티커를 부착한 후 카메라를 통해 입력된 스티커 영상을 인식하여 사용자가 지정한 응용 프로그램이나 특정 프로그램을 제어하는 방법이다. As described above, the method of operating a no-touch mouse according to an embodiment of the present invention provides a method for easily controlling a program through a body part or a specific device desired by a disabled person or a general user who is inconvenient to behave. For example, if a disabled person who cannot use his or her hand wants to control the program using head movements, attach a specific sticker to a device such as glasses, and then recognize the sticker image input by the camera to identify the application or the user-specified application. How to control the program.

특히 제안하는 시스템은 기기에 부착된 고정된 스티커의 정보를 이용하기 때문에 안정성이 높고 사용하고자 하는 인터페이스의 제약이 없기 때문에 다양한 분야에서 활용 될 수 있다.   In particular, the proposed system can be used in various fields because it uses the information of the fixed sticker attached to the device, because it has high stability and there is no limitation of the interface to be used.

기존의 장애인들을 위한 정보기기들은 특수하게 제작된 장비를 사용해야 하거나 고가의 장비를 사용해야 하는 단점이 있지만 제안하는 시스템은 설치가 간단하고 공간적인 제약을 해결할 수 있기 때문에 다양한 콘텐츠와의 연동을 통해 많은 장점을 제공할 수 있다.  Existing information devices for the disabled have the disadvantage of using specially made equipment or expensive equipment, but the proposed system is easy to install and solves the space constraints. Can be provided.

이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, optimal embodiments have been disclosed in the drawings and the specification. Although specific terms have been used herein, they are used only for the purpose of describing the present invention and are not intended to limit the scope of the invention as defined in the claims or the claims. Therefore, those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.BRIEF DESCRIPTION OF THE DRAWINGS In order to better understand the drawings cited in the detailed description of the invention, a brief description of each drawing is provided.

도 1은 본 발명의 실시예에 따른 노터치 마우스 동작 방법의 개념도이다.1 is a conceptual diagram of a no-touch mouse operation method according to an embodiment of the present invention.

도 2는 본 발명의 실시예에 따른 노터치 마우스 동작 방법의 순서도이다.2 is a flowchart illustrating a method of operating a no-touch mouse according to an embodiment of the present invention.

도 3은 본 발명의 실시예에 따른 노터치 마우스 동작 방법을 구현한 모습을 나타낸다.3 is a view showing an implementation of a no-touch mouse operating method according to an embodiment of the present invention.

도 4(a)는 자동 모드의 과정을 나타내는 도면이다.4 (a) is a diagram illustrating a process of the automatic mode.

도 4(b)는 자동 모드를 나타내는 순서도이다.4 (b) is a flowchart showing an automatic mode.

도 5(a)는 반자동 모드의 과정을 나타내는 도면이다.5 (a) is a diagram illustrating a process of a semi-automatic mode.

도 5(b)는 반자동 모드를 나타내는 순서도이다.5B is a flowchart showing a semi-automatic mode.

도 6(a)는 수동 모드의 과정을 나타내는 도면이다.6 (a) is a diagram illustrating a process of the manual mode.

도 6(b)는 수동 모드를 나타내는 순서도이다.6 (b) is a flowchart showing a passive mode.

도 7은 발 마우스의 예를 나타낸다.7 shows an example of a foot mouse.

Claims (8)

일정한 시간 동안에 색상 정보 스티커와 그 주변 영상을 웹 캠으로 입력받는, 영상 입력 단계;Receiving a color information sticker and its surrounding image through a web cam for a predetermined time; 상기 웹 캠으로 입력된 RGB 영상을 YCbCr 영상으로 변환하고, 상기 YCbCr 영상으로부터 Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리하는, 변환/분리 단계;Converting / separating the RGB image inputted to the web cam into a YCbCr image and separating a Cb color based image and a Cr color based image from the YCbCr image; 상기 Cb 색상 기반 영상과 상기 Cr 색상 기반 영상으로부터, 상기 화면 상에서 상기 색상 정보 스티커 영역을 검출하는, 검출 단계; 및Detecting the color information sticker area on the screen from the Cb color based image and the Cr color based image; And 상기 색상 정보 스티커 영역의 중심 좌표에 기초하여, 상기 색상 정보 스티커의 움직임과 마우스 이벤트를 연동하는, 이벤트 연결 단계를 구비하고,An event linking step of linking a movement of the color information sticker and a mouse event based on a center coordinate of the color information sticker region; 자동 모드에서, In silent mode, 상기 영상 입력 단계 이전에, 상기 화면 상의 사전에 설정된 영역 내에, 색상 정보 스티커를 일정한 시간 동안 위치시키는 단계를 더 구비하고,Before the image input step, further comprising the step of placing a color information sticker for a predetermined time in a predetermined area on the screen, 상기 영상 입력 단계는, 상기 사전에 설정된 영역의 영상을 웹 캠으로 입력받고,In the image input step, the image of the predetermined area is input to the web cam, 상기 변환/분리 단계는, 상기 사전에 설정된 영역의 영상으로부터, Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리하고,In the converting / separating step, the Cb color-based image and the Cr color-based image are separated from the image of the preset area, 반자동 모드에서,In semi-automatic mode, 상기 영상 입력 단계 이후에, 상기 화면 상에서 사용자에 의하여 선택된 영역을 캡쳐하는 단계를 더 구비하고,After the image input step, further comprising capturing an area selected by the user on the screen; 상기 변환/분리 단계는, 상기 캡쳐된 영역의 영상으로부터, Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리하고,In the converting / separating step, the Cb color-based image and the Cr color-based image are separated from the captured region image. 수동 모드에서,In manual mode, 상기 변환/분리 단계는, 상기 영상 입력 단계에서 입력된 상기 화면의 모든 영역의 영상으로부터, Cb 색상 기반 영상과 Cr 색상 기반 영상을 분리하고,In the converting / separating step, a Cb color-based image and a Cr color-based image are separated from images of all areas of the screen input in the image input step, 상기 변환/분리 단계 이후에, 상기 변환/분리된 영상 내에서, 사용자에 의하여 선택된 색상에 대응되는 영역을 화면 상에 표시하는 단계를 더 구비하고,And after the converting / separating step, displaying an area corresponding to the color selected by the user on the screen within the converted / separated image. 상기 검출 단계는, 사용자가 색상을 변경 선택하면서, 상기 색상 정보 스티커 영역을 검출하는 것을 특징으로 하는 노터치 마우스 동작 방법.The detecting step may include detecting the color information sticker area while the user changes and selects a color. 제1항에 있어서, 상기 반자동 모드에서, The method of claim 1, wherein in the semi-automatic mode, 사용자가 화면 상에서 마우스를 드래그함으로써, 상기 화면 상에서 사용자에 의하여 선택된 영역을 캡쳐하는 것을 특징으로 하는 노터치 마우스.A no-touch mouse, characterized in that to capture the area selected by the user on the screen by the user dragging the mouse on the screen. 제1항에 있어서, The method of claim 1, 상기 노터치 마우스는, 완전 자동 모드를 더 구비하고,The no touch mouse further comprises a fully automatic mode, 상기 완전 자동 모드에서,In the fully automatic mode, 상기 검출 단계는, 상기 화면의 모든 영역의 영상의 색상 분포를 분석하여, 특정 색상이 집중되어 있는 영역을 상기 색상 정보 스티커 영역으로 검출하는 것을 특징으로 하는 노터치 마우스 동작 방법.The detecting step may include analyzing the color distribution of the image of all regions of the screen, and detecting a region where a specific color is concentrated as the color information sticker region. 제1항에 있어서, 상기 영상 입력 단계 이전에,According to claim 1, Before the image input step, 복수개의 색상들을 사전에 저장해 놓는, 색상 저장 모드를 더 구비하고,It further comprises a color storage mode for storing a plurality of colors in advance, 상기 검출 단계는, 상기 색상 저장 모드에서 저장된 색상을 기초로 하여, 상기 색상 정보 스티커 영역을 검출하는 것을 특징으로 하는 노터치 마우스 동작 방법.And the detecting step detects the color information sticker area based on the color stored in the color storage mode. 제1항에 있어서, 상기 검출 단계 이후에,The method of claim 1, wherein after the detecting step, 상기 색상 정보 스티커 영역의 Y 색상, Cb 색상, 및 Cr 색상을 저장하는 단계를 더 구비하고,Storing the Y color, the Cb color, and the Cr color of the color information sticker area, 상기 촬영 단계 이후에, After the shooting step, 상기 저장되었던 Y 색상, Cb 색상, 및 Cr 색상을 기초로 하여, 상기 색상 정보 스티커 영역을 검출하는, 자동 시작 모드를 더 구비하는 것을 특징으로 하는 노터치 마우스 동작 방법.And an automatic start mode for detecting the color information sticker area based on the stored Y color, Cb color, and Cr color. 제1항에 있어서, The method of claim 1, 상기 화면 상에서 상기 색상 정보 스티커의 움직임을 인식하는 범위를 결정하는 것을 특징으로 하는 노터치 마우스 동작 방법.And a range for recognizing the movement of the color information sticker on the screen. 제1항에 있어서, The method of claim 1, 상기 색상 정보 스티커의 움직임에 연동되는 노터치 마우스의 커서가 움직이는 속도를 결정하는 것을 특징으로 하는 노터치 마우스 동작 방법.And a method of determining a moving speed of the cursor of the no-touch mouse linked to the movement of the color information sticker. 제1항에 있어서, 상기 노터치 마우스의 클릭 이벤트는,The method of claim 1, wherein the click event of the no-touch mouse, 사용자의 발의 움직임에 의하여 생성되는 것을 특징으로 하는 노터치 마우스 동작 방법.The method of operating a no-touch mouse, characterized in that generated by the movement of the user's foot.
KR1020090001386A 2009-01-08 2009-01-08 Operating method of mouse KR100891558B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090001386A KR100891558B1 (en) 2009-01-08 2009-01-08 Operating method of mouse

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090001386A KR100891558B1 (en) 2009-01-08 2009-01-08 Operating method of mouse

Publications (1)

Publication Number Publication Date
KR100891558B1 true KR100891558B1 (en) 2009-04-03

Family

ID=40757209

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090001386A KR100891558B1 (en) 2009-01-08 2009-01-08 Operating method of mouse

Country Status (1)

Country Link
KR (1) KR100891558B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030928A (en) * 2017-09-15 2019-03-25 한동대학교 산학협력단 System for alternative computer access using eye-tracking and voice recognition and operating method having the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040018708A (en) * 2002-08-26 2004-03-04 주식회사 파인디지털 Pointer moving method using window scanning scheme
KR20070016018A (en) * 2005-08-02 2007-02-07 삼성전자주식회사 apparatus and method for extracting human face in a image
KR20070030398A (en) * 2005-09-13 2007-03-16 주식회사 팬택 Mobile device controlling mouse pointer as gesture of hand and implementing method thereof
KR100849532B1 (en) 2006-06-14 2008-07-31 엠텍비젼 주식회사 Device having function of non-contact mouse and method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040018708A (en) * 2002-08-26 2004-03-04 주식회사 파인디지털 Pointer moving method using window scanning scheme
KR20070016018A (en) * 2005-08-02 2007-02-07 삼성전자주식회사 apparatus and method for extracting human face in a image
KR20070030398A (en) * 2005-09-13 2007-03-16 주식회사 팬택 Mobile device controlling mouse pointer as gesture of hand and implementing method thereof
KR100849532B1 (en) 2006-06-14 2008-07-31 엠텍비젼 주식회사 Device having function of non-contact mouse and method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030928A (en) * 2017-09-15 2019-03-25 한동대학교 산학협력단 System for alternative computer access using eye-tracking and voice recognition and operating method having the same
KR102083372B1 (en) * 2017-09-15 2020-03-02 한동대학교 산학협력단 System for alternative computer access using eye-tracking and voice recognition and operating method having the same

Similar Documents

Publication Publication Date Title
JP5387557B2 (en) Information processing apparatus and method, and program
CN110456907A (en) Control method, device, terminal device and the storage medium of virtual screen
US9218124B2 (en) Information processing apparatus, information processing method, and program
US9257114B2 (en) Electronic device, information processing apparatus,and method for controlling the same
KR101302638B1 (en) Method, terminal, and computer readable recording medium for controlling content by detecting gesture of head and gesture of hand
US20150317810A1 (en) User Interfaces for Mobile and Wearable Medical Devices
US8942510B2 (en) Apparatus and method for switching a display mode
WO2009147758A1 (en) Image recognition device, operation judgment method, and program
US20150338651A1 (en) Multimodal interation with near-to-eye display
JP5606281B2 (en) Display device
TWI362005B (en)
JP2014157466A (en) Information processing device and storage medium
CN103105930A (en) Non-contact type intelligent inputting method based on video images and device using the same
WO2018076380A1 (en) Electronic device, and method for generating video thumbnail in electronic device
KR20160121287A (en) Device and method to display screen based on event
CN109572239B (en) Printing method and system of nail beautifying device, nail beautifying equipment and medium
EP3679825A1 (en) A printing method and system of a nail printing apparatus, and a medium thereof
CN112817443A (en) Display interface control method, device and equipment based on gestures and storage medium
KR20150106823A (en) Gesture recognition apparatus and control method of gesture recognition apparatus
EP3438789A1 (en) Information processing device, information processing method, and program
US20160147294A1 (en) Apparatus and Method for Recognizing Motion in Spatial Interaction
KR20070043469A (en) System of indentifying the movement of physically handicapper as that of the mouse
US10444831B2 (en) User-input apparatus, method and program for user-input
KR100891558B1 (en) Operating method of mouse
JPH0648458B2 (en) Information input device

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130326

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140408

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee