KR101154030B1 - Computer interface method for disabled people and system thereof - Google Patents

Computer interface method for disabled people and system thereof Download PDF

Info

Publication number
KR101154030B1
KR101154030B1 KR1020100056143A KR20100056143A KR101154030B1 KR 101154030 B1 KR101154030 B1 KR 101154030B1 KR 1020100056143 A KR1020100056143 A KR 1020100056143A KR 20100056143 A KR20100056143 A KR 20100056143A KR 101154030 B1 KR101154030 B1 KR 101154030B1
Authority
KR
South Korea
Prior art keywords
point
laser pointer
coordinate
image
screen
Prior art date
Application number
KR1020100056143A
Other languages
Korean (ko)
Other versions
KR20110136265A (en
Inventor
윤원근
최새솔
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020100056143A priority Critical patent/KR101154030B1/en
Publication of KR20110136265A publication Critical patent/KR20110136265A/en
Application granted granted Critical
Publication of KR101154030B1 publication Critical patent/KR101154030B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Abstract

장애인들을 위한 컴퓨터 인터페이스 방법 및 이를 이용한 시스템을 개시한다. 상기 컴퓨터 인터페이스 방법은 레이저 포인터의 포인트를 스크린상에 조사하는 출력단계, 상기 스크린상에 맺히는 상기 레이저 포인터의 포인트를 촬영하여 컴퓨터 시스템으로 전송하는 전송단계, 상기 컴퓨터 시스템을 이용하여 레이저 포인터의 포인트 위치를 추출하는 추출단계, 및 상기 포인트의 추출 위치에 따라 마우스 커서를 움직이도록 동기화시키는 동기화 단계를 포함한다.Disclosed are a computer interface method for a disabled person and a system using the same. The computer interface method includes an output step of irradiating a point of a laser pointer on a screen, a transmission step of photographing and transmitting a point of the laser pointer formed on the screen to a computer system, and a point position of a laser pointer using the computer system. Extracting step of extracting, and the synchronization step of synchronizing to move the mouse cursor according to the extraction position of the point.

Description

장애인들을 위한 컴퓨터 인터페이스 방법 및 이를 이용한 시스템{Computer interface method for disabled people and system thereof}Computer interface method for disabled people and system using the same

본 발명은 컴퓨터 인터페이스 기술에 관한 것으로, 보다 상세하게는 장애인들을 위한 컴퓨터 인터페이스 방법 및 이를 이용한 시스템에 관한 것이다.
The present invention relates to computer interface technology, and more particularly, to a computer interface method for a disabled person and a system using the same.

산업 재해나 사고로 인해 손목이나 팔목이 절단된 환자들을 위해 기존에 개발된 컴퓨터 인터페이스는 눈동자의 움직임을 감지해서 마우스를 제어하는 아이 트래킹 방법과 근전도나 뇌 신호로부터 패턴 분류를 통해 주로 이루어졌다.
Traditionally developed computer interfaces for patients whose wrists or cuffs were cut due to an industrial accident or accident were mainly achieved through eye tracking methods that detect eye movements and control the mouse, and classify patterns from EMG or brain signals.

우선 아이 트래킹의 방법은 영상 카메라를 이용하기 때문에 주위 환경의 밝기나 여러 가지 요소에 의해 영향을 받기가 쉽고, 눈동자의 움직임에 피로를 가져다줄 수 있으며, 단순한 눈동자의 운동과 마우스의 기능을 하기 위한 눈동자의 움직임을 구분하기 어려운 단점이 있다. 또한 근육 신호나 뇌 신호로부터 패턴 분류를 하는 방법은 다수의 생체 신호 센서를 사람의 신체에 붙여야 하기에 전문가 수준의 기술이 필요하고 장시간이 소요되며, 외부 노이즈에 취약한 단점이 있다. 따라서 최근에 위와 같은 단점을 해결하기 위한 대체 연구가 활발히 진행되고 있다.
First of all, the eye tracking method is easy to be affected by the brightness and various factors of the surrounding environment because it uses a video camera, and can cause fatigue in the movement of the eyes. It is difficult to distinguish eye movements. In addition, the method of classifying patterns from muscle signals or brain signals requires expert-level technology, takes a long time, and is vulnerable to external noise because a plurality of biosignal sensors need to be attached to a human body. Therefore, in recent years, alternative researches for solving the above disadvantages have been actively conducted.

본 발명이 해결하고자 하는 과제는 팔목 및 손목의 운동이 자유롭지 않은 장애인들이 입으로 유색의 레이저 포인터를 움직여서 컴퓨터 모니터를 가리키고 이 영상을 카메라로부터 얻어 영상처리 기법을 통하여 레이저 포인터의 위치를 인식하고 이에 맞춰 마우스 커서를 움직일 수 있는 장애인들을 위한 컴퓨터 인터페이스 방법 및 이를 이용한 시스템을 제공하는 것이다.
The problem to be solved by the present invention is to move the colored laser pointer to the computer monitor by the handicapped disabled people who do not have free movement of the wrist and wrist and obtain the image from the camera to recognize the position of the laser pointer through the image processing technique The present invention provides a computer interface method for a disabled person who can move a mouse cursor and a system using the same.

상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 장애인들을 위한 컴퓨터 인터페이스 방법은 레이저 포인터의 포인트를 스크린상에 조사하는 출력단계, 상기 스크린상에 맺히는 상기 레이저 포인터의 포인트를 촬영하여 컴퓨터 시스템으로 전송하는 전송단계, 상기 컴퓨터 시스템을 이용하여 레이저 포인터의 포인트 위치를 추출하는 추출단계 및 상기 포인트의 추출 위치에 따라 마우스 커서를 움직이도록 동기화시키는 동기화 단계를 포함한다.The computer interface method for the disabled according to an embodiment of the present invention for solving the above problem is an output step of irradiating the point of the laser pointer on the screen, and photographing the point of the laser pointer on the screen transmitted to the computer system A transmission step, an extraction step of extracting a point position of a laser pointer using the computer system, and a synchronization step of synchronizing to move a mouse cursor according to the extraction position of the point.

상기 추출단계는, 상기 포인트 위치가 포함된 스트린 영상을 좌표 신호로 변환하는 영상 좌표변환 단계, 및 상기 스크린 상에 위치하는 상기 레이저 포인터의 포인트 위치를 좌표신호로 추출하는 포인트 좌표 추출 단계를 포함한다.
The extracting step may include an image coordinate conversion step of converting a screen image including the point position into a coordinate signal, and a point coordinate extraction step of extracting a point position of the laser pointer located on the screen as a coordinate signal. do.

상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 장애인들을 위한 컴퓨터 인터페이스 시스템은 스크린 상에 맺히는 영상을 컴퓨터 시스템으로 출력하는 웹 카메라, 상기 스크린에 레이저를 조사하는 레이저 포인터 및 상기 웹 카메라로부터 전송된 영상 내의 상기 레이저 포인터의 포인트 위치를 추적하여, 상기 레이저 포인터의 추적된 포인트 위치에 따라 마우스의 포인트를 동기화시켜 상기 마우스 포인트의 움직임을 조절하는 컴퓨터를 포함한다.Computer interface system for the disabled according to an embodiment of the present invention for solving the problem is a web camera for outputting the image formed on the screen to the computer system, a laser pointer for irradiating a laser on the screen and transmitted from the web camera And a computer that tracks the point position of the laser pointer in the image and synchronizes the mouse point according to the tracked point position of the laser pointer to adjust the movement of the mouse point.

상기 컴퓨터는, 상기 레이저 포인터의 포인트 위치가 포함된 스트린 영상을 좌표 영역으로 변환하고, 상기 레이저 포인터의 포인트 위치를 추적하여 그에 따른 좌표 신호로 출력하는 영상 변환 처리부 및 상기 좌표 신호를 수신받아 마우스 포인트와 매칭시키는 신호 처리부를 포함한다.The computer converts a screen image including the point position of the laser pointer into a coordinate region, receives an image conversion processor and a coordinate signal that tracks the point position of the laser pointer and outputs the coordinate signal accordingly. And a signal processor to match the point.

상기 영상 변환 처리부는, 상기 스크린 영상을 수신하는 영상 획득부, 상기 스크린 영상을 2차원 평면 좌표영역으로 변환하는 좌표 변환부, 및 상기 스크린 영상에 맺히는 레이저 포인터의 위치를 상기 2차원 평면 좌표영역에서 추적하는 위치 추적부를 포함한다.The image conversion processor may include an image acquisition unit that receives the screen image, a coordinate conversion unit that converts the screen image into a 2D plane coordinate region, and a position of a laser pointer that is formed on the screen image in the 2D plane coordinate region. It includes a location tracking unit to track.

상기 위치 추적부는 상기 좌표 변환부로부터 출력된 상기 스크린 영상의 좌표신호를 수신하고, 상기 스크린 영상의 2차원 평면 좌표영역 상에서 위치하는 상기 레이저 포인터의 포인트를 좌표점으로 추출한 후, 추출된 좌표점을 좌표신호로 출력할 수 있다. The position tracking unit receives a coordinate signal of the screen image output from the coordinate conversion unit, extracts a point of the laser pointer located on a two-dimensional plane coordinate region of the screen image as a coordinate point, and then extracts the extracted coordinate point. Can be output as a coordinate signal.

상기 신호 처리부는 상기 위치 추적부로부터 추출된 상기 레이저 포인터의 포인트와 마우스 포인터를 매칭하도록 동기화시킨다.
The signal processor synchronizes the mouse pointer with the point of the laser pointer extracted from the position tracker.

본 발명에 따르면, 기존 눈동자의 움직임을 추적하여 마우스를 대체하려는 아이 트래킹과 같이 눈의 피로를 주지 않으며, 근전도나 뇌신호를 이용할 때처럼 생체 신호 센서를 추가적으로 부착하여 신호를 얻을 필요가 없다.According to the present invention, it does not cause eye fatigue, such as eye tracking, which replaces a mouse by tracking the movement of an existing eye, and does not need to additionally obtain a signal by attaching a biosignal sensor as when using EMG or a brain signal.

또한, 레이저 포인터를 목표위치로 마우스 커서를 움직이기 때문에 사용방법이 직관적이고 익히기 수월하며 훈련 시간이 단축되는 효과가 있다.In addition, since the mouse cursor is moved to the target position of the laser pointer, the method of use is intuitive, easy to learn, and the training time is shortened.

또한, 레이저 포인터를 목표 위치로 마우스 커서를 현재 위치로 설정하여 위치 및 속도 제어를 통해 빠른 컴퓨터 제어의 효과가 있다.In addition, there is an effect of fast computer control through the position and speed control by setting the laser pointer to the target position and the mouse cursor to the current position.

또한, 저렴한 윕 카메라의 레이저 포인터만으로 기존의 마우스를 대체할 수 있기 때문에 비용이 절감되는 효과가 있다.In addition, the laser pointer of an inexpensive whip camera can replace the existing mouse, thereby reducing the cost.

더불어, 웹 카메라의 레이저 포인터만으로도 손목 및 팔목이 불편하여 마우스 컴퓨터를 이용할 수 없는 사람들이 컴퓨터를 손쉽고, 저렴하게 이용하게 할 수 있는 편의를 제공할 수 있는 효과가 있다.
In addition, the laser pointer of the web camera alone is inconvenient to wrists and wrists, so that those who cannot use a mouse computer can provide convenience to make the computer easier and cheaper to use.

도 1은 본 발명의 실시예에 따른 장애인들을 위한 컴퓨터 인터페이스 시스템을 나타낸 블럭도이다.
도 2는 도 1의 컴퓨터를 구체적으로 나타낸 예시도이다.
도 3은 도 2에 도시된 영상 변환 처리부를 구체적으로 나타낸 예시도이다.
도 4는 도 1에 도시된 장애인들을 위한 컴퓨터 인터페이스 시스템의 동작 단계를 나타낸 플로우 차트이다.
도 5는 도 4에 도시된 추출단계를 구제척으로 나타낸 플로우 차트이다.1 is a block diagram showing a computer interface system for the disabled according to an embodiment of the present invention.
FIG. 2 is an exemplary view illustrating the computer of FIG. 1 in detail. FIG.
FIG. 3 is an exemplary view illustrating in detail the image conversion processor illustrated in FIG. 2.
FIG. 4 is a flowchart illustrating the operation steps of the computer interface system for the disabled shown in FIG. 1.
FIG. 5 is a flow chart illustrating the extraction step shown in FIG.

본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.Specific structural and functional descriptions of embodiments according to the concepts of the present invention disclosed in this specification or application are merely illustrative for the purpose of illustrating embodiments in accordance with the concepts of the present invention, The examples may be embodied in various forms and should not be construed as limited to the embodiments set forth herein or in the application.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Embodiments in accordance with the concepts of the present invention can make various changes and have various forms, so that specific embodiments are illustrated in the drawings and described in detail in this specification or application. It should be understood, however, that it is not intended to limit the embodiments according to the concepts of the present invention to specific forms of disclosure, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the present invention.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this specification, terms such as "comprise" or "have" are intended to indicate that there is a feature, number, step, action, component, part, or combination thereof that is implemented, and that one or more other features or numbers are present. It should be understood that it does not exclude in advance the possibility of the presence or addition of steps, actions, components, parts or combinations thereof.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 장애인들을 위한 컴퓨터 인터페이스 시스템을 나타낸 블럭도이다.1 is a block diagram showing a computer interface system for the disabled according to an embodiment of the present invention.

도 1을 참조하면, 컴퓨터 인터페이스 시스템(10)은 웹 카메라(140), 레이저 포인터(130), 스크린(110), 컴퓨터(120) 및 무선 인터페이스(100)를 포함한다. Referring to FIG. 1, computer interface system 10 includes a web camera 140, a laser pointer 130, a screen 110, a computer 120, and a wireless interface 100.

웹 카메라(140)는 스크린(110)에 맺히는 영상을 컴퓨터(120)로 출력한다. 레이저 포인터(130)는 스크린(110) 상에 레이저를 조사한다.The web camera 140 outputs an image formed on the screen 110 to the computer 120. The laser pointer 130 irradiates a laser on the screen 110.

컴퓨터(120)는 웹 카메라(140)로부터 전송된 영상 내에 위치하는 레이저 포이터(130)의 포인트 위치를 추적하여, 추적된 레이저 포인터(130)의 포인트 위치에 따라 마우스의 포인트의 움직임을 조절할 수 있다. 또한, 컴퓨터(120)는 휴대용단말기, 휴대인터넷장치(Mobile Internet Device), MP3, MP4, PMP(Portable Multimedia Player), 노트북 컴퓨터, UMPC(Ultra Mobile PC), 또는 PC(personal computer), 휴대전화(cellular phone), 스마트폰, 또는 PDA(personal digital assistants)와 같은 각종 전자장치가 될 수 있다.The computer 120 may track the point position of the laser pointer 130 positioned in the image transmitted from the web camera 140, and adjust the movement of the point of the mouse according to the point position of the tracked laser pointer 130. have. In addition, the computer 120 may be a portable terminal, a mobile Internet device, a MP3, an MP4, a portable multimedia player (PMP), a notebook computer, a UMPC (Ultra Mobile PC), a PC (personal computer), a mobile phone ( Various electronic devices such as cellular phones, smart phones, or personal digital assistants (PDAs).

무선 인터페이스(100)는 웹 카메라(140), 레이저 포인터(130), 스크린(110) 및 컴퓨터(120)와 무선으로 접속되어 양방향 통신이 가능한 통신 수단 예컨대, 블루투스, UART, 지그비 등을 포함할 수 있다.The wireless interface 100 may include communication means such as Bluetooth, UART, Zigbee, etc., which are wirelessly connected to the web camera 140, the laser pointer 130, the screen 110, and the computer 120 to enable bidirectional communication. have.

참고로, 지그비(Zigbee)는 근거리 무선 네트워크 표준 중 하나로 가정, 사무실 등의 장소나 국소 지역에서 근거리 통신과 유비쿼터스 컴퓨팅(Ubiquitous computing)을 구현하기 무선 사설망(Wireless Personal Area Networks, 이하 'WPAN'이라 함) 기술의 하나이다.For reference, Zigbee is one of the short-range wireless network standards.Wireless Personal Area Networks (WPANs) to implement near field communication and ubiquitous computing in places such as homes, offices, and local areas. ) Is one of the technologies.

지그비(Zigbee)는 무선 랜이나 블루투스와 비교할 때, 전력 소비가 적기 때문에 배터리 수명이 길며, 프로토콜이 간단하기 때문에 하드웨어 구성이 간단하고, 가격 경쟁력 또한 우수하다. 지그비 통신 기기는 최대 200m 안에서 250Kbps의 속도로 데이터를 전송할 수 있으며, 망형(mesh) 네트워크 구조를 이용하면 하나의 무선 네트워크에 약 65000대의 기기를 연결할 수 있다.
Zigbee has lower power consumption compared to wireless LAN and Bluetooth, resulting in longer battery life, simple protocol, and simple hardware configuration. ZigBee communication devices can transmit data at speeds up to 250Kbps within 200m, and a mesh network structure can connect about 65,000 devices to a single wireless network.

도 2는 도 1의 컴퓨터를 구체적으로 나타낸 예시도이다.FIG. 2 is an exemplary view illustrating the computer of FIG. 1 in detail. FIG.

도 2를 참조하면, 컴퓨터(120)는 영상 변환 처리부(121), 신호처리부(122) 및 프로세서(200)를 포함할 수 있다.Referring to FIG. 2, the computer 120 may include an image conversion processor 121, a signal processor 122, and a processor 200.

영상 변환 처리부(121)는 레이저 포인터(130)의 포인트 위치가 포함된 스트린 영상신호를 수신하여 프로세서(200)로부터 전송된 처리신호(CNT)에 따라 좌표 영역으로 변환된 신호(CMS)를 신호 처리부(122)로 전송한다.The image conversion processor 121 receives the screen image signal including the point position of the laser pointer 130 and signals the signal CMS converted into the coordinate region according to the processing signal CNT transmitted from the processor 200. Transfer to the processing unit 122.

신호 처리부(122)는 영상 변환 처리부로부터 전송된 좌표 신호(CMS) 및 프로세서(200)로부터 전송된 처리신호(CNT)를 수신받아 동기화 과정을 거쳐 좌표신호(CMS)를 마우스 포인트 신호와 동기화 되도록 매칭시키는 역할을 수행한다.
The signal processor 122 receives the coordinate signal CMS transmitted from the image conversion processor and the processing signal CMS transmitted from the processor 200, and synchronizes the coordinate signal CMS with the mouse point signal through a synchronization process. Play a role of

도 3은 도 2에 도시된 영상 변환 처리부를 구체적으로 나타낸 예시도이다.FIG. 3 is an exemplary view illustrating in detail the image conversion processor illustrated in FIG. 2.

도 3을 참조하면, 영상 변환 처리부(121)는 영상 획득부(122), 좌표 변환부(123) 및 위치 추적부(124)를 포함할 수 있다. Referring to FIG. 3, the image conversion processor 121 may include an image acquisition unit 122, a coordinate conversion unit 123, and a location tracking unit 124.

영상 획득부(122)는 웹 카메라(140)로부터 전송된 스크린 영상신호(IMS)을 수신하여 아날로그 디지털 컨버터(Analog digital converter)를 이용하여 디지털 신호로 변환시킨다. 이때, 프로세서로부터 출력되는 처리신호(CNT)에 따라 변환된 디지털 코드 신호를 좌표 변환부(123) 및 위치 추적부(124)로 각각 전송할 수 있다. The image acquisition unit 122 receives the screen image signal IMS transmitted from the web camera 140 and converts the screen image signal into a digital signal using an analog digital converter. In this case, the digital code signal converted according to the processing signal CNT output from the processor may be transmitted to the coordinate conversion unit 123 and the position tracking unit 124, respectively.

좌표 변환부(123)는 디지탈 코드 신호를 수신하여 프로세서(200)에 프로그래밍된 2차원 평면 좌표 알고리즘을 이용하여 2차원 평면 좌표영역으로 변환한다.The coordinate converter 123 receives the digital code signal and converts the digital code signal into a two-dimensional plane coordinate region by using a two-dimensional plane coordinate algorithm programmed in the processor 200.

위치 추적부(124)는 디지탈 코드 신호를 수신하고, 좌표 변환부(123)로부터 전송된 2차원 평면 좌표영역 내에서 디지탈 코드 신호에 해당하는 좌표를 추적하는 기능을 수행한다. 즉, 스크린 영상에 맺히는 레이저 포인터의 위치를 2차원 평면 좌표영역에서 추적하는 기능을 수행할 수 있다.The position tracking unit 124 receives the digital code signal and performs a function of tracking coordinates corresponding to the digital code signal in the two-dimensional plane coordinate region transmitted from the coordinate conversion unit 123. That is, the position of the laser pointer on the screen image may be tracked in the two-dimensional plane coordinate region.

이때 사용되는 알고리즘이 어핀변환(Affine transformation) 알고리즘일 수 있다. 어핀변환은 "한 직선 위에 있는 임의의 점들은 변환한뒤에도 역시 직선 위에 있다."라는 공선성(Collinearity)과 "한 선분의 중점은 변환한 뒤에도 중점이다."라는 거리 비(Ratio of distance)가 보존되는 변환을 말한다. 이러한 어핀변환은 어핀공간상에 있는 임의의 점이라도 무한대로 보내지 않는, 사영 변환(Projective transformation)의 특수한 클래스에 해당한다. In this case, the algorithm used may be an Affine transformation algorithm. Affine transformations have a collinearity of "any points on a straight line are also on a straight line after the transformation" and a ratio of distances of "the midpoint of a line is the center after transformation." The conversion to be preserved. Such affine transformations correspond to a special class of projective transformations that do not send any point in affine space to infinity.

기하학적 수축(Contractions), 팽창(Expansions), 딜레이션(Dilations: 팽창과 병진), 대칭 이동(Reflections), 회전(Rotations), 닮음 변환(Similarity transformation), 기울임(Shears), 병진(Translations)은 모두 어핀변환의 종류일 수 있다.
Geometric contractions, expansions, dilations, reflections, rotations, similarity transformations, shears, and translations are all It may be a kind of affine transformation.

도 4는 본 발명의 실시예에 따른 장애인들을 위한 컴퓨터 인터페이스 방법을 나타낸 플로우 차트이며, 도 5는 도 4에 도시된 추출단계를 구제척으로 나타낸 플로우 차트이다.4 is a flow chart showing a computer interface method for the disabled according to an embodiment of the present invention, Figure 5 is a flow chart showing the extraction step shown in FIG.

도 4 및 도 5를 참조하면, 손 지체 장애인들을 위한 컴퓨터 인터페이스 방법은 출력단계(S10), 전송단계(S20), 추출단계(S30), 및 동기화 단계(S40)를 포함한다.4 and 5, the computer interface method for the handicapped person with disabilities includes an output step S10, a transmission step S20, an extraction step S30, and a synchronization step S40.

출력단계(S10)는 레이저 포인터의 포인트를 스크린상에 조사하는 단계일 수 있다. The output step S10 may be a step of irradiating a point of the laser pointer on the screen.

전송단계(S20)는 디스플레이 스크린 상에 맺히는 레이저 포인터의 포인트를 촬영하여 컴퓨터 시스템으로 전송하는 단계일 수 있다. The transmitting step S20 may be a step of photographing the point of the laser pointer formed on the display screen and transmitting it to the computer system.

추출단계(S30)는 컴퓨터 시스템을 이용하여 레이저 포인터의 포인트 위치를 추출하는 단계일 수 있으며, 스크린 영상을 수신하는 단계(S31), 스크린 영상을 2차원 평면 좌표영역으로 변환하는 단계(S32), 및 스크린 영상에 맺히는 레이저 포인터의 포인트 위치를 2차원 평면 영역에서 추적하는 단계(S33)를 포함할 수 있다.The extracting step (S30) may be a step of extracting the point position of the laser pointer using a computer system, receiving a screen image (S31), converting the screen image into a two-dimensional plane coordinate region (S32), And tracking a point position of the laser pointer on the screen image in the two-dimensional plane region (S33).

동기화 단계(S40)는 추출된 포인트의 위치에 따라 마우스 커서를 움직이도록 동기화시키는 단계일 수 있다.Synchronization step (S40) may be a step of synchronizing to move the mouse cursor according to the position of the extracted point.

본 발명에 따르면, 팔목 및 손목의 운동이 자유롭지 않은 장애인들이 입으로 유색의 레이저 포인터를 움직임에 따라 마우스 커서를 움직이게 함으로써 팔목 및 손목의 운동이 자유롭지 않은 장애인들의 컴퓨터 활용도를 높일 수 있다.According to the present invention, the handicapped people who do not have free movements of the wrists and wrists may increase the computer utilization of the handicapped people who do not have free movements of the wrists and wrists by moving the mouse cursor as the colored laser pointer moves to the mouth.

본 발명은 도면에 도시된 실시 예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
Although the present invention has been described with reference to the embodiments illustrated in the drawings, this is merely exemplary, and it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

10 : 컴퓨터 인터페이스 시스템 100 : 무선 인터페이스
110: 스크린 120 : 컴퓨터
130 : 레이저 포인터 140 : 웹 카메라10: computer interface system 100: wireless interface
110: screen 120: computer
130: laser pointer 140: web camera

Claims (7)

삭제delete 삭제delete 스크린 상에 맺히는 영상을 컴퓨터 시스템으로 출력하는 웹 카메라;
상기 스크린에 레이저를 조사하는 레이저 포인터; 및
상기 웹 카메라로부터 전송된 영상 내의 상기 레이저 포인터의 포인트 위치를 추적하여, 상기 레이저 포인터의 추적된 포인트 위치에 따라 마우스의 포인트를 동기화시켜 상기 마우스 포인트의 움직임을 조절하는 컴퓨터를 포함하고,
상기 컴퓨터는,
상기 레이저 포인터의 포인트 위치가 포함된 스트린 영상을 좌표 영역으로 변환하고, 상기 레이저 포인터의 포인트 위치를 추적하여 그에 따른 좌표 신호로 출력하는 영상 변환 처리부; 및
상기 좌표 신호를 수신받아 마우스 포인트와 매칭시키는 신호 처리부를 포함하고,
상기 영상 변환 처리부는,
상기 스크린 영상을 수신하는 영상 획득부;
상기 스크린 영상을 2차원 평면 좌표영역으로 변환하는 좌표 변환부; 및
상기 스크린 영상에 맺히는 레이저 포인터의 위치를 상기 2차원 평면 좌표영역에서 추적하는 위치 추적부를 포함하는 컴퓨터 인터페이스 시스템.
A web camera for outputting an image formed on a screen to a computer system;
A laser pointer for irradiating a laser onto the screen; And
A computer for tracking the position of the point of the laser pointer in the image transmitted from the web camera and synchronizing the point of the mouse according to the tracked point position of the laser pointer to adjust the movement of the mouse point,
The computer,
An image conversion processing unit converting the screen image including the point position of the laser pointer into a coordinate area, and outputting a coordinate signal by tracking the point position of the laser pointer; And
A signal processor configured to receive the coordinate signal and match the mouse point;
The image conversion processing unit,
An image obtaining unit which receives the screen image;
A coordinate converter converting the screen image into a two-dimensional plane coordinate region; And
And a position tracking unit for tracking the position of the laser pointer on the screen image in the two-dimensional plane coordinate region.
삭제delete 삭제delete 제3항에 있어서,
상기 위치 추적부는,
상기 좌표 변환부로부터 출력된 상기 스크린 영상의 좌표신호를 수신하고, 상기 스크린 영상의 2차원 평면 좌표영역 상에서 위치하는 상기 레이저 포인터의 포인트를 좌표점으로 추출한 후, 추출된 좌표점을 좌표신호로 출력하는 컴퓨터 인터페이스 시스템.
The method of claim 3,
The location tracking unit,
Receives a coordinate signal of the screen image output from the coordinate conversion unit, extracts a point of the laser pointer located on a two-dimensional plane coordinate region of the screen image as a coordinate point, and outputs the extracted coordinate point as a coordinate signal Computer interface system.
제3항에 있어서,
상기 신호 처리부는,
상기 위치 추적부로부터 추출된 상기 레이저 포인터의 포인트와 마우스 포인터를 매칭하도록 동기화시키는 컴퓨터 인터페이스 시스템.The method of claim 3,
The signal processing unit,
And a mouse pointer synchronized with the point of the laser pointer extracted from the position tracking unit.
KR1020100056143A 2010-06-14 2010-06-14 Computer interface method for disabled people and system thereof KR101154030B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100056143A KR101154030B1 (en) 2010-06-14 2010-06-14 Computer interface method for disabled people and system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100056143A KR101154030B1 (en) 2010-06-14 2010-06-14 Computer interface method for disabled people and system thereof

Publications (2)

Publication Number Publication Date
KR20110136265A KR20110136265A (en) 2011-12-21
KR101154030B1 true KR101154030B1 (en) 2012-06-07

Family

ID=45502923

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100056143A KR101154030B1 (en) 2010-06-14 2010-06-14 Computer interface method for disabled people and system thereof

Country Status (1)

Country Link
KR (1) KR101154030B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITUB20153680A1 (en) * 2015-09-16 2017-03-16 Liquidweb Srl Assistive technology control system and related method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100660137B1 (en) 2005-11-16 2006-12-21 한양대학교 산학협력단 Input apparatus using a raser pointer and system for offering presentation using the apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100660137B1 (en) 2005-11-16 2006-12-21 한양대학교 산학협력단 Input apparatus using a raser pointer and system for offering presentation using the apparatus

Also Published As

Publication number Publication date
KR20110136265A (en) 2011-12-21

Similar Documents

Publication Publication Date Title
Guo et al. Human-machine interaction sensing technology based on hand gesture recognition: A review
CN103529944B (en) A kind of human motion recognition method based on Kinect
Niu et al. Understanding WiFi signal frequency features for position-independent gesture sensing
Wang et al. Hear sign language: A real-time end-to-end sign language recognition system
JP2013169611A (en) Robot system, and robot
ATE443903T1 (en) METHOD AND DEVICE FOR REAL-TIME MOTION DETECTION
Raja et al. Applicability of RF-based methods for emotion recognition: A survey
Cui et al. Device-free single-user activity recognition using diversified deep ensemble learning
WO2023061037A1 (en) Air gesture recognition method and related device thereof
CN110378244B (en) Abnormal posture detection method and device
KR20220124810A (en) Gesture control system using biopotentials and vectors
Shi et al. mPose: Environment-and subject-agnostic 3D skeleton posture reconstruction leveraging a single mmWave device
Jia et al. BeAware: Convolutional neural network (CNN) based user behavior understanding through WiFi channel state information
CN111387978A (en) Method, device, equipment and medium for detecting action section of surface electromyogram signal
Maitra et al. Research challenges in BAN due to the mixed WSN features: Some perspectives and future directions
KR101154030B1 (en) Computer interface method for disabled people and system thereof
Ammae et al. Unobtrusive detection of body movements during sleep using Wi-Fi received signal strength with model adaptation technique
Devrio et al. DiscoBand: Multiview Depth-Sensing Smartwatch Strap for Hand, Body and Environment Tracking
Zhou et al. Wi-Monitor: Daily Activity Monitoring Using Commodity Wi-Fi
CN110189590A (en) A kind of adaptively correcting formula sign language mutual translation system and method
Zhang et al. Wital: A COTS WiFi devices based vital signs monitoring system using NLOS sensing model
JP7341324B2 (en) Target user lock method and electronic device
CN109558006B (en) Wireless distributed limb motion capture device
Gu et al. WiFE: WiFi and vision based unobtrusive emotion recognition via gesture and facial expression
Zhang et al. Sign annotation generation to alphabets via integrating visual data with somatosensory data from flexible strain sensor-based data glove

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E601 Decision to refuse application
AMND Amendment
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee