KR102300290B1 - 카메라를 이용한 손가락 움직임 연동형 스마트 마우스 및 이를 이용한 마우스 커서의 제어방법 - Google Patents

카메라를 이용한 손가락 움직임 연동형 스마트 마우스 및 이를 이용한 마우스 커서의 제어방법 Download PDF

Info

Publication number
KR102300290B1
KR102300290B1 KR1020210001445A KR20210001445A KR102300290B1 KR 102300290 B1 KR102300290 B1 KR 102300290B1 KR 1020210001445 A KR1020210001445 A KR 1020210001445A KR 20210001445 A KR20210001445 A KR 20210001445A KR 102300290 B1 KR102300290 B1 KR 102300290B1
Authority
KR
South Korea
Prior art keywords
mouse
finger
reference object
camera
unit
Prior art date
Application number
KR1020210001445A
Other languages
English (en)
Inventor
정현호
Original Assignee
정현호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정현호 filed Critical 정현호
Priority to KR1020210001445A priority Critical patent/KR102300290B1/ko
Application granted granted Critical
Publication of KR102300290B1 publication Critical patent/KR102300290B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 모바일 및 컴퓨터 등과 같은 대상기기들의 화면에 표시되는 마우스 커서(cursor)의 이동을 원격에서 제어하는 스마트 마우스에 관한 것으로, 상세하게는, 손가락의 움직임(동작)을 감지하는 센서와 연동하여 대상기기의 화면에 표시되는 마우스 커서의 현재 위치를 인식한 상태에서 카메라(및/또는 라이다(lidar))를 이용하여 주변공간을 촬영하여 얻어진 영상들로부터 현재 기준사물의 비접촉 특정정보를 토대로 해당 기준사물의 위치 변동값을 각각 분석하여 대상기기들의 화면에 표시되는 마우스 커서의 위치좌표로 적용하는 카메라를 이용한 손가락 움직임 연동형 스마트 마우스 및 이를 이용한 마우스 커서의 제어방법에 관한 것이다.

Description

카메라를 이용한 손가락 움직임 연동형 스마트 마우스 및 이를 이용한 마우스 커서의 제어방법{SMART MOUSE THAT WORKS IN CONJUNCTION WITH FINGER MOVEMENT USING CAMERA AND METHOD FOR CONTROLLING MOUSE CURSOR USING THE SAME}
본 발명은 모바일 및 컴퓨터 등과 같은 대상기기들의 화면에 표시되는 마우스 커서(cursor)의 이동을 원격에서 제어하는 스마트 마우스에 관한 것으로, 상세하게는, 손가락 움직임(동작)을 감지하는 센서들과 연동하여 대상기기의 화면에 표시되는 마우스 커서의 현재 위치를 인식한 상태에서 카메라(및/또는 라이다(lidar))를 이용하여 주변공간을 촬영하여 얻어진 영상들로부터 현재 기준사물의 비접촉 특정정보를 토대로 해당 기준사물의 위치 변동값을 각각 분석하여 대상기기들의 화면에 표시되는 마우스 커서의 위치좌표로 적용하는 카메라를 이용한 손가락 움직임 연동형 스마트 마우스 및 이를 이용한 마우스 커서의 제어방법에 관한 것이다.
일반적으로, 마우스는 모바일 및 컴퓨터 등과 같은 기기들의 화면 상의 어떤 위치(장소)를 가리키거나, 혹은 그 위치로부터 다른 곳으로 이동하기 위해 사용되는 입력장치로서, 그 조작방식에 따라 특정한 위치에 갖다 놓고 버튼을 누르는 '클릭'과, 버튼을 누른 상태로 마우스를 끌고 다니는 '드래그'와, 버튼을 연속적으로 빠르게 두 번 누르는 '더블클릭' 등의 조작을 통해 여러 가지 동작을 수행할 수 있다.
마우스는 다양한 종류가 개발되었다. 예를 들어, 버튼의 종류에 따라 1∼3버튼식과, 기기와의 접속방법에 따라 시리얼, PS/2 및 USB식과, 동작방법에 따라 기계식(또는 볼식), 광학식 및 광학기계식으로 나뉜다. 1버튼식은 초기 매킨토시에서 사용된 애플 마우스를 말하고, 2버튼식은 IBM호환기종에 적합한 범용 마우스, 3버튼식은 유닉스 환경의 캐드캠 시스템에 많이 사용된다. 시리얼식은 직렬포트로 연결되고, PS/2식은 전용포트에 연결되며, USB식은 확장슬롯에 연결된다. 기계식은 볼을 이용한 방식, 광학식은 빛을 이용하는 방식, 광학기계식은 앞의 둘을 조합한 방식을 말한다. 이외에도, 트랙볼이라고 해서 본체에 부착된 노트북 컴퓨터 전용도 있다.
이러한 마우스는 초기 기계식 마우스인 볼 마우스가 주로 사용되었다. 볼 마우스는 사용하는 과정에서 바닥에 묻어 있는 먼지 등의 각종 이물질들이 볼과 케이스 사이에 삽입되거나 혹은 볼의 외면에 들러붙는 등의 원인으로 인해 감지 성능이 저하되는 문제가 있어 현재 대부분의 마우스는 광학식 마우스가 주로 사용되고 있다.
그러나, 종래기술에 따른 광학식 마우스는 빛의 반사를 이용하여 마우스의 위치 변화를 파악하는 방식으로 바닥면에 빛을 반사할 수 있는 물질을 필요로 한다. 즉, 종래기술에 따른 광학식 마우스는 반사가 잘 되지 않는 유리와 같은 재질의 바닥면에서 마우스의 위치 변화를 인식할 수 없기 때문에 마우스 패드 등이 필수적으로 요구되었고, 이로 인해 바닥면에 따른 장치적 및 공간적 제약이 따를 수 밖에 없다.
KR 10-1074087 B1, 2011. 10. 10. KR 10-2006-0018193 A, 2004. 08. 23.
따라서, 본 발명은 종래기술의 문제점을 해결하기 위해 제안된 것으로서, 손가락 움직임(동작)을 감지하는 센서들과 연동하여 대상기기의 화면에 표시되는 마우스 커서의 현재 위치를 인식한 상태에서 카메라(및/또는 라이다(lidar))를 이용하여 주변공간을 촬영하여 얻어진 영상들로부터 현재 기준사물의 비접촉 특정정보를 토대로 해당 기준사물의 위치 변동값을 각각 분석하여 대상기기들의 화면에 표시되는 마우스 커서의 위치좌표로 적용하는 카메라를 이용한 손가락 움직임 연동형 스마트 마우스 및 이를 이용한 마우스 커서의 제어방법을 제공하는데 그 목적이 있다.
상기한 목적을 달성하기 위한 일 측면에 따른 본 발명은 장갑형 또는 골무형으로 이루어져 손가락에 끼워 착용하고, 각 손가락이 끼워지는 부위에는 각각 적어도 하나의 센서가 설치되어 사용자의 손가락 움직임을 감지한 후 손가락 움직임에 대응하여 독립적인 감지신호들을 생성하는 손가락 착용부재; 상기 손가락 착용부재로부터 생성된 감지신호들 중 어느 하나의 감지신호에 응답하여 주변공간을 설정된 시간간격마다 촬영하여 순차적으로 영상을 획득하는 카메라; 및 모바일이나 컴퓨터와 같은 대상기기와 통신하고, 상기 손가락 착용부재와 연결되어 상기 손가락 착용부재에서 생성된 감지신호들을 제공받고, 상기 감지신호들 각각에 대응하여 상기 대상기기의 화면에 표시되는 마우스 커서의 동작을 제어하고, 상기 카메라를 통해 연속적으로 촬영된 영상에 포함된 기준사물의 위치 변동값을 측정한 후 측정된 위치 변동값을 상기 마우스 커서에 반영하는 마우스 제어단말을 포함하는 것을 특징으로 하는 카메라를 이용한 손가락 움직임 연동형 스마트 마우스를 제공한다.
바람직하게, 상기 마우스 제어단말은 상기 카메라를 통해 순차적으로 획득된 각각의 영상 내에 포함된 사물들 중 한 개 또는 복수 개의 사물을 각 영상마다 기준사물로 동일하게 추출하는 기준사물 추출부; 상기 기준사물 추출부에서 순차적으로 추출된 기준사물에 대한 위치 변동값을 시계열적으로 서로 비교하여 기준사물의 위치 변동값을 측정하는 위치 변동값 측정부; 상기 위치 변동값 측정부를 통해 측정된 기준사물에 대한 위치 변동값에 대응하여 상기 마우스 커서의 이동을 제어하는 제어신호를 생성하는 제어신호 생성부; 및 통신 모듈부를 매개로 상기 대상기기와 통신하고, 상기 제어신호 생성부를 통해 생성된 제어신호에 대응하여 상기 마우스 커서의 이동 및 동작을 제어하는 커서 제어부를 포함하는 것을 특징으로 할 수 있다.
바람직하게, 상기 사물들은 상기 카메라를 통해 촬영된 주변공간의 피사체 내에 존재하는 물건이나 물품인 것을 특징으로 할 수 있다.
바람직하게, 상기 기준사물 추출부는 기설정된 사물의 특정정보를 토대로 기준사물을 추출하고, 상기 기설정된 사물의 특정정보는 형상, 크기, 위치, 명암, 색상 또는 문자 중 적어도 어느 하나인 것을 특징으로 할 수 있다.
바람직하게, 상기 카메라와 나란하게 상기 손가락 착용부재 또는 상기 마우스 제어단말에 설치되고, 상기 손가락 착용부재로부터 생성된 감지신호들 중 어느 하나의 감지신호에 응답하여 상기 카메라가 촬영하는 동일한 주변공간을 설정된 간격으로 연속적으로 촬영하여 영상을 순차적으로 회득한 후 상기 기준 사물 추출부로 전송하는 라이다를 더 포함하는 것을 특징으로 할 수 있다.
바람직하게, 상기 마우스 제어단말에 구비된 마이크를 통해 입력되는 사용자 음성을 인식하는 음성 인식부; 및 상기 음성 인식부를 통해 인식된 사용자 음성에 따라 동작하여 상기 대상기기의 화면 상에서 한 번에 이동하는 상기 마우스 커서의 이동간격을 설정하는 레벨 설정부를 더 포함하고, 상기 제어신호 생성부는 상기 음성 인식부를 통해 인식된 사용자 음성에 대응하여 상기 레벨 설정부를 통해 설정된 상기 마우스 커서의 이동간격 만큼 상기 마우스 커서를 상하좌우 방향으로 이동시키기 위한 제어신호를 생성하는 한편, 상기 좌측버튼 또는 상기 우측버튼의 클릭동작과 동일한 제어신호를 생성하여 상기 커서 제어부로 출력하는 것을 특징으로 할 수 있다.
또한, 상기한 목적을 달성하기 위한 다른 측면에 따른 본 발명은 손가락에 착용된 손가락 착용부재에 설치된 센서들을 통해 손가락의 움직에 대응하는 독립적인 감지신호를 생성하고, 생성된 감지신호에 응답하여 동작하는 카메라를 이용하여 설정된 시간간격으로 주변공간을 연속적으로 촬영하여 영상을 획득하는 단계; 상기 카메라를 통해 획득된 각 영상에 포함된 사물들 중 적어도 어느 하나를 기준사물로 추출한 후 각 영상 내에서 추출된 기준사물의 위치를 순차적으로 추적 분석하여 현재 기준사물의 위치와 그 이전 기준사물의 위치에 변동이 있는 경우, 현재 기준사물의 이동방향, 이동각도 및 이동거리를 포함하는 위치 변동값을 측정하는 단계; 및 상기 현재 기준사물의 위치 변동값을 무선 통신하는 모바일이나 컴퓨터와 같은 대상기기로 전송하여 상기 대상기기의 화면에 표시되는 마우스 커서에 반영하는 단계를 포함하는 것을 특징으로 하는 마우스 커서의 제어방법을 제공한다.
이상에서 설명한 바와 같이, 본 발명에 따른 스마트 마우스에 따르면, 손가락 움직임(동작)을 감지하는 센서들과 연동하여 대상기기의 화면에 표시되는 마우스 커서의 현재 위치를 인식한 상태에서 카메라(및/또는 라이다(lidar))를 이용하여 주변공간을 촬영하여 얻어진 영상들로부터 현재 기준사물의 비접촉 특정정보를 토대로 해당 기준사물의 위치 변동값을 각각 분석하여 대상기기들의 화면에 표시되는 마우스 커서의 위치좌표로 적용함으로써 별도의 마우스 패드를 사용하지 않고도, 대상기기의 화면에 표시되는 마우스 커서를 원격에서 간편하게 제어할 수 있다.
도 1은 본 발명의 실시예에 따른 스마트 마우스를 간략하게 도시한 도면.
도 2는 도 1에 도시된 손가락 착용부재의 후면을 도시한 도면.
도 3은 본 발명에 따른 손가락 착용부재의 동작특성을 일례로 도시한 도면들.
도 4는 본 발명의 다른 실시예에 따른 스마트 마우스를 도시한 도면.
도 5는 본 발명의 또 다른 실시예에 따른 스마트 마우스를 도시한 도면.
도 6은 본 발명에 따른 마우스 제어단말의 구성을 간략하게 도시한 도면.
도 7은 본 발명에 따른 카메라를 통해 촬영된 영상의 일례를 간략하게 도시한 도면.
도 8은 본 발명에 따른 기준사물의 위치 변동값 측정과정을 간략하게 도시한 도면.
도 9는 본 발명의 실시예에 따른 마우스 커서 제어방법을 도시한 흐름도.
본 발명의 이점 및 특징, 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시예를 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예로 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다.
본 명세서에서 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 따라서, 몇몇 실시예에서, 잘 알려진 구성 요소, 잘 알려진 동작과 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.
또한, 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 그리고, 본 명세서에서 사용된(언급된) 용어들은 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, '포함(또는, 구비)한다'로 언급된 구성 요소 및 동작은 하나 이상의 다른 구성요소 및 동작의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면들을 참조하여 본 발명의 기술적 특징을 구체적으로 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 스마트 마우스를 설명하기 위해 간략하게 도시한 도면이고, 도 2는 도 1에 도시된 손가락 착용부재의 후면을 도시한 도면이다.
도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 스마트 마우스는 손가락 착용부재(11)와, 손가락 착용부재(11)와 통신하는 마우스 제어단말(12)을 포함한다.
손가락 착용부재(11)는 도 1과 같이 손 전체를 감싸도록 착용하는 장갑형이거나, 혹은 손가락 부분만을 덮도록 착용하는 골무형 구조로 이루어질 수 있으며, 각 손가락(f1~f5)에는 손가락(f1~f5)의 움직임을 감지하는 센서(11a~11h)가 설치된다.
본 발명에 따른 센서(11a~11h)의 중료는 제한을 두지 않고 다양한 종류를 사용할 수 있다. 일례로, 검지(f2), 중지(f3), 약지(f4) 및 소지(f5) 중 적어도 어느 하나의 손가락이 엄지(f1)와 접촉하면 이를 감지하는 접촉센서로 이루어질 수 있다.
또한, 본 발명에 따른 센서(11a~11h)는 접촉센서 이외에도, 각 손가락 중 어느 하나, 바람직하게는 엄지(f1)에 설치되어 검지(f2), 중지(f3), 약지(f4) 및 소지(f5)의 움지임(동작)을 감지하는 동작감지센서(적외선 센서)로 이루어질 수도 있다.
일례로, 센서(11a~11h)가 접촉센서로 이루어진 경우, 엄지(f1)에 설치된 센서(11a)는 공동센서로 기능한다. 검지(f2), 중지(f3), 약지(f4) 및 소지(f5) 중 어느 하나의 손가락에 설치된 센서(11b~11h) 중 적어도 어느 하나가 엄지(f1)에 설치된 센서(11a)와 접촉하면 그에 상응하는 신호를 생성하여 마우스 제어단말(12)로 전송한다.
이와 같이, 본 발명에서는 손가락 착용부재(11)를 통해 모바일이나 컴퓨터 등과 같은 대상기기의 화면에 표시되는 마우스 커서(화살표)의 이동 기능, 마우스 좌클릭 기능, 마우스의 우클릭 기능, 키보드 탭 기능, 마우스 전원 ON/OFF 기능, 마우스 휠 상방향 이동 기능, 마우스 휠 하방향 이동 기능, 대상기기에 구비된 카메라의 동작 기능 등을 구현하기 위해 각 손가락에 적어도 한 개의 센서가 설치된다.
도 1 및 도 2와 같이, 손가락 착용부재(11)에는 마우스 커서의 이동 기능, 마우스 좌클릭 기능, 마우스의 우클릭 기능, 키보드 탭 기능, 마우스 전원 ON/OFF 기능, 마우스 휠 상방향 이동 기능, 마우스 휠 하방향 이동 기능 및 대상기기에 구비된 카메라의 동작 기능 등을 구현하기 총 8개의 센서(11a~11h)가 설치될 수 있다.
예를 들어, 센서는 엄지(f1)에 1개(11a), 검지(f2)에 2개(11b, 11f), 중지(f3)에 2개(11c, 11g), 약지(f4)에 2개(11d, 11h), 그리고 소지(f5)에 1개(11e)로 해서, 총 8개의 센서가 설치될 수 있다. 이때, 검지(f2), 중지(f3) 및 약지(f4)에 각각 설치된 2개의 센서는 각 손가락의 정면과 후면에 독립적으로 설치될 수 있다.
도 3은 본 발명에 따른 손가락 착용부재의 동작특성을 일례로 도시한 도면들이다.
도 3의 (a)는 대상기기의 화면에 표시되는 마우스 커서를 원격에서 제어하여 이동시키기 위한 손가락 동작의 일례로서, 엄지(f1)에 설치된 제1 센서(11a)에 검지(f2)와 중지(f3)에 설치된 제2 및 제3 센서(11b, 11c)를 동시에 접촉(접속)시켜 구현한다.
도 3의 (b)는 기존 마우스의 좌측버튼 동작과 같이, '클릭' 또는 '드래그' 방식으로 대상기기에 표시되는 마우스 커서의 명령어를 선택 또는 실행하기 위한 동작으로서, 엄지(f1)에 설치된 제1 센서(11a)에 검지(f2)의 제2 센서(11b)를 접촉시켜 구현한다.
도 3의 (c)는 기존 마우스의 우측버튼 동작과 동일하게, '클릭' 방식으로 대상기기에 표시되는 마우스 커서의 명령어를 선택 또는 실행하기 위한 동작으로서, 엄지(f1)에 설치된 제1 센서(11a)에 중지(f3)의 제3 센서(11c)를 접촉시켜 구현한다.
도 3의 (d)는 마우스 커서를 일정 간격으로 이동시키는 키보드의 탭 기능과 동일한 동작으로, 엄지(f1)에 설치된 제1 센서(11a)에 약지(f4)의 제4 센서(11d)를 접촉시켜 구현한다.
도 3의 (e)는 본 발명의 실시예에 따른 스마트 마우스의 ON/OF 동작으로서, 엄지(f1)에 설치된 제1 센서(11a)에 소지(f4)의 제5 센서(11e)를 접촉시켜 구현한다.
도 3의 (f)는 기존 마우스의 휠 상부버튼과 같이, 대상기기의 화면을 상측으로 이동시키는 동작으로서, 엄지(f1)에 설치된 제1 센서(11a)에 검지(f2)의 후면(검지의 손톱 부분에 대응되는 부위)에 설치된 제6 센서(11f)를 접촉시켜 구현한다.
도 3의 (g)는 기존 마우스의 휠 하부버튼과 같이, 대상기기의 화면을 하측으로 이동(수동/자동)시키는 동작으로서, 엄지(f1)에 설치된 제1 센서(11a)에 중지(f3)의 후면(중지의 손톱 부분에 대응되는 부위)에 설치된 제7 센서(11g)를 접촉시켜 구현한다.
도 3의 (h)는 마우스 제어단말(12)과 통신하는 대상기기에 설치된 카메라 등을 동작시키는 동작으로서, 엄지(f1)에 설치된 제1 센서(11a)에 약지(f4)의 후면(약지의 손톱 부분에 대응되는 부위)에 설치된 제8 센서(11h)를 접촉시켜 구현한다.
도 4 및 도 5는 본 발명의 다른 실시예들에 따른 스마트 마우스를 도시한 도면들이다.
도 1과 같이, 손가락 착용부재(11)의 일측부, 예를 들면 엄지(f1)에는 카메라(12) 및/또는 라이다(13)가 설치되어 있으나, 이는 일례로서, 도 4와 같이, 카메라(12)와 라이다(13)는 손가락 착용부재(11)가 아닌 마우스 제어단말(12)에 설치될 수도 있다.
도 5와 같이, 마우스 제어단말(12)에는 사용자 음성을 인식하여 대상기기의 화면에 표시되는 마우스 커서의 동작을 제어하기 위한 음성 인식부(12f)가 구비될 수 있다.
도 1, 도 4 및 도 5와 같이, 손가락 착용부재(11)에 설치된 제1 내지 제8 센서들(11a~11h)은 미도시된 접속 케이블(미도시)을 통해 마우스 제어단말(12)에 접속된다.
마우스 제어단말(12)은 착용 편의성을 위해 손목시계 구조로 이루어질 수 있다. 그리고, 적어도 일측부에는 상기 접속 케이블이 접속되는 접속잭이 구비되어 있다.
도 1, 도 4 및 도 5에 도시된 카메라(13)는 스마트 마우스의 움직임에 따라 스마트 마우스의 주변공간을 촬영하여 영상(이미지)을 획득하는 장치로서, 광각 카메라, 초광각 카메라 또는 망각 카메라 중 어느 하나일 수 있다. 이외에도, 어두운 공간이나, 혹은 야간에도 주변공간을 촬영할 수 있는 적외선 카메라를 포함할 수 있다.
본 발명에 따른 카메라(13)는 도 1과 같이, 엄지(f1)의 일측부에 설치되거나, 도 4 및 도 5와 같이, 손목시계형 마우스 제어단말(12)의 일측부에 한 개 또는 복수 개가 설치되어 손가락 착용부재(11)에 설치된 센서들의 동작, 예를 들면, 도 3의 (a)의 동작과 연동하여 설정된 시간간격으로 주변공간을 촬영하여 영상을 획득한다.
도 6은 본 발명에 따른 마우스 제어단말의 구성을 간략하게 도시한 도면이고, 도 7은 본 발명에 따른 카메라를 통해 촬영된 영상의 일례를 간략하게 도시한 도면이다.
도 6 및 도 7을 참조하면, 카메라(13)를 통해 주변공간을 촬영하여 획득한 영상(1)에는 촬영된 주변공간에 존재하는 다양한 객체들을 포함한다. 이때, 객체들은 사물들(#1~#7)을 의미하는 것으로, 예를 들어, 사물들(#1~#7)은 카메라(13)가 촬영하는 주변공간 내에 비치되어 있거나, 혹은 설치되어 있는 물건이나 물품일 수 있다.
사물들(#1~#7)은 카메라(13)를 통해 촬영된 주변공간의 피사체 내에 존재하는 물건이나 물품일 수 있다. 물론, 특정 물건이나 물품에 인쇄되어 있는 문자일 수도 있다. 즉, 영상(1)의 전체 배경에 각각 독립적인 형상을 갖고 비치 또는 설치된 물건이나 물품일 수 있다. 물론, 특정 물건이나 물품에 인쇄되어 있는 문자일 수도 있다.
예를 들어, 카메라(13)를 통해 촬영된 영상 내에 포함된 사물들(#1~#7)은 벽을 촬영하는 경우, 스위치, 콘센트 및 액자 등과 같이 벽에 비치되어 있거나 설치된 물건이나 물품일 수 있다. 책상 위를 촬영하는 경우에는 키보드, 필기구, 지우개, 안경, 노트, 조명, 시계 등과 같이 책상에 놓여져 있는 물건이나 물품일 수 있다.
이와 같이, 카메라(13)를 통해 촬영된 영상에는 카메라(13)가 촬영하는 장소의 공간 내에 존재하는 물건이나 물품과 같은 각종 사물들을 포함하고, 이때, 각종 사물들은 제한을 두지 않고 촬영공간에 따라 다양한 물건이나 물품을 포함할 수 있다.
이러한 카메라(13)는 손가락의 움직임과 대응하여 손가락 착용부재(11)에서 생성되는 동작신호에 응답하여 동작한다. 즉, 손가락의 움직임에 대응하여 손가락 착용부재(11)에 설치된 센서들(11a~11h)에서 생성되는 감지신호에 응답하여 동작한다.
일례로, 카메라(13)는 도 3의 (a)와 같이, 엄지(f1)에 설치된 제1 센서(11a)에 검지(f2)와 중지(f3)에 설치된 제2 및 제3 센서(11b, 11c)를 동시에 접촉시키면, 이와 연동하여 주변공간(전방측)을 촬영한다. 이때, 카메라(13)는 제1 내지 제3 센서(11a, 11b, 11c)가 접촉된 상태로 유지되는 동안 설정된 시간간격으로 주변공간을 촬영한다.
도 6과 같이, 카메라(13)에 의해 순차적으로 촬영된 각각의 영상은 마우스 제어단말(12)의 기준사물 추출부(12a)로 전송된다.
기준사물 추출부(12a)는 카메라(13)에서 연속적으로 촬영된 영상 내에 포함된 사물들 중 적어도 하나, 즉 한 개 또는 복수 개의 사물을 기준사물로 동일하게 추출한다. 이때, 기준사물 추출부(12a)는 기설정된 사물의 특정정보를 토대로 기준사물을 추출한다. 예를 들어, 상기 사물의 특정정보는 형상(모양), 크기, 위치, 명암(밝기), 색상, 문자 등과 같이 사물들을 서로 구분할 수 있는 특징은 모두 포함하는 것으로, 기준사물을 추출할 때 이들 특정정보를 적어도 어느 하나, 즉 한 개 또는 복수 개를 반영하여 추출할 수 있다.
기설정된 사물의 특정정보를 적용하여 기준사물을 추출할 때, 영상 내에서 사물들이 쉽게 구분될 수 있는 순으로 사물의 특정정보에 대한 우선순위를 둘 수 있다.
예를 들어, 사물의 특정정보가 '형상'으로 기설정되어 있는 경우, 기준사물 추출부(12a)는 '사각형' → '원형' 순으로 우선 순위를 두고 기준사물을 추출할 수 있다. 즉, 영상 내에 사각형을 갖는 사물이 존재하지 않는 경우, 그 다음에는 원형을 갖는 사물을 기준사물로 추출할 수 있다. 이때, 원형을 갖는 사물이 영상 내에 복수 개가 존재하는 경우에는 모두 기준사물로 추출하거나 혹은 그 다음 사물의 특징, 예를 들면 크기, 위치, 명암, 색상 등의 순으로 한 개 또는 복수 개의 사물을 추출할 수 있다.
일례로, 도 7과 같은 영상(1)이 카메라(13)를 통해 촬영된 경우, 기준사물 추출부(12a)는 사물의 특정정보를 토대로 중 7개의 사물들(#1~#7) 중 적어도 한 개를 기준사물로 추출한다. 여기서는 일례로 '#1'을 기준사물로 추출된 것을 예로 도시하였다.
기준사물 추출부(12a)를 통해 추출된 기준사물은 기준사물로 추출됨과 동시에 모바일 및 컴퓨터 등과 같은 대상기기들의 화면에 표시되는 마우스 커서와 일대일 매칭된다. 즉, 추출된 기준사물은 대상기기의 화면에 표시되는 마우스 커서와 동기화된다.
기준사물 추출부(12a)는 카메라(13)로부터 순차적으로 전송되는 각 영상마다 기준사물을 추출하고, 이때, 추출되는 기준사물은 각 영상마다 동일한 사물이 된다. 즉, 카메라(13)를 통해 최초 획득된 영상에서 기준사물이 최초로 추출된 후, 기준사물 추출부(12a)를 통해 추출되는 기준사물은 최초 추출된 기준사물과 동일하다.
기준사물 추출부(12a)를 통해 기준사물이 추출되면, 자동으로 추출된 기준사물의 위치값이 추출된다. 이때, 추출된 기준사물의 위치값은 스마트 마우스와 접속된 대상기기의 화면에 표시되는 마우스 커서에 일대일 매칭된다. 이때, 기준사물 추출부(12a)는 기준사물의 위치값을 픽셀단위로 측정하여 위치좌표(X, Y)로 측정할 수 있다. 이를 통해 기준사물의 이동방향, 이동각도 및 이동거리 등을 추적할 수 있다.
도 8은 본 발명에 따른 기준사물의 위치 변동값 측정과정을 간략하게 도시한 도면이다.
도 6 내지 8을 참조하면, 카메라(13)는 손가락 착용부재(11)의 특정동작, 예를 들어, 제1 내지 제3 센서(11a, 11b, 11c)가 접촉된 상태에서 생성되는 특정신호가 전송되는 동안 설정된 시간간격으로 연속적으로 주변공간을 촬영하여 시계열적(t-3, t-2, t-1, t)으로 영상을 획득하고, 이렇게 획득된 각 영상들은 촬영된 순으로 순차적으로 기준사물 추출부(12a)와 위치 변동값 측정부(12b)로 전송되어 처리된다.
상기에서, 특정신호는 도 3의 (a) 내지 (h)와 같은 손가락 움직임을 통해 각 손가락(f1~f5)에 설치된 센서들(11a~11h)의 접촉을 통해 생성되는 독립적인 신호를 의미하며, 이때, 각각의 독립적인 신호는 전류 또는 전압의 크기가 다른 신호일 수 있다.
위치 변동값 측정부(12b)는 기준사물 추출부(12a)에서 추출된 기준사물의 현재 위치값(t 위치값)과 그 이전에 전송된 기준사물의 이전 위치값(t-1 위치값)을 비교하여 기준사물의 위치에 시계열적으로 변동이 발생했는지를 판단한다. 만약, 기준사물의 현재 위치가 그 이전에 비해 변동된 경우, 이동거리를 산출하여 변동값을 측정한다. 물론, 이동방향과 이동각도에 있어서도 변동이 있는 경우, 이들을 함께 추적하여 측정한다.
이러한 기준사물에 대한 위치 변동값의 측정은 손가락 착용부재(11)의 특정 동작이 유지되는 동안, 예를 들면, 제1 내지 제3 센서(11a, 11b, 11c)가 서로 접촉되어 생성되는 특정신호가 카메라(13)와 마우스 제어단말(12)로 전송되는 동안 설정된 시간간격으로 순차적으로 촬영된 영상에 대해 각각 수행한다. 예를 들어, 't', 't-1', 't-2'일 때 각각 실시하여 기준사물의 위치 변동값(d1, d2, d3)을 측정한다.
위치 변동값 측정부(12b)는 각 영상별 기준사물의 변동값(d1, d2, d3) 뿐만 아니라, 현재 기준사물의 위치 이동방향(상하좌우 방향)과 이동각도를 함께 측정한다. 즉, 위치 변동값 측정부(12b)는 기준사물에 대해 시계열적으로 이동방향, 이동각도 및 이동거리에 대한 정보를 측정한 후 제어신호 생성부(12c)로 각 영상마다 전송한다.
제어신호 생성부(12c)는 위치 변동값 측정부(12b)에서 전송된 기준사물의 이동방향, 이동각도 및 이동거리에 대한 정보에 대응하는 제어신호를 생성하여 커서 제어부(12d)로 전송한다. 이때, 제어신호 생성부(12c)에서 생성되는 제어신호는 대상기기의 화면에 표시되는 마우스 커서의 이동방향, 이동각도 및 이동거리를 제어하는 명령어가 된다.
커서 제어부(12d)는 제어신호 생성부(12c)에서 생성된 제어신호를 통신 모듈부(12e)를 통해 해당 대상기기로 전송하여 대상기기의 화면(2)에 표시되는 마우스 커서(C)를 제어한다. 즉, 위치 변동값 측정부(12b)에서 측정된 기준사물의 이동방향, 이동각도 및 이동거리는 각각 해당 대상기기의 화면(2)에 표시되는 커서(C)에 그대로 적용되고, 이에 따라 커서(C)는 이에 대응하는 방향, 각도 및 거리로 이동한다.
한편, 카메라(13)에서 촬영된 영상 내에서 기준사물의 움직임이 미세하여 위치 변동값의 측정이 어려운 경우, 이를 보완하기 위한 장치로 라이다(14)가 설치될 수 있다.
라이다(14)는 2차원 또는 3차원 영상센서로서, 카메라(13)와 나란하게 손가락 착용부재(11) 또는 마우스 제어단말(12)에 설치되어 카메라(13)의 촬영각도에 대응하는 주변공간에 레이저 펄스를 조사하고, 주변공간의 사물에서 반사되어 돌아오는 펄스를 수신하여 사물을 촬영(스캔)한다.
라이다(14)는 카메라(13)와 마찬가지로 손가락 착용부재(11)의 특정 동작이 유지되는 동안 설정된 시간간격으로 순차적으로 주변공간을 촬영하여 영상을 획득하고, 이렇게 획득된 영상은 카메라(13)를 통해 촬영된 영상을 처리하는 방법과 동일한 방법으로, 기준 사물 추출부(12a)와 위치 변동값 측정부(12b)를 통해 처리되어 커서 제어부(12d)와 통신 모듈부(12e)를 통해 마우스 커서(C)에 그대로 적용된다.
위치 변동값 측정부(12b)는 카메라(13)를 통해 촬영된 영상을 통해 기준사물의 위치 변동값을 측정하는 것이 어려운 경우, 라이다(14)를 통해 얻어진 영상을 통해 기준사물의 위치 변동값을 측정하여 커서 제어부(12d)를 통해 커서(C)를 제어한다.
이때, 위치 변동값 측정부(12b)는 카메라(13)를 통해 얻어진 영상을 통해 기준사물의 위치 변동값을 측정하는 방법과 동일한 방법으로 라이다(14)를 통해 얻어지는 영상을 처리하여 기준사물의 위치 이동방향, 이동각도 및 이동거리를 측정한다.
예를 들어, 위치 변동값 측정부(12b)는 카메라(13)에서 촬영된 영상에서 추출된 기준사물에 대한 위치 변동값에 변동이 없는 경우, 라이다(14)를 통해 촬영된 영상에서 추출된 동일 기준사물에 대한 위치 변동값을 참조한다. 그리고, 라이다(14)의 영상에서 추출된 기준사물에서 위치 변동값이 변동이 발생된 경우에는 이를 반영하여 제어신호 생성부(12c)를 통해 커서(C)의 제어신호를 생성하여 출력한다.
한편, 도 5 및 도 6과 같이, 본 발명의 실시예에 따른 스마트 마우스는 사용자의 음성을 인식하여 해당 대상기기의 화면에 표시되는 커서(C)를 제어하기 위해 마우스 제어단말(12)에 구비된 마이크(미도시)로 입력되는 사용자 음성을 인식하여 처리하는 음성 인식부(12f) 및 레벨 설정부(12g)를 더 포함할 수 있다. 이때, 음성 인식부(12f)는 마이크 기능과 사용자 음성을 분석하는 분석 기능을 포함할 수도 있다.
즉, 본 발명의 실시예에 따른 스마트 마우스는 손가락 착용부재(11)를 이용한 손가락 움직임, 즉 특정 동작(센서들 간의 접촉동작)을 수행하지 않고도 음성으로 해당 대상기기의 화면에 표시되는 마우스 커서(C)의 명령실행 등을 구현할 수 있다.
도 6과 같이, 음성 인식부(12f)는 사용자의 음성을 인식하는 음성 인식센서로서, 사용자 음성을 인식 및 분석하여 대상기기의 화면에 표시되는 커서(C)의 동작을 제어한다.
예를 들어, 음성 인식부(12f)를 통해 인식된 사용자 음성이 제1 명령어인 "레벨"에 해당하는 단어인 경우, 레벨 설정부(12g)는 마우스 제어단말(12)에 구비된 스피커(미도시)를 통해 "레벨을 설정하세요"라는 안내멘트를 출력하고, 이후, 음성 인식부(12f)로 '1'에서 '10' 중 어느 하나의 아라비안 숫자가 인식되면 해당 아라비안 숫자에 대응하는 단계별 레벨로, 커서(C)의 이동간격이 설정된다. 이때, 각 아라비안 숫자는 화면을 구성하는 픽셀의 개수에 해당하는 것으로, '1'은 하나의 픽셀을 의미한다.
예를 들어, 음성 인식부(12f)를 통해 '1'이 인식되면, '레벨1'로 설정되고, '2'가 인식되면, '레벨2'로 설정된다. 이때, 레벨 설정시 사용되는 단어는 아라비안 숫자로 제한되지 않고, 다양한 단어 및 언어를 사용하여 설정할 수 있다. 이러한 방식으로, 커셔(C)의 이동거리를 '레벨1'에서 '레벨10'까지 각각 설정할 수 있다.
'레벨1'로 설정된 경우, 커셔(C)는 한 번에 1개의 픽셀 간격만큼 이동하고, '레벨2'로 설정된 경우, 2개의 픽셀 간격만큼 이동한다. 그리고, '레벨10'로 설정된 경우에에는 10개의 픽셀 간격만큼 이동한다. 물론, 각 레벨마다 2개의 픽셀 간격만큼 이동하도록 설정할 수 있으며, 레벨에 따른 픽셀 간격은 제한을 두지 않는다.
레벨 설정부(12g)를 통해 커셔(C)의 이동간격에 대한 설정이 완료된 상태에서, 음성 인식부(21)를 통해 제2 명령어, 예컨대, "마우스"가 인식되면, 스마트 마우스는 음성동작 제어모드로 진입한다. 그리고, 이후, 음성 인식부(12f)를 통해 제3 명령어, 예컨대, "상", "하", "좌", "우" 중 어느 하나의 단어가 인식되면, 제어신호 생성부(12c)는 이와 대응하는 제어신호를 생성하여 커서 제어부(12d)로 출력한다.
예를 들어, 레벨 설정부(12g)를 통해 커서(C)가 한번에 이동할 수 있는 간격이 "레벨2"로 기설정된 상태에서, 커서(C)의 이동방향을 결정하는 단어로서, "상"이 음성 인식부(12f)를 통해 인식되면, 제어신호 생성부(12c)는 커서(C)가 상측으로 2개의 픽셀 간격만큼 이동되도록 하는 제어신호를 생성하여 커서 제어부(12d)로 출력한다.
또한, 스마트 마우스가 음성동작 제어모드로 진입한 상태에서, 음성 인식부(12f)를 통해 제4 명령어, 예컨대, "클릭"이라는 단어가 인식된 후, 제5 명령어, 예컨대 "좌클릭" 또는 "우클릭"이 인식되면, 제어신호 생성부(12c)는 이와 대응하는 제어신호를 생성한다.
예를 들어, 음성 인식부(12f)에 의해 제5 명령어로서, "좌클릭"이 인식되면, 제어신호 생성부(12c)는 마우스 좌측버튼의 클릭동작과 동일한 제어신호를 생성하여 커서 제어부(18)로 전송한다. 그리고, "우클릭"이 인식되면, 제어신호 생성부(12c)는 마우스 우측버튼의 클릭과 동일한 제어신호를 생성하여 커서 제어부(12d)로 전송한다.
또한, 스마트 마우스가 음성 동작모드로 진입한 상태에서, 음성 인식부(12f)를 통해 제6 명령어, 예컨대 "탭"이라는 단어가 인식되면, 제어신호 생성부(12c)는 키보드의 탭 키와 동일하게 커서(C)를 한 칸씩 우측으로 이동시키는 제어신호를 생성한다.
또한, 마우스 제어단말(12)은 내부에 내장되어 내부전원을 공급하는 배터리(미도시)를 더 포함할 수 있고, 손가락 착용부재(11)에 설치된 센서들(11a~11h), 카메라(13) 및 라이다(14)는 마우스 제어단말(12)의 배터리로부터 전원을 공급받는다.
도 1 및 도 6과 같이, 본 발명에 따른 마우스 제어단말(12)은 통신 모듈부(12e)를 통해 모바일이나 컴퓨터 등과 같은 대상기기와 통신한다. 대상기기에는 송수신기(3)가 접속포트(USB 포트)에 접속되어 무선통신으로 통신 모듈부(12e)와 통신한다.
도 9는 본 발명의 실시예에 따른 마우스 커서 제어방법을 도시한 흐름도이다.
도 9를 참조하면, 먼저, 손가락에 착용된 손가락 착용부재(11)에 설치된 센서들(11a~11h)을 통해 손가락의 움직에 대응하는 독립적인 감지신호를 생성하고, 이렇게 생성된 감지신호에 응답하여 동작하는 카메라(13)(및/또는 라이다)를 이용하여 주변공간을 촬영하여 영상을 획득한다(S1). 이때, 카메라(13)를 이용하여 주변공간을 촬영할 때, 영상에 포함된 사물들 간의 구분이 용이하도록 촬영공간을 결정하는 것이 유리하다.
카메라(13)를 이용하여 주변공간을 촬영하는 동작은, 손가락 착용부재(11)의 손가락 움직임을 감지하는 센서들(11a~11h)에서 전송되는 감지신호에 응답하여 수행된다. 이때, 카메라(13)를 통해 획득된 영상과 해당 대상기기의 화면에 표시되는 마우스 커서(C)는 자동 일대일 매칭되고, 추후 커서(C)는 추출된 기준사물과 동기화된다.
이어서, 카메라(13)를 통해 획득된 영상에 존재하는 사물들 중 적어도 어느 하나를 기준사물로 추출한다(S2). 이때, 상기 기준사물의 추출은 사물의 특정정보, 예를 들면, 형상(모양), 크기, 위치, 명암(밝기), 색상, 문자 등과 같이 사물들을 서로 쉽게 구분하고 인식할 수 있는 특징 중 어느 하나를 이용하여 추출할 수 있다.
이어서, 순차적으로 촬영된 영상 내에서 기준사물의 위치를 추적하여 현재 기준사물의 위치와 그 이전 기준사물의 위치를 비교하여 위치값에 변동이 있는 경우, 그 위치 변동값, 즉 이동방향, 이동각도 및 이동거리 등을 산출하여 측정한다(S3).
이어서, 현재 기준사물의 위치 변동값을 해당 대상기기의 화면에 표시된 커서(C)에 적용한다(S4). 즉, 최종 기준사물의 위치 변동값에 대응하도록 커서(C)를 이동시킨다.
이상에서와 같이 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 바람직한 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아니다. 이처럼 이 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 본 발명의 실시예의 결합을 통해 다양한 실시예들이 가능함을 이해할 수 있을 것이다.
1 : 영상
2 : 화면
C : 커서
#1~#7 : 사물
f1~f5 : 손가락(엄지/검지/중지/약지/소지)
11 : 손가락 착용부재
11a~11h : 센서들(제1 내지 제8 센서)
12 : 마우스 제어단말
12a : 기준사물 추출부
12b : 위치 변동값 측정부
12c : 제어신호 생성부
12d : 커서 제어부
12e : 통신 모듈부
12f : 음성 인식부
12g : 레벨 설정부
13 : 카메라
14 : 라이다

Claims (7)

  1. 삭제
  2. 장갑형 또는 골무형으로 이루어져 손가락에 끼워 착용하고, 각 손가락이 끼워지는 부위에는 각각 적어도 하나의 센서가 설치되어 사용자의 손가락 움직임을 감지한 후 손가락 움직임에 대응하여 독립적인 감지신호들을 생성하는 손가락 착용부재;
    상기 손가락 착용부재로부터 생성된 감지신호들 중 어느 하나의 감지신호에 응답하여 주변공간을 설정된 시간간격마다 촬영하여 순차적으로 영상을 획득하는 카메라; 및
    모바일이나 컴퓨터와 같은 대상기기와 통신하고, 상기 손가락 착용부재와 연결되어 상기 손가락 착용부재에서 생성된 감지신호들을 제공받고, 상기 감지신호들 각각에 대응하여 상기 대상기기의 화면에 표시되는 마우스 커서의 동작을 제어하고, 상기 카메라를 통해 연속적으로 촬영된 영상에 포함된 기준사물의 위치 변동값을 측정한 후 측정된 위치 변동값을 상기 마우스 커서에 반영하는 마우스 제어단말;
    을 포함하되,
    상기 마우스 제어단말은,
    상기 카메라를 통해 순차적으로 획득된 각각의 영상 내에 포함된 사물들 중 한 개 또는 복수 개의 사물을 각 영상마다 기준사물로 동일하게 추출하는 기준사물 추출부;
    상기 기준사물 추출부에서 순차적으로 추출된 기준사물에 대한 위치 변동값을 시계열적으로 서로 비교하여 기준사물의 위치 변동값을 측정하는 위치 변동값 측정부;
    상기 위치 변동값 측정부를 통해 측정된 기준사물에 대한 위치 변동값에 대응하여 상기 마우스 커서의 이동을 제어하는 제어신호를 생성하는 제어신호 생성부; 및
    통신 모듈부를 매개로 상기 대상기기와 통신하고, 상기 제어신호 생성부를 통해 생성된 제어신호에 대응하여 상기 마우스 커서의 이동 및 동작을 제어하는 커서 제어부;
    를 포함하고,
    상기 마우스 제어단말에 구비된 마이크를 통해 입력되는 사용자 음성을 인식하는 음성 인식부; 및
    상기 음성 인식부를 통해 인식된 사용자 음성에 따라 동작하여 상기 대상기기의 화면 상에서 한 번에 이동하는 상기 마우스 커서의 이동간격을 설정하는 레벨 설정부; 를 더 포함하고,
    상기 제어신호 생성부는 상기 음성 인식부를 통해 인식된 사용자 음성에 대응하여 상기 레벨 설정부를 통해 설정된 상기 마우스 커서의 이동간격 만큼 상기 마우스 커서를 상하좌우 방향으로 이동시키기 위한 제어신호를 생성하는 한편, 좌측버튼 또는 우측버튼의 클릭동작과 동일한 제어신호를 생성하여 상기 커서 제어부로 출력하는 것을 특징으로 하는 카메라를 이용한 손가락 움직임 연동형 스마트 마우스.
  3. 제 2 항에 있어서,
    상기 사물들은 상기 카메라를 통해 촬영된 주변공간의 피사체 내에 존재하는 물건이나 물품인 것을 특징으로 하는 카메라를 이용한 손가락 움직임 연동형 스마트 마우스.
  4. 제 2 항에 있어서,
    상기 기준사물 추출부는 기설정된 사물의 특정정보를 토대로 기준사물을 추출하고, 상기 기설정된 사물의 특정정보는 형상, 크기, 위치, 명암, 색상 또는 문자 중 적어도 어느 하나인 것을 특징으로 하는 카메라를 이용한 손가락 움직임 연동형 스마트 마우스.
  5. 제 2 항에 있어서,
    상기 카메라와 나란하게 상기 손가락 착용부재 또는 상기 마우스 제어단말에 설치되고, 상기 손가락 착용부재로부터 생성된 감지신호들 중 어느 하나의 감지신호에 응답하여 상기 카메라가 촬영하는 동일한 주변공간을 설정된 간격으로 연속적으로 촬영하여 영상을 순차적으로 회득한 후 상기 기준 사물 추출부로 전송하는 라이다를 더 포함하는 것을 특징으로 하는 카메라를 이용한 손가락 움직임 연동형 스마트 마우스.
  6. 삭제
  7. 삭제
KR1020210001445A 2021-01-06 2021-01-06 카메라를 이용한 손가락 움직임 연동형 스마트 마우스 및 이를 이용한 마우스 커서의 제어방법 KR102300290B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210001445A KR102300290B1 (ko) 2021-01-06 2021-01-06 카메라를 이용한 손가락 움직임 연동형 스마트 마우스 및 이를 이용한 마우스 커서의 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210001445A KR102300290B1 (ko) 2021-01-06 2021-01-06 카메라를 이용한 손가락 움직임 연동형 스마트 마우스 및 이를 이용한 마우스 커서의 제어방법

Publications (1)

Publication Number Publication Date
KR102300290B1 true KR102300290B1 (ko) 2021-09-09

Family

ID=77777529

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210001445A KR102300290B1 (ko) 2021-01-06 2021-01-06 카메라를 이용한 손가락 움직임 연동형 스마트 마우스 및 이를 이용한 마우스 커서의 제어방법

Country Status (1)

Country Link
KR (1) KR102300290B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060018193A (ko) 2004-08-23 2006-02-28 장석민 카메라가 부착된 마우스 및 그를 이용한 마우스 위치신호생성 방법.
KR101074087B1 (ko) 2010-10-08 2011-10-17 엘지이노텍 주식회사 카메라를 이용한 마우스
KR101524575B1 (ko) * 2014-08-20 2015-06-03 박준호 웨어러블 디바이스
KR20180000515A (ko) * 2016-06-23 2018-01-03 서현택 손가락 모션 감지를 통한 마우스 기능 구현 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060018193A (ko) 2004-08-23 2006-02-28 장석민 카메라가 부착된 마우스 및 그를 이용한 마우스 위치신호생성 방법.
KR101074087B1 (ko) 2010-10-08 2011-10-17 엘지이노텍 주식회사 카메라를 이용한 마우스
KR101524575B1 (ko) * 2014-08-20 2015-06-03 박준호 웨어러블 디바이스
KR20180000515A (ko) * 2016-06-23 2018-01-03 서현택 손가락 모션 감지를 통한 마우스 기능 구현 시스템

Similar Documents

Publication Publication Date Title
TWI540461B (zh) 手勢輸入的方法及系統
CN103092432B (zh) 人机交互操作指令的触发控制方法和系统及激光发射装置
EP2904472B1 (en) Wearable sensor for tracking articulated body-parts
US10452206B2 (en) Projection video display device and video display method
EP2755115A1 (en) Method for detecting motion of input body and input device using same
US20130063345A1 (en) Gesture input device and gesture input method
EP0953934A1 (en) Pen like computer pointing device
CN104102336A (zh) 提供非接触交互的便携式设备和方法
WO2014208168A1 (ja) 情報処理装置、制御方法、プログラム、および記憶媒体
CN103299259A (zh) 检测装置、输入装置、投影机以及电子设备
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
US10168769B2 (en) Input apparatus, input method, and program
KR100862349B1 (ko) 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템
CN111444764A (zh) 一种基于深度残差网络的手势识别方法
Alam et al. Implementation of a character recognition system based on finger-joint tracking using a depth camera
CN104699279A (zh) 可悬浮操作的位移检测装置和包含该装置的电脑系统
JP2017219942A (ja) 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム、接触検出方法、プログラム及び記憶媒体。
KR102300290B1 (ko) 카메라를 이용한 손가락 움직임 연동형 스마트 마우스 및 이를 이용한 마우스 커서의 제어방법
US20170357336A1 (en) Remote computer mouse by camera and laser pointer
KR20100030737A (ko) 3ｄ 인터랙션을 위한 영상정보 기반의 마우스 구현 방법 및장치
KR101911676B1 (ko) 지시체의 움직임을 고려한 프리젠테이션 영상 처리장치 및 방법
KR102300289B1 (ko) 마우스 기능을 갖는 휴대 단말기 및 이를 이용한 마우스 커서의 제어방법
KR101418018B1 (ko) 터치펜 및 이를 이용한 터치 디스플레이 시스템
JP5118663B2 (ja) 情報端末装置
EP2669766B1 (en) Graphical display with optical pen input

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant