KR20180074378A - 지면 접촉식 손가락 입력 장치 및 방법 - Google Patents

지면 접촉식 손가락 입력 장치 및 방법 Download PDF

Info

Publication number
KR20180074378A
KR20180074378A KR1020160178398A KR20160178398A KR20180074378A KR 20180074378 A KR20180074378 A KR 20180074378A KR 1020160178398 A KR1020160178398 A KR 1020160178398A KR 20160178398 A KR20160178398 A KR 20160178398A KR 20180074378 A KR20180074378 A KR 20180074378A
Authority
KR
South Korea
Prior art keywords
ground
finger
contact
area
image
Prior art date
Application number
KR1020160178398A
Other languages
English (en)
Other versions
KR101883866B1 (ko
Inventor
최용근
양동석
Original Assignee
단국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 산학협력단 filed Critical 단국대학교 산학협력단
Priority to KR1020160178398A priority Critical patent/KR101883866B1/ko
Publication of KR20180074378A publication Critical patent/KR20180074378A/ko
Application granted granted Critical
Publication of KR101883866B1 publication Critical patent/KR101883866B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06K9/00355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 지면 접촉식 손가락 입력 장치 및 방법에 관한 것이다. 더 상세하게는 지면 및 사용자의 손가락을 촬영하여 영상을 생성하고, 생성된 영사응로부터 지면영역과 손가락영역을 추출하고 지면영역과 손가락영역의 겹치는 각 지점의 정보를 이용하여 접촉 여부를 판단하고, 판단된 접촉 여부 정보를 이용하여 명령 신호를 생성한다. 이를 통해 다양한 액션(Action) 기능을 구현할 수 있으며, 제약 없는 공간에서 가상의 터치 인터페이스(Touch Interface)가 가능한 새로운 개념의 마우스 인터페이스 디바이스(Mouse Interface Device)를 제공할 수 있다.

Description

지면 접촉식 손가락 입력 장치 및 방법 {Ground contact type finger input device and method}
본 발명은 지면 접촉식 손가락 입력 장치 및 방법에 관한 것이다. 보다 상세하게는 손가락 끝이 지면에 접촉하는 정보를 이용하여 기존의 마우스보다 손가락 터치와 동작을 좀 더 다양하게 활용할 수 있는 기술에 관한 것이다.
최근 인간과 컴퓨터(Computer) 사이에 자연스러우면서도 상호작용이 강화된 직관적인 인터페이스 기술(Natural Interface)들이 부상하고 있다. 인간과 컴퓨터(Computer)의 상호작용을 위한 사용자의 의도 및 행위 인식에 관한 연구가 활발히 진행되고 있으며, 대표적인 유저 인터페이스(UI : User Interface) 기술인 키보드(Keyboard)나 마우스(Mouse) 역시 포인팅 디바이스(Pointing Device)로서 컴퓨터(Computer)의 제어 및 정보 교환을 담당한다. 마우스(Mouse)의 경우 가장 대표적인 하드웨어(Hardware) 중 하나이다. 다만 기존의 마우스(Mouse)는 확실한 제스처(Gesture) 설정이 규정되어있다. 일단 사용자의 신체 부분이 미리 정해진 위치에 정렬되면, 제스처(Gesture)가 감지된다. 따라서 컴퓨터(Computer) 장치는 미리 정해진 기능이 수행된다. 즉, 현재의 방법으로서는 각 제스처(Gesture)가 일단 감지되면 특정 제스처(Gesture)에 대하여 미리 정해진 액션(Action)을 컴퓨터(Computer)가 실행한다. 현재의 방법은 초기 셋업(Set up) 단계를 통상적으로 포함한다. 셋업(Set up) 단계에 있어서, 확실한 설정의 제스처(Gesture)가 규정되어있고 컴퓨터(Computer)는 특정 제스처(Gesture)에 대한 기능을 수행한다. 이는 사용자가 정해진 위치에서만 마우스(Mouse)를 사용하여야하며, 사용자의 제스처(Gesture)에 따른 액션(Action)이 한정되어있다. 이는 여러 가지 제스처(Gesture)에 따른 다양한 액션(Action)을 구현하는 데에 자유롭지 못하다는 한계를 가진다.
최근 기술의 발달로 프로젝터(Projector) 및 카메라(Camera)가 소형화되어 모바일(Mobile) 기기에 탑재가 되면서 이러한 소형 프로젝터(Projector) 및 카메라(Camera)를 착용형 형태로 제작하여 다양한 서비스를 제공하고자 하는 개념적인 제시(MIT Sixth Sense)뿐 아니라, 포터블(Portable) 형태로 가지고 다니면서 사용할 수 있는 시스템(System)(Microsoft사의 Mobile Surface, Light Blue Optics사의 Light Touch)도 개발되고 있다. 물론 이러한 시스템(System)을 사용함으로써, 디지털(Digital) 단말상의 화면이 아닌 현실의 물체(객체) 위에 디지털(Digital) 정보를 표현하는 것이 가능하게 되었고, 또한 새로운 서비스(Service)의 창출도 가능하게 되었다.
이러한 시스템(System)에서는 사용자에게 편리한 사용을 위해 손이나 손가락 등의 별도 식별 장치를 부착하지 않은 맨손을 이용한 인터랙션(Interaction) 방법이 제공되어야하며 임베디드 시스템(Embedded system)에서도 빠르게 사용할 수 있도록 하여 크기나 시스템(System)의 부하 및 적은 비용으로 제작할 수 있는 방법을 제공하여야 한다.
기존의 영상인식 기술은 칼라 카메라(Color camera)를 이용하여 복잡한 알고리즘(Algorithm)으로 얼굴이나 제스처(Gesture) 등을 인식하는 기술이 주를 이루고 있다. 이러한 기술들은 매우 빠른 컴퓨터(Computer)를 필요로 하며 임베디드 시스템(Embedded system)과 같은 소형 제품에 적용하기에는 부적절하다. 특히 프로젝션(Projection)되는 영상에서 손을 트래킹(Tracking)하거나 제스처(Gesture)를 인식하는 것은 단순히 프로젝터(Projector)의 영상이 없는 곳에서 카메라(Camera)를 이용한 영상인식을 하는 것과는 다르다. 즉 영상인식에서 많이 사용하는 방법으로 피부색과 같은 특정 칼라(Color)를 지정하여 인식하는 방식은 프로젝터(Projector) 환경에서는 출력 영상이 손과 같은 대상체에 투사가 되기 때문에 인식률이 현저하게 떨어지게 되며 광원의 변화가 심하기 때문에 인식 자체가 불가능하게 될 수 있다.
한편 프로젝션(Projection) 영상과 인터랙션(Interaction)하는 예로는 천정에 프로젝터(Projector)를 거치하고 카메라(Camera)를 이용하여 사용자의 움직임을 인식하고 이를 바탕으로 프로젝션(Projection) 영상과 인터랙션(Interaction)하는 시스템(System)이 있다. 다만 이는 영상처리에 많은 시스템 자원을 요구할 뿐만 아니라 손가락의 움직임 및 터치(Touch)와 같은 정밀한 인식에는 적용할 수 없다.
한국등록특허공보 제1446902호 한국공개특허공보 제2012-0020045호 일본등록특허공보 제5926184호
이에 본 발명은 상기와 같은 제반 사항을 고려하여 제안된 것으로, 손가락 끝이 지면에 접촉하는 정보를 기초로 한 마우스 인터페이스(Mouse Interface)를 구현하는 것을 목적으로 한다.
또한 별도의 초기 셋업(Set up)이 필요하지 않아 장소에 상관없이 이용 가능한 마우스 인터페이스(Mouse Interface)를 구현하는 것을 목적으로 한다.
또한 영상 처리를 통하여 지면에 접촉한 각각의 손가락들을 구분 가능하도록 하는 것을 목적으로 한다.
또한 각각의 손가락들이 구분 가능함으로써 사용자는 자유로운 제스처(Gesture)에 따른 다양한 액션(Action) 기능을 구현할 수 있는 것을 목적으로 한다.
또한 제약 없는 공간에서 가상의 터치 인터페이스(Touch Interface)가 가능한 디바이스(Device)를 제공하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해할 수 있을 것이다.
상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 지면 접촉식 손가락 입력 장치는, 지면 및 사용자의 손가락을 촬영하여 영상을 생성하는 영상생성부, 생성된 영상으로부터 지면영역과 손가락영역을 추출하고 지면영역과 손가락영역의 겹치는 각 지점의 정보를 이용하여 접촉 여부를 판단하는 접촉여부판단부, 판단된 접촉 여부 정보를 이용하여 명령 신호를 생성하는 명령신호생성부를 포함하는 것을 특징으로 한다.
이 때 접촉여부판단부는 생성된 영상으로부터 지면경계선을 추출하는 지면경계선추출부, 추출된 지면경계선과 손가락영역이 겹치는 접촉영역을 추출하는 접촉영역추출부, 추출된 지면경계선 정보를 이용하여 지면영역을 제거하는 지면영역제거부, 지면영역이 제거된 영상으로부터 각 손가락의 끝점을 추출하는 손가락끝점추출부, 추출된 각 손가락의 끝점이 접촉영역과 겹치는 경우 접촉으로 판단하는 접촉인식부를 포함하는 것을 특징으로 한다. 또한 접촉여부 판단부는 생성된 영상의 밝기 값 정보를 이용하여 일정 밝기 값 이하는 배경 영역으로 변환하는 영상변환부를 더 포함하는 것을 특징으로 한다.
지면경계선추출부는 영상의 밝기 값 정보를 이용하여 지면경계선을 추출하는 마스크(Mask) 기법을 이용하는 것을 특징으로 한다. 이 때 마스크(Mask) 기법의 지면경계선은 밝기 값이 0이 있는 경우 밝기 값이 0을 초과하는 초과지점을 연결한 선, 밝기 값이 0 초과인 경우 가장 작은 밝기 값 지점을 연결한 선인 것을 특징으로 한다.
영상변환부는 밝기 값이 75 이하인 영역을 배경 영역이라고 판단하여, 이를 밝기 값 0으로 변환하는 것을 특징으로 한다.
명령신호생성부의 명령 신호는 커서(Cursor)의 움직임, 클릭(Click), 상하스크롤(Scroll), 좌우스크롤(Scroll), 핫키(Hotkey) 중 어느 하나로서 컴퓨터를 제어하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 지면 접촉식 손가락 입력 방법, 지면 및 사용자의 손가락을 촬영하여 영상을 생성하는 영상생성단계, 생성된 영상으로부터 지면영역과 손가락영역을 추출하고 지면영역과 손가락영역의 겹치는 각 지점의 정보를 이용하여 접촉 여부를 판단하는 접촉여부판단단계, 판단된 접촉 여부 정보를 이용하여 명령 신호를 생성하는 명령신호생성단계를 포함하는 것을 특징으로 한다.
이 때 접촉여부판단단계는 생성된 영상으로부터 지면경계선을 추출하는 지면경계선추출단계, 추출된 지면경계선과 손가락영역이 겹치는 접촉영역을 추출하는 접촉영역추출단계, 추출된 지면경계선 정보를 이용하여 지면영역을 제거하는 지면영역제거단계, 지면영역이 제거된 영상으로부터 각 손가락의 끝점을 추출하는 손가락끝점추출단계, 추출된 각 손가락의 끝점이 접촉영역과 겹치는 경우 접촉으로 판단하는 접촉인식단계를 포함하는 것을 특징으로 한다. 또한 접촉여부 판단단계는 생성된 영상의 밝기 값 정보를 이용하여 일정 밝기 값 이하는 배경 영역으로 변환하는 영상변환단계를 더 포함하는 것을 특징으로 한다.
지면경계선추출단계는 영상의 밝기 값 정보를 이용하여 지면경계선을 추출하는 마스크(Mask) 기법을 이용하는 것을 특징으로 한다. 이 때 마스크(Mask) 기법의 지면경계선은 밝기 값이 0이 있는 경우 밝기 값이 0을 초과하는 초과지점을 연결한 선, 밝기 값이 0 초과인 경우 가장 작은 밝기 값 지점을 연결한 선인 것을 특징으로 한다.
영상변환단계는 밝기 값이 75 이하인 영역을 배경 영역이라고 판단하여, 이를 밝기 값 0으로 변환하는 것을 특징으로 한다.
명령신호생성단계의 명령 신호는 커서(Cursor)의 움직임, 클릭(Click), 상하스크롤(Scroll), 좌우스크롤(Scroll), 핫키(Hotkey) 중 어느 하나로서 컴퓨터를 제어하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 지면 접촉식 손가락 입력 장치 및 방법에 따르면,
첫째, 손가락 끝이 지면에 접촉하는 정보를 기초로 하여 마우스 인터페이스(Mouse Interface) 기술을 구현할 수 있는 효과를 가진다.
둘째, 별도의 초기 셋업(Set up)이 필요하지 않아 장소에 상관없이 이용 가능한 마우스 인터페이스(Mouse Interface) 기술을 구현할 수 있는 효과를 가진다.
둘째, 영상 처리를 통하여 지면에 접촉한 각각의 손가락들을 구분할 수 있는 효과를 가진다.
셋째, 각각의 손가락들이 구분 가능함으로써 사용자는 자유로운 제스처(Gesture)에 따른 다양한 액션(Action) 기능을 구현할 수 있는 효과를 가진다.
넷째, 제약 없는 공간에서 가상의 터치 인터페이스(Touch Interface)가 가능한 디바이스(Device)를 제공할 수 있는 효과를 가진다.
도 1은 본 발명의 일 실시예에 따른 지면 접촉식 손가락 입력 시스템을 나타낸 도면.
도 2는 지면 접촉식 손가락 입력 장치를 나타낸 구성도.
도 3은 지면 접촉식 손가락 입력 장치의 접촉여부판단부를 나타낸 구성도.
도 4는 지면 접촉식 손가락 입력 방법을 나타낸 순서도.
도 5a는 본 발명의 일 실시예에 따른 지면 및 사용자의 손가락이 촬영된 영상을 나타낸 도면.
도 5b는 본 발명의 일 실시예에 따른 일정 밝기 값 이하의 영역을 밝기 값 0으로 변환한 영상을 나타낸 도면.
도 5c는 본 발명의 일 실시예에 따른 지면 경계선, 손가락영역, 접촉영역을 추출한 영상을 나타낸 도면.
도 5d는 본 발명의 일 실시예에 따른 지면영역이 제거된 영상을 나타낸 도면.
도 5e는 본 발명의 일 실시예에 따른 각 손가락의 끝점을 추출한 영상을 나타낸 도면.
도 5f는 본 발명의 일 실시예에 따른 접촉영역과 각 손가락 끝점이 일대일로 매칭된 영상을 나타낸 도면.
도 6a는 본 발명의 일 실시예에 따른 지면과 손가락이 접촉하지 않은 비접촉영역에서 지면경계선을 추출하는 마스크(Mask)를 나타낸 도면.
도 6b는 본 발명의 일 실시예에 따른 지면과 손가락이 접촉한 접촉영역에서 지면경계선을 추출하는 마스크(Mask)를 나타낸 도면.
도 7a는 본 발명의 일 실시예에 따른 커서(Cursor) 움직임 명령을 구현하는 손가락 영상을 나타낸 도면.
도 7b는 본 발명의 일 실시예에 따른 클릭(Click) 명령을 구현하는 손가락 영상을 나타낸 도면.
도 7c는 본 발명의 일 실시예에 따른 상하스크롤(Scroll) 명령을 구현하는 손가락 영상을 나타낸 도면.
도 7d는 본 발명의 일 실시예에 따른 좌우스크롤(Scroll) 명령을 구현하는 손가락 영상을 나타낸 도면.
도 7e는 본 발명의 일 실시예에 따른 핫키(Hotkey) 명령을 구현하는 손가락 영상을 나타낸 도면.
첨부한 도면을 참조하여 본 발명의 실시예들에 의한 지면 접촉식 손가락 입력 장치 및 방법에 대하여 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 영상을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나, 개략적인 구성을 이해하기 위하여 실제보다 축소하여 도시한 것이다.
또한, 제1 및 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 한편, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 지면 접촉식 손가락 입력 시스템을 나타낸다.
먼저 적외선 발광 센서(IR Diffuse Sensor)(23)를 손가락(13)에 비추면 광은 반사되어 적외선 패스 필터 카메라(Filter Camera)(25)에 들어오게 된다. 이 때 적외선 패스 필터 카메라(IR Pass Filter Camera)(25)는 모노 카메라(Mono Camera)인 것을 특징으로 한다. 적외선 발광 센서(IR Diffuse Sensor)(23)를 손가락(13)에 비추면 가까운 손가락(13) 부분의 광이 더 많이 반사되어 들어온다. 즉, 상대적으로 입력 장치(20)에 가깝게 있는 손가락(13)이 영상으로 볼 때 더 밝게 보인다. 반사되어 적외선 패스 필터 카메라(IR Pass Filter Camera)(25)로 들어온 광은 입력 장치(20)의 영상으로 입력되고, 영상 정보는 마우스 컨트롤러(Mouse Controller)(27)로 전달된다. 그리고 전달된 영상 정보에 따라 마우스 컨트롤러(Mouse Controller)(27)는 컴퓨터(Computer)(30)를 제어할 수 있게 된다. 이 때 전달된 영상 정보는 손가락(13)이 지면(G)에 접촉하였을 때의 영상 정보로서, 이는 손가락 5개로 구현할 수 있는 다양한 명령 신호를 생성한다. 만약 왼손과 오른손을 함께 사용한다면 총 손가락 10개로 구현할 수 있는 다양한 명령 신호를 생성한다. 도 1에서 나타낸 바와 같이, 손가락(13)이 접촉한 대상은 지면(G)이지만, 이는 책상, 벽, 책 등 손가락(13)이 접촉 가능한 모든 대상이 될 수 있는 것으로 해석하여야 한다.
도 2 및 도 3을 참조하면, 지면 접촉식 손가락 입력 장치는 영상생성부(100), 접촉여부판단부(200), 명령신호생성부(300)를 포함하여 구성된다.
영상생성부(100)는 지면 및 사용자의 손가락을 촬영하여 영상을 생성한다.
접촉여부판단부(200)는 생성된 영상으로부터 지면영역과 손가락영역을 추출하고, 지면영역과 손가락영역의 겹치는 각 지점의 정보를 이용하여 접촉 여부를 판단한다.
이 때 접촉여부판단부(200)는 지면경계선추출부(211), 접촉영역추출부(213), 지면영역제거부(215), 손가락끝점추출부(217), 접촉인식부(219)를 포함하여 구성된다.
지면경계선추출부(211)는 생성된 영상으로부터 지면경계선을 추출한다. 지면경계선추출부(211)는 영상의 밝기 값 정보를 이용하여 지면경계선을 추출하는 마스크(Mask) 기법을 이용한다. 이 때 마스크(Mask) 기법의 지면경계선은 밝기 값이 0이 있는 경우 밝기 값이 0을 초과하는 초과지점을 연결한 선, 밝기 값이 0 초과인 경우 가장 작은 밝기 값 지점을 연결한 선인 것을 특징으로 한다.
접촉영역추출부(213)는 추출된 지면경계선과 손가락영역이 겹치는 접촉영역을 추출한다.
지면영역제거부(215)는 추출된 지면경계선 정보를 이용하여 지면영역을 제거한다.
손가락끝점추출부(217)는 지면영역이 제거된 영상으로부터 각 손가락의 끝점을 추출한다.
접촉인식부(219)는 추출된 각 손가락의 끝점이 접촉영역과 겹치는 경우 접촉으로 판단한다.
아울러 접촉여부판단부(200)는 생성된 영상의 밝기 값 정보를 이용하여 일정 밝기 값 이하는 배경 영역으로 변환하는 영상변환부(220)를 더 포함하여 구성된다. 영상변환부(220)는 밝기 값이 75 이하인 영역을 배경 영역이라고 판단하여, 이를 밝기 값 0으로 변환한다.
명령신호생성부(300)는 판단된 접촉 여부 정보를 이용하여 명령 신호를 생성한다. 이 때 명령 신호는 커서(Cursor)의 움직임, 클릭(Click), 상하스크롤(Scroll), 좌우스크롤(Scroll), 핫키(Hotkey) 중 어느 하나로서 컴퓨터를 제어한다. 상기 명령 신호는 본 발명의 일 실시예에 따른 명령 신호로서, 상기 용어들에 의해 한정되지 않는다. 최대 손가락 10개로 구현할 수 있는 모든 경우의 수가 명령 신호로 구현될 수 있으며, 명령 신호는 사용자의 설정에 따라 다양한 동작이 가능한 것으로 해석하여야 한다.
도 4를 참조하면, 지면 접촉식 손가락 입력 방법은 영상생성단계(S100), 지면경계선추출단계(S211), 접촉영역추출단계(S213), 지면영역제거단계(S215), 손가락끝점추출단계(S217), 접촉인식단계(S219), 명령신호생성단계(S300)를 포함하여 구성된다.
영상생성단계(S100)는 지면 및 사용자의 손가락을 촬영하여 영상을 생성한다.
지면경계선추출단계(S211)는 생성된 영상의 밝기 값 정보를 이용하여 일정 밝기 값 이하는 배경 영역으로 변환한다. 생성된 영상 중 밝기 값이 75 이하인 영역을 배경 영역이라고 판단하여, 이를 밝기 값 0으로 변환한다. 지면경계선추출단계(S211)는 영상의 밝기 값 정보를 이용하여 지면경계선을 추출하는 마스크(Mask) 기법을 이용하여 생성된 영상으로부터 지면경계선을 추출한다. 이 때 마스크(Mask) 기법의 지면경계선은 밝기 값이 0이 있는 경우 밝기 값이 0을 초과하는 초과지점을 연결한 선, 밝기 값이 0 초과인 경우 가장 작은 밝기 값 지점을 연결한 선인 것을 특징으로 한다.
접촉영역추출단계(S213)는 추출된 지면경계선과 손가락영역이 겹치는 접촉영역을 추출한다.
지면영역제거단계(S215)는 추출된 지면경계선 정보를 이용하여 지면영역을 제거한다.
손가락끝점추출단계(S217)는 지면영역이 제거된 영상으로부터 각 손가락의 끝점을 추출한다.
접촉인식단계(S219)는 추출된 각 손가락의 끝점이 접촉영역과 겹치는 경우 접촉으로 판단한다.
명령신호생성단계(S300)는 판단된 접촉 여부 정보를 이용하여 명령 신호를 생성한다. 이 때 명령 신호는 커서(Cursor)의 움직임, 클릭(Click), 상하스크롤(Scroll), 좌우스크롤(Scroll), 핫키(Hotkey) 중 어느 하나로서 컴퓨터를 제어한다. 상기 명령 신호는 본 발명의 일 실시예에 따른 명령 신호로서, 상기 용어들에 의해 한정되지 않는다. 최대 손가락 10개로 구현할 수 있는 모든 경우의 수가 명령 신호로 구현될 수 있으며, 명령 신호는 사용자의 설정에 따라 다양한 동작이 가능한 것으로 해석하여야 한다.
도 5a 내지 도 6b를 참조하면, 본 발명의 일 실시예에 따른 지면 접촉식 손가락 입력 시스템 과정을 보여준다.
1) 지면(G) 및 사용자의 손가락이 촬영된 영상(도 5a)을 생성한다.
2) 생성된 영상(도 5a)을 HSV 컬러모델(Hue Saturation Value Color Model)로 변경하고, 변경된 영상의 밝기 값 정보를 이용하여 일정 밝기 값 이하는 배경 영역으로 변환한다. 이 때 생성된 영상 중 밝기 값이 75 이하인 영역을 배경 영역이라고 판단하여, 이를 밝기 값 0으로 변환한다.
3) 변환된 영상(도 5b)으로부터 지면(G)영역과 손가락영역(5)을 추출한다. 추가로, 변환된 영상(도 5b)으로부터 지면경계선(3)을 추출한다. 지면경계선(3) 추출은 밝기 값 정보를 이용하여 지면경계선(3)을 추출하는 마스크(Mask) 기법을 이용한다. 이 때 마스크(Mask)는 변환된 영상(도 5b)에서 지면경계선(3)을 추출하면서 돌아다니는 역할을 한다. 본 발명의 마스크(Mask) 기법에 의해 지면경계선(3)을 추출하는 방법은 도 6a 및 도 6b로 설명 가능하다. 도 6a의 경우 지면(G)과 손가락이 접촉하지 않은 비접촉영역에서 지면경계선(3)을 추출하는 마스크(Mask)로서, 밝기 값이 0 초과 값인 지면(G)과 밝기 값이 0 값인 배경 사이에 속한 지점을 지면경계선(3)이라고 판단하는 마스크(Mask)이다. 도 6b의 경우 지면(G)과 손가락이 접촉한 접촉영역(7)에서 지면경계선(3)을 추출하는 마스크(Mask)로서, 밝기 값이 0 초과 값 중에서 가장 작은 밝기 값을 가지는 지점을 지면경계선(3)이라고 판단하는 마스크(Mask)이다. 본 발명의 일실시예에 따른 마스크(Mask)는 영상의 좌측, 우측, 상측, 하측 중 어느 하나의 지점에서 시작하지만, 이는 마스크(Mask)를 이용하여 영상으로부터 추출하고자 하는 대상의 형태에 따라 어느 하나의 출발점으로 한정되지 않는다. 본 발명의 일실시예에 따른 마스크(Mask)는 영상의 좌측에서 지면경계점을 추출한 후, 추출한 지면경계점을 출발점으로 하여 마스크(Mask)가 지면경계선(3)을 찾아가면서 영상의 우측까지 움직이는 것을 특징으로 한다. 마스크(Mask)가 영상의 우측에 다다르면 영상의 좌측부터 우측까지의 지면경계선(3)이 추출되었다는 것을 보여준다. 본 발명에서 사용된 마스크(Mask) 기법은 고르지 못한 지면(G)에서도 적용 가능한 기법으로서, 본 발명의 일 실시예보다 고르지 못한 지면(G)에서는 지면경계선(3)을 더욱 정밀하게 추출할 수 있는 것을 특징으로 한다. 도 5c에서 제시한 바와 같이, 본 발명의 마스크(Mask) 기법은 크게 마스크 A와 마스크 B를 이용하였지만 영상의 밝기 값에 따라 도 6a 및 도 6b 외에 다양한 마스크(Mask)가 이용될 수 있음을 이해하여야 한다.
4) 지면경계선(3)이 추출된 영상(도 5c)으로부터 지면(G)영역을 제거한다.
5) 지면(G)영역이 제거된 영상(도 5d)으로부터 각 손가락 끝점(9)을 추출한다. 이 때 각 손가락 끝점(9)은 가장 큰 y축 값을 가지는 지점을 각 손가락 끝점(9)이라고 판단한다. 만약 하나의 손가락에서 가장 큰 y축 값을 가지는 지점이 복수 개일 경우, 각각의 y축 값으로부터 x축 값들 추출하여 이들의 중간지점이 해당 손가락의 끝점이라고 판단한다. 예를 들어 도 5d의 확대 도면을 참조하면, (0.9, 3), (0.6, 3), (0.3, 3)이 하나의 손가락에서 가장 큰 y축 값을 가지는 복수 개의 지점이라 할 때, 이들의 평균 x축 값은 0.6이 된다.((0.9+0.6+0.3)/3) 따라서 좌표점 (0.6, 3)을 해당 손가락의 끝점이라 판단한다. 이와 같이 하나의 손가락에서 가장 큰 y축 값을 가지는 지점이 복수 개일 경우는, 손가락이 지면(G)을 누르는 상황과 같이 사용자의 접촉 방식에 따라 발생할 수 있는 다양한 경우가 될 수 있다.
6) 도 5c의 접촉영역(7)과 도 5e의 각 손가락 끝점(9)이 겹치는 경우 접촉으로 판단하고, 이를 각각 일대일로 매칭(Matching)한다. 매칭(Matching)된 결과 영상이 도 5f이다. 만약 본 발명의 일실시예와 다르게 사용자가 손가락(13)을 5개미만으로 지면(G)에 접촉하였을 때, 지면(G)에 접촉하지 않은 손가락(13)으로부터 가장 큰 y축 값을 가지는 지점인 손가락 끝점(9)을 추출할 수 있지만 지면(G)과 손가락이 접촉한 접촉영역(7)은 추출할 수 없다는 것으로 해석하여야 한다.
도 7a 내지 도 7e를 참조하면, 본 발명의 일 실시예에 따른 명령 신호를 구현하는 손가락 영상을 보여준다.
도 7a는 본 발명의 일 실시예에 따른 커서(Cursor) 움직임 명령을 구현하는 손가락 영상을 나타낸 도면으로서 기존 마우스 모델(Mouse Model)과 동일하다. 이 때 본 발명의 일 실시예에 따른 커서(Cursor) 움직임은 사용자가 포인팅(Pointing) 수단을 움직이는 경로를 정확하게 표시하는 지시자로서, 마우스 커서(Mouse cursor)의 형상이나 색상은 다양한 변형이 가능하다. 마우스 커서(Mouse cursor)는 손가락 개수 혹은 설정에 따라 1개 이상이 생성될 수 있으며, 랜덤(Random)한 방향으로 이동할 수 있다.
도 7b는 본 발명의 일 실시예에 따른 클릭(Click) 명령을 구현하는 손가락 영상을 나타낸 도면으로서 지면(G)과 손가락 끝(15)이 접촉하는 영역(5)을 인식하여 클릭(Click) 명령을 구현한다. 도 7b에 나타난 손가락 영상은 본 발명의 일 실시예에 따른 클릭(Click) 명령을 구현하지만, 상기 손가락 영상은 사용자 설정에 따라 다른 명령으로 구현할 수 있음으로 해석하여야한다.
도 7c는 본 발명의 일 실시예에 따른 상하스크롤(Scroll) 명령을 구현하는 손가락 영상을 나타낸 도면으로서 손가락의 밝기 값의 변화로 상하스크롤(Scroll) 명령을 구현한다. 도 7c에 나타난 손가락 영상은 본 발명의 일 실시예에 따른 상하스크롤(Scroll) 명령을 구현하지만, 상기 손가락 영상은 사용자 설정에 따라 다른 명령으로 구현할 수 있음으로 해석하여야한다.
도 7d는 본 발명의 일 실시예에 따른 좌우스크롤(Scroll) 명령을 구현하는 손가락 영상을 나타낸 도면으로서 인식된 접촉 영역(5)의 좌우 움직임으로 좌우스크롤(Scroll) 명령을 구현한다. 도 7d에 나타난 손가락 영상은 본 발명의 일 실시예에 따른 좌우스크롤(Scroll) 명령을 구현하지만, 상기 손가락 영상은 사용자 설정에 따라 다른 명령으로 구현할 수 있음으로 해석하여야한다.
도 7e는 본 발명의 일 실시예에 따른 핫키(Hotkey) 명령을 구현하는 손가락 영상을 나타낸 도면으로서 접촉 영역(5) 조합으로 핫키(Hotkey) 명령을 구현한다. 도 7e에 나타난 손가락 영상은 본 발명의 일 실시예에 따른 핫키(Hotkey) 명령을 구현하지만, 상기 손가락 영상은 사용자 설정에 따라 다른 명령으로 구현할 수 있음으로 해석하여야한다. 접촉 영역(5) 조합의 경우의 수는 한 손을 기준으로 할 때 최대 32가지가 될 수 있으며, 양손을 기준으로 할 때는 최대 1,024가지가 될 수 있다. 특히 본 발명은 일 실시예로서, 손가락을 자연스럽게 사용하지 못하는 사용자 또는 일부 손가락을 사용할 수 없는 사용자에게 적용될 수 있는 것으로 해석하여야 한다.
상기에서는 본 발명의 일 실시예로서, 지면 접촉식 손가락 입력 장치가 바닥에 접지한 상태에서 장치 위에 손을 올려놓은 형태로 구현하였지만 이는 팔찌형과 같은 휴대용 웨어러블(Wearable) 등 사용자의 변형으로 다양하게 응용할 수 있는 것으로 해석하여야 한다.
또한 본 발명의 지면 접촉식 손가락 입력 장치는 마우스(Mouse)로 한정되는 것이 아닌, 컴퓨터(Computer) 외 다양한 제어 장치로 응용할 수 있는 것으로 해석하여야 한다. 제어 장치의 일 실시예는 키보드(Keyboard), 휴대폰, 자동차, 리모컨(Remote control) 등이 될 수 있다.
이상에서 본 발명의 바람직한 실시예를 설명하였으나, 본 발명은 다양한 변화와 변경 및 균등물을 사용할 수 있다. 본 발명은 상기 실시예를 적절히 변형하여 동일하게 응용할 수 있음이 명확하다. 따라서 상기 기재 내용은 하기 특허청구범위의 한계에 의해 정해지는 본 발명의 범위를 한정하는 것이 아니다.
G : 지면 3 : 지면경계선
5 : 손가락영역 7 : 접촉영역
10 : 손 13 : 손가락
15 : 손가락 끝 20 : 입력 장치
23 : 적외선 발광 센서(IR Diffuse Sensor)
25 : 적외선 패스 필터 카메라(Filter Camera)
27 : 마우스 컨트롤러(Mouse Controller)
30 : 컴퓨터(Computer)
100 : 영상생성부 200 : 접촉영역판단부
211 : 지면경계선추출부 213 : 접촉영역추출부
215 : 지면영역제거부 217 : 손가락끝점추출부
219 : 접촉인식부 220 : 영상변환부
300 : 명령신호생성부

Claims (14)

  1. 지면 접촉식 손가락 입력 장치에 있어서,
    지면 및 사용자의 손가락을 촬영하여 영상을 생성하는 영상생성부;
    상기 생성된 영상으로부터 지면영역과 손가락영역을 추출하고, 상기 지면영역과 상기 손가락영역의 겹치는 각 지점의 정보를 이용하여 접촉 여부를 판단하는 접촉여부판단부; 및
    상기 판단된 접촉 여부 정보를 이용하여 명령 신호를 생성하는 명령신호생성부;를 포함하는 것을 특징으로 하는 지면 접촉식 손가락 입력 장치.
  2. 제 1항에 있어서,
    상기 접촉여부판단부는,
    상기 생성된 영상으로부터 지면경계선을 추출하는 지면경계선추출부;
    상기 추출된 지면경계선과 상기 손가락영역이 겹치는 접촉영역을 추출하는 접촉영역추출부;
    상기 추출된 지면경계선 정보를 이용하여 지면영역을 제거하는 지면영역제거부;
    상기 지면영역이 제거된 영상으로부터 각 손가락의 끝점을 추출하는 손가락끝점추출부; 및
    상기 추출된 각 손가락의 끝점이 상기 접촉영역과 겹치는 경우 접촉으로 판단하는 접촉인식부;를 포함하는 것을 특징으로 하는 지면 접촉식 손가락 입력 장치.
  3. 제 2항에 있어서,
    상기 지면경계선추출부는,
    영상의 밝기 값 정보를 이용하여 지면경계선을 추출하는 마스크(Mask) 기법을 이용하는 것을 특징으로 하는 지면 접촉식 손가락 입력 장치.
  4. 제 3항에 있어서,
    상기 마스크(Mask) 기법의 상기 지면경계선은,
    밝기 값이 0이 있는 경우 밝기 값이 0을 초과하는 초과지점을 연결한 선,
    밝기 값이 0 초과인 경우 가장 작은 밝기 값 지점을 연결한 선인 것을 특징으로 하는 지면 접촉식 손가락 입력 장치.
  5. 제 1항에 있어서,
    상기 접촉여부판단부는,
    상기 생성된 영상의 밝기 값 정보를 이용하여 일정 밝기 값 이하는 배경 영역으로 변환하는 영상변환부;를 더 포함하는 것을 특징으로 하는 지면 접촉식 손가락 입력 장치.
  6. 제 5항에 있어서,
    상기 영상변환부는,
    밝기 값이 75 이하인 영역을 배경 영역이라고 판단하여, 이를 밝기 값 0으로 변환하는 것을 특징으로 하는 지면 접촉식 손가락 입력 장치.
  7. 제 1항에 있어서,
    상기 명령 신호는,
    커서(Cursor)의 움직임, 클릭(Click), 상하스크롤(Scroll), 좌우스크롤(Scroll), 핫키(Hotkey) 중 어느 하나로서 컴퓨터를 제어하는 것을 특징으로 하는 지면 접촉식 손가락 입력 장치.
  8. 지면 접촉식 손가락 입력 방법에 있어서,
    지면 및 사용자의 손가락을 촬영하여 영상을 생성하는 영상생성단계;
    상기 생성된 영상으로부터 지면영역과 손가락영역을 추출하고, 상기 지면영역과 상기 손가락영역의 겹치는 각 지점의 정보를 이용하여 접촉 여부를 판단하는 접촉여부판단단계; 및
    상기 판단된 접촉 여부 정보를 이용하여 명령 신호를 생성하는 명령신호생성단계;를 포함하는 것을 특징으로 하는 지면 접촉식 손가락 입력 방법.
  9. 제 8항에 있어서,
    상기 접촉여부판단단계는,
    상기 생성된 영상으로부터 지면경계선을 추출하는 지면경계선추출단계;
    상기 추출된 지면경계선과 상기 손가락영역이 겹치는 접촉영역을 추출하는 접촉영역추출단계;
    상기 추출된 지면경계선 정보를 이용하여 지면영역을 제거하는 지면영역제거단계;
    상기 지면영역이 제거된 영상으로부터 각 손가락의 끝점을 추출하는 손가락끝점추출단계; 및
    상기 추출된 각 손가락의 끝점이 상기 접촉영역과 겹치는 경우 접촉으로 판단하는 접촉인식단계;를 포함하는 것을 특징으로 하는 지면 접촉식 손가락 입력 방법.
  10. 제 9항에 있어서,
    상기 지면경계선추출단계는,
    영상의 밝기 값 정보를 이용하여 지면경계선을 추출하는 마스크(Mask) 기법을 이용하는 것을 특징으로 하는 지면 접촉식 손가락 입력 방법.
  11. 제 10항에 있어서,
    상기 마스크(Mask) 기법의 상기 지면경계선은,
    밝기 값이 0이 있는 경우 밝기 값이 0을 초과하는 초과지점을 연결한 선,
    밝기 값이 0 초과인 경우 가장 작은 밝기 값 지점을 연결한 선인 것을 특징으로 하는 지면 접촉식 손가락 입력 방법.
  12. 제 8항에 있어서,
    상기 접촉여부판단단계는,
    상기 생성된 영상의 밝기 값 정보를 이용하여 일정 밝기 값 이하는 배경 영역으로 변환하는 영상변환단계;를 더 포함하는 것을 특징으로 하는 지면 접촉식 손가락 입력 방법.
  13. 제 12항에 있어서,
    상기 영상변환단계는,
    밝기 값이 75 이하인 영역을 배경 영역이라고 판단하여, 이를 밝기 값 0으로 변환하는 것을 특징으로 하는 지면 접촉식 손가락 입력 방법.
  14. 제 8항에 있어서,
    상기 명령 신호는,
    커서(Cursor)의 움직임, 클릭(Click), 상하스크롤(Scroll), 좌우스크롤(Scroll), 핫키(Hotkey) 중 어느 하나로서 컴퓨터를 제어하는 것을 특징으로 하는 지면 접촉식 손가락 입력 방법.
KR1020160178398A 2016-12-23 2016-12-23 지면 접촉식 손가락 입력 장치 및 방법 KR101883866B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160178398A KR101883866B1 (ko) 2016-12-23 2016-12-23 지면 접촉식 손가락 입력 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160178398A KR101883866B1 (ko) 2016-12-23 2016-12-23 지면 접촉식 손가락 입력 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180074378A true KR20180074378A (ko) 2018-07-03
KR101883866B1 KR101883866B1 (ko) 2018-08-01

Family

ID=62918737

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160178398A KR101883866B1 (ko) 2016-12-23 2016-12-23 지면 접촉식 손가락 입력 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101883866B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887375A (zh) * 2019-04-17 2019-06-14 西安邮电大学 基于图像识别处理的钢琴练习纠错方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5926184A (ja) 1982-08-06 1984-02-10 Sasakura Eng Co Ltd 水蒸気圧縮式塩水蒸留法
KR20120020045A (ko) 2010-08-26 2012-03-07 삼성전자주식회사 인터페이스 제어 장치 및 방법
JP2012108857A (ja) * 2010-10-28 2012-06-07 Yoshihiro Wada キー入力装置、それを備える携帯端末および携帯端末を入力装置として機能させるためのプログラム
KR101446902B1 (ko) 2011-08-19 2014-10-07 한국전자통신연구원 사용자 인터랙션 장치 및 방법
KR20150010702A (ko) * 2012-02-24 2015-01-28 토마스 제이. 모스카릴로 제스처 인식 디바이스들 및 방법들

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5926184A (ja) 1982-08-06 1984-02-10 Sasakura Eng Co Ltd 水蒸気圧縮式塩水蒸留法
KR20120020045A (ko) 2010-08-26 2012-03-07 삼성전자주식회사 인터페이스 제어 장치 및 방법
JP2012108857A (ja) * 2010-10-28 2012-06-07 Yoshihiro Wada キー入力装置、それを備える携帯端末および携帯端末を入力装置として機能させるためのプログラム
KR101446902B1 (ko) 2011-08-19 2014-10-07 한국전자통신연구원 사용자 인터랙션 장치 및 방법
KR20150010702A (ko) * 2012-02-24 2015-01-28 토마스 제이. 모스카릴로 제스처 인식 디바이스들 및 방법들

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887375A (zh) * 2019-04-17 2019-06-14 西安邮电大学 基于图像识别处理的钢琴练习纠错方法

Also Published As

Publication number Publication date
KR101883866B1 (ko) 2018-08-01

Similar Documents

Publication Publication Date Title
KR101809636B1 (ko) 컴퓨터 장치의 원격 제어
KR101446902B1 (ko) 사용자 인터랙션 장치 및 방법
KR20170107357A (ko) 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법
WO2009128064A2 (en) Vision based pointing device emulation
US20140161309A1 (en) Gesture recognizing device and method for recognizing a gesture
WO2014105012A1 (en) System and method for gesture based touchscreen control of displays
CN103744542A (zh) 混合式指向装置
Liang et al. Turn any display into a touch screen using infrared optical technique
KR101883866B1 (ko) 지면 접촉식 손가락 입력 장치 및 방법
Tosas et al. Virtual touch screen for mixed reality
KR101998786B1 (ko) 가상공간을 위한 비접촉식 손가락 입력 장치 및 방법
TWM485448U (zh) 影像式虛擬互動裝置
US9870061B2 (en) Input apparatus, input method and computer-executable program
Corso et al. The 4D Touchpad: Unencumbered HCI With VICs
Basak et al. A vision interface framework for intuitive gesture recognition using color based blob detection
KR20110049162A (ko) 휴대용 영상 처리기에서 가상 입출력 장치 및 방법
CN105652451A (zh) 一种智能眼镜
Takahashi et al. Extending Three-Dimensional Space Touch Interaction using Hand Gesture
Takahashi et al. Integration of hand gesture and multi touch gesture with glove type device
TWI697827B (zh) 控制系統及其控制方法
Khandagale et al. Jarvis-AI Based Virtual Mouse
TWI542185B (zh) 具投影功能的行動裝置
JP2019012485A (ja) ユーザインターフェース
JP7467842B2 (ja) 表示装置、表示方法、表示プログラム
Ebrahimpour-Komleh et al. Design of an interactive whiteboard system using computer vision techniques

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant