KR101873842B1 - 깊이 센서를 이용하는 가상 입력 장치 및 이를 이용하는 방법 - Google Patents

깊이 센서를 이용하는 가상 입력 장치 및 이를 이용하는 방법 Download PDF

Info

Publication number
KR101873842B1
KR101873842B1 KR1020150033545A KR20150033545A KR101873842B1 KR 101873842 B1 KR101873842 B1 KR 101873842B1 KR 1020150033545 A KR1020150033545 A KR 1020150033545A KR 20150033545 A KR20150033545 A KR 20150033545A KR 101873842 B1 KR101873842 B1 KR 101873842B1
Authority
KR
South Korea
Prior art keywords
user
finger
virtual input
input
plane
Prior art date
Application number
KR1020150033545A
Other languages
English (en)
Other versions
KR20160109336A (ko
Inventor
김회율
최건우
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020150033545A priority Critical patent/KR101873842B1/ko
Publication of KR20160109336A publication Critical patent/KR20160109336A/ko
Application granted granted Critical
Publication of KR101873842B1 publication Critical patent/KR101873842B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

깊이 센서를 이용하는 가상 입력 장치 및 방법이 개시된다. 가상 입력 장치는 깊이 센서(depth sensor)를 이용하여 가상 입력 평면에서 사용자 손가락의 위치를 산출하는 위치 산출부, 가상 입력 평면에서 산출된 사용자 손가락의 위치를 기반으로 사용자 손가락의 입력 여부를 판단하는 입력 판단부 및 사용자 손가락이 입력 상태인 것으로 판단됨에 따라 사용자 손가락의 위치에 상응하는 입력이 수행되도록 제어하는 제어부를 포함한다. 따라서, 사용자 인터페이스의 출력 또는 외부 입력 장치의 사용이 어려운 환경과 다양한 웨어러블 디바이스에 용이하게 적용할 수 있다.

Description

깊이 센서를 이용하는 가상 입력 장치 및 이를 이용하는 방법{APPARATUS FOR PROVIDING VIRTUAL INPUT USING DEPTH SENSOR AND METHOD FOR USING THE APPARATUS}
본 발명은 가상 입력 장치에 관한 것으로, 더욱 상세하게는, 깊이 센서를 이용하여 산출한 사용자 손가락의 위치를 기반으로 입력 상태를 판단할 수 있는 가상 입력 장치 및 이를 이용하는 방법에 관한 것이다.
최근 정보 통신 기술이 급속하게 발전함에 따라 스마트폰, 태블릿 PC, PDA(Personal Digital Assistant), 컴퓨터, 노트북, 스마트 가전 기기와 같은 정보 처리 장치뿐 아니라 스마트 워치(smart watch), 스마트 안경 등의 웨어러블 디바이스를 포함하는 사용자 단말에 대한 사용이 대중화되고 있다.
일반적으로 사용자 단말은 사용자의 요청에 상응하는 서비스를 제공할 수 있도록 입력 장치(input device)와 출력 장치(output device), 중앙처리장치(Central Processing Unit, CPU), 기억 장치(memory unit) 등이 탑재된다.
다만, 웨어러블 디바이스의 경우 사용자 신체에 직접 착용해야 한다는 점에서 장치의 소형화가 필수적으로 요구된다. 그리하여, 사용자 단말을 소형화하기 위해 가상 입력 장치를 구현하는 기술에 대한 연구가 활발하게 진행되고 있는 추세이다.
도 1은 종래의 가상 입력 장치를 설명하는 예시도이다. 도 1을 참조하면, 종래의 가상 입력 장치는 사용자 단말과 분리된 평면 상의 공간에 카메라 등의 이미지 센서(10), 프로젝터(20) 및 광 투사 장치(30)를 배치할 수 있다.
그리하여, 광 투사 장치(30)를 통해 광(31)을 투사함과 동시에 프로젝터(20)를 이용하여 평면 상에 키보드 이미지(21)와 같은 가상의 사용자 인터페이스를 출력한 후, 가상의 키보드 이미지(21) 상에 위치하는 사용자 손가락의 영상과 광(31)을 이미지 센서(10)에서 촬영함으로써 사용자의 입력을 인식할 수 있다.
다만, 상술한 종래의 가상 입력 장치는 사용자 단말과 분리된 공간에 구현된다는 점에서 사용자의 편의성이 떨어진다는 문제가 있다.
또한, 사용자 입력의 신뢰성을 향상시키기 위해 이미지 센서(10), 프로젝터(20) 및 광 투사 장치(30)가 수직으로 배치된다는 점에서 공간의 활용도가 떨어지는 한계가 있다.
이로 인해 사용자가 움직이는 중이거나 공간이 충분히 확보되지 않은 좁은 공간에 위치하는 경우에는 사용하기 어려우며 스마트폰, 태블릿 PC와 같이 납작한 형태의 정보 처리 장치에 적용하기 어렵다는 문제가 있다.
특히, 종래의 가상 입력 장치는 스마트 워치, 스마트 안경 등 최근 수요가 증가하고 있는 웨어러블 디바이스(wearable device)에 적용하기 어렵다는 문제가 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 깊이 센서를 구성하는 적어도 하나 이상의 광 투사부 및 이미지 센서를 가상 입력 평면과 동일 평면 상에 배치하여 가상 입력 장치를 소형화함으로써 다양한 웨어러블 디바이스(wearable device)에 용이하게 적용할 수 있는 가상 입력 장치를 제공하는 데 있다.
또한, 본 발명의 다른 목적은, 2개 이상의 가상 입력 평면을 이용하여 사용자의 입력 상태뿐만 아니라 입력 대기 상태도 인식함으로써 사용자 인터페이스의 출력 또는 외부 입력 장치의 사용이 어려운 상황에서도 사용자로 하여금 신뢰도 높은 입력 환경을 제공할 수 있는 가상 입력 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 가상 입력 장치는, 사용자에 의해 운용되는 사용자 단말에 구현되며 깊이 센서(depth sensor)를 이용하여 가상 입력 평면에서 사용자 손가락의 위치를 산출하는 위치 산출부, 가상 입력 평면에서 산출된 사용자 손가락의 위치를 기반으로 사용자 손가락의 입력 여부를 판단하는 입력 판단부 및 사용자 손가락이 입력 상태인 것으로 판단됨에 따라 사용자 손가락의 위치에 상응하는 입력이 수행되도록 제어하는 제어부를 포함한다.
여기에서, 깊이 센서는 제1 가상 입력 평면 및 제2 가상 입력 평면으로 구분되는 가상 입력 평면이 형성되도록 선 형태(line-type)의 광을 투사하는 광 투사부 및 투사된 광이 사용자 손가락에 반사됨에 따라 반사된 광을 수신하여 영상 신호로 변환하는 이미지 센서를 포함하며, 광 투사부와 이미지 센서가 가상 입력 평면과 동일 평면 상에 배치될 수 있다.
여기에서, 위치 산출부는 광 투사부에서 투사된 광이 사용자 손가락에 반사되어 이미지 센서에 수신되는 각도, 거리 및 시간 중 적어도 하나를 측정하여 가상 입력 평면에서 사용자 손가락의 위치를 산출할 수 있다.
여기에서, 입력 판단부는 산출된 사용자 손가락의 위치가 가상 입력 평면에서 제1 가상 입력 평면에 포함되는지 또는 제1 가상 입력 평면과 제2 가상 입력 평면에 모두 포함되는지에 따라 사용자 손가락의 입력 여부를 판단할 수 있다.
여기에서, 입력 판단부는 사용자 손가락의 위치가 제1 가상 입력 평면에 포함되는 경우, 사용자 손가락을 입력 대기 상태인 것으로 판단할 수 있다.
여기에서, 제1 가상 입력 평면은 적어도 하나의 영역으로 구분하고, 구분된 영역 각각에 사용자 손가락이 위치함에 따라 마우스 또는 키보드를 이용하는 데이터 입력 동작 및 사용자 단말을 제어하는 제어 동작 중 적어도 하나를 포함하는 입력 동작이 수행되도록 미리 설정될 수 있다.
여기에서, 입력 판단부는 사용자 손가락의 위치가 제1 가상 입력 평면과 제2 가상 입력 평면에 모두 포함되는 경우, 사용자 손가락을 입력 상태인 것으로 판단할 수 있다.
여기에서, 제어부는 제1 가상 입력 평면에서 사용자 손가락이 위치하는 영역을 추출하고, 사용자 손가락이 제1 가상 입력 평면과 제2 가상 입력 평면에 모두 포함되어 입력 상태인 것으로 판단됨에 따라 추출된 영역에 상응하는 미리 설정된 입력 동작이 수행되도록 제어할 수 있다.
여기에서, 가상 입력 장치는 다수의 가상 입력 장치가 연동되어 사용할 수 있다.
또한, 상기 다른 목적을 달성하기 위한 본 발명의 일 측면에 따른 가상 입력 방법은, 가상 입력 장치에서 수행되며 깊이 센서를 이용하여 가상 입력 평면에서 사용자 손가락의 위치를 산출하는 단계, 가상 입력 평면에서 산출된 사용자 손가락의 위치를 기반으로 사용자 손가락의 입력 여부를 판단하는 단계 및 사용자 손가락이 입력 상태인 것으로 판단됨에 따라 사용자 손가락의 위치에 상응하는 입력이 수행되도록 제어하는 단계를 포함한다.
상술한 바와 같은 본 발명의 실시예에 따른 가상 입력 장치 및 이를 이용하는 방법에 따르면, 깊이 센서를 구성하는 적어도 하나 이상의 광 투사부 및 이미지 센서를 가상 입력 평면과 동일 평면 상에 배치하여 가상 입력 장치를 소형화함으로써 다양한 웨어러블 디바이스(wearable device)에 용이하게 적용할 수 있다.
또한, 2개 이상의 가상 입력 평면을 이용하여 사용자의 입력 상태뿐만 아니라 입력 대기 상태도 인식함으로써 사용자 인터페이스의 출력 또는 외부 입력 장치의 사용이 어려운 상황에서도 사용자로 하여금 신뢰도 높은 입력 환경을 제공할 수 있다.
또한, 1차원적인 선 형태(line-type)의 광을 이용함으로써 기존 깊이 센서에서의 2차원 이미지 처리에 비해 빠른 연산 처리가 가능하며 관심 영역(ROI) 제한을 통해 신뢰도 높은 위치를 산출할 수 있다.
도 1은 종래의 가상 입력 장치를 설명하는 예시도이다.
도 2는 본 발명의 실시예에 따른 가상 입력 장치를 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 사용자 손가락의 위치를 산출함에 있어 구조광 방식을 이용하는 것을 설명하는 예시도이다.
도 4는 본 발명의 실시예에 따른 사용자 손가락의 위치를 산출함에 있어 스테레오 방식을 이용하는 것을 설명하는 예시도이다.
도 5는 본 발명의 실시예에 따른 사용자 손가락의 입력 상태 및 입력 대기 상태를 확인할 수 있도록 제공되는 사용자 인터페이스를 설명하는 예시도이다.
도 6은 본 발명의 실시예에 따른 가상 입력 장치가 탑재된 스마트 워치(smart watch)를 설명하는 예시도이다.
도 7은 본 발명의 실시예에 따른 스마트 워치에서 사용자 손가락의 입력 여부가 판단되는 것을 설명하는 예시도이다.
도 8은 본 발명의 실시예에 따른 가상 입력 장치가 탑재된 스마트 폰(smart phone)을 설명하는 예시도이다.
도 9는 본 발명의 실시예에 따른 둘 이상의 가상 입력 장치와 연동된 스마트 안경(smart glasses)을 설명하는 예시도이다.
도 10은 본 발명의 실시예에 따른 가상 입력 방법을 설명하는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 2는 본 발명의 실시예에 따른 가상 입력 장치를 나타내는 블록도이고, 도 3은 본 발명의 실시예에 따른 사용자 손가락의 위치를 산출함에 있어 구조광 방식을 이용하는 것을 설명하는 예시도이며, 도 4는 본 발명의 실시예에 따른 사용자 손가락의 위치를 산출함에 있어 스테레오 방식을 이용하는 것을 설명하는 예시도이다.
또한, 도 5는 본 발명의 실시예에 따른 사용자 손가락의 입력 상태 및 입력 대기 상태를 확인할 수 있도록 제공되는 사용자 인터페이스를 설명하는 예시도이다.
도 2를 참조하면, 가상 입력 장치(100)는 사용자에 의해 운용되는 사용자 단말에서 구현될 수 있다.
여기에서, 사용자 단말은 스마트폰, 태블릿 PC, PDA(Personal Digital Assistant), 컴퓨터, 노트북, 스마트 가전 기기 등의 정보 처리 장치 및 스마트 워치(smart watch), 스마트 안경 등과 같이 사용자가 신체에 직접 착용할 수 있는 웨어러블 디바이스(wearable device)를 포함할 수 있으나 이에 한정되지 않고 사용자 입력이 필요한 다양한 장치에 확대 적용할 수 있을 것이다.
최근 사용자 단말에 대한 소형화가 요구됨에 따라 이를 위해 가상 입력 장치를 구현하는 기술에 대한 연구가 활발하게 진행되고 있는 추세이다.
다만, 종래의 가상 입력 장치는 사용자 단말과 분리된 공간에 구현된다는 점에서 사용자의 편의성이 떨어지고, 각 장치가 수직으로 배치된다는 점에서 공간의 활용도가 떨어지는 한계가 있다.
특히, 걷는 중이거나 사용자가 좁은 공간에 위치하는 등과 같이 공간이 충분히 확보되지 않은 환경에서 사용하기 어려우며 특히, 스마트폰, 태블릿 PC와 같이 납작한 형태의 정보 처리 장치나 스마트 워치, 스마트 안경 등의 웨어러블 디바이스에서 활용하기 어렵다는 문제가 있다.
상술한 종래 기술의 문제를 해결하기 위해 본 발명은 사용자 인터페이스를 출력하거나 별도의 외부 입력 장치의 사용 없이 깊이 센서를 구성하는 적어도 하나 이상의 광 투사부 및 이미지 센서를 가상 입력 평면과 동일 평면 상에 배치하여 사용자의 입력을 인식하는 가상 입력 장치를 제안한다.
본 발명에 따른 가상 입력 장치(100)는 위치 산출부(200), 입력 판단부(300) 및 제어부(400)를 포함하고, 위치 산출부(200)는 적어도 하나 이상의 광 투사부(110)와 이미지 센서(121)로 구성된 깊이 센서(210)를 포함할 수 있다.
광 투사부(110)는 가상 입력 평면이 형성되도록 선 형태(line-type)의 광을 투사할 수 있다. 여기에서, 광은 특정한 주파수를 가지는 자외선, 가시광선 또는 적외선을 의미할 수 있으나 이에 한정되는 것은 아니다.
광 투사부(110)에서 선 형태의 다수의 광을 투사함에 따라 2차원의 가상 입력 평면이 형성될 수 있다. 이 때, 가상 입력 평면은 제1 가상 입력 평면과 제2 가상 입력 평면으로 구분될 수 있다.
특히, 광 투사부(110)는 가상 입력 평면을 제1 가상 입력 평면과 제2 가상 입력 평면으로 구분하기 위해 투사한 선 형태의 광의 상하 위치, 즉 투사한 광에 의해 형성된 가상 입력 평면의 상하 위치를 구분한다. 그리하여, 입력을 위해 손가락을 아래로 내렸을 때 먼저 닿게 되는 평면을 제 1 가상 입력 평면으로 정의하고 다른 하나의 가상 입력 평면을 제 2 가상 입력 평면으로 정의한다.
여기에서, 가상 입력 평면을 제1 가상 입력 평면과 제2 가상 입력 평면으로 구분하는 이유는 사용자 손가락이 제1 가상 입력 평면 또는 제2 가상 입력 평면에 위치하느냐에 따라 입력 상태 여부를 판단하기 위해서이다. 즉, 제1 가상 입력 평면은 입력 대기 상태인 사용자 손가락을 감지하고 사용자 손가락의 위치를 산출하는 반면, 제2 가상 입력 평면은 특수한 응용을 제외하고는 위치를 산출할 필요가 없다.
일반적으로 사용자는 입력을 진행하기 위해 손가락으로 입력 장치를 누른다. 이에 따라 입력 상태인 사용자 손가락의 위치는 입력 대기 상태인 사용자 손가락에 비해 밑에 위치할 수 있다. 따라서, 가상 입력 평면에서 제2 가상 입력 평면은 제1 가상 입력 평면의 아래쪽에 위치하여 입력 상태인 사용자 손가락을 감지할 수 있다.
그리하여, 위치 산출부(200)는 깊이 센서(210)를 구성하는 광 투사부(110)와 이미지 센서(121)를 이용하여 가상 입력 평면에서 사용자 손가락의 위치를 산출할 수 있다.
여기에서, 깊이 센서(210)를 구성하는 적어도 하나 이상의 광 투사부(110)와 이미지 센서(121)는 종래의 가상 입력 장치와는 달리 가상 입력 평면과 동일 평면 상에 배치된다. 이로써 공간 활용도를 향상시켜 가상 입력 장치를 소형화할 수 있다.
보다 구체적으로, 위치 산출부(200)는 광 투사부(110)에서 투사된 광이 가상 입력 평면에 위치한 사용자 손가락에 반사되어 이미지 센서(121)로 수신되는 각도, 거리 및 시간 중 적어도 하나를 측정하고, 측정된 각도, 거리 및 시간을 통해 가상 입력 평면에서 사용자 손가락의 위치를 산출할 수 있다.
더 나아가, 가상 입력 평면에서 사용자 손가락의 위치를 산출하기 위해 구조광 방식, 스테레오 방식 또는 TOF(Time Of Flight) 방식이 이용될 수 있다.
구조광 방식은 도 3에 도시된 바와 같이 광 투사부(110)에 의해 투사된 광이 사용자 손가락에 반사되는 위치(A)를 산출하는 방식으로 광이 사용자 손가락에 반사되는 위치 A를 산출하기 위해서는 광 투사부(110)에서 투사된 광이 가상 입력 평면에 위치한 사용자 손가락에 반사되어 이미지 센서(121)로 수신되는 각도 α를 산출해야 한다.
각도 α의 산출을 위해 이용되는 구조광 방식에는 시분할 방식과 공간 분할 방식이 이용될 수 있다. 시분할 방식은 매 시간마다 서로 다른 광 패턴을 투사하여 시간 별로 사용자 손가락의 위치를 특정하는 방법으로 매 시간마다 사용자 손가락에 반사되는 패턴을 n개의 비트(bit)로 표현한다는 점에서 n이 클수록 사용자 손가락의 위치를 보다 세밀하게 산출할 수 있다. 공간분할 방식은 여러 줄에 걸쳐 한꺼번에 여러 광 패턴을 투사하는 방법으로 시간에 따라 광의 패턴을 변화시킬 필요 없이 한번에 사용자 손가락의 위치를 산출할 수 있다. 두 방식에는 바이너리 패턴, 그레이 코드 패턴 등 여러가지 광 패턴이 이용될 수 있다.
스테레오 방식은 도 4에 도시된 바와 같이 광 투사부(110)를 두 개의 이미지 센서(121) A와 B사이에 배치하여 사용자 손가락의 위치를 산출하는 방법을 의미한다. 상세하게는, 광 투사부(110)에서 투사된 광이 사용자 손가락에 반사되어 이미지 센서(121) A와 B 각각에 수신됨에 따라 이미지 센서(121) A에서 촬영된 사용자 손가락 이미지 d1과 이미지 센서(121) B에서 촬영된 사용자 손가락 이미지의 d2 간의 차이(disparity)를 계산하여 사용자 손가락의 위치를 신속하게 산출할 수 있다. 이 때, 필요에 따라서는 손가락의 위치를 보다 세밀하게 판단하기 위하여 광 투사부(110)에서 광 패턴을 투사함으로써 상기의 구조광 방식을 응용할 수 있다.
여기서는 가상 입력 평면에서 사용자 손가락의 위치를 산출함에 있어 구조광 방식과 스테레오 방식이 이용되는 것을 설명하였으나, 광 투사부(110)에서 투사된 광이 사용자 손가락에 반사되어 이미지 센서(121)에 수신되는 시간을 측정함으로써 사용자 손가락의 위치를 산출하는 TOF 방식 또한 이용될 수 있다.
입력 판단부(300)는 사용자 손가락의 위치를 확인하여 사용자 손가락의 입력 여부를 판단할 수 있다. 즉, 사용자 손가락의 위치가 가상 입력 평면에서 제1 가상 입력 평면에 포함되는지 제2 가상 입력 평면에 포함되는지를 확인하여 사용자 손가락의 입력 여부를 판단할 수 있다.
만약, 사용자 손가락의 위치가 제1 가상 입력 평면에 포함되는 경우, 사용자 손가락을 입력 대기 상태인 것으로 판단할 수 있다.
반면, 사용자 손가락의 위치가 제 1 가상 입력 평면과 제2 가상 입력 평면에 모두 포함되는 경우, 사용자 손가락을 입력 상태인 것으로 판단할 수 있다.
이와 같이 손가락이 입력 대기 상태(즉, 호버링 상태)인지 입력 상태인지 판단한 결과를 용이하게 확인할 수 있도록 사용자에게 사용자 인터페이스를 제공할 수 있다.
보다 구체적으로, 사용자 인터페이스(51)는 도 5에 도시된 바와 같이 사용자 단말의 화면에 다수의 키 이미지와 사용자 손가락의 입력 상태를 확인할 수 있는 이미지가 포함할 수 있다. 그리하여, 손가락이 호버링 중인 것으로 판단되는 경우, 사용자 인터페이스(51)에서 A와 같이 표시될 수 있으며, 손가락이 입력 중인 것으로 판단되는 경우, B와 같이 표시될 수 있다.
이 때, 사용자 인터페이스(51)는 사용자 단말의 화면에서 다른 애플리케이션들과 함께 확인될 수 있도록 반투명으로 표시될 수 있다.
제어부(400)는 사용자 손가락이 제1 가상 입력 평면과 제2 가상 입력 평면에 모두 포함되어 입력 상태인 것으로 판단됨에 따라 사용자 손가락의 위치에 상응하는 입력이 수행되도록 제어할 수 있다.
이 때, 제1 가상 입력 평면은 미리 구분된 적어도 하나의 영역 각각에 사용자 손가락이 위치함에 따라 마우스 또는 키보드를 이용하는 데이터 입력 동작 및 사용자 단말을 제어하는 제어 동작 중 적어도 하나를 포함하는 입력 동작이 수행되도록 미리 설정될 수 있다.
따라서, 제1 가상 입력 평면에서 사용자 손가락이 위치하는 영역을 추출하고, 사용자 손가락이 제1 가상 입력 평면과 제2 가상 입력 평면에 모두 포함되어 입력 상태인 것으로 판단됨에 따라 추출된 영역에 상응하는 미리 설정된 입력 동작이 수행되도록 제어할 수 있다.
가상 입력 장치가 탑재된 사용자 단말의 예는 이하 도 6 내지 도 9를 통해 구체적으로 설명하도록 한다.
도 6은 본 발명의 실시예에 따른 가상 입력 장치가 탑재된 스마트 워치(smart watch)를 설명하는 예시도이고, 도 7은 본 발명의 실시예에 따른 스마트 워치에서 사용자 손가락의 입력 여부가 판단되는 것을 설명하는 예시도이다.
또한, 도 8은 본 발명의 실시예에 따른 가상 입력 장치가 탑재된 스마트 폰(smart phone)을 설명하는 예시도이고, 도 9는 본 발명의 실시예에 따른 둘 이상의 가상 입력 장치와 연동된 스마트 안경(smart glasses)을 설명하는 예시도이다.
도 6 내지 도 9를 참조하면, 본 발명에서 제안하는 가상 입력 장치를 다양한 사용자 단말에 적용할 수 있다.
먼저, 도 6은 가상 입력 장치를 스마트 워치에 적용한 예로, 스마트 워치 하단에 광 투사부(110)와 이미지 센서(121)로 구성된 깊이 센서를 탑재할 수 있다. 이 때, 광 투사부(110)와 이미지 센서(121)는 광 투사부(110)를 통해 형성되는 가상 입력 평면과 동일 평면 상에 배치되는 것을 알 수 있다.
보다 구체적으로, 도 6a와 같이 광 투사부(110)와 이미지 센서(121)가 사용자의 손목과 밀착되도록 배치할 수 있으며, 도 6b와 같이 평소에는 사용자 손목과 평행한 방향에 위치하다가 입력 시에만 사용자 손목과 90도를 이루도록 접이식으로 부착될 수 있다. 도 6b와 같이 접이식을 채택하는 경우, 사용자 손목으로부터 일정 높이를 획득할 수 있으므로 움푹 들어간 손목으로 인해 사용자 손가락이 가려지는 현상을 방지할 수 있다.
도 6a와 도 6b은 사용자 손가락을 아래로 눌러 입력하는 것을 예로 들었으나, 이에 한정되지 않고 도 6c에 도시된 바와 같이 스마트 워치를 착용한 손의 손바닥이 하늘로 향하도록 하여 입력하거나 스마트 워치를 착용한 손과 다른 손을 이용하여 입력할 수 있도록 다양한 응용이 가능할 것이다.
그리하여, 스마트 워치에 탑재된 광 투사부(110)에서 광이 선 형태로 투사됨에 따라 사용자 손가락 아래로 제1 가상 입력 평면(111) 및 제2 가상 입력 평면(113)으로 구분된 가상 입력 평면이 형성될 수 있다.
다만, 일반적으로 사용자는 입력을 진행하기 위해 손가락으로 입력 장치를 누르는 행동을 취함에 따라 입력 상태인 사용자 손가락의 위치는 입력 대기 상태인 사용자 손가락에 비해 밑에 위치할 수 있다. 따라서, 제1 가상 입력 평면(111)을 통해서는 입력 대기 상태인 사용자 손가락을 감지하고, 제2 가상 입력 평면(113)을 통해서는 입력 상태인 사용자 손가락을 감지할 수 있다.
사용자 손가락이 제1 가상 입력 평면(111)에 위치하는지 또는 제1 가상 입력 평면(111)과 제2 가상 입력 평면(113) 모두에 위치하는지를 구체적으로 산출하기 위해 투사된 광이 사용자 손가락에 반사되어 이미지 센서(121)에 수신되는 상하 위치를 측정할 수 있다.
도 6a와 도 6b를 예로 들면, 사용자의 다섯 손가락 중에서 엄지와 검지는 제1 가상 입력 평면(111) 및 제2 가상 입력 평면(113)의 어디에도 위치하지 않으므로 입력에 참여하고 있지 않은 것으로 판단할 수 있다.
다만, 사용자의 다섯 손가락 중에서 중지, 약지 및 소지는 광 투사부(110)에서 투사되어 제1 가상 입력 평면(111)을 형성하는 광이 반사되어 이미지 센서(121)에 수신될 수 있다.
그리하여, 제1 가상 입력 평면(111)에는 도 7a에 도시된 바와 같이 중지가 위치하는 영역(C), 약지가 위치하는 영역(B) 및 소지가 위치하는 영역 (A)이 표시될 수 있다.
이 때, 제1 가상 입력 평면(111)에서 감지된 중지, 약지 및 소지 중에서 소지는 광 투사부(110)에서 투사되어 제2 가상 입력 평면(113)을 형성하는 광이 반사되어 이미지 센서(121)로 수신될 수 있다. 그리하여, 제2 가상 입력 평면(113)에는 도 7b에 도시된 바와 같이 소지가 위치하는 영역(A’)이 표시될 수 있다.
즉, 사용자의 다섯 손가락 중에서 제1 가상 입력 평면(111)과 제2 가상 입력 평면(113)에 동시에 감지되는 소지를 입력 진행 상태인 것으로 판단하고, 제1 가상 입력 평면(111)에서만 감지되는 사용자의 중지와 약지는 입력 대기 상태 즉, 호버링 상태인 것으로 판단할 수 있다.
소지가 입력 진행 상태인 것으로 판단됨에 따라 제1 가상 입력 평면(111)에서 소지가 위치하고 있는 영역(A)에 상응하는 미리 설정된 입력 동작이 수행될 수 있다.
만약, 미리 설정된 입력 동작이 스마트 워치 상의 디스플레이를 활성화시키는 동작인 경우, 영역(A)에 사용자 손가락이 위치함에 따라 스마트 워치의 디스플레이를 활성화하는 입력 신호를 전송하는 등의 제어가 수행될 수 있다.
상술한 바와 같이 깊이 센서를 구성하는 적어도 하나 이상의 광 투사부 및 이미지 센서를 가상 입력 평면과 동일 평면 상에 배치함으로써 도 8에 도시된 바와 같이 스마트 폰, 태블릿 PC와 같이 납작한 형태의 정보 처리 장치에도 적용이 용이할 것으로 판단된다.
도 8에서는 제1 가상 입력 평면(111)와 제2 가상 입력 평면(113)을 형성하는 광 투사부(110)와 반사되는 광을 수신하는 이미지 센서(121)가 스마트 폰의 측면에 탑재되어 있으나, 이에 한정되지 않고 깊이 센서(210)를 구성하는 적어도 하나 이상의 광 투사부(110) 및 이미지 센서(121)와 가상 입력 평면이 동일 평면 상에 위치하도록 할 수 있는 다양한 위치에 탑재될 수 있다.
또한, 본 발명에서 제안하는 가상 입력 장치를 둘 또는 그 이상 연동하여 사용할 수 있다. 보다 구체적으로, 도 9와 같이 스마트 안경과 같은 장치에 대한 입력 장치로 사용할 경우, 사용자의 양 손목에 착용된 두개의 가상 입력 장치가 연동하고 스마트 안경에 전체(Full-size) 키보드와 동일한 가상 인터페이스를 구현함으로써 일반적인 PC를 사용할 때와 동일한 환경을 가상으로 구축할 수 있다.
도 10은 본 발명의 실시예에 따른 가상 입력 방법을 설명하는 흐름도이다.
도 10을 참조하면, 가상 입력 방법은 가상 입력 장치에 의해 수행될 수 있으며, 가상 입력 장치는 사용자에 의해 운용되는 사용자 단말에 구현될 수 있다.
이 때, 사용자 단말은 스마트폰, 태블릿 PC, PDA(Personal Digital Assistant), 컴퓨터, 노트북, 스마트 가전 기기 등의 정보 처리 장치 및 스마트 워치(smart watch), 스마트 안경 등과 같이 사용자가 신체에 직접 착용할 수 있는 웨어러블 디바이스(wearable device)를 포함할 수 있으나 이에 한정되지 않고 사용자 입력이 필요한 다양한 장치에 확대 적용할 수 있을 것이다.
본 발명에 따른 가상 입력 방법은 깊이 센서를 이용하여 가상 입력 평면에서 사용자 손가락의 위치를 산출하는 단계(S100), 사용자 손가락의 위치를 확인하여 사용자 손가락의 입력 여부를 판단하는 단계(S200) 및 입력 상태인 경우 사용자 손가락의 위치에 상응하는 입력이 수행되도록 제어하는 단계(S300)를 포함할 수 있다.
먼저, 깊이 센서를 이용하여 가상 입력 평면에서 사용자 손가락의 위치를 산출할 수 있다(S100). 여기에서, 깊이 센서는 적어도 하나의 광 투사부와 이미지 센서로 구성될 수 있다.
이 때, 광 투사부는 사용자 손가락을 감지하기 위해 가상 입력 평면이 형성되도록 선 형태(line-type)의 광을 투사할 수 있다. 여기에서, 가상 입력 평면은 제1 가상 입력 평면과 제2 가상 입력 평면으로 구분될 수 있다. 제1 가상 입력 평면과 제2 가상 입력 평면은 투사한 선 형태 광의 상하 위치, 즉 투사한 광에 의해 형성된 가상 입력 평면의 상하 위치를 통해 구분한다. 이 때, 입력을 위해 손가락을 아래로 내렸을 때 먼저 닿게 되는 평면을 제 1 가상 입력 평면으로 정의하고 다른 하나의 가상 입력 평면을 제 2 가상 입력 평면으로 정의한다.
그리하여, 가상 입력 평면에서 사용자 손가락은 어떠한 평면에도 포함되지 않거나 제 1 가상 입력 평면에만 포함되거나 제 1 가상 입력 평면과 제 2 가상 입력 평면 모두에 포함되는 세 가지의 상태를 갖게 되며, 제 2 가상 입력 평면에만 포함되는 경우는 존재하지 않는다.
여기에서, 가상 입력 평면을 제1 가상 입력 평면과 제2 가상 입력 평면으로 구분하는 이유는 사용자 손가락이 제1 가상 입력 평면 또는 제2 가상 입력 평면에 위치하느냐에 따라 입력 상태 여부를 판단하기 위해서이다. 그리하여, 제1 가상 입력 평면은 입력 대기 상태인 사용자 손가락을 감지하고 사용자 손가락에 대한 가상 입력 평면 상의 위치를 산출하는 반면, 제2 가상 입력 평면은 입력 상태인 사용자 손가락을 감지할 수 있다.
일반적으로 사용자는 입력을 진행하기 위해 손가락으로 입력 장치를 누른다. 이에 따라 입력 상태인 사용자 손가락의 위치는 입력 대기 상태인 사용자 손가락에 비해 밑에 위치할 수 있다. 따라서, 가상 입력 평면에서 제2 가상 입력 평면은 제1 가상 입력 평면의 아래쪽에 위치하여 입력 상태인 사용자 손가락을 감지할 수 있다.
광 투사부에 의해 형성된 가상 입력 평면상에서 사용자 손가락에 반사되어 이미지 센서에 수신되는 각도, 거리 및 시간 중 적어도 하나를 측정함으로써 사용자 손가락의 위치를 산출할 수 있다.
일반적으로 이러한 위치 산출 단계는 제 1 가상 입력 평면에서만 필요하며, 제 2 가상 입력 평면은 손가락의 포함 여부에 따른 입력 상태를 판단하는 데에만 사용되므로 특수한 응용을 제외하면 제 2 가상 입력 평면에서 위치를 산출할 필요는 없다.
산출된 사용자 손가락의 위치를 확인하여 사용자 손가락의 입력 여부를 판단할 수 있다(S200).
즉, 사용자 손가락의 위치가 가상 입력 평면에서 제1 가상 입력 평면에 포함되는지 제2 가상 입력 평면에 포함되는지를 확인하여 사용자 손가락의 입력 여부를 판단할 수 있다.
만약, 사용자 손가락의 위치가 제1 가상 입력 평면에 포함되는 경우, 사용자 손가락을 입력 대기 상태인 것으로 판단할 수 있다.
반면, 사용자 손가락의 위치가 제1 가상 입력 평면과 제2 가상 입력 평면 모두에 포함되는 경우, 사용자 손가락을 입력 상태인 것으로 판단할 수 있다.
사용자 손가락이 제2 가상 입력 평면에 포함되어 입력 상태인 것으로 판단됨에 따라 사용자 손가락의 위치에 상응하는 동작이 실행되도록 제어할 수 있다(S300).
이 때, 제1 가상 입력 평면은 적어도 하나의 영역으로 구분한 후 영역 각각에 사용자 손가락이 위치함에 따라 마우스 또는 키보드를 이용하는 데이터 입력 동작 및 사용자 단말을 제어하는 제어 동작 중 적어도 하나를 포함하는 입력 동작이 실행되도록 미리 설정되어 있다.
따라서, 제1 가상 입력 평면에서 사용자 손가락이 위치하는 영역을 추출하고, 사용자 손가락이 제1 가상 입력 평면과 제2 가상 입력 평면 모두에 포함되어 입력 상태인 것으로 판단됨에 따라 추출된 영역에 상응하는 미리 설정된 입력 동작이 실행되도록 제어할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 이미지 센서 20: 프로젝터
21: 키보드 이미지 30: 광 투사 장치
31: 광 51: 사용자 인터페이스
100: 가상 입력 장치 110: 광 투사부
111: 제1 가상 입력 평면 113: 제2 가상 입력 평면
121: 이미지 센서 200: 위치 산출부
210: 깊이 센서 300: 입력 판단부
400: 제어부

Claims (16)

  1. 사용자에 의해 운용되는 사용자 단말에 있어서,
    깊이 센서(depth sensor)를 이용하여 가상 입력 평면에서 상기 사용자 손가락의 위치를 산출하는 위치 산출부;
    상기 가상 입력 평면에서 산출된 사용자 손가락의 위치를 기반으로 상기 사용자 손가락의 입력 여부를 판단하는 입력 판단부; 및
    상기 사용자 손가락이 입력 상태인 것으로 판단됨에 따라 상기 사용자 손가락의 위치에 상응하는 입력이 수행되도록 제어하는 제어부를 포함하고,
    상기 입력 판단부는,
    상기 산출된 사용자 손가락의 위치가 제1 가상 입력 평면과 제2 가상 입력 평면으로 구분되는 상기 가상 입력 평면에서 상기 제1 가상 입력 평면에 포함되는지 또는 상기 제1 가상 입력 평면과 상기 제2 가상 입력 평면에 모두 포함되는지에 따라 상기 사용자 손가락의 입력 여부를 판단하는 것을 특징으로 하는 가상 입력 장치.
  2. 청구항 1에 있어서,
    상기 깊이 센서는,
    상기 가상 입력 평면이 형성되도록 선 형태(line-type)의 광을 투사하는 광 투사부; 및
    상기 투사된 광이 상기 사용자 손가락에 반사됨에 따라 상기 반사된 광을 수신하여 영상 신호로 변환하는 이미지 센서를 포함하며,
    상기 광 투사부와 상기 이미지 센서가 상기 가상 입력 평면과 동일 평면 상에 배치되는 것을 특징으로 하는 가상 입력 장치.
  3. 청구항 2에 있어서,
    상기 위치 산출부는,
    상기 광 투사부에서 투사된 광이 상기 사용자 손가락에 반사되어 상기 이미지 센서에 수신되는 각도, 거리 및 시간 중 적어도 하나를 측정하여 상기 가상 입력 평면에서 상기 사용자 손가락의 위치를 산출하는 것을 특징으로 하는 가상 입력 장치.
  4. 삭제
  5. 청구항 1에 있어서,
    상기 입력 판단부는,
    상기 사용자 손가락의 위치가 상기 제1 가상 입력 평면에 포함되는 경우, 상기 사용자 손가락을 입력 대기 상태인 것으로 판단하는 것을 특징으로 하는 가상 입력 장치.
  6. 청구항 5에 있어서,
    상기 제1 가상 입력 평면은,
    적어도 하나의 영역으로 구분하고, 상기 구분된 영역 각각에 상기 사용자 손가락이 위치함에 따라 마우스 또는 키보드를 이용하는 데이터 입력 동작 및 상기 사용자 단말을 제어하는 제어 동작 중 적어도 하나를 포함하는 입력 동작이 수행되도록 미리 설정되는 것을 특징으로 하는 가상 입력 장치.
  7. 청구항 1에 있어서,
    상기 입력 판단부는,
    상기 사용자 손가락의 위치가 상기 제1 가상 입력 평면과 상기 제2 가상 입력 평면에 모두 포함되는 경우, 상기 사용자 손가락을 입력 상태인 것으로 판단하는 것을 특징으로 하는 가상 입력 장치.
  8. 청구항 7에 있어서,
    상기 제어부는,
    상기 제1 가상 입력 평면에서 상기 사용자 손가락이 위치하는 영역을 추출하고, 상기 사용자 손가락이 상기 제1 가상 입력 평면과 상기 제2 가상 입력 평면에 모두 포함되어 입력 상태인 것으로 판단됨에 따라 상기 추출된 영역에 상응하는 미리 설정된 입력 동작이 수행되도록 제어하는 것을 특징으로 하는 가상 입력 장치.
  9. 청구항 1에 있어서,
    상기 가상 입력 장치는,
    다수의 가상 입력 장치가 연동되어 사용 가능한 것을 특징으로 하는 가상 입력 장치.
  10. 가상 입력 장치에서 수행되는 가상 입력 방법에 있어서,
    깊이 센서(depth sensor)를 이용하여 가상 입력 평면에서 사용자 손가락의 위치를 산출하는 단계;
    상기 가상 입력 평면에서 산출된 사용자 손가락의 위치를 기반으로 상기 사용자 손가락의 입력 여부를 판단하는 단계; 및
    상기 사용자 손가락이 입력 상태인 것으로 판단됨에 따라 상기 사용자 손가락의 위치에 상응하는 입력이 수행되도록 제어하는 단계를 포함하고,
    상기 사용자 손가락의 입력 여부를 판단하는 단계는,
    상기 산출된 사용자 손가락의 위치가 제1 가상 입력 평면과 제2 가상 입력 평면으로 구분되는 상기 가상 입력 평면에서 상기 제1 가상 입력 평면에 포함되는지 또는 상기 제1 가상 입력 평면과 상기 제2 가상 입력 평면에 모두 포함되는지에 따라 상기 사용자 손가락의 입력 여부를 판단하는 것을 특징으로 하는 가상 입력 방법.
  11. 청구항 10에 있어서,
    상기 깊이 센서는,
    상기 가상 입력 평면이 형성되도록 선 형태(line-type)의 광을 투사하는 광 투사부; 및
    상기 투사된 광이 상기 사용자 손가락에 반사됨에 따라 상기 반사된 광을 수신하여 영상 신호로 변환하는 이미지 센서를 포함하며,
    상기 광 투사부와 상기 이미지 센서가 상기 가상 입력 평면과 동일 평면 상에 배치되는 것을 특징으로 하는 가상 입력 방법.
  12. 청구항 11에 있어서,
    상기 사용자 손가락의 위치를 산출하는 단계는,
    상기 광 투사부에서 투사된 광이 상기 사용자 손가락에 반사되어 상기 이미지 센서에 수신되는 각도, 거리 및 시간 중 적어도 하나를 측정하여 상기 가상 입력 평면에서 상기 사용자 손가락의 위치를 산출하는 것을 특징으로 하는 가상 입력 방법.
  13. 삭제
  14. 청구항 10에 있어서,
    상기 사용자 손가락의 입력 여부를 판단하는 단계는,
    상기 사용자 손가락의 위치가 상기 제1 가상 입력 평면에 포함되는 경우, 상기 사용자 손가락을 입력 대기 상태인 것으로 판단하고,
    상기 사용자 손가락의 위치가 상기 제1 가상 입력 평면과 상기 제2 가상 입력 평면에 모두 포함되는 경우, 상기 사용자 손가락을 입력 상태인 것으로 판단하는 것을 특징으로 하는 가상 입력 방법.
  15. 청구항 14에 있어서,
    상기 제1 가상 입력 평면은,
    적어도 하나의 영역으로 구분하고, 상기 구분된 영역 각각에 상기 사용자 손가락이 위치함에 따라 마우스 또는 키보드를 이용하는 데이터 입력 동작 및 상기 사용자 단말을 제어하는 제어 동작 중 적어도 하나를 포함하는 입력 동작이 수행되도록 미리 설정되는 것을 특징으로 하는 가상 입력 방법.
  16. 청구항 15에 있어서,
    상기 사용자 손가락의 위치에 상응하는 입력이 수행되도록 제어하는 단계는,
    상기 제1 가상 입력 평면에서 상기 사용자 손가락이 위치하는 영역을 추출하고, 상기 사용자 손가락이 상기 제1 가상 입력 평면과 상기 제2 가상 입력 평면에 모두 포함되어 입력 상태인 것으로 판단됨에 따라 상기 추출된 영역에 상응하는 상기 미리 설정된 입력 동작이 수행되도록 제어하는 것을 특징으로 하는 가상 입력 방법.
KR1020150033545A 2015-03-11 2015-03-11 깊이 센서를 이용하는 가상 입력 장치 및 이를 이용하는 방법 KR101873842B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150033545A KR101873842B1 (ko) 2015-03-11 2015-03-11 깊이 센서를 이용하는 가상 입력 장치 및 이를 이용하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150033545A KR101873842B1 (ko) 2015-03-11 2015-03-11 깊이 센서를 이용하는 가상 입력 장치 및 이를 이용하는 방법

Publications (2)

Publication Number Publication Date
KR20160109336A KR20160109336A (ko) 2016-09-21
KR101873842B1 true KR101873842B1 (ko) 2018-07-04

Family

ID=57080296

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150033545A KR101873842B1 (ko) 2015-03-11 2015-03-11 깊이 센서를 이용하는 가상 입력 장치 및 이를 이용하는 방법

Country Status (1)

Country Link
KR (1) KR101873842B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022019416A1 (en) * 2020-07-24 2022-01-27 Samsung Electronics Co., Ltd. Method and electronic device for enabling virtual input on electronic device

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102160297B1 (ko) 2017-06-26 2020-09-28 서울대학교 산학협력단 손가락 동작 인식을 이용한 키보드 입력 시스템 및 키보드 입력 방법
KR102055572B1 (ko) * 2017-12-27 2019-12-13 한양대학교 산학협력단 웨어러블 가상 입력 장치 및 이를 위한 제어 방법
KR102163825B1 (ko) * 2018-02-24 2020-10-13 링크플로우 주식회사 사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치
CN112732158B (zh) * 2020-12-31 2023-01-31 维沃移动通信有限公司 可穿戴设备及可穿戴设备的控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100811015B1 (ko) * 2000-02-11 2008-03-11 카네스타, 인코포레이티드 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치
JP2012108857A (ja) * 2010-10-28 2012-06-07 Yoshihiro Wada キー入力装置、それを備える携帯端末および携帯端末を入力装置として機能させるためのプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100811015B1 (ko) * 2000-02-11 2008-03-11 카네스타, 인코포레이티드 가상 입력 장치를 사용하여 데이터를 입력하는 방법 및 장치
JP2012108857A (ja) * 2010-10-28 2012-06-07 Yoshihiro Wada キー入力装置、それを備える携帯端末および携帯端末を入力装置として機能させるためのプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022019416A1 (en) * 2020-07-24 2022-01-27 Samsung Electronics Co., Ltd. Method and electronic device for enabling virtual input on electronic device

Also Published As

Publication number Publication date
KR20160109336A (ko) 2016-09-21

Similar Documents

Publication Publication Date Title
US11099655B2 (en) System and method for gesture based data and command input via a wearable device
KR101873842B1 (ko) 깊이 센서를 이용하는 가상 입력 장치 및 이를 이용하는 방법
US11733808B2 (en) Object detector based on reflected light
CA3051912C (en) Gesture recognition devices and methods
CN105824431B (zh) 信息输入装置与方法
CN105324741B (zh) 光学接近传感器
US20160349926A1 (en) Interface device, portable device, control device and module
EP3139256B1 (en) Wearable touch apparatus and wearable touch method
WO2005002077A1 (en) Pointing device having fingerprint image recognition function, fingerprint image recognition and pointing method, and method for providing portable terminal service using thereof
KR101328385B1 (ko) 접촉식 손가락 마우스 및 이의 동작 방법
KR101452343B1 (ko) 웨어러블 디바이스
WO2012171116A1 (en) Visual feedback by identifying anatomical features of a hand
US20160004351A1 (en) Input device and display
US11886643B2 (en) Information processing apparatus and information processing method
CN109739349A (zh) 一种手掌虚拟键盘输入方法、系统及输入传感识别器
TWM485448U (zh) 影像式虛擬互動裝置
KR20140112316A (ko) 모션인식을 이용한 스마트 디바이스 제어 장치 및 방법
KR101341577B1 (ko) 방향 입력장치 및 이를 이용한 사용자 인터페이스 조작 방법
KR101418018B1 (ko) 터치펜 및 이를 이용한 터치 디스플레이 시스템
KR100629410B1 (ko) 지문인증기능을 구비한 포인팅 장치 및 방법과, 이를 위한 휴대 단말기
KR20160149403A (ko) 웨어러블 데이터 입력장치 및 이를 이용한 데이터 입력방법
US9720513B2 (en) Apparatus and method for receiving a key input
RU2733070C2 (ru) Съемное устройство обработки, хранения и внешнего ввода данных для мобильных устройств
KR102015313B1 (ko) 복합 휴먼 인터페이스가 구비된 전자 기기 및 그 제어 방법
TW201935190A (zh) 輸入裝置及其顯示符號之方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant