KR102660921B1 - 가상 키패드 동작 인지 장치 - Google Patents

가상 키패드 동작 인지 장치 Download PDF

Info

Publication number
KR102660921B1
KR102660921B1 KR1020230129481A KR20230129481A KR102660921B1 KR 102660921 B1 KR102660921 B1 KR 102660921B1 KR 1020230129481 A KR1020230129481 A KR 1020230129481A KR 20230129481 A KR20230129481 A KR 20230129481A KR 102660921 B1 KR102660921 B1 KR 102660921B1
Authority
KR
South Korea
Prior art keywords
finger
axis
selection
position information
value
Prior art date
Application number
KR1020230129481A
Other languages
English (en)
Inventor
장동윤
Original Assignee
주식회사 이노피아테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이노피아테크 filed Critical 주식회사 이노피아테크
Priority to KR1020230129481A priority Critical patent/KR102660921B1/ko
Application granted granted Critical
Publication of KR102660921B1 publication Critical patent/KR102660921B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 가상 키패드의 동작 인지 장치를 개시한다. 상기 가상 키패드 동작 인지 장치는 프로세서 및 상기 프로세서에 작동적으로(operatively) 연결된 메모리를 포함하고, 상기 메모리는, 실행되었을 때 상기 프로세서로 하여금 출력 수단을 통해 출력된 상기 가상 키패드에 대한 사용자의 적어도 하나의 손가락의 움직임을 추적한 위치 정보로, 제1 축에 대한 위치 정보 및 제2 축에 대한 위치 정보를 포함하는 상기 위치 정보를 수신하고, 상기 위치 정보를 일정 시간 간격으로 식별하되, 서로 상기 일정 시간 간격을 갖는 연속된 제1 시점, 제2 시점 및 제3 시점을 식별하고, 상기 제1 시점에서의 상기 제1 축에 대한 위치 정보, 상기 제2 시점에서의 상기 제1 축에 대한 위치 정보, 및 상기 제3 시점에서의 상기 제1 축에 대한 위치 정보를 기초로, 상기 가상 키패드의 유효 영역을 선택하였다고 추측되는 선택 시점과, 상기 선택 시점에 상기 사용자가 선택한 것이 유효한지 판단하고, 상기 사용자의 선택이 유효하다고 판단된 것을 기반으로, 상기 선택 시점의 위치 정보에 대응되는 상기 유효 영역을 선택 영역으로 식별하도록 하는 인스트럭션들(instructions)을 저장한다.

Description

가상 키패드 동작 인지 장치{Device for recognizing virtual keypad gesture}
본 발명은 가상 키패드 동작 인지 장치에 관한 것으로, 가상 키패드에 대한 사용자의 동작을 인지하여 선택 영역을 식별하는 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근 키보드 또는 키패드와 같은 물리적인 입력 인터페이스를 대체하는 기술의 수요가 증가하고 있다. 예를 들어, 물리적인 입력 인터페이스를 대체하는 가상의 인터페이스를 제공하기 위해 키패드 형상의 빔 등을 투사하고, 센서를 이용하여 사용자의 동작을 분석하는 기술이 이용되고 있다. 또는 예를 들어, 물리적인 입력 인터페이스를 대체하는 가상의 인터페이스를 제공하기 위해, 터치 패널에 키패드 형상을 투사하고 사용자가 선택하는 위치 또는 영역을 분석하는 기술이 이용되고 있다.
본 발명의 목적은, 가상 키패드를 이용하는 사용자의 동작을 인식하기 위한 가상 키패드 동작 인지 장치를 제공하는 것이다.
또한, 본 발명의 목적은, 가상 키패드를 이용하는 사용자의 동작에 대한 유효성을 판단하기 위한 가상 키패드 동작 인지 장치를 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 실시예에 따른 가상 키패드의 동작 인지 장치는 프로세서 및 상기 프로세서에 작동적으로(operatively) 연결된 메모리를 포함하고, 상기 메모리는, 실행되었을 때 상기 프로세서로 하여금 출력 수단을 통해 출력된 상기 가상 키패드에 대한 사용자의 적어도 하나의 손가락의 움직임을 추적한 위치 정보로, 제1 축에 대한 위치 정보 및 제2 축에 대한 위치 정보를 포함하는 상기 위치 정보를 수신하고, 상기 위치 정보를 일정 시간 간격으로 식별하되, 서로 상기 일정 시간 간격을 갖는 연속된 제1 시점, 제2 시점 및 제3 시점을 식별하고, 상기 제1 시점에서의 상기 제1 축에 대한 위치 정보, 상기 제2 시점에서의 상기 제1 축에 대한 위치 정보, 및 상기 제3 시점에서의 상기 제1 축에 대한 위치 정보를 기초로, 상기 가상 키패드의 유효 영역을 선택하였다고 추측되는 선택 시점과, 상기 선택 시점에 상기 사용자가 선택한 것이 유효한지 판단하고, 상기 사용자의 선택이 유효하다고 판단된 것을 기반으로, 상기 선택 시점의 위치 정보에 대응되는 상기 유효 영역을 선택 영역으로 식별하도록 하는 인스트럭션들(instructions)을 저장한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 상기 적어도 하나의 손가락의 움직임을 추적한 상기 위치 정보로, 제1 손가락의 제1 위치 정보 및 제2 손가락의 제2 위치 정보를 수신하고, 상기 제1 위치 정보는, 상기 제1 시점의 상기 제1 손가락의 위치 정보, 상기 제2 시점의 상기 제1 손가락의 위치 정보, 및 상기 제3 시점의 상기 제1 손가락의 위치 정보를 포함하고, 상기 제2 위치 정보는, 상기 제1 시점의 상기 제2 손가락의 위치 정보, 상기 제2 시점의 상기 제2 손가락의 위치 정보, 및 상기 제3 시점의 상기 제2 손가락의 위치 정보를 포함한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 상기 제1 시점, 상기 제2 시점 및 상기 제3 시점 각각에서 상기 제1 손가락 및 상기 제2 손가락 각각의 상기 제1 축에 대한 위치 정보를 비교하여, 상기 제1 손가락과 상기 제2 손가락 중 상기 유효 영역을 선택하였다고 추측되는 손가락을 식별하도록 한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 상기 제1 시점, 상기 제2 시점 및 상기 제3 시점 각각에서, 상기 제1 손가락의 상기 제1 축에 대한 위치 정보와 상기 제2 손가락의 상기 제1 축에 대한 위치 정보를 비교하여 더 작은 값을 식별함으로써, 상기 제1 손가락과 상기 제2 손가락 중 상기 유효 영역을 선택하였다고 추측되는 상기 제1 손가락을 식별한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 상기 제1 시점에서의 상기 제1 손가락의 상기 제1 축에 대한 위치 정보인 제1 값 및 상기 제3 시점에서의 상기 제1 손가락의 상기 제1 축에 대한 위치 정보인 제2 값의 평균값과, 상기 제2 시점에서의 상기 제1 손가락의 상기 제1 축에 대한 위치 정보인 제3 값 및 설정된 값을 합한 값을 비교하여, 상기 선택 시점을 식별하도록 한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 상기 제3 값 및 상기 설정된 값을 합한 값과, 상기 제2 값을 비교하여, 상기 선택 시점에 상기 사용자가 선택한 것이 유효한지 판단하도록 한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 상기 평균값이 상기 합한 값보다 크고, 상기 합한 값이 상기 제2 값보다 작은 것에 기반하여, 상기 제2 시점에서의 상기 사용자의 상기 유효 영역에 대한 선택이 유효하다고 판단하도록 한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 상기 평균값이 상기 합한 값보다 작거나 또는, 상기 합한 값이 상기 제2 값보다 큰 것 중 적어도 어느 하나에 해당하는 것에 기반하여, 상기 제2 시점에서의 상기 사용자의 상기 유효 영역에 대한 선택이 유효하지 않다고 판단하도록 한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 촬영 수단으로 상기 가상 키패드와 상기 사용자의 손을 촬영하여 얻은 촬영 이미지를 수신하고, 상기 촬영 이미지는 상기 제1 축 및 상기 제2 축을 포함한다.
본 발명의 실시예에 따른 가상 키패드 동작 인지 방법은, 출력 수단을 통해 출력된 상기 가상 키패드에 대한 사용자의 적어도 하나의 손가락의 움직임을 추적한 위치 정보로, 제1 축에 대한 위치 정보 및 제2 축에 대한 위치 정보를 포함하는 상기 위치 정보를 수신하는 단계, 상기 적어도 하나의 손가락의 움직임을 추적한 상기 위치 정보를 일정 시간 간격으로 식별하는 단계, 서로 상기 일정 시간 간격을 갖는 연속된 제1 시점, 제2 시점 및 제3 시점에 대해, 상기 제1 축에 대한 위치 정보를 기초로, 상기 가상 키패드의 유효 영역을 선택하였다고 추측되는 선택 시점과, 상기 선택 시점에 상기 사용자가 선택한 것이 유효한지 판단하는 단계 및 상기 사용자의 선택이 유효하다고 판단된 것을 기반으로, 상기 선택 시점의 위치 정보에 대응되는 상기 유효 영역을 선택 영역으로 식별하는 단계를 포함한다.
본 발명의 가상 키패드 동작 인지 장치는, 일정 시간 간격을 갖는 연속된 시점에 대한 위치 정보를 기반으로 가상 키패드에 대한 사용자의 동작을 인식함으로써, 선택 영역 식별의 정확도를 향상시킬 수 있다.
또한, 본 발명의 가상 키패드 동작 인지 장치는, 가상 키패드에 대한 사용자의 동작에 관해 선택 시점과 선택의 유효성을 식별함으로써, 선택 동작의 유효성 판단에 대한 정확도를 향상시킬 수 있다.
상술한 내용과 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 실시예에 따른 가상 키패드 동작 인지 장치를 설명하기 위한 도면이다.
도 2는 도 1의 프로세서를 설명하기 위한 도면이다.
도 3은 도 1의 프로세서의 동작을 설명하기 위한 순서도이다.
도 4a, 도 4b, 도 4c 및 도 4d는 도 3의 단계 S100을 설명하기 위한 도면이다.
도 5 및 도 6은 도 3의 단계 S200을 설명하기 위한 도면이다.
도 7, 도 8a, 도 8b, 도 8c 및 도 9는 도 3의 단계 S300 및 단계 S400을 설명하기 위한 도면이다.
본 명세서 및 특허청구범위에서 사용된 용어나 단어는 일반적이거나 사전적인 의미로 한정하여 해석되어서는 아니된다. 발명자가 그 자신의 발명을 최선의 방법으로 설명하기 위해 용어나 단어의 개념을 정의할 수 있다는 원칙에 따라, 본 발명의 기술적 사상과 부합하는 의미와 개념으로 해석되어야 한다. 또한, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명이 실현되는 하나의 실시예에 불과하고, 본 발명의 기술적 사상을 전부 대변하는 것이 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 및 응용 가능한 예들이 있을 수 있음을 이해하여야 한다.
본 명세서 및 특허청구범위에서 사용된 제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. '및/또는' 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서 및 특허청구범위에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호 간 모순되지 않는 범위 내에서 공유될 수 있다.
이하에서는 도면들을 참조하여 본 발명의 실시예에 따른 가상 키패드 동작 인지 장치에 대해 설명한다.
도 1은 본 발명의 실시예에 따른 가상 키패드 동작 인지 장치를 설명하기 위한 도면이다. 도 2는 도 1의 프로세서를 설명하기 위한 도면이다. 도 3은 도 1의 프로세서의 동작을 설명하기 위한 순서도이다.
도 1, 도 2 및 도 3을 참조하면, 본 발명의 실시예에 따른 가상 키패드 동작 인지 장치(100)는, 프로세서(110) 및 메모리(120)를 포함할 수 있다.
가상 키패드 동작 인지 장치(100)에는, 하나 이상의 다른 구성요소(예: 통신 모듈)가 추가될 수 있다.
메모리(120)는, 가상 키패드 동작 인지 장치(100)의 적어도 하나의 구성요소(예: 프로세서(110))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(120)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.
메모리(120)는 가상 키패드 동작 인지 장치(100)에 포함된 구성요소들의 동작과 연관된 명령, 정보 또는 데이터를 저장할 수 있다. 예를 들어, 메모리(120)는, 실행 시에, 프로세서(110)가 본 문서에 기재된 다양한 동작을 수행할 수 있도록 하는 인스트럭션들(instructions)을 저장할 수 있다.
프로세서(110)는 가상 키패드 동작 인지 장치(100)의 전반적인 기능을 수행하기 위하여 메모리(120)와 작동적으로(operatively) 연결될(coupled) 수 있다. 프로세서(110)는 예를 들어, 하나 이상의 프로세서를 포함할 수 있다. 하나 이상의 프로세서는 예를 들어, 이미지 시그널 프로세서(image signal processor, ISP), 애플리케이션 프로세서(application processor, AP), 또는 통신 프로세서(communication processor, CP)를 포함할 수 있다.
프로세서(110)는, 예를 들면, 소프트웨어(예: 프로그램)를 실행하여 프로세서(110)에 연결된 가상 키패드 동작 인지 장치(100)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(110)는 다른 구성요소(예: 통신 모듈())로부터 수신된 명령 또는 데이터를 메모리(120)에 로드하고, 메모리(120)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 메모리(120)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(110)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서는 메인 프로세서보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서는 메인 프로세서와 별개로, 또는 그 일부로서 구현될 수 있다. 프로그램은 메모리(120)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제, 미들 웨어 또는 어플리케이션을 포함할 수 있다.
프로세서(110)는 기록부(111), 연산부(113), 판정부(115) 및 저장부(117)를 포함할 수 있다. 기록부(111)는, 외부로부터 위치 정보를 수신할 수 있다. 기록부(111)는 수신된 위치 정보를 연산부(113)에 전달할 수 있다. 연산부(113)는 위치 정보를 기초로, 가상 키패드의 유효 영역을 선택하였다고 추측되는 손가락, 선택 시점 및 선택의 유효성을 식별할 수 있다. 판정부(115)는 연산부(113)의 식별 결과를 기초로, 가상 키패드의 선택 영역을 식별할 수 있다. 저장부(117)는 기록부(111), 연산부(113) 및 판정부(115)의 출력 중 적어도 하나를 저장할 수 있다. 판정부(115)는 키패드 정보를 출력할 수 있다. 키패드 정보는, 가상 키패드의 유효 영역을 선택하였다고 추측되는 손가락, 선택 시점, 선택의 유효성 및 가상 키패드의 선택 영역을 포함할 수 있다.
가상 키패드는, 실물 키패드가 출력 수단을 통해 투사면에 재현된 것일 수 있다. 투사면은 예를 들어, 평면 투사면일 수 있다. 출력 수단은 예를 들어, 실물 키패드의 이미지를 구현하여 출력할 수 있는 장치일 수 있다. 출력 수단은 예를 들어 카메라 장치 또는 빔 프로젝션일 수 있다. 사용자가 손을 이용하여 가상 키패드의 일부 영역을 선택하는 동작을 취하는 경우, 사용자의 손 동작은 위치 추적 장치에 의해 인식될 수 있다. 위치 추적 장치에 의해 사용자의 손 동작이 인식되는 경우, 사용자의 손가락에 대한 위치 정보가 생성될 수 있다. 사용자가 손을 이용하여 가상 키패드의 일부 영역을 선택하는 경우, 실물 키패드와 동일한 입력 신호가 발생될 수 있다.
가상 키패드 동작 인지 장치(100)의 프로세서(110)(예: 기록부(111))는, 출력 수단을 통해 출력된 가상 키패드에 대한 사용자의 적어도 하나의 손가락의 움직임을 추적한 위치 정보를 수신할 수 있다(S100).
위치 정보는, 제1 축에 대한 위치 정보 및 제2 축에 대한 위치 정보를 포함할 수 있다. 제1 축과 제2 축은 서로 교차하는 방향으로 연장되는 축일 수 있다. 예를 들어, 제1 축은 y 축이고, 제2 축은 x 축일 수 있다.
도 4a, 도 4b, 도 4c 및 도 4d는 도 3의 단계 S100을 설명하기 위한 도면이다.
도 1, 도 2, 도 3 및 도 4a를 참조하면, 출력 수단을 통해 출력되는 가상 키패드는 예를 들어, 비 밀집형 키패드일 수 있다. 비 밀집형 키패드는 예를 들어, 노트북이나 PC에 함께 이용되는 밀집형 키패드(혹은 밀집형 키 인터페이스)가 아닌, 비교적 소수의 키를 포함하는 키패드일 수 있다. 비 밀집형 키패드에 포함된 키 중 특정 키가 선택되는 경우, 선택된 키에 의해 특정 장치의 특정 동작이 실행되기 위한 명령이 출력될 수 있다. 비 밀집형 키패드의 복수의 키는 예를 들어, 일정 간격으로 서로 이격되어 배치될 수 있다. 이에 따라, 비 밀집형 키패드를 출력 수단을 통해 출력하는 경우, 비 밀집형 키패드의 복수의 키에 대응되는 가상 키패드의 유효 영역들은 서로 이격되어 출력될 수 있다.
도 1, 도 2, 도 3 및 도 4b를 참조하면, 가상 키패드는, 출력 수단(13)을 통해 투사면에 출력될 수 있다. 투사면은 예를 들어, 평면 투사면일 수 있다. 출력 수단(13)을 통해 출력되는 가상 키패드는, 촬영 수단(11)에 의해 촬영되고 있을 수 있다. 예를 들어 사용자가 손가락을 이용하여 가상 키패드의 유효 영역을 선택하는 경우, 이는 촬영 수단(11)에 의해 촬영되어 촬영 이미지로 생성될 수 있다. 촬영 이미지는, 위치 정보를 얻기 위해 가상 키패드를 이용하는 사용자의 손가락의 움직임을 추적한 것일 수 있다.
도 1, 도 2, 도 3 및 도 4c를 참조하면, 도 4b의 촬영 수단(11)은 가상 키패드의 사용자의 손가락을 촬영한 촬영 이미지를 생성할 수 있다. 촬영 수단(11)에 의한 촬영 이미지를 기초로, 사용자의 적어도 하나의 손가락의 움직임이 추적될 수 있다. 손가락 움직임의 추적은, 별도의 장치 또는 소프트웨어에 의해 추적될 수 있다. 사용자의 적어도 하나의 손가락의 움직임에 대한 추적 결과는, 위치 정보로서 프로세서(110)(예: 기록부(111))에 수신될 수 있다. 프로세서(110)는 예를 들어, 촬영 이미지를 더 수신할 수 있다.
도 1, 도 2, 도 3 및 도 4d를 참조하면, 도 4d는 가상 키패드 및 가상 키패드를 이용하는 사용자의 손가락이 촬영 수단(도 4b의 11)에 의해 촬영된 촬영 이미지를 도시하고 있다. 촬영 이미지를 기반으로, 제1 축(y 축) 및 제2 축(x 축)이 결정될 수 있다. 사용자의 적어도 하나의 손가락의 움직임에 대한 추적 결과인 위치 정보는, 제1 축(y 축)에 대한 위치 정보(예: b) 및 제2 축(x 축)에 대한 위치 정보(예: a)를 포함할 수 있다. 프로세서(110)는 위치 정보를 외부로부터 수신할 수 있다. 예를 들어, 위치 정보는 사용자의 적어도 하나의 손가락 중, 제1 손가락(f1)의 제1 위치 정보 및 제2 손가락(f2)의 제2 위치 정보를 포함할 수 있다. 도 4d의 촬영 이미지는 예를 들어, 특정 시점에서의 위치 정보(예: T(a, b))를 나타내는 것일 수 있다.
다시 도 1, 도 2 및 도 3을 참조하면 프로세서(110)는, 위치 정보를 일정 시간 간격으로 식별할 수 있다. 프로세서(110)(예: 연산부(113))는, 서로 일정 시간 간격을 갖는 연속된 제1 시점, 제2 시점 및 제3 시점을 식별할 수 있다(S200). 프로세서(110)는, 서로 일정 시간 간격을 갖는 연속된 제1 시점, 제2 시점 및 제3 시점을 포함하는 판단 단위에 대해, 선택 손가락, 선택 시점 및 선택의 유효 여부를 판단할 수 있다.
도 5 및 도 6은 도 3의 단계 S200을 설명하기 위한 도면이다.
도 1, 도 2, 도 3, 도 4d, 도 5 및 도 6을 참조하면, 서로 일정 시간 간격을 갖는 연속된 제1 시점(T1), 제2 시점(T2) 및 제3 시점(T3)은, 하나의 판단 단위일 수 있다. 예를 들어, 프로세서(110)는 사용자의 손가락 각각에 대해 각 시점에서의 위치 정보를 식별할 수 있다. 예를 들어, 도 5가 제1 손가락에 대한 위치 정보인 경우, 제1 손가락의 위치 정보는 제1 시점의 위치 정보(T1(x1, y1)), 제2 시점의 위치 정보(T2(x2, y2)), 제3 시점의 위치 정보(T3(x3, y3)), 및 제4 시점의 위치 정보(T4(x4, y4))를 포함할 수 있다.
프로세서(110)는 예를 들어, 세 개의 연속된 시점(예: 판단 단위)에 대해, 선택 손가락, 선택 시점 및 선택의 유효 여부를 판단할 수 있다. 판단 단위에 포함되는 시점의 개수는 예시적인 것으로, 이에 제한되지 않는다.
예를 들어, 도 4d를 참조하여 설명한 바와 같이, 위치 정보는 사용자의 적어도 하나의 손가락 중, 제1 손가락(f1)의 제1 위치 정보 및 제2 손가락(f2)의 제2 위치 정보를 포함할 수 있다. 제1 위치 정보는, 제1 시점(T1)의 제1 손가락(f1)의 위치 정보(T1(x11, y11)), 제2 시점(T2)의 제1 손가락(f1)의 위치 정보(T2(x12, y12)), 및 제3 시점(T3)의 제1 손가락(f1)의 위치 정보(T3(x13, y13))를 포함할 수 있다. 제2 위치 정보는, 제1 시점(T1)의 제2 손가락(f2)의 위치 정보(T1(x21, y21)), 제2 시점(T2)의 제2 손가락(f2)의 위치 정보(T2(x22, y22)), 및 제3 시점(T3)의 제2 손가락(f2)의 위치 정보(T3(x23, y23))를 포함할 수 있다.
프로세서(110)(예: 연산부(113))는, 사용자의 제1 손가락(f1)과 제2 손가락(f2) 중, 가상 키패드의 유효 영역을 선택하였다고 추측되는 손가락을 식별할 수 있다. 프로세서(110)는 가상 키패드의 유효 영역을 선택하였다고 추측되는 손가락을 식별하기 위해, 제1 시점(T1), 제2 시점(T2) 및 제3 시점(T3) 각각에서 제1 손가락 및 제2 손가락 각각의 제1 축(예: y 축)에 대한 위치 정보를 비교할 수 있다.
프로세서(110)는 제1 시점(T1), 제2 시점(T2) 및 제3 시점(T3) 각각에서, 제1 손가락의 제1 축에 대한 위치 정보와 제2 손가락의 제1 축에 대한 위치 정보를 비교하여 더 작은 값을 식별함으로써, 가상 키패드의 유효 영역을 선택하였다고 추측되는 손가락을 식별할 수 있다. 예를 들어 프로세서(110)는 제1 시점(T1)에서 y11과 y21을 비교하여 더 작은 값을 식별하고, 제2 시점(T2)에서 y12와 y22를 비교하여 더 작은 값을 식별하고, 제3 시점(T3)에서 y13과 y23을 비교하여 더 작은 값을 식별할 수 있다. 예를 들어 제1 시점(T1) 및 제3 시점(T3) 각각에서 각 손가락의 제1 축에 대한 비교 결과 그 차이가 임계값보다 작거나 실질적으로 동일하지만, 제2 시점(T2)에서 y12가 y22 보다 작고 그 차이가 임계값과 같거나 큰 경우, 프로세서(110)는 제1 손가락이 유효 영역을 선택하였다고 추측되는 손가락이라 식별할 수 있다.
다시 도 1, 도 2, 도 3 및 도 6을 참조하면, 프로세서(110)(예: 연산부(113))는, 가상 키패드의 유효 영역을 선택하였다고 추측되는 선택 시점과, 선택 시점에 상기 사용자가 선택한 것이 유효한지(예: 선택의 유효성) 판단할 수 있다(S300). 프로세서(110)는, 제1 시점에서의 제1 축에 대한 위치 정보, 제2 시점에서의 제1 축에 대한 위치 정보, 및 제3 시점에서의 제1 축에 대한 위치 정보를 기초로, 선택 시점 및 선택의 유효성을 판단할 수 있다.
프로세서(110)는, 제1 시점(T1)에서의 제1 손가락(f1)의 제1 축에 대한 위치 정보인 제1 값(y11) 및 제3 시점(T3)에서의 제1 손가락(f1)의 제1 축에 대한 위치 정보인 제2 값(y13)의 평균값을 식별할 수 있다. 또한 프로세서(110)는, 제2 시점(T2)에서의 제1 손가락(f1)의 제1 축에 대한 위치 정보인 제3 값(y12) 및 설정된 값(예: k)을 합한 값을 식별할 수 있다. 프로세서(110)는 평균값과 합한 값을 비교하여, 선택 시점을 식별할 수 있다.
프로세서(110)(예: 판정부(115))는, 사용자의 선택이 유효하다고 판단된 것을 기반으로, 선택 시점의 위치 정보에 대응되는 유효 영역을 선택 영역으로 식별할 수 있다(S400). 프로세서(110)는, 선택이 유효한 경우, 선택 시점에서의 제1 축 및 제2 축 각각에 대한 위치 정보와 가상 키패드에 포함된 복수의 키의 위치 정보를 대응시킬 수 있다. 가상 키패드의 복수의 키가 투사면에 출력되는 영역은 유효 영역일 수 있다. 유효 영역에 대한 위치 정보와 선택 시점에서의 위치 정보를 비교하여, 프로세서(110)는 선택 영역을 식별할 수 있다. 예를 들어 프로세서(110)는 선택 영역을 기초로, 가상 키패드에 대응되는 실물 키패드의 어느 키가 선택되었는지 식별할 수 있다. 이에 따라 선택된 키에 따른 명령이 실행될 수 있다.
도 7, 도 8a, 도 8b, 도 8c 및 도 9는 도 3의 단계 S300 및 단계 S400을 설명하기 위한 도면이다.
프로세서(110)(예: 연산부(113))는, 사용자의 선택 시점을 식별할 수 있다. 프로세서(110)는 평균값과 합한 값을 비교할 수 있다(S301).
평균값은, 기준 이전 시점에서의 제1 값 및 기준 이후 시점에서의 제2 값의 평균값일 수 있다. 예를 들어 기준 시점이 제2 시점(T2)인 경우, 기준 이전 시점은 제1 시점(T1)일 수 있고, 기준 이후 시점은 제3 시점(T3)일 수 있다. 제1 값은 사용자의 하나의 손가락에 대한 제1 축의 위치 정보일 수 있다. 제1 손가락(f1)이 가상 키패드의 유효 영역을 터치하였다고 추측되는 손가락인 경우, 제1 값은 y11일 수 있다. 제2 값은 사용자의 하나의 손가락에 대한 제1 축의 위치 정보일 수 있다. 제1 손가락(f1)이 가상 키패드의 유효 영역을 터치하였다고 추측되는 손가락인 경우, 제2 값은 y13일 수 있다. 프로세서(110)는 제1 값과 제2 값의 평균값을 식별할 수 있다.
합한 값은, 기준 시점에서의 제3 값과 설정된 값을 합한 값일 수 있다. 예를 들어 기준 시점은 제2 시점(T2)일 수 있다. 제3 값은 사용자의 하나의 손가락에 대한 제1 축의 위치 정보일 수 있다. 제1 손가락(f1)이 가상 키패드의 유효 영역을 터치하였다고 추측되는 손가락인 경우, 제3 값은 y12일 수 있다. 설정된 값은 미리 설정된 값으로, 오차 보정을 위한 값일 수 있다. 프로세서(110)는 제3 값과 설정된 값의 합한 값을 식별할 수 있다.
프로세서(110)(예: 연산부(113))는, 합한 값이 평균값 이상인 경우(S301에서 NO), 기준 이후 시점을 기준 시점으로 설정한 후 재판단할 수 있다(S303). 예를 들어 프로세서(110)는 합한 값이 평균값 이상인 경우, 기준 이후 시점을 기준 시점으로 재설정하고, 단계 S301을 반복할 수 있다. 예를 들어, 기준 시점이 제2 시점(T2)이었으나 합한 값이 평균값 이상인 경우, 재설정되는 기준 시점은 제3 시점(T3)이 될 수 있다. 제1 손가락(f1)이 가상 키패드의 유효 영역을 터치하였다고 추측되는 손가락인 경우, 프로세서(110)는 기준 시점을 제3 시점(T3)으로 재설정하고, 기준 이전 시점(제2 시점(T2))에서의 제1 값(y12) 및 기준 이후 시점(제4 시점)에서의 제4 값(예: y14)의 평균값이, 기준 시점(제3 시점(T3))에서의 제3 값(y13)과 설정된 값(예: k)을 합한 값보다 큰지 여부를 재판단할 수 있다.
프로세서(110)(예: 연산부(113))는, 평균값이 합한 값보다 큰 경우(S301에서 YES), 기준 시점이 선택 시점인 것으로 식별할 수 있다(S305). 예를 들어, 기준 시점이 제2 시점(T2)인 경우, 프로세서(110)는 사용자가 가상 키패드의 유효 영역을 제2 시점(T2)에 선택하였다고 식별할 수 있다.
예를 들어, 제2 시점(T2)에 사용자가 제1 손가락을 이용하여 가상 키패드의 유효 영역을 선택한 경우, 제1 시점(T1) 및 제3 시점(T3)에 비해 제2 시점(T2)에서 제1 손가락이 제1 축인 y축 방향을 따라 아래로 내려갔을 것이다. 이 경우, 제1 시점(T1)은 선택하기 전이고, 제2 시점(T2)에서 유효 영역을 선택한 후, 다시 제3 시점(T3)에서 제1 손가락이 제1 축인 y축 방향을 따라 위로 올라갔을 것이다.
프로세서(110)(예: 연산부(113))는, 선택 시점에 사용자의 선택 동작이 유효한 것인지 여부를 판단할 수 있다. 프로세서(110)는 제3 값 및 설정된 값을 합한 값과 제2 값을 비교할 수 있다(S311).
선택 시점이 기준 시점인 제2 시점(T2)으로 식별된 경우, 프로세서(110)는 선택 시점인 제2 시점(T2)에서의 제1 축에 대한 위치 정보인 제3 값(y12) 및 설정된 값(예: k)을 합한 값을 식별할 수 있다. 프로세서(110)는 기준 이후 시점인 제3 시점(T3)에서의 제1 축에 대한 위치 정보인 제2 값(y13)과, 합한 값을 비교할 수 있다.
프로세서(110)(예: 연산부(113))는, 합한 값이 제2 값 이상인 경우(S311에서 NO), 기준 이후 시점을 기준으로 설정한 후 재판단할 수 있다(S313). 합한 값이 제2 값 이상인 경우, 선택 시점으로 식별된 제2 시점(T2)에서 선택으로 추측되는 동작이 있었으나 선택이 유효하지 않음을 의미할 수 있다. 이 경우 프로세서(110)는 선택 시점 및 선택 시점에서의 선택의 유효성을 재판단할 수 있다. 예를 들어 프로세서(110)는 도 7의 단계 S303 및 도 8의 단계 S313을 수행할 수 있다.
예를 들어 도 8b에 도시된 바와 같이, 기준 시점인 제2 시점(T2)에서 선택으로 추측되는 동작이 있었으나, 제3 값(y12) 및 설정된 값(k)을 합한 값이, 제2 값(y13) 이상일 수 있다. 선택 시점(T2)과 선택 시점 직후(T3) 반동이 미미하여, 제1 손가락(f1) 끝의 제1 축의 위치 값의 차이(DIF1)가 설정된 값(k)보다 작은 경우, 식별된 선택 시점(T2)에서의 선택 동작은 유효하지 않다고 판단될 수 있다.
예를 들어 제1 손가락(f1)이 가상 키패드의 유효 영역을 터치하였다고 추측되는 손가락인 경우, 프로세서(110)는 기준 시점을 제3 시점(T3)으로 재설정하고, 단계 S303에 의해 제3 시점(T3)이 선택 시점인지 여부를 판단할 수 있다. 예를 들어 단계 S303에 의해 제3 시점(T3)이 선택 시점으로 식별된 경우, 프로세서(110)는 제3 시점(T3)에서의 제1 축에 대한 위치 정보인 제2 값(y13) 및 설정된 값(예: k)을 합한 값과, 기준 이후 시점인 제4 시점(T4)에서의 제1 축에 대한 위치 정보인 제4 값(예: y14)을 비교할 수 있다.
프로세서(110)(예: 연산부(113))는, 제2 값이 합한 값보다 큰 경우(S311에서 YES), 기준 시점의 선택이 유효한 선택이라 판단할 수 있다(S315). 예를 들어 선택 시점이 기준 시점인 제2 시점(T2)인 경우, 프로세서(110)는 제3 값(y12)과 설정된 값(예: k)을 합한 값을 식별할 수 있다. 합한 값이 기준 시점(즉, 선택 시점)의 이후 시점인 제3 시점(T3)의 제1 축에 대한 위치 정보인 제2 값(y13) 미만인 경우, 프로세서(110)는 선택 시점인 제2 시점(T2)에서 제1 손가락(f1)을 이용한 선택이 유효한 선택임을 식별할 수 있다.
예를 들어 도 8c에 도시된 바와 같이, 기준 시점인 제2 시점(T2)에서 선택으로 추측되는 동작이 있었고, 제2 값(y13)이 제3 값(y12) 및 설정된 값(k)을 합한 값보다 클 수 있다. 선택 시점(T2)과 선택 시점 직후(T3) 반동에 의해, 제1 손가락(f1) 끝의 제1 축의 위치 값의 차이(DIF2)가 설정된 값(k)보다 큰 경우, 식별된 선택 시점(T2)에서의 선택 동작은 유효하다고 판단될 수 있다.
기준 시점이 제2 시점(T2)이고, 가상 키패드의 유효 영역을 선택하였다고 추측되는 사용자의 손가락이 제1 손가락인 경우를 예시로 들어 이하에서 설명한다. 기준 시점이 제2 시점(T2)인 경우, 평균값은 기준 이전 시점(제1 시점(T1))의 제1 값(y11) 및 기준 이후 시점(제3 시점(T3))의 제2 값(y13)의 평균값일 수 있다. 기준 시점이 제2 시점(T2)인 경우, 합한 값은 기준 시점(제2 시점(T2))의 제3 값(y12)과 설정된 값(예: k)을 합한 값일 수 있다.
예를 들어 프로세서(110)는 평균값이 합한 값보다 크고, 합한 값이 제2 값(y13)보다 작은 것에 기반하여, 제2 시점(T2)에서의 사용자의 유효 영역에 대한 선택이 유효하다고 판단할 수 있다. 이 경우 프로세서(110)는 사용자가 제1 손가락을 이용하여 제2 시점(T2)에서 (x12, y12)에 대응되는 유효 영역을 유효하게 선택하였다고 판단할 수 있다.
예를 들어 프로세서(110)는 평균값이 합한 값보다 작고, 합한 값이 제2 값(y13)보다 작은 것에 기반하여, 제2 시점(T2)에서의 사용자의 유효 영역에 대한 선택이 유효하지 않다고 판단할 수 있다. 이 경우 프로세서(110)는 선택 시점 및 선택 시점에서의 선택의 유효성을 재판단(예: 단계 S303 및 단계 S313 수행)할 수 있다.
예를 들어 프로세서(110)는 평균값이 합한 값보다 크고, 합한 값이 제2 값(y13)보다 큰 것에 기반하여, 제2 시점(T2)에서의 사용자의 유효 영역에 대한 선택이 유효하지 않다고 판단할 수 있다. 이 경우 프로세서(110)는 선택 시점 및 선택 시점에서의 선택의 유효성을 재판단(예: 단계 S303 및 단계 S313 수행)할 수 있다.
예를 들어 프로세서(110)는 평균값이 합한 값보다 작고, 합한 값이 제2 값(y13)보다 큰 것에 기반하여, 제2 시점(T2)에서의 사용자의 유효 영역에 대한 선택이 유효하지 않다고 판단할 수 있다. 이 경우 프로세서(110)는 선택 시점 및 선택 시점에서의 선택의 유효성을 재판단(예: 단계 S303 및 단계 S313 수행)할 수 있다.
본 발명의 실시예에 따른 가상 키패드 동작 인지 장치(100)는 가상 키패드에 대한 사용자의 선택 시점 및 선택의 유효성을 식별함으로써, 가상 키패드에 대한 동작 인지의 정확도를 향상시킬 수 있다.
본 문서에서 사용된 용어 "부(unit)"는 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 부(unit)는, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 부(unit)는 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 가상 키패드 동작 인지 장치(100)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 메모리(120))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램)로서 구현될 수 있다. 예를 들면, 기기(예: 가상 키패드 동작 인지 장치(100)의 프로세서(예: 프로세서(110))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 가상 키패드의 동작 인지 장치에 있어서,
    프로세서; 및
    상기 프로세서에 작동적으로(operatively) 연결된 메모리를 포함하고,
    상기 메모리는, 실행되었을 때 상기 프로세서로 하여금:
    출력 수단을 통해 출력된 상기 가상 키패드에 대한 사용자의 적어도 하나의 손가락의 움직임을 추적한 위치 정보로, 제1 축에 대한 위치 정보 및 제2 축에 대한 위치 정보를 포함하는 상기 위치 정보를 수신하고,
    상기 위치 정보를 일정 시간 간격으로 식별하되, 서로 상기 일정 시간 간격을 갖는 연속된 제1 시점, 제2 시점 및 제3 시점을 식별하고,
    상기 제1 시점에서의 상기 제1 축에 대한 위치 정보, 상기 제2 시점에서의 상기 제1 축에 대한 위치 정보, 및 상기 제3 시점에서의 상기 제1 축에 대한 위치 정보를 기초로, 상기 가상 키패드의 유효 영역을 선택하였다고 추측되는 선택 시점과, 상기 선택 시점에 상기 사용자가 선택한 것이 유효한지 판단하고,
    상기 사용자의 선택이 유효하다고 판단된 것을 기반으로, 상기 선택 시점의 위치 정보에 대응되는 상기 유효 영역을 선택 영역으로 식별하도록 하는 인스트럭션들(instructions)을 저장하는
    가상 키패드 동작 인지 장치.
  2. 제1 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 적어도 하나의 손가락의 움직임을 추적한 상기 위치 정보로, 제1 손가락의 제1 위치 정보 및 제2 손가락의 제2 위치 정보를 수신하고,
    상기 제1 위치 정보는, 상기 제1 시점의 상기 제1 손가락의 위치 정보, 상기 제2 시점의 상기 제1 손가락의 위치 정보, 및 상기 제3 시점의 상기 제1 손가락의 위치 정보를 포함하고,
    상기 제2 위치 정보는, 상기 제1 시점의 상기 제2 손가락의 위치 정보, 상기 제2 시점의 상기 제2 손가락의 위치 정보, 및 상기 제3 시점의 상기 제2 손가락의 위치 정보를 포함하는
    가상 키패드 동작 인지 장치.
  3. 제2 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 제1 시점, 상기 제2 시점 및 상기 제3 시점 각각에서 상기 제1 손가락 및 상기 제2 손가락 각각의 상기 제1 축에 대한 위치 정보를 비교하여, 상기 제1 손가락과 상기 제2 손가락 중 상기 유효 영역을 선택하였다고 추측되는 손가락을 식별하도록 하는
    가상 키패드 동작 인지 장치.
  4. 제3 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 제1 시점, 상기 제2 시점 및 상기 제3 시점 각각에서, 상기 제1 축과 교차하는 상기 제2 축으로부터 측정한 상기 제1 축 상에서의 상기 제1 손가락에 대한 위치 정보와 상기 제1 축과 교차하는 상기 제2 축으로부터 측정한 상기 제1 축 상에서의 상기 제2 손가락에 대한 위치 정보를 비교하여 더 작은 값을 식별함으로써, 상기 제1 손가락과 상기 제2 손가락 중 상기 유효 영역을 선택하였다고 추측되는 상기 제1 손가락을 식별하는
    가상 키패드 동작 인지 장치.
  5. 제4 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 제1 시점에서의 상기 제1 축과 교차하는 상기 제2 축으로부터 측정한 상기 제1 축 상에서의 상기 제1 손가락에 대한 위치 정보인 제1 값 및 상기 제3 시점에서의 상기 제1 축과 교차하는 상기 제2 축으로부터 측정한 상기 제1 축 상에서의 상기 제1 손가락에 대한 위치 정보인 제2 값의 평균값과, 상기 제2 시점에서의 상기 제1 축과 교차하는 상기 제2 축으로부터 측정한 상기 제1 축 상에서의 상기 제1 손가락에 대한 위치 정보인 제3 값 및 설정된 값을 합한 값을 비교하여, 상기 선택 시점을 식별하도록 하는
    가상 키패드 동작 인지 장치.
  6. 제5 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 제3 값 및 상기 설정된 값을 합한 값과, 상기 제2 값을 비교하여, 상기 선택 시점에 상기 사용자가 선택한 것이 유효한지 판단하도록 하는
    가상 키패드 동작 인지 장치.
  7. 제6 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 평균값이 상기 합한 값보다 크고, 상기 합한 값이 상기 제2 값보다 작은 것에 기반하여, 상기 제2 시점에서의 상기 사용자의 상기 유효 영역에 대한 선택이 유효하다고 판단하도록 하는
    가상 키패드 동작 인지 장치.
  8. 제6 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 평균값이 상기 합한 값보다 작거나 또는, 상기 합한 값이 상기 제2 값보다 큰 것 중 적어도 어느 하나에 해당하는 것에 기반하여, 상기 제2 시점에서의 상기 사용자의 상기 유효 영역에 대한 선택이 유효하지 않다고 판단하도록 하는
    가상 키패드 동작 인지 장치.
  9. 제1 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    촬영 수단으로 상기 가상 키패드와 상기 사용자의 손을 촬영하여 얻은 촬영 이미지를 수신하고,
    상기 촬영 이미지는 상기 제1 축 및 상기 제2 축을 포함하는
    가상 키패드 동작 인지 장치.
  10. 가상 키패드 동작 인지 방법에 있어서,
    출력 수단을 통해 출력된 상기 가상 키패드에 대한 사용자의 적어도 하나의 손가락의 움직임을 추적한 위치 정보로, 제1 축에 대한 위치 정보 및 제2 축에 대한 위치 정보를 포함하는 상기 위치 정보를 수신하는 단계;
    상기 적어도 하나의 손가락의 움직임을 추적한 상기 위치 정보를 일정 시간 간격으로 식별하는 단계;
    서로 상기 일정 시간 간격을 갖는 연속된 제1 시점, 제2 시점 및 제3 시점에 대해, 상기 제1 축에 대한 위치 정보를 기초로, 상기 가상 키패드의 유효 영역을 선택하였다고 추측되는 선택 시점과, 상기 선택 시점에 상기 사용자가 선택한 것이 유효한지 판단하는 단계; 및
    상기 사용자의 선택이 유효하다고 판단된 것을 기반으로, 상기 선택 시점의 위치 정보에 대응되는 상기 유효 영역을 선택 영역으로 식별하는 단계를 포함하는
    가상 키패드 동작 인지 방법.
KR1020230129481A 2023-09-26 2023-09-26 가상 키패드 동작 인지 장치 KR102660921B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230129481A KR102660921B1 (ko) 2023-09-26 2023-09-26 가상 키패드 동작 인지 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230129481A KR102660921B1 (ko) 2023-09-26 2023-09-26 가상 키패드 동작 인지 장치

Publications (1)

Publication Number Publication Date
KR102660921B1 true KR102660921B1 (ko) 2024-04-25

Family

ID=90885001

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230129481A KR102660921B1 (ko) 2023-09-26 2023-09-26 가상 키패드 동작 인지 장치

Country Status (1)

Country Link
KR (1) KR102660921B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100713720B1 (ko) * 2005-12-29 2007-05-04 주식회사 웰텍텔레콤 가상 키보드의 키패드
KR102342536B1 (ko) * 2021-06-02 2021-12-22 양창준 홀로그램 터치 디스플레이 장치 및 홀로그램 터치 동작 제어 방법
KR102394614B1 (ko) * 2020-09-07 2022-05-04 숭실대학교산학협력단 키패드 입력 장치 및 방법
KR20230080935A (ko) * 2021-11-30 2023-06-07 한성대학교 산학협력단 터치패널 위치에 따른 터치의 편리함을 감지하는 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100713720B1 (ko) * 2005-12-29 2007-05-04 주식회사 웰텍텔레콤 가상 키보드의 키패드
KR102394614B1 (ko) * 2020-09-07 2022-05-04 숭실대학교산학협력단 키패드 입력 장치 및 방법
KR102342536B1 (ko) * 2021-06-02 2021-12-22 양창준 홀로그램 터치 디스플레이 장치 및 홀로그램 터치 동작 제어 방법
KR20230080935A (ko) * 2021-11-30 2023-06-07 한성대학교 산학협력단 터치패널 위치에 따른 터치의 편리함을 감지하는 방법 및 장치

Similar Documents

Publication Publication Date Title
US20220383535A1 (en) Object Tracking Method and Device, Electronic Device, and Computer-Readable Storage Medium
CN112506340B (zh) 设备控制方法、装置、电子设备及存储介质
KR102347248B1 (ko) 터치 제스쳐 인식 방법 및 장치
US20130272570A1 (en) Robust and efficient learning object tracker
JP2014038527A (ja) 入力装置、入力方法、及びプログラム
KR20120058996A (ko) 객체 제어 장치 및 방법
US20150185850A1 (en) Input detection
US20190370982A1 (en) Movement learning device, skill discriminating device, and skill discriminating system
CN110796259A (zh) 用于确定外围设备位移的方法和系统
US20160124512A1 (en) Gesture recognition using gesture elements
US20140204018A1 (en) Input method, input device, and storage medium
WO2012059595A1 (en) Touch detection
KR102660921B1 (ko) 가상 키패드 동작 인지 장치
JP2007241833A (ja) 認識装置、認識システム、形状認識方法、プログラム及びコンピュータ読み取り可能な記録媒体
CN110764652A (zh) 红外触摸屏及其触摸点预测方法
CN111796701A (zh) 模型训练方法、操作处理方法、装置、存储介质及设备
KR20190132885A (ko) 영상으로부터 손을 검출하는 장치, 방법 및 컴퓨터 프로그램
JP2015191250A (ja) 情報処理装置、及びその制御方法、プログラム、記録媒体
KR102079121B1 (ko) 이미지로부터 복수의 물체를 식별하는 방법 및 장치, 컴퓨터 판독 가능한 저장 매체
JP6209067B2 (ja) 画像認識装置、及び画像認識方法
CN111742349B (zh) 信息处理装置、信息处理方法以及信息处理存储介质
KR20220086971A (ko) 손 관절을 추적하는 방법 및 장치
KR102581701B1 (ko) 매장의 결제 서비스를 제공하는 전자 장치 및 방법
TW201312380A (zh) 光學觸控系統
WO2014030442A1 (ja) 入力装置、入力方法、プログラム、及び、電子看板

Legal Events

Date Code Title Description
GRNT Written decision to grant