KR20160060385A - 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치 - Google Patents

사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치 Download PDF

Info

Publication number
KR20160060385A
KR20160060385A KR1020140162603A KR20140162603A KR20160060385A KR 20160060385 A KR20160060385 A KR 20160060385A KR 1020140162603 A KR1020140162603 A KR 1020140162603A KR 20140162603 A KR20140162603 A KR 20140162603A KR 20160060385 A KR20160060385 A KR 20160060385A
Authority
KR
South Korea
Prior art keywords
finger
button
electronic device
fingers
consonant
Prior art date
Application number
KR1020140162603A
Other languages
English (en)
Other versions
KR101662740B1 (ko
Inventor
배수정
김혜선
정문식
최성도
최현수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140162603A priority Critical patent/KR101662740B1/ko
Priority to PCT/KR2015/011132 priority patent/WO2016080662A1/ko
Priority to US15/528,304 priority patent/US20170329460A1/en
Publication of KR20160060385A publication Critical patent/KR20160060385A/ko
Application granted granted Critical
Publication of KR101662740B1 publication Critical patent/KR101662740B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/018—Input/output arrangements for oriental characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Document Processing Apparatus (AREA)

Abstract

전자 장치가 한글을 입력을 수신하는 방법 및 장치를 제공한다. 한글 자음을 입력하기 위한 자음 버튼들을 전자 장치의 화면 상에 디스플레이하는 단계; 사용자의 손가락들을 식별하는 단계; 손가락들 중 제1 손가락의 모션이 감지됨에 따라, 제1 손가락의 위치에 대응되는 자음 버튼을 선택하는 단계; 자음 버튼이 선택됨에 따라, 손가락들 중 제2 손가락, 제3 손가락 및 제4 손가락에 대응되며, 한글 모음을 입력하기 위한 모음 버튼들을 전자 장치의 화면 상에 디스플레이하는 단계; 및 제2 손가락, 제 3 손가락 및 제4 손가락 중 적어도 하나의 손가락의 모션이 감지됨에 따라, 적어도 하나의 손가락에 대응되는 적어도 하나의 모음 버튼을 선택하는 단계; 를 포함하는 한글 입력 방법을 제공한다.

Description

사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치{APPARATUS AND METHOD FOR INPUTTING KOREAN BASED ON A MOTION OF USER’S FINGERS}
본 발명은 사용자 손가락의 모션에 기반하여 한글을 입력하는 방법 및 장치에 관한 발명이다.
디지털 환경이 발전함에 따라, 데이터방송, IPTV, 스마트TV 등과 같은 장치에서도 검색, 트위팅, 메일 작성 등과 같이 텍스트 문자입력 기능이 필요한 어플리케이션 널리 활용되고 있다.
그러나 문자입력 방식에 대한 사용자의 기대와는 달리 리모컨을 이용한 문자 입력방식은 너무나 어렵고 비효율적이며, 키보드 입력 방식은 TV를 시청하는 공간이 주로 거실이기에 키보드를 놓을 공간이 없는 경우가 많아 이용의 제약이 따른다.
따라서, 리모콘 또는 키보드 등을 대체할 수 있는 정확하고 편리한 문자입력 장치가 필요하다.
본 개시는 전자 장치가 사용자의 손가락들의 모션에 기반하여 한글 입력을 수신하는 방법 및 장치를 제공하는데 목적이 있다.
본 개시의 일부 실시예에 따른 전자 장치가 한글 입력을 수신하는 방법은, 한글 자음을 입력하기 위한 자음 버튼들을 전자 장치의 화면 상에 디스플레이하는 단계; 사용자의 손가락들을 식별하는 단계; 손가락들 중에서 제1 손가락의 모션이 감지됨에 따라, 제1 손가락의 위치에 대응되는 자음 버튼을 선택하는 단계; 자음 버튼이 선택됨에 따라, 손가락들 중에서 제2 손가락, 제3 손가락 및 제4 손가락에 대응되며, 한글 모음을 입력하기 위한 모음 버튼들을 전자 장치의 화면 상에 디스플레이하는 단계; 및 제2 손가락, 제 3 손가락 및 제4 손가락 중 적어도 하나의 손가락의 모션이 감지됨에 따라, 적어도 하나의 손가락에 대응되는 적어도 하나의 모음 버튼을 선택하는 단계; 를 포함할 수 있다.
또한, 제1 손가락은, 손가락들 중에서 검지 손가락이며, 제2 손가락, 제3 손가락 및 제4 손가락은, 손가락들 중에서 중지 손가락, 약지 손가락, 및 소지 손가락일 수 있다.
또한, 사용자의 손가락들을 식별하는 단계는, 손가락들을 촬영하는 단계; 및 촬영된 손가락들의 종류를 식별하는 단계; 를 포함할 수 있다.
또한, 한글 입력 방법은, 제1 손가락의 위치를 트래킹(tracking)하는 단계; 및 트래킹된 제1 손가락의 위치에 기초하여, 커서(cursor)를 디스플레이하는 단계;를 더 포함할 수 있다.
또한, 자음 버튼을 선택하는 단계는, 제1 손가락을 구부리는 모션을 감지하는 단계; 및 모션이 감지됨에 따라, 커서가 디스플레이되는 영역에 대응되는 자음 버튼을 선택하는 단계;를 포함할 수 있다
또한, 모음 버튼들은, 천지인(ㅣ, ·, ㅡ) 입력 방식으로 모음을 입력하기 위한 “ㅣ” 버튼, “·” 버튼 및 “ㅡ” 버튼을 포함할 수 있다.
또한, 적어도 하나의 모음 버튼을 선택하는 단계는, 제2 손가락, 제3 손가락 및 제4 손가락 중 적어도 하나의 손가락을 구부리는 모션을 감지하는 단계; 및 적어도 하나의 손가락에 대응되는 적어도 하나의 모음 버튼을 선택하는 단계; 를 포함할 수 있다.
또한, 자음 버튼이 선택됨에 따라, 손가락들 중에서 제5 손가락에 대응되는, 스페이스(space, V), 백스페이스(back space, ←), 및 쌍자음 중 하나를 입력하기 위한 버튼을 디스플레이하는 단계;를 더 포함할 수 있다.
또한, 제5 손가락은, 손가락들 중에서 엄지 손가락일 수 있다.
또한, 자음 버튼이 선택됨에 따라, 제2 손가락, 제3 손가락 및 제4 손가락에 대응되는 모음 버튼들, 및 제5 손가락에 대응되는 버튼이 함께 디스플레이될 수 있다.
본 개시의 일부 실시예에 따른 전자 장치는 한글 자음을 입력하기 위한 자음 버튼들을 전자 장치의 화면 상에 디스플레이하는, 디스플레이부; 및 사용자의 손가락들을 식별하고, 손가락들 중에서 제1 손가락의 모션이 감지됨에 따라, 제1 손가락의 위치에 대응되는 자음 버튼을 선택하는, 제어부; 를 포함할 수 있으며, 디스플레이부는, 자음 버튼이 선택됨에 따라, 손가락들 중에서 제2 손가락, 제3 손가락 및 제 4 손가락에 대응되며, 한글 모음을 입력하기 위한 모음 버튼들을 전자 장치의 화면 상에 디스플레이하고, 제어부는, 제2 손가락, 제3 손가락, 및 제 4 손가락 중 적어도 하나의 손가락의 모션이 감지됨에 따라, 적어도 하나의 손가락에 대응되는 적어도 하나의 모음 버튼을 선택할 수 있다.
또한, 제1 손가락은, 사용자의 손가락들 중에서 검지 손가락이며, 제2 손가락, 제3 손가락 및 제4 손가락은, 사용자의 손가락들 중에서 중지 손가락, 약지 손가락 및 소지 손가락일 수 있다.
또한, 전자 장치는, 손가락들을 촬영하는, 사용자 입력부;를 더 포함하며, 제어부는, 촬영된 손가락들의 종류를 식별할 수 있다.
또한, 제어부는, 제1 손가락의 위치를 트래킹(tracking)하고, 디스플레이부는, 트래킹된 제1 손가락의 위치에 기초하여, 커서(cursor)를 디스플레이할 수 있다.
또한, 제어부는, 제1 손가락을 구부리는 모션을 감지하고, 모션이 감지됨에 따라, 커서가 디스플레이되는 영역에 대응되는 자음 버튼을 선택할 수 있다.
또한, 모음 버튼들은, 천지인(ㅣ, ·, ㅡ) 입력 방식으로 모음을 입력하기 위한 “ㅣ” 버튼, “·” 버튼 및 “ㅡ” 버튼을 포함할 수 있다.
또한, 제어부는, 제2 손가락, 제3 손가락 및 제4 손가락 중 적어도 하나의 손가락을 구부리는 모션을 감지하고, 적어도 하나의 손가락에 대응되는 적어도 하나의 모음 버튼을 선택할 수 있다.
또한, 디스플레이부는, 손가락들 중에서 제 5 손가락에 대응되는, 스페이스(space,V), 백스페이스(back space,←), 및 쌍자음 중 하나를 입력하기 위한 버튼을 디스플레이하며, 제 5 손가락은, 손가락들 중에서 엄지 손가락일 수 있다.
또한, 디스플레이부는, 자음 버튼이 선택됨에 따라, 제2 손가락, 제3 손가락 및 제4 손가락에 대응되는 모음 버튼들, 및 제 5 손가락에 대응되는 버튼이 함께 디스플레이될 수 있다.
도 1은 본 개시의 일 실시예에 따른 전자 장치에서 한글을 입력하는 방법을 설명하는 개요도이다.
도 2는 본 개시의 일 실시예에 따른 한글 입력 방법을 설명하는 도면이다.
도 3a 및 도 3b는 전자 장치가 한글 자음을 입력하기 위한 자음 버튼들을 디스플레이하는 일례를 나타내는 도면이다.
도 4a 및 도 4b는 전자 장치가 한글을 입력하기 위한 한글 모음 버튼들을 디스플레이하는 일례를 나타내는 도면이다.
도 5는 사용자의 손가락들에 대응되는 모음 버튼들이 저장된 매핑 테이블의 일례를 나타내는 도면이다.
도 6은 사용자의 손가락 모션에 기반하여 한글을 입력하는 방법의 일례를 나타내는 도면이다.
도 7은 본 개시의 일부 실시예에 따른 전자 장치를 나타내는 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 “모션”이란 사용자가 각 손가락을 일정 공간 내에서 움직임으로써, 전자 장치로부터 이격된 거리에서 전자 장치의 화면 상에 디스플레이된 버튼을 선택하기 위한 동작일 수 있다.
명세서 전체에서 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성요소로 명명될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 전자 장치에서 한글을 입력하는 방법을 설명하는 개요도이다.
도 1에 도시된 바와 같이, 본 개시의 일부 실시예에 따른 전자 장치(100)는 사용자의 손가락들의 모션에 기초하여, 한글 문자를 입력할 수 있다.
일부 실시예에 의하면, 전자 장치(100)는 한글 입력이 필요한 경우(예컨대, 검색 애플리케이션에서 사용자로부터 검색식을 입력 받는 경우), 한글 자음을 입력하기 위한 자음 버튼들(예컨대, “ㄱ” 버튼, “ㄴ” 버튼 등)을 화면에 디스플레이할 수 있다. 이 경우, 카메라(110)는 사용 가능 상태일 수 있다.
일부 실시예에 의하면, 카메라(110)는 사용자의 손 및 손가락들을 촬영할 수 있다. 또한, 전자 장치(100)는 쵤영된 이미지에 기초하여, 전자 장치(100)와 일정 거리 내에 위치하는 사용자의 손가락들의 종류를 식별할 수 있다.
또한, 전자 장치(100)는 사용자의 검지 손가락을 트래킹(tracking)할 수 있다. 여기서, 트래킹이란 전자 장치(100)가 소정 객체의 위치를 추적하여 화면의 좌표 데이터로 변환하는 작업일 수 있다. 또한, 전자 장치(100)는 트래킹되는 검지 손가락의 위치에 기초하여, 화면 상의 커서(cursor)(140)를 디스플레이할수 있다. 또한, 전자 장치(100)는 사용자의 검지 손가락의 모션을 감지할 수 있다. 전자 장치(100)는 검지 손가락의 모션이 감지됨에 따라, 디스플레이된 자음 버튼들(120) 중에서 하나의 자음 버튼을 선택할 수 있다.
예를 들어, 전자 장치(100)는 사용자의 검지 손가락을 구부리는 사용자의 손가락 모션(130)이 감지됨에 따라, 커서(140)의 위치에 대응되는 자음 버튼(예컨대, “ㅂ” 버튼)을 선택할 수 있다.
이후, 전자 장치(100)는 자음 버튼이 선택됨에 따라, 한글 모음을 입력하기 위한 모음 버튼들(150)을 디스플레이할 수 있다. 또한, 전자 장치(100)는 스페이스(space)를 입력하기 위한 스페이스(V) 버튼(160)을 모음 버튼들(150)과 함께 디스플레이할 수도 있다.
또한, 전자 장치(100)는 사용자의 중지 손가락, 약지 손가락, 소지 손가락 및 엄지 손가락의 모션이 감지됨에 따라, 각 손가락들에 대응되는 모음 버튼을 선택할 수 있다.
예를 들어, 전자 장치(100)는 약지 손가락 및 소지 손가락을 순차적으로 구부리는 사용자의 손가락 모션이 감지됨에 따라, 약지 손가락에 대응되는 “·” 버튼 및 소지 손가락에 대응되는 “ㅡ” 버튼을 선택할 수 있다. 이 경우, 전자 장치(100)는 선택된 버튼들에 대응되는 “·” 및 “ㅡ”를 조합하여 한글 모음 “ㅗ”를 완성할 수 있다.
일부 실시예에 의하면, 전자 장치(100)는 사용자의 각 손가락에 대응되는 버튼에 대한 정보를 포함하는 매핑 테이블(mapping table)을 획득할 수 있다. 매핑 테이블에 대해서는, 도 5에서 후술하기로 한다.
전자 장치(100)는 전술한 방법을 반복함으로써, 한글의 초성, 중성 및 종성을 입력하기 위한 버튼들을 선택할 수 있다.
한편, 일부 실시예에 의하면, 전자 장치(100)는, TV, HBBTV(Hybrid Broadcast Broadband TV), 스마트 TV, IPTV(Internet Protocol TV), 스마트폰(Smart Phone), 태블릿 폰(Tablet), 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 및 GPS(global positioning system) 장치 등을 포함할 수 있으며, 이에 한정되지 않고 한글을 입력할 수 있는 다양한 장치를 포함할 수 있다.
또한, 카메라(110)는, 뎁스 카메라(Depth Camera), 및 적외선 카메라 등을 포함할 수 있으며, 이에 한정되지 않고, 이미지를 촬영할 수 있는 다양한 장치를 포함할 수 있다. 카메라(110)는 전자 장치(100)에 포함될 수 있으며, 독립적으로 존재할 수도 있다. 카메라(110)가 독립적으로 존재하는 경우, 카메라(110)에서 촬영된 이미지는 유선 또는 무선 네트워크를 통하여 전자 장치(100)에게 전송할 수 있다.
본 개시의 일 실시예에 따른 전자 장치(100)는, 자음 버튼이 선택됨에 따라, 각각의 모음 버튼들에 대응되는 사용자 손가락들의 모션을 감지함으로써, 한글을 입력할 수 있다. 따라서, 사용자는 모음 버튼을 선택하기 위하여 커서(140)를 이동시킬 필요가 없으므로 신속하게 한글을 입력할 수 있다.
도 2는 본 개시의 일 실시예에 따른 한글 입력 방법을 설명하는 도면이다.
도 2를 참조하면, 단계 S210에서, 전자 장치(100)는 한글 자음을 입력하기 위한 자음 버튼들을 디스플레이할 수 있다.
일 실시예에 의하면, 자음 버튼들은 한글 단자음을 입력하기 위한 14개의 자음 버튼들을 포함할 수 있다. 또한, 자음 버튼들은 한글 쌍자음 및 단자음을 입력하기 위한 19개의 자음 버튼들을 포함할 수도 있다.
전자 장치(100)가 14개의 자음 버튼들을 포함하는 경우, 전자 장치(100)는 자음 버튼을 두 번 선택하는 사용자 입력에 기초하여, 자음 버튼에 대응되는 쌍자음을 선택할 수 있다. 또한, 전자 장치(100)는 쌍자음을 입력하기 위한 별도의 쌍자음 버튼을 디스플레이할 수도 있다.
단계 S220에서, 전자 장치(100)는 사용자의 손가락들을 식별할 수 있다.
일부 실시예에 의하면, 전자 장치(100)는 전자 장치(100)의 전면에 위치하는 카메라를 이용하여 사용자의 손가락들을 촬영할 수 있다. 전자 장치(100)는, 한글 문자 입력이 필요한 경우, 자동으로 카메라를 사용 가능 상태로 할 수 있다.
예를 들어, 전자 장치(100)는 검색 애플리케이션의 검색창이 실행되는 경우, 자음 버튼들을 디스플레이하고 카메라를 사용 가능 상태로 할 수 있다.
또한, 전자 장치(100)는 촬영된 이미지에 기초하여, 사용자의 손가락들의 종류를 식별 할 수 있다.
일부 실시예에 의하면, 전자 장치(100)는 촬영된 이미지에 대하여 화상 처리(Image Processing)를 수행할 수 있다.
예를 들어, 전자 장치(100)는 기계학습(machine learning), 패턴인식(Pattern Recognition), 및 컴퓨터 비전(Computer Vision) 알고리즘 등에 기초하여, 촬영된 이미지로부터 사용자의 손 및 손가락들을 식별할 수 있다.
일부 실시예에 의하면, 전자 장치(100)는 촬영된 이미지에 대한 화상 처리를 통하여, 사용자의 엄지 손가락, 검지 손가락, 중지 손가락, 약지 손가락 및 소지 손가락을 식별할 수 있다.
단계 S230에서, 전자 장치(100)는 사용자의 검지 손가락의 모션이 감지됨에 따라, 검지 손가락의 위치에 대응되는 자음 버튼을 선택할 수 있다.
일부 실시예에 의하면, 전자 장치(100)는 식별된 사용자의 손가락들 중에서 검지 손가락의 위치를 트래킹(tracking)할 수 있다. 여기서, 트래킹이란 전자 장치(100)가 소정 객체의 위치를 추적하여 화면의 좌표 데이터로 변환하는 작업일 수 있다.
또한, 전자 장치(100)는 트래킹되는 검지 손가락의 위치에 따라, 화면 상의 커서(cursor)를 디스플레이할 수 있다.
또한, 전자 장치(100)는 트래킹되는 검지 손가락을 구부리는 사용자의 손가락 모션을 감지할 수 있다.
일부 실시예에 의하면, 전자 장치(100)는 카메라에서 촬영된 이미지에 기초하여, 사용자의 검지 손가락을 구부리는 손가락 모션을 감지할 수 있다. 또한, 전자 장치(100)는, 손가락 모션이 감지됨에 따라, 커서와 중첩되어 디스플레이되는 자음 버튼(예컨대, “ㅂ” 버튼)을 선택할 수 있다.
또한, 일부 실시예에 의하면, 전자 장치(100)는 사용자의 검지 손가락을 소정 시간 동안(예컨대, 1초) 정지하는 손가락 모션이 감지됨에 따라, 커서와 중첩되어 디스플레이되는 자음 버튼을 선택할 수 있다.
또한, 전자 장치(100)는 사용자의 검지 손가락을 전자 장치(100)를 향하여 일직선으로 움직이는 손가락 모션이 감지됨에 따라, 커서와 중첩되어 디스플레이되는 자음 버튼을 선택할 수도 있다.
일부 실시예에 의하면, 전자 장치(100)는 디스플레이된 자음 버튼들 중에서 하나의 자음 버튼이 선택되었음을 사용자에게 알릴 수 있다. 예를 들어, 전자 장치(100)는 선택된 자음 버튼의 색상을 변경하여 디스플레이할 수 있다.
또한, 전자 장치(100)는 선택된 자음 버튼에 대응되는 자음(예컨대, ㅂ)을 화면에 디스플레이할 수도 있다.
한편, 상기에서는, 전자 장치(100)가 사용자의 검지 손가락에 기초하여, 자음 버튼을 선택하는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 전자 장치(100)는 다른 손가락에 기초하여, 자음 버튼을 선택할 수도 있다.
단계 S240에서, 하나의 자음 버튼이 선택됨에 따라, 사용자의 손가락들 중에서 중지 손가락, 약지 손가락 및 소지 손가락에 대응되며, 한글 모음을 입력하기 위한 모음 버튼들을 디스플레이할 수 있다.
일부 실시예에 의하면, 한글 모음을 입력하기 위한 모음 버튼들은 천지인(ㅣ, ·,ㅡ) 입력 방식으로 한글 모음을 입력하기 위하여, “ㅣ” 버튼 “·” 버튼 및 “ㅡ” 버튼을 포함할 수 있다.
또한, 전자 장치(100)는 사용자의 엄지 손가락에 대응되며, 스페이스(space)를 입력하기 위한 스페이스(V) 버튼을 모음 버튼들과 함께 디스플레이 할 수 있다.
또한, 전자 장치(100)는 스페이스 버튼 대신 쌍자음 또는 백스페이스(back space)를 입력하기 위한 버튼을 디스플레이할 수도 있다.
일부 실시예에 의하면, 전자 장치(100)는 디스플레이된 자음 버튼들 중에서 하나의 자음 버튼이 선택됨에 따라, 선택된 자음 버튼과 인접한 위치에 모음 버튼들 및 스페이스 버튼을 디스플레이할 수 있다.
또한, 전자 장치(100)는 하나의 자음 버튼이 선택됨에 따라, 화면 상의 소정 위치에 모음 버튼들을 디스플레이할 수도 있다. 예를 들어, 전자 장치(100)는 모음 버튼들을 화면의 상단 또는 하단에 디스플레이할 수 있다.
또한, 전자 장치(100)는 각 손가락에 대응되는 버튼들을 직관적으로 표시하기 위하여, 사용자의 손 이미지와 함께 각 손가락에 대응되는 버튼들을 디스플레이할 수도 있다.
또한, 전자 장치(100)는 사용자의 손 모양에 따라, 모음 버튼들 및 스페이스 버튼의 디스플레이되는 순서를 결정할 수 있다.
예를 들어, 전자 장치(100)는 사용자가 오른손으로 한글을 입력하는 경우, 오른손의 엄지 손가락, 중지 손가락, 약지 손가락 및 소지 손가락에 대응되는, “·” 버튼, “ㅣ” 버튼, “·” 버튼 및 “ㅡ” 버튼을 화면 왼쪽부터 순서대로 디스플레이할 수 있다. 반면, 전자 장치(100)는 사용자가 왼손으로 한글을 입력하는 경우, “·” 버튼, “ㅣ” 버튼, “·버튼 및 “ㅡ” 버튼을 화면 오른쪽부터 순서대로 디스플레이할 수 있다.
일부 실시예에 의하면, 전자 장치(100)는 “ㅣ” 버튼, “·” 버튼, “ㅡ” 버튼 및 스페이스 버튼에 대응되는 각 손가락에 대한 정보를 포함하는 매핑 테이블을 획득할 수 있다.
또한, 전자 장치(100)는 매핑 테이블을 변경함으로써, 디스플레이되는 버튼들의 종류를 변경할 수 있다. 예를 들어, 전자 장치(100)는 매핑 테이블의 스페이스 버튼이 백스페이스 버튼으로 변경됨에 따라, 스페이스 버튼 대신 백스페이스 버튼을 디스플레이할 수 있다.
또한, 전자 장치(100)는 매핑 테이블을 변경함으로써, 각 버튼들에 대응되는 사용자의 손가락을 변경할 수도 있다.
일부 실시예에 의하면, 전자 장치(100)는 매핑 테이블을 변경시키기 위한 사용자 입력을 수신할 수도 있다.
예를 들어, 전자 장치(100)는 엄지 손가락에 대응되는 스페이스 버튼을 “ㅣ” 버튼으로 변경시키기 위한 사용자 입력을 수신할 수 있다. 전자 장치(100)는 사용자 입력에 기초하여, 매핑 테이블을 변경할 수 있다.
또한, 전자 장치(100)는 디스플레이되는 버튼들의 위치를 변경시키기 위한 사용자 입력을 수신할 수도 있다.
단계 S250에서, 전자 장치(100)는 사용자의 중지 손가락, 약지 손가락 및 소지 손가락 중에서 적어도 하나의 손가락의 모션이 감지됨에 따라, 적어도 하나의 손가락에 대응되는 적어도 하나의 모음 버튼을 선택할 수 있다.
일부 실시예에 의하면, 전자 장치(100)는 카메라로부터 획득된 이미지에 기초하여, 사용자의 중지 손가락, 약지 손가락 및 소지 손가락의 모션을 감지할 수 있다.
일부 실시예에 의하면, 전자 장치(100)는 중지 손가락, 약지 손가락 및 소지 손가락 중에서 적어도 하나의 손가락을 구부리는 손가락 모션을 감지할 수 있다.
또한, 일부 실시예에 의하면, 전자 장치(100)는 사용자의 중지 손가락, 약지 손가락 및 소지 손가락 중에서 적어도 하나의 손가락을 일정 공간 내에서 위아래 흔드는 손가락 모션을 감지할 수도 있다.
또한, 전자 장치(100)는 사용자의 중지 손가락, 약지 손가락 및 소지 손가락 중에서 적어도 하나의 손가락을 일정 공간 내에서 좌우로 흔드는 손가락 모션을 감지할 수도 있다.
일부 실시예에 의하면, 전자 장치(100)는 손가락 모션이 감지됨에 따라, 적어도 하나의 손가락에 대응되는 적어도 하나의 모음 버튼을 선택할 수 있다.
예를 들어, 전자 장치(100)는 중지 손가락을 구부리는 손가락 모션이 감지되는 경우, 중지 손가락에 대응되는 “ㅣ” 버튼을 선택할 수 있다.
또한, 전자 장치(100)는 중지 손가락 및 약지 손가락을 구부리는 손가락 모션이 감지됨에 따라, 중지 손가락 및 약지 속가락에 각각 대응되는 “ㅣ” 버튼 및 “·” 버튼을 선택할 수 있다. 이 경우, 전자 장치(100)는 “ㅣ” 버튼 및 “·” 버튼에 대응되는 “ㅣ” 및 “·”를 조합하여 한글 모음 “ㅏ”를 완성할 수 있다.
또한, 전자 장치(100)는 적어도 하나의 모음이 선택되었음을 사용자에게 알릴 수 있다.
예를 들어, 전자 장치는 선택된 모음 버튼의 색상을 변경하여 디스플레이할 수 있다. 또한, 전자 장치(100)는 선택된 모음 버튼에 대응되는 모음(예컨대, “ㅣ”)을 디스플레이할 수도 있다.
또한, 전자 장치(100)는 단계 S230 내지 S250을 선택적으로 반복함으로써, 한글 문자의 종성(받침)을 선택할 수 있으며, 새로운 한글 문자를 선택할 수도 있다.
예를 들어, 전자 장치(100)는 사용자의 검지 손가락을 트래킹하고, 검지 손가락을 구부리는 사용자의 손가락 모션을 감지함에 따라, 새로운 자음 버튼(예컨대, “ㄴ” 버튼)을 선택할 수 있다.
도 3a 및 3b는 전자 장치가 한글 자음을 입력하기 위한 자음 버튼들을 디스플레이하는 일례를 나타내는 도면이다.
도 3a를 참조하면, 본 개시의 일부 실시예에 따른 전자 장치(100)는 한글 자음을 입력하기 위하여, 한글 단자음을 입력하기 위한 14개의 자음 버튼들(예컨대, “ㄱ” 버튼, “ㄴ” 버튼 등)을 디스플레이할 수 있다.
일부 실시예에 의하면, 전자 장치(100)는 자음 버튼들 중 일부 자음 버튼들(예컨대, “ㄱ” 버튼, “ㄷ” 버튼, “ㅂ” 버튼, “ㅅ” 버튼 및 “ㅈ” 버튼)을 두 번 선택하는 사용자의 손가락 모션을 감지함으로써, 한글 쌍자음(예컨대, “ㄲ”, “ㄸ”, “ㅃ”, “ㅆ” 및 “ㅉ”)을 선택할 수 있다.
예를 들어, 전자 장치(100)는 검지 손가락을 두 번 구부리는 손가락 모션을 감지함으로써, “ㅂ” 자음 버튼을 두 번 선택할 수 있다. 이 경우, 전자 장치(100)는 “ㅂ” 버튼에 대응되는 자음의 쌍자음(예컨대, “ㅃ”)을 선택할 수 있다.
또한, 전자 장치(100)는 자음 버튼이 선택됨에 따라, 선택된 자음 버튼에 대응되는 쌍자음을 입력하기 위한 버튼을 모음 버튼들과 함께 디스플레이할 수 있으며, 이에 한정되지 않는다. 예를 들어, 전자 장치(100)는 쉬프트(Shift) 버튼과 함께 자음 버튼을 선택하는 사용자의 손가락 모션을 감지함으로써, 선택된 자음 버튼에 대응되는 쌍자음을 선택할 수도 있다.
또한, 도 3b를 참조하면, 본 개시의 일부 실시예에 따른 전자 장치(100)는 한글 자음을 입력하기 위하여, 한글 단자음 및 쌍자음을 입력할 수 있는 19개의 자음 버튼들을 디스플레이할 수도 있다.
또한, 도 3a 및 도 3b에 도시된 바와 같이, 전자 장치(100)는 비문자를 입력하기 위한 비문자 버튼들을 디스플레이할 수도 있다. 예를 들어, 전자 장치(100)는, 쉬프트(Shift), 스페이스(Space), 백 스페이스(Back Space), 숫자/기호 전환 기능, 한글/영문 전환 기능 및 설정 등을 입력하기 위한 비문자 버튼들을 디스플레이할 수 있다.
또한, 전자 장치(100)는 한글 자음/모음 전환 기능을 입력하기 위한 버튼(미도시)을 디스플레이할 수도 있으며, 이에 한정되지 않는다. 예를 들어, 전자 장치(100)는 탭(Tab), 컨트롤(Ctrl) 등을 입력하기 위한 버튼들을 디스플레이 할 수도 있다.
또한, 전자 장치(100)에서 실행 중인 애플리케이션의 소정 기능을 실행하기 위한 버튼들을 디스플레이할 수도 있다.
일부 실시예에 의하면, 전자 장치(100)는 사용자의 검지 손가락을 트래킹(tracking)할 수 있다. 전자 장치(100)는 트래킹되는 검지 손가락의 위치 변화에 따라 커서(cursor)(310)를 디스플레이할 수 있다.
도 4a 및 4b는 전자 장치가 한글을 입력하기 위한 한글 모음 버튼들을 디스플레이하는 일례를 나타내는 도면이다.
도 4a 및 4b를 참조하면, 본 개시의 일부 실시예에 따른 전자 장치(100)는 하나의 자음 버튼이 선택됨에 따라, 모음을 입력하기 위한 모음 버튼들(410)을 디스플레이할 수 있다.
모음 버튼들(410)은 천지인(ㅣ, ·, ㅡ)를 입력하기 위한 “ㅣ” 버튼, “·” 버튼 및 “ㅡ” 버튼을 포함할 수 있다.
도 4a에 도시된 바와 같이, 전자 장치(100)는 자음 버튼이 선택됨에 따라, 선택된 자음 버튼과 인접한 위치에 모음 버튼들(410)을 디스플레이할 수 있다.
또한, 전자 장치(100)는 자음 버튼이 선택됨에 따라, 모음 버튼들(410)과 함께 스페이스(space)를 입력하기 위한 스페이스(V) 버튼(430)을 디스플레이할 수도 있다.
일부 실시예에 의하면, 전자 장치(100)는 사용자의 중지 손가락, 약지 손가락 및 소지 손가락들을 각각 “ㅣ” 버튼, “·” 버튼 및 “ㅡ” 버튼에 대응시킬 수 있다.
예를 들어, 전자 장치(100)는 사용자의 중지 손가락을 구부리는 손가락 모션이 감지됨에 따라, 중지 손가락에 대응되는 “ㅣ” 버튼을 선택할 수 있다.
또한, 사용자의 소지 손가락 및 중지 손가락을 구부리는 손가락 모션이 순차적으로 감지됨에 따라, 소지 손가락에 대응되는 “ㅡ” 버튼 및 “ㅣ” 버튼을 순차적으로 선택할 수 있다.
또한, 일부 실시예에 의하면, 도 4b에 도시된 바와 같이, 전자 장치(100)는 자음 버튼이 선택됨에 따라, 화면 상의 소정 위치에 사용자의 손 모양 이미지와 함께 모음 버튼들의 이미지(450)를 디스플레이할 수도 있다.
예를 들어, 전자 장치(100)는 사용자의 오른손 모양과 함께 오른손의 각 손가락에 대응되는 위한 “ㅣ” 버튼, “·” 버튼 및 “ㅡ” 버튼들의 이미지(450)를 디스플레이할 수 있다. 만약, 사용자가 왼손을 이용하여 한글 입력을 하는 경우, 디스플레이되는 손 모양 이미지는 왼손 이미지일 수 있다.
일부 실시예에 의하면, 전자 장치(100)는 화면 상에 디스플레이되는 “설정” 버튼(440, 470)을 선택하는 사용자의 손가락 모션에 응답하여 설정창을 디스플레이할 수 있다.
또한, 전자 장치(100)는 설정창에서 수신되는 사용자 입력에 기초하여, 모음 버튼들(410, 450)이 디스플레이되는 위치 및 디스플레이되는 기타 버튼들의 종류를 변경할 수도 있다.
예를 들어, 전자 장치(100)는 설정창에서 수신되는 사용자 입력에 따라, 중지 손가락에 대응되는 “ㅣ” 버튼을 “·”버튼으로 변경할 수 있다.
도 5는 사용자의 손가락들에 대응되는 버튼들에 대한 매핑 테이블(mapping table)의 일례이다.
도 5를 참조하면, 본 개시의 일부 실시예에 따른 전자 장치(100)는 사용자의 각 손가락들에 대응되는 버튼들의 정보를 포함하는 매핑 테이블을 획득할 수 있다.
도 5에 도시된 바와 같이, 사용자의 엄지 손가락은 쌍자음(예컨대, “ㅃ”, “ㄸ”, “ㄲ”, “ㅉ” 및 “ㅆ” 중 하나)을 입력하기 위한 쌍자음 버튼, 스페이스(space)를 입력하기 위한 스페이스(V) 버튼, 및 백스페이스(back space)를 입력하기 위한 백스페이스(←) 버튼 중 적어도 하나의 버튼에 매핑될 수 있다.
또한, 사용자의 중지 손가락은 “ㅣ” 버튼, 약지 손가락은 “·” 버튼, 및 소지 손가락은 “ㅡ” 버튼에 매핑될 수 있다.
또한, 사용자의 검지 손가락은 화면 상 커서(cursor)의 위치에 대응되며 자음 버튼 등을 선택하는 손가락으로 매핑될 수 있다.
일부 실시예에 의하면, 전자 장치(100)는 설정창에서 수신되는 사용자 입력에 기초하여, 각 버튼들에 대응되는 손가락을 변경할 수 있다.
도 6은 사용자의 손가락 모션에 기반하여 한글을 입력하는 방법의 일례를 나타내는 도면이다.
도 6의 600-1을 참조하면, 전자 장치(100)는 카메라에서 촬영된 이미지에 기초하여, 사용자의 손 및 손가락들을 식별할 수 있다.
또한, 전자 장치(100)는 사용자의 손가락들 중에서 검지 손가락을 트래킹(tracking)할 수 있다. 여기서, 트래킹이란 전자 장치(100)가 소정 객체의 위치를 추적하여 화면의 좌표 데이터로 변환하는 작업일 수 있다.
또한, 전자 장치(100)는 트래킹되는 검지 손가락의 위치에 기초하여, 커서(cursor)(610)를 디스플레이할 수 있다.
또한, 전자 장치(100)는 검지 손가락을 구부리는 사용자의 제1 손가락 모션(620)이 감지됨에 따라, 자음 버튼을 선택할 수 있다.
예를 들어, 전자 장치(100)는 제1 손가락 모션(620)이 감지됨에 따라, 커서(610)와 중첩되어 디스플레이되는 “ㅂ” 버튼을 선택할 수 있다.
또한, 전자 장치(100)는 “ㅂ” 버튼이 선택됨에 따라, “ㅂ” 버튼과 화면 상에 인접한 위치에서, 모음 버튼들 및 스페이스(V) 버튼(630)을 디스플레이할 수 있다.
도 600-2를 참조하면, 전자 장치(100)는 사용자의 중지 손가락을 구부리는 제2 손가락 모션(640)이 감지됨에 따라, 모음 버튼들 중에서 사용자의 중지 손가락에 대응되는 “ㅣ” 버튼을 선택할 수 있다.
또한, 전자 장치(100)는 사용자의 소지 손가락 및 약지 손가락을 구부리는 모션이 감지됨에 따라, 각 손가락에 대응되는 “ㅣ” 버튼 및 “·” 버튼을 선택할 수 있다.
한편, 제2 손가락 모션(640)은 사용자의 중지 손가락을 일정 공간 내에서 좌우로 흔드는 손가락 모션일 수 있으며, 사용자의 중지 손가락을 일정 공간 내에서 위아래로 흔드는 손가락 모션일 수도 있다.
또한, 전자 장치(100)는 선택된 자음 버튼 및 모음 버튼들에 대응되는 한글 “바”를 디스플레이할 수 있다.
도 7 은 본 개시의 일부 실시예에 따른 전자 장치를 나타내는 블록도이다.
도 7에 도시된 바와 같이, 본 개시의 일부 실시예에 따른 전자 장치(700)는, 사용자 입력부(710), 제어부(720) 및 출력부(730)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 전자 장치(700)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 전자 장치(700)는 구현될 수 있다.
예를 들어, 본 개시의 일부 실시예에 따른 전자 장치(700)는, 사용자 입력부(710), 제어부(720) 및 출력부(730) 이외에 센싱부(740), 통신부(750) 및 메모리(760)를 더 포함할 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
일부 실시예에 의하면, 사용자 입력부(710)는, 전자 장치(700)의 전면에 위치하는, 카메라(711), 뎁스(depth) 카메라(712) 및 적외선 카메라(713) 등을 포함할 수 있다.
일부 실시예에 의하면, 카메라(711)는 이미지 센서를 통해 사용자의 손 및 손가락들이 포함된 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(720) 또는 별도의 이미지 처리부(미도시)에게 전송될 수 있다.
또한, 사용자 입력부(710)는 사용자 손가락들의 모션을 감지하기 위하여 다양한 센서를 구비할 수도 있다. 예를 들어, 사용자 입력부(710)는 적외선 센서 등을 통하여 손가락들의 모션을 감지할 수 있다.
출력부(730)는, 오디오 신호 또는 비디오 신호의 출력을 위한 것으로, 이에는 디스플레이부(731) 및 음향 출력부(732) 등이 포함될 수 있다.
디스플레이부(731)는 전자 장치(700)에서 처리되는 정보를 디스플레이할 수 있다.
일부 실시예에 의하면, 디스플레이부(731)는 사용자의 검지 손가락의 위치에 기초하여, 화면 상의 커서(cursor)를 디스플레이할 수 있다.
또한, 디스플레이부(731)는 한글 자음을 입력하기 위한 자음 버튼들을 디스플레이할 수 있다. 또한, 디스플레이부(731)는 자음 버튼들과 함께 비문자(쉬프트(Shift), 스페이스(Space), 백 스페이스(Back Space), 숫자/기호 전환 기능, 한글/영문 전환 기능 및 설정 등)를 입력하기 위한 비문자 버튼들을 디스플레이할 수 있다.
또한, 디스플레이부(731)는 전자 장치(700)에서 실행 중인 애플리케이션의 소정 기능을 실행하기 위한 버튼들을 디스플레이할 수도 있다.
또한, 디스플레이부(731)는 제어부(720)로부터 수신된 제어 신호에 따라, 한글 모음을 입력하기 위한 모음 버튼들을 디스플레이할 수 있다.
일부 실시예에 의하면, 디스플레이부(731)는 천지인(ㅣ, ·,ㅡ) 입력 방식으로 한글 모음을 입력하기 위한 “ㅣ” 버튼, “·” 버튼 및 “ㅡ” 버튼을 디스플레이할 수 있다.
또한, 디스플레이부(731)는 스페이스(space)를 입력하기 위한 스페이스 버튼, 쌍자음을 입력하기 위한 쌍자음 버튼 및 백스페이스(back space)를 입력하기 위한 백스페이스 버튼 중 적어도 하나를 모음 버튼들과 함께 디스플레이 할 수 있다.
제어부(720)는 통상적으로, 전자 장치(700)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(720)는, 사용자 입력부(710) 및 출력부(730) 등을 전반적으로 제어할 수 있다.
일부 실시예에 의하면, 제어부(720)는 사용자 입력부(710)에서 촬영된 사용자의 손 및 손가락들의 이미지를 수신할 수 있다.
또한, 제어부(720)는 수신된 이미지에 대하여 화상 처리(Image Processing)를 할 수 있다. 예를 들어, 전자 장치(100)는 기계학습(machine learning), 패턴인식(Pattern Recognition), 및 컴퓨터 비전(Computer Vision) 알고리즘 등에 기초하여, 수신된 이미지로부터 사용자의 손가락의 종류를 식별할 수 있다. 또한, 제어부(720)는 수신된 이미지로부터 사용자의 손 모양을 식별할 수도 있다.
또한, 제어부(720)는 식별된 사용자의 손가락들 중에서 검지 손가락의 위치를 트래킹(tracking)할 수 있다.
또한, 제어부(720)는 트래킹되는 검지 손가락의 위치에 따라, 화면 상의 커서(cursor)를 디스플레이하기 위한 제어 신호를 출력부(730)에게 전송할 수 있다. 이 경우, 제어 신호는 커서의 화면상 좌표 정보를 포함할 수 있다.
또한, 제어부(720)는 수신되는 사용자의 손가락들의 이미지에 기초하여, 사용자의 손가락들의 모션을 감지할 수 있다. 예를 들어, 제어부(720)는 각 손가락들을 구부리는 모션을 감지할 수도 있다.
또한, 제어부(720)는 사용자의 검지 손가락의 모션이 감지됨에 따라, 커서와 중첩되어 디스플레이되는 자음 버튼을 선택할 수 있다. 또한, 제어부(720)는 자음 버튼을 선택함에 따라, 한글 모음을 입력하기 위한 모음 버튼들을 디스플레이하도록 제어 신호를 출력부(730)에게 전송할 수 있다. 이 경우, 제어 신호는 모음 버튼들이 디스플레이되는 화면상 좌표 정보를 포함할 수 있다.
또한, 제어부(720)는 각 손가락들에 대응되는 버튼들의 정보를 포함하는 매핑 테이블을 메모리(760)로부터 획득할 수 있다.
또한, 제어부(720)는 사용자의 중지 손가락, 약지 손가락 및 소지 손가락 중 적어도 하나의 손가락을 구부리는 사용자의 손가락 모션 감지할 수 있다. 제어부(720)는 매핑 테이블에 기초하여, 적어도 하나의 손가락에 대응되는 적어도 하나의 모음 버튼을 선택할 수 있다.
예를 들어, 제어부(720)는 중지 손가락 및 약지 손가락을 구부리는 모션이 감지됨에 따라, “ㅣ” 버튼 및 “·” 버튼을 선택할 수 있다.
또한, 제어부(720)는 식별된 사용자의 손 모양에 따라, 디스플레이되는 모음 버튼들 및 스페이스 버튼의 순서를 판단할 수 있다.
예를 들어, 제어부(720)는 식별된 손 모양이 오른손인 경우, 사용자의 엄지 손가락, 중지 손가락, 약지 손가락 및 소지 손가락에 대응되는 각 버튼들이 화면의 왼쪽부터 디스플레이되도록 제어 신호를 출력부(730)에게 전송할 수 있다.
센싱부(740)는 가속도 센서(Acceleration sensor)(741), 근접 센서(742), 적외선 센서(743), 및 RGB 센서(illuminance sensor)(744) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
통신부(750)는, 전자 장치(700)와 외부 장치 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(750)는, 근거리 통신부(751), 이동 통신부(752), 방송 수신부(753)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(751)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(752)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(753)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(700)가 방송 수신부(753)를 포함하지 않을 수도 있다.
메모리(760)는, 제어부(720)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 복수의 메뉴, 복수의 메뉴 각각에 대응하는 복수의 제 1 계층 서브 메뉴, 복수의 제 1 계층 서브 메뉴 각각에 대응하는 복수의 제 2 계층 서브 메뉴 등)을 저장할 수도 있다.
일부 실시예에 의하면, 메모리(760)는 사용자의 손가락들에 대응되는 버튼들에 대한 정보를 포함하는 매핑 테이블(mapping table)을 저장할 수 있다.
메모리(760)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 전자 장치(700)는 인터넷(internet)상에서 메모리(760)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
본 개시의 일 실시예에 따른 전자 장치(700)는, 한글 입력을 위한 하드웨어 문자 입력 장치를 이용하지 않고, 카메라를 이용하여 사용자의 손가락들을 식별하고 추적함으로써, 원거리에서도 사용자의 손가락의 모션에 기반하여 한글을 입력할 수 있는 시스템을 제공할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (20)

  1. 전자 장치에서 한글을 입력하는 방법에 있어서,
    한글 자음을 입력하기 위한 자음 버튼들을 상기 전자 장치의 화면 상에 디스플레이하는 단계;
    사용자의 손가락들을 식별하는 단계;
    상기 손가락들 중에서 제1 손가락의 모션이 감지됨에 따라, 상기 제1 손가락의 위치에 대응되는 자음 버튼을 선택하는 단계;
    상기 자음 버튼이 선택됨에 따라, 상기 손가락들 중에서 제2 손가락, 제3 손가락 및 제4 손가락에 대응되며, 한글 모음을 입력하기 위한 모음 버튼들을 상기 전자 장치의 화면 상에 디스플레이하는 단계; 및
    상기 제2 손가락, 제 3 손가락 및 제4 손가락 중 적어도 하나의 손가락의 모션이 감지됨에 따라, 상기 적어도 하나의 손가락에 대응되는 적어도 하나의 모음 버튼을 선택하는 단계; 를 포함하는, 한글 입력 방법.
  2. 제 1 항에 있어서,
    상기 제1 손가락은, 상기 손가락들 중에서 검지 손가락이며,
    상기 제2 손가락, 제3 손가락 및 제4 손가락은, 상기 손가락들 중에서 중지 손가락, 약지 손가락, 및 소지 손가락인 것인,
    한글 입력 방법.
  3. 제 2 항에 있어서,
    상기 사용자의 손가락들을 식별하는 단계는,
    손가락들을 촬영하는 단계; 및
    상기 촬영된 손가락들의 종류를 식별하는 단계;
    를 포함하는 것인, 한글 입력 방법.
  4. 제 3 항에 있어서,
    상기 한글 입력 방법은,
    상기 제1 손가락의 위치를 트래킹(tracking)하는 단계; 및
    상기 트래킹된 제1 손가락의 위치에 기초하여, 커서(cursor)를 디스플레이하는 단계;를 더 포함하는,
    한글 입력 방법.
  5. 제 4 항에 있어서,
    상기 자음 버튼을 선택하는 단계는,
    상기 제1 손가락을 구부리는 모션을 감지하는 단계; 및
    상기 모션이 감지됨에 따라, 상기 커서가 디스플레이되는 영역에 대응되는 상기 자음 버튼을 선택하는 단계;를 포함하는,
    한글 입력 방법.
  6. 제 2 항에 있어서,
    상기 모음 버튼들은, 천지인(ㅣ, ·, ㅡ) 입력 방식으로 모음을 입력하기 위한 “ㅣ” 버튼, “·” 버튼 및 “ㅡ” 버튼을 포함하는 것인,
    한글 입력 방법.
  7. 제 6 항에 있어서,
    상기 적어도 하나의 모음 버튼을 선택하는 단계는,
    상기 제2 손가락, 제3 손가락 및 제4 손가락 중 적어도 하나의 손가락을 구부리는 모션을 감지하는 단계; 및
    상기 적어도 하나의 손가락에 대응되는 적어도 하나의 모음 버튼을 선택하는 단계; 를 포함하는,
    한글 입력 방법.
  8. 제 1 항에 있어서,
    상기 자음 버튼이 선택됨에 따라, 상기 손가락들 중에서 제5 손가락에 대응되는, 스페이스(space), 백스페이스(back space) 및 쌍자음 중 하나를 입력하기 위한 버튼을 디스플레이하는 단계;를 더 포함하는,
    한글 입력 방법.
  9. 제 8 항에 있어서,
    상기 제5 손가락은, 상기 손가락들 중에서 엄지 손가락인,
    한글 입력 방법.
  10. 제 8 항에 있어서,
    상기 자음 버튼이 선택됨에 따라, 상기 제2 손가락, 제3 손가락 및 제4 손가락에 대응되는 모음 버튼들, 및 상기 제5 손가락에 대응되는 버튼이 함께 디스플레이되는 것인,
    한글 입력 방법.
  11. 한글 자음을 입력하기 위한 자음 버튼들을 전자 장치의 화면 상에 디스플레이하는, 디스플레이부; 및
    사용자의 손가락들을 식별하고, 상기 손가락들 중에서 제1 손가락의 모션이 감지됨에 따라, 상기 제1 손가락의 위치에 대응되는 자음 버튼을 선택하는, 제어부; 를 포함하고,
    상기 디스플레이부는, 상기 자음 버튼이 선택됨에 따라, 상기 손가락들 중에서 제2 손가락, 제3 손가락 및 제 4 손가락에 대응되며, 한글 모음을 입력하기 위한 모음 버튼들을 상기 전자 장치의 화면 상에 디스플레이하고,
    상기 제어부는, 상기 제2 손가락, 제3 손가락, 및 제 4 손가락 중 적어도 하나의 손가락의 모션이 감지됨에 따라, 상기 적어도 하나의 손가락에 대응되는 적어도 하나의 모음 버튼을 선택하는,
    전자 장치.
  12. 제 11 항에 있어서,
    상기 제1 손가락은, 상기 사용자의 손가락들 중에서 검지 손가락이며,
    상기 제2 손가락, 제3 손가락 및 제4 손가락은, 상기 사용자의 손가락들 중에서 중지 손가락, 약지 손가락 및 소지 손가락인 것인,
    전자 장치.
  13. 제 12 항에 있어서,
    상기 전자 장치는,
    손가락들을 촬영하는, 사용자 입력부;를 더 포함하며,
    상기 제어부는, 상기 촬영된 손가락들의 종류를 식별하는,
    전자 장치.
  14. 제 13 항에 있어서,
    상기 제어부는, 상기 제1 손가락의 위치를 트래킹(tracking)하고,
    상기 디스플레이부는, 상기 트래킹된 제1 손가락의 위치에 기초하여, 커서(cursor)를 디스플레이하는,
    전자 장치.
  15. 제 14 항에 있어서,
    상기 제어부는, 상기 제1 손가락을 구부리는 모션을 감지하고, 상기 모션이 감지됨에 따라, 상기 커서가 디스플레이되는 영역에 대응되는 상기 자음 버튼을 선택하는,
    전자 장치.
  16. 제 13 항에 있어서,
    상기 모음 버튼들은, 천지인(ㅣ,·, ㅡ) 입력 방식으로 모음을 입력하기 위한 “ㅣ” 버튼, “·” 버튼 및 “ㅡ” 버튼을 포함하는 것인,
    전자 장치.
  17. 제 16 항에 있어서,
    상기 제어부는, 상기 제2 손가락, 제3 손가락 및 제4 손가락 중 적어도 하나의 손가락을 구부리는 모션을 감지하고, 상기 적어도 하나의 손가락에 대응되는 적어도 하나의 모음 버튼을 선택하는,
    전자 장치.
  18. 제 11 항에 있어서,
    상기 디스플레이부는, 상기 손가락들 중에서 제 5 손가락에 대응되는, 스페이스(space), 백스페이스(back space), 및 쌍자음 중 하나를 입력하기 위한 버튼을 디스플레이하며,
    상기 제 5 손가락은, 상기 손가락들 중에서 엄지 손가락인, 전자 장치.
  19. 제 18 항에 있어서,
    상기 디스플레이부는, 상기 자음 버튼이 선택됨에 따라, 상기 제2 손가락, 제3 손가락 및 제4 손가락에 대응되는 모음 버튼들, 및 상기 제 5 손가락에 대응되는 버튼이 함께 디스플레이되는 것인,
    전자 장치.
  20. 제 1항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020140162603A 2014-11-20 2014-11-20 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치 KR101662740B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140162603A KR101662740B1 (ko) 2014-11-20 2014-11-20 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치
PCT/KR2015/011132 WO2016080662A1 (ko) 2014-11-20 2015-10-21 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치
US15/528,304 US20170329460A1 (en) 2014-11-20 2015-10-21 Method and device for inputting korean characters based on motion of fingers of user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140162603A KR101662740B1 (ko) 2014-11-20 2014-11-20 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160060385A true KR20160060385A (ko) 2016-05-30
KR101662740B1 KR101662740B1 (ko) 2016-10-05

Family

ID=56014147

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140162603A KR101662740B1 (ko) 2014-11-20 2014-11-20 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치

Country Status (3)

Country Link
US (1) US20170329460A1 (ko)
KR (1) KR101662740B1 (ko)
WO (1) WO2016080662A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190009105A (ko) * 2017-07-18 2019-01-28 이주성 한글 입력용 안구인식 키보드
WO2021054589A1 (en) * 2019-09-18 2021-03-25 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018200637A1 (en) * 2017-04-28 2018-11-01 Southie Autonomy Works, Llc Automated personalized feedback for interactive learning applications
US11526215B2 (en) * 2018-06-09 2022-12-13 RAO L Venkateswara Reducing keystrokes required for inputting characters of Indic languages
US11203372B2 (en) 2018-08-03 2021-12-21 Tesla, Inc. Steering wheel assembly

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090025610A (ko) * 2007-09-06 2009-03-11 삼성전자주식회사 터치 스크린을 이용한 한글 입력 처리 방법 및 한글 입력장치
KR20100104376A (ko) * 2009-03-17 2010-09-29 삼성테크윈 주식회사 카메라를 이용한 한글 입력 방법 및 이를 이용한 한글 입력장치
KR101452343B1 (ko) * 2014-05-02 2014-10-22 박준호 웨어러블 디바이스

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9152241B2 (en) * 2006-04-28 2015-10-06 Zienon, Llc Method and apparatus for efficient data input
KR100949581B1 (ko) * 2007-10-08 2010-03-25 주식회사 자코드 통신단말기의 문자/숫자 입력장치 및 입력방법
US20100020020A1 (en) * 2007-11-15 2010-01-28 Yuannan Chen System and Method for Typing Using Fingerprint Recognition System
JP2011186693A (ja) * 2010-03-08 2011-09-22 Brother Industries Ltd 情報入力装置
CN104335145A (zh) * 2012-06-08 2015-02-04 Kmt全球公司 基于空间位置识别的用户界面装置以及方法
KR20140106287A (ko) * 2013-02-26 2014-09-03 삼성전자주식회사 단말에서 문자 입력을 위한 방법 및 장치
US10331224B2 (en) * 2013-10-07 2019-06-25 Oslabs Pte. Ltd. Indian language keypad

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090025610A (ko) * 2007-09-06 2009-03-11 삼성전자주식회사 터치 스크린을 이용한 한글 입력 처리 방법 및 한글 입력장치
KR20100104376A (ko) * 2009-03-17 2010-09-29 삼성테크윈 주식회사 카메라를 이용한 한글 입력 방법 및 이를 이용한 한글 입력장치
KR101452343B1 (ko) * 2014-05-02 2014-10-22 박준호 웨어러블 디바이스

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190009105A (ko) * 2017-07-18 2019-01-28 이주성 한글 입력용 안구인식 키보드
WO2021054589A1 (en) * 2019-09-18 2021-03-25 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
US11709593B2 (en) 2019-09-18 2023-07-25 Samsung Electronics Co., Ltd. Electronic apparatus for providing a virtual keyboard and controlling method thereof

Also Published As

Publication number Publication date
US20170329460A1 (en) 2017-11-16
WO2016080662A1 (ko) 2016-05-26
KR101662740B1 (ko) 2016-10-05

Similar Documents

Publication Publication Date Title
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
US10191616B2 (en) Method and system for tagging information about image, apparatus and computer-readable recording medium thereof
TW202113680A (zh) 人臉和人手關聯檢測方法及裝置、電子設備和電腦可讀儲存媒體
KR102313755B1 (ko) 이동 단말기 및 그 제어 방법
KR101662740B1 (ko) 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치
US20170277499A1 (en) Method for providing remark information related to image, and terminal therefor
US10990748B2 (en) Electronic device and operation method for providing cover of note in electronic device
US9749582B2 (en) Display apparatus and method for performing videotelephony using the same
US10216409B2 (en) Display apparatus and user interface providing method thereof
US20140267384A1 (en) Display apparatus and control method thereof
KR20160065670A (ko) 컨텐트를 제공하는 방법 및 디바이스
KR102271184B1 (ko) 영상 투사 장치 및 그의 동작 방법
EP3121688A1 (en) Method and device for displaying image
US20230405435A1 (en) Home training service providing method and display device performing same
CN104216969B (zh) 阅读标记方法及装置
US9454300B2 (en) Device, control method, and storage medium storing program
CN108073291B (zh) 一种输入方法和装置、一种用于输入的装置
CN108182002A (zh) 输入键的布局方法、装置、设备和存储介质
CN107943317A (zh) 输入方法及装置
WO2018008096A1 (ja) 情報表示装置およびプログラム
EP3848785B1 (en) Mobile device and method for controlling mobile device
KR101494810B1 (ko) 원근 변화에 따른 동작 인식에 의해 제어되는 내비게이션 장치, 그 제어 방법 및 컴퓨터 판독 가능한 기록 매체
CN109002239B (zh) 一种信息显示方法及终端设备
KR20160087692A (ko) 전자 기기 및 그 동작 방법
US20170220317A1 (en) Electronic apparatus and control program of electronic apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant