KR20210004567A - 전자 장치 - Google Patents

전자 장치 Download PDF

Info

Publication number
KR20210004567A
KR20210004567A KR1020190081184A KR20190081184A KR20210004567A KR 20210004567 A KR20210004567 A KR 20210004567A KR 1020190081184 A KR1020190081184 A KR 1020190081184A KR 20190081184 A KR20190081184 A KR 20190081184A KR 20210004567 A KR20210004567 A KR 20210004567A
Authority
KR
South Korea
Prior art keywords
motion information
area
acquisition unit
detection
movement
Prior art date
Application number
KR1020190081184A
Other languages
English (en)
Inventor
박 엘런
강은엽
강민석
문길두
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020190081184A priority Critical patent/KR20210004567A/ko
Priority to PCT/KR2020/008710 priority patent/WO2021006552A1/ko
Priority to US17/624,671 priority patent/US11874955B2/en
Publication of KR20210004567A publication Critical patent/KR20210004567A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)

Abstract

실시예는 제1 검출영역에서 검출 대상에 대한 제1 모션 정보를 출력하는 제1 획득부; 제2 검출영역에서 상기 검출 대상에 대한 제2 모션 정보를 출력하는 제2 획득부; 및 상기 제1 모션 정보와 상기 제2 모션 정보에 따른 명령을 실행하는 제어부;를 포함하고, 상기 제1 검출영역은 상기 제2 검출영역과 적어도 일부 중첩되는 전자 장치를 개시한다.

Description

전자 장치{ELECTRONIC DEVICE}
실시예는 사용자 등의 모션으로부터 대응하는 명령을 출력하는 전자 장치에 관한 것이다.
일반적으로 명령을 선택하고 입력하는 장치로 키보드 외에 마우스 또는 조이스틱과 같은 보조 장치들이 사용되고 있다. 일 옐, 마우스의 경우에는 하단에 있는 볼을 굴리거나 광센서를 이용하여 마우스 기능과 같은 명령 대상체의 위치를 변경하거나 특정 명령을 입력하고 있다.
이러한 마우스를 사용할 시, 주로 데스크 또는 마우스 패드와 같은 평평한 곳에 올려두고 사용하여야 하며, 물리적인 크기와 형태를 지니고 있어 휴대하기 불편하며, 밑에 마우스 움직임의 인식을 위한 마우스 패드와 같은 받침이 필요하기에 불편함이 존재한다.
또한, 마우스를 사용하다가 문자 입력을 위해 키보드를 사용해야 할 경우에는 마우스는 놓고 키보드를 쳐야 했기 때문에 불필요한 동작이 많았고, 종래의 마우스는 손으로 잡는 형상이기 때문에 불필요하게 움직임이 커질 수밖에 없었고, 그로 인해 휴대가 상당히 불편한 실정이다.
실시예는 마우스 등의 입력 장치 없이 다양한 영역 상의 검출 대상의 이동 정보로부터 제어되는 전자 장치를 제공한다.
또한, 편의성이 향상된 전자 장치를 제공한다.
또한, 입력에 대한 명령 수행의 정확도가 개선된 전자 장치를 제공한다.
실시예에서 해결하고자 하는 과제는 이에 한정되는 것은 아니며, 아래에서 설명하는 과제의 해결수단이나 실시 형태로부터 파악될 수 있는 목적이나 효과도 포함된다고 할 것이다.
실시예에 따른 전자 장치는 실시예에 따른 제1 검출영역에서 검출 대상에 대한 제1 모션 정보를 출력하는 제1 획득부; 제2 검출영역에서 상기 검출 대상에 대한 제2 모션 정보를 출력하는 제2 획득부; 및 상기 제1 모션 정보와 상기 제2 모션 정보에 따른 명령을 실행하는 제어부;를 포함하고, 상기 제1 검출영역은 상기 제2 검출영역과 적어도 일부 중첩될 수 있다.
상기 제1 검출영역은 상기 제1 획득부에서 상기 제2 획득부를 향해 투사되는 영역일 수 있다.
상기 제2 검출영역은 상기 제2 획득부의 상부 영역일 수 있다.
상기 제1 획득부는 촬상 장치를 포함하고, 상기 제2 획득부는 터치 패드를 포함할 수 있다.
상기 제2 모션 정보는 상기 검출 대상의 하부 영역에 대한 변화값을 포함하고, 상기 제1 모션 정보는 상기 검출 대상의 하부 영역 이외의 영역에 대한 변화값을 포함할 수 있다.
상기 제2 모션 정보는 상기 검출 대상과 상기 제2 획득부 간의 접촉 면적이고, 상기 제1 모션 정보는 상기 검출 대상의 이동 및 특정 영역의 이동을 포함할 수 있다.
상기 제어부는 상기 제1 모션 정보에서 상기 검출 대상의 이동 없이 상기 특정 영역의 이동만이 존재하며, 상기 제2 모션 정보에서 상기 접촉 면적이 증감하면 스크롤링, 크기 조절 및 창 변환 중 어느 하나를 출력할 수 있다.
상기 제어부는 상기 제1 모션 정보에서 상기 검출 대상의 포인트 이동이 존재하고 상기 특정 영역의 포인트 이동이 존재하며, 상기 제2 모션 정보에서 상기 접촉 면적이 감소하면 커서의 이동 및 클릭을 출력할 수 있다.
상기 제1 검출 영역은 복수 개의 제1 축을 가지고, 상기 제2 검출 영역은 복수 개의 제2 축을 가지며, 상기 복수 개의 제1 축과 상기 복수 개의 제2 축은 서로 비평행하게 위치할 수 있다.
상기 실행된 명령에 따른 출력을 디스플레이 하는 디스플레이부; 상기 제1 모션 정보 및 상기 제2 모션 정보에 맵핑된 명령에 대한 데이터를 저장하는 저장부; 및 상기 제1 획득부 및 상기 제2 획득부 중 적어도 하나를 이동하는 구동부;를 더 포함할 수 있다.
실시예에 따르면, 마우스 등의 입력 장치 없이 다양한 영상의 검출 대상의 이동 정보로부터 제어되는 전자 장치를 구현할 수 잇다.
또한, 편의성이 향상된 전자 장치를 구현할 수 있다.
또한, 입력에 대한 명령 수행의 정확도가 개선된 전자 장치를 구현할 수 있다.
본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 전자 장치의 블록도이고,
도 2는 본 발명의 실시예에 따른 전자 장치의 개념도이고,
도 3은 본 발명의 실시예에 따른 전자 장치의 제1 검출 영역 및 제2 검출 영역을 도시한 도면이고,
도 4는 도 3의 변형예이고,
도 5는 본 발명의 실시예에 따른 전자 장치에서 검출 대상에 대한 동작을 설명하는 도면이고,
도 6 및 도 7은 본 발명의 제1 실시예에 따른 제어부의 동작을 설명하는 도면이고,
도 8 내지 도 10은 본 발명의 제2 실시예에 따른 제어부의 동작을 설명하는 도면이고,
도 11 및 도 12는 본 발명의 제3 실시예에 따른 제어부의 동작을 설명하는 도면이고,
도 13 및 도 14는 본 발명의 제4 실시예에 따른 제어부의 동작을 설명하는 도면이고,
도 15는 본 발명의 제5 실시예에 따른 제어부의 동작을 설명하는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.
이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속' 되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 전자 장치의 블록도이고, 도 2는 본 발명의 실시예에 따른 전자 장치의 개념도이다.
도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 전자 장치(10)는 제1 획득부(110), 제2 획득부(120), 제어부(130), 저장부(140), 디스플레이부(150) 및 구동부(160)를 포함할 수 있다.
제1 획득부(110)는 제1 검출영역에서 검출 대상에 대한 제1 모션 정보를 출력할 수 있다. 실시예로, 제1 획득부(110)는 촬상 장치를 포함할 수 있다. 예컨대, 제1 획득부(110)는 RGB 카메라, 3D 카메라 등 다양한 촬상 기구를 포함할 수 있다. 그리고 검출 대상(O)은 물리적 객체 및 가상 객체를 포함할 수 있다. 그리고 물리적 객체는 물리적 객체는 사람의 손, 발, 얼굴, 물건 등 현실 세계에 물리적으로 존재하는 대상일 수 있다.
또한, 제1 획득부(110)는 촬상 장치를 통해 투사되는 영역인 제1 검출영역 내에서 움직이는 검출 대상(O)의 제1 모션 정보를 출력할 수 있다.
실시예로, 제1 획득부(110)는 촬상 장치를 통해 획득한 이미지를 획득할 수 있다. 또한, 제1 획득부(110)는 획득한 이미지로부터 검출 대상(O)의 움직임 정보를 출력할 수 있다. 다만, 본 명세서에서 제1 획득부(110)는 획득된 이미지로부터 움직임 정보를 출력하는 것을 기준으로 설명하나, 제1 획득부(110)가 촬상 장치로만 이루어지고 획득된 이미지가 제어부(130) 또는 전자 장치(10) 내의 다른 처리 장치(예를 들어, 프로세서(processor) 등)에서 움직임 정보를 출력하는 경우도 포함하는 것으로 이해해야 한다.
검출 대상(O)의 제1 모션 정보는 검출 대상(O)의 전체 또는 일부의 이동 또는 형상의 변화를 포함할 수 있다. 실시예로, 제1 모션 정보는 획득된 이미지로부터 검출 대상(O)의 각 포인트의 이동값을 포함할 수 있다. 예컨대, 검출 대상(O)이 사람의 손인 경우에 제1 모션 정보는 손 또는 손가락의 관절을 포인트로 각 포인트의 이동값에 대한 정보를 포함할 수 있다. 이에 따라, 제1 획득부(110)는 상술한 제1 모션 정보를 전자 장치(10) 내의 제어부(130)로 전송할 수 있다.
또한, 제1 획득부(110)는 복수 개일 수 있다. 실시예로, 제1 획득부(110)는 전자 장치(10)의 가장자리 또는 힌지 영역 상에 위치할 수 있으나, 이러한 위치에 한정되는 것은 아니다.
제2 획득부(120)는 제2 검출영역에서 검출 대상(O)에 대한 제2 모션 정보를 출력할 수 있다. 제2 획득부(120)는 제1 획득부(110)와 이격 배치될 수 있다.
그리고 제2 획득부(120)는 패드, 펜 등을 포함할 수 있다. 이하에서는 제2 획득부(120)를 패드(예컨대, 터치 패드)로 설명한다. 그리고 제2 획득부(120)는 실시예에 따른 전자 장치(10) 내부 또는 외부에 위치할 수 있다.
또한, 제2 획득부(120)는 출력된 제2 모션 정보는 전자 장치(10) 내의 제어부(130)로 송신할 수 있다.
또한, 제2 획득부(120)에서 제2 검출영역은 제2 획득부(120)의 상부 영역일 수 있다. 실시예로, 제2 획득부(120)가 패드인 경우, 제2 검출영역은 패드의 상면일 수 있다.
제2 획득부(120)는 검출 대상(O)의 이동 정보를 포함하는 제2 모션 정보를 출력할 수 있다. 제2 모션 정보는 검출 대상(O)의 하부 영역에 대한 변화값을 포함할 수 있다. 실시예로, 제2 모션 정보는 검출 대상(O)의 하부 영역과 패드의 상면과 접하는 접촉 면적을 포함할 수 있다. 예컨대, 제2 모션 정보는 상술한 접촉 면적의 변화 또는 면적의 정도를 포함할 수 있다.
이와 달리, 제1 모션 정보는 검출 대상의 하부 영역 이외의 영역에 대한 변화값을 포함할 수 있다. 즉, 제1 모션 정보는 검출 대상(O)의 하부 영역 이외의 영역(예컨대, 측면 영역 또는 상부 영역)에서 검출 대상(O)의 포인트 이동 등을 포함할 수 있다.
또한, 제2 검출영역은 제1 검출영역과 일부 중첩될 수 있다. 실시예로, 제1 검출영역과 제2 검출영역은 공간일 수 있다. 그리고 제1 검출영역은 복수 개의 제1 축으로 이루어진 공간일 수 있다. 마찬가지로, 제2 검출영역은 복수 개의 제2 축으로 이루어진 공간일 수 있다. 실시예로, 복수 개의 제1 축은 공간의 경우에 제1-1 축, 제1-2 축 및 제1-3 축을 포함할 수 있다. 이 때, 제1-1 축은 제1 획득부의 중심에서 제2 획득부의 중심을 연결한 제1-1 축일 수 있다. 예를 들어, 제1 획득부의 중심은 전자 장치 내의 촬상 장치에서 촬상부(예컨대 렌즈) 표면의 중심이고 제2 획득부의 중심은 터치 패드의 중심일 수 있다.
제1-2 축 및 제1-3 축은 제1-1 축과 수직하게 위치하고, 제1-2 축은 제1-3 축과 서로 수직한 방향에 위치할 수 있다.
또한, 복수 개의 제2 축은 공간인 경우에 제2-1 축, 제2-2 축 및 제2-3 축을 포함할 수 있다. 이 때, 제2-1 축, 제2-2 축 및 제2-3 축은 서로 수직한 방향에 위치할 수 있다. 또한, 제2-1 축, 제2-2 축 및 제2-3 축 중 어느 하나는 제2 획득부의 상면을 향한 방향과 평행할 수 있다. 다만, 이에 한정되는 것은 아니다.
그리고 복수 개의 제1 축과 복수 개의 제2 축은 서로 평행하지 않을 수 있다. 즉, 복수 개의 제1 축 중 적어도 하나는 복수 개의 제2 축과 교차하도록 배치될 수 있다. 이러한 구성에 의하여, 실시예에 따른 전자 장치는 제1 획득부(110) 및 제2 획득부(120)로부터 검출 대상(O)의 상이한 영역에 대한 모션 정보를 이용하여 명령을 수행할 수 있다. 다시 말해, 동일한 동작에 대해 상이한 영역에서 움직임을 감지하여 보다 정확하고 다양한 명령을 제공할 수 있다.
제어부(130)는 제1 획득부(110) 및 제2 획득부(120)로부터 각각 제1 모션 정보와 제2 모션 정보를 수신할 수 있다. 그리고 제어부(130)는 제1 모션 정보와 제2 모션 정보를 이용하여 이에 대응하는 명령을 실행할 수 있다.
이러한 제1 모션 정보와 제2 모션 정보는 소정의 명령과 맵핑(mapping)될 수 있다. 그리고 맵핑된 데이터는 저장부(140)에 저장될 수 있다. 즉 제어부(130)는 제1 모션 정보 및 제2 모션 정보를 수신하면 저장부(140)를 통해 맵핑된 명령을 출력할 수 있다. 이러한 출력은 다양한 입력 인터페이스(마우스, 키보드, 카메라 등)로부터 입력과 동일하거나 상이한 기능을 동시에 다양하게 수행할 수 있다. 즉, 실시예에 따른 전자 장치(10)에서 제1 모션 정보와 제2 모션 정보를 이용하여 다양한 입력이 수행될 수 있다.
그리고 제어부(130)는 전자 장치(10) 내의 메인 프로세서(processor) 내에 위치하거나 메인 프로세서와 연결되어 전기적 신호를 송수신할 수 있다. 메인 프로세서는 전자 장치(10)의 전반적인 동작을 제어할 수 있다. 예를 들어, 메인 프로세스는 소정의 하우징 내부에 위치하며, 제1 획득부, 제2 획득부(터치 패드), 저장부(140), 디스플레이부(150), 구동부(10) 등과 전기적으로 연결되어, 전자 장치(10)의 각 구성 요소들을 제어할 수 있다. 메인 프로세스는 저장부(140)로부터 명령(instructions)을 수신하고, 수신된 명령에 따라 각 구성 요소들을 제어하여, 다양한 기능들을 수행할 수 있다. 메인 프로세스는 중앙 처리 장치(central processing unit: CPU), 어플리케이션 프로세서(application processor: AP), 마이크로 컨트롤 유닛(micro control unit: MCU), 마이크로 프로세서 유닛(micro processor unit: MCU) 등으로 형성될 수 있다. 메인 프로세스는 싱글 코어 프로세서(single core processor) 또는 멀티 코어 프로세서(multi-core processor)를 포함할 수 있다.
또한, 제어부(130)는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 포함할 수 있으나, 이러한 종류에 한정되는 것은 아니다.
저장부(140)는 상술한 바와 같이 제1 모션 정보 및 제2 모션 정보와 이에 대응하는 명령이 맵핑되어 저장될 수 있다.
그리고 저장부(140)에서 맵핑된 데이터는 사용자에 의해 다양하게 변경될 수 있다. 예컨대, 실시예에 따른 전자 장치(10)에서 사용자가 소정의 손동작을 수행하고 이에 대한 제1 모션 정보와 제2 모션 정보가 수신되면 명령을 재설정, 삭제 및 수정 등이 수행될 수 있다.
그리고 저장부(140)는 하우징 내부에 위치하며, 메인 프로세스와 전기적으로 연결될 수 있다. 저장부(140)는 전자 장치(10)를 동작시키기 위한 다양한 프로그램들을 저장하며, 다양한 프로그램들을 수행하는 중에 발생되는 데이터 또는 다운로드된 데이터 등을 저장할 수 있다. 또한, 저장부(140)는 메인 프로세스를 동작시키기 위한 다양한 커맨드(command) 및/또는 명령(instruction)을 저장할 수 있다. 저장부(140)는 내장 메모리 또는 외장 메모리 중 적어도 어느 하나를 포함할 수 있다.
디스플레이부(150)는 제어부(130)로부터 출력된 명령의 수행 결과를 표시할 수 있다. 그리고 디스플레이부(150)는 액정　디스플레이(liquid crystal display), 박막 트랜지스터 액정　디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉서블　디스플레이(flexible display), 3차원　디스플레이(3D display), 전기 영동　디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 다만, 디스플레이부(150)는 이러한 종류에 한정되는 것은 아니며 사용자에게 명령 등에 의한 처리 결과 등을 영상으로 표시하는 장치를 포함할 수 있다.
구동부(160)는 제1 획득부(110) 및 제2 획득부(120) 중 적어도 하나와 연결될 수 있다. 그리고 구동부(160)는 제1 검출영역 또는 제2 검출영역을 이동시킬 수 있다. 실시예로, 구동부(160)는 제1 획득부(110)와 연결되어 제1 획득부(110)의 촬상 각도를 변경할 수 있다. 이에 따라, 제1 획득부(110)로부터 투사되는 영역인 제1 검출영역이 구동부(160)에 의해 변경될 수 있다. 이러한 구성에 의하여, 전자 장치(10)에 인접한 다양한 위치에서 모션 정보를 획득할 수 있다.
그리고 실시예에 따른 전자 장치(10)는 데스크 톱 확장 모드(desktop extension mode)를 지원하는 스마트 폰(smart phone), 웨어러블 장치(wearable device), 태블릿 PC(tablet personnel computer), 일반 PC, 노트북 등일 수 있으나, 이에 한정되는 것은 아니다.
도 3은 본 발명의 실시예에 따른 전자 장치의 제1 검출 영역 및 제2 검출 영역을 도시한 도면이고, 도 4는 도 3의 변형예이다.
도 3을 참조하면, 제1 검출영역은 제1 획득부(110)에서 제2 획득부(120)을 향해 투사되는 영역일 수 있다. 그리고 제2 검출영역은 제2 획득부(120)의 상부 영역일 수 있다. 그리고 이하에서 제1 획득부(110)는 촬상 장치, 그리고 제2 획득부(120)는 패드로 설명한다.
그리고 제1 검출영역은 제2 획득부(120)의 상면보다 큰 영역의 공간일 수 있다. 이에, 제2 검출영역은 제1 검출영역과 중첩될 수 있다.
또한, 복수 개의 제1 축은 제1-1 축(X1), 제1-2 축(X2) 및 제1-3 축(X3)을 포함할 수 있다. 이 때, 제1-1 축(X1)은 제1 획득부의 중심에서 제2 획득부의 중심을 연결한 축일 수 있다. 또한, 제1 획득부(110)의 중심(C1)은 전자 장치 내의 촬상 장치에서 촬상부(예컨대 렌즈) 표면의 중심이고 제2 획득부(120)의 중심(C2)은 터치 패드의 중심일 수 있다.
그리고 상술한 바와 같이 복수 개의 제1 축(X1, X2 ,X3)과 복수 개의 제2 축(Y1, Y2, Y3)는 서로 비평행할 수 있다. 이러한 구성에 의하여, 후술하는 바와 같이 제1 획득부(110)와 제2 획득부(120)는 검출 대상(O)의 서로 중첩되지 않는 영역으로부터 각각 제1 모션 정보와 제2 모션 정보를 출력하여, 검출 대상(O)의 움직임에 대한 명령이 전자 장치 내에서 정확하게 수행되게 한다.
또한, 상술한 바와 같이 복수 개의 제2 축은 공간인 경우에 제2-1 축(Y1), 제2-2 축(Y2) 및 제2-3 축(Y3)을 포함할 수 있다. 이 때, 제2-1 축(Y1), 제2-2 축(Y2) 및 제2-3 축(Y3)은 서로 수직한 방향에 위치할 수 있다. 또한, 제2-1 축(Y1), 제2-2 축(Y2) 및 제2-3 축(Y3) 중 어느 하나는 제2 획득부의 상면을 향한 방향과 평행할 수 있다. 여기서, 제2-3 축(Y3)이 제2 획득부의 상면을 향한 방향과 평행할 수 있다.
도 4를 참조하면, 마찬가지로 제1 검출영역과 제2 검출영역은 일부 중첩될 수 있다. 그리고 제2 검출영역은 제2 획득부(120)에서 상부로 연장된 영역일 수 있다. 다시 말해, 제2 검출영역(121)은 도 3의 제2 검출 영역(121)이 상부로 연장된 영역을 포함할 수 있다.
그리고 제1 검출영역과 제2 검출영역은 중첩 영역(OR)을 포함할 수 있다. 이러한 중첩영역(OR)은 제2 획득부(120)의 상부에 위치할 수 있다.
또한, 실시예에 따르면 검출 대상이 상술한 중첩 영역(OR)에 위치하는 경우에 제1 획득부(110)와 제2 획득부(120)에서 각각 제1 모션 정보와 제2 모션 정보를 출력할 수 있다. 이하에서는 도 3을 기준으로 설명한다.
도 5는 본 발명의 실시예에 따른 전자 장치에서 검출 대상에 대한 동작을 설명하는 도면이다.
도 5를 참조하면, 검출 대상(O)이 제1 검출영역(111) 및 제2 검출영역(121)에서 이동할 수 있다. 이 때, 제1 획득부(110)는 투사되는 영역인 제1 검출영역(111) 내의 검출 대상(O)의 움직임에 대한 정보를 출력할 수 있다. 또한, 제2 획득부(120)는 상부 영역인 제2 검출영역(121)에서 검출 대상(O)의 움직임에 대한 정보를 출력할 수 있다. 그리고 제어부는 상술한 바와 같이 제1 획득부(110)와 제2 획득부(1200로부터 제1 모션 정보와 제2 모션 정보를 수신하여 검출 대상(O)의 움직임에 따라 출력하는 명령을 변경할 수 있다. 이러한 구성에 의하여, 실시예에 따른 전자 장치는 사용자에게 다양한 방식 또는 동작으로 손쉽게 입력 등의 명령이 수행되는 환경을 제공할 수 있다. 다시 말해, 실시예에 따른 전자 장치는 접근성이 뛰어난 입력 인터페이스 환경을 제공할 수 있다.
도 6 및 도 7은 본 발명의 제1 실시예에 따른 제어부의 동작을 설명하는 도면이다.
도 6 및 도 7을 참조하면, 제1 모션 정보는 검출 대상의 하부 영역 이외의 영역에 대한 변화값일 수 있다. 제2 모션 정보는 검출 대상(O)의 하부 영역에서 패드(120)와의 접촉 면적의 변화값일 수 있다. 이하에서 검출 대상(O)은 손으로 한정하여 설명한다.
구체적으로, 제1 실시예에 따르면 제어부는 제1 모션 정보에서 손의 이동 없이 손의 특정 영역(예컨대, 특정 손가락)의 이동만이 존재하고, 제2 모션 정보에서 접촉 면적이 감소하면 스크롤링(scrolling), 크기 조절(scaling) 및 창 변환(window/viewport transformation) 중 어느 하나를 출력할 수 있다.
상술한 바와 같이, 제1 모션 정보는 검출 대상의 각 포인트 별 이동값을 가질 수 있다. 다만, 도 6 및 도 7에서는 손(O) 전체가 소정의 방향으로 이동하지 않은 경우를 나타낸다. 이 경우, 제1 모션 정보는 검출 대상의 이동값이 예컨대 0일 수 있다. 그리고 제어부는 상술한 제1 모션 정보를 수신하면 검출 대상의 포인트 전체가 소정의 방향으로 이동하지 않았다고 판단할 수 있다.
다만, 추가적으로, 제1 모션 정보는 손(O)의 일부 영역(예컨대, 중지)이 이동값을 가질 수 있다. 이에, 검출 대상의 각 포인트 중 일부의 이동값이 존재할 수 있다.
그리고 제2 모션 정보는 손(O)과 제2 획득부(120) 간의 접촉 면적의 감소를 변화값으로 가질 수 있다.
그리고 제어부는 제1 모션 정보에서 검출 대상의 이동 없이 특정 영역(예컨대, 중지)의 이동만이 존재하며, 상기 제2 모션 정보에서 상기 접촉 면적이 감소하면 스크롤링을 명령으로 출력할 수 있다. 이 때, 제어부는 제1 모션 정보에서 특정 영역의 이동을 검출 대상의 이동 감지를 위하여 검출 대상에 배치되는 복수 개의 포인트의 위치를 통해 판단할 수 있다.
이에 따라, 예로서 제어부는 손의 움직임 없이 중지의 이동이 감지되면 스크롤링(scrolling)을 명령으로 출력할 수 있다. 그리고 전자 장치는 이러한 명령에 따라 작업을 수행할 수 있다. 예컨대, 디스플레이부(150)는 상부 영역(150a) 및 하부 영역(150b)으로 구획될 수 있다. 그리고 바(B)가 상부 영역에 위치하다가, 손의 이동 없이 중지가 상부로 이동하면 바를 하부로 이동할 수 있다. 다만, 이러한 바(B)의 이동 방향은 설정에 따라 다양하게 변경될 수 있다.
또한, 제어부는 제2 모션 정보에서 접촉 면적의 증감이 존재하는 경우 가장 많은 면적의 변화가 발생한 위치를 산출하여 상술한 특정 영역의 이동인지 재확인할 수 있다. 이러한 구성을 통해, 실시예에 따른 전자 장치는 사용자의 동작에도 오류 없이 정확한 입력 인터페이스 기능을 수행할 수 있다.
도 8 내지 도 10은 본 발명의 제2 실시예에 따른 제어부의 동작을 설명하는 도면이다.
도 8 내지 도 10를 참조하면, 제2 실시예에 따른 제어부는 앞서 설명한 도 6 이후에 손의 중지가 아닌 중지 이외의 손가락(특정 영역 이외의 영역)에서 이동이 감지된 경우에 크기 조절 및 창 변환 중 어느 하나의 명령을 출력할 수 있다.
구체적으로, 앞서 설명한 바와 같이 제1 모션 정보는 검출 대상의 하부 영역 이외의 영역에 대한 변화값일 수 있다. 그리고 제2 모션 정보는 검출 대상(O)의 하부 영역에서 패드(120)와의 접촉 면적의 변화값일 수 있다.
그리고 제어부는 제1 모션 정보에서 손의 이동 없이 손의 특정 영역 이외의 영역(예컨대, 엄지, 검지, 약지, 소지)의 이동만이 존재하고, 제2 모션 정보에서 접촉 면적이 증감하면 크기 조절 및 창 변환 중 어느 하나를 출력할 수 있다.
또한, 도 8을 살펴보면 도 7과 마찬가지로 손(O) 전체가 소정의 방향으로 이동하지 않은 경우를 나타낸다. 이에, 제1 모션 정보는 검출 대상의 이동값이 0일 수 있다. 그리고 제어부는 상술한 제1 모션 정보를 수신하면 검출 대상의 포인트 전체가 소정의 방향으로 이동하지 않았다고 판단할 수 있다.
그리고 추가적으로, 제1 모션 정보는 손(O)의 일부 영역(예컨대, 검지)이 이동값을 가질 수 있다. 이에, 검출 대상의 각 포인트 중 일부의 이동값이 존재할 수 있다.
또한, 제2 모션 정보는 손(O)과 제2 획득부(120) 간의 접촉 면적의 감소를 변화값으로 가지므로, 제어부는 제1 모션 정보에서 검출 대상의 이동 없이 특정 영역 이외의 영역(예컨대, 검지)의 이동만이 존재하며, 상기 제2 모션 정보에서 상기 접촉 면적이 증감하기에 크기 조절 및 창 변환 중 하나를 출력할 수 있다.
예컨대, 복수 개의 창이 디스플레이부에 표시된 경우에는 도 10과 같이 제어부는 창 변환을 명령으로 출력하고, 하나의 창이 디스플레이부에 표시된 경우에 도 9와 같이 제어부는 창의 크기 변환을 명령으로 출력할 수 있다.
마찬가지로 제어부는 제1 모션 정보에서 특정 영역의 이동을 검출 대상의 이동 감지를 위하여 검출 대상에 배치되는 복수 개의 포인트의 위치를 통해 판단할 수 있다. 이에 따라, 제어부는 손의 움직임 없이 검지의 이동이 감지되면 크기 조절 및 창 변환 중 어느 하나를 명령으로 출력할 수 있다. 그리고 전자 장치는 이러한 명령에 따라 작업을 수행할 수 있다. 이러한 구성에 의하여, 실시예에 따른 전자 장치는 사용자에게 패드를 조작하면서 패드의 단순 조작 기능(예컨대, 클릭 및 커서 이동)뿐만 아니라 손의 움직임을 통해 편리한 입력 인터페이스 기능이 수행되는 환경을 제공할 수 있다.
또한, 마찬가지로 제어부는 제2 모션 정보에서 접촉 면적의 증감이 존재하는 경우 가장 많은 면적의 변화가 발생한 위치를 산출하여 상술한 특정 영역의 이동인지 재확인할 수 있다. 즉, 특정 영역인 중지에서의 접촉 면적의 변화가 발생한 경우인지 특정 영역 이외인 검지 등에서 접촉 면적의 변화가 발생한 경우인지 판단할 수 있다. 이러한 구성을 통해, 실시예에 따른 전자 장치는 사용자의 동작에도 오류 없이 정확한 입력 인터페이스 기능을 수행할 수 있다.
도 11 및 도 12는 본 발명의 제3 실시예에 따른 제어부의 동작을 설명하는 도면이다.
도 11 및 도 12를 참조하면, 제3 실시예에 따른 제어부는 제1 모션 정보에서 검출 대상의 포인트 이동이 존재하고 상기 특정 영역(예컨대, 중지)의 포인트 이동이 존재하며, 제2 모션 정보에서 상기 접촉 면적이 감소하면 커서의 이동 및 클릭을 출력할 수 있다.
구체적으로, 앞서 설명한 바와 같이 제1 모션 정보는 검출 대상의 하부 영역 이외의 영역에 대한 변화값일 수 있다. 그리고 제2 모션 정보는 검출 대상(O)의 하부 영역에서 패드(120)와의 접촉 면적의 변화값일 수 있다.
그리고 제어부는 제1 모션 정보에서 손의 이동과 동시에 손의 특정 영역(예컨대, 중지)의 이동이 존재하고, 제2 모션 정보에서 접촉 면적이 증감하면 커서의 이동 및 클릭을 출력할 수 있다.
또한, 도 11을 살펴보면 도 7과 달리 손(O) 전체가 소정의 방향으로 이동한 경우를 나타낸다. 이에, 제1 모션 정보는 검출 대상의 이동값이 0이 아닌 값일 수 있다. 그리고 제어부는 상술한 제1 모션 정보를 수신하면 검출 대상의 포인트 전체가 소정의 방향으로 이동한 것으로 판단할 수 있다. 이 때, 소정의 방향은 상술한 커서(C)의 이동 방향과 대응할 수 있다.
또한, 제1 모션 정보는 손(O)의 일부 영역(예컨대, 중지)이 이동값을 가질 수 있다. 즉, 검출 대상의 각 포인트 중 일부의 이동값이 존재할 수 있다.
그리고 제2 모션 정보는 손(O)과 제2 획득부(120) 간의 접촉 면적의 감소를 변화값으로 가지므로, 제어부는 제1 모션 정보에서 검출 대상의 이동 및 특정 영역 (예컨대, 중지)의 이동이 존재하며, 제2 모션 정보에서 상기 접촉 면적이 증감하기에 상술한 바와 같이 커서의 이동 및 클릭을 명령으로 출력할 수 있다.
예컨대, 디스플레이부 상에 나타난 커서가 도 11 및 도 12와 같이 손가락의 이동 방향과 동일하게 이동함과 동시에 클릭이 수행될 수 있다.
또한, 제어부는 제1 모션 정보에서 특정 영역의 이동을 검출 대상에 배치되는 복수 개의 포인트의 위치를 통해 판단할 수 있다. 이에 따라, 제어부는 손의 움직임과 동시에 중지의 이동이 감지되면 커서의 이동 및 클릭을 동시에 명령으로 출력할 수 있다. 이로써, 전자 장치는 이러한 명령에 따라 작업을 수행할 수 있다.
상술한 구성에 의하여, 실시예에 따른 전자 장치는 사용자에게 패드를 조작하면서 패드의 단순 조작 기능(예컨대, 클릭 및 커서 이동)뿐만 아니라 손의 움직임을 통해 편리한 입력 인터페이스 기능이 수행되는 환경을 제공할 수 있다.
또한, 마찬가지로 제어부는 제2 모션 정보에서 접촉 면적의 증감이 존재하는 경우 가장 많은 면적의 변화가 발생한 위치를 산출하여 상술한 특정 영역의 이동인지 재확인할 수 있음은 상술한 내용과 동일하게 적용될 수 있다. 이러한 구성을 통해, 실시예에 따른 전자 장치는 사용자의 동작에도 오류 없이 정확한 입력 인터페이스 기능을 수행할 수 있다.
도 13 및 도 14는 본 발명의 제4 실시예에 따른 제어부의 동작을 설명하는 도면이다.
도 13 및 도 14를 참조하면, 제4 실시예에 따른 제어부는 제1 모션 정보에서 검출 대상의 포인트 이동이 존재하고 상기 특정 영역 이외의 영역(예컨대, 엄지, 검지, 약지, 소지)의 포인트 이동이 존재하며, 제2 모션 정보에서 상기 접촉 면적이 감소하면 커서의 이동 및 클릭을 출력할 수 있다.
구체적으로, 제1 모션 정보는 검출 대상의 하부 영역 이외의 영역에 대한 변화값일 수 있다. 그리고 제2 모션 정보는 검출 대상(O)의 하부 영역에서 패드(120)와의 접촉 면적의 변화값일 수 있다.
제어부는 제1 모션 정보에서 손의 이동 없이 손의 특정 영역 이외의 영역(예컨대, 엄지, 검지, 약지, 소지, 이하 검지로 설명함)의 이동만이 존재하고, 제2 모션 정보에서 접촉 면적이 증감하면 크기 조절 및 창 변환 중 어느 하나를 출력할 수 있다.
또한, 도 14를 살펴보면 손(O) 전체가 소정의 방향으로 이동한 경우를 나타낸다. 이에, 제1 모션 정보는 검출 대상의 이동값이 0이 아닌 값일 수 있다. 그리고 제어부는 상술한 제1 모션 정보를 수신하면 검출 대상의 포인트 전체가 소정의 방향으로 이동한 것으로 판단할 수 있다. 이 때, 소정의 방향은 상술한 커서(C)의 이동 방향과 대응할 수 있다.
또한, 제1 모션 정보는 손(O)의 일부 영역(예컨대, 검지)이 이동값을 가질 수 있다. 즉, 검출 대상의 각 포인트 중 일부의 이동값이 존재할 수 있다.
그리고 제2 모션 정보는 손(O)과 제2 획득부(120) 간의 접촉 면적의 감소를 변화값으로 가지므로, 제어부는 제1 모션 정보에서 검출 대상의 이동 및 특정 영역 (예컨대, 검지)의 이동이 존재하며, 제2 모션 정보에서 상기 접촉 면적이 증감하기에 상술한 바와 같이 커서의 클릭의 세기 변화를 명령으로 출력할 수 있다.
예컨대, 디스플레이부 상에 나타난 커서가 도 13 및 도 14와 같이 손가락의 이동 방향과 동일하게 이동함과 동시에 클릭의 세기 변화가 수행될 수 있다.
또한, 제어부는 제1 모션 정보에서 특정 영역의 이동을 검출 대상에 배치되는 복수 개의 포인트의 위치를 통해 판단할 수 있다. 이에 따라, 제어부는 손의 움직임과 동시에 검지의 이동이 감지되면 커서의 이동 및 클릭을 동시에 명령으로 출력할 수 있다. 이로써, 전자 장치는 이러한 명령에 따라 작업을 수행할 수 있다.
상술한 구성에 의하여, 실시예에 따른 전자 장치는 사용자에게 패드를 조작하면서 패드의 단순 조작 기능(예컨대, 클릭 및 커서 이동)뿐만 아니라 손의 움직임을 통해 편리한 입력 인터페이스 기능이 수행되는 환경을 제공할 수 있다.
또한, 마찬가지로 제어부는 제2 모션 정보에서 접촉 면적의 증감이 존재하는 경우 가장 많은 면적의 변화가 발생한 위치를 산출하여 상술한 특정 영역의 이동인지 재확인할 수 있다. 즉, 특정 영역인 중지에서의 접촉 면적의 변화가 발생한 경우인지 특정 영역 이외인 검지 등에서 접촉 면적의 변화가 발생한 경우인지 판단할 수 있다. 이러한 구성을 통해, 실시예에 따른 전자 장치는 사용자의 동작에도 오류 없이 정확한 입력 인터페이스 기능을 수행할 수 있다.
도 15는 본 발명의 제5 실시예에 따른 제어부의 동작을 설명하는 도면이다.
도 15를 참조하면, 제5 실시예에 따른 제어부는 특정 입력이 존재하면 제2 획득부 상에 위치하는 검출 대상(O)의 형상을 디스플레이부(150)로 출력할 수 있다 .이에 따라, 제2 획득부(120) 상에 위치하는 검출 대상(O) 면적, 길이를 정확하게 표시할 수 있다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

Claims (10)

  1. 제1 검출영역에서 검출 대상에 대한 제1 모션 정보를 출력하는 제1 획득부;
    제2 검출영역에서 상기 검출 대상에 대한 제2 모션 정보를 출력하는 제2 획득부; 및
    상기 제1 모션 정보와 상기 제2 모션 정보에 따른 명령을 실행하는 제어부;를 포함하고,
    상기 제1 검출영역은 상기 제2 검출영역과 적어도 일부 중첩되는 전자 장치.
  2. 제1항에 있어서,
    상기 제1 검출영역은 상기 제1 획득부에서 상기 제2 획득부를 향해 투사되는 영역인 전자 장치.
  3. 제1항에 있어서,
    상기 제2 검출영역은 상기 제2 획득부의 상부 영역인 전자 장치.
  4. 제1항에 있어서,
    상기 제1 획득부는 촬상 장치를 포함하고,
    상기 제2 획득부는 터치 패드를 포함하는 전자 장치.
  5. 제4항에 있어서,
    상기 제2 모션 정보는 상기 검출 대상의 하부 영역에 대한 변화값을 포함하고,
    상기 제1 모션 정보는 상기 검출 대상의 하부 영역 이외의 영역에 대한 변화값을 포함하는 전자 장치.
  6. 제5항에 있어서,
    상기 제2 모션 정보는 상기 검출 대상과 상기 제2 획득부 간의 접촉 면적이고,
    상기 제1 모션 정보는 상기 검출 대상의 이동 및 특정 영역의 이동을 포함하는 전자 장치.
  7. 제6항에 있어서,
    상기 제어부는 상기 제1 모션 정보에서 상기 검출 대상의 이동 없이 상기 특정 영역의 이동만이 존재하며, 상기 제2 모션 정보에서 상기 접촉 면적이 증감하면 스크롤링, 크기 조절 및 창 변환 중 어느 하나를 출력하는 전자 장치.
  8. 제6항에 있어서,
    상기 제어부는 상기 제1 모션 정보에서 상기 검출 대상의 포인트 이동이 존재하고 상기 특정 영역의 포인트 이동이 존재하며, 상기 제2 모션 정보에서 상기 접촉 면적이 감소하면 커서의 이동 및 클릭을 출력하는 전자 장치.
  9. 제1항에 있어서,
    상기 제1 검출 영역은 복수 개의 제1 축을 가지고,
    상기 제2 검출 영역은 복수 개의 제2 축을 가지며,
    상기 복수 개의 제1 축과 상기 복수 개의 제2 축은 서로 비평행하게 위치하는 전자 장치.
  10. 제1항에 있어서,
    상기 실행된 명령에 따른 출력을 디스플레이 하는 디스플레이부;
    상기 제1 모션 정보 및 상기 제2 모션 정보에 맵핑된 명령에 대한 데이터를 저장하는 저장부; 및
    상기 제1 획득부 및 상기 제2 획득부 중 적어도 하나를 이동하는 구동부;를 더 포함하는 전자 장치.
KR1020190081184A 2019-07-05 2019-07-05 전자 장치 KR20210004567A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190081184A KR20210004567A (ko) 2019-07-05 2019-07-05 전자 장치
PCT/KR2020/008710 WO2021006552A1 (ko) 2019-07-05 2020-07-03 전자 장치
US17/624,671 US11874955B2 (en) 2019-07-05 2020-07-03 Electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190081184A KR20210004567A (ko) 2019-07-05 2019-07-05 전자 장치

Publications (1)

Publication Number Publication Date
KR20210004567A true KR20210004567A (ko) 2021-01-13

Family

ID=74114635

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190081184A KR20210004567A (ko) 2019-07-05 2019-07-05 전자 장치

Country Status (3)

Country Link
US (1) US11874955B2 (ko)
KR (1) KR20210004567A (ko)
WO (1) WO2021006552A1 (ko)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5825352A (en) * 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
US6570557B1 (en) * 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US7038659B2 (en) * 2002-04-06 2006-05-02 Janusz Wiktor Rajkowski Symbol encoding apparatus and method
US8026897B2 (en) * 2004-11-22 2011-09-27 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Cursor motion control of a pointing device
US8462134B2 (en) * 2009-06-29 2013-06-11 Autodesk, Inc. Multi-finger mouse emulation
KR100941927B1 (ko) * 2009-08-21 2010-02-18 이성호 터치입력 인식방법 및 장치
US20120169671A1 (en) * 2011-01-03 2012-07-05 Primax Electronics Ltd. Multi-touch input apparatus and its interface method using data fusion of a single touch sensor pad and an imaging sensor
US9063573B2 (en) * 2011-02-17 2015-06-23 The Board Of Trustees Of The Leland Stanford Junior University Method and system for touch-free control of devices
US20140152566A1 (en) * 2012-12-05 2014-06-05 Brent A. Safer Apparatus and methods for image/sensory processing to control computer operations
JP6197012B2 (ja) * 2015-10-27 2017-09-13 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
US11874955B2 (en) 2024-01-16
WO2021006552A1 (ko) 2021-01-14
US20220276695A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
US11983326B2 (en) Hand gesture input for wearable system
US10048779B2 (en) Virtual hand based on combined data
CN105765490B (zh) 用于用户界面控制的系统和技术
JP6539816B2 (ja) １つのシングル・センシング・システムを使用したマルチ・モーダル・ジェスチャー・ベースの対話型のシステム及び方法
US10168873B1 (en) Virtual interactions for machine control
KR20160108705A (ko) 표시 장치
WO2006020462A2 (en) Stylus-based computer input system
NO339941B1 (no) System og fremgangsmåte for et gestbasert styringssystem
US10114481B2 (en) Flexible display sensing
US11567588B2 (en) Computer input devices with hybrid translation modes
US9213440B2 (en) System and method for remote touch detection
WO2012171116A1 (en) Visual feedback by identifying anatomical features of a hand
CN104049779A (zh) 在多个显示器之间实现鼠标指针快速切换
Nguyen et al. 3DTouch: A wearable 3D input device for 3D applications
Matlani et al. Virtual mouse using hand gestures
JP2014071672A (ja) 情報入力装置および情報入力方法
KR20210004567A (ko) 전자 장치
US11537219B2 (en) Feedback input apparatus and method for use thereof
KR20100030737A (ko) 3ｄ 인터랙션을 위한 영상정보 기반의 마우스 구현 방법 및장치
KR101588021B1 (ko) 헤드 마우스
TWI573041B (zh) 輸入裝置及可攜式電子裝置
JP2015106255A (ja) 表示装置およびプログラム
RU2690753C1 (ru) Универсальное координатное устройство для персональных компьютеров
KR101026001B1 (ko) 터치 스크린 장치
Hindu et al. Virtual Mouse Operations Using Webcam