KR20140112920A - 사용자 기기의 오브젝트 운용 방법 및 장치 - Google Patents

사용자 기기의 오브젝트 운용 방법 및 장치 Download PDF

Info

Publication number
KR20140112920A
KR20140112920A KR1020130027600A KR20130027600A KR20140112920A KR 20140112920 A KR20140112920 A KR 20140112920A KR 1020130027600 A KR1020130027600 A KR 1020130027600A KR 20130027600 A KR20130027600 A KR 20130027600A KR 20140112920 A KR20140112920 A KR 20140112920A
Authority
KR
South Korea
Prior art keywords
user
terminal
hand
hovering
gesture
Prior art date
Application number
KR1020130027600A
Other languages
English (en)
Other versions
KR102091028B1 (ko
Inventor
전진영
강지영
김대성
김진용
이보영
임승경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020130027600A priority Critical patent/KR102091028B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/211,982 priority patent/US9372617B2/en
Priority to CA2846531A priority patent/CA2846531C/en
Priority to CN201410095171.7A priority patent/CN104049737B/zh
Priority to JP2014051607A priority patent/JP6366309B2/ja
Priority to RU2014109966A priority patent/RU2662690C2/ru
Priority to AU2014201588A priority patent/AU2014201588B2/en
Priority to BR102014006152A priority patent/BR102014006152A2/pt
Priority to TW103109521A priority patent/TWI633460B/zh
Priority to EP14159931.6A priority patent/EP2778853B1/en
Publication of KR20140112920A publication Critical patent/KR20140112920A/ko
Application granted granted Critical
Publication of KR102091028B1 publication Critical patent/KR102091028B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따른 사용자 기기의 오브젝트 운용 방법은, 표시부에 적어도 하나의 오브젝트를 표시하는 단계; 상기 표시부에 표시된 오브젝트를 선택하는 멀티 핑거 호버링 제스처를 검출하는 단계; 상기 멀티 핑거 호버링 제스처에 응답하여 카메라를 구동하는 단계; 상기 카메라로부터 수집된 영상을 기반으로 사용자의 핸드를 인식하는 단계; 및 상기 인식된 사용자의 핸드가 상기 카메라의 시야각 내에서 사라지는 경우, 상기 선택된 오브젝트를 파일 전송 대기 상태로 변경하는 단계를 포함한다.

Description

사용자 기기의 오브젝트 운용 방법 및 장치 {METHOD　FOR PROVIDING USER'S INTERACTION USING MULTI HOVERING　GESTURE}
본 발명은 사용자 기기의 오브젝트 운용 방법 및 장치에 관한 것으로, 특히 멀티 호버링을 이용한 사용자 기기의 오브젝트 운용 방법 및 장치에 관한 것이다.
사용자 기기(user device) 예를 들어, 스마트폰, 태블릿 PC, 노트북 등은 이용의 편의성과 휴대의 용이성으로 인해 매우 폭넓은 분야에서 이용되고 있다. 특히, 터치스크린을 구비하는 사용자 기기는 지속적으로 개발되고 있다. 터치스크린을 구비하는 기기는 표시부를 통해 다양한 기능들을 제공함으로써, 기능을 보다 직관적으로 이용할 수 있도록 지원하고 있다. 사용자는 터치, 음성, 모션 등의 다양한 입력 수단을 이용하여 표시부에 표시된 기능들을 조작하거나 기기에 필요한 정보들을 입력할 수 있다.
최근 사용자 기기에서 제공되는 기능들이 복잡해짐에 따라, 사용자 인터렉션(interaction)에 대한 방법이 다양하게 연구되고 있다. 일반적으로 사용자는 사용자 기기에서 제공되는 사용자 인터페이스(UI; User Interface) 화면을 기반으로 화면을 조작하고 있다. 즉, 사용자는 사용자 기기의 특정 기능을 실행하기 위해서는 기기 설계의 원칙에 따라 일련의 과정들을 수행해야 한다. 예를 들어, 사용자가 특정 컨텐츠를 타 단말기로 전송하기 위해서는, 타 단말기와 연결하기 위한 입력, 특정 컨텐츠를 선택하기 위한 입력, 전송 메뉴로 진입하기 위한 입력 및 전송을 요청하기 위한 입력을 순차적으로 진행해야 한다. 이러한 사용자의 입력 동작은 현실에서의 직관적인 사용성을 반영하지 못하며, 기기에 대한 동작 이해가 어려운 사람들에게는 기기의 기능을 충분히 활용하지 못하는 단점이 존재한다. 따라서, 사용자 기기를 조작하는 데 있어서, 현실에서와 같은 직관적인 제스처를 이용하여 사용자 기기를 조작하기 위한 연구가 이루어지고 있다.
상기 안출된 문제를 해결하기 위해, 본 발명은 사용자 기기를 현실에서와 같은 직관적인 제스처를 이용하여 사용자 기기의 기능을 조작할 수 있는 사용자 기기의 오브젝트 운용 방법 및 장치를 제공하는 데 그 목적이 있다.
본 발명은 사용자 기기를 직접적으로 터치하지 않고, 현실에서 사용하는 제스처와 동일한 제스처를 통해 컨텐츠에 대한 특정 기능 예컨대, 파일 전송, 삭제 기능을 실행할 수 있는 사용자 기기의 오브젝트 운용 방법 및 장치를 제공하는 데 그 목적이 있다.
본 발명에 따른 사용자 기기의 오브젝트 운용 방법은, 표시부에 적어도 하나의 오브젝트를 표시하는 단계; 상기 표시부에 표시된 오브젝트를 선택하는 멀티 핑거 호버링 제스처를 검출하는 단계; 상기 멀티 핑거 호버링 제스처에 응답하여 카메라를 구동하는 단계; 상기 카메라로부터 수집된 영상을 기반으로 사용자의 핸드를 인식하는 단계; 및 상기 인식된 사용자의 핸드가 상기 카메라의 시야각 내에서 사라지는 경우, 상기 선택된 오브젝트를 파일 전송 대기 상태로 변경하는 단계를 포함한다.
본 발명에 따른 사용자 기기는, 무선 통신 신호를 송수신하는 무선 통신부; 적어도 하나의 오브젝트를 표시하는 표시부; 상기 오브젝트에 대한 사용자 제스처를 감지하는 센서부; 상기 사용자 제스처 영상을 수집하는 카메라; 및 상기 센서부를 통해 오브젝트를 선택하는 멀티 핑거 호버링 제스처를 검출하고, 상기 멀티 핑거 호버링 제스처에 응답하여 카메라를 구동하고, 상기 카메라로부터 수집된 영상을 기반으로 사용자의 핸드를 인식하고, 상기 인식된 사용자의 핸드가 상기 카메라의 시야각 내에서 사라지는 경우, 상기 선택된 오브젝트를 파일 전송 대기 상태로 변경하도록 제어하는 제어부를 포함한다.
본 발명에 따른 사용자 기기의 오브젝트 운용 방법 및 장치에 따르면, 사용자가 표시부에 표시된 컨텐츠를 아날로그적인 사용 경험을 그대로 유지하여 보다 직관적으로 컨텐츠에 대한 기능을 운용할 수 있다. 사용자는 현실에서 사용하는 제스처와 동일한 제스처를 통해 컨텐츠를 타 단말기로 전송하거나, 삭제할 수 있다.
또한, 본 발명에 따르면, 단말기의 특정 기능 실행을 위해 계층적인 메뉴 구조를 이용하지 않고, 빠른 실행 명령을 제공하는 유저 익스피어런스(UX; User Experience)를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 휴대 단말기를 설명하기 위해 나타내 보인 블록도이다.
도 2는 본 발명의 실시예에 따른 사용자 기기의 오브젝트 운용 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 실시예에 따른 사용자 기기에서 오브젝트를 전송하는 사용자 인터렉션을 설명하기 위한 예시도이다.
도 4는 발명의 실시예에 따른 사용자 기기에서 오브젝트를 삭제하는 사용자 인터렉션을 설명하기 위한 예시도이다.
도 5는 본 발명의 실시예에 따라 그랩 제스처에 대응하여 시각적 피드백을 출력하는 화면 예시도이다.
도 6은 본 발명의 실시예에 따른 단말기 사이의 파일 전송 과정을 설명하기 위해 나타내 보인 도면이다.
도 7은 본 발명의 실시예에 따른 단말기 사이의 오브젝트의 송수신 과정을 설명하기 위한 화면 예시도이다.
도 8은 본 발명의 실시예에 따라 파일 수신에 대응하여 시각적 피드백을 출력하는 화면 예시도이다.
도 9는 본 발명의 실시예에 따른 동영상 파일의 송수신 과정을 설명하기 위해 나타내 보인 화면이다.
이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따라 메시지 관리 방법 및 장치에 대해서 상세하게 설명한다. 본 발명의 상세한 설명에 앞서, 이하에서 사용되는 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 따라서, 본 명세서와 도면은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한, 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
본 발명에 따른 사용자 기기는 터치스크린과 터치 입력 기구 사이의 이격 거리 예컨대, 깊이(depth)에 따라 사용자 입력 예를 들어, 터치 및 호버링을 검출하는 기능을 지원한다. 또한, 사용자 기기는 하나의 영역에서 입력 이벤트가 발생되는 싱글 입력(single input)과, 둘 이상의 영역에서 입력 이벤트가 동시에 발생되는 멀티 입력(multi input)을 검출하는 기능을 지원한다.
본 발명에서 '호버링'은 터치 입력 기구가 터치스크린으로부터 기 정의된 이격 거리 이내로 접근하여 발생된 입력 신호로 정의된다. 예컨대, 호버링은 사용자 기기가 터치 입력 기구의 위치를 검출할 수 있는 수준까지 접근하여 발생된 입력 신호로 지칭될 수 있다.
본 발명에서 '제스처'는 사용자의 입력 동작을 의미하며, 멀티 호버링 제스처와, 핸드 제스처로 구별될 수 있다. 여기서, '멀티 호버링 제스처'는 터치스크린으로부터 전달된 호버링을 통해 인식된 사용자의 동작을 의미하며, 호버링 기반의 손가락 제스처에 해당될 수 있다. '핸드 제스처'는 카메라로부터 수집된 영상으로부터 인식되는 핸드 이미지를 통해 인식되는 핸드 동작(motion)을 의미하며, 카메라 기반으로 손 제스처에 해당될 수 있다.
본 발명에 따른 방법 및 장치는 휴대 단말기에 적용될 수 있다. 이러한 휴대 단말기는 휴대폰, 스마트폰, 태블릿 PC, 핸드헬드(hand-held) PC, PMP(Portable Multimedia Player), PDA(Personal Digital Assistant) 등이 될 수 있음은 자명하다. 이하 설명에서는 본 발명에 따른 사용자 기기의 오브젝트 운용 방법 및 장치가 휴대 단말기에 적용되는 것으로 가정하여 설명한다.
도 1은 본 발명의 실시예에 따른 휴대 단말기를 설명하기 위해 나타내 보인 블록도이다.
도 1을 참조하면, 본 발명에 따른 단말기(100)는 표시부(110), 입력부(120), 무선 통신부(130), 오디오 처리부(140), 카메라(150), 센서부(160), GPS 수신부(170), 저장부(180) 및 제어부(190)를 포함하여 이루어질 수 있다.
표시부(110)는 단말기(110)의 운용 과정에 필요한 다양한 기능 화면을 표시한다. 표시부(110)는 제어부(190)의 제어 하에, 제어부(190)로부터 입력받은 영상 데이터를 아날로그 신호로 변환하여 표시한다. 표시부(110)는 단말기의 운용에 따른 화면 예를 들면, 잠금 화면, 홈 화면, 어플리케이션(이하, 앱(APP)이라 한다) 실행 화면, 메뉴 화면, 키패드 화면, 메시지 작성 화면, 인터넷 화면 등을 제공할 수 있다.
본 발명에서 표시부(110)는 사용자의 멀티 호버링 제스처에 따라 표시부(110)에 출력된 오브젝트의 그래픽을 다르게 처리하여 출력하는 기능을 지원한다. 예컨대, 표시부(110)는 멀티 호버링 기반의 그랩 제스처가 검출되는 경우, 표시부에 표시된 화면 또는 오브젝트의 크기 사이즈가 축소되는 그래픽 효과를 출력할 수 있다. 이 경우, 표시부(110)는 제어부(190)의 제어 하에, 사용자의 핸드와 화면 사이의 이격 간격 즉, 깊이(depth)에 따라 오브젝트의 표시 사이즈(size)를 축소하거나 확대하는 그래픽 효과를 제공하도록 지원한다. 또한, 표시부(110)는 멀티 호버링 기반의 릴리즈 제스처가 검출되는 경우, 표시부(110)에 출력되는 오브젝트의 크기 사이즈가 확대되는 그래픽 효과를 출력할 수 있다. 이 경우, 표시부(110)에 출력되는 오브젝트는 타 단말기로부터 수신되는 오브젝트 파일이 해당될 수 있다. 또한, 표시부(110)는 타 단말기로부터 수신된 데이터 전송량에 따라 표시부에 출력된 화면의 크기를 점점 확대하는 그래픽 효과를 제공하도록 지원한다.
표시부(110)는 액정 표시 장치 (Liquid Crystal Display : LCD), OLED(Organic Light Emitted Diode), AMOLED(Active Matrix Organic Light Emitted Diode), 플렉서블 디스플레이, 투명 디스플레이 등의 형태로 형성될 수 있다.
표시부(110)는 단말기 운용에 따라 다양한 화면을 제공하는 표시 패널과, 표시 패널의 전면 또는 후면에 터치 이벤트 생성을 지원하는 터치 패널을 포함할 수 있다. 예컨대, 터치 패널은 표시부에 안착(Place on)된다. 터치 패널은 표시부(110) 전면에 위치하는 애드 온 타입(add-on type)이나 표시부(110) 내에 삽입되는 온 셀 타입(on-cell type) 또는 인 셀 타입(in-cell type)으로 구현될 수 있다. 터치 패널은 저항막 방식(resistive type), 정전용량 방식(capacitive type) 및 전자유도 방식(electromagnetic induction type) 등이 적용될 수 있다. 표시부(110)는 단말기(100)의 회전 방향(또는 놓인 방향)에 따른 앱 실행 정보, 가로 모드와 세로 모드 간의 변화에 따른 적응적 화면 전환 표시를 지원할 수 있다.
입력부(120)는 단말기(110) 운용에 필요한 다양한 입력 신호를 생성한다. 입력부(110)는 숫자 또는 문자 정보를 입력받고, 각종 기능들을 설정하기 위한 다수의 입력 키 및 기능키들 예컨대, 사이드 키, 단축 키 및 홈 키 등을 포함할 수 있다. 입력부(120)는 사용자 설정 및 사용자 기기의 기능 제어와 관련된 키 신호를 생성하여 제어부(190)로 전달한다. 제어부(190)는 이러한 키 신호에 응답하여 해당 입력 신호에 따른 기능들을 제어한다. 입력부(120)는 단말기(100)의 터치 패널이 풀 터치스크린형태로 지원된 경우, 가상 터치 패드로 제공될 수 있다.
또한, 표시부(110)에 터치 패널을 포함하는 경우, 표시부(110)는 입력부(120)로서 동작할 수 있다. 이 경우, 단말기 운용을 위한 입력 신호는 터치 패널을 통해 생성될 수 있다. 터치 패널은 터치 입력 기구(예, 사용자의 핸드, 터치 펜 등)에 의한 입력 이벤트 생성을 지원한다. 특히, 터치 패널이 정전용량 방식으로 구성되는 경우, 터치 패널은 터치 입력 기구와의 화면 사이의 이격 거리에 따른 정전용량 변화를 감지하고, 정전용량 값의 크기에 따라 사용자의 동작을 구분할 수 있도록 지원한다. 또한. 터치 입력기구와 화면 사이의 이격거리는 거리 측정 센서 예를 들어 적외선 센서를 통해 이격거리 즉, 깊이 값을 측정할 수도 있다. 본 발명에서 입력부(120)는 사용자의 입력 조작에 응답하여 터치, 멀티 터치, 싱글 호버링 및 멀티 호버링 중 적어도 하나의 입력 이벤트 생성을 지원한다.
무선 통신부(130)는 단말기의 통신을 수행한다. 무선 통신부(130)는 지원 가능한 이동 통신 네트워크와 통신 채널을 형성하여 음성 통신, 화상 통신 및 데이터 통신과 같은 통신을 수행한다. 무선 통신부(130)는 송신되는 신호의 주파수를 저잡음 증폭 및 하강 변환하는 무선주파수 수신부 등을 포함할 수 있다. 또한, 무선 통신부(130)는 이동 통신 모듈(예컨대, 3세대(3-Generation) 이동통신모듈, 3.5 세대(3.5-Generation) 이동통신모듈 또는 4세대(4-Generation) 이동통신모듈 등), 및 디지털 방송 모듈(예컨대, DMB 모듈) 및 근거리 통신 모듈을 포함할 수 있다. 여기서, 근거리 통신 모듈은 와이 파이 모듈, 블루투스 모듈, 와이파이 다이렉트 모듈 중 적어도 하나를 포함할 수 있다. 본 발명에서 근거리 통신 모듈은 타 단말기와 통신 채널을 형성하여 제어부(190)의 제어 하에, 특정 오브젝트의 파일 또는 데이터를 송수신하는 기능을 지원한다.
본 발명에서 단말기(100)는 액세스 포인트(AP: access point)로 사용되는 기능을 지원할 수도 있다. 단말기(100)가 액세스 포인트로 사용되는 경우, 단말기(100)는 해당 단말기(100)를 액세스 포인트로 이용하는 타 단말기와 직접 파일을 송수신할 수 있다. 또는 단말기(100)가 특정 액세스 포인트에 접속된 경우, 특정 액세스 포인트에 연결된 타 단말기와 파일을 송수신하는 경우, 특정 액세스 포인트를 통해 파일을 송수신할 수 있다.
오디오 처리부(140)는 오디오 처리부(140)는 단말기(100)에서 생성된 또는 복호된 오디오 신호 출력을 지원하는 스피커(SPK)와 음성 통화나 영상 통화, 녹음 기능 등을 지원하기 위해 오디오 신호를 수집하는 마이크(MIC)를 포함할 수 있다. 오디오 처리부(140)는 제어부(160)로부터 입력받은 음성 등의 오디오 데이터를 DA(Digital to Analog) 변환하여 스피커(SPK)로 전송하고, 마이크(MIC)로부터 입력받은 음성 등의 오디오 데이터를 AD(Analog to Digital) 변환하여 제어부(160)로 전달한다. 오디오 처리부(150)는 코덱(codec; coder/decoder)으로 구성될 수 있으며, 코덱은 패킷 데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 구비할 수 있다. 오디오 처리부(140)는 수신되는 디지털 오디오신호를 오디오 코덱을 통해 아날로그 신호로 변환하여 스피커를 통해 재생한다. 오디오 처리부(150)는 마이크로부터 입력되는 아날로그 오디오 신호를 오디오 코덱을 통해 디지털 오디오신호로 변환하여 제어부(190)로 전달한다.
카메라(150)는 촬영을 통하여 영상을 수집하는 기능을 지원한다. 카메라(150)는 입력된 광 신호를 전기적 신호로 변환하는 카메라 센서와, 카메라 센서로부터 촬영되는 아날로그 영상 신호를 디지털 데이터로 변환하는 영상처리 장치(Image Signal Processor) 및 영상처리 장치에서 출력되는 디지털 데이터를 터치스크린에 표시하기 위해 비디오 신호를 영상 처리(예, 크기 조정(scaling), 잡음 제거, RCG 신호 변환 등) 하는 신호처리장치(Digital Signal Processor) 등을 포함할 수 있다. 여기서, 카메라 센서는 CCD(Charge-coupled Device) 센서 또는 CMOS(Complementary Metal-Oxide Semiconductor) 센서 등이 사용될 수 있고, 신호 처리장치는 구성이 생략되고, DSP로 구현될 수도 있다.
본 발명에서 카메라(150)는 사용자 제스처를 인식하기 위한 센서 기능을 지원한다. 카메라(150)는 제어부(190)의 제어 하에, 백그라운드(background) 기능으로 활성화될 수 있다. 예컨대, 카메라(150)는 제어부(190)의 제어 하에, 특정 앱이 실행된 상태에서 렌즈를 통해 수집되는 영상을 제어부(190)로 전달할 수 있다.
센서부(160)는 사용자 기기(100)를 기반으로 이루어지는 사용자의 입력 정보 및 주변 환경 변화를 감지하고, 그에 따른 정보를 제어부(190)로 전달하는 기능을 지원한다. 본 발명에서 센서부(160)는, 터치 입력을 인식할 수 있는 터치 센서, 터치 입력 기구의 접근을 감지하는 근접 센서, 터치 입력 기구와 기기 사이의 거리를 측정할 수 있는 거리 측정 센서, 영상이미지 수집할 수 있는 이미지 센서, 3차원 공간의 동작 및 움직임을 인식할 수 있는 동작 인식 센서, 방향 등을 감지할 수 있는 방향 센서, 및 이동 속도를 검출할 수 있는 가속도 센서 중 적어도 하나를 포함할 수 있다.
GPS(Global Positioning System) 수신부(170)는 제어부(190)의 제어 하에, GPS 위성으로부터 GPS 위성 신호를 수신하여 제어부(190)로 전달하는 기능을 지원한다. GPS 수신부(160)는 수신신호에 따라 GPS 위성과 접속하여 GPS 위성 신호를 수신받는다. GPS 수신부(170)는 수신된 GPS 위성 신호를 제어부(170)로 전달한다. 제어부(190)는 GPS 위성 신호를 이용하여 현재 위치한 휴대 단말기의 위치 정보를 계산한다.
본 발명에서 GPS 수신부(170)는 타 단말기와 통신 연결하는 수단으로 이용될 수 있다. 예컨대, 제어부(190)는 멀티 호버링 제스처가 검출되면, GPS 수신부(170)를 통해 사용자 기기의 GPS 정보를 GPS서버로 전송한다. 제어부(190)는 기 정의된 시간 이내에 GPS 서버로부터 타 단말기의 GPS 좌표 정보가 수신되면, 해당 서버로부터 파일을 수신받을 수 있다.
저장부(180)는 단말기(100)의 운영체제(OS; Operating System) 및 다양한 어플리케이션(이하, 앱)을 비롯하여, 휴대 단말에서 생성되는 다양한 데이터 등을 저장한다. 데이터는 단말기의 어플리케이션 (이하, 앱) 실행에 발생하는 데이터 및 단말기를 이용하여 생성하거나 외부(예컨대, 외부 서버, 다른 휴대 단말, 개인용 컴퓨터)로부터 수신하여 저장 가능한 모든 형태의 데이터들을 포함할 수 있다. 저장부(180)는 단말기에서 제공되는 사용자 인터페이스 및 기능 처리에 대한 다양한 설정 정보를 저장할 수 있다.
본 발명에서 저장부(180)는 사용자의 제스처를 결정하는 제스처 인식 프로그램을 포함할 수 있다. 제스처 인식 프로그램은 호버링 기반의 멀티 호버링 제스처와 카메라 기반의 핸드 제스처를 인식하는 기능을 지원한다. 제스처 인식 프로그램은 카메라로부터 수집된 영상으로부터 핸드 영역을 분리하고, 핸드 형태를 인식하는 기능을 지원한다. 또한, 제스처 인식 프로그램은 수집된 영상에서 사용자의 핸드 모양이 특정 상태 및 동작으로 변화되는 경우, 해당 동작 상태 및 동작과 매칭되는 제스처를 판별하는 기능을 지원한다.
본 발명에서 저장부(180)는 사람이 손을 이용해 동작할 수 있는 다양한 핸드 제스처에 대한 정보 예컨대, 손가락의 배치 형태, 손가락의 위치 정보, 핸드의 동작 모양, 핸드 형태 등의 정보를 저장할 수 있다. 또한, 저장부(180)는 사용자의 제스처에 대응하여 기 설정된 명령(command) 정보를 포함할 수 있다. 사용자 제스처에 대응하는 명령은 제조 시에 정의될 수 있으나, 사용자 편의에 따라 설정이 가능하다.
제어부(190)는 사용자 기기의 전반적인 동작 및 사용자 기기의 내부 구성들 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(190)는 배터리에서 내부 구성들로의 전원 공급을 제어한다. 제어부(190)는 전원이 공급되면, 사용자 기기의 부팅 과정을 제어하고, 사용자의 설정에 따라 사용자 기기의 기능 실행을 위해 프로그램 영역에 저장된 각종 응용 프로그램을 실행한다.
본 발명에서 제어부(190)는 터치스크린으로부터 수신되는 입력 이벤트를 수신하여 입력 이벤트에 따른 사용자 제스처를 구분하는 기능을 지원한다. 제어부(190)는 터치 입력 기구의 접근을 감지하고, 터치 입력 기구와 터치스크린 사이의 이격 간격을 계산한다. 여기서, 터치 입력 기구는 터치 펜이나 사용자의 핸드일 수 있으나, 본 발명에서는 터치 입력기구가 사용자의 핸드인 경우로 가정하여 설명한다.
제어부(190)는 둘 사이의 이격 간격이 기 정의된 이격 거리 이내인 경우, 호버링을 검출할 수 있다. 특히, 본 발명에서 제어부는 싱글 호버링과 멀티 호버링을 검출할 수 있다. 싱글 호버링은 터치 입력 기구로부터 하나의 호버링 영역이 검출되는 경우로 정의된다. 멀티 호버링은 터치 입력 기구로부터 둘 이상의 호버링 영역이 검출되는 경우로 정의된다.
제어부(190)는 멀티 호버링 영역들의 위치 정보를 기반으로 호버링 영역의 움직임을 계산하고, 움직임을 기반으로 사용자의 멀티 호버링 제스처를 결정할 수 있다. 여기서, 위치 정보는 호버링 영역의 좌표 정보를 포함할 수 있다. 예컨대, 제어부(190)는 멀티 호버링이 검출된 최초의 영역들을 기준으로 중심점을 계산하고, 호버링 영역들이 중심점에 가까이 접근하는 경우, 호버링 기반의 그랩 제스처(grab gesture)가 발생됐다고 결정할 수 있다. 또한, 제어부(190)는 멀티 호버링이 검출된 최초의 영역들을 기준으로 호버링 영역들이 서로 멀어진 경우, 호버링 기반의 릴리즈 제스처(release gesture)가 발생됐다고 결정할 수 있다. 또한, 제어부(190)는 제스처 인식 프로그램을 이용하여 카메라를 통해 수집된 영상으로부터 핸드 영역을 분리하고, 핸드 영역으로부터 추출된 이미지를 통해 핸드 형태를 계산한다. 제어부(190)는 계산된 손의 형태가 변경되는 경우, 패턴 매칭을 통해 카메라 기반의 핸드 제스처를 결정할 수 있다.
제어부(190)는 사용자의 제스처 예컨대, 멀티 호버링 제스처 또는 핸드 제스처가 검출되면, 해당 제스처에 대응하여 수행 가능한 기능 또는 기 정의된 명령에 따른 기능을 실행하고, 그의 실행 화면을 표시부(110)에 출력한다.
제어부의 구체적인 기능은 다음의 도 2를 참조하여 상세하게 설명하고자 한다.
도 2는 본 발명의 실시예에 따른 사용자 기기의 오브젝트 운용 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 단계 210에서 단말기(100)는 사용자 입력 또는 기 정의된 스케쥴에 따라 표시부(110) 화면에 적어도 하나의 오브젝트를 표시한다. 여기서, 오브젝트는 사용자 기기에서 제공되는 디지털화된 정보에 대응하여 화면에 출력되는 객체를 의미한다. 오브젝트는 표시부(110)에 출력된 아이콘, 썸네일 등으로 해석될 수 있다. 본 발명에서 오브젝트는 그에 대응하는 데이터 파일, 예컨대, 텍스트 파일, 음성 파일, 영상 파일, 이미지 파일, URL 정보 파일을 포함하는 것의 정의될 수 있다.
이 경우, 단말기의 운영 모드는 호버링 인식 모드로 운용 중일 수 있다. 호버링 인식 모드는 호버링 인식 기능이 지원되는 특정 앱이 실행된 상태이거나, 호버링 인식 기능이 실행된 상태일 수 있다. 본 발명에서 호버링 인식 기능은 표시부에 특정 컨텐츠가 풀 모드로 출력된 상태, 또는 사용자 입력에 따라 복수의 오브젝트가 선택된 상태에서 호버링을 인식할 수 있으나, 이에 한정하는 것은 아니다.
단계 220에서 단말기(100)는 기 정의된 이격 거리 이내에서 멀티 호버링을 검출한다. 예컨대, 단말기(100)는 단말기로 접근하는 인체 예컨대, 사용자의 핸드로부터 변화되는 정전용량값을 측정한다. 단말기(100)는 적어도 둘 이상의 영역에서 정전용량값의 변화를 검출할 수 있다. 단말기(100)는 측정된 변화량을 기반으로 사용자의 핸드와 화면 간의 이격 거리를 계산한다. 단말기(100)는 사용자의 핸드와 화면 사이의 이격 거리가 기 정해진 이격 거리(예, 3cm) 이내로 접근하는 경우, 호버링을 검출할 수 있다. 단말기(100)는 호버링이 검출되면, 검출된 호버링의 위치 정보를 측정할 수 있다.
이때, 단말기(100)는 둘 이상의 영역에서 호버링이 검출되는 경우, 멀티 호버링으로 결정할 수 있다. 즉, 단말기(100)는 둘 이상의 위치에서 터치 입력 기구들(예, 복 수의 손가락)이 제1 이격 거리 이내에서 검출되는 경우, 둘 이상의 영역에서 검출된 호버링을 유효 데이터로 인식할 수 있다.
단계 230에서 단말기(100)는 기 정해진 시간 이내에 발생되는 멀티 호버링의 움직임을 기반으로 그랩(grab) 제스처가 발생됐는지 여부를 결정한다. 단말기(100)는 최초로 검출된 호버링 영역들을 기준으로 사용자의 제스처에 따른 호버링의 방향, 거리, 빠르기 등을 결정할 수 있다.
구체적으로, 단말기(100)는 멀티 호버링의 움직인 방향 및 거리를 이용하여 위치 벡터를 산출하고, 산출된 위치 벡터들을 이용하여 그랩 제스처가 발생됐는지 여부를 결정할 수 있다. 단말기(100)는 둘 이상의 호버링 영역들로부터 중심점을 결정하고, 호버링 움직임이 중심점을 기준으로 가까워지는지는 경우, 그랩 제스처가 발생됐다고 결정할 수 있다. 또한, 제어부(190)는 둘 이상의 호버링 영역들을 포함하는 외곽 테두리를 결정하고, 호버링의 움직임이 외곽 테두리 안쪽으로 변경된 경우, 그랩 제스처가 발생됐다고 결정할 수 있다.
단계 240에서 단말기(100)는 호버링 기반의 그랩 제스처가 발생됐다고 결정되면, 표시부(110)에 표시된 오브젝트를 특정 기능을 실행하기 위한 선택 오브젝트로 결정한다. 이 경우, 단말기(100)는 표시부(110)에 출력된 하나의 오브젝트를 선택 오브젝트로 결정할 수 있으나, 사용자 입력에 따라 미리 선택된 오브젝트들의 선택 결정을 유지할 수도 있다.
단말기(100)는 그랩 제스처에 의해 선택된 오브젝트에 대한 시각적 피드백 효과를 출력할 수 있다. 예를 들어, 단말기(100)는 그랩 제스처에 대응하여 사용자가 실질적으로 물건을 들어 올리는 것과 같은 그래픽 효과를 제공할 수 있다.
단계 250에서 단말기(100)는 선택 오브젝트가 결정되면, 카메라(150)를 활성화시킨다. 여기서, 카메라(150)는 단말이 전면에 장착되는 전면 카메라일 수 있다. 이때, 카메라(150)는 사용자의 핸드를 인식할 수 있는 센서 기능으로 이용되며, 백그라운드로 실행될 수 있다.
단계 260에서 단말기(100)는 카메라(150)로부터 영상을 수집하여 사용자의 핸드를 인식한다. 예를 들어, 단말기(100)는 카메라로부터 획득되는 영상에서 색상 정보를 이용하여 배경을 제외하고, 핸드 영역을 분리할 수 있다. 단말기(100)는 분리된 핸드 영역으로부터 핸드의 특징점을 추출하고 핸드의 형태를 계산할 수 있다. 단말기(100)는 계산된 핸드의 형태 정보를 이용하여 핸드 모양과 동작을 인식할 수 있다. 단말기(100)는 핸드 모양과 동작을 기반으로 패턴 매칭(pattern matching)을 수행하여 핸드 제스처를 검출할 수 있다.
단계 270에서 단말기(100)는 카메라(150) 시야각 내에서 사용자의 핸드가 사라졌는지 여부를 결정한다. 단말기(100)는 색상 정보를 통해 영상으로부터 핸드 영역을 분리할 수 없는 경우, 카메라 시야각 내에서 사용자의 핸드가 사라졌다고 결정할 수 있다.
단계 275에서 단말기(100)는 카메라 시야각 내에서 사용자의 핸드가 사라졌다고 결정되면, 선택된 오브젝트를 파일 전송 대기 상태로 변경한다. 이 경우, 단말기(100)는 타 단말기와의 통신 채널을 형성하여 타 단말기로 전송 대기 신호를 전송하거나, 통신 채널이 기 설정된 경우, 타 단말기로 전송 대기 신호를 전송할 수 있다. 파일 전송 대기에 대한 구체적인 설명은 도 6을 기반으로 상세히 설명하고자 한다.
단계 290에서 단말기(100)는 타 단말기로부터 전송 요청 신호가 수신되는지 여부를 결정한다. 단말기(100)는 전송 요청 신호는 타 단말기로부터 수신되는 응답 신호가 해당될 수 있다. 단계 295에서 단말기(100)는 전송 요청 신호가 수신되는 경우, 전송요청 신호를 발신한 타 단말기로 선택 오브젝트로 결정된 오브젝트의 파일 또는 데이터를 전송한다.
단계 280에서 단말기(100)는 사용자의 핸드가 카메라(150) 시야각 내에서 사라지지 않는 경우, 카메라(150) 기반의 핸드 제스처를 검출할 수 있다. 예를 들어, 사용자가 특정 오브젝트가 선택된 상태에서 카메라 시야각 내에서 던지는 제스처를 수행할 수 있다. 단말기(100)는 카메라(150)로부터 수집되는 영상으로부터 사용자의 핸드 형태를 결정하고, 패턴 매칭을 통해 사용자 핸드가 던지는 동작을 수행했다고 결정할 수 있다.
단계 285에서 단말기(100)는 핸드 제스처가 검출된 경우, 해당 핸드 제스처에 대응하여 선택된 오브젝트에 대한 특정 기능을 실행할 수 있다. 예를 들어, 던지는 동작에 대응하여 오브젝트 삭제 명령이 정의된 경우, 단말기(100)는 던지는 제스처에 응답하여 해당 오브젝트 삭제하는 기능을 실행한다.
도 3은 본 발명의 실시예에 따른 사용자 기기에서 오브젝트 전송하는 사용자 인터렉션을 설명하기 위한 예시도이다.
도 3을 참조하면, 표시부(110)는 사용자의 요청 또는 기 정의된 스케쥴에 따라 하나 이상의 오브젝트를 화면에 출력할 수 있다. 표시부(110)는 화면에 특정 오브젝트가 풀 모드(full mode)로 지원하거나, 다수의 오브젝트들이 표시되는 화면을 출력할 수 있다.
예를 들어, 사용자는 사용자 기기에서 제공하는 갤러리 기능을 실행할 수 있다. 사용자 기기는 사용자의 요청에 응답하여 <a> 화면에 도시된 바와 같이, 특정 사진 컨텐츠(310)가 풀 모드로 지원된 화면을 출력할 수 있다. 또한, 사용자 기기는 다수의 사진 오브젝트 목록이 표시되고, 사진 목록 중 특정 사진들이 선택된 화면을 출력할 수 도 있다.
사용자는 특정 사진이 표시된 상태에서 해당 사진에 대한 기능을 실행하기 위해 사용자의 핸드(320)를 화면에 접근할 수 있다. 여기서, 사용자 기기는 호버링과 터치를 구분하기 위해 화면과 터치 입력 기구 사이의 기 정의된 이격 거리가 설정될 수 있다. 기 정의된 이격 거리는 사용자 기기가 터치 입력 기구의 위치를 검출할 수 있는 수준까지 접근하는 임계값일 수 있다.
사용자 기기는 사용자의 핸드(320)가 기 정의된 이격 거리 이내로 접근하는 경우, 손가락들로부터 둘 이상의 호버링 영역(330)들을 검출한다. 사용자 기기는 <a> 화면과 같이, 손가락들의 접근을 감지하여 네 개의 호버링 영역(330)들을 검출할 수 있다. 이 경우, 사용자의 다섯 손가락이 모두 기 정의된 이격 거리 이내로 접근할 수 있으나, 손가락 길이에 따라, 특정 손가락들만 기 정의된 이격 거리 이내로 접근할 수 있다.
호버링 상태에서 사용자는 물체를 집는 것과 같이 손가락을 중심으로 모을 수 있다. 그러면, 사용자 기기는 둘 이상의 호버링 영역들이 중심점으로 가까워진다고 결정하고, 호버링 기반의 그랩 제스처를 검출할 수 있다. 사용자 기기는 그랩 제스처에 응답하여 표시부에 표시된 오브젝트 즉, 사진 컨텐츠를 선택 오브젝트로 결정한다.
그러한 상태에서 사용자 기기는 <b> 화면에 도시된 바와 같이, 카메라(150)를 활성화시켜 사용자 영상을 획득한다. 카메라(150)는 사용자의 핸드 동작을 인식하기 위한 센서로 이용될 수 있다. 사용자 기기는 카메라(150)로부터 영상을 획득하고 색상 정보를 이용해 핸드 영역을 분리하고, 핸드 모양 및 형태를 인식할 수 있다. 사용자 기기는 카메라(150)로부터 획득된 영상으로부터 핸드 영역을 분리할 수 있는지 여부로 카메라(150)의 시야각 내에서 사용자의 핸드가 사라졌다고 결정할 수 있다.
그러한 상태에서 사용자는 <c> 화면에 도시된 바와 같이, 카메라(150)의 시야각에서 벗어나도록 사용자의 핸드(320)를 움직일 수 있다. 그러면, 제어부는 카메라(150)의 시야각 내에서 사용자의 핸드(320)가 사라졌다고 결정하고, 선택된 사진 컨텐츠(310)에 대한 파일을 전송 대기 상태로 변경한다. 이 경우, 사용자 기기는 타 사용자 기기와 통신 채널이 형성된 상태일 수 있다. 사용자 기기는 전송 대기 상태인 경우, 통신 연결된 타 사용자 기기로 파일 전송 대기 신호를 전송할 수 있다.
도 4는 발명의 실시예에 따른 사용자 기기에서 오브젝트를 삭제하는 사용자 인터렉션을 설명하기 위한 예시도이다.
도 4를 참조하면, 사용자는 사용자 기기에서 제공하는 갤러리 기능을 실행하고, 특정 사진 컨텐츠(410)를 풀 모드로 출력할 수 있다. 사용자 기기는 사진 컨텐츠(410)를 선택하는 멀티 호버링 제스처 예컨대, 그랩 제스처가 검출되면, 카메라(150)를 구동시킬 수 있다.
그러한 상태에서 사용자는 카메라(150)의 시야각 내에서 사용자의 핸드(420)로 특정 모션 예를 들어, <a> 화면에 도시된 바와 같이, 던지는 제스처(throw gesture)를 수행할 수 있다. 사용자 기기는 카메라(150)를 통해 획득된 영상으로부터 손 영역을 분리하고, 손의 형태로부터 손의 움직임과 모양을 인식할 수 있다.
사용자 기기는 사용자의 핸드 모션이 패턴 매칭을 통해 던지는(throw) 동작으로 결정되면, <b> 화면에 도시된 바와 같이, 그랩 제스처에 의해 선택된 사진 컨텐츠(410)를 삭제할 수 있다.
도 5는 본 발명의 실시예에 따라 그랩 제스처에 대응하여 시각적 피드백을 출력하는 화면 예시도이다.
도 5를 참조하면, 사용자는 특정 컨텐츠를 선택하기 위해 사용자 기기 위에서 물체를 집는 것과 같이 손가락을 중심으로 모을 수 있다. 그러면, 사용자 기기는 호버링 상태에서 그랩 제스처가 발생됐다고 결정하고, 표시부에 표시된 특정 컨텐츠(510)를 선택 오브젝트로 결정한다.
이 때, 사용자 기기는 사용자에게 오브젝트 선택에 대한 시각적인 피드백을 제공할 수 있다. 사용자 기기는 표시부(110)에 표시된 컨텐츠(510)의 크기를 축소하여 출력할 수 있다. 또한, 사용자 기기는 사용자의 핸드(520)와 화면 사이의 이격 거리 간격이 변경되면, 변경된 이격 거리에 따라 그래픽 처리된 컨텐츠(510)의 크기를 확대하거나 축소하여 출력할 수 있다. 예컨대, 사용자 기기는 사용자가 터치스크린 위에서 물건을 잡아 끌어 올리는 것과 같은 시각적 피드백 효과를 제공할 수 있다. 이로 인해, 사용자는 특정 컨텐츠를 현실에서와 같이 물건을 집어들어 물건이 사용자의 손에 의해 끌려나오는 것과 같은 효과를 경험할 수 있다.
그러한 상태에서 사용자가 사용자의 핸드를 움직이는 경우, 사용자 기기는 <b> 화면에 도시된 바와 같이, 그래픽 처리된 컨텐츠(510)를 사용자의 핸드(520)가 움직인 방향에 따라 이동시켜 표시할 수 있다.
도 6은 본 발명의 실시예에 따른 파일 전송 과정을 설명하기 위해 나타내 보인 도면이다.
도 6을 참조하면, 본 발명에 따른 파일 전송 과정은 송신측 기기(A)와 수신측 기기(B)로 분리하여 설명하고자 한다. 본 발명에 따른 사용자 기기는 파일 전송을 수행하는데 있어서, 송신측 기기(A)와 수신측 기기(B) 모두 적용이 가능하다. 또한, 송신측 기기(A)와 수신측 기기(B)는 통신 채널이 연결된 상태 예를 들어, 페어링, 와이파이 다이렉트, 블루투스 통신 등으로 연결된 상태로 가정한다.
먼저, 송신측 기기(A)에서 특정 컨텐츠가 선택된 후, 카메라 시야각 내에서 사용자의 핸드가 사라졌다고 결정되면, 단계 610에서 송신측 기기는 선택된 특정 컨텐츠를 파일 전송 대기 상태로 변경한다. 송신측 기기(A)는 통신 채널이 형성된 단말기가 있는지 여부를 결정하고, 타 단말기와 통신 채널이 형성된 경우, 단계 620에서 수신측 기기(B)로 파일 전송 대기 신호를 전송한다. 이 경우, 수신측 단말기는 전송 대기 신호에 응답하여 표시부에 파일 전송 대기 알람 정보(예, 전송대기 메시지)를 출력할 수 있으나, 이에 한정하는 것은 아니다.
그러면, 수신측 기기(B)는 송신측 기기(A)로부터 파일 전송 요청 신호 수신한 후, 단계 630에서 멀티 호버링을 검출하고, 단계 640에서 멀티 호버링의 움직임에 따라 릴리즈 제스처를 검출할 수 있다. 구체적으로, 수신측 기기(B)는 둘 이상의 호버링 영역들을 기준으로 호버링 영역들이 서로 멀어지는 경우, 릴리즈 제스처가 검출됐다고 결정할 수 있다. 또는 수신측 기기(B)는 둘 이상의 호버링 영역들을 포함하는 외곽 테두리를 결정하고, 호버링 영역들이 외곽 테두리 밖으로 변경되는 경우, 릴리즈 제스처가 검출됐다고 결정할 수 있다.
수신측 기기(B)는 릴리즈 제스처가 검출되면, 단계 650에서 릴리즈 제스처에 응답하여 수신측 기기로 전송 요청 신호에 응답하는 응답신호를 전송한다. 그러면, 단계 660에서 송신측 기기(A)는 응답 신호에 응답하여 선택된 특정 오브젝트파일을 수신측 기기로 파일 전송을 시작한다. 수신측 기기(B)는 송신측 기기(A)로부터 전송되는 오브젝트정보를 표시부에 표시할 수 있다.
도 7은 본 발명의 실시예에 따른 오브젝트의 송수신 과정을 설명하기 위한 화면 예시도이다.
도 7을 참조하면, 본 발명에서 송신측 기기(A) 및 수신측 기기(B) 사이에 통신 채널이 형성된 경우, 파일 송수신을 위한 사용자 인터렉션은 먼저, 송신측 기기(A)에서 도 3에 도시된 바와 같이, 호버링 상태에서 사용자의 핸드를 그랩한 후, 카메라의 시야각 내에서 사용자의 핸드를 사라지게 이동시킬 수 있다.
그러면, 송신측 기기(A)는 표시부에 표시된 사진 컨텐츠(710)을 선택 오브젝트로 결정하고, 결정된 사진 컨텐츠를 파일 전송 대기 상태로 변경한다. 이 때, 송신측 기기(A)는 결정된 사진 컨텐츠가 전송 대기 상태임을 알리는 파일 전송 대기 신호를 통신 채널이 형성된 기기 예컨대, 수신측 기기(B)로 전송한다. 이 경우, 송신측 기기(A)는 파일 전송 대기 신호를 통해 전송 대기 중인 컨텐츠가 있음을 인지할 수 있다.
그러한 상태에서 수신측 기기(B)에서 사용자는 기기를 터치하지 않고, 기기로부터 기 정의된 간격이 떨어진 공간에서 물건을 들었다 놓은 것과 같은 모션을 수행할 수 있다. 수신측 기기(B)는 손가락의 접근을 감지하여 손가락의 접근을 감지하여 둘 이상의 호버링 영역들을 검출하고, 호버링 영역들이 검출된 시작점을 기준으로 멀어진다고 결정되는 경우, 릴리즈 제스처가 검출됐다고 결정할 수 있다.
수신측 기기(B)는 릴리즈 제스처가 검출됐다고 결정되면, 릴리즈 제스처에 응답하여 송신측 기기(A)로 파일 전송 대기 신호에 응답하는 응답 신호를 전송한다. 그러면, 송신측 기기(A)는 파일 전송 대기 상태인 특정 사진 컨텐츠를 수신측 기기(B)로 전송한다. 수신측 기기(B)는 파일이 전송 중 또는 전송이 완료된 경우, 도시된 바와 같이, 수신측 기기(B)부터 전송된 사진 컨텐츠(730)를 표시부에 표시할 수 있다.
송신측 기기와 수신측 기기의 파일 전송은 블루투스 통신, 와이파이 다이렉트 통신, GPS 수신부 및 서버 통신, 액세스 포인트를 통한 연결 통신 등 다양한 방식으로 연결되어 파일을 송수신할 수 있다.
도 8 은 본 발명의 실시예에 따라 파일 수신에 대응하여 시각적 피드백을 출력하는 화면 예시도이다.
도 8을 참조하면, 사용자 기기는 통신 채널이 형성된 타 단말기로부터 특정컨텐츠에 대한 파일 및 데이터를 수신할 수 있다. 사용자 기기는 타 단말기로부터 특정 컨텐츠에 대한 파일 및 데이터가 수신되면, 해당 컨텐츠(810)가 전송 상태임을 지시하는 시각적 피드백 효과를 제공할 수 있다. 예컨대, 사용자 기기는 도 8에 도시된 바와 같이, 수신되는 파일의 데이터량에 따라 화면에 출력되는 오브젝트의 크기 사이즈를 점점 확대하여 출력하는 그래픽 효과를 지원할 수 있다. 사용자는 표시부에 출력된 화면의 크기 사이즈에 따라 파일 전송 중 또는 파일 전송이 완료됐음을 인지할 수 있다.
도 9는 본 발명의 실시예에 따른 동영상 파일의 송수신 과정을 설명하기 위해 나타내 보인 화면이다.
도 9를 참조하면, 송신측 기기(A)가 동영상을 재생하여 출력하고 있다고 가정해보자. 송신측 기기(A)에서 동영상 재생 모드에서 호버링 기반의 그랩 제스처가 검출되는 경우, 재생 중인 동영상 컨텐츠를 전송 대기 상태로 결정하고, 수신측 기기(B)로 전송 대기 신호를 전송한다.
다음에, 수신측 기기(B)에서 호버링 기반의 릴리즈 제스처가 검출되는 경우, 릴리즈 제스처에 응답하여 전송 대기 신호에 응답하는 응답 신호를 송신측 기기(A) 전송한다. 송신측 기기(A)는 응답 신호에 응답하여 재생 중인 동영상 컨텐츠를 송신측 기기(A)로 전송한다. 이 때, 송신측 기기(A)는 동영상 컨텐츠에 대한 파일 뿐만 아니라 재생 정보를 포함하여 제공할 수 있다.
예를 들어, 송신측 기기(A)에서 재생 도중 동영상 컨텐츠를 수신측 기기(B)로 전송하는 경우, 수신측 기기(B)는 제공된 재생 정보를 기반으로 송신측 기기(A)에서 재생이 정지된 시점부터 동영상 파일을 재생할 수 있다.
이상에서와 같이, 본 발명에 따른 사용자 기기의 오브젝트 운용 방법에 대하여 본 명세서 및 도면을 통해 바람직한 실시예를 들어 설명하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고, 발명의 이해를 돕기 위해 일반적인 의미에서 사용된 것일 뿐, 본 발명이 전술한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 기술적 사상에 바탕을 둔 다양한 실시 예가 가능 함은 본 발명이 속하는 기술 분야에서 통산의 지식을 가진 자에게 자명한 것이다.
100: 사용자 기기
110: 표시부 120: 입력부
130: 무선 통신부 140: 오디오 처리부
150: 카메라 160: 센서부
170: GPS수신부 180: 저장부
190: 제어부

Claims (25)

  1. 표시부에 적어도 하나의 오브젝트를 표시하는 단계;
    상기 표시부에 표시된 오브젝트를 선택하는 멀티 핑거 호버링 제스처를 검출하는 단계;
    상기 멀티 핑거 호버링 제스처에 응답하여 카메라를 구동하는 단계;
    상기 카메라로부터 수집된 영상을 기반으로 사용자의 핸드를 인식하는 단계; 및
    상기 인식된 사용자의 핸드가 상기 카메라의 시야각 내에서 사라지는 경우, 상기 선택된 오브젝트를 파일 전송 대기 상태로 변경하는 단계를 포함하는 사용자 기기의 오브젝트 운용 방법.
  2. 제1항에 있어서,
    상기 카메라의 시야각 내에서 인식된 사용자의 핸드 동작이 변경되는 되는 경우, 상기 변경된 핸드 동작에 대응하여 상기 선택된 오브젝트에 대해 기 정의된 기능을 실행하는 단계를 더 포함하는 사용자 기기의 오브젝트 운용 방법.
  3. 제1항에 있어서,
    상기 멀티 핑거 호버링 제스처를 검출하는 단계는,
    상기 표시부에 둘 이상의 호버링 영역을 검출하는 단계; 및
    상기 검출된 둘 이상의 호버링 영역들이 서로 가까워지는 움직임으로 결정되는 경우, 상기 멀티 핑거 호버링 제스처를 검출하는 단계로 이루어지는 사용자 기기의 오브젝트 운용 방법.
  4. 제1항에 있어서,
    상기 선택된 오브젝트는 상기 오브젝트의 표시 사이즈를 변경하여 표시하는 것을 특징으로 하는 사용자 기기의 오브젝트 운용 방법.
  5. 제4항에 있어서,
    상기 선택된 오브젝트는 화면과 사용자 핸드 사이의 이격 거리 간격에 따라 오브젝트의 표시 사이즈가 축소되거나 확대되어 표시하는 것을 특징으로 하는 사용자 기기의 오브젝트 운용 방법.
  6. 제1항에 있어서,
    상기 오브젝트를 표시하는 단계는,
    특정 오브젝트가 풀 모드로 표시하거나, 사용자 입력에 따라 선택된 복수의 오브젝트들을 표시하는 단계로 이루어지는 것을 특징으로 하는 사용자 기기의 오브젝트 운용 방법.
  7. 제1항에 있어서,
    상기 사용자의 핸드를 인식하는 단계;
    상기 카메라로부터 수집되는 영상을 획득하는 단계;
    상기 획득된 영상을 색상 정보를 기반으로 핸드 영역과 배경 영역을 분리하는 단계;
    상기 분리된 핸드 영역으로부터 핸드 형태를 인식하는 단계; 및
    상기 핸드 형태를 패턴 매칭하여 핸드의 움직임과 모양을 인식하는 단계로 이루어지는 것을 특징으로 하는 사용자 기기의 오브젝트 운용 방법.
  8. 제1항에 있어서,
    상기 파일 전송 대기 상태로 변경하는 단계는,
    사용자 기기의 운용 모드를 전송 대기 모드로 변경하는 것을 특징으로 하는 사용자 기기의 오브젝트 운용 방법.
  9. 제8항 에 있어서,
    상기 전송 대기 모드로 변경하는 단계는,
    타 단말기의 통신 연결이 있는지 여부를 결정하고, 통신 연결이 있는 경우, 통신이 연결된 단말기로 전송 대기 신호를 전송하는 단계; 또는
    타 단말기와 통신 연결이 없는 경우, 특정 단말기와 통신 연결을 수행하고, 통신이 연결된 단말기로 전송 대기 신호를 전송하는 단계로 이루어지는 것을 특징으로 하는 사용자 기기의 오브젝트 운용 방법.
  10. 제9항에 있어서,
    상기 전송 대기 신호를 전송하는 단계 이후에 통신 연결된 단말기로부터 응답 신호를 수신하는 단계; 및
    상기 수신된 응답 신호에 응답하기 상기 선택된 오브젝트를 통신 연결된 단말기로 전송하는 단계를 더 포함하는 사용자 기기의 오브젝트 운용 방법.
  11. 제1항에 있어서,
    타 단말기와 통신 연결된 상태에서 파일 전송 요청에 응답하는 멀티 호버링 제스처를 검출하는 단계;
    상기 파일 전송 요청에 응답하는 멀티 호버링 제스처에 응답하여 타 단말기로 응답 신호를 전송하는 단계;
    상기 타 단말기로부터 전송되는 오브젝트를 수신하는 단계; 및
    상기 수신된 오브젝트를 표시부에 표시하는 단계를 더 포함하는 사용자 기기의 오브젝트 운용 방법.
  12. 제11항에 있어서,
    상기 파일 전송 요청에 응답하는 멀티 호버링 제스처를 검출하는 단계는,
    상기 표시부에 둘 이상의 호버링 영역을 검출하는 단계; 및
    상기 검출된 둘 이상의 호버링 영역들이 서로 멀어지는 움직임으로 결정되는 경우, 상기 파일 전송 요청에 응답하는 멀티 핑거 호버링 제스처를 검출하는 단계로 이루어지는 것을 특징으로 하는 사용자 기기의 오브젝트 운용 방법.
  13. 제11항에 있어서,
    상기 수신된 오브젝트를 표시부에 표시하는 단계는,
    상기 수신된 오브젝트의 데이터 전송량에 따라 오브젝트의 표시 사이즈가 확대되는 시각적 피드백으로 표시하는 것을 특징으로 하는 사용자 기기의 오브젝트 운용 방법.
  14. 무선 통신 신호를 송수신하는 무선 통신부;
    적어도 하나의 오브젝트를 표시하는 표시부;
    상기 오브젝트에 대한 사용자 제스처를 감지하는 센서부;
    상기 사용자 제스처 영상을 수집하는 카메라; 및
    상기 센서부를 통해 오브젝트를 선택하는 멀티 핑거 호버링 제스처를 검출하고, 상기 멀티 핑거 호버링 제스처에 응답하여 카메라를 구동하고, 상기 카메라로부터 수집된 영상을 기반으로 사용자의 핸드를 인식하고, 상기 인식된 사용자의 핸드가 상기 카메라의 시야각 내에서 사라지는 경우, 상기 선택된 오브젝트를 파일 전송 대기 상태로 변경하도록 제어하는 제어부를 포함하는 사용자 기기.
  15. 제14항에 있어서,
    상기 제어부는,
    상기 카메라의 시야각 내에서 인식된 사용자의 핸드 동작이 변경되는 되는 경우, 상기 변경된 핸드 동작에 대응하여 상기 선택된 오브젝트에 대해 기 정의된 기능을 실행하도록 제어하는 것을 특징으로 하는 사용자 기기.
  16. 제14항에 있어서,
    상기 센서부는,
    상기 표시부에서 발생된 둘 이상의 호버링 영역에 대한 정보를 제어부로 전달하고,
    상기 제어부는,
    상기 검출된 둘 이상의 호버링 영역들이 서로 가까워지는 움직임이 검출되는 경우, 상기 멀티 핑거 호버링 제스처가 발생됐다고 결정하는 것을 특징으로 하는 사용자 기기.
  17. 제14항에 있어서,
    상기 표시부는,
    상기 멀티 핑거 호버링 제스처에 의해 선택된 오브젝트의 표시 사이즈를 변경하여 표시하는 것을 특징으로 하는 사용자 기기.
  18. 제14항에 있어서,
    상기 표시부는,
    상기 표시부와 사용자 핸드 사이의 이격 거리 간격에 따라 오브젝트의 표시 사이즈를 축소하거나 확대하여 표시하는 것을 특징으로 하는 사용자 기기.
  19. 제14항에 있어서,
    상기 표시부는,
    특정 오브젝트가 풀 모드로 표시하거나, 사용자 입력에 따라 선택된 복수의 오브젝트들을 표시하는 것을 특징으로 하는 사용자 기기.
  20. 제14항에 있어서,
    상기 제어부는,
    상기 카메라로부터 수집되는 영상을 획득하고, 상기 획득된 영상을 색상 정보를 기반으로 핸드 영역과 배경 영역을 분리하고, 상기 분리된 핸드 영역으로부터 핸드 형태를 인식하고, 상기 핸드 형태를 패턴 매칭하여 핸드의 움직임과 모양을 인식하는 것을 특징으로 하는 사용자 기기.
  21. 제14항에 있어서,
    상기 제어부는,
    타 단말기의 통신 연결이 있는지 여부를 결정하고, 통신 연결이 있는 경우, 상기 무선통신부를 통해 통신이 연결된 단말기로 전송 대기 신호를 전송하고, 타 단말기와 통신 연결이 없는 경우, 특정 단말기와 통신 연결을 수행하고, 통신이 연결된 단말기로 전송 대기 신호를 전송하도록 제어하는 것을 특징으로 하는 사용자 기기.
  22. 제21항에 있어서,
    상기 제어부는
    상기 통신 연결된 단말기로부터 응답 신호가 수신되는 경우, 상기 수신된 응답 신호에 응답하기 상기 선택된 오브젝트를 통신 연결된 단말기로 전송하도록 제어하는 것을 특징으로 하는 사용자 기기.
  23. 제14항에 있어서,
    상기 제어부는,
    타 단말기와 통신 연결된 상태에서 파일 전송 요청에 응답하는 멀티 호버링 제스처를 검출하는 경우, 상기 무선통신부를 통해 멀티 호버링 제스처에 응답하여 타 단말기로 응답 신호를 전송하고, 상기 타 단말기로부터 전송되는 오브젝트를 수신하고, 상기 수신된 오브젝트를 표시부에 표시하도록 제어하는 것을 특징으로 하는 사용자 기기.
  24. 제23항에 있어서,
    상기 제어부는,
    상기 표시부에 발생된 둘 이상의 호버링 영역들이 서로 멀어지는 움직임이 검출되는 경우, 상기 파일 전송 요청에 응답하는 멀티 핑거 호버링 제스처가 발생됐다고 결정하는 것을 특징으로 사용자 기기.
  25. 제23항에 있어서,
    상기 표시부는,
    상기 수신된 오브젝트의 데이터 전송량에 따라 오브젝트의 표시 사이즈가 확대되도록 그래픽 처리하여 표시하는 것을 특징으로 하는 사용자 기기.
KR1020130027600A 2013-03-14 2013-03-14 사용자 기기의 오브젝트 운용 방법 및 장치 KR102091028B1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
KR1020130027600A KR102091028B1 (ko) 2013-03-14 2013-03-14 사용자 기기의 오브젝트 운용 방법 및 장치
CA2846531A CA2846531C (en) 2013-03-14 2014-03-14 Object control method and apparatus of user device
CN201410095171.7A CN104049737B (zh) 2013-03-14 2014-03-14 用户设备的对象控制方法和装置
JP2014051607A JP6366309B2 (ja) 2013-03-14 2014-03-14 ユーザ機器のオブジェクト運用方法及び装置
US14/211,982 US9372617B2 (en) 2013-03-14 2014-03-14 Object control method and apparatus of user device
RU2014109966A RU2662690C2 (ru) 2013-03-14 2014-03-14 Устройство и способ управления объектом пользовательского прибора
AU2014201588A AU2014201588B2 (en) 2013-03-14 2014-03-14 Object control method and apparatus of user device
BR102014006152A BR102014006152A2 (pt) 2013-03-14 2014-03-14 método e aparelho de controle de objeto de dispositivo de usuário
TW103109521A TWI633460B (zh) 2013-03-14 2014-03-14 使用者裝置之物件控制方法及其設備
EP14159931.6A EP2778853B1 (en) 2013-03-14 2014-03-14 Object control method and apparatus of user device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130027600A KR102091028B1 (ko) 2013-03-14 2013-03-14 사용자 기기의 오브젝트 운용 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140112920A true KR20140112920A (ko) 2014-09-24
KR102091028B1 KR102091028B1 (ko) 2020-04-14

Family

ID=50478169

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130027600A KR102091028B1 (ko) 2013-03-14 2013-03-14 사용자 기기의 오브젝트 운용 방법 및 장치

Country Status (10)

Country Link
US (1) US9372617B2 (ko)
EP (1) EP2778853B1 (ko)
JP (1) JP6366309B2 (ko)
KR (1) KR102091028B1 (ko)
CN (1) CN104049737B (ko)
AU (1) AU2014201588B2 (ko)
BR (1) BR102014006152A2 (ko)
CA (1) CA2846531C (ko)
RU (1) RU2662690C2 (ko)
TW (1) TWI633460B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170104988A (ko) * 2014-10-29 2017-09-18 마이크로칩 테크놀로지 저머니 게엠베하 휴먼 인터페이스 디바이스 및 방법

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102140791B1 (ko) * 2013-10-11 2020-08-03 삼성전자주식회사 터치 컨트롤러, 터치 컨트롤러를 포함하는 디스플레이 장치 및 전자 장치, 및 터치 센싱 방법
US20150188988A1 (en) * 2013-12-27 2015-07-02 Htc Corporation Electronic devices, and file sharing methods thereof
US11809811B2 (en) * 2014-10-25 2023-11-07 Yieldmo, Inc. Methods for serving interactive content to a user
CN104407797B (zh) * 2014-10-27 2017-11-07 联想(北京)有限公司 一种信息处理方法及电子设备
US10444977B2 (en) * 2014-12-05 2019-10-15 Verizon Patent And Licensing Inc. Cellphone manager
JP2016130925A (ja) 2015-01-14 2016-07-21 レノボ・シンガポール・プライベート・リミテッド 複数の電子機器が連携動作をする方法、電子機器およびコンピュータ・プログラム
CN104714642A (zh) * 2015-03-02 2015-06-17 惠州Tcl移动通信有限公司 一种移动终端及其手势识别处理方法和系统
JP2018528551A (ja) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
CN105786388A (zh) * 2016-03-02 2016-07-20 惠州Tcl移动通信有限公司 一种基于近距离感应的应用控制方法、系统及移动终端
CN105785376A (zh) * 2016-05-11 2016-07-20 滁州学院 一种标枪投掷电子测量仪
US20180032170A1 (en) * 2016-07-27 2018-02-01 Samsung Electronics Co., Ltd. System and method for estimating location of a touch object in a capacitive touch panel
US10416777B2 (en) * 2016-08-16 2019-09-17 Microsoft Technology Licensing, Llc Device manipulation using hover
US20210278904A1 (en) * 2016-11-08 2021-09-09 Sony Corporation Information processing device, information processing method, and program
US10795450B2 (en) * 2017-01-12 2020-10-06 Microsoft Technology Licensing, Llc Hover interaction using orientation sensing
KR102316024B1 (ko) * 2017-03-02 2021-10-26 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 사용자 인터페이스 표시 방법
US10627911B2 (en) 2017-04-25 2020-04-21 International Business Machines Corporation Remote interaction with content of a transparent display
CN111052047B (zh) * 2017-09-29 2022-04-19 苹果公司 用于自动手势和手指识别的静脉扫描设备
US20190324621A1 (en) * 2018-04-23 2019-10-24 Qualcomm Incorporated System and Methods for Utilizing Multi-Finger Touch Capability to Efficiently Perform Content Editing on a Computing Device
US10579153B2 (en) * 2018-06-14 2020-03-03 Dell Products, L.P. One-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
JP2020177315A (ja) * 2019-04-16 2020-10-29 アルパイン株式会社 電子装置
CN110164440B (zh) * 2019-06-03 2022-08-09 交互未来(北京)科技有限公司 基于捂嘴动作识别的语音交互唤醒电子设备、方法和介质
CN110515468A (zh) * 2019-08-30 2019-11-29 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置和存储介质
CN111443802B (zh) * 2020-03-25 2023-01-17 维沃移动通信有限公司 测量方法及电子设备
CN117008777A (zh) * 2020-10-30 2023-11-07 华为技术有限公司 一种跨设备的内容分享方法、电子设备及系统
WO2022226736A1 (zh) * 2021-04-26 2022-11-03 华为技术有限公司 一种多屏交互的方法、装置、终端设备和车辆
CN115480662A (zh) * 2021-05-28 2022-12-16 华为技术有限公司 悬浮操控时的感应区域分离方法、装置、悬浮操控遥控器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH064258A (ja) * 1992-06-23 1994-01-14 Toshiba Corp 情報処理装置
WO2010098050A1 (ja) * 2009-02-25 2010-09-02 日本電気株式会社 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム
US20110316790A1 (en) * 2010-06-25 2011-12-29 Nokia Corporation Apparatus and method for proximity based input

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265689A (ja) * 1992-03-19 1993-10-15 Hitachi Ltd 情報処理装置
JP2004334590A (ja) * 2003-05-08 2004-11-25 Denso Corp 操作入力装置
US20100071965A1 (en) 2008-09-23 2010-03-25 Panasonic Corporation System and method for grab and drop gesture recognition
KR101503835B1 (ko) 2008-10-13 2015-03-18 삼성전자주식회사 멀티터치를 이용한 오브젝트 관리 방법 및 장치
US8581856B2 (en) * 2009-05-27 2013-11-12 Microsoft Corporation Touch sensitive display apparatus using sensor input
US8681124B2 (en) * 2009-09-22 2014-03-25 Microsoft Corporation Method and system for recognition of user gesture interaction with passive surface video displays
US20110088002A1 (en) 2009-10-13 2011-04-14 Carl Johan Freer Method and platform for gestural transfer of digital content for mobile devices
US8756532B2 (en) * 2010-01-21 2014-06-17 Cisco Technology, Inc. Using a gesture to transfer an object across multiple multi-touch devices
JP5360166B2 (ja) * 2010-09-22 2013-12-04 株式会社ニコン 画像表示装置
JP2012133729A (ja) * 2010-12-24 2012-07-12 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2012173980A (ja) * 2011-02-21 2012-09-10 Aisin Aw Co Ltd 表示装置、表示方法、及び表示プログラム
TWI471792B (zh) * 2011-03-30 2015-02-01 Edamak Corp 近接暨觸控面板之多物件偵測方法
US20120304107A1 (en) * 2011-05-27 2012-11-29 Jennifer Nan Edge gesture
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
GB2493701B (en) * 2011-08-11 2013-10-16 Sony Comp Entertainment Europe Input device, system and method
KR101922283B1 (ko) * 2011-12-28 2019-02-13 노키아 테크놀로지스 오와이 애플리케이션의 오픈 인스턴스의 제공

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH064258A (ja) * 1992-06-23 1994-01-14 Toshiba Corp 情報処理装置
WO2010098050A1 (ja) * 2009-02-25 2010-09-02 日本電気株式会社 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム
US20110316790A1 (en) * 2010-06-25 2011-12-29 Nokia Corporation Apparatus and method for proximity based input

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170104988A (ko) * 2014-10-29 2017-09-18 마이크로칩 테크놀로지 저머니 게엠베하 휴먼 인터페이스 디바이스 및 방법

Also Published As

Publication number Publication date
EP2778853B1 (en) 2017-12-27
JP2014179099A (ja) 2014-09-25
EP2778853A3 (en) 2015-01-21
BR102014006152A2 (pt) 2016-02-23
CA2846531C (en) 2021-11-02
US20140282070A1 (en) 2014-09-18
TW201447646A (zh) 2014-12-16
AU2014201588B2 (en) 2019-03-21
RU2014109966A (ru) 2015-09-20
US9372617B2 (en) 2016-06-21
KR102091028B1 (ko) 2020-04-14
JP6366309B2 (ja) 2018-08-01
TWI633460B (zh) 2018-08-21
CA2846531A1 (en) 2014-09-14
RU2662690C2 (ru) 2018-07-26
EP2778853A2 (en) 2014-09-17
AU2014201588A1 (en) 2014-10-02
CN104049737B (zh) 2019-05-28
CN104049737A (zh) 2014-09-17

Similar Documents

Publication Publication Date Title
JP6366309B2 (ja) ユーザ機器のオブジェクト運用方法及び装置
KR102031142B1 (ko) 영상 디스플레이를 제어하는 전자 장치 및 방법
WO2020063091A1 (zh) 一种图片处理方法及终端设备
US20140192081A1 (en) Method and apparatus for laying out image using image recognition
WO2019000287A1 (zh) 一种图标显示方法及装置
WO2021129536A1 (zh) 图标移动方法及电子设备
WO2021169954A1 (zh) 搜索方法及电子设备
WO2021109960A1 (zh) 图像处理方法、电子设备及存储介质
CN109408072A (zh) 一种应用程序删除方法及终端设备
KR102255087B1 (ko) 객체를 디스플레이하는 전자 장치 및 방법
EP3905037A1 (en) Session creation method and terminal device
CN109491964B (zh) 一种文件分享方法及终端
KR20180017638A (ko) 이동단말기 및 그 제어방법
CN111158575B (zh) 终端执行处理的方法、装置、设备以及存储介质
CN111338521A (zh) 一种图标显示控制方法及电子设备
CN110502248A (zh) 一种应用程序安装方法及终端
KR20170019248A (ko) 이동단말기 및 그 제어방법
KR101575991B1 (ko) 이동단말기 및 그 제어방법
KR101651011B1 (ko) 이동 단말기
KR102117450B1 (ko) 디스플레이 장치 및 그 제어 방법
KR20160031299A (ko) 이동 단말기 및 그것의 제어방법
KR20150094355A (ko) 이동 단말기 및 이의 제어 방법
KR102157621B1 (ko) 휴대장치 및 그 컨텐츠 공유 방법
CN111104024B (zh) 一种发送媒体文件的方法及电子设备
CN109725820B (zh) 获取列表条目的方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right