KR102061254B1 - Control method of terminal by using spatial interaction - Google Patents

Control method of terminal by using spatial interaction Download PDF

Info

Publication number
KR102061254B1
KR102061254B1 KR1020190018622A KR20190018622A KR102061254B1 KR 102061254 B1 KR102061254 B1 KR 102061254B1 KR 1020190018622 A KR1020190018622 A KR 1020190018622A KR 20190018622 A KR20190018622 A KR 20190018622A KR 102061254 B1 KR102061254 B1 KR 102061254B1
Authority
KR
South Korea
Prior art keywords
terminal
user
gesture
hand
detected
Prior art date
Application number
KR1020190018622A
Other languages
Korean (ko)
Other versions
KR20190019989A (en
Inventor
강지영
전진영
이보영
김대성
김진용
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020190018622A priority Critical patent/KR102061254B1/en
Publication of KR20190019989A publication Critical patent/KR20190019989A/en
Application granted granted Critical
Publication of KR102061254B1 publication Critical patent/KR102061254B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 공간상의 제스처를 이용한 단말의 제어 방법 및 그 단말에 관한 것이다.The present invention relates to a method of controlling a terminal using a gesture in space and a terminal thereof.

Description

공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말{CONTROL METHOD OF TERMINAL BY USING SPATIAL INTERACTION}CONTROL METHOD OF TERMINAL BY USING SPATIAL INTERACTION}

본 발명은 공간상의 제스처를 이용한 단말의 제어 방법 및 그 단말에 관한 것이다.The present invention relates to a method of controlling a terminal using a gesture in space and a terminal thereof.

최근 스마트 전자 기기의 발달로 사용자가 단말을 편리하게 제어하도록 하기 위한 다양한 상호 작용 기술들이 연구되고 있다.Recently, with the development of smart electronic devices, various interaction technologies for the user to conveniently control the terminal have been studied.

단말 제어를 위한 상호 작용으로는 단말의 터치 입력 또는 운동 상태를 기초로 단말의 동작을 제어하는 기술 또는 손바닥을 이용한 손 동작을 이용하여 단말을 제어하는 기술 등이 있다.The interaction for controlling the terminal includes a technique of controlling the operation of the terminal based on a touch input or an exercise state of the terminal, or a technique of controlling the terminal using a hand gesture using a palm.

본 발명은, 공간상의 다양한 제스처를 인식하고 이에 반응하는 상호 작용을 이용하여 단말의 기능을 제어할 수 있도록 하는 단말의 제어 방법 및 그 단말을 제공한다.The present invention provides a method for controlling a terminal and a terminal for controlling a function of the terminal by using interactions that recognize and respond to various gestures in space.

본 발명에 따른 단말의 제어 방법은, 공간상의 제스처를 감지하는 단계, 감지된 공간상의 제스처를 분석하는 단계, 단말은 분석 결과에 대응하는 임의의 동작을 수행하는 단계를 포함한다.A control method of a terminal according to the present invention includes detecting a gesture in a space, analyzing a detected gesture in a space, and performing a certain operation corresponding to the analysis result by the terminal.

본 발명에 의한 단말의 제어 방법 및 그 단말에 따르면, 공간상의 제스처를 이용하여 사용자가 보다 편리하고 직관적으로 단말을 제어할 수 있다.According to the method for controlling a terminal and the terminal according to the present invention, a user can control the terminal more conveniently and intuitively using a gesture in space.

또한, 본 발명에 의한 단말의 제어 방법 및 그 단말에 따르면, 장갑을 착용하거나 손에 이물질이 묻은 경우 등, 단말에 터치 입력을 할 수 없는 경우에도 공간상의 제스처를 이용하여 효율적으로 단말을 제어할 수 있다.In addition, according to the terminal control method and the terminal according to the present invention, even when a touch input is not possible to the terminal, such as wearing gloves or foreign matter on the hand, it is possible to efficiently control the terminal by using a gesture in space. Can be.

도 1은 본 발명에 따른 공간상의 제스처를 이용하여 단말 제어 방법을 나타낸 순서도이다.
도 2 내지 도 25는 본 발명에 따른 단말이 감지할 수 있는 다양한 공간상의 제스처를 나타낸 도면이다.
도 26은 공간상의 상호 작용 세트의 일 예를 나타낸 도면이다.
도 27은 본 발명의 제1 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 28은 본 발명의 제2 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 29는 본 발명의 제3 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 30은 본 발명의 제4 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 31은 본 발명의 제5 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 32는 본 발명의 제6 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 33은 본 발명의 제7 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 34는 본 발명의 제8 실시 예에 따른 단말의 제어 방법을 나타낸 도면이다.
도 35는 본 발명의 제9 실시 예에 따른 단말의 제어 방법을 나타낸 도면이다.
도 36은 본 발명에 따른 단말의 구성을 나타낸 블록도이다.1 is a flowchart illustrating a method for controlling a terminal using a gesture in space according to the present invention.
2 to 25 are various spatial gestures that can be detected by the terminal according to the present invention.
26 is a diagram illustrating an example of a spatial interaction set.
27 is a diagram illustrating a terminal control method according to a first embodiment of the present invention.
28 is a diagram illustrating a terminal control method according to a second embodiment of the present invention.
29 is a diagram illustrating a terminal control method according to a third embodiment of the present invention.
30 is a diagram illustrating a terminal control method according to a fourth embodiment of the present invention.
31 is a diagram illustrating a terminal control method according to a fifth embodiment of the present invention.
32 is a diagram illustrating a terminal control method according to a sixth embodiment of the present invention.
33 is a diagram illustrating a terminal control method according to a seventh embodiment of the present invention.
34 is a diagram illustrating a control method of a terminal according to an eighth embodiment of the present invention.
35 is a diagram illustrating a method for controlling a terminal according to the ninth embodiment of the present invention.
36 is a block diagram showing the configuration of a terminal according to the present invention.

본 발명은 스마트 폰(Smart Phone), 휴대 단말(Portable Terminal), 이동 단말(Mobile Terminal), 개인 정보 단말(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말, 노트북 컴퓨터, 와이브로(Wibro) 단말 등의 일반적인 전자 단말뿐만 아니라, 공간상의 제스처를 감지할 수 있는 모든 장치 또는 서비스를 위하여 적용될 수 있다.The present invention provides a smart phone, a portable terminal, a mobile terminal, a personal digital assistant (PDA), a portable multimedia player (PMP) terminal, a notebook computer, and a wibro. The present invention can be applied not only to a general electronic terminal such as a terminal, but also to any device or service capable of detecting a gesture in a space.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. It is to be noted that the technical terms used herein are merely used to describe particular embodiments and are not intended to limit the spirit of the present invention. In addition, the technical terms used herein should be interpreted as meanings generally understood by those skilled in the art to which the present invention belongs, unless specifically defined otherwise in the present specification, and are overly inclusive. It should not be construed in meaning or in excessively reduced sense.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 한다. Also, the singular forms used herein include the plural forms unless the context clearly indicates otherwise. In this specification, "is configured." Or "includes." And the like should not be construed as including all of the various elements or steps described in the specification.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 보다 구체적으로 설명하도록 한다.Hereinafter, exemplary embodiments will be described in more detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 공간상의 제스처를 이용하여 단말 제어 방법을 나타낸 순서도이다.1 is a flowchart illustrating a method for controlling a terminal using a gesture in space according to the present invention.

도 1을 참조하면, 본 발명에 따른 단말 제어 방법은 다음과 같은 순서로 이루어질 수 있다.Referring to FIG. 1, the method for controlling a terminal according to the present invention may be performed in the following order.

먼저, 단말은 공간상의 제스처를 감지할 수 있다(S110).First, the terminal may detect a gesture in space (S110).

공간상의 제스처는 사용자의 손(손가락을 포함한다) 등의 입력 수단에 의하여 형성될 수 있다.The gesture in space may be formed by an input means such as a user's hand (including a finger).

단말은 카메라를 통하여 공간상의 제스처에 대한 영상 입력을 감지하거나, 근접 센서를 이용하여 단말에 근접하는 입력 수단의 제스처를 감지할 수 있다. 단말은 복수의 공간상의 제스처를 동시에 또는 순차적으로 감지할 수 있다.The terminal may sense an image input for a gesture in space through a camera, or detect a gesture of an input means approaching the terminal using a proximity sensor. The terminal may detect a plurality of spatial gestures simultaneously or sequentially.

또한, 단말은 공간상의 제스처와 함께 터치 입력을 감지할 수 있다. 단말은 공간상의 제스처와 터치 입력을 동시에 또는 순차적으로 감지할 수 있다. 또한, 단말은 터치 입력이 지속되는 동안 공간상의 제스처를 감지할 수도 있다.In addition, the terminal may detect a touch input together with a gesture in space. The terminal may detect a gesture and a touch input in space at the same time or sequentially. In addition, the terminal may detect a gesture in space while the touch input continues.

다음으로, 단말은 감지된 공간상의 제스처를 분석할 수 있다(S120).Next, the terminal may analyze the detected spatial gesture (S120).

단말은 입력된 영상을 분석하거나 근접 센서를 이용하여 공간상의 제스처를 감지할 수 있다. 단말은 입력 수단이 하나 이상의 방향을 향하거나 임의의 형태를 형성하는 움직임(쓸어넘기기, sweep 등으로 명명될 수 있음), 움직임의 속도, 움직임의 길이, 입력 수단의 모양(예를 들어 손 또는 손가락의 모양) 또는 입력 수단이 접근하는 하나 이상의 좌표, 접근 속도, 접근 거리 등을 분석할 수 있다.The terminal may analyze the input image or detect a gesture in space using a proximity sensor. The terminal may be a movement (which may be referred to as a sweep, sweep, etc.) in which the input means is directed in one or more directions or forms any shape, the speed of the movement, the length of the movement, and the shape of the input means (for example, a hand or a finger). Shape) or one or more coordinates approaching by the input means, approach speed, approach distance, and the like.

입력 수단이 손인 경우를 예로 들면, 단말이 감지할 수 있는 다양한 공간상의 제스처는 탭(손을 앞으로 숙였다 올리기), 쓸기(손을 상/항/좌/우 방향으로 쓸어내듯 이동하기), 흔들기(수평 또는 수직으로 흔들기), 돌리기(시계방향, 반시계방향), 움켜쥐기(손을 펴고 있다가 주먹 쥐기), 꼬집기(엄지와 검지를 오므리기), 접근, 추적(손의 움직임을 실시간으로 추적하기), 덮기(손으로 단말을 덮은 상태 유지), 밀기(손을 단말 방향으로 밀기), 양손 밀기, 양손 벌리기, 양손 회전, 양손 모으기, 터치 후 쓸기, 근접하기 중 어느 하나일 수 있다. 상술한 제스처는 도 2 내지 도 25에 간략히 도시되어 있다.For example, if the input means is a hand, various spatial gestures that the terminal can sense include tap (hand up), swipe (move the hand up, down, left, and right), and shake ( Shake horizontally or vertically), turn (clockwise, counterclockwise), grab (spread your hand and then fist), pinch (pinch your thumb and index finger), approach, track (track your hand in real time) It may be any one of the following), covering (keeping the state covered by the hand), pushing (hand pushing in the direction of the terminal), two-hand pushing, two-hand spread, two-handed rotation, two-handed gathering, moving after touching, close. The above-described gestures are briefly shown in FIGS. 2 to 25.

다음으로, 단말은 분석 결과에 대응하는 임의의 동작을 결정할 수 있다(S130).Next, the terminal may determine an arbitrary operation corresponding to the analysis result (S130).

단말은 분석된 공간상의 제스처에 대응하는 임의의 동작을 결정할 수 있다.The terminal may determine any operation corresponding to the analyzed spatial gesture.

구체적으로, 단말은 단말의 기능 모드를 판단할 수 있다.Specifically, the terminal may determine the function mode of the terminal.

단말의 기능 모드는 단말이 지원하는 다양한 기능은 카메라 촬영, 멀티미디어 재생, 문자 송수신, 호 송수신, 독서기능, 내비게이션 등이 실행 중인 모드일 수 있다.In the functional mode of the terminal, various functions supported by the terminal may be a mode in which camera photography, multimedia playback, text transmission, call transmission and reception, reading function, navigation, and the like are executed.

단말은 기능 모드를 기초로 공간상의 제스처에 대응하는 임의의 동작을 결정할 수 있다.The terminal may determine any operation corresponding to the gesture in space based on the function mode.

예를 들어, 단말이 멀티미디어 재생 중인 경우, 공간상의 제스처가 임의의 방향을 향하는 움직임으로 판단된 경우, 단말은 임의의 기능으로 재생 목록 중 임의의 방향에 대응하는 곡을 재생하는 동작을 결정할 수 있다.For example, when the terminal is playing multimedia, when it is determined that the spatial gesture is a movement in an arbitrary direction, the terminal may determine an operation of playing a song corresponding to an arbitrary direction in the playlist with an arbitrary function. .

또한, 예를 들어, 독서기능 중인 경우, 공간상의 제스처가 임의의 방향을 향하는 움직임으로 판단된 경우, 단말은 임의의 기능으로 임의의 방향에 대응하는 책의 페이지를 표시하는 동작을 결정할 수 있다.In addition, for example, in the case of the reading function, when it is determined that the gesture in space is a movement in an arbitrary direction, the terminal may determine an operation of displaying a page of a book corresponding to the arbitrary direction by an arbitrary function.

단말은 임의의 동작을 결정하기 위하여, 도 26에 도시된 바와 같은 공간상의 상호 작용 세트를 이용할 수 있다. The terminal may use the spatial interaction set as shown in FIG. 26 to determine any operation.

즉, 단말은 임의의 공간상의 제스처에 대한 설명 및 이를 지시하는 명칭을 정의하고, 해당 공간상의 제스처에 대한 메타포를 저장할 수 있다. 메타포는 해당 공간상의 제스처에 대응하는 임의의 동작을 나타낼 수 있다. 메타포는 예를 들어 단말은 감지된 공간상의 제스처를 분석하고, 분석 결과를 기초로 공간상의 상호 작용 세트를 이용하여 임의의 동작을 결정할 수 있다.That is, the terminal may define a description of a certain spatial gesture and a name indicating the same, and store a metaphor for the corresponding gesture in the space. The metaphor may represent any action corresponding to the gesture in space. For example, the metaphor may analyze the detected spatial gesture and determine an arbitrary operation using the spatial interaction set based on the analysis result.

다음으로, 단말은 임의의 동작을 수행할 수 있다(S140).Next, the terminal may perform an arbitrary operation (S140).

단말은 결정된 임의의 동작을 수행할 수 있다.The terminal may perform the determined arbitrary operation.

하기에서 공간상의 제스처를 이용하여 단말이 다양한 임의의 동작을 수행하는 구체적인 실시 예를 도면을 참조하여 설명하도록 한다.Hereinafter, a specific embodiment in which the terminal performs various arbitrary operations using a gesture in space will be described with reference to the drawings.

도 27은 본 발명의 제1 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.27 is a diagram illustrating a terminal control method according to a first embodiment of the present invention.

도 27을 참조하면, 단말은 카메라를 통하여 영상 입력을 감지하고, 이를 분석할 수 있다. 단말은 영상 입력을 통하여 감지된 입력 수단의 움직임에 대하여 적어도 하나의 방향, 속도, 이동 거리 등을 분석할 수 있다. 예를 들어, 단말은 사용자의 손이 좌/우로 향하는 움직임을 감지할 수 있다. Referring to FIG. 27, the terminal may detect an image input through a camera and analyze it. The terminal may analyze at least one direction, speed, moving distance, etc. with respect to the movement of the input means detected through the image input. For example, the terminal may detect a movement of the user's hand toward the left / right.

단말은 분석 결과에 따라 임의의 동작을 수행할 수 있다. 예를 들어, 단말은 표시부 상의 아이템을 좌/우로 이동시킬 수 있다. The terminal may perform any operation according to the analysis result. For example, the terminal may move an item on the display left / right.

단말은 움직임의 속도에 따라 아이템을 빠르게 또는 느리게 이동시킬 수 있다. 또한, 단말은 움직임의 속도, 길이를 기초로 책의 복수의 페이지를 넘기거나, 움직임의 속도에 따라 한 챕터를 넘길 수도 있다. 또한, 단말은 사진 앨범의 사진을 넘기거나, 멀티미디어 재생 중 재생되는 멀티미디어를 목록의 다음 멀티미디어를 재생할 수 있다. The terminal may move the item quickly or slowly according to the speed of the movement. In addition, the terminal may turn over a plurality of pages of the book based on the speed and length of the movement, or one chapter according to the speed of the movement. In addition, the terminal may turn over the photo in the photo album, or play the multimedia that is played during the multimedia playback the next multimedia in the list.

도 28은 본 발명의 제2 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.28 is a diagram illustrating a terminal control method according to a second embodiment of the present invention.

도 28을 참조하면, 단말은 터치 입력과 공간상의 제스처를 동시에 또는 순차적으로 감지할 수 있다. 또한, 단말은 터치 입력이 지속 되는 동안 공간상의 제스처를 감지할 수 있다. 예를 들어, 단말은 표시부의 임의의 위치에 대한 터치 입력이 발생하고, 터치 입력이 지속되는 상태에서 임의의 방향을 향하는 움직임의 공간상의 제스처를 감지할 수 있다.Referring to FIG. 28, the terminal may simultaneously or sequentially sense a touch input and a gesture in space. In addition, the terminal may detect a gesture in space while the touch input continues. For example, the terminal may detect a spatial gesture of a movement in an arbitrary direction while a touch input for an arbitrary position of the display unit is generated and the touch input continues.

이 경우, 단말은 임의의 위치에 대한 터치 입력을 기초로 표시부에 표시된 아이템을 선택하고, 공간상의 제스처를 기초로 표시부에 표시된 아이템을 좌/우로 이동시킬 수 있다. 선택된 아이템은 예를 들어, 배경화면의 아이콘, 위젯, 이미지 등일 수 있다.In this case, the terminal may select an item displayed on the display unit based on a touch input for an arbitrary position, and move the item displayed on the display unit left / right based on a spatial gesture. The selected item may be, for example, an icon, a widget, or an image of the background screen.

*반면, 단말은 공간상의 제스처를 기초로, 터치 입력에 의하여 선택된 아이템을 제외한 나머지 아이템들을 좌/우로 이동시킬 수도 있다. 나머지 아이템은 예를 들어, 선택되지 않은 아이콘/위젯 및 배경화면에 표시되는 모든 UI를 포함할 수 있다.On the other hand, the terminal may move left and right items other than the item selected by the touch input based on the spatial gesture. The remaining items may include, for example, all the UIs displayed on the unselected icons / widgets and wallpaper.

또한, 단말은 공간상의 제스처를 기초로, 터치 입력에 의하여 선택된 사용자에게 호, 문자 메시지, 파일 등을 송신할 수 있다.In addition, the terminal may transmit a call, a text message, a file, etc. to the user selected by the touch input based on the spatial gesture.

도 29는 본 발명의 제3 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.29 is a diagram illustrating a terminal control method according to a third embodiment of the present invention.

도 29를 참조하면, 단말은 카메라를 통하여 영상 입력을 감지하고 이를 분석할 수 있다. 단말은 영상 입력을 통하여 감지된 움직임에 대하여 움켜지는 움직임으로 분석할 수 있다. Referring to FIG. 29, the terminal may detect an image input through a camera and analyze it. The terminal may analyze the movement detected by the movement detected through the image input.

단말은 분석 결과를 기초로 임의의 동작을 수행할 수 있다.The terminal may perform any operation based on the analysis result.

예를 들어, 단말은 표시부에 표시된 내용을 캡쳐하여 저장하거나, 표시되지 않은 내용을 포함한 전체 콘텐츠의 내용을 캡쳐하여 저장할 수 있다. 단말은 캡쳐된 내용을 이미지로 저장할 수 있다.For example, the terminal may capture and store contents displayed on the display unit, or may capture and store contents of entire contents including contents not displayed. The terminal may store the captured content as an image.

단말은 캡쳐된 내용을 이미지로 저장할 경우, 이미지의 크기, 해상도, 배율 등을 변경하거나, 미리 설정된 값으로 설정하거나, 또는 움켜지는 움직임의 속도, 움켜지기 전의 손가락이 펼쳐진 정도, 움겨지고 나서 손가락이 움켜진 정도 등을 기초로 임의의 값으로 설정하여 저장할 수 있다.When the terminal saves the captured contents as an image, the size, resolution, magnification, etc. of the captured image can be changed, set to a preset value, or the speed of the movement of the movement, the degree of the finger being released before being lifted, and the finger after being lifted. It can be set to any value based on the degree of grabbing and so on.

도 30은 본 발명의 제4 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.30 is a diagram illustrating a terminal control method according to a fourth embodiment of the present invention.

도 30을 참조하면, 단말은 카메라를 통하여 영상 입력을 감지하고, 이를 분석할 수 있다. 단말은 영상 입력을 분석하여 임의의 방향을 향하는 공간상의 제스처로 판단할 수 있다.Referring to FIG. 30, the terminal may detect an image input through a camera and analyze it. The terminal may analyze the image input and determine it as a gesture in space facing an arbitrary direction.

단말은 판단된 공간상의 제스처를 기초로, 복수의 웹 브라우저 간 이동하는 동작을 수행할 수 있다. 단말은 복수의 웹 브라우저가 복수의 탭 형태로 표시된 경우, 복수의 탭 간 이동하는 동작을 수행할 수 있다. 또는 단말은, 복수의 애플리케이션이 구동 중인 경우, 복수의 애플리캐이션 간 이동하는 동작을 수행할 수도 있다.The terminal may perform the movement between the plurality of web browsers based on the determined spatial gesture. When the plurality of web browsers are displayed in the form of a plurality of tabs, the terminal may perform an operation of moving between the plurality of tabs. Alternatively, when the plurality of applications are running, the terminal may perform an operation of moving between the plurality of applications.

단말은 표시부에 표시되어 있는 웹 브라우저에 대하여 좌/우/상단/하단 또는 최상단/하단으로 이동된 화면을 표시할 수 있다. 또는 단말은 표시부에 표시되어 있는 웹 브라우저의 새로 고침을 수행하거나, 확대/축소, 페이지 복사, 검색, 인쇄, 이전/다음 페이지로 이동 등의 동작을 수행할 수 있다.The terminal may display a screen moved to the left / right / top / bottom or top / bottom of the web browser displayed on the display unit. Alternatively, the terminal may refresh the web browser displayed on the display unit, or perform operations such as zooming in / out, copying pages, searching, printing, and moving to the previous / next page.

도 31은 본 발명의 제5 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.31 is a diagram illustrating a terminal control method according to a fifth embodiment of the present invention.

도 31을 참조하면, 단말은 카메라를 통하여 영상 입력을 감지하고, 입력 수단의 모양을 분석할 수 있다. 예를 들어, 단말은 손의 모양을 판단할 수 있다. 단말은 펼쳐진 손가락의 수, 손가락의 모양, 손바닥 또는 손등의 형태, 위치, 크기 등을 분석할 수 있다.Referring to FIG. 31, the terminal may detect an image input through a camera and analyze a shape of the input means. For example, the terminal may determine the shape of the hand. The terminal may analyze the number of extended fingers, the shape of the fingers, the shape, position, size, etc. of the palm or the hand.

단말은 입력 수단의 모양을 기초로 임의의 동작을 수행할 수 있다.The terminal may perform any operation based on the shape of the input means.

단말은 펼쳐진 손가락의 수를 기초로 카메라의 촬영 시간을 결정할 수 있다. 예를 들어, 단말은 펼쳐진 손가락의 수에 대응하는 시간 후에 카메라 촬영을 수행하거나, 펼쳐진 손가락의 수에 대응하는 시간 동안 영상을 촬영할 수 있다. 또한, 단말은 손 모양을 기초로 즉시 촬영을 수행할 수도 있다.The terminal may determine the photographing time of the camera based on the number of extended fingers. For example, the terminal may perform camera shooting after a time corresponding to the number of extended fingers, or may photograph an image for a time corresponding to the number of extended fingers. In addition, the terminal may immediately photograph based on the shape of the hand.

또한, 단말은 손 모양을 기초로 오토 포커싱을 수행할 수 있다. 예를 들어, 손 모양이 엄지 손가락을 든 모양인 경우, 카메라는 오토 포커싱을 수행할 수 있다. In addition, the terminal may perform auto focusing based on the shape of the hand. For example, when the hand is in the shape of a thumb, the camera may perform auto focusing.

또한, 단말은 감지된 공간상의 제스처를 기초로 임의의 촬영 효과를 적용할 수도 있다.In addition, the terminal may apply any photographing effect based on the detected spatial gesture.

도 32는 본 발명의 제6 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.32 is a diagram illustrating a terminal control method according to a sixth embodiment of the present invention.

도 32를 참조하면, 단말은 임의의 방향을 향하는 움직임 또는 단말에 근접하는 입력 수단의 제스처를 감지할 수 있다. 예를 들어, 단말은 임의의 방향으로 이동하는 손의 움직임 또는 단말의 임의의 위치에 근접하는 손가락을 감지할 수 있다. Referring to FIG. 32, the terminal may sense a movement in an arbitrary direction or a gesture of an input means close to the terminal. For example, the terminal may detect a movement of a hand moving in an arbitrary direction or a finger approaching an arbitrary position of the terminal.

단말은 감지된 움직임의 방향, 속도 또는 근접하는 손가락의 좌표, 거리 등을 분석할 수 있다.The terminal may analyze the direction, speed, or coordinates of the approaching finger, distance, and the like.

단말은 분석 결과를 기초로 임의의 동작을 수행할 수 있다.The terminal may perform any operation based on the analysis result.

*단말은 임의의 방향 및 속도를 따라 움직이는 수면을 표시할 수 있다. 또는, 단말은 임의의 좌표로 물방울이 떨어지는 화면을 표시할 수 있다. 이 외에도 단말은 다양한 감성적인 효과를 나타내는 화면을 표시할 수 있다. 단말은 2D 또는 3D로 화면을 표시할 수 있으며, 표시되는 화면에 대응하여, 진동, 음향 등을 함께 출력할 수도 있다.The terminal can display the water surface moving along any direction and speed. Alternatively, the terminal may display a screen on which drops of water fall at arbitrary coordinates. In addition, the terminal may display a screen showing various emotional effects. The terminal may display the screen in 2D or 3D, and may also output vibrations, sounds, etc. in response to the displayed screen.

도 33은 본 발명의 제7 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.33 is a diagram illustrating a terminal control method according to a seventh embodiment of the present invention.

도 33을 참조하면, 단말은 단말을 향해 다가오는 움직임 또는 단말에 근접한 입력 수단의 제스처를 감지하고, 이를 분석하여 임의의 동작을 수행할 수 있다.Referring to FIG. 33, the terminal may detect a movement coming toward the terminal or a gesture of an input means close to the terminal, and analyze the same to perform an arbitrary operation.

단말은 기능 모드를 기초로, 간단한 정보를 표시할 수 있다. 예를 들어, 단말이 잠김 모드인 상태 또는 표시부가 절전 모드인 상태인 경우, 단말은 날짜, 시간, 배터리 충전 상태, 경고창 등을 표시할 수 있다.The terminal may display simple information based on the function mode. For example, when the terminal is in the locked mode or the display unit is in the power saving mode, the terminal may display a date, time, a battery charge state, a warning window, and the like.

도 34는 본 발명의 제8 실시 예에 따른 단말의 제어 방법을 나타낸 도면이다.34 is a diagram illustrating a control method of a terminal according to an eighth embodiment of the present invention.

도 34를 참조하면, 단말은 임의의 방향을 향하는 움직임을 감지하고 이를 분석할 수 있다. 또한, 단말은 단말의 기능 모드를 기초로 임의의 동작을 수행할 수 있다. Referring to FIG. 34, the terminal may detect a movement in an arbitrary direction and analyze it. In addition, the terminal may perform any operation based on the function mode of the terminal.

단말은 속도/가속도 센서, 자이로 센서 등을 통해 단말이 운전 모드임을 판단할 수 있다. 또한, 단말은 통화가 수신된 경우, 임의의 방향으로 향하는 움직임이 감지된 경우, 호를 수신하거나 또는 호를 거절하고 운전 중임을 알리는 메시지를 호의 상대방에게 송출할 수 있다. 또한, 단말은 운전 모드 중 음악의 볼륨을 조절하거나 메시지를 송수신하는 동작을 수행할 수도 있다.The terminal may determine that the terminal is in a driving mode through a speed / acceleration sensor or a gyro sensor. In addition, when a call is received, when a movement toward an arbitrary direction is detected, the terminal may receive a call or reject a call and transmit a message indicating that the call is in progress to the other party of the call. In addition, the terminal may perform an operation of adjusting the volume of music or transmitting and receiving a message during the driving mode.

도 35는 본 발명의 제9 실시 예에 따른 단말의 제어 방법을 나타낸 도면이다.35 is a diagram illustrating a method for controlling a terminal according to the ninth embodiment of the present invention.

도 35를 참조하면, 단말은 공간상의 제스처를 기초로 멀티미디어 재생을 제어할 수 있다.Referring to FIG. 35, the terminal may control multimedia playback based on a gesture in space.

예를 들어, 단말은 카메라를 통하여 영상 입력을 감지하고, 감지된 입력 수단의 움직임, 모양 등을 기초로 멀티미디어 리스트의 이전/이후 파일을 재생하거나, 재생/정지를 제어하거나, 셔플 기능을 수행할 수 있다. For example, the terminal detects an image input through a camera, and plays a file before / after, or plays / stops a shuffle function or performs a shuffle function on the basis of the detected movement of the input means or shape. Can be.

도 36은 본 발명에 따른 단말의 구성을 나타낸 블록도이다.36 is a block diagram showing the configuration of a terminal according to the present invention.

도 36을 참조하면, 단말(100)은 입력부(110), 센서부(120), 제어부(130), 카메라부(140), 저장부(150) 및 표시부(160)를 포함하여 구성될 수 있다.Referring to FIG. 36, the terminal 100 may include an input unit 110, a sensor unit 120, a controller 130, a camera unit 140, a storage unit 150, and a display unit 160. .

입력부(110)는 사용자가 단말(100)의 동작 제어를 위한 입력 데이터를 발생시킨다. 입력부(110)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다. The input unit 110 generates input data for the user to control the operation of the terminal 100. The input unit 110 may include a key pad dome switch, a touch pad (constant voltage / capacitance), a jog wheel, a jog switch, and the like.

센서부(120)는 터치 센서부(121), 근접 센서부(122), 속도/가속도 센서부(123) 및 자이로 센서부(124)를 포함하여 구성될 수 있다.The sensor unit 120 may include a touch sensor unit 121, a proximity sensor unit 122, a speed / acceleration sensor unit 123, and a gyro sensor unit 124.

터치 센서부(120)는 터치 입력을 감지할 수 있으며, 터치 필름, 터치 시트, 터치 패드 중 적어도 하나로 구성될 수 있다. The touch sensor unit 120 may detect a touch input and may be configured of at least one of a touch film, a touch sheet, and a touch pad.

터치 센서부(120)는 표시부(160)와 상호 레이어 구조를 가짐으로써 터치 스크린으로 동작할 수 있다. 이때, 터치 센서부(120)는 표시부(160)의 특정 부위에 가해진 압력 또는 표시부(160))의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서부(120)는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. The touch sensor unit 120 may have a mutual layer structure with the display unit 160 to operate as a touch screen. In this case, the touch sensor unit 120 may be configured to convert a change in pressure applied to a specific portion of the display unit 160 or capacitance generated at a specific portion of the display unit 160 into an electrical input signal. The touch sensor unit 120 may be configured to detect not only the position and area of the touch but also the pressure at the touch.

터치 센서부(120)에 따라 터치 입력이 감지된 경우, 터치 센서부(120)는 그에 대응하는 신호를 처리하여 제어부(130)로 전송할 수 있다. 이로써, 제어부(130)는 표시부(160)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.When a touch input is detected by the touch sensor unit 120, the touch sensor unit 120 may process a signal corresponding to the touch input and transmit the signal to the controller 130. As a result, the controller 130 may determine which area of the display unit 160 is touched.

근접 센서부(122)는 표시부(160)에 의해 감싸지는 단말(100)의 내부 영역 또는 표시부(160) 근처에 배치될 수 있다. 근접 센서부(122)는 소정의 검출 면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출할 수 있다. 이때, 표시부(160)는 터치 스크린일 수 있다.The proximity sensor unit 122 may be disposed in the inner region of the terminal 100 surrounded by the display unit 160 or near the display unit 160. The proximity sensor 122 may detect the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity of the proximity sensor unit without using mechanical force or infrared rays. In this case, the display unit 160 may be a touch screen.

근접 센서부(122)는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 중 적어도 하나로 구성될 수 있다. 표시부(160)가 정전식 터치 스크린 인 경우, 근접 센서부(122)는 포인터의 근접에 따른 전계의 변화로 포인터의 근접을 검출하도록 구성된다.The proximity sensor 122 may be configured of at least one of a transmissive photoelectric sensor, a direct reflective photoelectric sensor, a mirror reflective photoelectric sensor, a high frequency oscillating proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor. . When the display unit 160 is a capacitive touch screen, the proximity sensor unit 122 is configured to detect the proximity of the pointer by the change of the electric field according to the proximity of the pointer.

근접 센서부(122)는 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 표시부(160)에 표시될 수 있다. The proximity sensor unit 122 detects a proximity touch and a proximity touch pattern (eg, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, and a proximity touch movement state). Information corresponding to the detected proximity touch operation and the proximity touch pattern may be displayed on the display unit 160.

속도/가속도 센서부(123)는 단말(100)의 움직임을 감지할 수 있다. 속도/가속도 센서부(123)는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로 구성될 수 있다. 제어부(130)는 속도/가속도 센서부(123)에 의해 감지된 단말(100)의 움직임을 기초로, 단말(100)이 운전 모드인지 판단할 수 있다.The speed / acceleration sensor unit 123 may detect the movement of the terminal 100. The speed / acceleration sensor unit 123 may be configured as an element that converts an acceleration signal in one direction into an electrical signal. The controller 130 may determine whether the terminal 100 is in a driving mode based on the movement of the terminal 100 detected by the speed / acceleration sensor unit 123.

자이로 센서부(124)는 단말의 회전 상태를 감지할 수 있다. 자이로 센서부(124)는 단말(100)의 각속도를 측정하여, 기준 방향에 대하여 회전된 각도를 감지할 수 있다. 예를 들어, 자이로 센서부(124)는 3개 방향의 축을 기준으로 한 각각의 회전 각도, 즉 방위각(azimuth), 피치(pitch) 및 롤(roll)을 감지할 수 있다. 제어부(130)는 자이로 센서부(124)에 의하여 감지된 회전 상태를 기초로 단말(100)이 바닥에 놓여진 상태인지, 도킹 상태인지 판단할 수 있다.The gyro sensor unit 124 may detect a rotation state of the terminal. The gyro sensor unit 124 may measure an angular velocity of the terminal 100 to detect an angle rotated with respect to the reference direction. For example, the gyro sensor unit 124 may detect respective rotation angles, ie, azimuth, pitch, and roll, based on three axes. The controller 130 may determine whether the terminal 100 is placed on the floor or docked based on the rotation state detected by the gyro sensor unit 124.

제어부(130)는 단말(100)의 각 구성 요소에 대한 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(130)는 단말(100)에 대한 공간상의 제스처를 감지하고, 이를 분석하여, 분석 결과를 기초로 임의의 동작을 결정하고, 이를 수행하도록 단말(100)을 제어할 수 있다.The controller 130 may control the overall operation of each component of the terminal 100. For example, the controller 130 may detect a spatial gesture with respect to the terminal 100, analyze the same, determine an arbitrary operation based on the analysis result, and control the terminal 100 to perform the same. .

제어부(130)의 상세한 동작은 상술한 바와 같다.Detailed operations of the controller 130 are as described above.

카메라부(140)는 화상 통화 모드 또는 활영 모드에서 이미지 센서에 의해 얻어지는 정지 영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 표시부(160)에 표시될 수 있다.The camera unit 140 processes an image frame such as a still image or a video obtained by the image sensor in a video call mode or a play mode. The processed image frame may be displayed on the display unit 160.

카메라부(140)에서 처리된 화상 프레임은 저장부(150)에 저장되거나 제어부(130)로 전송될 수 있다. 제어부(130)는 카메라부(140)에 의하여 획득된 영상을 분석하여 영상의 모양, 형태 등을 분석할 수 있다.The image frame processed by the camera unit 140 may be stored in the storage 150 or transmitted to the controller 130. The controller 130 may analyze the image acquired by the camera unit 140 to analyze the shape, shape, and the like of the image.

저장부(150)는 제어부(130)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 저장부(150)는 터치 스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다. The storage unit 150 may store a program for the operation of the controller 130 and may temporarily store input / output data (for example, a phone book, a message, a still image, a video, etc.). The storage unit 150 may store data regarding vibrations and sounds of various patterns that are output when a touch is input on the touch screen.

또한, 저장부(150)는 공간상의 제스처를 기초로 임의의 동작을 매칭시킨 공간상의 상호 작용 세트를 저장할 수 있다.In addition, the storage 150 may store a set of spatial interactions that match an arbitrary action based on the spatial gesture.

저장부(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 xD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The storage unit 150 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or xD memory), Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, It may include a storage medium of at least one type of magnetic disk, optical disk.

표시부(160)는 단말(100)에서 처리되는 정보를 UI 또는 GUI 형태로 표시(출력)할 수 있다.The display unit 160 may display (output) information processed by the terminal 100 in the form of a UI or a GUI.

표시부(160)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. The display unit 160 may include a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. ), And may include at least one of a 3D display.

표시부(160)는 터치 센서부(121) 및/또는 근접 센서부(123)와 상호 레이어 구조를 이루어 터치 스크린으로 동작할 수 있다. 이 경우, 표시부(160)는 출력 장치 이외에 입력 장치로도 동작할 수 있다.The display unit 160 may form a layer structure with the touch sensor unit 121 and / or the proximity sensor unit 123 to operate as a touch screen. In this case, the display unit 160 may operate as an input device in addition to the output device.

본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Those skilled in the art will appreciate that various modifications and variations can be made without departing from the essential features of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

100: 단말 110: 입력부
120: 센서부 130: 제어부
140: 카메라부 150: 저장부
160: 표시부100: terminal 110: input unit
120: sensor unit 130: control unit
140: camera unit 150: storage unit
160: display unit

Claims (14)

단말의 제어 방법에 있어서,
사용자 입력에 따라 이미지 캡쳐를 위한 카메라 애플리케이션을 활성화하는 동작;
상기 카메라 애플리케이션이 활성화되면, 상기 단말의 카메라를 통해 획득한 입력 이미지를 디스플레이 상에 입력 이미지로 표시하는 동작;
상기 입력 이미지가 표시되는 동안, 적어도 하나 이상의 센서를 이용하여 상기 단말에 근접하는 사용자 제스처를 감지하는 동작;
감지된 상기 사용자 제스처의 형상을 판단하는 동작;
상기 사용자 제스처의 상기 형상이 움켜쥐기 제스처인지 판단하는 동작; 및
상기 사용자 제스처가 상기 움켜쥐기 제스처로 판단되면, 소정 시간 후에, 상기 입력 이미지를 캡쳐하는 동작을 포함하는 단말의 제어 방법.In the control method of the terminal,
Activating a camera application for capturing an image according to a user input;
When the camera application is activated, displaying an input image acquired through a camera of the terminal as an input image on a display;
Detecting a user gesture approaching the terminal using at least one sensor while the input image is displayed;
Determining a shape of the detected user gesture;
Determining whether the shape of the user gesture is a grabbing gesture; And
And if the user gesture is determined to be the grabbing gesture, after a predetermined time, capturing the input image. 제1항에 있어서,
상기 적어도 하나 이상의 센서는
근접 센서, 적외선 센서 및 카메라 센서 중 적어도 하나 이상인 것을 특징으로 하는 단말의 제어 방법.The method of claim 1,
The at least one sensor
At least one of a proximity sensor, an infrared sensor, and a camera sensor. 제1항에 있어서,
상기 움켜쥐기 제스처는
사용자의 손가락이 뻗은 위치로부터 손가락이 사용자의 엄지에 더 가깝게 이동되는 위치로 이동되도록 사용자의 손을 이동시키는 동작을 포함하는 단말의 제어 방법.The method of claim 1,
The grab gesture
And moving the user's hand so that the finger moves from the position where the user's finger extends to the position where the finger is moved closer to the user's thumb. 제1항에 있어서,
상기 움켜쥐기 제스처는
손가락이 움켜 쥔 주먹을 향하도록 사용자의 손을 움직이는 동작을 포함하는 단말의 제어 방법.The method of claim 1,
The grab gesture
And a user's hand moving the finger toward the clenched fist. 제1항에 있어서,
상기 감지된 상기 사용자 제스처의 형상을 판단하는 동작은
사용자의 손이 미리 정의된 구성에 위치되었는지를 결정하는 동작을 더 포함하는 단말의 제어 방법.The method of claim 1,
Determining the shape of the detected user gesture is
And determining whether the user's hand is in a predefined configuration. 제1항에 있어서,
상기 감지된 상기 사용자 제스처의 형상을 판단하는 동작은
감지된 사용자의 손의 좌표를 비교하는 동작; 및
상기 검출된 사용자의 손의 좌표 변화를 판단하는 동작을 더 포함하는 방법.The method of claim 1,
Determining the shape of the detected user gesture is
Comparing the detected coordinates of the user's hand; And
Determining the coordinate change of the detected user's hand. 제1항에 있어서,
상기 사용자 제스처가 상기 움켜쥐기 제스처로 판단되면, 상기 입력 이미지를 즉시 캡쳐하는 동작을 더 포함하는 방법.The method of claim 1,
If it is determined that the user gesture is the grab gesture, further comprising capturing the input image immediately. 적어도 하나 이상의 센서;
카메라;
디스플레이; 및
적어도 하나 이상의 프로세서를 포함하며,
상기 적어도 하나 이상의 프로세서는,
사용자 입력에 따라 이미지 캡쳐를 위한 카메라 애플리케이션을 활성화하고,
상기 카메라 애플리케이션이 활성화되면, 단말의 카메라를 통해 획득한 입력 이미지를 디스플레이 상에 입력 이미지로 표시하며,
상기 입력 이미지가 표시되는 동안, 적어도 하나 이상의 센서를 이용하여 상기 단말에 근접하는 사용자 제스처를 감지하며,
감지된 상기 사용자 제스처의 형상을 판단하고,
상기 사용자 제스처의 상기 형상이 움켜쥐기 제스처인지 판단하며,
상기 사용자 제스처가 상기 움켜쥐기 제스처로 판단되면, 소정 시간 후에, 상기 입력 이미지를 캡쳐하는 단말.At least one sensor;
camera;
display; And
At least one processor,
The at least one processor,
Activate the camera application for capturing images based on user input,
When the camera application is activated, the input image obtained through the camera of the terminal is displayed as an input image on the display,
While the input image is displayed, at least one sensor is used to detect a user gesture approaching the terminal,
Determine the shape of the detected user gesture,
Determine whether the shape of the user gesture is a grab gesture,
And when the user gesture is determined to be the grasping gesture, captures the input image after a predetermined time. 제8항에 있어서,
상기 적어도 하나 이상의 센서는
근접 센서, 적외선 센서 및 카메라 센서 중 적어도 하나 이상인 것을 특징으로 하는 단말.The method of claim 8,
The at least one sensor
And at least one of a proximity sensor, an infrared sensor, and a camera sensor. 제8항에 있어서,
상기 움켜쥐기 제스처는
사용자의 손가락이 뻗은 위치로부터 손가락이 사용자의 엄지에 더 가깝게 이동되는 위치로 이동되도록 사용자의 손을 이동시키는 것을 특징으로 하는 단말.The method of claim 8,
The grab gesture
And a user's hand to move the user's hand from a position where the user's finger extends to a position where the finger moves closer to the user's thumb. 제8항에 있어서,
상기 움켜쥐기 제스처는
손가락이 움켜 쥔 주먹을 향하도록 사용자의 손을 움직이는 것을 특징으로 하는 단말.The method of claim 8,
The grab gesture
Terminal characterized in that the user's hand to move the finger toward the clenched fist. 제8항에 있어서,
상기 적어도 하나의 프로세서는
사용자의 손이 미리 정의된 구성에 위치되었는지를 결정하여, 상기 감지된 상기 사용자 제스처의 형상을 판단하는 것을 특징으로 하는 단말. The method of claim 8,
The at least one processor
And determining the shape of the detected user gesture by determining whether a user's hand is in a predefined configuration. 제8항에 있어서,
상기 적어도 하나의 프로세서는
감지된 사용자의 손의 좌표를 비교하며, 상기 검출된 사용자의 손의 좌표 변화를 판단하여, 상기 감지된 상기 사용자 제스처의 형상을 판단하는 것을 특징으로 하는 단말.The method of claim 8,
The at least one processor
And comparing the detected coordinates of the user's hand, and determining the detected change in the coordinates of the user's hand to determine the shape of the detected user gesture. 제8항에 있어서,
상기 적어도 하나의 프로세서는
상기 사용자 제스처가 상기 움켜쥐기 제스처로 판단되면, 상기 입력 이미지를 즉시 캡쳐하는 것을 특징으로 하는 단말.The method of claim 8,
The at least one processor
And when the user gesture is determined to be the grip gesture, immediately capture the input image.
KR1020190018622A 2019-02-18 2019-02-18 Control method of terminal by using spatial interaction KR102061254B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190018622A KR102061254B1 (en) 2019-02-18 2019-02-18 Control method of terminal by using spatial interaction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190018622A KR102061254B1 (en) 2019-02-18 2019-02-18 Control method of terminal by using spatial interaction

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020120047678A Division KR20130124061A (en) 2012-05-04 2012-05-04 Control method of terminal by using spatial interaction

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190174113A Division KR102194778B1 (en) 2019-12-24 2019-12-24 Control method of terminal by using spatial interaction

Publications (2)

Publication Number Publication Date
KR20190019989A KR20190019989A (en) 2019-02-27
KR102061254B1 true KR102061254B1 (en) 2020-02-11

Family

ID=65560965

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190018622A KR102061254B1 (en) 2019-02-18 2019-02-18 Control method of terminal by using spatial interaction

Country Status (1)

Country Link
KR (1) KR102061254B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009260907A (en) * 2008-03-18 2009-11-05 Nec Corp Portable terminal apparatus, terminal operation method, program, and recording medium
JP2010244132A (en) * 2009-04-01 2010-10-28 Mitsubishi Electric Corp User interface device with touch panel, method and program for controlling user interface
JP2010277198A (en) * 2009-05-26 2010-12-09 Sony Corp Information processing apparatus, information processing method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009260907A (en) * 2008-03-18 2009-11-05 Nec Corp Portable terminal apparatus, terminal operation method, program, and recording medium
JP2010244132A (en) * 2009-04-01 2010-10-28 Mitsubishi Electric Corp User interface device with touch panel, method and program for controlling user interface
JP2010277198A (en) * 2009-05-26 2010-12-09 Sony Corp Information processing apparatus, information processing method, and program

Also Published As

Publication number Publication date
KR20190019989A (en) 2019-02-27

Similar Documents

Publication Publication Date Title
US20200257373A1 (en) Terminal and method for controlling the same based on spatial interaction
KR102194272B1 (en) Enhancing touch inputs with gestures
US9047046B2 (en) Information processing apparatus, information processing method and program
US8902181B2 (en) Multi-touch-movement gestures for tablet computing devices
US9239674B2 (en) Method and apparatus for providing different user interface effects for different implementation characteristics of a touch event
EP2433275B1 (en) Hand-held device with ancillary touch activated zoom or transformation of active element, method of operation and computer readable medium
US9448587B2 (en) Digital device for recognizing double-sided touch and method for controlling the same
US10182141B2 (en) Apparatus and method for providing transitions between screens
US9448714B2 (en) Touch and non touch based interaction of a user with a device
US20110050608A1 (en) Information processing apparatus, information processing method and program
US20110175831A1 (en) Information processing apparatus, input operation determination method, and input operation determination program
US20100315438A1 (en) User interface methods providing continuous zoom functionality
KR20130099186A (en) Display device, user interface method, and program
KR102161061B1 (en) Method and terminal for displaying a plurality of pages
KR20130124061A (en) Control method of terminal by using spatial interaction
KR20130124139A (en) Control method of terminal by using spatial interaction
US9256360B2 (en) Single touch process to achieve dual touch user interface
US9626742B2 (en) Apparatus and method for providing transitions between screens
KR102194778B1 (en) Control method of terminal by using spatial interaction
KR102061254B1 (en) Control method of terminal by using spatial interaction
KR20130124143A (en) Control method of terminal by using spatial interaction
US9898183B1 (en) Motions for object rendering and selection
KR20200143346A (en) Control method of terminal by using spatial interaction
KR20130124138A (en) Control method of terminal by using spatial interaction

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant