KR20130124138A - Control method of terminal by using spatial interaction - Google Patents

Control method of terminal by using spatial interaction Download PDF

Info

Publication number
KR20130124138A
KR20130124138A KR1020120132222A KR20120132222A KR20130124138A KR 20130124138 A KR20130124138 A KR 20130124138A KR 1020120132222 A KR1020120132222 A KR 1020120132222A KR 20120132222 A KR20120132222 A KR 20120132222A KR 20130124138 A KR20130124138 A KR 20130124138A
Authority
KR
South Korea
Prior art keywords
terminal
function
gesture
user gesture
driving mode
Prior art date
Application number
KR1020120132222A
Other languages
Korean (ko)
Inventor
전진영
강지영
이보영
김대성
김진용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120132222A priority Critical patent/KR20130124138A/en
Priority to US13/874,510 priority patent/US20130293454A1/en
Priority to AU2013205613A priority patent/AU2013205613B2/en
Priority to EP20185022.9A priority patent/EP3742263A1/en
Priority to EP13166321.3A priority patent/EP2660682A3/en
Priority to CN2013101629001A priority patent/CN103383598A/en
Priority to CN201910897441.9A priority patent/CN110647244A/en
Priority to JP2013097719A priority patent/JP2013235588A/en
Publication of KR20130124138A publication Critical patent/KR20130124138A/en
Priority to US15/847,112 priority patent/US20180107282A1/en
Priority to US16/859,408 priority patent/US20200257373A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

The present invention relates to a control method of a terminal by using a spatial gesture and the terminal thereof. The present invention provides the control method of a terminal and the terminal thereof to recognize various spatial gestures and control the function of the terminal by using interaction in response to the gestures. [Reference numerals] (AA) Start;(BB) End;(S110) Sense gestures in a space;(S120) Analyze the sensed gestures in the space;(S130) Select a random motion corresponding to the analysis result;(S140) Perform the random motion

Description

공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말{CONTROL METHOD OF TERMINAL BY USING SPATIAL INTERACTION}CONTROL METHOD OF TERMINAL BY USING SPATIAL INTERACTION}

본 발명은 공간상의 제스처를 이용한 단말의 제어 방법 및 그 단말에 관한 것이다.The present invention relates to a method for controlling a terminal using a gesture in space and a terminal thereof.

최근 스마트 전자 기기의 발달로 사용자가 단말을 편리하게 제어하도록 하기 위한 다양한 상호 작용 기술들이 연구되고 있다.Recently, various interaction technologies have been studied for the user to conveniently control the terminal due to the development of smart electronic devices.

단말 제어를 위한 상호 작용으로는 단말의 터치 입력 또는 운동 상태를 기초로 단말의 동작을 제어하는 기술 또는 손바닥을 이용한 손 동작을 이용하여 단말을 제어하는 기술 등이 있다.The interaction for controlling the terminal may include a technique of controlling the operation of the terminal based on a touch input or an exercise state of the terminal, or a technique of controlling the terminal using a hand gesture using a palm.

본 발명은, 공간상의 다양한 제스처를 인식하고 이에 반응하는 상호 작용을 이용하여 단말의 기능을 제어할 수 있도록 하는 단말의 제어 방법 및 그 단말을 제공한다.The present invention provides a method for controlling a terminal and a terminal for enabling the terminal to control a function of the terminal by using an interaction that recognizes and responds to various gestures in space.

본 발명에 따른 단말의 제어 방법은, 차량 내 단말의 제어 방법으로, 상기 단말의 운동 상태를 기초로 운전 모드를 수행하는 단계; 상기 운전 모드 수행 중, 상기 단말에 인접한 공간 내의 사용자 제스처를 감지하는 단계; 및 상기 사용자 제스처에 대응하는 상기 운전 모드의 기능을 수행하는 단계를 포함한다.A control method of a terminal according to the present invention includes a control method of a terminal in a vehicle, the method comprising: performing a driving mode based on an exercise state of the terminal; Detecting a user gesture in a space adjacent to the terminal while the driving mode is performed; And performing a function of the driving mode corresponding to the user gesture.

본 발명에 의한 단말의 제어 방법 및 그 단말에 따르면, 공간상의 제스처를 이용하여 사용자가 보다 편리하고 직관적으로 단말을 제어할 수 있다.According to the method for controlling a terminal and the terminal according to the present invention, a user can control the terminal more conveniently and intuitively using a gesture in space.

또한, 본 발명에 의한 단말의 제어 방법 및 그 단말에 따르면, 장갑을 착용하거나 손에 이물질이 묻은 경우 등, 단말에 터치 입력을 할 수 없는 경우에도 공간상의 제스처를 이용하여 효율적으로 단말을 제어할 수 있다.In addition, according to the terminal control method and the terminal according to the present invention, even when a touch input cannot be made to the terminal, such as wearing gloves or foreign matter on the hand, it is possible to efficiently control the terminal by using a gesture in space. Can be.

도 1은 본 발명에 따른 공간상의 제스처를 이용하여 단말 제어 방법을 나타낸 순서도이다.
도 2 내지 도 25는 본 발명에 따른 단말이 감지할 수 있는 다양한 공간상의 제스처를 나타낸 도면이다.
도 26은 공간상의 상호 작용 세트의 일 예를 나타낸 도면이다.
도 27은 본 발명의 제1 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 28은 본 발명의 제2 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 29는 본 발명의 제3 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 30은 본 발명의 제4 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 31은 본 발명의 제5 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 32는 본 발명의 제6 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 33은 본 발명의 제7 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 34는 본 발명의 제8 실시 예에 따른 단말의 제어 방법을 나타낸 도면이다.
도 35는 본 발명의 제9 실시 예에 따른 단말의 제어 방법을 나타낸 도면이다.
도 36은 본 발명에 따른 단말의 구성을 나타낸 블록도이다.1 is a flowchart illustrating a method for controlling a terminal using a gesture in space according to the present invention.
2 to 25 are views showing various spatial gestures that can be detected by the terminal according to the present invention.
26 is a diagram illustrating an example of a spatial interaction set.
27 is a diagram illustrating a terminal control method according to a first embodiment of the present invention.
28 is a diagram illustrating a terminal control method according to a second embodiment of the present invention.
29 is a diagram illustrating a terminal control method according to a third embodiment of the present invention.
30 is a diagram illustrating a terminal control method according to a fourth embodiment of the present invention.
31 is a diagram illustrating a terminal control method according to a fifth embodiment of the present invention.
32 is a diagram illustrating a terminal control method according to a sixth embodiment of the present invention.
33 is a diagram illustrating a terminal control method according to a seventh embodiment of the present invention.
34 is a diagram illustrating a control method of a terminal according to an eighth embodiment of the present invention.
35 is a diagram illustrating a method for controlling a terminal according to the ninth embodiment of the present invention.
36 is a block diagram showing the configuration of a terminal according to the present invention.

본 발명은 스마트 폰(Smart Phone), 휴대 단말(Portable Terminal), 이동 단말(Mobile Terminal), 개인 정보 단말(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말, 노트북 컴퓨터, 와이브로(Wibro) 단말 등의 일반적인 전자 단말뿐만 아니라, 공간상의 제스처를 감지할 수 있는 모든 장치 또는 서비스를 위하여 적용될 수 있다.The present invention provides a smart phone, a portable terminal, a mobile terminal, a personal digital assistant (PDA), a portable multimedia player (PMP) terminal, a notebook computer, and a wibro. The present invention can be applied not only to a general electronic terminal such as a terminal, but also to any device or service capable of detecting a gesture in a space.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. It is noted that the technical terms used herein are used only to describe specific embodiments and are not intended to limit the scope of the present invention. It is also to be understood that the technical terms used herein are to be interpreted in a sense that is generally understood by those skilled in the art to which the present invention belongs, It should not be construed as a meaning or an overly reduced meaning.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 한다. Also, the singular forms "as used herein include plural referents unless the context clearly dictates otherwise. In this specification, "comprises" Or "includes." Should not be construed to encompass the various components or steps that are described in the specification.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 보다 구체적으로 설명하도록 한다.
Hereinafter, embodiments of the present invention will be described in more detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 공간상의 제스처를 이용하여 단말 제어 방법을 나타낸 순서도이다.1 is a flowchart illustrating a method for controlling a terminal using a gesture in space according to the present invention.

도 1을 참조하면, 본 발명에 따른 단말 제어 방법은 다음과 같은 순서로 이루어질 수 있다.Referring to FIG. 1, the method for controlling a terminal according to the present invention may be performed in the following order.

먼저, 단말은 공간상의 제스처를 감지할 수 있다(S110).First, the terminal may detect a gesture in space (S110).

공간상의 제스처는 사용자의 손(손가락을 포함한다) 등의 입력 수단에 의하여 형성될 수 있다.The gesture in space may be formed by an input means such as a user's hand (including a finger).

단말은 카메라를 통하여 공간상의 제스처에 대한 영상 입력을 감지하거나, 근접 센서를 이용하여 단말에 근접하는 입력 수단의 제스처를 감지할 수 있다. 단말은 복수의 공간상의 제스처를 동시에 또는 순차적으로 감지할 수 있다.The terminal may sense an image input for a gesture in space through a camera, or detect a gesture of an input means close to the terminal by using a proximity sensor. The terminal may detect a plurality of spatial gestures simultaneously or sequentially.

또한, 단말은 공간상의 제스처와 함께 터치 입력을 감지할 수 있다. 단말은 공간상의 제스처와 터치 입력을 동시에 또는 순차적으로 감지할 수 있다. 또한, 단말은 터치 입력이 지속되는 동안 공간상의 제스처를 감지할 수도 있다.In addition, the terminal may detect a touch input together with a gesture in space. The terminal may detect a gesture and a touch input in space at the same time or sequentially. In addition, the terminal may detect a gesture in space while the touch input continues.

다음으로, 단말은 감지된 공간상의 제스처를 분석할 수 있다(S120).Next, the terminal may analyze the detected spatial gesture (S120).

단말은 입력된 영상을 분석하거나 근접 센서를 이용하여 공간상의 제스처를 감지할 수 있다. 단말은 입력 수단이 하나 이상의 방향을 향하거나 임의의 형태를 형성하는 움직임(쓸어넘기기, sweep 등으로 명명될 수 있음), 움직임의 속도, 움직임의 길이, 입력 수단의 모양(예를 들어 손 또는 손가락의 모양) 또는 입력 수단이 접근하는 하나 이상의 좌표, 접근 속도, 접근 거리 등을 분석할 수 있다.The terminal may analyze the input image or detect a gesture in space using a proximity sensor. The terminal may be a movement (which may be referred to as a sweep, sweep, etc.) in which the input means faces one or more directions or forms an arbitrary shape, the speed of the movement, the length of the movement, and the shape of the input means (for example, a hand or a finger). Shape) or one or more coordinates approached by the input means, approach speed, approach distance, and the like.

입력 수단이 손인 경우를 예로 들면, 단말이 감지할 수 있는 다양한 공간상의 제스처는 탭(손을 앞으로 숙였다 올리기), 쓸기(손을 상/항/좌/우 방향으로 쓸어내듯 이동하기), 흔들기(수평 또는 수직으로 흔들기), 돌리기(시계방향, 반시계방향), 움켜쥐기(손을 펴고 있다가 주먹 쥐기), 꼬집기(엄지와 검지를 오므리기), 접근, 추적(손의 움직임을 실시간으로 추적하기), 덮기(손으로 단말을 덮은 상태 유지), 밀기(손을 단말 방향으로 밀기), 양손 밀기, 양손 벌리기, 양손 회전, 양손 모으기, 터치 후 쓸기, 근접하기 중 어느 하나일 수 있다. 상술한 제스처는 도 2 내지 도 25에 간략히 도시되어 있다.For example, when the input means is a hand, various spatial gestures that the terminal can sense include tapping (hand up and forward), swiping (moving the hand up, down, left, and right), and shaking ( Shake horizontally or vertically), turn (clockwise, counterclockwise), grab (stretch your hands and clench your fist), pinch (pinch your thumb and index finger), approach, track (track your hand in real time) It may be any one of the following), covering (keeping the state covered by the hand), pushing (hand pushing in the direction of the terminal), pushing both hands, spreading both hands, rotating both hands, collecting both hands, sweep after touch, close. The above-described gestures are briefly shown in FIGS. 2 to 25.

다음으로, 단말은 분석 결과에 대응하는 임의의 동작을 결정할 수 있다(S130).Next, the terminal may determine an arbitrary operation corresponding to the analysis result (S130).

단말은 분석된 공간상의 제스처에 대응하는 임의의 동작을 결정할 수 있다.The terminal may determine any operation corresponding to the analyzed spatial gesture.

구체적으로, 단말은 단말의 기능 모드를 판단할 수 있다.Specifically, the terminal may determine the function mode of the terminal.

단말의 기능 모드는 단말이 지원하는 다양한 기능은 카메라 촬영, 멀티미디어 재생, 문자 송수신, 호 송수신, 독서기능, 내비게이션 등이 실행 중인 모드일 수 있다.In the functional mode of the terminal, various functions supported by the terminal may be a mode in which camera photography, multimedia playback, text transmission, reception, call transmission, reading, navigation, and the like are executed.

단말은 기능 모드를 기초로 공간상의 제스처에 대응하는 임의의 동작을 결정할 수 있다.The terminal may determine any operation corresponding to the gesture in space based on the function mode.

예를 들어, 단말이 멀티미디어 재생 중인 경우, 공간상의 제스처가 임의의 방향을 향하는 움직임으로 판단된 경우, 단말은 임의의 기능으로 재생 목록 중 임의의 방향에 대응하는 곡을 재생하는 동작을 결정할 수 있다.For example, when the terminal is playing multimedia, when it is determined that the spatial gesture is a movement in an arbitrary direction, the terminal may determine an operation of playing a song corresponding to an arbitrary direction in the playlist with an arbitrary function. .

또한, 예를 들어, 독서기능 중인 경우, 공간상의 제스처가 임의의 방향을 향하는 움직임으로 판단된 경우, 단말은 임의의 기능으로 임의의 방향에 대응하는 책의 페이지를 표시하는 동작을 결정할 수 있다.In addition, for example, when the reading function is performed, when it is determined that the gesture in space is a movement in an arbitrary direction, the terminal may determine an operation of displaying a page of a book corresponding to the arbitrary direction by an arbitrary function.

단말은 임의의 동작을 결정하기 위하여, 도 26에 도시된 바와 같은 공간상의 상호 작용 세트를 이용할 수 있다. The terminal may use the spatial interaction set as shown in FIG. 26 to determine any operation.

즉, 단말은 임의의 공간상의 제스처에 대한 설명 및 이를 지시하는 명칭을 정의하고, 해당 공간상의 제스처에 대한 메타포를 저장할 수 있다. 메타포는 해당 공간상의 제스처에 대응하는 임의의 동작을 나타낼 수 있다. 메타포는 예를 들어 단말은 감지된 공간상의 제스처를 분석하고, 분석 결과를 기초로 공간상의 상호 작용 세트를 이용하여 임의의 동작을 결정할 수 있다.That is, the terminal may define a description of a certain spatial gesture and a name indicating the spatial gesture, and store a metaphor for the corresponding gesture in the spatial space. The metaphor may represent any action corresponding to the gesture in space. For example, the metaphor may analyze a sensed spatial gesture and determine an arbitrary action using a spatial interaction set based on the analysis result.

다음으로, 단말은 임의의 동작을 수행할 수 있다(S140).Next, the terminal may perform an arbitrary operation (S140).

단말은 결정된 임의의 동작을 수행할 수 있다.The terminal may perform the determined arbitrary operation.

하기에서 공간상의 제스처를 이용하여 단말이 다양한 임의의 동작을 수행하는 구체적인 실시 예를 도면을 참조하여 설명하도록 한다.
Hereinafter, a specific embodiment in which the terminal performs various arbitrary operations using a gesture in space will be described with reference to the drawings.

도 27은 본 발명의 제1 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.27 is a diagram illustrating a terminal control method according to a first embodiment of the present invention.

도 27을 참조하면, 단말은 카메라를 통하여 영상 입력을 감지하고, 이를 분석할 수 있다. 단말은 영상 입력을 통하여 감지된 입력 수단의 움직임에 대하여 적어도 하나의 방향, 속도, 이동 거리 등을 분석할 수 있다. 예를 들어, 단말은 사용자의 손이 좌/우로 향하는 움직임을 감지할 수 있다. Referring to FIG. 27, the terminal may detect an image input through a camera and analyze it. The terminal may analyze at least one direction, speed, moving distance, etc. with respect to the movement of the input means detected through the image input. For example, the terminal may detect a movement of the user's hand toward the left / right.

단말은 분석 결과에 따라 임의의 동작을 수행할 수 있다. 예를 들어, 단말은 표시부 상의 아이템을 좌/우로 이동시킬 수 있다. The terminal may perform any operation according to the analysis result. For example, the terminal may move the item on the display to the left and right.

단말은 움직임의 속도에 따라 아이템을 빠르게 또는 느리게 이동시킬 수 있다. 또한, 단말은 움직임의 속도, 길이를 기초로 책의 복수의 페이지를 넘기거나, 움직임의 속도에 따라 한 챕터를 넘길 수도 있다. 또한, 단말은 사진 앨범의 사진을 넘기거나, 멀티미디어 재생 중 재생되는 멀티미디어를 목록의 다음 멀티미디어를 재생할 수 있다.
The terminal may move the item quickly or slowly according to the speed of the movement. In addition, the terminal may turn over a plurality of pages of a book based on the speed and length of the movement, or one chapter according to the speed of the movement. In addition, the terminal may turn over the photos in the photo album, or play the next multimedia in the list of the multimedia played during the multimedia playback.

도 28은 본 발명의 제2 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.28 is a diagram illustrating a terminal control method according to a second embodiment of the present invention.

도 28을 참조하면, 단말은 터치 입력과 공간상의 제스처를 동시에 또는 순차적으로 감지할 수 있다. 또한, 단말은 터치 입력이 지속 되는 동안 공간상의 제스처를 감지할 수 있다. 예를 들어, 단말은 표시부의 임의의 위치에 대한 터치 입력이 발생하고, 터치 입력이 지속되는 상태에서 임의의 방향을 향하는 움직임의 공간상의 제스처를 감지할 수 있다.Referring to FIG. 28, the terminal may simultaneously or sequentially sense a touch input and a gesture in space. In addition, the terminal may detect a gesture in space while the touch input continues. For example, the terminal may detect a spatial gesture of a movement in an arbitrary direction while a touch input for an arbitrary position of the display unit is generated and the touch input continues.

이 경우, 단말은 임의의 위치에 대한 터치 입력을 기초로 표시부에 표시된 아이템을 선택하고, 공간상의 제스처를 기초로 표시부에 표시된 아이템을 좌/우로 이동시킬 수 있다. 선택된 아이템은 예를 들어, 배경화면의 아이콘, 위젯, 이미지 등일 수 있다.In this case, the terminal may select an item displayed on the display unit based on a touch input for an arbitrary position, and move the item displayed on the display unit left / right based on a spatial gesture. The selected item may be, for example, an icon, a widget, or an image of the background screen.

반면, 단말은 공간상의 제스처를 기초로, 터치 입력에 의하여 선택된 아이템을 제외한 나머지 아이템들을 좌/우로 이동시킬 수도 있다. 나머지 아이템은 예를 들어, 선택되지 않은 아이콘/위젯 및 배경화면에 표시되는 모든 UI를 포함할 수 있다.On the other hand, the terminal may move left and right items except for the item selected by the touch input based on the spatial gesture. The remaining items may include, for example, all the UIs displayed on the unselected icons / widgets and wallpaper.

또한, 단말은 공간상의 제스처를 기초로, 터치 입력에 의하여 선택된 사용자에게 호, 문자 메시지, 파일 등을 송신할 수 있다.
In addition, the terminal may transmit a call, a text message, a file, etc. to the user selected by the touch input based on the spatial gesture.

도 29는 본 발명의 제3 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.29 is a diagram illustrating a terminal control method according to a third embodiment of the present invention.

도 29를 참조하면, 단말은 카메라를 통하여 영상 입력을 감지하고 이를 분석할 수 있다. 단말은 영상 입력을 통하여 감지된 움직임에 대하여 움켜지는 움직임으로 분석할 수 있다. Referring to FIG. 29, the terminal may detect an image input through a camera and analyze it. The terminal may analyze the movement detected by the movement detected through the image input.

단말은 분석 결과를 기초로 임의의 동작을 수행할 수 있다.The terminal may perform any operation based on the analysis result.

예를 들어, 단말은 표시부에 표시된 내용을 캡쳐하여 저장하거나, 표시되지 않은 내용을 포함한 전체 콘텐츠의 내용을 캡쳐하여 저장할 수 있다. 단말은 캡쳐된 내용을 이미지로 저장할 수 있다.For example, the terminal may capture and store contents displayed on the display unit, or may capture and store contents of entire contents including contents not displayed. The terminal may store the captured content as an image.

단말은 캡쳐된 내용을 이미지로 저장할 경우, 이미지의 크기, 해상도, 배율 등을 변경하거나, 미리 설정된 값으로 설정하거나, 또는 움켜지는 움직임의 속도, 움켜지기 전의 손가락이 펼쳐진 정도, 움겨지고 나서 손가락이 움켜진 정도 등을 기초로 임의의 값으로 설정하여 저장할 수 있다.
When the terminal saves the captured content as an image, the size, resolution, magnification, etc. of the image can be changed, or set to a preset value, or the speed of the movement of the movement, the degree of the finger being stretched before being lifted, It can be set to any value based on the degree of grabbing and so on.

도 30은 본 발명의 제4 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.30 is a diagram illustrating a terminal control method according to a fourth embodiment of the present invention.

도 30을 참조하면, 단말은 카메라를 통하여 영상 입력을 감지하고, 이를 분석할 수 있다. 단말은 영상 입력을 분석하여 임의의 방향을 향하는 공간상의 제스처로 판단할 수 있다.Referring to FIG. 30, the terminal may detect an image input through a camera and analyze it. The terminal may analyze the image input and determine it as a gesture in space facing an arbitrary direction.

단말은 판단된 공간상의 제스처를 기초로, 복수의 웹 브라우저 간 이동하는 동작을 수행할 수 있다. 단말은 복수의 웹 브라우저가 복수의 탭 형태로 표시된 경우, 복수의 탭 간 이동하는 동작을 수행할 수 있다. 또는 단말은, 복수의 애플리케이션이 구동 중인 경우, 복수의 애플리캐이션 간 이동하는 동작을 수행할 수도 있다.The terminal may perform an operation of moving between a plurality of web browsers based on the determined spatial gesture. When the plurality of web browsers are displayed in the form of a plurality of tabs, the terminal may perform an operation of moving between the plurality of tabs. Alternatively, when the plurality of applications are running, the terminal may perform an operation of moving between the plurality of applications.

단말은 표시부에 표시되어 있는 웹 브라우저에 대하여 좌/우/상단/하단 또는 최상단/하단으로 이동된 화면을 표시할 수 있다. 또는 단말은 표시부에 표시되어 있는 웹 브라우저의 새로 고침을 수행하거나, 확대/축소, 페이지 복사, 검색, 인쇄, 이전/다음 페이지로 이동 등의 동작을 수행할 수 있다.
The terminal may display a screen moved to the left / right / top / bottom or top / bottom of the web browser displayed on the display unit. Alternatively, the terminal may refresh the web browser displayed on the display unit, or perform operations such as zooming in / out, copying a page, searching, printing, and moving to the previous / next page.

도 31은 본 발명의 제5 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.31 is a diagram illustrating a terminal control method according to a fifth embodiment of the present invention.

도 31을 참조하면, 단말은 카메라를 통하여 영상 입력을 감지하고, 입력 수단의 모양을 분석할 수 있다. 예를 들어, 단말은 손의 모양을 판단할 수 있다. 단말은 펼쳐진 손가락의 수, 손가락의 모양, 손바닥 또는 손등의 형태, 위치, 크기 등을 분석할 수 있다.Referring to FIG. 31, the terminal may detect an image input through a camera and analyze a shape of the input means. For example, the terminal may determine the shape of the hand. The terminal may analyze the number of the extended fingers, the shape of the fingers, the shape, position, size, etc. of the palm or the hand.

단말은 입력 수단의 모양을 기초로 임의의 동작을 수행할 수 있다.The terminal may perform any operation based on the shape of the input means.

단말은 펼쳐진 손가락의 수를 기초로 카메라의 촬영 시간을 결정할 수 있다. 예를 들어, 단말은 펼쳐진 손가락의 수에 대응하는 시간 후에 카메라 촬영을 수행하거나, 펼쳐진 손가락의 수에 대응하는 시간 동안 영상을 촬영할 수 있다. 또한, 단말은 손 모양을 기초로 즉시 촬영을 수행할 수도 있다.The terminal may determine the photographing time of the camera based on the number of extended fingers. For example, the terminal may perform camera shooting after a time corresponding to the number of extended fingers, or may take an image for a time corresponding to the number of extended fingers. In addition, the terminal may immediately photograph based on the shape of the hand.

또한, 단말은 손 모양을 기초로 오토 포커싱을 수행할 수 있다. 예를 들어, 손 모양이 엄지 손가락을 든 모양인 경우, 카메라는 오토 포커싱을 수행할 수 있다. In addition, the terminal may perform auto focusing based on a hand shape. For example, when the hand is in the shape of a thumb, the camera may perform auto focusing.

또한, 단말은 감지된 공간상의 제스처를 기초로 임의의 촬영 효과를 적용할 수도 있다.
In addition, the terminal may apply an arbitrary photographing effect based on the detected spatial gesture.

도 32는 본 발명의 제6 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.32 is a diagram illustrating a terminal control method according to a sixth embodiment of the present invention.

도 32를 참조하면, 단말은 임의의 방향을 향하는 움직임 또는 단말에 근접하는 입력 수단의 제스처를 감지할 수 있다. 예를 들어, 단말은 임의의 방향으로 이동하는 손의 움직임 또는 단말의 임의의 위치에 근접하는 손가락을 감지할 수 있다. Referring to FIG. 32, the terminal may detect a movement in an arbitrary direction or a gesture of an input means close to the terminal. For example, the terminal may detect a movement of a hand moving in an arbitrary direction or a finger approaching an arbitrary position of the terminal.

단말은 감지된 움직임의 방향, 속도 또는 근접하는 손가락의 좌표, 거리 등을 분석할 수 있다.The terminal may analyze the direction, speed, or coordinates of the approaching finger, distance, and the like.

단말은 분석 결과를 기초로 임의의 동작을 수행할 수 있다.The terminal may perform any operation based on the analysis result.

단말은 임의의 방향 및 속도를 따라 움직이는 수면을 표시할 수 있다. 또는, 단말은 임의의 좌표로 물방울이 떨어지는 화면을 표시할 수 있다. 이 외에도 단말은 다양한 감성적인 효과를 나타내는 화면을 표시할 수 있다. 단말은 2D 또는 3D로 화면을 표시할 수 있으며, 표시되는 화면에 대응하여, 진동, 음향 등을 함께 출력할 수도 있다.
The terminal may display a surface moving along an arbitrary direction and speed. Alternatively, the terminal may display a screen on which drops of water fall at arbitrary coordinates. In addition, the terminal may display a screen showing various emotional effects. The terminal may display the screen in 2D or 3D, and may also output vibrations, sounds, etc. in response to the displayed screen.

도 33은 본 발명의 제7 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.33 is a diagram illustrating a terminal control method according to a seventh embodiment of the present invention.

도 33을 참조하면, 단말은 단말을 향해 다가오는 움직임 또는 단말에 근접한 입력 수단의 제스처를 감지하고, 이를 분석하여 임의의 동작을 수행할 수 있다.Referring to FIG. 33, the terminal may detect a movement approaching toward the terminal or a gesture of an input means close to the terminal, analyze the same, and perform an arbitrary operation.

단말은 기능 모드를 기초로, 간단한 정보를 표시할 수 있다. 예를 들어, 단말이 잠김 모드인 상태 또는 표시부가 절전 모드인 상태인 경우, 단말은 날짜, 시간, 배터리 충전 상태, 경고창 등을 표시할 수 있다.
The terminal may display simple information based on the function mode. For example, when the terminal is in the locked mode or the display unit is in the power saving mode, the terminal may display a date, time, a battery charge state, a warning window, and the like.

도 34는 본 발명의 제8 실시 예에 따른 단말의 제어 방법을 나타낸 도면이다.34 is a diagram illustrating a control method of a terminal according to an eighth embodiment of the present invention.

도 34를 참조하면, 단말은 임의의 방향을 향하는 움직임을 감지하고 이를 분석할 수 있다. 또한, 단말은 단말의 기능 모드를 기초로 임의의 동작을 수행할 수 있다. Referring to FIG. 34, the terminal may detect a movement in an arbitrary direction and analyze it. In addition, the terminal may perform any operation based on the function mode of the terminal.

단말은 속도/가속도 센서, 자이로 센서 등을 통해 단말이 운전 모드임을 판단할 수 있다. 또한, 단말은 통화가 수신된 경우, 임의의 방향으로 향하는 움직임이 감지된 경우, 호를 수신하거나 또는 호를 거절하고 운전 중임을 알리는 메시지를 호의 상대방에게 송출할 수 있다. 또한, 단말은 운전 모드 중 음악의 볼륨을 조절하거나 메시지를 송수신하는 동작을 수행할 수도 있다.
The terminal may determine that the terminal is in a driving mode through a speed / acceleration sensor and a gyro sensor. In addition, when a call is received, when a movement toward a certain direction is detected, the terminal may receive a call or reject a call and may send a message indicating that the call is in progress to the other party of the call. In addition, the terminal may perform an operation of adjusting the volume of the music or transmitting and receiving a message during the driving mode.

도 35는 본 발명의 제9 실시 예에 따른 단말의 제어 방법을 나타낸 도면이다.35 is a diagram illustrating a method for controlling a terminal according to the ninth embodiment of the present invention.

도 35를 참조하면, 단말은 공간상의 제스처를 기초로 멀티미디어 재생을 제어할 수 있다.Referring to FIG. 35, the terminal may control multimedia playback based on a gesture in space.

예를 들어, 단말은 카메라를 통하여 영상 입력을 감지하고, 감지된 입력 수단의 움직임, 모양 등을 기초로 멀티미디어 리스트의 이전/이후 파일을 재생하거나, 재생/정지를 제어하거나, 셔플 기능을 수행할 수 있다.
For example, the terminal detects an image input through a camera, and plays a file before / after, or plays / stops a file or performs a shuffle function on the basis of the motion input or shape of the input means. Can be.

도 36은 본 발명에 따른 단말의 구성을 나타낸 블록도이다.36 is a block diagram showing the configuration of a terminal according to the present invention.

도 36을 참조하면, 단말(100)은 입력부(110), 센서부(120), 제어부(130), 카메라부(140), 저장부(150) 및 표시부(160)를 포함하여 구성될 수 있다.Referring to FIG. 36, the terminal 100 may include an input unit 110, a sensor unit 120, a controller 130, a camera unit 140, a storage unit 150, and a display unit 160. .

입력부(110)는 사용자가 단말(100)의 동작 제어를 위한 입력 데이터를 발생시킨다. 입력부(110)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다. The input unit 110 generates input data for the user to control the operation of the terminal 100. The input unit 110 may include a key pad dome switch, a touch pad (constant voltage / capacitance), a jog wheel, a jog switch, and the like.

센서부(120)는 터치 센서부(121), 근접 센서부(122), 속도/가속도 센서부(123) 및 자이로 센서부(124)를 포함하여 구성될 수 있다.The sensor unit 120 may include a touch sensor unit 121, a proximity sensor unit 122, a speed / acceleration sensor unit 123, and a gyro sensor unit 124.

터치 센서부(120)는 터치 입력을 감지할 수 있으며, 터치 필름, 터치 시트, 터치 패드 중 적어도 하나로 구성될 수 있다. The touch sensor unit 120 may detect a touch input and may be configured of at least one of a touch film, a touch sheet, and a touch pad.

터치 센서부(120)는 표시부(160)와 상호 레이어 구조를 가짐으로써 터치 스크린으로 동작할 수 있다. 이때, 터치 센서부(120)는 표시부(160)의 특정 부위에 가해진 압력 또는 표시부(160))의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서부(120)는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. The touch sensor unit 120 may have a mutual layer structure with the display unit 160 to operate as a touch screen. In this case, the touch sensor unit 120 may be configured to convert a change in pressure applied to a specific portion of the display unit 160 or capacitance generated at a specific portion of the display unit 160 into an electrical input signal. The touch sensor unit 120 may be configured to detect not only the touched position and area but also the pressure at the touch.

터치 센서부(120)에 따라 터치 입력이 감지된 경우, 터치 센서부(120)는 그에 대응하는 신호를 처리하여 제어부(130)로 전송할 수 있다. 이로써, 제어부(130)는 표시부(160)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.When a touch input is detected by the touch sensor unit 120, the touch sensor unit 120 may process a signal corresponding to the touch input unit 120 and transmit the signal to the controller 130. As a result, the controller 130 may determine which area of the display unit 160 is touched.

근접 센서부(122)는 표시부(160)에 의해 감싸지는 단말(100)의 내부 영역 또는 표시부(160) 근처에 배치될 수 있다. 근접 센서부(122)는 소정의 검출 면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출할 수 있다. 이때, 표시부(160)는 터치 스크린일 수 있다.The proximity sensor unit 122 may be disposed in the inner region of the terminal 100 surrounded by the display unit 160 or near the display unit 160. The proximity sensor 122 may detect the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity of the proximity sensor unit without using mechanical force or infrared rays. In this case, the display unit 160 may be a touch screen.

근접 센서부(122)는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 중 적어도 하나로 구성될 수 있다. 표시부(160)가 정전식 터치 스크린 인 경우, 근접 센서부(122)는 포인터의 근접에 따른 전계의 변화로 포인터의 근접을 검출하도록 구성된다.The proximity sensor 122 may be configured of at least one of a transmissive photoelectric sensor, a direct reflective photoelectric sensor, a mirror reflective photoelectric sensor, a high frequency oscillating proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor. . When the display unit 160 is a capacitive touch screen, the proximity sensor unit 122 is configured to detect the proximity of the pointer by the change of the electric field according to the proximity of the pointer.

근접 센서부(122)는 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 표시부(160)에 표시될 수 있다. The proximity sensor unit 122 detects a proximity touch and a proximity touch pattern (eg, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, and a proximity touch movement state). Information corresponding to the detected proximity touch operation and the proximity touch pattern may be displayed on the display unit 160.

속도/가속도 센서부(123)는 단말(100)의 움직임을 감지할 수 있다. 속도/가속도 센서부(123)는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로 구성될 수 있다. 제어부(130)는 속도/가속도 센서부(123)에 의해 감지된 단말(100)의 움직임을 기초로, 단말(100)이 운전 모드인지 판단할 수 있다.The speed / acceleration sensor unit 123 may detect the movement of the terminal 100. The speed / acceleration sensor unit 123 may be configured as an element for converting the acceleration change in one direction into an electrical signal. The controller 130 may determine whether the terminal 100 is the driving mode based on the movement of the terminal 100 detected by the speed / acceleration sensor unit 123.

자이로 센서부(124)는 단말의 회전 상태를 감지할 수 있다. 자이로 센서부(124)는 단말(100)의 각속도를 측정하여, 기준 방향에 대하여 회전된 각도를 감지할 수 있다. 예를 들어, 자이로 센서부(124)는 3개 방향의 축을 기준으로 한 각각의 회전 각도, 즉 방위각(azimuth), 피치(pitch) 및 롤(roll)을 감지할 수 있다. 제어부(130)는 자이로 센서부(124)에 의하여 감지된 회전 상태를 기초로 단말(100)이 바닥에 놓여진 상태인지, 도킹 상태인지 판단할 수 있다.The gyro sensor unit 124 may detect a rotation state of the terminal. The gyro sensor unit 124 may measure an angular velocity of the terminal 100 to detect an angle rotated with respect to the reference direction. For example, the gyro sensor unit 124 may detect respective rotation angles, ie, azimuth, pitch, and roll, based on three axes. The controller 130 may determine whether the terminal 100 is placed on the floor or docked based on the rotation state detected by the gyro sensor unit 124.

제어부(130)는 단말(100)의 각 구성 요소에 대한 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(130)는 단말(100)에 대한 공간상의 제스처를 감지하고, 이를 분석하여, 분석 결과를 기초로 임의의 동작을 결정하고, 이를 수행하도록 단말(100)을 제어할 수 있다.The controller 130 may control the overall operation of each component of the terminal 100. For example, the controller 130 may detect a spatial gesture with respect to the terminal 100, analyze the spatial gesture, determine an arbitrary operation based on the analysis result, and control the terminal 100 to perform the same. .

제어부(130)의 상세한 동작은 상술한 바와 같다.Detailed operations of the controller 130 are as described above.

카메라부(140)는 화상 통화 모드 또는 활영 모드에서 이미지 센서에 의해 얻어지는 정지 영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 표시부(160)에 표시될 수 있다.The camera unit 140 processes an image frame such as a still image or a moving image obtained by the image sensor in a video call mode or a play mode. The processed image frame may be displayed on the display unit 160.

카메라부(140)에서 처리된 화상 프레임은 저장부(150)에 저장되거나 제어부(130)로 전송될 수 있다. 제어부(130)는 카메라부(140)에 의하여 획득된 영상을 분석하여 영상의 모양, 형태 등을 분석할 수 있다.The image frame processed by the camera unit 140 may be stored in the storage 150 or transmitted to the controller 130. The controller 130 may analyze the image acquired by the camera unit 140 to analyze the shape, shape, and the like of the image.

저장부(150)는 제어부(130)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 저장부(150)는 터치 스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다. The storage unit 150 may store a program for the operation of the controller 130 and may temporarily store input / output data (eg, a phone book, a message, a still image, a video, etc.). The storage unit 150 may store data regarding vibrations and sounds of various patterns that are output when a touch is input on the touch screen.

또한, 저장부(150)는 공간상의 제스처를 기초로 임의의 동작을 매칭시킨 공간상의 상호 작용 세트를 저장할 수 있다.In addition, the storage unit 150 may store a set of spatial interactions in which arbitrary actions are matched based on the spatial gestures.

저장부(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 xD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The storage unit 150 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or xD memory), Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, It may include a storage medium of at least one type of magnetic disk, optical disk.

표시부(160)는 단말(100)에서 처리되는 정보를 UI 또는 GUI 형태로 표시(출력)할 수 있다.The display unit 160 may display (output) information processed by the terminal 100 in the form of a UI or a GUI.

표시부(160)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. The display unit 160 may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), a flexible display ), And a three-dimensional display (3D display).

표시부(160)는 터치 센서부(121) 및/또는 근접 센서부(123)와 상호 레이어 구조를 이루어 터치 스크린으로 동작할 수 있다. 이 경우, 표시부(160)는 출력 장치 이외에 입력 장치로도 동작할 수 있다.
The display unit 160 may form a layer structure with the touch sensor unit 121 and / or the proximity sensor unit 123 to operate as a touch screen. In this case, the display unit 160 may also operate as an input device in addition to the output device.

본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

100: 단말 110: 입력부
120: 센서부 130: 제어부
140: 카메라부 150: 저장부
160: 표시부100: terminal 110: input unit
120: sensor unit 130: control unit
140: camera unit 150: storage unit
160: display unit

Claims (15)

차량 내 단말의 제어 방법으로,
상기 단말의 운동 상태를 기초로 운전 모드를 수행하는 단계;
상기 운전 모드 수행 중, 상기 단말에 인접한 공간 내의 사용자 제스처를 감지하는 단계; 및
상기 사용자 제스처에 대응하는 상기 운전 모드의 기능을 수행하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.As a control method of the terminal in the vehicle,
Performing a driving mode based on an exercise state of the terminal;
Detecting a user gesture in a space adjacent to the terminal while the driving mode is performed; And
And performing a function of the driving mode corresponding to the user gesture. 제1항에 있어서, 상기 운전 모드를 수행하는 단계는,
상기 단말의 이동 상태, 가속 상태, 회전 상태를 중 적어도 하나를 기초로, 상기 차량이 운전 중인지 여부를 판단하는 단계; 및
상기 판단 결과, 상기 차량이 운전 중인 경우, 상기 운전 모드를 수행하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.The method of claim 1, wherein performing the driving mode comprises:
Determining whether the vehicle is driving based on at least one of a movement state, an acceleration state, and a rotation state of the terminal; And
And determining, when the vehicle is being driven, performing the driving mode. 제1항에 있어서, 상기 사용자 제스처는,
입력을 발생시키기 위한 오브젝트가 상기 단말로부터 기 설정된 거리 내에서 임의의 방향 또는 임의의 형태로 움직이는 제스처로 구성되는 것을 특징으로 하는 단말의 제어 방법. The apparatus of claim 1, wherein the user gesture comprises:
The control method of the terminal, characterized in that the object for generating an input is composed of a gesture moving in any direction or any shape within a predetermined distance from the terminal. 제1항에 있어서, 상기 운전 모드의 기능을 수행하는 단계는,
현재 구동 중인 애플리케이션을 판단하는 단계; 및
상기 애플리케이션을 기초로 상기 사용자 제스처에 대응하는 상기 운전 모드의 기능을 수행하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.The method of claim 1, wherein the performing of the function of the driving mode comprises:
Determining a currently running application; And
And performing a function of the driving mode corresponding to the user gesture on the basis of the application. 제4항에 있어서, 상기 운전 모드의 기능을 수행하는 단계는,
상기 애플리케이션이 통화 기능을 제공하는 경우, 상기 사용자 제스처에 대응하여, 상기 통화 기능의 제어를 수행하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.The method of claim 4, wherein the performing of the function of the driving mode comprises:
If the application provides a call function, controlling the call function in response to the user gesture. 제5항에 있어서, 상기 통화 기능의 제어를 수행하는 단계는,
상기 사용자 제스처에 대응하여, 통화 발신, 통화 수신 또는 통화 거부 기능 중 어느 하나를 수행하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.The method of claim 5, wherein the controlling of the call function comprises:
In response to the user gesture, performing any one of a call origination, a call reception, or a call rejection function. 제6항에 있어서, 상기 통화 기능을 제어를 수행하는 단계는,
상기 통화 거부 기능에 대응하여, 통화 상대방에게 통화 거부 메시지를 송출하도록, 기지국으로 상기 통화 거부 메시지에 대응하는 데이터를 전송하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.The method of claim 6, wherein the controlling of the call function comprises:
And in response to the call rejection function, transmitting data corresponding to the call rejection message to a base station to transmit a call rejection message to a call counterpart. 제4항에 있어서, 상기 운전 모드의 기능을 수행하는 단계는,
상기 애플리케이션이 미디어 파일 재생 기능을 제공하는 경우, 상기 사용자 제스처에 대응하여, 이전 미디어 파일 또는 다음 미디어 파일의 재생, 볼륨 업 또는 다운, 재생 시작 또는 정지 및 셔플 기능 중 적어도 하나의 동작 수행하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.The method of claim 4, wherein the performing of the function of the driving mode comprises:
If the application provides a media file playback function, in response to the user gesture, performing at least one of the following operations: playback, volume up or down, start or stop playback, and shuffle the previous or next media file. Control method of the terminal, characterized in that it comprises. 제1항에 있어서, 상기 운전 모드의 기능을 수행하는 단계는,
상기 사용자 제스처의 이동 방향, 이동 형태, 이동 속도, 이동 거리 중 적어도 하나를 기초로 상기 사용자 제스처에 대응하는 사용자 입력 동작을 결정하는 단계; 및
상기 사용자 입력 동작에 따른 기능을 수행하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.The method of claim 1, wherein the performing of the function of the driving mode comprises:
Determining a user input operation corresponding to the user gesture based on at least one of a moving direction, a moving form, a moving speed, and a moving distance of the user gesture; And
And performing a function according to the user input operation. 제9항에 있어서, 상기 사용자 입력 동작을 결정하는 단계는,
상기 사용자 제스처가 단말로 접근하는 제스처인 경우, 선택 버튼 입력 동작을 결정하는 단계;
상기 사용자 제스처가 특정 방향으로 이동하는 제스처인 경우, 상기 특정 방향에 대응하는 이동 버튼의 입력 동작을 결정하는 단계;
상기 사용자 제스처가 원을 그리는 제스처로 구성되는 경우, 상기 원을 그리는 방향에 대응하여 회전하는 다이얼의 입력 동작을 결정하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법. The method of claim 9, wherein determining the user input operation comprises:
Determining a selection button input operation when the user gesture is a gesture of approaching a terminal;
If the user gesture is a gesture of moving in a specific direction, determining an input operation of a movement button corresponding to the specific direction;
And when the user gesture comprises a gesture of drawing a circle, determining an input operation of a dial which rotates in correspondence to the direction of drawing the circle. 단말에 인접한 공간 내에서 임의의 방향으로 이동하는 사용자 제스처를 감지하는 센서부;
상기 단말의 운동 상태를 기초로 운전 모드를 수행하고, 상기 운전 모드 수행 중, 상기 센서부를 통하여 상기 사용자 제스처가 감지되면, 상기 사용자 제스처에 대응하는 상기 운전 모드의 기능을 수행하는 제어부; 및
상기 제어부의 제어에 따라 상기 기능 수행 결과를 출력하는 출력부를 포함하는 것을 특징으로 하는 단말.A sensor unit detecting a user gesture moving in an arbitrary direction in a space adjacent to the terminal;
A controller configured to perform a driving mode based on the exercise state of the terminal and to perform a function of the driving mode corresponding to the user gesture when the user gesture is detected through the sensor unit during the driving mode; And
And an output unit configured to output the result of performing the function under the control of the controller. 제11항에 있어서, 상기 센서부는,
상기 단말의 이동 상태, 가속 상태, 회전 상태 중 적어도 하나를 감지하기 위하여 자이로 센서, 가속 센서, 모션 센서 중 적어도 하나를 포함하는 것을 특징으로 하는 단말.12. The apparatus according to claim 11,
And at least one of a gyro sensor, an acceleration sensor, and a motion sensor to detect at least one of a movement state, an acceleration state, and a rotation state of the terminal. 제11항에 있어서, 상기 제어부는,
현재 구동 중인 애플리케이션을 판단하고, 상기 애플리케이션을 기초로 상기 사용자 제스처에 대응하는 상기 운전 모드의 기능을 수행하는 것을 특징으로 하는 단말.The method of claim 11, wherein the control unit,
And determining a currently running application and performing a function of the driving mode corresponding to the user gesture based on the application. 제11항에 있어서, 상기 제어부는,
상기 사용자 제스처에 대응하여 통화 기능 제어, 미디어 파일 재생 제어, 사용자 입력에 따른 제어 중 적어도 하나의 기능을 수행하는 것을 특징으로 하는 단말.The method of claim 11, wherein the control unit,
And at least one of a call function control, a media file play control, and a control according to a user input in response to the user gesture. 제11항에 있어서, 상기 센서부는,
상기 사용자 제스처를 감지하기 위하여, 근접 센서, 적외선 센서 및 카메라 센서 중 적어도 하나를 포함하는 것을 특징으로 하는 단말.12. The apparatus according to claim 11,
In order to detect the user gesture, the terminal comprising at least one of a proximity sensor, an infrared sensor and a camera sensor.
KR1020120132222A 2012-05-04 2012-11-21 Control method of terminal by using spatial interaction KR20130124138A (en)

Priority Applications (10)

Application Number Priority Date Filing Date Title
KR1020120132222A KR20130124138A (en) 2012-11-21 2012-11-21 Control method of terminal by using spatial interaction
US13/874,510 US20130293454A1 (en) 2012-05-04 2013-05-01 Terminal and method for controlling the same based on spatial interaction
AU2013205613A AU2013205613B2 (en) 2012-05-04 2013-05-01 Terminal and method for controlling the same based on spatial interaction
EP20185022.9A EP3742263A1 (en) 2012-05-04 2013-05-02 Terminal and method for controlling the same based on spatial interaction
EP13166321.3A EP2660682A3 (en) 2012-05-04 2013-05-02 Terminal and method for controlling the same based on spatial interaction
CN2013101629001A CN103383598A (en) 2012-05-04 2013-05-06 Terminal and method for controlling the same based on spatial interaction
CN201910897441.9A CN110647244A (en) 2012-05-04 2013-05-06 Terminal and method for controlling the same based on spatial interaction
JP2013097719A JP2013235588A (en) 2012-05-04 2013-05-07 Method for controlling terminal based on spatial interaction, and corresponding terminal
US15/847,112 US20180107282A1 (en) 2012-05-04 2017-12-19 Terminal and method for controlling the same based on spatial interaction
US16/859,408 US20200257373A1 (en) 2012-05-04 2020-04-27 Terminal and method for controlling the same based on spatial interaction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120132222A KR20130124138A (en) 2012-11-21 2012-11-21 Control method of terminal by using spatial interaction

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020120047678A Division KR20130124061A (en) 2012-05-04 2012-05-04 Control method of terminal by using spatial interaction

Publications (1)

Publication Number Publication Date
KR20130124138A true KR20130124138A (en) 2013-11-13

Family

ID=49853218

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120132222A KR20130124138A (en) 2012-05-04 2012-11-21 Control method of terminal by using spatial interaction

Country Status (1)

Country Link
KR (1) KR20130124138A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160086684A (en) * 2015-01-12 2016-07-20 엘지전자 주식회사 Mobile terminal and method for controlling the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244132A (en) * 2009-04-01 2010-10-28 Mitsubishi Electric Corp User interface device with touch panel, method and program for controlling user interface
JP2010262400A (en) * 2009-04-30 2010-11-18 Denso Corp Onboard electronic device operation device
JP2010277198A (en) * 2009-05-26 2010-12-09 Sony Corp Information processing apparatus, information processing method, and program
KR20110021669A (en) * 2009-08-26 2011-03-04 한국전자통신연구원 Apparatus and method for controlling mobile telecommunication terminal use of vehicle driver

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244132A (en) * 2009-04-01 2010-10-28 Mitsubishi Electric Corp User interface device with touch panel, method and program for controlling user interface
JP2010262400A (en) * 2009-04-30 2010-11-18 Denso Corp Onboard electronic device operation device
JP2010277198A (en) * 2009-05-26 2010-12-09 Sony Corp Information processing apparatus, information processing method, and program
KR20110021669A (en) * 2009-08-26 2011-03-04 한국전자통신연구원 Apparatus and method for controlling mobile telecommunication terminal use of vehicle driver

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160086684A (en) * 2015-01-12 2016-07-20 엘지전자 주식회사 Mobile terminal and method for controlling the same
WO2016114437A1 (en) * 2015-01-12 2016-07-21 엘지전자 주식회사 Mobile terminal and control method therefor
US10416778B2 (en) 2015-01-12 2019-09-17 Lg Electronics Inc. Mobile terminal and control method therefor

Similar Documents

Publication Publication Date Title
US20200257373A1 (en) Terminal and method for controlling the same based on spatial interaction
US9047046B2 (en) Information processing apparatus, information processing method and program
US9239674B2 (en) Method and apparatus for providing different user interface effects for different implementation characteristics of a touch event
EP2630563B1 (en) Apparatus and method for user input for controlling displayed information
KR101493643B1 (en) Display device, user interface method, and program
US9448587B2 (en) Digital device for recognizing double-sided touch and method for controlling the same
US9433857B2 (en) Input control device, input control method, and input control program
US10182141B2 (en) Apparatus and method for providing transitions between screens
KR20130099186A (en) Display device, user interface method, and program
CN105830422A (en) Foldable electronic apparatus and interfacing method thereof
KR20170115623A (en) System and method for multi-touch gestures
WO2009084809A1 (en) Apparatus and method for controlling screen by using touch screen
US20120284671A1 (en) Systems and methods for interface mangement
KR102336445B1 (en) Method and system for controlling device and for the same
KR20130124061A (en) Control method of terminal by using spatial interaction
KR102161061B1 (en) Method and terminal for displaying a plurality of pages
US20120284668A1 (en) Systems and methods for interface management
EP3657311A1 (en) Apparatus including a touch screen and screen change method thereof
US20140380244A1 (en) Visual table of contents for touch sensitive devices
KR20130124139A (en) Control method of terminal by using spatial interaction
US9626742B2 (en) Apparatus and method for providing transitions between screens
KR102194778B1 (en) Control method of terminal by using spatial interaction
KR20130124143A (en) Control method of terminal by using spatial interaction
KR102061254B1 (en) Control method of terminal by using spatial interaction
KR20130124138A (en) Control method of terminal by using spatial interaction

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application