KR101545702B1 - Portable terminal for operating based sensed data and method for operating portable terminal based sensed data - Google Patents

Portable terminal for operating based sensed data and method for operating portable terminal based sensed data Download PDF

Info

Publication number
KR101545702B1
KR101545702B1 KR1020090023568A KR20090023568A KR101545702B1 KR 101545702 B1 KR101545702 B1 KR 101545702B1 KR 1020090023568 A KR1020090023568 A KR 1020090023568A KR 20090023568 A KR20090023568 A KR 20090023568A KR 101545702 B1 KR101545702 B1 KR 101545702B1
Authority
KR
South Korea
Prior art keywords
feedback
mode
portable terminal
response
gesture
Prior art date
Application number
KR1020090023568A
Other languages
Korean (ko)
Other versions
KR20100104875A (en
Inventor
욱 장
이현정
박준아
한승주
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020090023568A priority Critical patent/KR101545702B1/en
Publication of KR20100104875A publication Critical patent/KR20100104875A/en
Application granted granted Critical
Publication of KR101545702B1 publication Critical patent/KR101545702B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

터치 인식 정보를 이용하여 휴대 단말의 기능 모드를 효율적으로 제공하기 위한 휴대 단말 및 휴대 단말 동작 방법이 개시된다. 일 양상에 따른 휴대 단말은 입력된 감지 데이터에 기초하여 인식 개시를 위한 개시 제스처가 입력되었는지 여부를 결정한다. 그런 다음, 휴대 단말은 개시 제스처가 입력된 경우 입력되는 감지 데이터에 기초하여 적어도 하나의 기능 모드를 나타내기 위한 피드백을 제공한다. A portable terminal and a portable terminal operating method for efficiently providing a functional mode of a portable terminal using touch recognition information are disclosed. The portable terminal according to one aspect determines whether or not a start gesture for starting recognition based on the input sensed data is input. Then, the portable terminal provides feedback for indicating at least one functional mode based on the sensed data inputted when the start gesture is inputted.

휴대 단말, 제스처 인식, 기능 모드, 접촉 감지, 움직임 감지 Mobile terminal, gesture recognition, function mode, touch detection, motion detection

Description

감지 데이터에 기반하여 동작하는 휴대 단말 및 그 동작 방법{Portable terminal for operating based sensed data and method for operating portable terminal based sensed data}TECHNICAL FIELD [0001] The present invention relates to a portable terminal that operates based on sensing data, and a method of operating the portable terminal.

하나 이상에 양상에 따르면, 터치 제스처 인식에 관한 것으로, 더욱 상세하게는 터치 인식 정보를 이용하여 휴대 단말의 기능 모드를 효율적으로 제공하기 위한 휴대 단말 및 휴대 단말 동작 방법에 관한 것이다. The present invention relates to a touch gesture recognition method and, more particularly, to a portable terminal and a portable terminal operation method for efficiently providing a function mode of a portable terminal using touch recognition information.

최근의 휴대 단말은 통상적으로 다양한 기능을 수행할 수 있다. 예를 들어, 휴대 전화는 기본적으로 통화 기능을 제공하지만, SMS(Short Message Service), 디지털 카메라, MP3 플레이어, 동영상 재생, 전자 수첩의 기능을 제공한다. 이러한 복수 개의 기능을 갖는 휴대 단말을 특정 기능 모드로 동작시키기 위해서, 사용자는 휴대 단말에 구비된 키패드나 터치패드 등을 조작하여 자신이 원하는 기능을 수행하도록 하는 기능 모드를 검색하고, 해당 기능 모드로 전환을 지시하게 된다. Background Art [0002] A recent portable terminal can usually perform various functions. For example, a mobile phone basically provides a call function, but it provides functions of a Short Message Service (SMS), a digital camera, an MP3 player, a video playback and an electronic notebook. In order to operate the portable terminal having a plurality of functions in a specific function mode, the user searches for a function mode for performing a desired function by operating a keypad or a touch pad provided on the portable terminal, And instructs the conversion.

터치 정보에 의해 휴대 단말의 기능을 수행할 경우에, 디바이스에 내장된 센서는 임의의 터치에도 반응을 한다. 이로 인해 사용자가 비의도적으로 디바이스를 쥐거나 건드렸을 때에도 인식기가 구동이 될 수 있다. When the function of the portable terminal is performed by the touch information, the sensor built in the device responds to an arbitrary touch. This allows the recognizer to be activated even when the user unintentionally grasps or touches the device.

인식 동작 개시 시점을 명확하게 하여, 이에 따라 입력되는 사용자의 제스처에 따라 기능을 수행하는 휴대 단말 및 휴대 단말의 제어 방법을 제공한다. The present invention provides a control method of a portable terminal and a portable terminal that performs a function according to a gesture of an input user by clarifying a recognition operation start time.

일 양상에 따른 휴대 단말은 감지 데이터를 획득하는 감지부; 입력된 감지 데이터에 기초하여 인식 개시를 위한 개시 제스처가 입력되었는지 여부를 결정하고, 개시 제스처가 입력된 경우 입력되는 감지 데이터에 기초하여 적어도 하나의 기능 모드를 나타내기 위한 피드백을 제공하는 제어부; 및 제어부의 동작 수행 결과를 출력하는 출력부를 포함한다. A mobile terminal according to an aspect of the present invention includes a sensing unit for acquiring sensed data; A control unit that determines whether or not a start gesture for starting recognition based on the input sensed data is input and provides feedback to indicate at least one functional mode based on sensing data input when the start gesture is input; And an output unit for outputting an operation result of the control unit.

감지 데이터는 압력 감지 데이터 및 움직임 데이터를 포함할 수 있다.The sensing data may include pressure sensing data and motion data.

제어부는 피드백으로서 제공된 기능 모드가 사용자가 의도한 기능 모드인지 확인을 요청하는 메시지를 제공할 수 있다. 또는, 제어부는 피드백으로서 제공된 기능 모드에 속하는 동작 선택 메뉴를 제공할 수 있다. The control unit may provide a message requesting confirmation that the function mode provided as feedback is the function mode intended by the user. Alternatively, the control unit may provide an operation selection menu belonging to the function mode provided as feedback.

제어부는 피드백 제공 후 입력되는 감지 데이터에 기초하여 제스처로부터 사용자의 피드백에 대한 응답의 종류를 결정할 수 있다. 제어부는 피드백에 대한 응답이 제공된 피드백에 대한 승인 또는 거부를 나타내는지 결정할 수 있다. 제어부는 피드백에 대한 응답이 승인을 나타내는 것으로 결정되는 경우, 제공된 피드백에 대응하는 응용 프로그램을 실행할 수 있다. 제어부는 피드백에 대한 응답이 거부인 경우, 초기 모드로 돌아갈 것을 요구하는 거부인지, 재인식을 요구할 것을 요구 하는 거부인지를 결정할 수 있다 . The control unit can determine the type of response to the user's feedback from the gesture based on the sensed data input after providing the feedback. The control may determine whether the response to the feedback indicates acceptance or rejection of the provided feedback. The control unit may execute an application program corresponding to the provided feedback if the response to the feedback is determined to indicate acknowledgment. If the response to the feedback is rejected, the control unit can determine whether it is a rejection requesting to return to the initial mode or a rejection requesting a reauthentication.

복수 개의 기능 모드는 통화 모드, 문자 메세지 서비스 모드, 카메라 모드, 오디오 재생 모드, 동영상 재생 모드 중 적어도 하나를 포함할 수 있다. The plurality of function modes may include at least one of a call mode, a text message service mode, a camera mode, an audio playback mode, and a movie playback mode.

다른 양상에 따른 휴대 단말 동작 방법은 감지 데이터를 획득하는 단계; 입력된 감지 데이터에 기초하여 인식 개시를 위한 개시 제스처가 입력되었는지 여부를 결정하는 단계; 및 개시 제스처가 입력된 경우 입력되는 감지 데이터에 기초하여 복수 개의 기능 모드 중 적어도 하나의 기능 모드를 나타내기 위한 피드백을 제공하는 단계를 포함한다. According to another aspect of the present invention, there is provided a method of operating a portable terminal, including: obtaining sensing data; Determining whether a start gesture for starting recognition is input based on the input sensed data; And providing feedback to indicate at least one of the plurality of function modes based on the sensed data input when the start gesture is input.

일 실시예에 따르면, 센서를 이용하여 사용자의 제스처를 인식할 수 있는 휴대 단말에서 인식 동작 개시 시점을 명확하게 하여 센서에 의한 휴대 단말의 오동작을 방지할 수 있다. 또한, 사용자의 제스처에 따라 인식된 인식 결과가 사용자의 의도에 맞는지 여부를 확인하기 위한 응답의 기회를 제공하여 사용자가 원하는 기능 모드의 효율적 전환을 가능하게 할 수 있다. According to an embodiment, it is possible to prevent the erroneous operation of the portable terminal by the sensor by making the recognition start time point clear at the portable terminal capable of recognizing the user's gesture using the sensor. Also, it is possible to provide a chance of a response to confirm whether the recognized recognition result matches the user's intention according to the gesture of the user, thereby allowing the user to efficiently switch the desired function mode.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러 므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the terms described below are defined in consideration of the functions of the present invention, which may vary depending on the intention of the user, the operator, or the custom. Therefore, the definition should be based on the contents throughout this specification.

도 1은 일 실시예에 따른 휴대 단말의 파지 자세와 휴대 단말 모드 사이의 관계를 나타내는 도면이다. 1 is a diagram showing a relationship between a gripping posture and a portable terminal mode of a portable terminal according to an embodiment.

휴대 단말은 통화 모드, SMS 모드, 디지털 카메라 모드, 오디오 재생 모드, 동영상 재생 모드 등 다양한 기능 모드를 제공할 수 있다. 도시된 바와 같이, 사용자가 휴대 단말을 사용할 때, 휴대 단말의 기능 모드에 따라서, 사용자가 휴대 단말을 파지하는 형태 및 자세에 차이가 있다. 따라서, 사용자가 원하는 기능 모드를 인식하고 인식된 기능 모드로 휴대 단말의 모드를 전환시켜 모드에 따른 기능이 수행되도록 하기 위하여 사용자의 파지 자세에 따른 감지 데이터값이 이용될 수 있다. The portable terminal can provide various function modes such as a call mode, an SMS mode, a digital camera mode, an audio playback mode, and a movie playback mode. As shown in the figure, when the user uses the portable terminal, the shape and posture of the user holding the portable terminal differ depending on the function mode of the portable terminal. Accordingly, the sensed data value according to the user's gripping posture may be used in order to recognize the function mode desired by the user and to change the mode of the portable terminal in the recognized function mode so that the function according to the mode is performed.

또한, 사용자가 휴대 단말을 파지함에 따라 휴대 단말에 설정된 소정의 기준축을 기준으로 하여 휴대 단말이 회전운동을 하게 되거나 기준축이 중력 방향과 특정한 각도로 기울어져 있는 경우, 휴대 단말의 회전각 또는 방향성에 관한 정보를 포함하는 움직임 정보도 기능 모드를 결정하는데 이용될 수 있다. Also, when the user holds the portable terminal and the portable terminal rotates based on a predetermined reference axis set in the portable terminal or the reference axis is inclined at a specific angle with respect to the gravity direction, the rotation angle or direction May also be used to determine the functional mode.

그러나, 이와 같이 감지 데이터에 의해 휴대 단말의 기능이 수행될 수 있는 경우에도, 휴대 단말이 사용자의 의도하지 않는 터치에 반응하여 오동작할 수 있다. 이하에서는, 일 실시예에 따른 제스처 인식이 요구되는 인식 개시 시점이 명확하게 하여 사용자가 의도한 기능을 정확하게 수행하기 위한 휴대 단말에 대하여 설명한다. However, even when the function of the portable terminal can be performed by the sensing data, the portable terminal can malfunction in response to the unintended touch of the user. Hereinafter, a portable terminal for accurately performing a function intended by a user by clarifying a recognition start time point requiring gesture recognition according to an embodiment will be described.

도 2는 일 실시예에 따른 휴대 단말의 구성을 나타내는 블록도이다. 2 is a block diagram illustrating a configuration of a portable terminal according to an embodiment.

일 실시예에 따른 휴대 단말(200)은 감지부(210), 제어부(220), 저장부(230) 및 출력부(240)를 포함한다. The mobile terminal 200 includes a sensing unit 210, a control unit 220, a storage unit 230, and an output unit 240.

감지부(210)는 접촉 감지부(212) 및 움직임 감지부(214)를 포함하여, 압력 감지 데이터 및 움직임 데이터를 포함하는 감지 데이터를 감지할 수 있다. The sensing unit 210 may include a touch sensing unit 212 and a motion sensing unit 214 to sense sensed data including pressure sensing data and motion data.

접촉 감지부(212)는 사용자가 휴대 단말(200)을 파지함에 따라 휴대 단말(200) 외부 표면 중 사용자와 접촉하는 접촉 영역을 감지한다. 이를 위해 접촉 감지부(212)는 접촉 여부를 감지할 수 있는 적어도 하나의 접촉 감지 센서를 포함할 수 있으며, 각 접촉 감지 센서가 휴대 단말(200)의 표면에 위치할 수 있다. 사용자와의 접촉 여부에 대한 신호는 제어부(220)에 제공된다. The contact sensing unit 212 senses a contact area of the external surface of the portable terminal 200 that contacts the user as the user grasps the portable terminal 200. To this end, the contact sensing unit 212 may include at least one contact sensing sensor capable of sensing contact, and each contact sensing sensor may be positioned on the surface of the mobile terminal 200. A signal indicating whether or not the user is in contact is provided to the control unit 220.

정전용량 방식 터치 센서가 이용되는 경우 사용자의 파지 압력은 정전 용량의 변화로 나타나게 된다. 사용자의 파지 압력을 결정하기 위하여 휴대 단말(200)에 단순히 접촉하는 경우가 휴대 단말(200)을 강하게 파지하는 경우에 비하여 표준 편차값이 낮은 점을 이용하여, 다음의 수학식 1이 이용될 수 있다.When the capacitive touch sensor is used, the user's gripping pressure is represented by a change in capacitance. The following Equation 1 can be used by using the point where the standard deviation value is lower than when the portable terminal 200 is simply held in contact with the portable terminal 200 in order to determine the gripping pressure of the user have.

Figure 112009016675514-pat00001
Figure 112009016675514-pat00001

여기에서, g(t)는 사용자가 휴대 단말(200)에 적절한 압력을 가했는지 여부에 따라서, 값이 압력(PRESSURE), 접촉(CONTACT) 및 노터치(NO TOUCH)로 변화된다. fg()는 센서 잡음을 제거하기 위한 필터링 함수를 나타내며, σ()는 표준 편차를 나타내며, x(t)는 각 터치 센서의 출력값 [x1(t), x2(t), ...x3(t)]을 나타낸다. pth는 압력 감지 임계값이고, cth는 단순 파지(접촉) 감지 임계값이다. Ntouch는 접촉이 감지된 전극의 수를 나타내고, Nth는 접촉이 감지되는 것으로 결정되는 전극 수의 임계값을 나타낸다. Here, g (t) is changed to PRESSURE, CONTACT, and NO TOUCH depending on whether or not the user has applied appropriate pressure to the portable terminal 200. x (t) is the output value of each touch sensor (x 1 (t), x 2 (t), ...), and f ( g ) represents a filtering function to remove the sensor noise. . x 3 (t)]. p th is the pressure sensing threshold, and c th is the simple grip (contact) sensing threshold. N touch represents the number of electrodes in which the contact is sensed and N th represents the threshold of the number of electrodes that is determined to be sensed.

움직임 감지부(214)는 사용자가 휴대 단말(200)을 파지함에 따른 휴대 단말(200)의 움직임을 감지한다. 구체적으로는, 사용자가 휴대 단말(200)을 파지함에 따라 휴대 단말(200)이 소정의 기준축에 대해 회전운동을 하게 되거나 중력 방향과 특정 각도를 이룰 경우, 움직임 감지부(214)는 휴대 단말(200)의 회전 운동 및 중력 방향에 대한 방향성을 감지한다. The motion sensing unit 214 senses the motion of the portable terminal 200 as the user grasps the portable terminal 200. Specifically, when the user holds the portable terminal 200 and the portable terminal 200 rotates about a predetermined reference axis or makes a specific angle with the gravity direction, And senses the direction of rotation and the direction of gravity.

이를 위해 움직임 감지부(214)는 서로 수직인 3개의 기준축(x축, y축, z축) 방향으로 설치된 관성 센서(도시되지 않음)를 포함하여, 사용자가 휴대 단말(200)을 파지함에 따라 휴대 단말(200)이 움직일 경우 각 기준축에 대한 휴대 단말(200)의 회전 각도를 측정할 수 있다. 또한, 움직임 감지부(214)는 가속도 센서 등을 포함시키면, 각 기준축이 중력 방향과 이루는 각도를 측정함으로써 휴대 단말(200)의 방향성을 감지할 수 있다. For this, the motion detection unit 214 includes an inertial sensor (not shown) provided in the direction of three reference axes (x axis, y axis, z axis) perpendicular to each other, Accordingly, when the mobile terminal 200 moves, the rotation angle of the mobile terminal 200 with respect to each reference axis can be measured. In addition, when the motion sensing unit 214 includes an acceleration sensor or the like, it can sense the directionality of the portable terminal 200 by measuring the angle formed by the reference axes with the gravity direction.

휴대 단말(200)을 흔드는 동작을 감지하기 위하여 다음의 수학식 2가 이용될 수 있다. In order to detect the shaking motion of the mobile terminal 200, the following equation (2) may be used.

Figure 112009016675514-pat00002
Figure 112009016675514-pat00002

여기에서,

Figure 112009016675514-pat00003
는 가속도 센서의 출력값이고, g는 중력 상수(9.8m/s2)이고, mth는 임계값이다. m(t)가 TRUE인 경우, 휴대 단말(200)이 흔들렸다고 결정될 수 있다. From here,
Figure 112009016675514-pat00003
G is the gravitational constant (9.8 m / s 2 ), and m th is the threshold value. If m (t) is TRUE, it can be determined that the portable terminal 200 is shaken.

또한, 감지부(210)가 접촉 감지부(212) 및 움직임 감지부(214)를 포함하는 것으로 도시되어 있으나, 감지부(210)가 접촉 감지부(212)만을 포함할 수 있으며, 다른 종류의 데이터를 감지하기 위한 센서를 추가적으로 더 포함할 수 있다. Although the sensing unit 210 includes the touch sensing unit 212 and the motion sensing unit 214, the sensing unit 210 may include only the touch sensing unit 212, And may further include a sensor for sensing data.

제어부(220)는 휴대 단말(200)의 전반적인 동작을 제어하고, 인식부(222), 피드백 제공부(224) 및 모드 실행부(226)를 포함할 수 있다. The control unit 220 may control the overall operation of the mobile terminal 200 and may include a recognition unit 222, a feedback unit 224, and a mode execution unit 226.

인식부(222)는 일 실시예에 따른 감지 데이터에 따라 제스처를 인식한다. 일 실시예에 따르면, 인식부(222)는 입력된 감지 데이터에 기초하여 인식 개시를 위한 개시 제스처가 입력되었는지 여부를 결정한다. The recognition unit 222 recognizes the gesture according to the sensed data according to an exemplary embodiment. According to one embodiment, the recognition section 222 determines whether or not a start gesture for starting recognition based on the input sensed data has been input.

개시 제스처가 입력된 경우 입력되는 감지 데이터 즉, 기능 선택 제스처가 입력되면, 인식부(222)는 제스처가 미리 설정된 제스처별 기능 모드 매핑 정보를 이용하여 기능 모드를 선택한다. 그러면, 인식부(222)의 선택된 기능 모드에 따라 피드백 제공부(224)는 적어도 하나의 기능 모드를 나타내기 위한 피드백을 제공한다. 피드백 제공부(224)는 기능 선택 제스처에 의해 피드백으로 제공되는 선택된 기능 모드가 사용자가 의도한 기능 모드인지 확인을 요청하는 메시지를 제공할 수 있다. 피드백 제공부(224)는 피드백으로서 제공된 기능 모드에 속하는 동작 선택 메뉴를 제공할 수 있다. When the input sensed data, that is, the function selection gesture, is inputted, the recognition unit 222 selects the functional mode using the function mode mapping information for each gesture in which the gesture is preset. Then, according to the selected function mode of the recognition unit 222, the feedback unit 224 provides feedback for indicating at least one function mode. The feedback providing unit 224 may provide a message requesting confirmation that the selected function mode provided as feedback by the function selection gesture is a function mode intended by the user. The feedback providing unit 224 may provide an operation selection menu belonging to the function mode provided as feedback.

모드 실행부(226)는 인식부(222)의 인식에 따른 동작 모드를 실행한다. 동작 모드는 휴대 단말(200)이 복수 개의 기능을 수행하기 위한 복수 개의 기능 모드외에 기타 소정의 알고리즘이 수행되도록 하기 위한 다양한 동작 모드를 포함할 수 있다. 여기에서, 기능 모드는 통화 모드, 문자 메세지 서비스 모드, 카메라 모드, 오디오 재생 모드, 동영상 재생 모드 중 적어도 하나를 포함할 수 있다. 수동 모드는 감지 데이터에 의한 제스처 인식 동작이 중지되며 사용자가 수동 입력에 따라 동작되는 모드이고, 초기 모드는 휴대 단말의 초기화 후 설정되는 모드이다. The mode execution unit 226 executes an operation mode according to the recognition of the recognition unit 222. [ The operation mode may include various operation modes for allowing the portable terminal 200 to perform a predetermined algorithm in addition to a plurality of function modes for performing a plurality of functions. Here, the function mode may include at least one of a call mode, a text message service mode, a camera mode, an audio play mode, and a movie play mode. The manual mode is a mode in which the gesture recognition operation by the sensing data is stopped and the user operates according to the manual input. The initial mode is a mode set after the initialization of the portable terminal.

인식부(222)는 피드백 제공 후 입력되는 감지 데이터에 기초하여 제스처로부터 사용자의 피드백에 대한 응답의 종류를 결정할 수 있다. 인식부(222)는 피드백에 대한 응답이 제공된 피드백에 대한 승인 또는 거부를 나타내는지 결정할 수 있다. The recognition unit 222 may determine the type of response to the user's feedback from the gesture based on the sensed data input after providing the feedback. The recognition unit 222 can determine whether the response to the feedback indicates approval or rejection of the provided feedback.

피드백에 대한 응답이 승인을 나타내는 것으로 결정되는 경우, 모드 실행부(226)는 제공된 피드백에 대응하는 응용 프로그램을 실행할 수 있다. 또한, 모드 실행부(226)는 피드백에 대한 응답이 거부인 경우, 초기 모드로 돌아갈 것을 요구하는 거부인지, 재인식을 요구할 것을 요구하는 거부인지를 결정할 수 있다. If the response to the feedback is determined to indicate acknowledgment, the mode execution unit 226 may execute an application program corresponding to the provided feedback. Further, the mode execution unit 226 can determine whether the response to the feedback is rejected, whether it is a rejection requesting to return to the initial mode, or a rejection requesting a re-authentication.

저장부(230)는 휴대 단말(200)의 동작에 필요한 운영 체제 및 애플리케이션을 포함한다. 저장부(230)는 일 실시예에 따른 휴대 단말(200)의 동작 모드를 결 정하기 위한 감지 데이터 모델을 저장할 수 있다. 저장부(230)는 인식 동작 개시 제스처를 인식하기 위한 인식 모델, 복수 개의 기능 모드 선택을 위한 기능 선택 제스처를 인식하기 위한 인식 모델, 기능 선택 제스처에 대한 응답의 종류를 인식하기 위한 인식 모델 등을 저장할 수 있다. The storage unit 230 includes an operating system and an application required for the operation of the portable terminal 200. The storage unit 230 may store a sensing data model for determining an operation mode of the mobile terminal 200 according to an exemplary embodiment. The storage unit 230 stores a recognition model for recognizing the recognition operation start gesture, a recognition model for recognizing the function selection gesture for selecting a plurality of function modes, and a recognition model for recognizing the type of response to the function selection gesture Can be stored.

출력부(240)는 제어부(220)의 동작 수행 결과를 출력한다. 출력부(240)는 표시 장치, 오디오 장치, 진동 장치 등 각종 사용자에게 시각, 청각 및 촉각 정보 등의 각종 형태의 정보를 제공하기 위하여 다양한 출력 수단을 포함할 수 있다. The output unit 240 outputs the result of performing the operation of the control unit 220. The output unit 240 may include various output means for providing various types of information such as visual, auditory, and tactile information to various users such as a display device, an audio device, and a vibration device.

일 실시예에 따르면, 센서를 이용하여 사용자의 제스처를 인식할 수 있는 휴대 단말에서 인식 동작 개시 시점을 명확하게 하여 센서에 의한 휴대 단말의 오동작을 방지할 수 있다. 또한, 사용자의 제스처에 따라 인식된 인식 결과가 사용자의 의도에 맞는지 여부를 확인하기 위한 응답의 기회를 제공하여 사용자가 원하는 기능 모드의 효율적 전환을 가능하게 할 수 있다. 또한, 이와 같은 휴대 단말 동작 방법을 이용하면 감지 데이터만으로 휴대 단말이 기능을 실현할 수 있으므로, 버튼이 전혀 없는 형태의 타입의 심미적인 안정감과 향상된 사용성을 동시에 제공하는 휴대 단말이 구현될 수 있다. According to an embodiment, it is possible to prevent the erroneous operation of the portable terminal by the sensor by making the recognition start time point clear at the portable terminal capable of recognizing the user's gesture using the sensor. Also, it is possible to provide a chance of a response to confirm whether the recognized recognition result matches the user's intention according to the gesture of the user, thereby allowing the user to efficiently switch the desired function mode. In addition, since the portable terminal can realize the function using only the sensed data, the portable terminal that provides both the aesthetic sense of stability of the button type and the enhanced usability can be realized.

도 3은 일 실시예에 따른 휴대 단말 동작 방법을 나타내는 순서도이다. 3 is a flowchart illustrating a method of operating a portable terminal according to an exemplary embodiment.

휴대 단말(200)은 감지 데이터를 획득한다(S 310). 휴대 단말(200)은 입력된 감지 데이터에 기초하여 인식 개시를 위한 개시 제스처가 입력되었는지 여부를 결정한다(S 320). 휴대 단말(200)은 개시 제스처인지 여부는 미리 설정된 인식 모델에 따라 결정할 수 있다. The mobile terminal 200 acquires the sensed data (S310). The portable terminal 200 determines whether or not a start gesture for starting recognition based on the input sensed data is input (S 320). The portable terminal 200 can determine whether or not the start gesture is a start gesture according to a preset recognition model.

인식 개시 제스처가 입력된 것으로 결정되면, 입력되는 감지 데이터에 기초하여 복수 개의 기능 모드 중 적어도 하나의 기능 모드를 나타내기 위한 피드백을 제공한다(S 330). 휴대 단말(220)은 미리 설정된 기능 모드별 인식 모델을 이용하여 인식된 개시 제스처에 대응하는 기능 모드를 선택할 수 있다. If it is determined that the recognition start gesture has been input, feedback is provided to indicate at least one of the plurality of function modes based on the input sensed data (S 330). The portable terminal 220 can select a function mode corresponding to the recognized start gesture using a preset recognition mode for each function mode.

그러면, 휴대 단말(200)은 피드백 제공 후 입력되는 감지 데이터에 기초하여 사용자의 피드백에 대한 응답의 종류를 결정할 수 있다(S 340). 응답의 종류에 따라 즉, 응답이 승인으로 결정되는 경우에 피드백 제공된 기능 모드에 대응하는 응용 프로그램을 실행하여 기능을 실행한다(S 350). 피드백에 대한 응답이 거부인 경우, 수동 모드, 초기 모드 또는 새로 입력되는 감지 데이터로부터 제스처 재인식 모드에 따른 동작이 수행될 수 있다. Then, the portable terminal 200 can determine the type of response to the feedback of the user based on the sensed data input after providing the feedback (S 340). In response to the type of response, that is, when the response is determined as approval, the application program corresponding to the feedback-provided function mode is executed to execute the function (S 350). If the response to the feedback is rejected, an operation according to the gesture recognition mode may be performed from the manual mode, the initial mode, or newly input sensed data.

일 실시예에 따른 휴대 단말(200)이 피드백 제공 후 사용자의 승인 및 거부 제스처는 터치 및 움직임을 결합해서 다양하게 정의될 수 있다. 일예로, 지정한 시간 T 동안 파지를 유지하는 경우 승인 동작으로 결정되고 그 외의 제스처로 결정되는 경우 거부 동작으로 결정될 수 있다. 또한, 거부 동작의 종류에 따라, 휴대 단말(200)을 흔드는 동작이 감지되거나 휴대 단말(200)이 기울어짐이 감지되면 수동 모드로 결정되어 수동 모드로 진입되고, 휴대 단말(200)에 압력을 가하는 동작이 감지되면 제스처를 재인식하는 모드로 결정되어 재인식 모드 진입되고, 파지가 해지되면 초기 모드로 진입되어 동작될 수 있다. The user's approval and rejection gestures after providing feedback from the portable terminal 200 according to one embodiment can be variously defined by combining touch and motion. For example, if the grasp is maintained for the specified time T, the grasp operation is determined. If the gesture is determined to be another gesture, the grasp operation may be determined. When a shaking operation of the portable terminal 200 is detected or a tilting of the portable terminal 200 is detected, the portable terminal 200 is determined as a passive mode and enters a passive mode according to the type of the rejection operation. The gesture recognition mode is determined and the recognition mode is entered. When the grip is released, the user can enter the initial mode and operate.

도 4는 일 실시예에 따른 감지 데이터가 압력 감지 데이터인 경우 휴대 단말 동작 방법을 나타내는 순서도이다. 4 is a flowchart illustrating a method of operating a portable terminal when sensed data according to an embodiment is pressure sensing data.

도 4에서는 수학식 1을 이용하여 g(t)의 값이 PRESSURE인 경우가 인식 개시 제스처로 인식된다고 가정한다. 또한, 기능 선택 제스처의 인식 결과에 대한 피드백 제공 후 다시 g(t)의 값이 PRESSURE이면 인식 결과에 대해 거부로서 재인식을 요구하는 응답이며, g(t)의 값이 NO TOUCH이면 인식 결과에 대해 거부로서 초기 모드로 진행하라는 응답이며, g(t)값이 시간 T 동안 CONTACT이면 인식 결과에 승인하는 응답인 경우로 가정한다. In FIG. 4, it is assumed that the case where the value of g (t) is PRESSURE is recognized as the recognition start gesture using Equation (1). Also, if the value of g (t) is a response to request recognition of the recognition result as rejection when the value of g (t) is again PRESSURE after feedback of the recognition result of the function selection gesture, Suppose that the response is to proceed to the initial mode as rejection, and g (t) is a response that acknowledges the recognition result if it is CONTACT for time T.

감지 데이터를 획득하고(S 410), g(t)의 값이 PRESSURE이면(S 412), 인식 개시 제스처로 결정하여 인식 동작을 개시한다(S 414). g(t)의 값이 PRESSURE가 아니면(S 412), 단계 S 410으로 되돌아간다. (S41). If the value of g (t) is PRESSURE (S412), the recognition data is determined as the recognition start gesture and the recognition operation is started (S414). If the value of g (t) is not PRESSURE (S 412), the process returns to step S 410.

인식 동작을 개시 후(S 414), 사용자에 의해 기능 선택 제스처가 입력되고(S 416), 휴대 단말(200)은 입력된 기능 선택 제스처를 인식한 인식 결과에 대한 피드백을 제공한다(S418). 인식 결과에 대한 피드백을 제공할 때를 t=0으로 설정하고(S 420), 입력되는 사용자 제스처의 계산 결과 g(t)값이 PRESSURE이면(S 422), 휴대 단말(200)의 인식 결과에 대해 거부로서 재인식을 요구하는 응답으로 결정하여 단계 S 414로 되돌아간다. 입력되는 사용자 제스처의 계산 결과 g(t)값이 CONTACT이가 아니어서 g(t)의 값이 NO TOUCH로 결정되면(S 424), 휴대 단말(200)의 인식 결과에 대해 거부로서 초기 모드로 진행하라는 응답으로 결정되어 단계 S 410으로 되돌아간다. After the recognition operation is started (S414), the function selection gesture is inputted by the user (S416), and the portable terminal 200 provides feedback on the recognition result recognizing the input function selection gesture (S418). If the value of the input user gesture calculation result g (t) is PRESSURE (S422), the recognition result of the portable terminal 200 is set to t = It is determined as a response requesting re-recognition as rejection, and the process returns to step S41. If the value of g (t) is determined to be NO TOUCH because the calculation result g (t) of the input user gesture is not CONTACT, the portable terminal 200 proceeds to the initial mode as rejection of the recognition result of the portable terminal 200 And the process returns to step S 410.

g(t)값이 CONTACT로 시간 t가 시간 T에 도달하지 않은 경우에는 시간을 보내어 t를 증가시키고(S 428), 단계 S 422로 되돌아간다. t가 시간 T 이상 지나게 되 면, g(t)값이 CONTACT로 시간 T동안 유지된 것이므로 인식 결과에 대한 승인 응답으로 결정되어(S 426), 피드백 제공된 모드에 대응하는 응용 프로그램을 실행한다(S 430). When the value of g (t) is CONTACT and the time t does not reach the time T, the time is increased to increase t (S 428), and the process returns to step S 422. If t exceeds the time T, the value of g (t) is maintained for the time T as CONTACT (step S426), and the application program corresponding to the feedback-provided mode is executed 430).

본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.One aspect of the present invention may be embodied as computer readable code on a computer readable recording medium. The code and code segments implementing the above program can be easily deduced by a computer programmer in the field. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, and the like. The computer-readable recording medium may also be distributed over a networked computer system and stored and executed in computer readable code in a distributed manner.

이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be construed to include various embodiments within the scope of the claims.

도 1은 일 실시예에 따른 휴대 단말의 파지 자세와 휴대 단말 모드 사이의 관계를 나타내는 도면이다.1 is a diagram showing a relationship between a gripping posture and a portable terminal mode of a portable terminal according to an embodiment.

도 2는 일 실시예에 따른 휴대 단말의 구성을 나타내는 블록도이다. 2 is a block diagram illustrating a configuration of a portable terminal according to an embodiment.

도 3은 일 실시예에 따른 휴대 단말 동작 방법을 나타내는 순서도이다.3 is a flowchart illustrating a method of operating a portable terminal according to an exemplary embodiment.

도 4는 일 실시예에 따른 감지 데이터가 압력 감지 데이터인 경우 휴대 단말 동작 방법을 나타내는 순서도이다. 4 is a flowchart illustrating a method of operating a portable terminal when sensed data according to an embodiment is pressure sensing data.

Claims (16)

휴대 단말 파지에 따른 압력 감지 데이터 및 휴대 단말의 움직임 데이터를 포함하는 감지 데이터를 획득하는 감지부; A sensing unit for acquiring sensing data including pressure sensing data and motion data of the portable terminal according to a portable terminal grip; 입력된 감지 데이터에 기초하여 제스처 인식 개시를 위한 개시 제스처가 입력되었는지 여부를 결정하고, 개시 제스처가 입력된 경우 입력되는 감지 데이터에 기초하여 적어도 하나의 기능 모드를 나타내기 위한 피드백을 제공하는 제어부; 및 A control unit for determining whether or not a start gesture for starting the gesture recognition is input based on the input sensed data and providing feedback for indicating at least one functional mode based on the sensed data inputted when the start gesture is input; And 상기 제어부의 동작 수행 결과를 출력하는 출력부를 포함하는 휴대 단말. And an output unit for outputting an operation result of the control unit. 삭제delete 제1항에 있어서, The method according to claim 1, 상기 제어부는 상기 피드백으로서 상기 제공된 기능 모드가 사용자가 의도한 기능 모드인지 확인을 요청하는 메시지를 제공하는 휴대 단말. Wherein the control unit provides a message for requesting confirmation that the provided function mode is a function mode intended by the user as the feedback. 제1항에 있어서, The method according to claim 1, 상기 제어부는 상기 피드백으로서 상기 제공된 기능 모드에 속하는 동작 선택 메뉴를 제공하는 휴대 단말. Wherein the control unit provides the operation selection menu belonging to the provided function mode as the feedback. 제1항에 있어서, The method according to claim 1, 상기 제어부는 상기 피드백 제공 후 입력되는 감지 데이터에 기초하여 제스처로부터 사용자의 상기 피드백에 대한 응답의 종류를 결정하는 휴대 단말. Wherein the control unit determines the type of response of the user from the gesture to the feedback based on the sensed data input after providing the feedback. 제5항에 있어서, 6. The method of claim 5, 상기 제어부는 상기 피드백에 대한 응답이 상기 제공된 피드백에 대한 승인 또는 거부를 나타내는지 결정하는 휴대 단말. Wherein the control unit determines whether a response to the feedback indicates approval or rejection of the provided feedback. 제6항에 있어서, The method according to claim 6, 상기 제어부는 상기 피드백에 대한 응답이 상기 승인을 나타내는 것으로 결정되는 경우, 상기 제공된 피드백에 대응하는 응용 프로그램을 실행하는 휴대 단말. Wherein the control unit executes the application program corresponding to the provided feedback when the response to the feedback is determined to indicate the approval. 제6항에 있어서, The method according to claim 6, 상기 제어부는 상기 피드백에 대한 응답이 거부인 경우, 초기 모드로 돌아갈 것을 요구하는 거부인지, 재인식을 요구할 것을 요구하는 거부인지를 결정하는 휴대 단말. Wherein the control unit determines whether the response to the feedback is rejected, the rejection requesting to return to the initial mode, or the rejection requesting the re-authentication. 제1항에 있어서, The method according to claim 1, 상기 복수 개의 기능 모드는 통화 모드, 문자 메세지 서비스 모드, 카메라 모드, 오디오 재생 모드, 동영상 재생 모드 중 적어도 하나를 포함하는 휴대 단말. Wherein the plurality of function modes include at least one of a call mode, a text message service mode, a camera mode, an audio play mode, and a movie play mode. 휴대 단말 파지에 따른 압력 감지 데이터 및 휴대 단말의 움직임 데이터를 포함하는 감지 데이터를 획득하는 단계; Obtaining sensing data including pressure sensing data according to a portable terminal grip and motion data of the portable terminal; 입력된 감지 데이터에 기초하여 제스처 인식 개시를 위한 개시 제스처가 입력되었는지 여부를 결정하는 단계; 및 Determining whether a start gesture for starting gesture recognition is input based on the input sensed data; And 상기 개시 제스처가 입력된 경우 입력되는 감지 데이터에 기초하여 복수 개의 기능 모드 중 적어도 하나의 기능 모드를 나타내기 위한 피드백을 제공하는 단계를 포함하는 휴대 단말 동작 방법. And providing feedback for indicating at least one functional mode among a plurality of functional modes based on sensing data input when the start gesture is input. 삭제delete 제10항에 있어서, 11. The method of claim 10, 상기 피드백 제공 후 입력되는 감지 데이터에 기초하여 제스처로부터 사용자의 상기 피드백에 대한 응답의 종류를 결정하는 단계를 더 포함하는 휴대 단말 동작 방법. And determining the type of response of the user from the gesture to the feedback based on the sensed data input after providing the feedback. 제12항에 있어서, 13. The method of claim 12, 상기 응답의 종류를 결정하는 단계에서, 상기 피드백에 대한 응답이 상기 제 공된 피드백에 대한 승인 또는 거부를 나타내는지 결정하는 휴대 단말 동작 방법. Wherein the step of determining the type of the response determines whether a response to the feedback indicates approval or rejection of the provided feedback. 제13항에 있어서, 14. The method of claim 13, 상기 피드백에 대한 응답이 상기 승인을 나타내는 것으로 결정되는 경우, 상기 제공된 피드백에 대응하는 응용 프로그램을 실행하는 휴대 단말 동작 방법. And when the response to the feedback is determined to indicate the approval, executes the application program corresponding to the provided feedback. 제13항에 있어서, 14. The method of claim 13, 상기 피드백에 대한 응답이 거부인 경우, 초기 모드로 돌아갈 것을 요구하는 거부인지, 재인식을 요구할 것을 요구하는 거부를 결정하는 휴대 단말 동작 방법. The rejection requesting to return to the initial mode when the response to the feedback is rejected; 제10항에 있어서, 11. The method of claim 10, 상기 복수 개의 기능 모드는 통화 모드, 문자 메세지 서비스 모드, 카메라 모드, 오디오 재생 모드, 동영상 재생 모드 중 적어도 하나를 포함하는 휴대 단말 동작 방법. Wherein the plurality of function modes include at least one of a call mode, a text message service mode, a camera mode, an audio play mode, and a movie play mode.
KR1020090023568A 2009-03-19 2009-03-19 Portable terminal for operating based sensed data and method for operating portable terminal based sensed data KR101545702B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090023568A KR101545702B1 (en) 2009-03-19 2009-03-19 Portable terminal for operating based sensed data and method for operating portable terminal based sensed data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090023568A KR101545702B1 (en) 2009-03-19 2009-03-19 Portable terminal for operating based sensed data and method for operating portable terminal based sensed data

Publications (2)

Publication Number Publication Date
KR20100104875A KR20100104875A (en) 2010-09-29
KR101545702B1 true KR101545702B1 (en) 2015-08-19

Family

ID=43009078

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090023568A KR101545702B1 (en) 2009-03-19 2009-03-19 Portable terminal for operating based sensed data and method for operating portable terminal based sensed data

Country Status (1)

Country Link
KR (1) KR101545702B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120035529A (en) 2010-10-06 2012-04-16 삼성전자주식회사 Apparatus and method for adaptive gesture recognition in portable terminal
KR20130112626A (en) * 2012-04-04 2013-10-14 삼성전자주식회사 Operation mode controlling method of media equipment, apparatus thereof, and medium storing program source thereof

Also Published As

Publication number Publication date
KR20100104875A (en) 2010-09-29

Similar Documents

Publication Publication Date Title
KR101715992B1 (en) User interface elements augmented with force detection
US20150301684A1 (en) Apparatus and method for inputting information
KR102080183B1 (en) Electronic device and method for unlocking in the electronic device
EP2805220B1 (en) Skinnable touch device grip patterns
KR100597798B1 (en) Method for offering to user motion recognition information in portable terminal
US20140375582A1 (en) Electronic device and method of controlling electronic device using grip sensing
JP6266833B1 (en) Electronic device, program, and control method
KR20100006219A (en) Method and apparatus for user interface
JP2014179085A (en) Method and devices for displaying graphical user interfaces based on user contact
KR20200095739A (en) Electronic device and method for mapping function of electronic device and action of stylus pen
JP2019030000A (en) Electronic apparatus, program, and control method
US20190129517A1 (en) Remote control by way of sequences of keyboard codes
KR20200095972A (en) Electronic device and method for allocating function to button input
US20160357274A1 (en) Pen terminal and method for controlling the same
KR101545702B1 (en) Portable terminal for operating based sensed data and method for operating portable terminal based sensed data
CN110825306A (en) Braille input method, device, terminal and readable storage medium
CN111459272A (en) Interaction method, interaction device, storage medium and electronic equipment
KR101171054B1 (en) Apparatus and method for learning adaptively grip patterns of mobile devices
CN104915016A (en) Devices, systems, and methods for using corrugated tessellation to create surface features
KR100957002B1 (en) informaition input device for mobile and input method thereof
KR20060035148A (en) Gesture cognition device of mobile apparatus and method for recognizing gesture of human being
CN105549735A (en) Control method, control device and electronic device
CN111417921A (en) Virtual key operation method, terminal, storage medium, and computer program
KR101380930B1 (en) Touch screen input device
KR101372495B1 (en) Touch screen input device based on detecting of contact time of stylus pen

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180717

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190717

Year of fee payment: 5