KR20150050832A - 전자 장치의 입력 처리 방법 및 장치 - Google Patents

전자 장치의 입력 처리 방법 및 장치 Download PDF

Info

Publication number
KR20150050832A
KR20150050832A KR1020130131976A KR20130131976A KR20150050832A KR 20150050832 A KR20150050832 A KR 20150050832A KR 1020130131976 A KR1020130131976 A KR 1020130131976A KR 20130131976 A KR20130131976 A KR 20130131976A KR 20150050832 A KR20150050832 A KR 20150050832A
Authority
KR
South Korea
Prior art keywords
gesture
new
response value
gestures
previous
Prior art date
Application number
KR1020130131976A
Other languages
English (en)
Inventor
그르제고르제 타웰 그르제시악
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130131976A priority Critical patent/KR20150050832A/ko
Publication of KR20150050832A publication Critical patent/KR20150050832A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 제스처가 발생하면 상기 제스처에 대응하는 기능을 실행하는 과정, 새로운 제스처 감지 시, 이전 제스처에 영향을 미치는 제스처인가 검사하는 과정, 영향을 미치는 제스처이면 영향 연산자를 통해 이전 제스처의 응답 값에 감지된 제스처의 새로운 응답 값을 계산하는 과정, 상기 제스처들을 상기 새로운 응답 값으로 설정하는 과정 및 상기 새로운 응답 값으로 제스처를 구동하는 과정으로 이루어지는 것을 특징으로 한다.

Description

전자 장치의 입력 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING A INPUT OF ELECTRONIC DEVICE}
본 발명은 터치디바이스를 구비하는 전자 장치의 입력 처리 방법 및 장치에 관한 것이다.
현재 디지털 기술의 발달과 함께 통신 및 개인정보처리가 가능한 다양한 전자 장치(예컨대, 이동통신단말기, 스마트 폰, 태블릿 PC(Personal Computer) 등)의 사용이 보편화되고 있다. 상기 전자 장치는 통화 기능, 문서 및 이메일 작성 기능, 미디어(음악 또는 동영상) 재생, 일정관리 기능, 인터넷 기능 및 소셜 네트워크 서비스(SNS: Social Networking Service) 기능, 연락처 기능 등과 같은 다양한 기능들을 제공하고 있다.
이와 같이 상기 전자 장치가 다양한 기능을 지원함에 따라 전자 장치를 보다 신속하고, 편리하게 제어할 수 있는 방법이 요구되고 있다. 특히, 터치스크린을 구비하는 전자 장치가 증가함에 따라 최근에는 터치 인터렉션을 이용하여 특정 기능을 바로 실행할 수 있어 전자 장치를 보다 편리하고, 직관적으로 제어할 수 있다.
터치스크린에 표시된 화면에서 제스처 수행 시, 단순한 방법에서는 사용자의 포인터 좌표 열(x, y)를 분석하였으며, 좀 더 정교한 방법에서는 3D 화면에서 비디오 카메라를 사용하여 제스처를 분석하였다. 상기와 같은 제스처는 사용자의 움직임이 검출되는 특정 시퀀스를 제스처로 해석될 수 있으며, 시간 및/또는 순서에 응답 값이 변경될 수 있다.
하지만 발생하는 제스처를 순서대로 연결하여 새로운 제스처가 만들어진 경우에만 가능하며, 그렇지 않은 경우 일부 제스처에 대한 응답 값을 수정하는 것은 불가능하다.
본 발명의 실시 예에 따른 전자 장치는 제스처를 수행하는 상호의존적이며 다른 영향을 미치는 제스처 인식의 새로운 접근 방법 및 장치를 제안한다.
또한 일정 시간 간격으로 복수의 제스처 발생 시, 연속 제스처로 감지하여 상기 제스처에 대한 기능으로 빠르게 전환될 수 있도록 제안한다. 이로서 발생하는 복수의 제스처의 동작을 연결하여 새로운 제스처를 생성할 수 있다.
본 발명은 제스처가 발생하면 상기 제스처에 대응하는 기능을 실행하는 과정; 새로운 제스처 감지 시, 이전 제스처에 영향을 미치는 제스처인가 검사하는 과정; 영향을 미치는 제스처이면 영향 연산자를 통해 이전 제스처의 응답 값에 감지된 제스처의 새로운 응답 값을 계산하는 과정; 상기 제스처들을 상기 새로운 응답 값으로 설정하는 과정; 및 상기 새로운 응답 값으로 제스처를 구동하는 과정을 포함한다.
본 발명은 제스처를 감지하는 터치패널, 상기 터치패널을 통해 감지된 제스처에 대응하는 기능을 수행한 화면을 표시하는 표시부, 상기 터치패널을 통해 제스처 감지 시, 제스처에 대응하는 기능을 실행하고, 새로운 제스처 감지 시, 이전 제스처에 영향을 미치는 제스처인가 검사하고, 영향을 미치는 제스처이면 영향 연산자를 통해 새로운 제스처 및 이전 제스처의 응답 값을 계산하고, 상기 제스처들을 상기 새로운 응답 값으로 설정하고, 상기 새로운 응답 값으로 제스처를 구동하는 제어부로 구성된다.
본 발명의 다양한 실시 예에 따른 전자 장치는 일정 시간 간격으로 감지되는 연속 제스처를 영향 연산자를 통해 제스처의 새로운 응답 값을 생성하여 연속 제스처의 기능 실행이 빠르게 진행될 수 있도록 효과를 주는 이점이 있다.
도 1은 터치 디바이스를 구비하는 전자 장치의 구성을 도시하는 도면.
도 2는 입력 처리 방법을 도시하는 흐름도.
도 3a 내지 도 3d는 입력 처리 방법을 설명하기 위한 도면.
도 4는 입력 처리 방법을 도시하는 흐름도.
도 5a 내지 도 5d는 입력 처리 방법을 설명하기 위한 도면.
이하, 첨부된 도면들을 참조하여 다양한 실시 예들을 상세히 설명한다. 이때, 첨부된 도면들에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 하기의 설명에서는 본 발명의 다양한 실시 예들에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
상세한 설명에 앞서, 본 발명에 따른 전자 장치는 이동통신 단말기, 스마트 폰(Smart Phone), 태블릿(Tablet), 핸드-헬드(hand-held) PC, 휴대 멀티미디어 플레이어(Portable Multimedia Player: PMP), 개인 정보 단말기(Personal Digital Assistant: PDA), 노트북(Notebook PC, laptop computer), TV 등이 될 수 있다.
"제스처(Gesture)"는 가시적인 신체적 행위에 의해 특정 메시지를 전달하는 비언어적 의사 소통의 한 형태로써, 본 발명의 실시 예에서는 터치스크린 상에서 이루어지는 표시행위를 제스처라 한다. 그리고 "제스처"의 확장 개념 중 하나가 신호 언어(Sign language)일 수 있다. 이에 의하여 발생하는 복수의 제스처들을 순서대로 연결하여서 새로운 제스처를 만드는 신호 및/또는 표시 연결이 가능하다. 상기 신호 언어는 음향으로 전달되는 소리 패턴을 사용하는 대신에 의미 전달을 위해 시각적으로 보내는 신호 패턴(수화, 신체 언어 등)을 사용하는 언어로, 사용자의 생각을 유창하게 표현하기 위한 손 모양, 손, 팔 또는 몸의 방향과 움직임 및 얼굴 표정을 동시에 포함할 수 있다.
또한 본 발명의 다양한 실시 예에서 "제스처 응답 값(Gesture response value)"은 제스처 실행의 결과를 측정한 값을 의미한다. 예를 들면, 페이지 전환, 게임에서의 객체의 가속 또는 가상현실에서의 카메라 움직임을 측정한 값이다. 상기 제스처 응답은 이진수(응답이 있느냐 없느냐)일 수도 있고, 또는 정해진 범위(예컨대, 0~100%)로부터의 일부 선형 또는 비선형 값일 수 있다. 그리고 "이전 제스처(Old gesture)는 실제 제스처를 하기 전에 실행된 제스처를 의미한다.
또한 본 발명의 다양한 실시 예에서 "영향 연산자(Influence operator)"는 제스처가 일정 시간을 갖고 연속 제스처가 발생할 경우, 제스처들 간에 영향을 주어 새로운 응답 값을 결정하기 위한 연산자이다. 즉, 상기 영향 연산자는 두 값 사이의 수학적 연산을 정의하는 연산자로써, 본 발명의 실시 예에서 상기 영향 연산자는 곱셈기
Figure pat00001
로 가정하여 설명한다.
본 발명의 다양한 실시 예에서 발생하는 제스처는 선형 또는 비선형 함수로서 응답을 가질 수 있다. 이것은 발생하는 제스처, 제스처 실행의 형태, 길이 또는 시간에 따라 달라지는 다양한 범위의 값들에 응답할 수 있다. 예를 들면, 제스처를 천천히 실행하면 5페이지가 스크롤되고, 빠르게 실행하면 10페이지가 스크롤되고, 아주 빠르게 실행하면 20페이지가 스크롤된다. 상기 나열한 모든 조건들의 결합으로 제스처는 매우 비결정론적인(확률적인) 체계를 만들게 된다. 확률 이론에 있어서, 확률적 과정(Stochastic process)(때로는 랜덤 과정이라고도 함)은 결정론적 과정(deterministic process)(또는 결정론적 체계)의 반대 개념이다. 확률적 또는 랜덤 과정에서는 시간에 따라 과정이 어떻게 전개될지에 대한 오직 하나의 가능한 현실을 다루는 대신에 확률분포에 의해 기술되는 향후의 전개에 있어서 약간의 불확정성이 있다. 이것은 초기 조건(또는 시작점)을 알고 있는 경우라 해도 일부 경로는 더 확실하고 일부 다른 경로는 덜 확실할 수는 있지만, 과정이 진행될 수 있는 많은 가능성이 있다는 것을 의미한다. 이 과정은 정상 과정(Stationary process)이다. 수리 과학에 있어서, 정상 과정(또는 엄격한 정상 과정 또는 강한 정상 과정이라고 함)은 시간 또는 공간에서의 이동 시, 공동확률분포(joint probability distribution)가 변하지 않는 경우의 확률적 과정을 말한다. 이는 모든 과정이 시간에 따라 이동(shift)할 수 있으며 최종 결과에 영향을 주지 않는 것을 의미한다(시간에 따른 동일한 제스처 시퀀스는 가까운 미래 및 먼 미래에 따른 제스처 시퀀스와 동일한 결과를 현재에 갖는 것을 의미).
도 1은 터치 디바이스를 구비하는 전자 장치의 구성을 도시하는 도면이다.
도 1을 참조하면, 본 발명의 전자 장치는 통신부(110), 저장부(120), 터치스크린(130), 제어부(140), 카메라(150), GPS 수신부(160)를 포함할 수 있다.
통신부(110)는 네트워크를 통해 외부장치와 음성 통화, 화상 통화 또는 데이터 통신을 수행한다. 통신부(110)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신기와 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF수신기 등으로 구성될 수 있다. 또한 통신부(110)는 변조기 및 복조기를 구비할 수 있다. 상기 변조기 및 복조기는CDMA, WCDMA, LTE, Wi-Fi, WIBRO, Bluetooth 및 NFC 등을 포함할 수 있다. 통신부(110)는 이동통신모듈, 인터넷 통신모듈 및/또는 근거리 통신모듈이 될 수 있다.
저장부(120)는 전자 장치의 동작 프로그램을 저장하는 프로그램 메모리와 프로그램 수행 중에 발생되는 데이터를 저장하는 데이터 메모리를 구비할 수 있다.
특히, 본 발명의 실시 예에서 저장부(120)는 발생하는 제스처의 응답 값을 저장할 수 있다. 또한 저장부(120)는 영향 연산자에 의해 계산되어 새로 생성된 제스처의 응답 값을 저장할 수 있다.
터치스크린(130)은 표시부(131)와 터치패널(132)을 포함하는 일체형으로 구성될 수 있다. 표시부(131)는 제어부(140)의 제어 하에 전자 장치의 이용에 따른 다양한 화면들을 표시할 수 있다. 상기 표시부(131)는 액정 표시 장치(Liquid Crystal Display: LCD), OLED(Organic Light Emitted Diode), AMOLED(Active Matrix Organic Light Emitted Diode) 등으로 구성될 수 있다. 또한 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 터치패널(132)은 손 제스처를 감지하는 손 터치패널과 펜 제스처를 감지하는 펜 터치패널을 포함하는 복합 터치패널일 수 있다.
특히, 본 발명의 실시 예에서 터치패널(132)을 통해 제스처 감지 시, 표시부(131)는 제어부(140)의 제어 하에 상기 제스처에 대응하는 기능을 실행한 화면을 표시할 수 있다.
제어부(140)는 전자 장치의 전반적인 동작 및 전자 장치의 내부 구성들 간의 신호 흐름을 제어하고, 데이터 처리를 수행하고, 배터리에서 상기 구성들로의 전원 공급을 제어한다.
특히, 본 발명의 실시 예에서 제어부(140)는 터치패널(132)을 통해 제스처를 감지하고, 감지된 제스처에 대응하여 기능 실행한 화면을 표시부(132)에 표시할 수 있다. 그리고 제어부(140)는 터치패널(132)을 통해 새로운 제스처 감지 시, 제스처 영향 연산자를 호출하여 영향 연산자를 통해 새로운 제스처 및 이전 제스처의 응답 값을 계산할 수 있다. 그리고 이전 응답 값들을 영향 연산자에 의해 생성된 값들로 업데이트하고 저장부(120)에 저장할 수 있다. 또한 제어부(140)는 새로운 제스처와 이전 제스처 간 시간 간격에 따라 영향 값을 다르게 설정할 수 있다. 즉, 제어부(140)는 새로운 제스처와 이전 제스처 간 시간 간격이 크면 이전 제스처가 새로운 제스처에 작은 영향을 주도록 설정할 수 있으며, 크지 않으면 이전 제스처가 새로운 제스처에 큰 영향을 주도록 설정할 수 있다.
카메라(150)는 피사체를 촬영하여 제어부(140)로 출력하는 기능을 수행한다. 구체적으로, 카메라(150)는 빛을 모으기 위한 렌즈와 렌즈로부터 수광된 빛을 전기적인 신호로 변환하는 이미지 센서와 이미지 센서로부터 입력되는 전기 신호를 로우 데이터로 처리하여 제어부(140)로 출력하는 이미지 신호 처리부를 포함하여 이루어질 수 있다.
GPS 수신부(General Positioning System receiver, 160)는 GPS 위치 신호를 수신하여 현재 전자 장치(100)의 위치정보를 획득할 수 있다.
이 밖에도 상기 전자 장치는 마이크와 스피커를 구비하는 오디오 처리부, 방송 수신을 위한 방송 수신 모듈, 하드 키(Hard Key)기반의 입력 지원을 위한 입력부 등의 부가 기능을 갖는 구성 요소들을 선택적으로 더 포함할 수 있으나, 그들에 대한 설명과 도시는 생략한다.
도 2는 입력 처리 방법을 도시하는 흐름도이다.
도 2를 참조하면, 제어부(140)는 화면을 표시하도록 표시부(131)를 제어할 수 있다. 여기서 상기 화면은 구글어스, 브라우저, 게임, CAD 시스템, 3D 내비게이션 인터페이스, 게임 등의 동적 분야뿐만 아니라 프로그래밍 및 드로잉 툴 등을 포함하는 어플리케이션 실행 화면일 수 있다.
제어부(140)는 201단계에서 새로운 제스처 감지 여부를 결정할 수 있다. 이때 상기 제스처는 화면을 확대/축소/회전하는 제스처를 포함할 수 있다. 그리고 201단계 이전에 이미 제스처가 발생된 상태일 수 있으며, 상기 제스처가 실행 중인 상태 또는 실행 후 대기상태일 수 있다. 이러한 상태에서 제어부(140)는 새로운 제스처 감지 여부를 결정할 수 있다. 새로운 제스처가 발생하면 제어부(140)는 203단계에서 제스처 영향 연산자를 호출할 수 있다. 이때 제스처 영향 연산자는 제스처가 일정 시간 간격으로 연속 제스처가 발생할 경우, 제스처들 간에 영향을 주어 새로운 응답 값으로 결정하기 위한 연산자이다. 본 발명의 실시 예에서 상기 영향 연산자는
Figure pat00002
로 가정하여 설명한다.
이어서 제어부(140)는 205단계에서 제스처 영향 연산자를 통해 새로운 제스처 및 이전 제스처의 새로운 응답 값을 계산할 수 있다. 이때 새로운 응답 값은 아래 수식에 의해 계산될 수 있다.
Figure pat00003
구체적으로,
Figure pat00004
는 현재 실행되는 제스처
Figure pat00005
및 이전 제스처
Figure pat00006
(j는 각 완료된 제스처에 대해 사용된 지수이며,
Figure pat00007
임) 간의 시간 간격이며,
Figure pat00008
(x,y,ti)는 시간의 함수인 좌표 열을 나타낸다. 또한,
Figure pat00009
기호는 영향 연산자로서,
Figure pat00010
와
Figure pat00011
간의 상호의존성
Figure pat00012
Figure pat00013
Figure pat00014
를 결정할 수 있다. 연산자
Figure pat00015
가 취할 수 있는 형태와 값은 설정에 따라 매번 바뀔 수 있다. 파라미터 n은 최종제스처를 나타내는 지수이다. 본 발명에서 제스처 응답 값은 이미 실행된 제스처의 응답 값 및 제스처
Figure pat00016
이후에 실행될 제스처 응답 값에 영향을 줄 수 있으며, 발생하는 새로운 제스처 응답 값은, 이미 실행된 제스처의 영향에 의해 자동으로 변경될 수 있다. 또한, 모든 제스처의 응답 값은 분석된 제스처들 간의 시간 간격
Figure pat00017
에 따라 달라질 수 있으며, 모든 완료된 제스처에 대해서, 새로운 제스처가 실행될 때마다 재계산되어 업데이트될 수 있다.
다음으로 제어부(140)는 207단계에서 상기 수식에 의해 계산된 연속 제스처의 새로운 응답 값을 업데이트할 수 있다. 이때 제어부(140)는 제스처 및 제스처와 관련된 전체 조건에 관한 정보를 저장부(120)에 저장할 수 있다. 여기서 상기 전체 조건은 연속 제스처 발생 시, 제스처들, 정의된 영향 연산자, 제스처 간 시간 간격, 제스처의 응답 속도 등을 포함할 수 있으며, 상기 조건에 따라 제스처의 새로운 응답 값은 달라질 수 있다. 상기 저장된 정보를 가지고 제어부(140)는 209단계에서 발생될 모든 새로운 제스처들의 응답 값을 설정할 수 있다.
도 3a 내지 도 3d는 입력 처리 방법을 설명하기 위한 도면이다.
도 3a 내지 도 3d를 참조하면, 도 3a의 301과 같이 제어부(140)는 터치패널(132)을 통해 첫 번째 제스처를 감지할 수 있다. 이때 첫 번째 제스처 응답 값은 0.7로 가정하여 설명한다. 제어부(140)는 첫 번째 제스처가 발생함에 따라 0.7의 응답 값에 대응하는 기능이 수행될 수 있다.
이어서 도 3a의 303과 같이 제어부(140)는 터치패널(132)을 통해 두 번째 제스처를 감지할 수 있다. 이때 두 번째 제스처는 일정 시간 간격으로 연속적으로 발생될 수 있다. 이때 두 번째 제스처 응답 값은 0.6으로 가정하여 설명한다. 상기 두 번째 제스처가 발생함에 따라 첫 번째 제스처의 응답 값은 영향 연산자에 의해 새로운 값으로 수정될 수 있다. 상기한 바와 같이 영향 연산자에 의해 첫 번째 제스처는 두 번째 제스처에 영향을 줄 수 있으며, 반대로 두 번째 제스처는 첫 번째 제스처에 영향을 줄 수 있다.
즉, 연속적으로 발생한 제스처는 서로 간의 영향을 줄 수 있으며 도 3a의 305와 같이 첫 번째 제스처는 두 번째 제스처의 영향을 받아 0.7
Figure pat00018
0.6계산으로 0.42의 새로운 응답 값을 생성할 수 있다. 또한 도 3a의 307과 같이 두 번째 제스처는 첫 번째 제스처의 영향을 받아 0.6
Figure pat00019
0.7계산으로 0.42의 새로운 응답 값을 생성할 수 있다. 결과적으로, 상기 영향 연산자로 인해 첫 번째 제스처 응답 값은 0.7에서 0.42로 감소될 수 있으며, 두 번째 제스처 응답 값은 0.42로 새로운 응답 값으로 설정될 수 있다.
구체적으로, 제어부(140)는 도 3b와 같은 지도 어플리케이션 실행 화면에서 터치패널(132)을 통해 회전 제스처를 검출할 수 있다. 이때 상기 회전 제스처는 0.7의 응답 값을 갖는다고 가정하고, 회전 제스처가 발생하면 제어부(140)는 도 3c 같이 0.7의 응답 값에 대응하여 화면을 회전하여 표시하도록 표시부(131)를 제어할 수 있다. 이어서 제어부(140)는 터치패널(132)을 통해 줌 아웃 제스처를 검출할 수 있다. 이때 상기 줌 아웃 제스처는 0.6의 응답 값을 갖는다고 가정하여 설명한다. 상기 줌 아웃 제스처가 발생함에 따라 이전 제스처인 회전 제스처와 줌 아웃 제스처는 서로의 제스처 응답 값에 영향을 줄 수 있다. 즉, 줌 아웃 제스처는 회전 제스처에, 회전 제스처는 줌 아웃 제스처 응답 값에 영향을 줄 수 있다. 구체적으로, 상기 영향 연산자는 발생하는 제스처의 응답 값 사이의 수학적 연산(예컨대, 곱셈)을 정의하는
Figure pat00020
로 표시되는 연산자로, 상기 영향 연산자를 통해 연속적으로 발생하는 제스처의 응답 값에 영향을 주어 응답 값을 수정할 수 있다. 본 발명에서 상기 영향 연산자는
Figure pat00021
로 가정하여 설명하지만, 이에 한정하는 것은 아니다.
상기 영향 연산자에 의해 회전 제스처와 줌 아웃 제스처는 새로운 응답 값을 생성할 수 있으며, 기존 제스처 응답 값은 상기 영향 연산자를 통해 생성된 응답 값으로 수정될 수 있다. 구체적으로 회전 제스처는 줌 아웃 제스처에 의해 0.7
Figure pat00022
0.6계산으로 0.42의 새로운 응답 값을 생성할 수 있다. 또한 줌 아웃 제스처는 회전 제스처의 영향을 받아 0.6
Figure pat00023
0.7계산으로 0.42의 새로운 응답 값을 생성할 수 있다. 결과적으로, 상기 영향 연산자로 인해 회전 제스처 응답 값은 0.7에서 0.42로 감소될 수 있으며, 줌 아웃 제스처 응답 값은 0.42로 설정될 수 있다. 결과적으로, 새로운 응답 값을 갖는 제스처에 대응하여 도 3d와 같이 회전 및 줌 아웃 제스처가 발생한 화면을 표시할 수 있다.
도 4는 입력 처리 방법을 도시하는 흐름도이다.
도 4를 참조하면, 제어부(140)는 401단계에서 제스처를 감지하고 상기 제스처에 해당하는 기능을 실행할 수 있다. 이때 상기 제스처는 화면을 확대/축소/회전하는 제스처를 포함할 수 있다. 이어서 제어부(140)는 403단계에서 새로운 제스처 감지 여부를 결정할 수 있다.
새로운 제스처가 발생하면 제어부(140)는 405단계에서 새로운 제스처와 이전 제스처의 시간 간격을 분석할 수 있다. 상기 405단계에서 분석한 시간 간격을 기반으로 이전 제스처 및 새로운 제스처의 영향력 여부를 결정할 수 있다. 본 발명의 실시 예에서 새로운 제스처 및 이전 제스처의 영향은 제스처 간의 시간 간격에 따라 증가한다고 가정하면, 제스처 간의 시간 간격이 더 큰 상황에서 발생된 새로운 제스처에 대해 더 큰 영향을 줄 수 있다. 또한, 새로운 제스처와 이전 제스처의 시간 간격이 큰 경우 이전 제스처는 새로운 제스처 응답 값에 작은 영향을 주고, 새로운 제스처와 이전 제스처의 시간 간격이 작은 경우 이전 제스처는 새로운 제스처 응답 값에 큰 영향을 줄 수 있다.
이어서 제어부(140)는 407단계에서 새로운 제스처와 이전 제스처 간 시간 간격이 큰지 여부를 결정할 수 있다. 크다고 결정되면 제어부(140)는 409단계에서 이전 제스처가 새로운 제스처에 상대적으로 작은 영향을 주도록 설정할 수 있다. 또는 크다고 결정되지 않으면 제어부(140)는 411단계에서 이전 제스처가 새로운 제스처에 상대적으로 큰 영향을 주도록 설정할 수 있다. 이어서 제어부(140)는 413단계에서 상기 시간 간격에 따른 제스처 영향 연산자를 통해 생성된 응답 값으로 업데이트할 수 있으며, 415단계에서 상기 업데이트된 응답 값을 기반으로 제스처에 해당하는 기능을 실행할 수 있다. 다음으로 제어부(140)는 417단계에서 종료 여부를 결정할 수 있다. 종료 명령이 발생하지 않으면 상기 403 단계 내지 415 단계를 반복 수행할 수 있다.
이하 도 5a 내지 도 5d를 예로 들어 설명하기로 한다.
도 5a 내지 도 5d는 입력 처리 방법을 설명하기 위한 도면이다.
구체적으로, 도 5a 내지 도 5d는 카메라 화면을 제어하기 위한 제스처를 예로 들어 시간 간격에 따라 제스처 간 다른 영향 값을 주는 것에 대해 설명하기 위한 도면이다. 여기서 상기 카메라 화면은 카메라의 이동 속도, 카메라 회전을 포함할 수 있다. 발생하는 제스처는 카메라 속도 설정 제스처(G0), 카메라 수평 회전 속도 제스처(G1), 카메라 수직 회전 속도 제스처(G2), 카메라 정지 제스처(G3) 순서대로 발생한다고 가정한다. 상기한 바와 같이 영향 연산자는 제스처 간의 시간 간격에 따라 다르게 영향을 줄 수 있다.
새로운 제스처가 이전 제스처에 영향을 미친다면, 그 영향 값은 이전 제스처의 응답 값을 줄이기 위해 커질 수 있다. 이전 제스처는 새로운 제스처의 응답에 영향을 주지만 영향 값이 작을 수 있다. 이는 시간 간격이 더 큰 제스처에 강한 영향을 주기 위함이며, 새로운 제스처가 현재 시점보다 여러 초 전에 이루어진 제스처에 매우 강한 영향을 주는 것을 의미한다.
도 5a 내지 도 5d를 참조하면, 제어부(140)는 도 5a의 501과 같이 카메라 속도 설정 제스처(G0)를 감지할 수 있다. 이때 상기 카메라 속도 설정 제스처(G0)는 0.7의 응답 값을 갖는다고 가정한다. 카메라 속도 설정 제스처(G0)가 발생하면 제어부(140)는 0.7의 속도로 카메라가 전진하는 제스처를 실행할 수 있다.
503 시간이 경과한 후, 제어부(140)는 도 5b와 같이 수평 회전 제스처(G1)를 감지할 수 있다. 이때 상기 수평 회전 제스처(G1)는 1의 응답 값을 갖는다고 가정한다. 이때 수평 회전 제스처(G1)는 이전 제스처인 카메라 속도 설정 제스처(G0)에 영향을 받을 수 있으며, 카메라 속도 설정 제스처(G0) 역시 수평 회전 제스처(G1)의 영향을 받을 수 있다. 즉, 수평 회전 제스처는 카메라 속도 제스처(G0)의 영향을 받아 영향 연산자를 통해 새로운 응답 값을 생성할 수 있다. 카메라 속도 제스처(G0) 또한 수평 회전 제스처(G1)의 영향을 받아 영향 연산자를 통해 새로운 응답 값이 생성되어, 새로운 응답 값으로 수정될 수 있다. 구체적으로, 카메라 속도 제스처(G0)는 0.7
Figure pat00024
1.0계산으로 507과 같이 0.3의 새로운 응답 값을 생성(0.7에서 0.3으로 감소)할 수 있다. 그리고 수평 회전 제스처(G1)는 1.0
Figure pat00025
0.7계산으로 505와 같이 0.9의 새로운 응답 값을 생성(1에서 0.9로 감소)할 수 있다. 즉, 수평 회전 제스처(G1)는 카메라 속도 제스처(G0)에 더 큰 영향을 주었고, 카메라 속도 제스처(G0)는 새로운 제스처인 수평 회전 제스처(G1)의 응답 값에 더 작은 영향을 주었다.
상기한 바와 같이 장시간이 지난 후에 제스처가 발생하면 이전 제스처에 더 강한 영향을 준다고 가정하였다. 여기서 장시간을 1분의 간격이라고 가정한다. 도 5c의 509와 같이 장시간이 지난 후 제어부(140)는 511과 같이 수직 회전 제스처(G2)를 감지할 수 있다. 이때 상기 수직 회전 제스처(G2)는 0.5의 응답 값을 갖는다고 가정한다. 수직 회전 제스처(G2)가 발생하면, 제어부(140)는 이전 제스처 응답 값(카메라 속도 설정 제스처(G0) 응답 값 0.3 및 수평 회전 제스처(G1) 응답 값 0.9)에 큰 영향을 주며 상기 제스처들의 응답 값을 최소값으로 감소시킬 수 있다. 그리고 이전 제스처(카메라 속도 설정 제스처(G0) 응답 값 0.3, 수평 회전 제스처(G1) 응답 값 0.9)는 앞에서와 같이 수직 회전 제스처(G2)에 영향을 주고, 장시간으로 인해 수직 회전 제스처(G2) 응답 값은 매우 작은 값이 될 수 있다. 즉, 수직 회전 제스처(G2)는 이전 제스처의 영향을 받아 511과 같이 0.49 응답 값으로 설정(0.5에서 0.49로 감소)될 수 있다. 그리고 이전 제스처인 카메라 속도 설정 제스처(G0) 응답 값 및 수평 회전 제스처(G1) 응답 값은 0으로 설정될 수 있다. 카메라 속도 설정 제스처(G0), 수평 회전 제스처(G1), 수직 회전 제스처(G2) 발생 후, 카메라는 수직 회전 제스처(G2)의 새로운 응답 값으로부터 하나의 주된 회전을 갖게 되고 수평 회전 및 전진 이동의 0에 가까운 최소값을 가질 수 있다.
그리고 도 5d의 517 시간이 경과한 후, 제어부(140)는 카메라 이동을 정지시키는 제스처(G3)를 감지할 수 있다. 발생한 정지 제스처(brake gesture) (G3)는 영향 연산자에 따라 회전/이동의 속도를 감소시킬 수도 있고, 이전 제스처를 완전히 정지시킬 수 있다. 또한 정지 제스처(G3)의 영향으로 이전 제스처(즉, 카메라 속도 설정 제스처(G0), 수평 회전 제스처(G1), 수직 회전 제스처(G2))의 응답 값은 0이 될 수 있다. 상기 이전 제스처는 정지 제스처(G3)에 영향을 줄 수 있는데 이것은 정지 제스처(G3)의 값이 항상 동일하다는 것이다(예컨대, 이전 제스처
Figure pat00026
정지 제스처(G3)=정지 제스처(G3)). 즉, 정지 제스처(G3)가 발생하면 영향 연산자에 의해 정치 제스처(G3)의 새로운 응답 값은 1로 설정될 수 있으며, 이전 제스처(카메라 속도 설정 제스처(G0), 수평 회전 제스처(G1), 수직 회전 제스처(G2))의 값들은 각각 525, 523, 521과 같이 0으로 설정될 수 있다.
즉, 503, 509, 517과 같이 시간 간격이 점점 커짐에 따라 이전 제스처가 새로운 제스처에 점점 작은 영향을 주는 것을 확인할 수 있다. 또한, 이는 시간 간격이 점점 커짐에 따라 새로운 제스처가 이전 제스처에 점점 큰 영향을 주는 것과 같다.
이상에서와 같이, 본 발명에 따른 전자 장치의 입력 처리 방법 및 장치에 대하여 본 명세서와 도면에 개시된 실시 예들은 본 발명의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 통신부
120: 저장부
130: 터치스크린
131: 표시부
132: 터치패널
140: 제어부
150: 카메라
160: GPS 수신부

Claims (12)

  1. 전자 장치의 입력 처리 방법에 있어서,
    제스처가 발생하면 상기 제스처에 대응하는 기능을 실행하는 과정;
    새로운 제스처 감지 시, 이전 제스처에 영향을 미치는 제스처인가 검사하는 과정;영향을 미치는 제스처이면 영향 연산자를 통해 이전 제스처의 응답 값에 감지된 제스처의 새로운 응답 값을 계산하는 과정;
    상기 제스처들을 상기 새로운 응답 값으로 설정하는 과정; 및
    상기 새로운 응답 값으로 제스처를 구동하는 과정으로 이루어지는 것을 특징으로 하는 입력 처리 방법.
  2. 제 1 항에 있어서, 상기 새로운 응답 값을 계산하는 과정은,
    상기 제스처들 간의 발생 시간 간격이 작을수록 이전 제스처가 새로운 제스처 응답에 크게 영향을 미치도록 새로운 응답 값을 설정하는 것을 특징으로 하는 입력 처리 방법.
  3. 제 2 항에 있어서, 상기 새로운 응답 값을 계산하는 과정은,
    연속적으로 발생하는 복수의 제스처 응답 값들을 수학적 연산으로 정의하는 영향 연산자에 의해 계산되며, 상기 영향 연산자는 곱셈기 연산자인 것을 특징으로 하는 입력 처리 방법
  4. 제 3 항에 있어서, 상기 새로운 응답 값은,
    제스처 간의 시간 간격, 제스처 간의 관계, 이전 제스처 및 새로운 제스처의 상호 좌표, 하드코드 데이터가 포함된 룩업테이블로부터 전달받은 추가 정보 중 적어도 하나의 항목에 따라 결정되는 것을 특징으로 하는 입력 처리 방법.
  5. 제 4 항에 있어서, 상기 새로운 응답 값은,
    Figure pat00027
    와 같은 수식에 의해 계산되는 것을 특징으로 하는 입력 처리 방법.
  6. 제 3 항에 있어서, 상기 제스처는,
    이동 속도, 수평 회전, 수직 회전 및/또는 정지 제스처인 것을 특징으로 하는 입력 처리 방법.
  7. 제 1 항에 있어서,
    새로운 제스처 감지 시마다 모든 제스처의 응답 값이 저장되고 영향 연산자를 통해 재계산되는 것을 특징으로 하는 입력 처리 방법.
  8. 전자 장치의 입력 처리 장치에 있어서,
    제스처를 감지하는 터치패널;
    상기 터치패널을 통해 감지된 제스처에 대응하는 기능을 수행한 화면을 표시하는 표시부;
    상기 터치패널을 통해 제스처 감지 시, 제스처에 대응하는 기능을 실행하고, 새로운 제스처 감지 시, 이전 제스처에 영향을 미치는 제스처인가 검사하고, 영향을 미치는 제스처이면 영향 연산자를 통해 새로운 제스처 및 이전 제스처의 응답 값을 계산하고, 상기 제스처들을 상기 새로운 응답 값으로 설정하고, 상기 새로운 응답 값으로 제스처를 구동하는 제어부로 구성되는 것을 특징으로 하는 전자 장치.
  9. 제 8 항에 있어서, 상기 제어부는,
    상기 제스처들 간의 발생 시간 간격이 작을수록 이전 제스처가 새로운 제스처 응답에 크게 영향을 미치도록 새로운 응답 값을 설정하는 것을 특징으로 하는 전자 장치.
  10. 제 9 항에 있어서, 상기 제어부는,
    연속적으로 발생하는 복수의 제스처 응답 값들을 새로운 응답 값으로 계산하기 위해 영향 연산자를 이용하는 것을 특징으로 하는 전자 장치.
  11. 제 10 항에 있어서, 상기 제어부는,
    제스처 간의 시간 간격, 제스처 간의 관계, 이전 제스처 및 새로운 제스처의 상호 좌표, 하드코드 데이터가 포함된 룩업테이블로부터 전달받은 추가 정보 중 적어도 하나의 항목에 따라 새로운 응답 값으로 결정되는 것을 특징으로 하는 전자 장치.
  12. 제 11 항에 있어서, 상기 제어부는,
    Figure pat00028
    와 같은 수식을 이용하여 새로운 응답 값을 계산하는 것을 특징으로 하는 전자 장치.
KR1020130131976A 2013-11-01 2013-11-01 전자 장치의 입력 처리 방법 및 장치 KR20150050832A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130131976A KR20150050832A (ko) 2013-11-01 2013-11-01 전자 장치의 입력 처리 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130131976A KR20150050832A (ko) 2013-11-01 2013-11-01 전자 장치의 입력 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20150050832A true KR20150050832A (ko) 2015-05-11

Family

ID=53388484

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130131976A KR20150050832A (ko) 2013-11-01 2013-11-01 전자 장치의 입력 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20150050832A (ko)

Similar Documents

Publication Publication Date Title
US10635379B2 (en) Method for sharing screen between devices and device using the same
US9875023B2 (en) Dial-based user interfaces
RU2677595C2 (ru) Способ и аппаратура для отображения интерфейса приложения и электронное устройство
EP3368970B1 (en) Target selection on a small form factor display
US9798512B1 (en) Context-based volume adjustment
US20110319130A1 (en) Mobile terminal and method of operation
US9043733B2 (en) Weighted N-finger scaling and scrolling
US11294533B2 (en) Method and terminal for displaying 2D application in VR device
CN105718189B (zh) 电子装置以及使用该电子装置显示网页的方法
US10331340B2 (en) Device and method for receiving character input through the same
US20160350136A1 (en) Assist layer with automated extraction
EP3015997A1 (en) Method and device for facilitating selection of blocks of information
JP2018535462A (ja) タッチヒートマップ
CN103870133A (zh) 用于滚动显示装置的屏幕的方法和设备
US10409478B2 (en) Method, apparatus, and recording medium for scrapping content
WO2017177436A1 (zh) 一种锁定列表对象的方法、装置及终端设备
US10908868B2 (en) Data processing method and mobile device
US20140195951A1 (en) Method for managing schedule and electronic device thereof
WO2015014138A1 (zh) 一种显示框显示的方法、装置和设备
US20170371535A1 (en) Device, method and graphic user interface used to move application interface element
US9552156B2 (en) Method for operating soft keyboard of touching device and the same touching device
KR20150050832A (ko) 전자 장치의 입력 처리 방법 및 장치
EP3128397B1 (en) Electronic apparatus and text input method for the same
US10423706B2 (en) Method and device for selecting information
CN115357112A (zh) 一种基于5G技术的vr远程教育装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid