KR20140069359A - 전자 기기, 제스처 처리 방법, 및 제스처 처리 프로그램 - Google Patents

전자 기기, 제스처 처리 방법, 및 제스처 처리 프로그램 Download PDF

Info

Publication number
KR20140069359A
KR20140069359A KR1020147013006A KR20147013006A KR20140069359A KR 20140069359 A KR20140069359 A KR 20140069359A KR 1020147013006 A KR1020147013006 A KR 1020147013006A KR 20147013006 A KR20147013006 A KR 20147013006A KR 20140069359 A KR20140069359 A KR 20140069359A
Authority
KR
South Korea
Prior art keywords
data
locus
display
touch panel
panel display
Prior art date
Application number
KR1020147013006A
Other languages
English (en)
Other versions
KR101517742B1 (ko
Inventor
시게루 아시까와
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20140069359A publication Critical patent/KR20140069359A/ko
Application granted granted Critical
Publication of KR101517742B1 publication Critical patent/KR101517742B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

제스처 입력을 서포트할 수 있어, 전자 기기가 제스처 입력을 접수하는 상태인지 여부를 이용자가 판단할 수 있는 전자 기기를 제공한다. 본 발명의 전자 기기는, 터치 패널 디스플레이와, 복수의 표시 데이터와, 각각의 표시 데이터에 관련지어진 궤적 관련 정보를 기억하는 기억부와, 제어부를 구비하고, 궤적 관련 정보에는, 궤적 데이터와, 궤적 데이터에 관련지어진 기능 정보가 포함되고, 제어부는, 터치 패널 디스플레이에 표시하는 표시 데이터에 관련지어진 궤적 관련 정보에 기초하여, 제스처 입력을 접수하는지 여부를 판별하고, 제스처 입력을 접수한다고 판별한 경우에는, 표시 데이터에 관련지어진 궤적 관련 정보에 포함되는 궤적 데이터를 표시 데이터에 겹쳐서 터치 패널 디스플레이에 오버레이 표시한다.

Description

전자 기기, 제스처 처리 방법, 및 제스처 처리 프로그램{ELECTRONIC DEVICE, GESTURE PROCESSING METHOD, AND GESTURE PROCESSING PROGRAM}
본 발명은, 터치 패널 디스플레이를 이용하여 제스처 입력을 행할 수 있는 전자 기기, 제스처 처리 방법, 및 제스처 처리 프로그램에 관한 것이다.
휴대 전화기나 PDA(Personal Data Assistance, Personal Digital Assistants: 개인용 휴대형 정보 통신 기기) 등의 휴대 단말 장치가 보급되고 있다. 최근에는, 휴대 단말 장치의 표시부는 대형화되어, 표시부에 표시되는 내용도 퀄리티가 높은 것으로 되고 있다. 이와 같이, 휴대 단말 장치의 다기능화ㆍ고도화를 도모함으로써, 이용자가 휴대 단말 장치를 자유자재로 사용할 수 있도록, 이용자에 대하여 조작을 알기 쉽게 하는 것이 이전에도 증가시켜 요구되도록 되고 있다.
따라서, 퀄리티가 높은 표시를 사용하면서 조작의 이해 용이성을 실현하기 위해, 터치 패널 디스플레이가 채용되고 있다. 터치 패널 디스플레이는, 이용자가 터치한 것을 입력 데이터로서 입력하는 터치 패널의 기능과, 실행 결과를 표시하기 위한 표시부의 기능을 갖고 있다. 터치 패널 디스플레이에 표시된 표시 데이터에 대하여, 이용자가 터치 패널 디스플레이를 손가락이나 펜 등으로 지시(터치)함으로써, 키 조작에 의한 커서의 이동과 결정 키에 의한 선택 결정의 프로세스를 단축할 수 있다. 이에 의해, 입력 횟수가 적은 조작이 실현되게 되었다.
또한, 터치 패널 디스플레이를 이용한 기술로서, 제스처 입력이라고 하는 수법이 실현되어 있다. 제스처 입력이란, 이용자가 터치 패널 디스플레이를 터치하여 소정의 궤적(입력 궤적)을 입력하는 것을 가리킨다. 도 14a에 도시되는 바와 같이, 미리 결정된 궤적(213-1)이 휴대 단말 장치의 기억부에 등록되고, 도 14b에 도시되는 바와 같이, 입력 궤적(220)과 궤적(213-1)이 일치하는 경우, 휴대 단말 장치는, 궤적(213-1)에 대응하는 기능을 기동시켜 실행한다.
그러나, 현재의 제스처 입력의 방법에는, 이하와 같은 문제점이 있다.
우선, 제1 문제점에 대해서 설명한다. 제스처 입력에서는, 이용자는, 미리 결정된 궤적 데이터와 동일한 궤적을 입력 궤적으로서 그릴 필요가 있다. 이 때문에, 복수 종류의 궤적 데이터가 존재하는 경우, 이용자는, 복수의 궤적 데이터를 기억하고 있지 않으면 안 된다. 이 경우, 이용자는, 기억 차이나, 애매한 궤적의 입력에 의해, 제스처 입력을 이용할 수 없는 것을 생각할 수 있다. 이 경우, 도 14b에 도시되는 바와 같이, 입력 궤적(221)과 궤적(213-1)이 일치하지 않으므로, 휴대 단말 장치는, 이용자가 원하는 기능을 기동ㆍ실행하지 않는다. 이 때문에, 이용자에 대하여, 제스처 입력을 서포트하는 것이 요망된다.
다음으로, 제2 문제점에 대해서 설명한다. 휴대 단말 장치는, 이용자에 의한 터치 패널 디스플레이로의 터치 조작, 또는 이용자에 의한 입력부의 조작에 기초하여 처리를 실행하고, 그 처리에 기초하여 생성한 표시 데이터를 터치 패널 디스플레이에 표시한다. 이 때, 휴대 단말 장치는, 이 표시 데이터를 터치 패널 디스플레이에 표시하였을 때에, 항상 제스처 입력을 접수한다고는 할 수 없다. 이것은, 소프트웨어 중에는, 제스처 입력에 대응하고 있는 것과 대응하고 있지 않은 것이 존재하기 때문이다. 여기서 예를 들면, 제스처 입력에 대응하고 있지 않은 소프트웨어의 실행 중에, 이 소프트웨어에서 이용하는 표시 데이터가 터치 패널 디스플레이에 표시되고, 이용자가 터치 패널 디스플레이를 터치하여 소정의 궤적을 그렸다고 하자. 이 때, 소프트웨어는 처리를 행하지 않는다. 그러나, 이용자는, 소프트웨어가 처리를 행하지 않는 이유가, 실행 중의 소프트웨어가 제스처 입력에 대응하지 않고, 휴대 단말 장치가 제스처 입력을 접수하는 상태가 아니었기 때문인지, 그린 궤적이 잘못되어 있었기 때문인지, 그렇지 않으면 제스처 입력의 입력 미스이기 때문인지를 판단할 수 없다. 이 때문에, 제스처 입력을 접수하는지 여부를 이용자가 판단할 수 있는 것이 요망된다.
제스처 입력에 관한 기술을 소개한다.
특허 문헌 1에는, 휴대 단말기가 기재되어 있다. 휴대 단말기는, 카메라로부터 입력된 판정 대상물의 이동 궤적에 관련지어진 동작을 실행하는 카메라 입력 인터페이스를 구비하고 있다. 휴대 단말기는, 판정 대상물의 이동 궤적과 이동 궤적에 관련지어진 동작과의 대응 관계를 나타내는 조작 가이던스 정보를 출력하는 수단과, 입력을 접수한 판정 대상물의 이동 궤적을 디스플레이의 표시 내용에 겹치도록 묘화하는 수단을 더 구비한 것을 특징으로 하고 있다.
특허 문헌 2에는, 유저 인터페이스 장치가 기재되어 있다. 유저 인터페이스 장치는, 기억 수단과, 궤적 해석 수단과, 제스처 검색 수단과, 안내 궤적 표시 수단과, 커맨드 호출 수단을 구비하고 있다. 기억 수단은, 소정의 커맨드가 할당되어 있는 제스처를 기억함과 함께, 그 제스처를 유도하는 안내 궤적을 기억한다. 궤적 해석 수단은, 궤적 입력 디바이스에 대한 유저의 조작 궤적을 해석한다. 제스처 검색 수단은, 궤적 해석 수단이 유저의 조작 궤적을 해석할 때마다, 기억 수단에 기억되어 있는 제스처 중으로부터, 그 조작 궤적에 합치하는 1 이상의 제스처를 검색한다. 안내 궤적 표시 수단은, 기억 수단으로부터 제스처 검색 수단에 의해 검색된 제스처의 안내 궤적을 취득하여, 그 안내 궤적을 표시하는 한편, 제스처 검색 수단에 의해 전회 검색된 제스처가 유저의 조작 궤적과 합치하지 않게 되면, 표시하고 있는 제스처의 안내 궤적을 소거한다. 커맨드 호출 수단은, 제스처 검색 수단에 의해 검색된 제스처가 1개로 한정되면, 그 제스처에 할당되어 있는 커맨드를 호출한다.
특허 문헌 1 : 일본 특허 공개 제2007-213245호 공보 특허 문헌 2 : 일본 특허 공개 제2006-331210호 공보
특허 문헌 1에 기재된 기술은, 궤적 데이터의 입력에 관한 것이다. 그러나, 이 기술에서는, 조작 가이던스 정보(궤적 데이터)를 출력함으로써, 이용자에 대하여 제스처 입력을 서포트하고 있는 점에서 상술한 제1 문제점이 일부 해결되고 있지만, 조작 가이던스 정보를 출력하기 위한 보조 디스플레이를 필요로 하고 있다. 또한, 상술한 제2 문제점에 대해서는 전혀 고려되어 있지 않다.
특허 문헌 2에 기재된 기술은, 궤적 데이터를 정확하게 기억하고 있지 않을 때에, 궤적 데이터에 할당된 커맨드를 이용하는 것이다. 이 기술에서는, 이용자에 의한 입력 궤적(조작 궤적)에 일치하는 1 이상의 궤적 데이터(안내 궤적)를 터치 패널 디스플레이에 표시함으로써, 이용자에 대하여 제스처 입력을 서포트하고 있는 점에서 상술한 제1 문제점이 일부 해결되고 있지만, 역시 이용자는 복수의 궤적 데이터를 기억하고 있지 않으면 안 된다. 또한, 상술한 제2 문제점에 대해서는 전혀 고려되어 있지 않다.
본 발명의 목적은, 상술한 과제인, 제스처 입력을 서포트하고, 또한 이용자가, 전자 기기가 제스처 입력을 접수하는 상태인지 여부를 판단할 수 없다고 하는 과제를 해결하는 전자 기기, 제스처 처리 방법, 및 제스처 처리 프로그램을 제공하는 것이다. 즉, 본 발명의 목적은, 제스처 입력을 서포트할 수 있어, 전자 기기가 제스처 입력을 접수하는 상태인지 여부를 이용자가 판단할 수 있는 전자 기기, 제스처 처리 방법, 및 제스처 처리 프로그램을 제공하는 것에 있다.
본 발명의 전자 기기는, 터치 패널 디스플레이와, 복수의 표시 데이터와, 각각의 표시 데이터에 관련지어진 궤적 관련 정보를 기억하는 기억부와, 제어부를 구비하고, 궤적 관련 정보에는, 궤적 데이터와, 궤적 데이터에 관련지어진 기능 정보가 포함되고, 제어부는, 터치 패널 디스플레이에 표시하는 표시 데이터에 관련지어진 궤적 관련 정보에 기초하여, 제스처 입력을 접수하는지 여부를 판별하고, 제스처 입력을 접수한다고 판별한 경우에는, 표시 데이터에 관련지어진 궤적 관련 정보에 포함되는 궤적 데이터를 표시 데이터에 겹쳐서 터치 패널 디스플레이에 오버레이 표시한다.
또한, 본 발명의 제스처 처리 방법은, 터치 패널 디스플레이에 표시하는 표시 데이터에 관련지어진 궤적 관련 정보에 기초하여 제스처 입력을 접수하는지 여부를 판별하고, 제스처 입력을 접수한다고 판별한 경우에는, 표시 데이터에 관련지어진 궤적 관련 정보에 포함되는 궤적 데이터를 표시 데이터에 겹쳐서 터치 패널 디스플레이에 오버레이 표시한다.
또한, 본 발명의 제스처 처리 프로그램은, 컴퓨터에, 터치 패널 디스플레이에 표시하는 표시 데이터에 관련지어진 궤적 관련 정보에 기초하여 제스처 입력을 접수하는지 여부를 판별시키고, 제스처 입력을 접수한다고 판별한 경우에는, 표시 데이터에 관련지어진 궤적 관련 정보에 포함되는 궤적 데이터를 표시 데이터에 겹쳐서 터치 패널 디스플레이에 오버레이 표시시킨다.
본 발명의 전자 기기에 따르면, 제스처 입력을 서포트할 수 있어, 전자 기기가 제스처 입력을 접수하는 상태인지 여부를 이용자가 판단할 수 있다.
도 1은 본 발명의 제1 실시 형태에 관한 전자 기기의 외관 구성을 도시하는 도면이다.
도 2는 본 발명의 제1 실시 형태에 관한 전자 기기의 구성을 도시하는 블록도이다.
도 3은 기억부에 기억되는 정보를 도시하는 도면이다.
도 4는 본 발명의 제1 실시 형태에 관한 제스처 처리 방법을 도시하는 플로우차트이다.
도 5a는 궤적 데이터를 도시하는 도면이다.
도 5b는 다른 궤적 데이터를 도시하는 도면이다.
도 5c는 표시 데이터를 도시하는 도면이다.
도 5d는 궤적 데이터를 표시 데이터에 겹쳐서 터치 패널 디스플레이에 오버레이 표시한 예를 도시하는 도면이다.
도 6은 궤적 데이터를 표시 데이터에 겹쳐서 터치 패널 디스플레이에 오버레이 표시한 다른 예를 도시하는 도면이다.
도 7은 기능 정보를, 궤적 데이터와 표시 데이터에 겹쳐서 터치 패널 디스플레이에 오버레이 표시한 예를 도시하는 도면이다.
도 8은 본 발명의 제3 실시 형태에 관한 휴대 단말 장치의 외관 구성을 도시하고 있다.
도 9는 본 발명의 제3 실시 형태에 관한 휴대 단말 장치의 구성을 도시하는 블록도이다.
도 10은 데이터베이스의 내용을 도시하고 있다.
도 11은 본 발명의 제3 실시 형태에 관한 휴대 단말 장치의 동작의 처리를 도시하는 플로우차트이다.
도 12는 본 발명의 제3 실시 형태에 관한 휴대 단말 장치의 동작의 처리를 도시하는 플로우차트이다.
도 13a는 궤적 데이터(13-i)의 예를 도시하고 있다.
도 13b는 궤적 데이터(13-i)와 화상 데이터(11-1)가 터치 패널 디스플레이(1)에 오버레이 표시되어 있을 때에, 이용자가, 궤적 데이터(13-i)를 참고로 하여 터치 패널 디스플레이(1)에 입력 궤적(20)을 제스처 입력한 예이다.
도 14a는 궤적 데이터의 예를 도시하고 있다.
도 14b는 입력 궤적과 궤적 데이터가 일치하는 예와, 입력 궤적과 궤적 데이터가 일치하지 않는 예를 도시하고 있다.
이하에 도면을 참조하여, 본 발명에 대해서 상세하게 설명한다.
[제1 실시 형태]
도 1은 본 발명의 제1 실시 형태에 관한 전자 기기(100)의 외관 구성을 도시하는 도면이다. 전자 기기(100)는 제스처 입력을 가능하게 하는 터치 패널 디스플레이(101)를 구비한다.
도 2는 전자 기기(100)의 구성을 도시하는 블록도이다. 전자 기기(100)는, 터치 패널 디스플레이(101)와, 기억부(104)와, 제어부(103)를 갖는다. 기억부(104)는, 복수의 표시 데이터(111)와, 각각의 표시 데이터(111)에 관련지어진 궤적 관련 정보(115)를 기억한다. 여기서, 표시 데이터(111)는, 도 3에 도시하는 바와 같이, 화상 A(111-1), 화상 B(111-2) 등의 화상 데이터나, 문자열 H(111-3) 등의 문자 데이터 등이다. 또한, 궤적 관련 정보(115-1, 115-2)에는, 도 3에 도시하는 바와 같이, 궤적 a1(113-1)이나 궤적 a2(113-2) 등의 궤적 데이터(113)와, 궤적 데이터(113)에 관련지어진 기능 a1(114-1)이나 기능 a2(114-2) 등의 기능 정보(114)가 포함된다.
제어부(103)는, 터치 패널 디스플레이(101)에 표시하는 표시 데이터(111)에 관련지어진 궤적 관련 정보(115)에 기초하여, 제스처 입력을 접수하는지 여부를 판별한다. 그리고, 제스처 입력을 접수한다고 판별한 경우에는, 이 표시 데이터(111)에 관련지어진 궤적 관련 정보(115)에 포함되는 궤적 데이터(113)를 표시 데이터(111)에 겹쳐서 터치 패널 디스플레이(101)에 오버레이 표시한다. 또한, 터치 패널 디스플레이(101)에 표시하는 표시 데이터(111)는, 기억부(104)에 기억된 복수의 표시 데이터(111) 중으로부터, 제어부(103)가 적절히 선택한 것이다. 제어부(103)는, 예를 들면, 이용자의 입력에 기초하여 터치 패널 디스플레이(101)에 표시하는 표시 데이터(111)를 선택한다.
본 실시 형태에 관한 전자 기기(100)에 따르면, 제어부(103)가, 표시 데이터(111)에 관련지어진 궤적 관련 정보(115)에 기초하여, 제스처 입력을 접수하는지 여부를 판별한다. 또한, 제스처 입력을 접수한다고 판별한 경우에는, 궤적 데이터(113)를 표시 데이터(111)에 겹쳐서 터치 패널 디스플레이(101)에 오버레이 표시한다. 그 때문에, 전자 기기(100)에 의해, 제스처 입력을 서포트할 수 있어, 이용자는 궤적을 기억하지 않아도, 올바른 궤적을 정확하게 제스처 입력할 수 있다.
또한, 본 실시 형태에 관한 전자 기기(100)에 따르면, 제스처 입력을 접수하는 경우에는 궤적 데이터가 터치 패널 디스플레이(101)에 오버레이 표시되기 때문에, 이용자는, 오버레이 표시한 상태의 전자 기기(100)가 제스처 입력을 접수하는 것을 판단할 수 있다. 또한, 궤적 데이터(113)가 오버레이 표시되지 않는 경우에는, 이용자는, 제스처 입력을 접수하지 않는 것을 판단할 수 있다.
다음으로, 본 실시 형태에 관한 제스처 처리 방법에 대해서, 도 4를 이용하여 설명한다.
처음에, 표시 데이터에 관련지어진 궤적 관련 정보에 기초하여, 제스처 입력을 접수하는지 여부를 판별한다(스텝 S101).
여기서, 제스처 입력을 접수한다고 판별한 경우에는, 궤적 데이터를 표시 데이터에 겹쳐서 터치 패널 디스플레이에 오버레이 표시한다(스텝 S102).
한편, 제스처 입력을 접수하지 않는다고 판별한 경우에는, 궤적 데이터를 표시 데이터에 겹쳐서 오버레이 표시하지 않는다. 이 때, 예를 들면, 제어부(103)는, 표시 데이터만을 터치 패널 디스플레이(101)에 표시하는 것으로 해도 된다.
궤적 데이터(113)를 표시 데이터(111)에 겹쳐서 오버레이 표시하는 것에 대해서 도 5를 이용하여 설명한다. 도 5a, 도 5b에, 궤적 데이터로서, 궤적 a1(113-1), 궤적 a2(113-2)를 도시한다. 또한, 도 5c에, 표시 데이터로서, 화상 A(111-1)를 도시한다. 화상 A(111-1)는, 메일을 나타내는 화상 데이터이다. 궤적 a1(113-1), 궤적 a2(113-2)를 화상 A(111-1)에 겹쳐서 터치 패널 디스플레이(101)에 오버레이 표시하면, 도 5d와 같게 된다. 이용자는, 오버레이 표시된 디스플레이를 확인함으로써, 궤적 데이터(113)의 표시 유무에 기초하여, 전자 기기(100)가 제스처 입력을 접수하는 상태인지 여부를 판별할 수 있고, 또한 어떠한 궤적의 제스처 입력을 접수하는지를 순시에 파악하는 것이 가능하게 된다.
기억부(104)에는, 제스처 입력을 접수하는지 여부를 나타내는 가부 정보가 포함되는 것으로 해도 된다. 가부 정보가 포함됨으로써, 제어부(103)는, 가부 정보에 기초하여, 제스처 입력을 접수하는지 여부를 판별하는 것이 가능하게 된다.
도 3에 도시하는 바와 같이, 궤적 관련 정보(115)가 궤적 데이터(113)와 기능 정보(114)를 포함하는 경우, 소정의 표시 데이터(111)에 관련지어진 궤적 데이터(113) 또는 기능 정보(114)의 유무에 기초하여, 제어부(103)는 제스처 입력을 접수하는지 여부를 판별한다. 예를 들면, 화상 A(111-1)에는, 이것에 관련지어진 궤적 a1(113-1)과 기능 a1(114-1), 궤적 a2(113-2)와 기능 a2(114-2)가 존재하기 때문에, 화상 A(111-1)를 디스플레이에 표시하는 경우에는, 제어부(103)는 제스처 입력을 접수한다고 판별할 수 있다. 한편, 화상 B(111-2)에는, 이것에 관련지어진 궤적 데이터(113) 및 기능 정보(114)가 존재하지 않는다. 그 때문에, 화상 B(111-2)를 디스플레이에 표시하는 경우에는, 제어부(103)는 제스처 입력을 접수하지 않는다고 판별할 수 있다. 또한, 화상 B(111-2)의 궤적 데이터(113) 란과 기능 정보(114) 란에는 「0」이 기재되어 있지만, 이것은, 각 란에 해당하는 것이 없는 것을 의미하고 있다.
하나의 표시 데이터(111)에, 복수의 궤적 관련 정보(115)가 관련지어지는 것으로 해도 된다. 이 경우, 제어부(103)는, 복수의 궤적 관련 정보(115)에 포함되는 복수의 궤적 데이터(113)를 표시 데이터(111)에 겹쳐서 터치 패널 디스플레이(101)에 오버레이 표시하는 것이 바람직하다. 이에 의해, 이용자는, 복수 종류의 궤적을 순시에 파악하는 것이 가능하게 된다.
궤적 데이터(113)가 복수 있는 경우에는, 각 궤적 데이터(113)를 상이한 표시 형식으로 하여 오버레이 표시하는 것이 바람직하다. 예를 들면, 도 6에 도시하는 바와 같이, 궤적(163-1, 163-2)의 각각을 상이한 선의 종류로 설정함으로써, 이용자는 각각의 궤적(163-1, 163-2)을 정확하게 파악할 수 있다. 또한, 궤적(163-1, 163-2)의 각각을 상이한 색으로 설정해도, 이용자는 마찬가지의 효과를 얻을 수 있다.
제어부(103)는, 궤적 데이터(113)에 관련지어진 기능 정보(114)를, 궤적 데이터(113)와 표시 데이터(111)에 겹쳐서 터치 패널 디스플레이(101)에 오버레이 표시하는 것으로 해도 된다. 예를 들면, 도 7에 도시하는 바와 같이, 궤적 a1(113-1)과 더불어 기능 a1(114-1)을 표시하고, 또한 궤적 a1(113-2)과 더불어 기능 b2(114-1)를 표시한다. 이에 의해, 이용자는, 각각의 궤적 a1(113-1), 궤적 a2(113-2)를 제스처 입력하면, 어떠한 기능이 실행되는지를 이해할 수 있다. 도 7에는, 궤적 a1(113-1)이 제스처 입력된 경우에는 텍스트 입력 기능(text-entry)을 실행하고, 궤적 a2(113-2)가 제스처 입력된 경우에는 메일 송신 기능(send)을 실행하는 예를 도시한다.
[제2 실시 형태]
다음으로, 본 발명의 제2 실시 형태에 대해서 설명한다. 제2 실시 형태에서는, 표시 데이터와 궤적 데이터를 겹쳐서 터치 패널 디스플레이에 오버레이 표시한 후의 전자 기기의 제어에 관해서 설명한다. 또한, 표시 데이터와 궤적 데이터를 겹쳐서 오버레이 표시하는 것에 대해서는 제1 실시 형태에서 설명 완료하였기 때문에, 본 실시 형태에서는 설명을 생략한다.
제2 실시 형태에 관한 전자 기기(100)의 제어부(103)는, 궤적 데이터(113)와 표시 데이터(111)가 터치 패널 디스플레이(101)에 오버레이 표시되어 있을 때에 제스처 입력이 행해진 경우, 궤적 데이터(113) 중으로부터, 제스처 입력에 의해 입력된 입력 궤적에 일치하는 궤적 데이터(113)를 선택 궤적 데이터로서 확정한다. 그리고, 선택 궤적 데이터에 관련지어진 기능을 실행한다. 예를 들면, 입력 궤적이 궤적 a1(113-1)과 일치한 경우에는, 기능 a1(114-1)을 실행한다(도 3). 이에 의해, 이용자는, 제스처 입력을 이용하여 원하는 기능을 전자 기기(100)에 실행시키는 것이 가능하게 된다.
제어부(103)는, 선택 궤적 데이터를 확정한 후에, 궤적 데이터(113)를 터치 패널 디스플레이(101)에 표시하는 것을 종료하는 것으로 해도 된다. 이에 의해, 이용자는 선택 궤적 데이터가 확정된 것을 파악하는 것이 가능하게 된다.
제어부(103)는, 터치 패널 디스플레이(101)에 표시한 궤적 데이터(113) 중에 입력 궤적에 일치하는 궤적 데이터가 존재하지 않는다고 판별한 경우, 궤적 데이터(113)를 터치 패널 디스플레이(101)에 표시하는 것을 종료해도 된다. 이에 의해, 이용자는 선택 궤적 데이터가 확정되지 않았던 것을 파악하는 것이 가능하게 된다.
또한, 제어부(103)는, 궤적 데이터(113)를 표시 데이터(111)에 겹쳐서 오버레이 표시한 후에 소정 시간 내에 제스처 입력이 행해지지 않았던 경우, 궤적 데이터(113)를 터치 패널 디스플레이(101)에 표시하는 것을 종료하는 것으로 해도 된다.
[제3 실시 형태]
다음으로, 본 발명의 제3 실시 형태에 대해서 설명한다. 제3 실시 형태에 관한 전자 기기는 휴대 단말 장치이다. 제3 실시 형태에 관한 휴대 단말 장치의 제어부는, 가부 정보에 기초하여, 제스처 입력을 접수하는지 여부를 판별한다. 또한, 표시 데이터로서, 문자 데이터를 화상 데이터로 한 것을 이용한다.
도 8은 본 실시 형태에 관한 휴대 단말 장치의 외관 구성을 도시하고 있다.
본 실시 형태에 관한 휴대 단말 장치는, 터치 패널 디스플레이(1)와, 입력부(2)를 구비하고 있다. 터치 패널 디스플레이(1)는, 이용자가 터치한 것을 입력 데이터로서 입력하는 터치 패널의 기능과, 실행 결과를 표시하기 위한 표시부의 기능을 갖고 있다.
도 9는 본 실시 형태에 관한 휴대 단말 장치의 구성을 도시하는 블록도이다.
본 실시 형태에 관한 휴대 단말 장치는 또한 CPU(Central Processing Unit)인 제어부(3)와, 기록 매체인 기억부(4)를 구비하고 있다. 기억부(4)에는, 컴퓨터에 실행시키기 위한 컴퓨터 프로그램(5)이 기억되어 있다. 제어부(3)는, 기동시 등에 기억부(4)로부터 컴퓨터 프로그램(5)을 판독하여 실행한다.
기억부(4)는, 기능(6-1∼6-m)(m은 2 이상의 정수)을 갖고 있다. 구체적으로는, 소프트웨어인 기능(6-1∼6-m)이 또한 기억부(4)에 기억되고, 제어부(3)가, 후술하는 동작에 의해, 기억부(4)로부터 기능(6-1∼6-m) 중 하나의 기능인 기능(6-i)(i는 1≤i≤m을 충족시키는 정수)을 기동시켜 실행한다.
기억부(4)는, 데이터베이스(7)를 구비하고 있다. 도 10은 데이터베이스(7)의 내용을 도시하고 있다.
데이터베이스(7)는, 복수 패턴의 화상 데이터(11-1∼11-n)(n은 2 이상의 정수)를 기억한다. 제어부(3)는, 후술하는 동작에 의해, 데이터베이스(7)로부터 복수 패턴의 화상 데이터(11-1∼11-n) 중 하나의 화상 데이터를 선택하고, 터치 패널 디스플레이(1)에 표시한다.
데이터베이스(7)에는 또한 복수 패턴의 화상 데이터(11-1∼11-n)의 각각에 대하여 가부 정보(12)가 등록되어 있다. 가부 정보(12)는, 화상 데이터(11)를 이용하는 소프트웨어가 제스처 입력에 대응하는지 여부를 나타낸다. 소프트웨어가 제스처 입력에 대응하는 경우에는, 화상 데이터(11)를 터치 패널 디스플레이(1)에 표시하였을 때에, 휴대 정보 단말기는 제스처 입력을 접수하는 상태로 된다. 한편, 소프트웨어가 제스처 입력에 대응하지 않는 경우에는, 화상 데이터(11)를 터치 패널 디스플레이(1)에 표시하였을 때에, 휴대 정보 단말기는 제스처 입력을 접수하지 않은 상태로 된다.
데이터베이스(7)에는 또한 화상 데이터(11)에 관련지어진 궤적 관련 정보(15)가 등록되어 있다. 여기서는, 화상 데이터(11-1)에 관련지어진 궤적 관련 정보(15-1∼15-m)가 등록되어 있는 예를 나타낸다. 궤적 관련 정보(15-1∼15-m)는 각각 궤적 데이터(13-1∼13-m)와, 궤적 데이터(13-1∼13-m)에 관련지어진 기능(6-1∼6-m)의 명칭인 기능 정보(14-1∼14-m)를 포함하고 있다.
도 11은 휴대 단말 장치의 동작으로서, 가부 정보와 궤적 관련 정보를 데이터베이스(7)에 등록하는 처리를 도시하는 플로우차트이다.
우선, 복수 패턴의 화상 데이터(11-1∼11-n)의 각각에 대하여, 상술한 가부 정보(12)를 데이터베이스(7)에 등록한다(스텝 S1). 가부 정보(12)의 등록에 대해서는, 예를 들면 설계자가 미리 행한다.
다음으로, 상술한 궤적 관련 정보(15-1∼15-m)를, 화상 데이터(11-1)에 관련지어, 데이터베이스(7)에 등록한다(스텝 S2). 궤적 관련 정보(15-1∼15-m)의 등록에 대해서는, 예를 들면 설계자가 미리 행한다. 그리고, 더 추가하여 등록하는 경우에는, 이용자가 행해도 된다.
도 12는 본 실시 형태에 관한 제스처 처리 방법을 도시하는 플로우차트이다.
이용자는, 터치 패널 디스플레이(1)로의 터치 조작, 또는 입력부(2)의 조작을 행하고 있지 않다(스텝 S11-"아니오"). 이 경우, 제어부(3)는, 현재의 화상 데이터를 터치 패널 디스플레이(1)에 표시한다. 즉, 대기 상태이다.
이용자는, 터치 패널 디스플레이(1)로의 터치 조작, 또는 입력부(2)의 조작을 행한 것으로 한다(스텝 S11-"예"). 이 경우, 제어부(3)는, 복수 패턴의 화상 데이터(11-1∼11-n) 중의, 이용자에 의한 터치 패널 디스플레이(1)로의 터치 조작, 또는 이용자에 의한 입력부(2)의 조작에 기초하여 선택한 화상 데이터(11)를 터치 패널 디스플레이(1)에 표시한다(스텝 S12).
제어부(3)는, 데이터베이스(7)를 참조한다(스텝 S13).
여기서, 화상 데이터(11)에 대한 가부 정보(12)는, 제스처 입력을 접수하는 것이 가능한 것을 나타내고 있는 것으로 한다(스텝 S13-"예"). 이 경우, 제어부(3)는, 데이터베이스(7)에 등록된 궤적 데이터(13)를 화상 데이터(11)에 겹쳐서 터치 패널 디스플레이(1)에 오버레이 표시한다(스텝 S14). 예를 들면, 도 13a는 궤적 데이터(13-i)의 예를 도시하고, 도 13b는 화상 데이터(11-1)와 궤적 데이터(13-i)가 오버레이 표시된 예를 도시하고 있다. 화상 데이터(11-1)에는, 「신세를 지고 있습니다. 질문에 대해서,」라고 하는 문자열이 포함되어 있다. 궤적 데이터(13-i)에는 기능 정보(14-i)가 관련지어져 있다.
궤적 데이터(13)와 화상 데이터(11)가 터치 패널 디스플레이(1)에 오버레이 표시되어 있을 때에, 제어부(3)는, 터치 패널 디스플레이(1)에 대하여 이용자에 의해 제스처 입력이 행해지는지 여부를 소정 시간이 경과할 때까지 감시한다(스텝 S15-"아니오", S19-"아니오").
감시의 결과, 터치 패널 디스플레이(1)에 대하여 이용자에 의해 제스처 입력이 행해진 것으로 한다(스텝 S15-"예"). 이 경우, 제어부(3)는, 궤적 관련 정보(15)에 포함되는 궤적 데이터(13) 중으로부터, 입력 궤적(20)(도 13a 참조)에 일치하는 궤적 데이터(13)(예를 들면, 13-i)(도 13b 참조)를 선택 궤적 데이터로서 선택(확정)한다(스텝 S16-"예"). 예를 들면, 도 13b는, 궤적 데이터(13-i)와 화상 데이터(11-1)가 터치 패널 디스플레이(1)에 오버레이 표시되어 있을 때에, 이용자가, 궤적 데이터(13-i)를 참고로 하여 터치 패널 디스플레이(1)에 입력 궤적(20)을 제스처 입력한 예이다.
선택 궤적 데이터(13)가 확정되었을 때, 제어부(3)는, 터치 패널 디스플레이(1)로의 궤적 데이터(13)의 표시를 종료한다(스텝 S17). 그리고, 제어부(3)는, 선택 궤적 데이터에 대응하는 기능(6)을 기동시켜 실행한다(스텝 S18). 구체적으로는, 제어부(3)는, 데이터베이스(7)에 등록된 궤적 관련 정보(15)에 포함되는 기능 정보(14) 중으로부터, 선택 궤적 데이터에 관련지어진 기능 정보(14)를 선택하고, 기능 정보(14)가 나타내는 기능(6)을 기동시켜 실행한다.
또는, 감시의 결과, 소정 시간이 경과할 때까지, 터치 패널 디스플레이(1)에 대하여 이용자에 의해 제스처 입력이 행해지지 않는다(스텝 S19-"예"). 이 경우, 제어부(3)는, 터치 패널 디스플레이(1)로의 궤적 데이터(13)의 표시를 종료한다(스텝 S20).
또는, 감시의 결과, 터치 패널 디스플레이(1)에 대하여 이용자에 의해 제스처 입력이 행해졌지만(스텝 S15-"예"), 궤적 관련 정보(15)에 포함되는 궤적 데이터(13) 중에, 입력 궤적(20)에 일치하는 궤적을 포함하는 궤적 데이터(13)가 존재하지 않는 경우, 궤적 데이터가 확정되지 않는다(스텝 S16-"아니오"). 확정되지 않는 상태에서 소정 시간이 경과한 경우(스텝 S19-"예"), 제어부(3)는, 터치 패널 디스플레이(1)로의 궤적 데이터(13)의 표시를 종료한다(스텝 S20).
한편, 화상 데이터(11)에 관련지어진 가부 정보(12)는, 제스처 입력이 접수되지 않는 것을 나타내고 있는 것으로 한다(스텝 S13-"아니오"). 이 경우, 제어부(3)는, 화상 데이터(11)를 터치 패널 디스플레이(1)에 표시한다. 그리고, 궤적 데이터(13)를 터치 패널 디스플레이(1)에 오버레이 표시하지 않는다.
본 실시 형태에 의한 휴대 단말 장치에 따르면, 제1, 제2 효과를 실현한다.
우선, 제1 효과에 대해서 설명한다.
제스처 입력을 행하기 위해서는, 이용자는, 미리 결정된 궤적 데이터와 동일한 궤적을 입력 궤적(20)으로서 그릴 필요가 있다. 이 때문에, 궤적 데이터가 복수 종류도 존재하는 경우, 이용자는, 예를 들면, 궤적 데이터(13-1∼13-m)를 기억하고 있지 않으면 안 된다. 즉, 이용자는, 기능(6-1∼6-m) 중으로부터 원하는 기능을 휴대 단말 장치에 기동ㆍ실행시키기 위해서, 기능(6-1∼6-m)에 대응하는 궤적 데이터(13-1∼13-m)를 기억하고 있지 않으면 안 된다. 이 경우, 이용자는, 기억 차이나, 애매한 궤적의 입력에 의해, 제스처 입력을 이용할 수 없는 것을 생각할 수 있다. 따라서, 본 실시 형태에 의한 휴대 단말 장치에 따르면, 복수 패턴의 화상 데이터(11-1∼11-n) 중의, 이용자의 조작에 기초하여 선택된 화상 데이터(11)를 터치 패널 디스플레이(1)에 표시할 때에, 제스처 입력을 서포트하기 위해서 궤적 데이터(13)를 화상 데이터(11)에 겹쳐서 터치 패널 디스플레이(1)에 오버레이 표시한다.
이와 같이, 본 실시 형태에 의한 휴대 단말 장치에 따르면, 제1 효과로서, 궤적 데이터(13)를 터치 패널 디스플레이(1)에 오버레이 표시함으로써, 제스처 입력을 서포트할 수 있다. 이에 의해, 상술한 제1 문제점이 해결된다.
다음으로, 제2 효과에 대해서 설명한다.
본 실시 형태에 관한 휴대 단말 장치에서는, 복수 패턴의 화상 데이터(11) 중의, 이용자에 의한 터치 패널 디스플레이(1)로의 터치 조작, 또는 이용자에 의한 입력부의 조작에 기초하여 선택된 화상 데이터(11)를 터치 패널 디스플레이(1)에 표시한다. 여기서, 선택된 화상 데이터(11)를 디스플레이(1)에 표시하였을 때에, 반드시 제어부가 제스처 입력을 접수한다고는 할 수 없다. 예를 들면, 화상 데이터(11)가 이용되는 소프트웨어에 따라서는, 전자 기기가 제스처 입력을 접수하는 상태로 되는 경우도 있으며, 제스처 입력을 접수하지 않는 상태로 되는 경우도 있다. 본 실시 형태에 의한 휴대 단말 장치에 따르면, 제스처 입력을 접수할 수 있는 경우, 궤적 데이터(13)를 화상 데이터(11)에 겹쳐서 터치 패널 디스플레이(1)에 오버레이 표시한다.
이와 같이, 본 실시 형태에 의한 휴대 단말 장치에 따르면, 제2 효과로서, 궤적 데이터(13)를 터치 패널 디스플레이(1)에 오버레이 표시함으로써, 이용자는, 휴대 단말기가 제스처 입력을 접수하는 상태에 있는 것을 판단할 수 있다. 한편, 궤적 데이터(13)를 터치 패널 디스플레이(1)에 오버레이 표시하지 않는 경우, 이용자는, 휴대 단말기가 제스처 입력을 접수하지 않는 상태에 있는 것을 판단할 수 있다. 이에 의해, 상술한 제2 문제점이 해결된다.
이상의 설명에 의해, 본 실시 형태에 의한 휴대 단말 장치에 따르면, 제스처 입력을 서포트할 수 있어, 이용자는, 휴대 단말 장치가 제스처 입력을 접수하는 상태에 있는지 여부를 판단할 수 있다.
[제4 실시 형태]
다음으로, 본 발명의 제4 실시 형태에 관한 전자 기기에 대해서 이하에 설명한다. 본 실시 형태에 관한 전자 기기는 휴대 단말 장치이다.
본 발명의 휴대 단말 장치는, 터치 패널 디스플레이와, 기억부와, 제어부를 구비하고 있다. 기억부에는, 복수 패턴의 화상 데이터 각각에 대하여, 이용자가 터치 패널 디스플레이에 터치함으로써 제스처 입력을 접수하는지 여부를 나타내는 가부 정보가 등록되고, 복수 패턴의 화상 데이터 중의, 제스처 입력을 접수하는 화상 데이터에 대하여 등록 궤적 데이터가 등록되어 있다. 등록 궤적 데이터는, 각각, 제스처 입력을 서포트하기 위한 등록 궤적과, 등록 궤적에 관련지어진 기능의 명칭을 포함하고 있다. 제어부는, 복수 패턴의 화상 데이터 중의, 이용자의 조작에 따른 화상 데이터를 터치 패널 디스플레이에 표시한다. 이 때, 제어부는, 화상 데이터에 대한 가부 정보가 제스처 입력의 접수를 나타내고 있는 경우, 기억부에 등록된 등록 궤적 데이터를 화상 데이터에 겹쳐서 터치 패널 디스플레이에 오버레이 표시한다.
본 발명은 상기 실시 형태에 한정되는 일 없이, 특허청구의 범위에 기재된 발명의 범위 내에서, 다양한 변형이 가능하며, 그것들도 본 발명의 범위 내에 포함되는 것인 것은 물론이다.
이 출원은, 2009년 6월 10일에 출원된 일본 특허 출원 제2009-138828을 기초로 하는 우선권을 주장하고, 그 개시된 모두를 여기에 인용한다.
본 발명은, 터치 패널 디스플레이를 구비한 전자 기기에 적용된다.
1, 101 : 터치 패널 디스플레이
2, 101 : 입력부
3, 103 : 제어부(CPU)
4, 104 : 기억부
5 : 컴퓨터 프로그램
6-1∼6-m : 기능
6-i : 기능
7 : 데이터베이스
11-1∼11-n : 화상 데이터
12 : 가부 정보
13-1∼13-m : 궤적 데이터
13-i : 궤적 데이터
14-1∼14-m : 기능 정보
14-i : 기능 정보
15-1∼15-m : 궤적 관련 정보
20, 220, 221 : 입력 궤적
100 : 전자 기기
111 : 표시 데이터
113, 163 : 궤적 데이터
114 : 기능 정보
115 : 궤적 관련 정보

Claims (23)

  1. 터치 패널 디스플레이와,
    복수의 표시 데이터와, 각각의 상기 표시 데이터에 관련지어진 궤적 관련 정보를 기억하는 기억부와,
    제어부
    를 구비하고,
    상기 궤적 관련 정보에는, 궤적 데이터와, 상기 궤적 데이터에 관련지어진 기능 정보가 포함되고,
    상기 제어부는, 상기 터치 패널 디스플레이에 표시하는 상기 표시 데이터에 관련지어진 상기 궤적 관련 정보에 기초하여, 제스처 입력을 접수하는지 여부를 판별하고, 상기 제스처 입력을 접수한다고 판별한 경우에는, 상기 표시 데이터에 관련지어진 상기 궤적 관련 정보에 포함되는 상기 궤적 데이터를 상기 표시 데이터에 겹쳐서 상기 터치 패널 디스플레이에 오버레이 표시하는 전자 기기.
  2. 제1항에 있어서,
    상기 제어부는, 상기 궤적 데이터와 상기 표시 데이터가 상기 터치 패널 디스플레이에 오버레이 표시되어 있을 때에 상기 제스처 입력이 행해진 경우, 상기 궤적 데이터 중으로부터, 상기 제스처 입력에 의해 입력된 입력 궤적에 일치하는 상기 궤적 데이터를 선택 궤적 데이터로서 확정하고, 상기 선택 궤적 데이터에 관련지어진 기능을 실행하는 전자 기기.
  3. 제2항에 있어서,
    상기 제어부는, 상기 선택 궤적 데이터를 확정한 후에, 상기 궤적 데이터를 상기 터치 패널 디스플레이에 표시하는 것을 종료하는 전자 기기.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제어부는, 상기 궤적 데이터와 상기 표시 데이터가 상기 터치 패널 디스플레이에 오버레이 표시되어 있을 때에 상기 제스처 입력이 행해지고, 상기 제스처 입력에 의해 입력된 입력 궤적과 상기 궤적 데이터가 일치하지 않는다고 판별한 경우, 상기 궤적 데이터를 상기 터치 패널 디스플레이에 표시하는 것을 종료하는 전자 기기.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 제어부는, 상기 궤적 데이터를 상기 표시 데이터에 겹쳐서 상기 터치 패널 디스플레이에 오버레이 표시한 후에 소정 시간 내에 상기 제스처 입력이 행해지지 않았던 경우, 상기 궤적 데이터를 상기 터치 패널 디스플레이에 표시하는 것을 종료하는 전자 기기.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 제어부는, 상기 제스처 입력을 접수하지 않는다고 판별한 경우에는, 상기 표시 데이터를 상기 터치 패널 디스플레이에 표시하는 전자 기기.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 기억부에는, 상기 표시 데이터가 상기 제스처 입력을 접수하는지 여부를 나타내는 가부 정보가 기억되고,
    상기 제어부는, 상기 가부 정보에 기초하여, 상기 제스처 입력을 접수하는지 여부를 판별하는 전자 기기.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 궤적 관련 정보에는, 복수의 궤적 데이터가 포함되고,
    상기 제어부는, 복수의 상기 궤적 데이터를 상기 표시 데이터에 겹쳐서 상기 터치 패널 디스플레이에 오버레이 표시하는 전자 기기.
  9. 제8항에 있어서,
    상기 제어부는, 각각의 상기 궤적 데이터를 상이한 표시 형식으로 상기 표시 데이터에 겹쳐서 상기 터치 패널 디스플레이에 오버레이 표시하는 전자 기기.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 제어부는, 상기 궤적 데이터에 관련지어진 상기 기능 정보를, 상기 궤적 데이터와 상기 표시 데이터에 겹쳐서 상기 터치 패널 디스플레이에 오버레이 표시하는 전자 기기.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 표시 데이터는, 이용자에 의한 상기 터치 패널 디스플레이로의 터치 조작에 의해 선택되는 전자 기기.
  12. 제1항 내지 제10항 중 어느 한 항에 있어서,
    입력부를 더 구비하고,
    상기 표시 데이터는, 이용자에 의한 상기 터치 패널 디스플레이로의 터치 조작 또는 상기 이용자에 의한 상기 입력부의 조작에 의해 선택되는 전자 기기.
  13. 터치 패널 디스플레이에 표시하는 표시 데이터에 관련지어진 궤적 관련 정보에 기초하여 제스처 입력을 접수하는지 여부를 판별하고,
    상기 제스처 입력을 접수한다고 판별한 경우에는, 상기 표시 데이터에 관련지어진 상기 궤적 관련 정보에 포함되는 궤적 데이터를 상기 표시 데이터에 겹쳐서 상기 터치 패널 디스플레이에 오버레이 표시하는 제스처 처리 방법.
  14. 제13항에 있어서,
    상기 궤적 데이터와 상기 표시 데이터가 상기 터치 패널 디스플레이에 오버레이 표시되어 있을 때에 상기 제스처 입력이 행해진 경우, 상기 궤적 데이터 중으로부터, 상기 제스처 입력에 의해 입력된 입력 궤적에 일치하는 상기 궤적 데이터를 선택 궤적 데이터로서 확정하고, 상기 선택 궤적 데이터에 관련지어진 기능을 실행하는 제스처 처리 방법.
  15. 제14항에 있어서,
    상기 선택 궤적 데이터를 확정한 후에, 상기 궤적 데이터를 상기 터치 패널 디스플레이에 표시하는 것을 종료하는 제스처 처리 방법.
  16. 제13항 내지 제15항 중 어느 한 항에 있어서,
    상기 궤적 데이터와 상기 표시 데이터가 상기 터치 패널 디스플레이에 오버레이 표시되어 있을 때에 상기 제스처 입력이 행해지고, 상기 제스처 입력에 의해 입력된 입력 궤적과 상기 궤적 데이터가 일치하지 않는다고 판별한 경우, 상기 궤적 데이터를 상기 터치 패널 디스플레이에 표시하는 것을 종료하는 제스처 처리 방법.
  17. 제13항 내지 제16항 중 어느 한 항에 있어서,
    상기 궤적 데이터를 상기 표시 데이터에 겹쳐서 상기 터치 패널 디스플레이에 오버레이 표시한 후에 소정 시간 내에 상기 제스처 입력이 행해지지 않았던 경우, 상기 궤적 데이터를 상기 터치 패널 디스플레이에 표시하는 것을 종료하는 제스처 처리 방법.
  18. 제13항 내지 제17항 중 어느 한 항에 있어서,
    상기 제스처 입력을 접수하지 않는다고 판별한 경우에는, 상기 표시 데이터를 상기 터치 패널 디스플레이에 표시하는 제스처 처리 방법.
  19. 제13항 내지 제18항 중 어느 한 항에 있어서,
    상기 제스처 입력을 접수하는지 여부를 나타내는 가부 정보를 기억부에 기억하는 제스처 처리 방법.
  20. 제19항에 있어서,
    상기 가부 정보에 기초하여, 상기 제스처 입력을 접수하는지 여부를 판별하는 제스처 처리 방법.
  21. 제13항 내지 제20항 중 어느 한 항에 있어서,
    상기 표시 데이터를, 이용자에 의한 조작에 기초하여 선택하는 제스처 처리 방법.
  22. 제13항 내지 제21항 중 어느 한 항에 있어서,
    상기 제스처 입력을 접수하지 않는다고 판별한 경우에는, 상기 표시 데이터를 상기 터치 패널 디스플레이에 표시하는 제스처 처리 방법.
  23. 컴퓨터에,
    터치 패널 디스플레이에 표시하는 표시 데이터에 관련지어진 궤적 관련 정보에 기초하여 제스처 입력을 접수하는지 여부를 판별시키고,
    상기 제스처 입력을 접수한다고 판별한 경우에는, 상기 표시 데이터에 관련지어진 상기 궤적 관련 정보에 포함되는 궤적 데이터를 상기 표시 데이터에 겹쳐서 상기 터치 패널 디스플레이에 오버레이 표시시키는
    제스처 처리 프로그램.
KR1020147013006A 2009-06-10 2010-06-03 전자 기기, 제스처 처리 방법, 및 제스처 처리 프로그램 KR101517742B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2009-138828 2009-06-10
JP2009138828 2009-06-10
PCT/JP2010/059802 WO2010143673A1 (ja) 2009-06-10 2010-06-03 電子機器、ジェスチャー処理方法、及びジェスチャー処理プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020127000628A Division KR101517655B1 (ko) 2009-06-10 2010-06-03 전자 기기, 제스처 처리 방법, 및 기록 매체

Publications (2)

Publication Number Publication Date
KR20140069359A true KR20140069359A (ko) 2014-06-09
KR101517742B1 KR101517742B1 (ko) 2015-05-04

Family

ID=43308928

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020147013006A KR101517742B1 (ko) 2009-06-10 2010-06-03 전자 기기, 제스처 처리 방법, 및 제스처 처리 프로그램
KR1020127000628A KR101517655B1 (ko) 2009-06-10 2010-06-03 전자 기기, 제스처 처리 방법, 및 기록 매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020127000628A KR101517655B1 (ko) 2009-06-10 2010-06-03 전자 기기, 제스처 처리 방법, 및 기록 매체

Country Status (6)

Country Link
US (1) US9176663B2 (ko)
EP (1) EP2442214A4 (ko)
JP (1) JP5522167B2 (ko)
KR (2) KR101517742B1 (ko)
CN (1) CN102460353B (ko)
WO (1) WO2010143673A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101718071B1 (ko) * 2015-09-17 2017-03-20 주식회사 한컴플렉슬 선택적 자유선 입력이 가능한 터치스크린 장치 및 상기 터치스크린 장치의 선택적 자유선 입력 지원 방법
KR101718070B1 (ko) * 2015-09-17 2017-03-20 주식회사 한컴플렉슬 제스처 조합 기반의 이벤트 실행이 가능한 터치스크린 장치 및 그 동작 방법
WO2017047930A1 (ko) * 2015-09-17 2017-03-23 주식회사 한컴플렉슬 선택적 자유선 입력이 가능한 터치스크린 장치 및 상기 터치스크린 장치의 선택적 자유선 입력 지원 방법
WO2017047929A1 (ko) * 2015-09-17 2017-03-23 주식회사 한컴플렉슬 제스처 조합 기반의 이벤트 실행이 가능한 터치스크린 장치 및 그 동작 방법

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5729756B2 (ja) * 2011-02-18 2015-06-03 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 携帯電子機器、その制御方法及びプログラム
KR101370830B1 (ko) * 2012-04-25 2014-03-25 한국과학기술연구원 사용자 인터페이스 구현 시스템 및 구현 방법
TWI456487B (zh) * 2012-04-26 2014-10-11 Acer Inc 行動裝置以及手勢判斷方法
JP5672262B2 (ja) * 2012-04-27 2015-02-18 コニカミノルタ株式会社 画像処理装置、その制御方法、および、その制御プログラム
WO2014024277A1 (ja) * 2012-08-08 2014-02-13 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 携帯電子機器、その制御方法及びプログラム
JP5999579B2 (ja) * 2012-09-19 2016-09-28 ブラザー工業株式会社 電子機器及び操作端末の操作表示方法
JP5772773B2 (ja) * 2012-09-19 2015-09-02 コニカミノルタ株式会社 画像処理装置、操作標準化方法および操作標準化プログラム
ES2599374T3 (es) 2012-10-08 2017-02-01 Huawei Device Co., Ltd. Método de procesamiento de la interfaz de usuario de un dispositivo de pantalla táctil y dispositivo de pantalla táctil
CN103809794B (zh) * 2012-11-13 2017-11-28 联想(北京)有限公司 一种信息处理方法以及电子设备
KR20140089238A (ko) * 2013-01-04 2014-07-14 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR20170109077A (ko) * 2013-06-25 2017-09-27 후지쯔 가부시끼가이샤 정보 처리 장치 및 기록 매체
JP5917461B2 (ja) * 2013-08-08 2016-05-18 東芝テック株式会社 情報処理装置、プログラム
JP5677623B1 (ja) * 2013-08-21 2015-02-25 三菱電機株式会社 プログラム編集用プログラム
CN104199552B (zh) * 2014-09-11 2017-10-27 福州瑞芯微电子股份有限公司 多屏显示方法、设备及系统
US10671277B2 (en) 2014-12-17 2020-06-02 Datalogic Usa, Inc. Floating soft trigger for touch displays on an electronic device with a scanning module
US11567626B2 (en) * 2014-12-17 2023-01-31 Datalogic Usa, Inc. Gesture configurable floating soft trigger for touch displays on data-capture electronic devices
CN105786375A (zh) * 2014-12-25 2016-07-20 阿里巴巴集团控股有限公司 在移动终端操作表单的方法及装置
CN105363201B (zh) * 2015-08-27 2018-09-25 腾讯科技（深圳）有限公司 提示信息的显示方法及装置
JP6470356B2 (ja) * 2017-07-21 2019-02-13 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
US20200241851A1 (en) * 2017-08-02 2020-07-30 Sony Corporation Information processing apparatus, information processing method, information processing system, program production method, and program
US11093122B1 (en) * 2018-11-28 2021-08-17 Allscripts Software, Llc Graphical user interface for displaying contextually relevant data

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05127819A (ja) * 1991-10-31 1993-05-25 Nec Corp ストロークコマンド支援方式
US7623119B2 (en) * 2004-04-21 2009-11-24 Nokia Corporation Graphical functions by gestures
JP2006099468A (ja) 2004-09-29 2006-04-13 Toshiba Corp ジェスチャ入力装置、ジェスチャ入力方法及びジェスチャ入力プログラム
JP4684745B2 (ja) 2005-05-27 2011-05-18 三菱電機株式会社 ユーザインタフェース装置及びユーザインタフェース方法
JP2007065809A (ja) * 2005-08-30 2007-03-15 Sony Corp ヘルプガイダンス表示方法、ヘルプガイダンス表示装置、情報処理装置、プリントキオスク装置及びプログラム
US7480870B2 (en) * 2005-12-23 2009-01-20 Apple Inc. Indication of progress towards satisfaction of a user input condition
JP2007213245A (ja) 2006-02-08 2007-08-23 Nec Corp 携帯端末及びプログラム
US9395905B2 (en) * 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
KR101304461B1 (ko) * 2006-12-04 2013-09-04 삼성전자주식회사 제스처 기반 사용자 인터페이스 방법 및 장치
JP2008282092A (ja) * 2007-05-08 2008-11-20 Canon Inc ジェスチャーコマンドを覚えながら操作できる情報処理装置
KR20080104858A (ko) * 2007-05-29 2008-12-03 삼성전자주식회사 터치 스크린 기반의 제스쳐 정보 제공 방법 및 장치, 그장치를 포함하는 정보 단말 기기
JP4378519B2 (ja) * 2007-06-29 2009-12-09 シャープ株式会社 情報表示装置
JP4897655B2 (ja) 2007-12-05 2012-03-14 本田技研工業株式会社 車両用自動変速機

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101718071B1 (ko) * 2015-09-17 2017-03-20 주식회사 한컴플렉슬 선택적 자유선 입력이 가능한 터치스크린 장치 및 상기 터치스크린 장치의 선택적 자유선 입력 지원 방법
KR101718070B1 (ko) * 2015-09-17 2017-03-20 주식회사 한컴플렉슬 제스처 조합 기반의 이벤트 실행이 가능한 터치스크린 장치 및 그 동작 방법
WO2017047930A1 (ko) * 2015-09-17 2017-03-23 주식회사 한컴플렉슬 선택적 자유선 입력이 가능한 터치스크린 장치 및 상기 터치스크린 장치의 선택적 자유선 입력 지원 방법
WO2017047929A1 (ko) * 2015-09-17 2017-03-23 주식회사 한컴플렉슬 제스처 조합 기반의 이벤트 실행이 가능한 터치스크린 장치 및 그 동작 방법
US10540088B2 (en) 2015-09-17 2020-01-21 Hancom Flexcil, Inc. Touch screen device capable of executing event based on gesture combination and operating method thereof
US10545661B2 (en) 2015-09-17 2020-01-28 Hancom Flexcil, Inc. Touch screen device allowing selective input of free line, and method of supporting selective input of free line in touch screen device

Also Published As

Publication number Publication date
WO2010143673A1 (ja) 2010-12-16
EP2442214A4 (en) 2015-05-20
US9176663B2 (en) 2015-11-03
KR20120027504A (ko) 2012-03-21
JP5522167B2 (ja) 2014-06-18
CN102460353B (zh) 2015-09-30
CN102460353A (zh) 2012-05-16
EP2442214A1 (en) 2012-04-18
KR101517742B1 (ko) 2015-05-04
KR101517655B1 (ko) 2015-05-04
US20120086662A1 (en) 2012-04-12
JPWO2010143673A1 (ja) 2012-11-29

Similar Documents

Publication Publication Date Title
KR101517655B1 (ko) 전자 기기, 제스처 처리 방법, 및 기록 매체
JP4775332B2 (ja) 画像選択装置および画像選択方法
KR100924669B1 (ko) 정보 처리 장치, 화상 이동 지시 방법 및 정보 기억 매체
KR101665223B1 (ko) 표시 제어 장치, 전자 기기, 기록 매체 및 표시 장치의 제어 방법
JP5811603B2 (ja) 情報処理端末および方法、プログラム、並びに記録媒体
EP2631816A1 (en) Non-temporary computer-readable medium in which data processing terminal, data search method and control program are stored
US20130229341A1 (en) Handwriting input device and computer-readable medium
JP2014107848A (ja) 文字入力装置、文字入力方法及びプログラム
JP2009009059A (ja) 幾何学習補助装置およびその制御プログラム
CN103425430A (zh) 在移动终端中支持单手输入文字的方法和设备
JP3855696B2 (ja) 手書き文字入力装置及びそれを実現するプログラム
JP5345407B2 (ja) 名称入力装置および名称入力方法
US20190220254A1 (en) Programming support device, programming support method, and non-transitory recording medium
JP2007086976A (ja) 携帯機器
JP2013097655A (ja) 情報検索装置、情報検索方法、および情報検索プログラム
JP5716718B2 (ja) 中国語表示制御装置、中国語表示制御プログラム及び中国語表示制御方法
JP2001195170A (ja) 携帯型電子機器、入力制御装置、及び記憶媒体
JP2008257551A (ja) 情報処理装置、文字入力方法、および、文字入力プログラム
US20160048321A1 (en) Document viewing device and non-transitory computer-readable recording medium having program stored thereon
CN112991829B (zh) 学习辅助装置、学习辅助方法以及记录介质
KR101141728B1 (ko) 소형전자장치에서의 문자 입력 장치 및 방법
US20190250811A1 (en) Input Accepting Device
JP2013162202A (ja) 情報処理装置、情報処理方法及びプログラム
JP2022124871A (ja) 情報処理装置及び情報処理プログラム
JP2015043145A (ja) 手書き文字入力装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180412

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190412

Year of fee payment: 5