JP6230836B2 - タッチ及びジェスチャー入力を用いた端末の制御方法及びその端末 - Google Patents

タッチ及びジェスチャー入力を用いた端末の制御方法及びその端末 Download PDF

Info

Publication number
JP6230836B2
JP6230836B2 JP2013147767A JP2013147767A JP6230836B2 JP 6230836 B2 JP6230836 B2 JP 6230836B2 JP 2013147767 A JP2013147767 A JP 2013147767A JP 2013147767 A JP2013147767 A JP 2013147767A JP 6230836 B2 JP6230836 B2 JP 6230836B2
Authority
JP
Japan
Prior art keywords
terminal
switching
input
touch input
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013147767A
Other languages
English (en)
Other versions
JP2014021983A (ja
Inventor
鎮 龍 金
鎮 龍 金
ジン 泳 全
ジン 泳 全
志 営 姜
志 営 姜
大 成 金
大 成 金
宝 ヨン 李
宝 ヨン 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2014021983A publication Critical patent/JP2014021983A/ja
Application granted granted Critical
Publication of JP6230836B2 publication Critical patent/JP6230836B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Description

本発明は、タッチ及びジェスチャー入力を用いた端末の制御方法及びその端末に係り、特に、タッチ入力が維持される状態でジェスチャー入力が発生すれば、任意のオブジェクトに対するスイッチング動作を行うようにする端末の制御方法及びその端末に関する。
スマート電子機器が発展することによって、ユーザがどの状況でも端末を便利に制御できるようにタッチスクリーンをはじめとして多様な入力手段が開発された。これにより、端末がタッチ、モーション、ジェスチャー入力などを正確に認識できるようにする研究が行われており、このような技術は、主にセンサをベースにして発達してきた。
端末が多様な方法による入力を認知することが可能となるにつれて、さらに手軽な操作で端末を制御しようとするユーザのニーズは増加している。
しかし、現在の端末は、多様な入力を感知できるにも拘わらず、対応する端末の動作制御に対して、その感知能力を十分に活用できておらず、機器操作の便宜性を追求するユーザのニーズを十分に満たしていない。
本発明の目的は、センサを用いてタッチ入力及びジェスチャー入力を感知し、タッチ入力のみでは処理し難い動作を、より直観的で手軽に実行できる端末の制御方法及びその端末の提供にある。
また、本発明の他の目的は、タッチ入力の維持状態でジェスチャー入力が発生すれば、任意のオブジェクトに対するスイッチング動作を行うようにするタッチ及びジェスチャー入力を用いた端末の制御方法及びその端末の提供にある。
前記課題を解決するための本発明に係る端末の制御方法は、タッチ入力を感知するステップと、前記タッチ入力に対応する少なくとも一つのオブジェクトを選択するステップと、ジェスチャー入力を感知するステップと、前記オブジェクトを前記タッチ入力に対応して固定（ｈｏｌｄ）した状態でスイッチングを行うステップと、を含むことを特徴とする。
また、前記オブジェクトは、アイコン、テキスト、イメージ、ファイル、フォルダ、ウェブブラウザ上のコンテンツ、ウェブアドレス、ウェブリンクのうち少なくとも一つを含むことを特徴とする。
また、前記オブジェクトを選択するステップは、前記オブジェクトを活性状態、拡大又は縮小状態、シェーディング状態のうち少なくとも一つの形態で表示するステップをさらに含むことを特徴とする。
また、前記ジェスチャー入力を感知するステップは、前記タッチ入力が維持された状態で前記ジェスチャー入力を感知するステップを含むことを特徴とする。
また、前記ジェスチャー入力は、任意の方向（ｃｅｒｔａｉｎ ｄｉｒｅｃｔｉｏｎ）にスワイプする（ｓｗｉｐｅ）ジェスチャー入力であることを特徴とする。
また、前記スイッチングは、ページスイッチング、フォルダスイッチング、タブ（ｔａｂ）スイッチング、アプリケーションスイッチング、作業スイッチングのうち何れか一つであることを特徴とする。
また、前記スイッチングを行うステップは、前記選択されたオブジェクトを前記タッチ入力に対応して固定（ｈｏｌｄ）するステップと、少なくとも一つのオブジェクトを含む複数のページで構成される画面上で前記選択されたオブジェクトを除いた残りのオブジェクトに対するページスイッチングを行うステップと、を含むことを特徴とする。
また、前記スイッチングを行うステップは、前記選択されたオブジェクトを前記タッチ入力に対応して固定するステップと、前記選択されたオブジェクトのファイル経路に基づいて前記ファイル経路における上位フォルダ又は下位フォルダに、若しくは、フォルダリストの次又は前のフォルダに、移動するフォルダスイッチングを行うステップと、を含むことを特徴とする。
また、前記スイッチングを行うステップは、前記選択されたオブジェクトを前記タッチ入力に対応して固定するステップと、複数のタブで構成されるウェブブラウザのタブスイッチングを行うステップと、を含むことを特徴とする。
また、前記スイッチングを行うステップは、前記選択されたオブジェクトを前記タッチ入力に対応して固定するステップと、予め設定されたリスト又は現在駆動中のリストに基づいてアプリケーション又は作業（ｔａｓｋ）スイッチングを行うステップと、を含むことを特徴とする。
また、前記アプリケーション又は作業スイッチングを行うステップは、前記選択されたオブジェクトを前記アプリケーション又は前記作業に最適化したフォーマットに整列して表示するステップを含むことを特徴とする。
また、前記タッチ入力の終了（ｒｅｌｅａｓｅ）を感知するステップと、前記選択されたオブジェクトに対して前記タッチ入力の終了に対応する動作を行うステップと、をさらに含むことを特徴とする。
また、前記タッチ入力の終了に対応する動作は、前記オブジェクトを前記タッチ入力に対応する位置に整列する動作、前記選択されたオブジェクトのリンクをウェブブラウザのタブで駆動する動作、前記オブジェクトをアプリケーション又は作業画面上に貼り付ける動作のうち何れか一つであることを特徴とする。
また、前記課題を解決するための本発明に係る端末は、タッチ入力及びジェスチャー入力を感知する入力部と、前記タッチ入力に対応する少なくとも一つのオブジェクトを選択し、前記ジェスチャー入力に対応して前記オブジェクトを前記タッチ入力に対応して固定（ｈｏｌｄ）した状態でスイッチングを行う制御部と、前記制御部の動作による画面を表示する表示部と、を含むことを特徴とする。
また、前記制御部は、前記オブジェクトを活性状態、拡大又は縮小状態、シェーディング状態のうち少なくとも一つの形態で表示するように前記表示部を制御することを特徴とする。
また、前記入力部は、前記タッチ入力が維持された状態で前記ジェスチャー入力を感知することを特徴とする。
また、前記スイッチングは、ページスイッチング、フォルダスイッチング、タブスイッチング、アプリケーションスイッチング、作業スイッチングのうち何れか一つであることを特徴とする。
また、前記制御部は、前記選択されたオブジェクトを前記タッチ入力に対応して固定（ｈｏｌｄ）し、少なくとも一つのオブジェクトを含む複数のページで構成される画面上で、前記選択されたオブジェクトを除いた残りのオブジェクトに対するページスイッチングを行うことを特徴とする。
また、前記制御部は、前記選択されたオブジェクトを前記タッチ入力に対応して固定し、前記選択されたオブジェクトのファイル経路に基づいて前記ファイル経路における上位フォルダ又は下位フォルダに、若しくは、フォルダリストの次の、又は前のフォルダに、移動するフォルダスイッチングを行うことを特徴とする。
また、前記制御部は、前記選択されたオブジェクトを前記タッチ入力に対応して固定し、複数のタブで構成されるウェブブラウザのタブスイッチングを行うことを特徴とする。
また、前記制御部は、前記選択されたオブジェクトを前記タッチ入力に対応して固定し、予め設定されたリスト又は現在駆動中のリストに基づいてアプリケーション又は作業（ｔａｓｋ）スイッチングを行うことを特徴とする。
また、前記制御部は、前記選択されたオブジェクトを前記アプリケーション又は前記作業に最適化したフォーマットに整列して表示するように前記表示部を制御することを特徴とする。
また、前記入力部は、前記タッチ入力の終了（ｒｅｌｅａｓｅ）を感知し、前記制御部は、前記選択されたオブジェクトに対して前記タッチ入力の終了に対応する動作を行うことを特徴とする。
本発明に係るタッチ及びジェスチャー入力を用いた端末の制御方法及びその端末によれば、タッチ入力のみで処理し難い動作を、タッチ及びジェスチャー入力を組み合わせた新しいインターフェースを介して、より直観的で手軽に実行できる。
本発明に係る端末の制御方法を実現する端末の構成を示したブロック図である。 カメラセンサ及び赤外線センサを備える端末の一例を示した図である。 本発明に係る端末の制御方法を示したフローチャートである。 タッチ入力の一例を示した図である。 タッチ入力及びジェスチャー入力の一例を示した図である。 ページスイッチングの一例を示した図である。 フォルダスイッチングの一例を示した図である。 タブスイッチングの一例を示した図である。 アプリケーション又は作業スイッチングの一例を示した図である。
本発明は、タッチ及びジェスチャー入力を用いた端末の制御に適用可能である。
また、本発明は、タッチ及びジェスチャー入力を感知する端末であって、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、携帯端末（Ｐｏｒｔａｂｌｅ Ｔｅｒｍｉｎａｌ）、移動端末（Ｍｏｂｉｌｅ Ｔｅｒｍｉｎａｌ）、個人情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）端末、ノートパソコン、ノートパッド（Ｎｏｔｅ Ｐａｄ）、ワイブロ（Ｗｉｂｒｏ）端末、タブレットＰＣ（Ｔａｂｌｅｔ ＰＣ）、スマートＴＶ、スマート冷蔵庫などの一般的な電子端末だけでなく、タッチ及びジェスチャー入力を感知する全ての装置に適用可能である。
本明細書で使用される技術的用語は、単に特定の実施例を説明するために使用されており、本発明の思想を限定しないことに留意されなければならない。また、本明細書で使用される技術的用語は、本明細書で特別に他の意味に定義されない限り、本発明が属する分野で通常の知識を有する者によって一般的に理解される意味に解釈されるべきであり、過度に包括的な意味に解釈されても、過度に縮小された意味に解釈されてもならない。
また、本明細書で使用される単数の表現は、文脈上明らかに異なるように意味しない限り、複数の表現を含む。本明細書で「構成される」又は「含む」などの用語は、明細書上に記載された様々な構成要素、又は、様々なステップを必ず全部含むものと解釈してはならない。
以下、添付された図面を参照して本発明の実施例をより具体的に説明する。
図１は、本発明に係る端末の制御方法を実現する端末の構成を示したブロック図である。
図１を参照すれば、端末１００は、入力部１１０、制御部１２０、格納部１３０、及び表示部１４０を含んで構成される。
入力部１１０は、ユーザによる入力によって操作信号を生成する。入力部１１０は、タッチセンサ１１１、近接センサ１１２、電磁気センサ１１３、カメラセンサ１１４、及び赤外線センサ１１５を含んで構成される。
タッチセンサ１１１は、ユーザのタッチ入力を感知する。タッチセンサ１１１は、例えば、タッチフィルム、タッチシート、タッチパッドなどの形態である。タッチセンサ１１１は、タッチ入力を感知し、感知されたタッチ信号を制御部１２０に伝達する。制御部１２０は、タッチ信号を分析してタッチ信号に対応する動作を行う。また、感知されたタッチ信号に対応する情報が表示部１４０上に表示される。タッチセンサ１１１は、多様な入力手段によってユーザのタッチ入力による操作信号の入力を受ける。タッチセンサ１１１は、ユーザの人体（例えば、手）や物理的な道具、スタイラスペン（Ｓｔｙｌｕｓ Ｐｅｎ）、及びスタイラスペンに含まれる操作ボタンなどによって操作信号の入力を受ける。実現方式によっては、タッチセンサ１１１は、直接タッチ入力だけでなく、一定の距離内の近接入力を感知する。
近接センサ１１２は、入力部１１０の検出面で生じる物体の有無、アクセス、動き、方向、速度、形態などを光、又は電磁気力を利用して機械的接触なく検出する。近接センサ１１２は例えば、透過型光電センサ、直接反射型光電センサ、ミラー反射型光電センサ、高周波発振型近接センサ、静電容量型近接センサ、磁気形近接センサ、赤外線近接センサのうち何れか 一つである。
電磁気センサ１１３は、電磁気場の強さの変化によってタッチ又は近接入力を感知し、ＥＭＲ（Ｅｌｅｃｔｒｏ Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ）又はＥＭＩ（Ｅｌｅｔｒｏ Ｍａｇｎｅｔｉｃ Ｉｎｔｅｒｆｅｒｅｎｃ）方式の入力パッド形態で構成される。電磁気センサ１１３は、磁場を誘導するコイルを含んで構成され、電磁気センサ１１３で発生した磁場のエネルギ変化を起こす共振回路が含まれた物体のアクセスを感知する。電磁気センサ１１３は、共振回路を含む物体であって、スタイラスペン等による入力を感知することができる。電磁気センサ１１３は、端末１００に直接接触する入力だけでなく、端末１００に近接するように行われる近接入力又はホバリング（ｈｏｖｅｒｉｎｇ）等を感知する。
カメラセンサ１１４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）又はＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子を利用してレンズを介して入射された映像（光）を認識してデジタル信号に変える。カメラセンサ１１４は、生成されたデジタル信号を格納部１３０に臨時又は永久的に格納する。カメラセンサ１１４は、認識された映像内の特徴点を検出し、連続的に追跡しながらジェスチャー入力を感知できる。図２を参照すれば、カメラセンサ１１４は、端末１００の前面及び／又は後面に位置するレンズを介して映像を認識し、素子を介して映像をデジタル信号に変換できる。
赤外線センサ１１５は、ＩＲセンサ又はＬＥＤセンサとも称し、赤外線に該当する周波数の光を物体に発光する発光部と、端末１００に近接した物体（例えば手）から反射された光を受信する受光部とを含んで構成される。赤外線センサ１１５は、発光部から発生した赤外線が物体に当たって反射された光を受光部で受光し、反射された光の変化量を感知することにより、物体の動き及び物体までの距離を感知する。図２を参照すれば、赤外線センサ１１５は、端末１００の前面及び／又は後面に位置して、端末１００の外部に赤外線を発光し、端末１００の近接距離に位置するユーザの人体（例えば手）等から反射された赤外線を受光する。
本発明の実施例によれば、入力部１１０は、センサを用いてタッチ入力及びジェスチャー入力を感知する。入力部１１０は、同時又は順次に発生するタッチ入力及びジェスチャー入力を感知し、タッチ入力が維持された状態でジェスチャー入力を感知する。
制御部１２０は、端末１００の全般的な動作のために各構成要素を制御する。例えば、制御部１２０は、入力部１１０を介して感知された入力によって端末１００の動作又は機能を制御する。
本発明の実施例によれば、制御部１２０は、タッチ入力及びジェスチャー入力に基づいてスイッチングを行う。スイッチングは、例えば、ページスイッチング、フォルダスイッチング、タブスイッチング、アプリケーションスイッチング、及び作業スイッチングのうち何れか一つであってもよい。
制御部１２０のより具体的な動作は、下記で図面を参照して詳細に説明する。
格納部１３０は、端末１００のためのプログラム又は命令を格納する。制御部１２０は、格納部１３０に格納されたプログラム又は命令を行う。
格納部１３０は例えば、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えばＳＤ又はＸＤメモリなど）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも一つのタイプの格納媒体を含む。
本発明の実施例によれば、格納部１３０は、少なくとも一つのアイコン、テキスト、イメージ、ファイル、フォルダ、又はこれらを含むコンテンツ、アプリケーション、サービスなどを格納する。また、格納部１３０は、ウェブブラウザを駆動するためのアプリケーション、サービスを格納できる。
本発明の実施例によれば、格納部１３０は、入力部１１０を介して感知された入力に対応する動作情報を格納する。例えば、格納部１３０は、タッチ入力及びジェスチャー入力に対応するスイッチング動作に対する情報を格納する。
表示部１４０は、端末１００で処理される情報を表示（出力）する。例えば、表示部１５０は、音声感知、状況認知、及び機能制御に関連するＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）又はＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する。
表示部１４０は例えば、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）、薄膜トランジスタ液晶ディスプレイ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ−ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＴＦＴ ＬＣＤ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＯＬＥＤ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）、３次元ディスプレイ（３Ｄ ｄｉｓｐｌａｙ）のうち少なくとも一つを含む。
表示部１４０は、入力部１１０を構成するタッチセンサと共にレイヤ構造を成してタッチスクリーンとして動作する。このとき、タッチスクリーン動作可能な表示部１４０は、入力装置及び出力装置の双方の機能を行う。
本発明の実施例によれば、表示部１４０は、アイコン、テキスト、イメージ、ファイルリスト、フォルダリストを表示する。表示部１４０は、ウェブブラウザ及びウェブブラウザに含まれたコンテンツ、ウェブアドレス、ウェブリンクのうち少なくとも一つを表示する。
本発明の実施例によれば、表示部１４０は、制御部１２０のスイッチング動作によって画面上に表示された少なくとも一つのオブジェクトを動的に表示する。例えば、表示部１４０は、ページスイッチングに対応して画面上に表示された少なくとも一つのオブジェクトを或る方向（ｃｅｒｔａｉｎ ｄｉｒｅｃｔｉｏｎ）に動く形態で表示できる。
図１の端末１００に示された構成要素は必須ではないので、それよりも多くの構成要素を有するか又はそれよりも少ない構成要素を有する端末１００が具現できる。
図３は、本発明に係る端末の制御方法を示したフローチャートである。
図３を参照すれば、本発明に係る端末の制御方法は、次のような順序で行われる。
まず、端末１００は、タッチ入力の感知可否を判断する（Ｓ２１０）。
端末１００は、少なくとも一つの順次的又は同時的なタッチ入力を感知する。端末１００は、具現例によっては、タッチ入力の代わりに近接入力、圧力入力などを感知できる。
タッチ入力が感知されれば、端末１００は、オブジェクトを選択する（Ｓ２２０）。
端末１００は、感知されたタッチ入力の発生位置を判断する。例えば、端末１００は、端末１００上にタッチ入力が発生した位置に対する２次元又は３次元の座標を抽出する。さらに、端末１００は、タッチ入力に対する圧力、持続時間、動きの発生有無（例えば、ドラッグ、複数のタッチ入力間の距離変化、任意の形状形成などの動き）などを判断する。
端末１００は、タッチ入力に対応する少なくとも一つのオブジェクトを選択する。端末１００は、タッチ入力が発生した位置に対応する少なくとも一つのオブジェクトを選択する。オブジェクトは例えば、アイコン、テキスト、イメージ、ファイル、フォルダ、ウェブブラウザ上のコンテンツ、ウェブアドレス、ウェブリンクのうち少なくとも一つである。端末１００は、オブジェクトを選択した後、選択されたオブジェクトを活性状態、拡大又は縮小状態、シェーディング状態（ｓｈａｄｅｄ）のうち少なくとも一つの形態で表示する。このとき、端末１００は、オブジェクトに対するタッチ入力が発生した後、予め設定された時間が経過したか否かによって、選択されたオブジェクトを活性状態、拡大又は縮小状態、シェーディング状態のうち少なくとも一つの形態で表示する。
例えば、図４を参照すれば、端末１００は、タッチ入力が感知されることによって、タッチ入力に対応する待機画面上のアイコンを選択する。また、端末１００は、選択されたアイコンをシェーディング状態に表示する。
端末１００は、タッチ入力の感知後にタッチ入力の動きが発生した場合、選択されたオブジェクトをタッチ入力の動きに応じて移動して表示する。例えば、端末１００は、タッチ入力の感知後、タッチ入力が或る方向に移動する動きが発生した場合、選択されたオブジェクトをタッチ入力の移動と同じ方向に移動して表示する。端末１００は、選択されたオブジェクトが移動可能な状態であることを表示する。例えば、端末１００は、選択されたオブジェクトに附加的なインジケータを表示するか、選択されたオブジェクトを振動、拡大又は縮小、シェーディング処理されるように表示し、オブジェクトが移動可能な状態であることを表示する。
次に、端末１００は、ジェスチャー入力の感知可否を判断する（Ｓ２３０）。
端末１００は、或る方向にスワイプする（ｓｗｉｐｅ）ジェスチャー、任意の形状を示すジェスチャー、任意の形状を形成するための動きジェスチャーなどを感知する。端末１００は、ジェスチャー入力の方向、速度、形状、端末１００からの距離などを感知する。具現例によっては、端末１００は、ジェスチャー入力の代わりに近接入力、圧力入力などを感知する。
端末１００は、タッチ入力が維持された状態でジェスチャー入力を感知する。例えば、図５を参照すれば、端末１００は、タッチ入力が感知され、感知された入力が続けて維持される状態でジェスチャー入力の発生を感知する。
ジェスチャー入力が感知されれば、端末１００は、スイッチングを行う（Ｓ２４０）。
端末１００は、感知されたジェスチャー入力に対応するスイッチングを行う。端末１００は、まず、ジェスチャー入力に対応するスイッチングを検索し、対応するスイッチングが存在すれば、該当スイッチングを行う。
スイッチングは、ページスイッチング、フォルダスイッチング、タブスイッチング、アプリケーションスイッチング、作業スイッチングのうち何れか一つであってもよい。
ページスイッチングは、選択されたオブジェクトを除いた残りのオブジェクトに対してページを移動する動作で構成される。ページスイッチングは、少なくとも一つのオブジェクトを含む複数のページで構成され、何れか一つのページに対して表示され、ユーザの要請によってページをめくるように構成される表示画面に対して行われる。例えば、ページスイッチングは、待機画面、ファイル又はフォルダリスト、選択可能なメニューリスト、文書、ｅ−ｂｏｏｋ、フォンブックなどの表示画面に対して行われる。
端末１００は、選択されたオブジェクトをタッチ入力に対応して固定（ｈｏｌｄ）し、表示画面上で選択されたオブジェクトを除いた残りのオブジェクトに対するページスイッチングを行う。即ち、端末１００は、選択されたオブジェクトがタッチ入力に対応する位置に固定された状態で、画面上に表示されたページの残りのオブジェクト（背景画面を含んでもよい）を左右又は上下に移動して他のページを表示することができる。このとき、ページスイッチングの方向及びページスイッチングの回数は、ジェスチャー入力の方向（左右又は上下）又は形状（例えば、任意の数を示す手の形）に対応して決定される。ページスイッチングによって画面には、表示されていたオブジェクトが消えて、他のページに含まれたオブジェクトが表示される。端末１００は、ジェスチャー入力に対応する他のページが存在しない場合、ページスイッチングの動作を行わないか又はページが存在しないという内容のメッセージ、アイコン、イメージなどを表示する。
例えば、図６を参照すれば、端末１００は、タッチ入力に対応する待機画面のアイコンを選択する。このとき、端末１００は、選択されたアイコンをシェーディング処理して表示する。そして、端末１００は、ジェスチャー入力を感知することができる。端末１００は、タッチ入力が維持される状態で、ジェスチャー入力を感知する。ジェスチャー入力はここでは、右側から左側方向にスワイプするジェスチャー入力である。端末１００は、選択されたアイコンをタッチ入力に対応する位置に固定し、ページスイッチングを行う。即ち、端末１００は、ジェスチャー入力に対応する方向にページを移動する。端末１００は、選択されたオブジェクトを除いて画面上に表示された残りのオブジェクトを左側に移動して、右側に存在するページを画面上に表示させる。
フォルダスイッチングは、選択されたオブジェクトのファイル経路に基づいて、フォルダ間を移動（ｎａｖｉｇａｔｅ）する動作で構成される。フォルダスイッチングは、ファイル又はフォルダに対して行われる。例えば、フォルダスイッチングは、文書、イメージ、写真、ｅ−ｂｏｏｋ、音楽、アプリケーション実行ファイル又はショートカットアイコン、プログラム実行ファイル又はショートカットアイコン、提供サービス実行ファイル、又はショートカットアイコン、及びこれらを含むフォルダに対して行われる。
端末１００は、選択されたオブジェクトをタッチ入力に対応して固定（ｈｏｌｄ）し、選択されたオブジェクトのファイル経路を判断する。端末１００は、ファイル経路に基づいて、ファイル経路における上位フォルダ又は下位フォルダに、若しくは、フォルダリストの前又は次のフォルダに、フォルダを移動する。このとき、フォルダスイッチングの上位フォルダ又は下位フォルダの決定、或いは、同一階層の前又は次のフォルダの決定は、ジェスチャー入力の方向（左右又は上下）又は形状（例えば、任意の数を示す手の形）に対応して決定される。フォルダスイッチングによって画面には、表示されていたオブジェクトが消えて、他のフォルダに含まれたオブジェクトが表示される。端末１００は、ジェスチャー入力に対応する他のフォルダが存在しない場合、フォルダスイッチングの動作を行わないか又はフォルダが存在しないという内容のメッセージ、アイコン、イメージなどを表示する。
例えば、図７を参照すれば、端末１００は、ユーザのタッチ入力に対応するＡｌｂｕｍ １フォルダの写真を選択する。このとき、端末１００は、選択された写真をシェーディング処理して表示する。そして、端末１００は、ジェスチャー入力を感知する。端末１００は、タッチ入力が維持される状態で、ジェスチャー入力を感知する。ジェスチャー入力は例えば、右側から左側方向にスワイプするジェスチャー入力である。端末１００は、選択された写真をタッチ入力に対応する位置に固定し、フォルダスイッチングを行う。即ち、端末１００は、ジェスチャー入力に対応する方向にフォルダを移動する。端末１００は、選択されたオブジェクトを除いて画面上に表示された残りのオブジェクトを除去し、Ａｌｂｕｍ １の次のフォルダであるＡｌｂｕｍ ２に存在する写真リストを画面上に表示する。
タブ（ｔａｂ）スイッチングは、複数のタブで構成されるアプリケーション又はプログラムのタブを移動する動作で構成される。タブスイッチングは、複数のタブで構成されるウェブブラウザ、メニューウィンドウ、ｅ−ｂｏｏｋ、文書ビューアーなどのアプリケーション、又はプログラムに対して行われる。
端末１００は、選択されたオブジェクトをタッチ入力に対応して固定（ｈｏｌｄ）し、タブスイッチングを行う。即ち、端末１００は、選択されたオブジェクトがタッチ入力に対応する位置に固定された状態で、現在表示されたタブ及び現在表示されたタブに含まれる少なくとも一つのオブジェクトを左右又は上下に移動して、他のタブ及び他のタブに含まれる少なくとも一つのオブジェクトを表示する。このとき、タブスイッチングの方向及び回数は、ジェスチャー入力の方向（左右又は上下）若しくは形状（例えば、任意の数を示す手の形）に対応して決定される。タブスイッチングによって画面には、表示されていたオブジェクトが消えて、他のタブに含まれるオブジェクトが表示される。端末１００は、ジェスチャー入力に対応する他のタブが存在しない場合、タブスイッチングの動作を行わないか又は移動するタブが存在しないという内容のメッセージ、アイコン、イメージなどを表示できる。
例えば、図８を参照すれば、端末１００は、タッチ入力に対応して複数のタブで構成されるウェブブラウザのうち現在タブに表示された少なくとも一つのオブジェクトを選択する。ここでオブジェクトは例えば、ウェブページのアドレス、任意のウェブページに対するリンクを含むテキスト、イメージ、アイコン、フラッシュなどの中の何れかである。このとき、端末１００は、選択されたオブジェクトを色、字体、太さなどの変更、大きさ調節、シェーディング処理などによって表示する。端末１００は、タッチ入力が維持される状態で、ジェスチャー入力を感知する。ジェスチャー入力は例えば、右側から左側方向にスワイプするジェスチャー入力である。端末１００は、選択されたオブジェクトをタッチ入力が対応する位置に固定し、タブスイッチングを行う。即ち、端末１００は、ジェスチャー入力に対応する方向にタブを移動する。端末１００は、選択されたオブジェクトを除いて画面上に表示された残りのオブジェクトを消去して、別のタブに属するオブジェクトを選択されたオブジェクトと共にウェブブラウザ画面上に表示する。
アプリケーション又は作業スイッチングは、選択されたオブジェクトに対してアプリケーション又は作業画面を切り替える動作を含む。アプリケーション又は作業スイッチングは、ユーザ又は端末の製造者によって予め設定されたアプリケーション又は作業間のスイッチングであるか、又は現在駆動中のアプリケーション又は作業間のスイッチングである。端末１００は、アプリケーション又は作業スイッチングの際に移動するアプリケーション又は作業のリストを、ユーザ又は端末の製造者から入力として受けて、これを格納する。又は、端末１００は、現在駆動中のアプリケーション又は作業を識別し、アプリケーション又は作業の選好度、利用頻度、駆動された時間などに基づいてスイッチングを行う。アプリケーション又は作業は例えば、メッセージ、ＳＮＳ、メール作成、メモ作成、通話のうち少なくとも一つである。
端末１００は、タッチ入力に対応して選択されたオブジェクトを固定（ｈｏｌｄ）し、選択されたオブジェクトを除いた残りのオブジェクトに対するアプリケーション又は作業スイッチングを表示画面上で行うことができる。即ち、端末１００は、選択されたオブジェクトがタッチ入力に対応する位置に固定された状態で、画面上に表示されたページの残りのオブジェクト（背景画面を含んでもよい）を左右又は上下に移動して、他のアプリケーション又は作業ウィンドウを表示する。このとき、スイッチングの方向及びスイッチングの回数は、ジェスチャー入力の方向（左右又は上下）又は形状（例えば、任意の数を示す手の模様）に対応して決定される。アプリケーション又は作業スイッチングによって画面には、表示されていたアプリケーション、作業、及びこれらを構成するオブジェクトが画面から消えて、他のアプリケーション、他の作業、及びこれらを構成するオブジェクトが表示される。端末１００は、ジェスチャー入力に対応する他のアプリケーション又は作業が存在しない場合には、スイッチング動作を行わないか、アプリケーション又は作業が存在しないという内容のメッセージ、アイコン、イメージなどを表示する。
例えば、図９を参照すれば、端末１００は、タッチ入力に対応するイメージ（「Ａｌｂｕｍ１」中の１つのオブジェクト）を選択する。このとき、端末１００は、選択されたイメージを拡大又は縮小、シェーディング、振動モーションなどで処理して表示できる。そして、端末１００は、ジェスチャー入力を感知する。端末１００は、タッチ入力が維持される状態で、ジェスチャー入力を感知できる。ジェスチャー入力は例えば、右側から左側方向にスワイプするジェスチャー入力である。端末１００は、選択されたイメージをタッチ入力に対応する位置に固定し、アプリケーション又は作業スイッチングを行う。端末１００は、ジェスチャー入力に対応する方向にスイッチングを行う。端末１００は、選択されたイメージを除いて画面上に表示された残りのオブジェクトを左側に移動して消去し、前又は次の作業の画面を表示する。
端末１００は、アプリケーション又は作業スイッチングに対応して選択されたオブジェクトをアプリケーション又は作業に最適化したフォーマットに整列して表示する。端末１００は、選択されたオブジェクトをアプリケーション又は作業に追加（ａｄｄ）、挿入（ｉｎｓｅｒｔ）、貼り付け（ｐａｓｔｅ）、添付（ａｔｔａｃｈ）した時、最適化したフォーマットで表示し、プレビューを提供する。端末１００は、オブジェクトを拡大、縮小、回転、拡張子変更、又は解像度変更して表示し、更に、オブジェクトが追加、挿入、貼り付け、添付されたことを示すテキスト、イメージ、アイコンなどを共に表示できる。
例えば、図９を参照すれば、端末１００は、アプリケーションが文字メッセージにスイッチングされた時、選択されたイメージをメッセージ入力ウィンドウに添付されたフォーマットで表示する。このとき、端末１００は、文字メッセージにイメージが添付されたことを示すためのアイコンなどを共に表示する。また、端末１００は、アプリケーションがメールにスイッチングされた時、選択されたイメージをメール入力ウィンドウに添付されたフォーマットで表示する。端末１００は、メール作成のためのｈｔｍｌ、ｘｍｌなどのコードにイメージを添付するためのコードを追加して、イメージをメールに添付されたフォーマットで表示する。このとき、端末１００は、メールにイメージファイルが添付されたことを示すためのファイル名、アイコン、ファイル添付メニューなどを共に表示する。
次に、端末１００は、タッチ入力終了（ｒｅｌｅａｓｅ）の有無を判断する（Ｓ２５０）。
端末１００は、スイッチングが行われた後、又はジェスチャー入力が感知されない場合には、タッチ入力終了の有無を判断する。端末１００は、ユーザが端末１００のタッチスクリーンからタッチ入力ツール（ユーザの指先を含む）を取り外したことを検出して、タッチ入力が終了したか否かを判断する。
タッチ入力が終了しなければ、端末１００は、ジェスチャー入力の感知有無によってスイッチングを繰り返して行う。
逆に、タッチ入力が終了すれば、端末１００は、終了動作を行う（Ｓ２６０）。
終了動作は例えば、選択されたオブジェクトをタッチ入力に対応する位置に整列する動作、選択されたオブジェクトのリンクをウェブブラウザのタブで駆動する動作、オブジェクトをアプリケーション又は作業画面上に貼り付ける動作のうち何れか１つである。
例えば、図６の実施例において、タッチ入力が終了すれば、端末１００は、タッチ入力が終了した位置に選択されたアイコンを挿入して整列する。端末１００は、タッチ入力に対応する位置にアイコンを挿入するために、当該ページ上でアイコンを移動、再整列する。端末１００は、再整列されたページに対する情報を格納する。
また、例えば、図７の実施例において、タッチ入力が終了すれば、端末１００は、タッチ入力が終了した位置に選択されたイメージを挿入して整列する。端末１００は、イメージを挿入するために、移動されたフォルダのイメージリストを再整列する。端末１００は、該当フォルダ又は該当経路に選択されたイメージを移動して格納し、フォルダ又はイメージに対する情報を更新する。
例えば、図８の実施例において、タッチ入力が終了すれば、端末１００は、タッチ入力が終了したウェブブラウザのタブから選択されたオブジェクトのリンクを駆動する。端末１００は、該当リンクによって駆動されたウェブページを表示し、ウェブページを構成するテキスト、イメージ、フラッシュなどを表示する。
また、例えば、図９の実施例において、タッチ入力が終了すれば、端末１００は、タッチ入力が終了したアプリケーション又は作業画面上に選択されたオブジェクトを追加、挿入、貼り付け、又は、添付する。端末１００は、選択されたイメージを文字メッセージに添付し、文字メッセージ作成ウィンドウに挿入する。また、端末１００は、選択されたイメージをＳＮＳに掲示できるように、文作成モードを実行して文作成ウィンドウに選択されたイメージを添付する。
端末１００は、上述した例に限定されず、本発明が適用される範囲内でタッチ終了感知に対応して多様な動作を実行できる。
本発明が属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から外れない範囲で多様な修正及び変形が可能である。従って、本発明に開示された実施例は、本発明の技術思想を限定するためのものでなく、説明するためのものであり、このような実施例によって本発明の技術思想の範囲は限定されない。本発明の保護範囲は、本願の特許請求の範囲によって解釈されるべきであり、それと同等な範囲内にある全ての技術思想は、本発明の権利範囲に含まれるものと解釈されなければならない。
１００ 端末
１１０ 入力部
１２０ 制御部
１３０ 格納部
１４０ 表示部

Claims (15)

  1. タッチスクリーン上の複数のオブジェクトのうち少なくとも一つのオブジェクトを選択するタッチ入力を感知するステップと、
    前記選択された少なくとも一つのオブジェクト上で前記タッチ入力が固定される間、センサによって非接触ジェスチャー入力を感知するステップと、
    前記選択された少なくとも一つのオブジェクトが前記タッチ入力の位置に固定された状態で、前記非接触ジェスチャー入力に応答して、前記非接触ジェスチャー入力の方向及び形態のうち少なくとも一つに基づいて、前記複数のオブジェクトのうち前記固定された少なくとも一つのオブジェクトを除いた少なくとも一つのオブジェクトの表示に対してスイッチングを行うステップと、
    を含み、
    前記スイッチングの方向は、前記非接触ジェスチャー入力の移動方向によって決定され、前記スイッチングを行う回数は、前記非接触ジェスチャー入力の形態によって決定されることを特徴とする端末の制御方法。
  2. 前記少なくとも一つのオブジェクトは、
    アイコン、テキスト、イメージ、ファイル、フォルダ、ウェブブラウザ上のコンテンツ、ウェブアドレス、ウェブリンクのうち少なくとも一つを含むことを特徴とする請求項１に記載の端末の制御方法。
  3. 前記少なくとも一つのオブジェクトを選択するタッチ入力を感知するステップは、
    前記選択された少なくとも一つのオブジェクトを活性状態、拡大又は縮小状態、シェーディング状態のうち少なくとも一つの形態に表示するステップをさらに含むことを特徴とする請求項１に記載の端末の制御方法。
  4. 前記スイッチングを行うステップは、
    前記タッチ入力に対応する前記少なくとも一つのオブジェクトを感知するステップと、
    前記タッチスクリーン上に固定された前記少なくとも一つのオブジェクトを含む複数のページ間の表示をスイッチングするステップを含むことを特徴とする請求項１に記載の端末の制御方法。
  5. 前記センサによって前記少なくとも一つのオブジェクトに対する前記タッチ入力の終了（ｒｅｌｅａｓｅ）を感知するステップと、
    制御部によって前記少なくとも一つのオブジェクトに対して、前記タッチ入力の終了に対応する動作を行うステップと、
    をさらに含むことを特徴とする請求項１に記載の端末の制御方法。
  6. 前記タッチ入力の終了に対応する動作は、
    前記選択されたオブジェクトを前記タッチ入力に対応する位置に整列する動作、前記選択されたオブジェクトのリンクをウェブブラウザのタブ（ｔａｂ）で駆動する動作、前記選択されたオブジェクトをアプリケーション又は作業画面上に貼り付ける動作のうち何れか一つであることを特徴とする請求項５に記載の端末の制御方法。
  7. 前記選択されたオブジェクトは、
    文字メッセージやＥメールメッセージに貼り付けるか又は添付される少なくとも一つのイメージを含むことを特徴とする請求項５に記載の端末の制御方法。
  8. 前記選択されたオブジェクトは、
    ソーシャルネットワークアプリケーションに貼り付けるか又は添付される少なくとも一つのイメージを含むことを特徴とする請求項５に記載の端末の制御方法。
  9. 前記非接触ジェスチャー入力は、手の形に対応するジェスチャーを含むことを特徴とする請求項１に記載の端末の制御方法。
  10. タッチ入力及び非接触ジェスチャー入力を感知する入力部と、
    複数のオブジェクトのうち前記タッチ入力に対応する少なくとも一つのオブジェクトの選択を感知し、前記タッチ入力の位置に前記少なくとも一つのオブジェクトが固定された状態で前記非接触ジェスチャー入力に応答して、前記非接触ジェスチャー入力の方向及び形態のうち少なくとも一つに基づいて、前記複数のオブジェクトのうち前記固定された少なくとも一つのオブジェクトを除いた少なくとも一つのオブジェクトの表示に対するスイッチングを行う制御部と、
    前記制御部の制御によって画面を表示する表示部と、
    を含み、
    前記スイッチングの方向は、前記非接触ジェスチャー入力の移動方向によって決定され、前記スイッチングを行う回数は、前記非接触ジェスチャー入力の形態によって決定されることを特徴とする端末。
  11. 前記スイッチングは、
    ページスイッチング、フォルダスイッチング、タブスイッチング、アプリケーションスイッチング、作業スイッチングのうち何れか一つであることを特徴とする請求項１０に記載の端末。
  12. 前記入力部は、前記タッチ入力の終了（ｒｅｌｅａｓｅ）を感知し、
    前記制御部は、前記タッチ入力の終了に対応して前記選択されたオブジェクトを前記タッチ入力の終了位置に整列する動作、前記選択されたオブジェクトのリンクをウェブブラウザのタブで駆動する動作、前記選択されたオブジェクトをアプリケーション又は作業画面上に貼り付ける動作のうち何れか一つを行うことを特徴とする請求項１０に記載の端末。
  13. 前記選択されたオブジェクトは、
    文字メッセージやＥメールメッセージに貼り付けるか又は添付される少なくとも一つのイメージを含むことを特徴とする請求項１２に記載の端末。
  14. 前記選択されたオブジェクトは、
    ソーシャルネットワークアプリケーションに貼り付けるか又は添付される少なくとも一つのイメージを含むことを特徴とする請求項１２に記載の端末。
  15. 前記非接触ジェスチャ入力は、
    手の形に対応するジェスチャーを含むことを特徴とする請求項１０に記載の端末。

JP2013147767A 2012-07-16 2013-07-16 タッチ及びジェスチャー入力を用いた端末の制御方法及びその端末 Expired - Fee Related JP6230836B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120077021A KR101984154B1 (ko) 2012-07-16 2012-07-16 터치 및 제스처 입력을 이용한 단말의 제어 방법 및 그 단말
KR10-2012-0077021 2012-07-16

Publications (2)

Publication Number Publication Date
JP2014021983A JP2014021983A (ja) 2014-02-03
JP6230836B2 true JP6230836B2 (ja) 2017-11-15

Family

ID=48832759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013147767A Expired - Fee Related JP6230836B2 (ja) 2012-07-16 2013-07-16 タッチ及びジェスチャー入力を用いた端末の制御方法及びその端末

Country Status (10)

Country Link
US (2) US20140019910A1 (ja)
EP (1) EP2687971A3 (ja)
JP (1) JP6230836B2 (ja)
KR (1) KR101984154B1 (ja)
CN (1) CN103543943B (ja)
AU (1) AU2013206192B2 (ja)
BR (1) BR102013016792B1 (ja)
CA (1) CA2818248A1 (ja)
RU (1) RU2013129862A (ja)
TW (1) TWI594178B (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US20130293454A1 (en) * 2012-05-04 2013-11-07 Samsung Electronics Co. Ltd. Terminal and method for controlling the same based on spatial interaction
CN102830909B (zh) * 2012-07-18 2015-11-25 华为终端有限公司 一种用户界面的图标管理方法及触控设备
KR102117450B1 (ko) * 2013-03-26 2020-06-01 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10043172B2 (en) * 2013-05-29 2018-08-07 Ebay Inc. Tap and hold
USD731553S1 (en) * 2013-07-31 2015-06-09 Sears Brands, L.L.C. Display screen or portion thereof with an icon
USD734345S1 (en) * 2013-08-01 2015-07-14 Sears Brands, L.L.C. Display screen or portion thereof with an icon
USD731551S1 (en) * 2013-08-01 2015-06-09 Sears Brands, L.L.C. Display screen or portion thereof with an icon
WO2015022498A1 (en) * 2013-08-15 2015-02-19 Elliptic Laboratories As Touchless user interfaces
CN104423789B (zh) * 2013-09-09 2018-07-06 联想(北京)有限公司 一种信息处理方法及电子设备
US9531722B1 (en) 2013-10-31 2016-12-27 Google Inc. Methods for generating an activity stream
US9542457B1 (en) 2013-11-07 2017-01-10 Google Inc. Methods for displaying object history information
US9614880B1 (en) 2013-11-12 2017-04-04 Google Inc. Methods for real-time notifications in an activity stream
US10156976B2 (en) * 2014-01-30 2018-12-18 Samsung Display Co., Ltd. System and method in managing low-latency direct control feedback
US9509772B1 (en) 2014-02-13 2016-11-29 Google Inc. Visualization and control of ongoing ingress actions
CN108255300B (zh) * 2014-03-12 2023-03-21 联想(北京)有限公司 一种电子设备的控制方法和装置
CN103902156B (zh) * 2014-03-17 2017-09-01 联想(北京)有限公司 一种信息处理方法及电子设备
DE102014004177A1 (de) * 2014-03-22 2015-09-24 Audi Ag Verfahren und Vorrichtung zum Bereitstellen einer Auswahlmöglichkeit während eines Aufbaus eines Anzeigeinhalts
WO2015160948A1 (en) * 2014-04-16 2015-10-22 Microchip Technology Incorporated Determining touch locations and forces thereto on a touch and force sensing surface
DE102014208502A1 (de) * 2014-05-07 2015-11-12 Volkswagen Aktiengesellschaft Anwenderschnittstelle und Verfahren zum Wechseln zwischen Bildschirmansichten einer Anwenderschnittstelle
US10156967B2 (en) 2014-05-31 2018-12-18 Apple Inc. Device, method, and graphical user interface for tabbed and private browsing
US9536199B1 (en) 2014-06-09 2017-01-03 Google Inc. Recommendations based on device usage
US9507791B2 (en) 2014-06-12 2016-11-29 Google Inc. Storage system user interface with floating file collection
US10078781B2 (en) 2014-06-13 2018-09-18 Google Llc Automatically organizing images
CN105335043A (zh) * 2014-08-08 2016-02-17 宏碁股份有限公司 窗口切换方法及执行该方法的电子装置
US9787812B2 (en) 2014-08-28 2017-10-10 Honda Motor Co., Ltd. Privacy management
JP6388203B2 (ja) * 2014-09-08 2018-09-12 任天堂株式会社 電子機器
TWI511031B (zh) * 2014-10-23 2015-12-01 Qisda Corp 電子裝置運作方法以及電子裝置
US20160139662A1 (en) * 2014-11-14 2016-05-19 Sachin Dabhade Controlling a visual device based on a proximity between a user and the visual device
US9870420B2 (en) 2015-01-19 2018-01-16 Google Llc Classification and storage of documents
CN104598113B (zh) * 2015-01-23 2018-02-27 联想(北京)有限公司 一种信息处理的方法及电子设备
KR20160099399A (ko) * 2015-02-12 2016-08-22 엘지전자 주식회사 와치 타입 단말기
CN104715026A (zh) * 2015-03-03 2015-06-17 青岛海信移动通信技术股份有限公司 一种文件夹管理方法和智能终端
JP6534292B2 (ja) * 2015-04-24 2019-06-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法
USD763898S1 (en) * 2015-07-28 2016-08-16 Microsoft Corporation Display screen with animated graphical user interface
CN105718768B (zh) * 2016-01-12 2019-06-11 Oppo广东移动通信有限公司 一种预防图标误操作的方法和装置
TWI609314B (zh) 2016-03-17 2017-12-21 鴻海精密工業股份有限公司 介面操作控制系統及其方法
CN107203319A (zh) * 2016-03-17 2017-09-26 南宁富桂精密工业有限公司 界面操作控制方法及应用该方法的系统
US10642484B1 (en) * 2016-03-31 2020-05-05 Kyocera Document Solutions Inc. Display device
KR20180062832A (ko) * 2016-12-01 2018-06-11 주식회사 하이딥 사용자 인터페이스 제공을 위한 터치 입력 방법 및 장치
JP6946857B2 (ja) * 2017-08-24 2021-10-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
KR20190054397A (ko) * 2017-11-13 2019-05-22 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN108446062A (zh) * 2018-02-13 2018-08-24 广州视源电子科技股份有限公司 一种对象固定方法、装置、终端设备及存储介质
CN108491139B (zh) * 2018-02-13 2020-12-25 广州视源电子科技股份有限公司 一种对象固定方法、装置、终端设备及存储介质
CN109308014A (zh) * 2018-07-16 2019-02-05 珠海磐磊智能科技有限公司 开关系统及其控制方法、电致发光系统
JP2020052681A (ja) * 2018-09-26 2020-04-02 シュナイダーエレクトリックホールディングス株式会社 操作処理装置
CN109743445B (zh) * 2018-12-20 2020-07-17 惠州Tcl移动通信有限公司 一种应用图标的调整方法、装置、存储介质及电子设备
US20230008593A1 (en) * 2019-12-05 2023-01-12 M2Communication Inc Electronic label and display method thereof

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0876926A (ja) * 1994-09-02 1996-03-22 Brother Ind Ltd 画像表示装置
US8139028B2 (en) * 2006-02-01 2012-03-20 Synaptics Incorporated Proximity sensor and method for indicating extended interface results
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
JP4171770B1 (ja) * 2008-04-24 2008-10-29 任天堂株式会社 オブジェクト表示順変更プログラム及び装置
US8631340B2 (en) * 2008-06-25 2014-01-14 Microsoft Corporation Tab management in a user interface window
US8762879B1 (en) * 2008-09-01 2014-06-24 Google Inc. Tab management in a browser
JP5279646B2 (ja) * 2008-09-03 2013-09-04 キヤノン株式会社 情報処理装置、その動作方法及びプログラム
US8756519B2 (en) * 2008-09-12 2014-06-17 Google Inc. Techniques for sharing content on a web page
JP2010157189A (ja) * 2009-01-05 2010-07-15 Sony Corp 情報処理装置、情報処理方法およびプログラム
TW201101198A (en) * 2009-06-17 2011-01-01 Sonix Technology Co Ltd Command input method
US8471824B2 (en) * 2009-09-02 2013-06-25 Amazon Technologies, Inc. Touch-screen user interface
CN102023784A (zh) * 2009-09-16 2011-04-20 创新科技有限公司 非接触式输入字符的方法和设备
US8769428B2 (en) * 2009-12-09 2014-07-01 Citrix Systems, Inc. Methods and systems for generating a combined display of taskbar button group entries generated on a local machine and on a remote machine
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US8707174B2 (en) * 2010-02-25 2014-04-22 Microsoft Corporation Multi-screen hold and page-flip gesture
CN102200830A (zh) * 2010-03-25 2011-09-28 夏普株式会社 基于静态手势识别的非接触控制系统和控制方法
US8458615B2 (en) * 2010-04-07 2013-06-04 Apple Inc. Device, method, and graphical user interface for managing folders
CN102033710B (zh) * 2010-04-07 2015-03-11 苹果公司 用于管理文件夹的方法和相关设备
KR20110127853A (ko) * 2010-05-20 2011-11-28 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP5556515B2 (ja) * 2010-09-07 2014-07-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
TW201216090A (en) * 2010-10-13 2012-04-16 Sunwave Technology Corp Gesture input method of remote control
JP2012108800A (ja) * 2010-11-18 2012-06-07 Ntt Docomo Inc 表示装置、表示装置の制御方法及びプログラム
KR101932688B1 (ko) * 2010-11-29 2018-12-28 삼성전자주식회사 휴대기기 및 이에 적용되는 ｕｉ 모드 제공 방법
CN102043583A (zh) * 2010-11-30 2011-05-04 汉王科技股份有限公司 页面跳转方法、页面跳转装置及电子阅读装置
TW201224843A (en) * 2010-12-03 2012-06-16 Microlink Comm Inc Paging method for electronic book reading device
KR101892630B1 (ko) 2011-01-10 2018-08-28 삼성전자주식회사 터치 디스플레이 장치 및 그 디스플레이 방법
WO2012099584A1 (en) * 2011-01-19 2012-07-26 Hewlett-Packard Development Company, L.P. Method and system for multimodal and gestural control
US20120218203A1 (en) * 2011-02-10 2012-08-30 Kanki Noriyoshi Touch drawing display apparatus and operation method thereof, image display apparatus allowing touch-input, and controller for the display apparatus
US20120304059A1 (en) * 2011-05-24 2012-11-29 Microsoft Corporation Interactive Build Instructions
US20130067392A1 (en) * 2011-09-12 2013-03-14 Microsoft Corporation Multi-Input Rearrange
KR101381484B1 (ko) * 2012-02-29 2014-04-07 주식회사 팬택 그래픽 오브젝트 플로팅 기능을 갖는 모바일 디바이스 및 그 실행 방법
US20130268837A1 (en) * 2012-04-10 2013-10-10 Google Inc. Method and system to manage interactive content display panels
US9740393B2 (en) * 2012-05-18 2017-08-22 Google Inc. Processing a hover event on a touchscreen device

Also Published As

Publication number Publication date
TWI594178B (zh) 2017-08-01
RU2013129862A (ru) 2015-01-10
EP2687971A2 (en) 2014-01-22
BR102013016792B1 (pt) 2021-02-23
US20140019910A1 (en) 2014-01-16
CA2818248A1 (en) 2014-01-16
TW201411469A (zh) 2014-03-16
CN103543943A (zh) 2014-01-29
EP2687971A3 (en) 2017-04-19
CN103543943B (zh) 2018-11-23
KR101984154B1 (ko) 2019-05-30
JP2014021983A (ja) 2014-02-03
AU2013206192B2 (en) 2018-08-30
AU2013206192A1 (en) 2014-01-30
BR102013016792A2 (pt) 2015-08-25
US20180136812A1 (en) 2018-05-17
KR20140010596A (ko) 2014-01-27

Similar Documents

Publication Publication Date Title
JP6230836B2 (ja) タッチ及びジェスチャー入力を用いた端末の制御方法及びその端末
AU2023202745B2 (en) Systems, methods, and user interfaces for interacting with multiple application windows
US11194467B2 (en) Keyboard management user interfaces
US10503346B2 (en) Swipe-based confirmation for touch sensitive devices
KR101521370B1 (ko) 제스처에 응답하여 정보를 디스플레이하는 전자 장치 및 디스플레이 방법
AU2016100253B4 (en) Devices, methods, and graphical user interfaces for displaying and using menus
KR101579662B1 (ko) 제스처에 응답하여 정보를 디스플레이하는 전자 장치 및 디스플레이 방법
KR102343783B1 (ko) 모션 또는 그의 부재에 기초한 터치 기반 디바이스 상의 제어 인터페이스의 제시
US9507495B2 (en) Electronic device and method of displaying information in response to a gesture
EP4246292A2 (en) Gesture detection, list navigation, and item selection using a crown and sensors
JP6110654B2 (ja) 装置、方法、及びプログラム
EP3859497A1 (en) User interfaces for improving single-handed operation of devices
EP3324274A1 (en) Handwriting keyboard for screens
EP2784629A2 (en) Method for controlling portable device equipped with flexible display, and portable device using the method
EP2325740A2 (en) User interface apparatus and method
CN104487929A (zh) 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
EP3102998A1 (en) Device, method, and graphical user interface for a predictive keyboard
WO2011081889A1 (en) Device, method, and graphical user interface for management and manipulation of user interface elements
US10042445B1 (en) Adaptive display of user interface elements based on proximity sensing
CA2848105C (en) Electronic device and method of displaying information in response to a gesture
CA2846419C (en) Electronic device and method of displaying information in response to a gesture
JP2015111341A (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
WO2015183405A1 (en) Device, method, and graphical user interface for a predictive keyboard

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170411

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171018

R150 Certificate of patent or registration of utility model

Ref document number: 6230836

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees