JP6230836B2 - タッチ及びジェスチャー入力を用いた端末の制御方法及びその端末 - Google Patents

Description

本発明は、タッチ及びジェスチャー入力を用いた端末の制御方法及びその端末に係り、特に、タッチ入力が維持される状態でジェスチャー入力が発生すれば、任意のオブジェクトに対するスイッチング動作を行うようにする端末の制御方法及びその端末に関する。

スマート電子機器が発展することによって、ユーザがどの状況でも端末を便利に制御できるようにタッチスクリーンをはじめとして多様な入力手段が開発された。これにより、端末がタッチ、モーション、ジェスチャー入力などを正確に認識できるようにする研究が行われており、このような技術は、主にセンサをベースにして発達してきた。

端末が多様な方法による入力を認知することが可能となるにつれて、さらに手軽な操作で端末を制御しようとするユーザのニーズは増加している。

しかし、現在の端末は、多様な入力を感知できるにも拘わらず、対応する端末の動作制御に対して、その感知能力を十分に活用できておらず、機器操作の便宜性を追求するユーザのニーズを十分に満たしていない。

本発明の目的は、センサを用いてタッチ入力及びジェスチャー入力を感知し、タッチ入力のみでは処理し難い動作を、より直観的で手軽に実行できる端末の制御方法及びその端末の提供にある。
また、本発明の他の目的は、タッチ入力の維持状態でジェスチャー入力が発生すれば、任意のオブジェクトに対するスイッチング動作を行うようにするタッチ及びジェスチャー入力を用いた端末の制御方法及びその端末の提供にある。

前記課題を解決するための本発明に係る端末の制御方法は、タッチ入力を感知するステップと、前記タッチ入力に対応する少なくとも一つのオブジェクトを選択するステップと、ジェスチャー入力を感知するステップと、前記オブジェクトを前記タッチ入力に対応して固定（ｈｏｌｄ）した状態でスイッチングを行うステップと、を含むことを特徴とする。

また、前記オブジェクトは、アイコン、テキスト、イメージ、ファイル、フォルダ、ウェブブラウザ上のコンテンツ、ウェブアドレス、ウェブリンクのうち少なくとも一つを含むことを特徴とする。
また、前記オブジェクトを選択するステップは、前記オブジェクトを活性状態、拡大又は縮小状態、シェーディング状態のうち少なくとも一つの形態で表示するステップをさらに含むことを特徴とする。
また、前記ジェスチャー入力を感知するステップは、前記タッチ入力が維持された状態で前記ジェスチャー入力を感知するステップを含むことを特徴とする。
また、前記ジェスチャー入力は、任意の方向（ｃｅｒｔａｉｎ ｄｉｒｅｃｔｉｏｎ）にスワイプする（ｓｗｉｐｅ）ジェスチャー入力であることを特徴とする。
また、前記スイッチングは、ページスイッチング、フォルダスイッチング、タブ（ｔａｂ）スイッチング、アプリケーションスイッチング、作業スイッチングのうち何れか一つであることを特徴とする。
また、前記スイッチングを行うステップは、前記選択されたオブジェクトを前記タッチ入力に対応して固定（ｈｏｌｄ）するステップと、少なくとも一つのオブジェクトを含む複数のページで構成される画面上で前記選択されたオブジェクトを除いた残りのオブジェクトに対するページスイッチングを行うステップと、を含むことを特徴とする。
また、前記スイッチングを行うステップは、前記選択されたオブジェクトを前記タッチ入力に対応して固定するステップと、前記選択されたオブジェクトのファイル経路に基づいて前記ファイル経路における上位フォルダ又は下位フォルダに、若しくは、フォルダリストの次又は前のフォルダに、移動するフォルダスイッチングを行うステップと、を含むことを特徴とする。
また、前記スイッチングを行うステップは、前記選択されたオブジェクトを前記タッチ入力に対応して固定するステップと、複数のタブで構成されるウェブブラウザのタブスイッチングを行うステップと、を含むことを特徴とする。
また、前記スイッチングを行うステップは、前記選択されたオブジェクトを前記タッチ入力に対応して固定するステップと、予め設定されたリスト又は現在駆動中のリストに基づいてアプリケーション又は作業（ｔａｓｋ）スイッチングを行うステップと、を含むことを特徴とする。
また、前記アプリケーション又は作業スイッチングを行うステップは、前記選択されたオブジェクトを前記アプリケーション又は前記作業に最適化したフォーマットに整列して表示するステップを含むことを特徴とする。
また、前記タッチ入力の終了（ｒｅｌｅａｓｅ）を感知するステップと、前記選択されたオブジェクトに対して前記タッチ入力の終了に対応する動作を行うステップと、をさらに含むことを特徴とする。
また、前記タッチ入力の終了に対応する動作は、前記オブジェクトを前記タッチ入力に対応する位置に整列する動作、前記選択されたオブジェクトのリンクをウェブブラウザのタブで駆動する動作、前記オブジェクトをアプリケーション又は作業画面上に貼り付ける動作のうち何れか一つであることを特徴とする。

また、前記課題を解決するための本発明に係る端末は、タッチ入力及びジェスチャー入力を感知する入力部と、前記タッチ入力に対応する少なくとも一つのオブジェクトを選択し、前記ジェスチャー入力に対応して前記オブジェクトを前記タッチ入力に対応して固定（ｈｏｌｄ）した状態でスイッチングを行う制御部と、前記制御部の動作による画面を表示する表示部と、を含むことを特徴とする。

また、前記制御部は、前記オブジェクトを活性状態、拡大又は縮小状態、シェーディング状態のうち少なくとも一つの形態で表示するように前記表示部を制御することを特徴とする。
また、前記入力部は、前記タッチ入力が維持された状態で前記ジェスチャー入力を感知することを特徴とする。
また、前記スイッチングは、ページスイッチング、フォルダスイッチング、タブスイッチング、アプリケーションスイッチング、作業スイッチングのうち何れか一つであることを特徴とする。
また、前記制御部は、前記選択されたオブジェクトを前記タッチ入力に対応して固定（ｈｏｌｄ）し、少なくとも一つのオブジェクトを含む複数のページで構成される画面上で、前記選択されたオブジェクトを除いた残りのオブジェクトに対するページスイッチングを行うことを特徴とする。
また、前記制御部は、前記選択されたオブジェクトを前記タッチ入力に対応して固定し、前記選択されたオブジェクトのファイル経路に基づいて前記ファイル経路における上位フォルダ又は下位フォルダに、若しくは、フォルダリストの次の、又は前のフォルダに、移動するフォルダスイッチングを行うことを特徴とする。
また、前記制御部は、前記選択されたオブジェクトを前記タッチ入力に対応して固定し、複数のタブで構成されるウェブブラウザのタブスイッチングを行うことを特徴とする。
また、前記制御部は、前記選択されたオブジェクトを前記タッチ入力に対応して固定し、予め設定されたリスト又は現在駆動中のリストに基づいてアプリケーション又は作業（ｔａｓｋ）スイッチングを行うことを特徴とする。
また、前記制御部は、前記選択されたオブジェクトを前記アプリケーション又は前記作業に最適化したフォーマットに整列して表示するように前記表示部を制御することを特徴とする。
また、前記入力部は、前記タッチ入力の終了（ｒｅｌｅａｓｅ）を感知し、前記制御部は、前記選択されたオブジェクトに対して前記タッチ入力の終了に対応する動作を行うことを特徴とする。

本発明に係るタッチ及びジェスチャー入力を用いた端末の制御方法及びその端末によれば、タッチ入力のみで処理し難い動作を、タッチ及びジェスチャー入力を組み合わせた新しいインターフェースを介して、より直観的で手軽に実行できる。

本発明に係る端末の制御方法を実現する端末の構成を示したブロック図である。 カメラセンサ及び赤外線センサを備える端末の一例を示した図である。 本発明に係る端末の制御方法を示したフローチャートである。 タッチ入力の一例を示した図である。 タッチ入力及びジェスチャー入力の一例を示した図である。 ページスイッチングの一例を示した図である。 フォルダスイッチングの一例を示した図である。 タブスイッチングの一例を示した図である。 アプリケーション又は作業スイッチングの一例を示した図である。

本発明は、タッチ及びジェスチャー入力を用いた端末の制御に適用可能である。
また、本発明は、タッチ及びジェスチャー入力を感知する端末であって、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、携帯端末（Ｐｏｒｔａｂｌｅ Ｔｅｒｍｉｎａｌ）、移動端末（Ｍｏｂｉｌｅ Ｔｅｒｍｉｎａｌ）、個人情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）端末、ノートパソコン、ノートパッド（Ｎｏｔｅ Ｐａｄ）、ワイブロ（Ｗｉｂｒｏ）端末、タブレットＰＣ（Ｔａｂｌｅｔ ＰＣ）、スマートＴＶ、スマート冷蔵庫などの一般的な電子端末だけでなく、タッチ及びジェスチャー入力を感知する全ての装置に適用可能である。

本明細書で使用される技術的用語は、単に特定の実施例を説明するために使用されており、本発明の思想を限定しないことに留意されなければならない。また、本明細書で使用される技術的用語は、本明細書で特別に他の意味に定義されない限り、本発明が属する分野で通常の知識を有する者によって一般的に理解される意味に解釈されるべきであり、過度に包括的な意味に解釈されても、過度に縮小された意味に解釈されてもならない。

また、本明細書で使用される単数の表現は、文脈上明らかに異なるように意味しない限り、複数の表現を含む。本明細書で「構成される」又は「含む」などの用語は、明細書上に記載された様々な構成要素、又は、様々なステップを必ず全部含むものと解釈してはならない。
以下、添付された図面を参照して本発明の実施例をより具体的に説明する。

図１は、本発明に係る端末の制御方法を実現する端末の構成を示したブロック図である。
図１を参照すれば、端末１００は、入力部１１０、制御部１２０、格納部１３０、及び表示部１４０を含んで構成される。

入力部１１０は、ユーザによる入力によって操作信号を生成する。入力部１１０は、タッチセンサ１１１、近接センサ１１２、電磁気センサ１１３、カメラセンサ１１４、及び赤外線センサ１１５を含んで構成される。

タッチセンサ１１１は、ユーザのタッチ入力を感知する。タッチセンサ１１１は、例えば、タッチフィルム、タッチシート、タッチパッドなどの形態である。タッチセンサ１１１は、タッチ入力を感知し、感知されたタッチ信号を制御部１２０に伝達する。制御部１２０は、タッチ信号を分析してタッチ信号に対応する動作を行う。また、感知されたタッチ信号に対応する情報が表示部１４０上に表示される。タッチセンサ１１１は、多様な入力手段によってユーザのタッチ入力による操作信号の入力を受ける。タッチセンサ１１１は、ユーザの人体（例えば、手）や物理的な道具、スタイラスペン（Ｓｔｙｌｕｓ Ｐｅｎ）、及びスタイラスペンに含まれる操作ボタンなどによって操作信号の入力を受ける。実現方式によっては、タッチセンサ１１１は、直接タッチ入力だけでなく、一定の距離内の近接入力を感知する。

近接センサ１１２は、入力部１１０の検出面で生じる物体の有無、アクセス、動き、方向、速度、形態などを光、又は電磁気力を利用して機械的接触なく検出する。近接センサ１１２は例えば、透過型光電センサ、直接反射型光電センサ、ミラー反射型光電センサ、高周波発振型近接センサ、静電容量型近接センサ、磁気形近接センサ、赤外線近接センサのうち何れか 一つである。

電磁気センサ１１３は、電磁気場の強さの変化によってタッチ又は近接入力を感知し、ＥＭＲ（Ｅｌｅｃｔｒｏ Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ）又はＥＭＩ（Ｅｌｅｔｒｏ Ｍａｇｎｅｔｉｃ Ｉｎｔｅｒｆｅｒｅｎｃ）方式の入力パッド形態で構成される。電磁気センサ１１３は、磁場を誘導するコイルを含んで構成され、電磁気センサ１１３で発生した磁場のエネルギ変化を起こす共振回路が含まれた物体のアクセスを感知する。電磁気センサ１１３は、共振回路を含む物体であって、スタイラスペン等による入力を感知することができる。電磁気センサ１１３は、端末１００に直接接触する入力だけでなく、端末１００に近接するように行われる近接入力又はホバリング（ｈｏｖｅｒｉｎｇ）等を感知する。

カメラセンサ１１４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）又はＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子を利用してレンズを介して入射された映像（光）を認識してデジタル信号に変える。カメラセンサ１１４は、生成されたデジタル信号を格納部１３０に臨時又は永久的に格納する。カメラセンサ１１４は、認識された映像内の特徴点を検出し、連続的に追跡しながらジェスチャー入力を感知できる。図２を参照すれば、カメラセンサ１１４は、端末１００の前面及び／又は後面に位置するレンズを介して映像を認識し、素子を介して映像をデジタル信号に変換できる。

赤外線センサ１１５は、ＩＲセンサ又はＬＥＤセンサとも称し、赤外線に該当する周波数の光を物体に発光する発光部と、端末１００に近接した物体（例えば手）から反射された光を受信する受光部とを含んで構成される。赤外線センサ１１５は、発光部から発生した赤外線が物体に当たって反射された光を受光部で受光し、反射された光の変化量を感知することにより、物体の動き及び物体までの距離を感知する。図２を参照すれば、赤外線センサ１１５は、端末１００の前面及び／又は後面に位置して、端末１００の外部に赤外線を発光し、端末１００の近接距離に位置するユーザの人体（例えば手）等から反射された赤外線を受光する。

本発明の実施例によれば、入力部１１０は、センサを用いてタッチ入力及びジェスチャー入力を感知する。入力部１１０は、同時又は順次に発生するタッチ入力及びジェスチャー入力を感知し、タッチ入力が維持された状態でジェスチャー入力を感知する。

制御部１２０は、端末１００の全般的な動作のために各構成要素を制御する。例えば、制御部１２０は、入力部１１０を介して感知された入力によって端末１００の動作又は機能を制御する。

本発明の実施例によれば、制御部１２０は、タッチ入力及びジェスチャー入力に基づいてスイッチングを行う。スイッチングは、例えば、ページスイッチング、フォルダスイッチング、タブスイッチング、アプリケーションスイッチング、及び作業スイッチングのうち何れか一つであってもよい。
制御部１２０のより具体的な動作は、下記で図面を参照して詳細に説明する。

格納部１３０は、端末１００のためのプログラム又は命令を格納する。制御部１２０は、格納部１３０に格納されたプログラム又は命令を行う。
格納部１３０は例えば、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えばＳＤ又はＸＤメモリなど）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも一つのタイプの格納媒体を含む。

本発明の実施例によれば、格納部１３０は、少なくとも一つのアイコン、テキスト、イメージ、ファイル、フォルダ、又はこれらを含むコンテンツ、アプリケーション、サービスなどを格納する。また、格納部１３０は、ウェブブラウザを駆動するためのアプリケーション、サービスを格納できる。

本発明の実施例によれば、格納部１３０は、入力部１１０を介して感知された入力に対応する動作情報を格納する。例えば、格納部１３０は、タッチ入力及びジェスチャー入力に対応するスイッチング動作に対する情報を格納する。

表示部１４０は、端末１００で処理される情報を表示（出力）する。例えば、表示部１５０は、音声感知、状況認知、及び機能制御に関連するＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）又はＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する。

表示部１４０は例えば、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）、薄膜トランジスタ液晶ディスプレイ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ−ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＴＦＴ ＬＣＤ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＯＬＥＤ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）、３次元ディスプレイ（３Ｄ ｄｉｓｐｌａｙ）のうち少なくとも一つを含む。

表示部１４０は、入力部１１０を構成するタッチセンサと共にレイヤ構造を成してタッチスクリーンとして動作する。このとき、タッチスクリーン動作可能な表示部１４０は、入力装置及び出力装置の双方の機能を行う。

本発明の実施例によれば、表示部１４０は、アイコン、テキスト、イメージ、ファイルリスト、フォルダリストを表示する。表示部１４０は、ウェブブラウザ及びウェブブラウザに含まれたコンテンツ、ウェブアドレス、ウェブリンクのうち少なくとも一つを表示する。

本発明の実施例によれば、表示部１４０は、制御部１２０のスイッチング動作によって画面上に表示された少なくとも一つのオブジェクトを動的に表示する。例えば、表示部１４０は、ページスイッチングに対応して画面上に表示された少なくとも一つのオブジェクトを或る方向（ｃｅｒｔａｉｎ ｄｉｒｅｃｔｉｏｎ）に動く形態で表示できる。

図１の端末１００に示された構成要素は必須ではないので、それよりも多くの構成要素を有するか又はそれよりも少ない構成要素を有する端末１００が具現できる。

図３は、本発明に係る端末の制御方法を示したフローチャートである。
図３を参照すれば、本発明に係る端末の制御方法は、次のような順序で行われる。

まず、端末１００は、タッチ入力の感知可否を判断する（Ｓ２１０）。
端末１００は、少なくとも一つの順次的又は同時的なタッチ入力を感知する。端末１００は、具現例によっては、タッチ入力の代わりに近接入力、圧力入力などを感知できる。
タッチ入力が感知されれば、端末１００は、オブジェクトを選択する（Ｓ２２０）。

端末１００は、感知されたタッチ入力の発生位置を判断する。例えば、端末１００は、端末１００上にタッチ入力が発生した位置に対する２次元又は３次元の座標を抽出する。さらに、端末１００は、タッチ入力に対する圧力、持続時間、動きの発生有無（例えば、ドラッグ、複数のタッチ入力間の距離変化、任意の形状形成などの動き）などを判断する。

端末１００は、タッチ入力に対応する少なくとも一つのオブジェクトを選択する。端末１００は、タッチ入力が発生した位置に対応する少なくとも一つのオブジェクトを選択する。オブジェクトは例えば、アイコン、テキスト、イメージ、ファイル、フォルダ、ウェブブラウザ上のコンテンツ、ウェブアドレス、ウェブリンクのうち少なくとも一つである。端末１００は、オブジェクトを選択した後、選択されたオブジェクトを活性状態、拡大又は縮小状態、シェーディング状態（ｓｈａｄｅｄ）のうち少なくとも一つの形態で表示する。このとき、端末１００は、オブジェクトに対するタッチ入力が発生した後、予め設定された時間が経過したか否かによって、選択されたオブジェクトを活性状態、拡大又は縮小状態、シェーディング状態のうち少なくとも一つの形態で表示する。

例えば、図４を参照すれば、端末１００は、タッチ入力が感知されることによって、タッチ入力に対応する待機画面上のアイコンを選択する。また、端末１００は、選択されたアイコンをシェーディング状態に表示する。

端末１００は、タッチ入力の感知後にタッチ入力の動きが発生した場合、選択されたオブジェクトをタッチ入力の動きに応じて移動して表示する。例えば、端末１００は、タッチ入力の感知後、タッチ入力が或る方向に移動する動きが発生した場合、選択されたオブジェクトをタッチ入力の移動と同じ方向に移動して表示する。端末１００は、選択されたオブジェクトが移動可能な状態であることを表示する。例えば、端末１００は、選択されたオブジェクトに附加的なインジケータを表示するか、選択されたオブジェクトを振動、拡大又は縮小、シェーディング処理されるように表示し、オブジェクトが移動可能な状態であることを表示する。

次に、端末１００は、ジェスチャー入力の感知可否を判断する（Ｓ２３０）。
端末１００は、或る方向にスワイプする（ｓｗｉｐｅ）ジェスチャー、任意の形状を示すジェスチャー、任意の形状を形成するための動きジェスチャーなどを感知する。端末１００は、ジェスチャー入力の方向、速度、形状、端末１００からの距離などを感知する。具現例によっては、端末１００は、ジェスチャー入力の代わりに近接入力、圧力入力などを感知する。

端末１００は、タッチ入力が維持された状態でジェスチャー入力を感知する。例えば、図５を参照すれば、端末１００は、タッチ入力が感知され、感知された入力が続けて維持される状態でジェスチャー入力の発生を感知する。

ジェスチャー入力が感知されれば、端末１００は、スイッチングを行う（Ｓ２４０）。
端末１００は、感知されたジェスチャー入力に対応するスイッチングを行う。端末１００は、まず、ジェスチャー入力に対応するスイッチングを検索し、対応するスイッチングが存在すれば、該当スイッチングを行う。

スイッチングは、ページスイッチング、フォルダスイッチング、タブスイッチング、アプリケーションスイッチング、作業スイッチングのうち何れか一つであってもよい。

ページスイッチングは、選択されたオブジェクトを除いた残りのオブジェクトに対してページを移動する動作で構成される。ページスイッチングは、少なくとも一つのオブジェクトを含む複数のページで構成され、何れか一つのページに対して表示され、ユーザの要請によってページをめくるように構成される表示画面に対して行われる。例えば、ページスイッチングは、待機画面、ファイル又はフォルダリスト、選択可能なメニューリスト、文書、ｅ−ｂｏｏｋ、フォンブックなどの表示画面に対して行われる。

端末１００は、選択されたオブジェクトをタッチ入力に対応して固定（ｈｏｌｄ）し、表示画面上で選択されたオブジェクトを除いた残りのオブジェクトに対するページスイッチングを行う。即ち、端末１００は、選択されたオブジェクトがタッチ入力に対応する位置に固定された状態で、画面上に表示されたページの残りのオブジェクト（背景画面を含んでもよい）を左右又は上下に移動して他のページを表示することができる。このとき、ページスイッチングの方向及びページスイッチングの回数は、ジェスチャー入力の方向（左右又は上下）又は形状（例えば、任意の数を示す手の形）に対応して決定される。ページスイッチングによって画面には、表示されていたオブジェクトが消えて、他のページに含まれたオブジェクトが表示される。端末１００は、ジェスチャー入力に対応する他のページが存在しない場合、ページスイッチングの動作を行わないか又はページが存在しないという内容のメッセージ、アイコン、イメージなどを表示する。

例えば、図６を参照すれば、端末１００は、タッチ入力に対応する待機画面のアイコンを選択する。このとき、端末１００は、選択されたアイコンをシェーディング処理して表示する。そして、端末１００は、ジェスチャー入力を感知することができる。端末１００は、タッチ入力が維持される状態で、ジェスチャー入力を感知する。ジェスチャー入力はここでは、右側から左側方向にスワイプするジェスチャー入力である。端末１００は、選択されたアイコンをタッチ入力に対応する位置に固定し、ページスイッチングを行う。即ち、端末１００は、ジェスチャー入力に対応する方向にページを移動する。端末１００は、選択されたオブジェクトを除いて画面上に表示された残りのオブジェクトを左側に移動して、右側に存在するページを画面上に表示させる。

フォルダスイッチングは、選択されたオブジェクトのファイル経路に基づいて、フォルダ間を移動（ｎａｖｉｇａｔｅ）する動作で構成される。フォルダスイッチングは、ファイル又はフォルダに対して行われる。例えば、フォルダスイッチングは、文書、イメージ、写真、ｅ−ｂｏｏｋ、音楽、アプリケーション実行ファイル又はショートカットアイコン、プログラム実行ファイル又はショートカットアイコン、提供サービス実行ファイル、又はショートカットアイコン、及びこれらを含むフォルダに対して行われる。

端末１００は、選択されたオブジェクトをタッチ入力に対応して固定（ｈｏｌｄ）し、選択されたオブジェクトのファイル経路を判断する。端末１００は、ファイル経路に基づいて、ファイル経路における上位フォルダ又は下位フォルダに、若しくは、フォルダリストの前又は次のフォルダに、フォルダを移動する。このとき、フォルダスイッチングの上位フォルダ又は下位フォルダの決定、或いは、同一階層の前又は次のフォルダの決定は、ジェスチャー入力の方向（左右又は上下）又は形状（例えば、任意の数を示す手の形）に対応して決定される。フォルダスイッチングによって画面には、表示されていたオブジェクトが消えて、他のフォルダに含まれたオブジェクトが表示される。端末１００は、ジェスチャー入力に対応する他のフォルダが存在しない場合、フォルダスイッチングの動作を行わないか又はフォルダが存在しないという内容のメッセージ、アイコン、イメージなどを表示する。

例えば、図７を参照すれば、端末１００は、ユーザのタッチ入力に対応するＡｌｂｕｍ １フォルダの写真を選択する。このとき、端末１００は、選択された写真をシェーディング処理して表示する。そして、端末１００は、ジェスチャー入力を感知する。端末１００は、タッチ入力が維持される状態で、ジェスチャー入力を感知する。ジェスチャー入力は例えば、右側から左側方向にスワイプするジェスチャー入力である。端末１００は、選択された写真をタッチ入力に対応する位置に固定し、フォルダスイッチングを行う。即ち、端末１００は、ジェスチャー入力に対応する方向にフォルダを移動する。端末１００は、選択されたオブジェクトを除いて画面上に表示された残りのオブジェクトを除去し、Ａｌｂｕｍ １の次のフォルダであるＡｌｂｕｍ ２に存在する写真リストを画面上に表示する。

タブ（ｔａｂ）スイッチングは、複数のタブで構成されるアプリケーション又はプログラムのタブを移動する動作で構成される。タブスイッチングは、複数のタブで構成されるウェブブラウザ、メニューウィンドウ、ｅ−ｂｏｏｋ、文書ビューアーなどのアプリケーション、又はプログラムに対して行われる。

端末１００は、選択されたオブジェクトをタッチ入力に対応して固定（ｈｏｌｄ）し、タブスイッチングを行う。即ち、端末１００は、選択されたオブジェクトがタッチ入力に対応する位置に固定された状態で、現在表示されたタブ及び現在表示されたタブに含まれる少なくとも一つのオブジェクトを左右又は上下に移動して、他のタブ及び他のタブに含まれる少なくとも一つのオブジェクトを表示する。このとき、タブスイッチングの方向及び回数は、ジェスチャー入力の方向（左右又は上下）若しくは形状（例えば、任意の数を示す手の形）に対応して決定される。タブスイッチングによって画面には、表示されていたオブジェクトが消えて、他のタブに含まれるオブジェクトが表示される。端末１００は、ジェスチャー入力に対応する他のタブが存在しない場合、タブスイッチングの動作を行わないか又は移動するタブが存在しないという内容のメッセージ、アイコン、イメージなどを表示できる。

例えば、図８を参照すれば、端末１００は、タッチ入力に対応して複数のタブで構成されるウェブブラウザのうち現在タブに表示された少なくとも一つのオブジェクトを選択する。ここでオブジェクトは例えば、ウェブページのアドレス、任意のウェブページに対するリンクを含むテキスト、イメージ、アイコン、フラッシュなどの中の何れかである。このとき、端末１００は、選択されたオブジェクトを色、字体、太さなどの変更、大きさ調節、シェーディング処理などによって表示する。端末１００は、タッチ入力が維持される状態で、ジェスチャー入力を感知する。ジェスチャー入力は例えば、右側から左側方向にスワイプするジェスチャー入力である。端末１００は、選択されたオブジェクトをタッチ入力が対応する位置に固定し、タブスイッチングを行う。即ち、端末１００は、ジェスチャー入力に対応する方向にタブを移動する。端末１００は、選択されたオブジェクトを除いて画面上に表示された残りのオブジェクトを消去して、別のタブに属するオブジェクトを選択されたオブジェクトと共にウェブブラウザ画面上に表示する。

アプリケーション又は作業スイッチングは、選択されたオブジェクトに対してアプリケーション又は作業画面を切り替える動作を含む。アプリケーション又は作業スイッチングは、ユーザ又は端末の製造者によって予め設定されたアプリケーション又は作業間のスイッチングであるか、又は現在駆動中のアプリケーション又は作業間のスイッチングである。端末１００は、アプリケーション又は作業スイッチングの際に移動するアプリケーション又は作業のリストを、ユーザ又は端末の製造者から入力として受けて、これを格納する。又は、端末１００は、現在駆動中のアプリケーション又は作業を識別し、アプリケーション又は作業の選好度、利用頻度、駆動された時間などに基づいてスイッチングを行う。アプリケーション又は作業は例えば、メッセージ、ＳＮＳ、メール作成、メモ作成、通話のうち少なくとも一つである。

端末１００は、タッチ入力に対応して選択されたオブジェクトを固定（ｈｏｌｄ）し、選択されたオブジェクトを除いた残りのオブジェクトに対するアプリケーション又は作業スイッチングを表示画面上で行うことができる。即ち、端末１００は、選択されたオブジェクトがタッチ入力に対応する位置に固定された状態で、画面上に表示されたページの残りのオブジェクト（背景画面を含んでもよい）を左右又は上下に移動して、他のアプリケーション又は作業ウィンドウを表示する。このとき、スイッチングの方向及びスイッチングの回数は、ジェスチャー入力の方向（左右又は上下）又は形状（例えば、任意の数を示す手の模様）に対応して決定される。アプリケーション又は作業スイッチングによって画面には、表示されていたアプリケーション、作業、及びこれらを構成するオブジェクトが画面から消えて、他のアプリケーション、他の作業、及びこれらを構成するオブジェクトが表示される。端末１００は、ジェスチャー入力に対応する他のアプリケーション又は作業が存在しない場合には、スイッチング動作を行わないか、アプリケーション又は作業が存在しないという内容のメッセージ、アイコン、イメージなどを表示する。

例えば、図９を参照すれば、端末１００は、タッチ入力に対応するイメージ（「Ａｌｂｕｍ１」中の１つのオブジェクト）を選択する。このとき、端末１００は、選択されたイメージを拡大又は縮小、シェーディング、振動モーションなどで処理して表示できる。そして、端末１００は、ジェスチャー入力を感知する。端末１００は、タッチ入力が維持される状態で、ジェスチャー入力を感知できる。ジェスチャー入力は例えば、右側から左側方向にスワイプするジェスチャー入力である。端末１００は、選択されたイメージをタッチ入力に対応する位置に固定し、アプリケーション又は作業スイッチングを行う。端末１００は、ジェスチャー入力に対応する方向にスイッチングを行う。端末１００は、選択されたイメージを除いて画面上に表示された残りのオブジェクトを左側に移動して消去し、前又は次の作業の画面を表示する。

端末１００は、アプリケーション又は作業スイッチングに対応して選択されたオブジェクトをアプリケーション又は作業に最適化したフォーマットに整列して表示する。端末１００は、選択されたオブジェクトをアプリケーション又は作業に追加（ａｄｄ）、挿入（ｉｎｓｅｒｔ）、貼り付け（ｐａｓｔｅ）、添付（ａｔｔａｃｈ）した時、最適化したフォーマットで表示し、プレビューを提供する。端末１００は、オブジェクトを拡大、縮小、回転、拡張子変更、又は解像度変更して表示し、更に、オブジェクトが追加、挿入、貼り付け、添付されたことを示すテキスト、イメージ、アイコンなどを共に表示できる。

例えば、図９を参照すれば、端末１００は、アプリケーションが文字メッセージにスイッチングされた時、選択されたイメージをメッセージ入力ウィンドウに添付されたフォーマットで表示する。このとき、端末１００は、文字メッセージにイメージが添付されたことを示すためのアイコンなどを共に表示する。また、端末１００は、アプリケーションがメールにスイッチングされた時、選択されたイメージをメール入力ウィンドウに添付されたフォーマットで表示する。端末１００は、メール作成のためのｈｔｍｌ、ｘｍｌなどのコードにイメージを添付するためのコードを追加して、イメージをメールに添付されたフォーマットで表示する。このとき、端末１００は、メールにイメージファイルが添付されたことを示すためのファイル名、アイコン、ファイル添付メニューなどを共に表示する。

次に、端末１００は、タッチ入力終了（ｒｅｌｅａｓｅ）の有無を判断する（Ｓ２５０）。
端末１００は、スイッチングが行われた後、又はジェスチャー入力が感知されない場合には、タッチ入力終了の有無を判断する。端末１００は、ユーザが端末１００のタッチスクリーンからタッチ入力ツール（ユーザの指先を含む）を取り外したことを検出して、タッチ入力が終了したか否かを判断する。

タッチ入力が終了しなければ、端末１００は、ジェスチャー入力の感知有無によってスイッチングを繰り返して行う。
逆に、タッチ入力が終了すれば、端末１００は、終了動作を行う（Ｓ２６０）。

終了動作は例えば、選択されたオブジェクトをタッチ入力に対応する位置に整列する動作、選択されたオブジェクトのリンクをウェブブラウザのタブで駆動する動作、オブジェクトをアプリケーション又は作業画面上に貼り付ける動作のうち何れか１つである。

例えば、図６の実施例において、タッチ入力が終了すれば、端末１００は、タッチ入力が終了した位置に選択されたアイコンを挿入して整列する。端末１００は、タッチ入力に対応する位置にアイコンを挿入するために、当該ページ上でアイコンを移動、再整列する。端末１００は、再整列されたページに対する情報を格納する。

また、例えば、図７の実施例において、タッチ入力が終了すれば、端末１００は、タッチ入力が終了した位置に選択されたイメージを挿入して整列する。端末１００は、イメージを挿入するために、移動されたフォルダのイメージリストを再整列する。端末１００は、該当フォルダ又は該当経路に選択されたイメージを移動して格納し、フォルダ又はイメージに対する情報を更新する。

例えば、図８の実施例において、タッチ入力が終了すれば、端末１００は、タッチ入力が終了したウェブブラウザのタブから選択されたオブジェクトのリンクを駆動する。端末１００は、該当リンクによって駆動されたウェブページを表示し、ウェブページを構成するテキスト、イメージ、フラッシュなどを表示する。

また、例えば、図９の実施例において、タッチ入力が終了すれば、端末１００は、タッチ入力が終了したアプリケーション又は作業画面上に選択されたオブジェクトを追加、挿入、貼り付け、又は、添付する。端末１００は、選択されたイメージを文字メッセージに添付し、文字メッセージ作成ウィンドウに挿入する。また、端末１００は、選択されたイメージをＳＮＳに掲示できるように、文作成モードを実行して文作成ウィンドウに選択されたイメージを添付する。

端末１００は、上述した例に限定されず、本発明が適用される範囲内でタッチ終了感知に対応して多様な動作を実行できる。

本発明が属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から外れない範囲で多様な修正及び変形が可能である。従って、本発明に開示された実施例は、本発明の技術思想を限定するためのものでなく、説明するためのものであり、このような実施例によって本発明の技術思想の範囲は限定されない。本発明の保護範囲は、本願の特許請求の範囲によって解釈されるべきであり、それと同等な範囲内にある全ての技術思想は、本発明の権利範囲に含まれるものと解釈されなければならない。

１００ 端末
１１０ 入力部
１２０ 制御部
１３０ 格納部
１４０ 表示部

Claims (15)

1. タッチスクリーン上の複数のオブジェクトのうち少なくとも一つのオブジェクトを選択するタッチ入力を感知するステップと、
   前記選択された少なくとも一つのオブジェクト上で前記タッチ入力が固定される間、センサによって非接触ジェスチャー入力を感知するステップと、
   前記選択された少なくとも一つのオブジェクトが前記タッチ入力の位置に固定された状態で、前記非接触ジェスチャー入力に応答して、前記非接触ジェスチャー入力の方向及び形態のうち少なくとも一つに基づいて、前記複数のオブジェクトのうち前記固定された少なくとも一つのオブジェクトを除いた少なくとも一つのオブジェクトの表示に対してスイッチングを行うステップと、
   を含み、
   前記スイッチングの方向は、前記非接触ジェスチャー入力の移動方向によって決定され、前記スイッチングを行う回数は、前記非接触ジェスチャー入力の形態によって決定されることを特徴とする端末の制御方法。
2. 前記少なくとも一つのオブジェクトは、
   アイコン、テキスト、イメージ、ファイル、フォルダ、ウェブブラウザ上のコンテンツ、ウェブアドレス、ウェブリンクのうち少なくとも一つを含むことを特徴とする請求項１に記載の端末の制御方法。
3. 前記少なくとも一つのオブジェクトを選択するタッチ入力を感知するステップは、
   前記選択された少なくとも一つのオブジェクトを活性状態、拡大又は縮小状態、シェーディング状態のうち少なくとも一つの形態に表示するステップをさらに含むことを特徴とする請求項１に記載の端末の制御方法。
4. 前記スイッチングを行うステップは、
   前記タッチ入力に対応する前記少なくとも一つのオブジェクトを感知するステップと、
   前記タッチスクリーン上に固定された前記少なくとも一つのオブジェクトを含む複数のページ間の表示をスイッチングするステップを含むことを特徴とする請求項１に記載の端末の制御方法。
5. 前記センサによって前記少なくとも一つのオブジェクトに対する前記タッチ入力の終了（ｒｅｌｅａｓｅ）を感知するステップと、
   制御部によって前記少なくとも一つのオブジェクトに対して、前記タッチ入力の終了に対応する動作を行うステップと、
   をさらに含むことを特徴とする請求項１に記載の端末の制御方法。
6. 前記タッチ入力の終了に対応する動作は、
   前記選択されたオブジェクトを前記タッチ入力に対応する位置に整列する動作、前記選択されたオブジェクトのリンクをウェブブラウザのタブ（ｔａｂ）で駆動する動作、前記選択されたオブジェクトをアプリケーション又は作業画面上に貼り付ける動作のうち何れか一つであることを特徴とする請求項５に記載の端末の制御方法。
7. 前記選択されたオブジェクトは、
   文字メッセージやＥメールメッセージに貼り付けるか又は添付される少なくとも一つのイメージを含むことを特徴とする請求項５に記載の端末の制御方法。
8. 前記選択されたオブジェクトは、
   ソーシャルネットワークアプリケーションに貼り付けるか又は添付される少なくとも一つのイメージを含むことを特徴とする請求項５に記載の端末の制御方法。
9. 前記非接触ジェスチャー入力は、手の形に対応するジェスチャーを含むことを特徴とする請求項１に記載の端末の制御方法。
10. タッチ入力及び非接触ジェスチャー入力を感知する入力部と、
    複数のオブジェクトのうち前記タッチ入力に対応する少なくとも一つのオブジェクトの選択を感知し、前記タッチ入力の位置に前記少なくとも一つのオブジェクトが固定された状態で前記非接触ジェスチャー入力に応答して、前記非接触ジェスチャー入力の方向及び形態のうち少なくとも一つに基づいて、前記複数のオブジェクトのうち前記固定された少なくとも一つのオブジェクトを除いた少なくとも一つのオブジェクトの表示に対するスイッチングを行う制御部と、
    前記制御部の制御によって画面を表示する表示部と、
    を含み、
    前記スイッチングの方向は、前記非接触ジェスチャー入力の移動方向によって決定され、前記スイッチングを行う回数は、前記非接触ジェスチャー入力の形態によって決定されることを特徴とする端末。
11. 前記スイッチングは、
    ページスイッチング、フォルダスイッチング、タブスイッチング、アプリケーションスイッチング、作業スイッチングのうち何れか一つであることを特徴とする請求項１０に記載の端末。
12. 前記入力部は、前記タッチ入力の終了（ｒｅｌｅａｓｅ）を感知し、
    前記制御部は、前記タッチ入力の終了に対応して前記選択されたオブジェクトを前記タッチ入力の終了位置に整列する動作、前記選択されたオブジェクトのリンクをウェブブラウザのタブで駆動する動作、前記選択されたオブジェクトをアプリケーション又は作業画面上に貼り付ける動作のうち何れか一つを行うことを特徴とする請求項１０に記載の端末。
13. 前記選択されたオブジェクトは、
    文字メッセージやＥメールメッセージに貼り付けるか又は添付される少なくとも一つのイメージを含むことを特徴とする請求項１２に記載の端末。
14. 前記選択されたオブジェクトは、
    ソーシャルネットワークアプリケーションに貼り付けるか又は添付される少なくとも一つのイメージを含むことを特徴とする請求項１２に記載の端末。
15. 前記非接触ジェスチャ入力は、
    手の形に対応するジェスチャーを含むことを特徴とする請求項１０に記載の端末。
    
    

Images