JP6366309B2 - ユーザ機器のオブジェクト運用方法及び装置 - Google Patents

Description

本発明は、ユーザ機器のオブジェクト運用方法及び装置に関し、特にマルチホバリングを利用したユーザ機器のオブジェクト運用方法及び装置に関する。

ユーザ機器（ｕｓｅｒ ｄｅｖｉｃｅ）、例えば、スマートホン、タブレットパソコン、ノートパソコンなどは、利用の便宜性と携帯の容易性によって非常に幅広い分野で用いられている。特に、タッチスクリーンを具備するユーザ機器は、持続的に開発されている。タッチスクリーンを具備する機器は、表示部を通じて多様な機能を提供することによって、機能をさらに直観的に利用することができるように支援している。ユーザは、タッチ、音声、モーションなどの多様な入力手段を利用して表示部に表示された機能を操作するか、または機器に必要な情報を入力することができる。

最近、ユーザ機器で提供される機能が複雑になるにつれて、ユーザインタラクション（ｉｎｔｅｒａｃｔｉｏｎ）に対する方法が多様に研究されている。一般的にユーザは、ユーザ機器で提供されるユーザインターフェース（ＵＩ；Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面を基盤として画面を操作している。すなわち、ユーザは、ユーザ機器の特定機能を実行するためには、機器設計の原則によって一連の過程を行わなければならない。例えば、ユーザが特定コンテンツを他の端末機に伝送するためには、他の端末機と連結するための入力、特定コンテンツを選択するための入力、伝送メニューに進入するための入力及び伝送を要請するための入力を順次に進行しなければならない。このようなユーザの入力動作は、現実での直観的な使用性を反映せず、機器に対する動作理解が難しい人々には機器の機能を充分に活用しない短所が存在する。したがって、ユーザ機器を操作するに際して、現実においてのような直観的なジェスチャーを利用してユーザ機器を操作するための研究が行われている。

本発明は、前述したような問題を解決するためになされたもので、その目的は、ユーザ機器を現実においてのような直観的なジェスチャーを利用してユーザ機器の機能を操作することができるユーザ機器のオブジェクト運用方法及び装置を提供することにある。

本発明は、ユーザ機器を直接的にタッチせず、現実で使用するジェスチャーと同一のジェスチャーを通じてコンテンツに対する特定機能、例えば、ファイル伝送、削除機能を実行することができるユーザ機器のオブジェクト運用方法及び装置を提供することにある。

本発明によるユーザ機器のオブジェクト運用方法は、表示部に少なくとも１つのオブジェクトを表示する段階と；前記表示部に表示されたオブジェクトを選択するマルチフィンガーホバリングジェスチャーを検出する段階と；前記マルチフィンガーホバリングジェスチャーに応答してカメラを駆動する段階と；前記カメラから収集された映像を基盤としてユーザのハンドを認識する段階と；前記認識されたユーザのハンドが前記カメラの視野角内で消える場合、前記選択されたオブジェクトをファイル伝送待機状態に変更する段階と；を含む。

本発明によるユーザ機器は、無線通信信号を送受信する無線通信部と；少なくとも１つのオブジェクトを表示する表示部と；前記オブジェクトに対するユーザジェスチャーを感知するセンサー部と；前記ユーザジェスチャー映像を収集するカメラと；前記センサー部を用いてオブジェクトを選択するマルチフィンガーホバリングジェスチャーを検出し、前記マルチフィンガーホバリングジェスチャーに応答してカメラを駆動し、前記カメラから収集された映像を基盤としてユーザのハンドを認識し、前記認識されたユーザのハンドが前記カメラの視野角内で消える場合、前記選択されたオブジェクトをファイル伝送待機状態に変更するように制御する制御部と；を含む。

本発明によるユーザ機器のオブジェクト運用方法及び装置によれば、ユーザが表示部に表示されたコンテンツをアナログ的な使用経験をそのまま維持し、さらに直観的にコンテンツに対する機能を運用することができる。ユーザは、現実で使用するジェスチャーと同一のジェスチャーを用いてコンテンツに他の端末機に伝送するか、または削除することができる。

また、本発明によれば、端末機の特定機能実行のために階層的なメニュー構造を利用せずに、速い実行命令を提供するユーザーエクスピアリアンス（ＵＸ；Ｕｓｅｒ Ｅｘｐｅｒｉｅｎｃｅ）を提供することができる。

本発明の実施例による携帯端末機を説明するために示すブロック図である。 本発明の実施例によるユーザ機器のオブジェクト運用方法を説明するための流れ図である。 本発明の実施例によるユーザ機器でオブジェクトを伝送するユーザインタラクションを説明するための例示図である。 発明の実施例によるユーザ機器でオブジェクトを削除するユーザインタラクションを説明するための例示図である。 本発明の実施例によってグラッブジェスチャーに対応して視覚的フィードバックを出力する画面例示図である。 本発明の実施例による端末機間のファイル伝送過程を説明するために示す図である。 本発明の実施例による端末機間のオブジェクトの送受信過程を説明するための画面例示図である。 本発明の実施例によってファイル受信に対応して視覚的フィードバックを出力する画面例示図である。 本発明の実施例による動画ファイルの送受信過程を説明するために示す画面である。

以下、添付した図面を参照して本発明の好ましい実施例によってメッセージ管理方法及び装置に対して詳細に説明する。本発明の詳細な説明に先立って、以下で使用される用語や単語は、通常的や辞書的な意味に限定して解釈されてはならないし、本発明の技術的思想に符合する意味と概念として解釈されなければならない。したがって、本明細書と図面は、本発明の好ましい実施例に過ぎず、本発明の技術的思想をすべて代弁するものではないので、本出願時点においてこれらを代替することができる多様な均等物と変形例があり得ることを理解しなければならない。また、添付の図面において一部の構成要素は、誇張されるか、省略されるかまたは概略的に図示され、各構成要素のサイズは、実際サイズを反映するものではない。したがって、本発明は、添付の図面に描かれた相対的なサイズや間隔によって制限されない。

本発明によるユーザ機器はタッチスクリーンとタッチ入力ツールとの間の離隔距離、例えば、深さ（ｄｅｐｔｈ）によってユーザ入力、例えば、タッチ及びホバリングを検出する機能を支援する。また、ユーザ機器は、１つの領域で入力イベントが発生するシングル入力（ｓｉｎｇｌｅ ｉｎｐｕｔ）と、２つ以上の領域で入力イベントが同時に発生するマルチ入力（ｍｕｌｔｉ ｉｎｐｕｔ）を検出する機能を支援する。

本発明で「ホバリング」は、タッチ入力ツールがタッチスクリーンから所定の離隔距離以内に接近して発生する入力信号として定義される。例えば、ホバリングは、ユーザ機器がタッチ入力ツールの位置を検出することができる水準まで接近して発生する入力信号に対して指称することができる。

本発明で「ジェスチャー」は、ユーザの入力動作を意味し、マルチホバリングジェスチャーと、ハンドジェスチャーとに区別することができる。ここで、「マルチホバリングジェスチャー」は、タッチスクリーンから伝達されたホバリングを通じて認識されたユーザの動作を意味し、ホバリング基盤の指ジェスチャーに該当することができる。「ハンドジェスチャー」は、カメラから収集された映像から認識されるハンドイメージを通じて認識されるハンド動作（ｍｏｔｉｏｎ）を意味し、カメラ基盤で手ジェスチャーに該当することができる。

本発明による方法及び装置は、携帯端末機に適用することができる。このような携帯端末機は、携帯電話、スマートホン、タブレットパソコン、ハンドヘルド（ｈａｎｄ−ｈｅｌｄ）ＰＣ、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などになることができることは自明である。以下の説明では、本発明によるユーザ機器のオブジェクト運用方法及び装置が携帯端末機に適用されるものと仮定して説明する。

図１は、本発明の実施例による携帯端末機を説明するために示すブロック図である。

図１を参照すれば、本発明による端末機１００は、表示部１１０、入力部１２０、無線通信部１３０、オーディオ処理部１４０、カメラ１５０、センサー部１６０、ＧＰＳ受信部１７０、格納部１８０及び制御部１９０を含んでなることができる。

表示部１１０は、端末機１００の運用過程に必要な多様な機能画面を表示する。表示部１１０は、制御部１９０の制御下に、制御部１９０から入力された映像データをアナログ信号に変換して表示する。表示部１１０は、端末機の運用による画面、例えば、ロック画面、ホーム画面、アプリケーション（以下、アプリ（ＡＰＰ）という）実行画面、メニュー画面、キーパッド画面、メッセージ作成画面、インターネット画面などを提供することができる。

本発明で表示部１１０は、ユーザのマルチホバリングジェスチャーによって表示部１１０に出力されたオブジェクトのグラフィックを異なるように処理して出力する機能を支援する。例えば、表示部１１０は、マルチホバリング基盤のグラッブジェスチャーが検出される場合、表示部に表示された画面またはオブジェクトのサイズが縮小されるグラフィック効果を出力することができる。この場合、表示部１１０は、制御部１９０の制御下に、ユーザのハンドと画面との離隔間隔、すなわち深さ（ｄｅｐｔｈ）によってオブジェクトの表示サイズ（ｓｉｚｅ）を縮小するかまたは拡大するグラフィック効果を提供するように支援する。また、表示部１１０は、マルチホバリング基盤のリリースジェスチャーが検出される場合、表示部１１０に出力されるオブジェクトのサイズが拡大されるグラフィック効果を出力することができる。この場合、表示部１１０に出力されるオブジェクトは、他の端末機から受信されるオブジェクトファイルが該当することができる。また、表示部１１０は、他の端末機から受信されたデータ伝送量によって表示部に出力された画面のサイズを次第に拡大するグラフィック効果を提供するように支援する。

表示部１１０は、液晶表示装置（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｅｄ Ｄｉｏｄｅ）、ＡＭＯＬＥＤ（Ａｃｔｉｖｅ Ｍａｔｒｉｘ Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｅｄ Ｄｉｏｄｅ）、フレキシブルディスプレイ、透明ディスプレイなどの形態で形成することができる。

表示部１１０は、端末機の運用によって多様な画面を提供する表示パネルと、表示パネルの前面または後面にタッチイベント生成を支援するタッチパネルを含むことができる。例えば、タッチパネルは、表示部に配設（Ｐｌａｃｅ ｏｎ）される。タッチパネルは、表示部１１０の前面に位置するアドオンタイプ（ａｄｄ−ｏｎ ｔｙｐｅ）や表示部１１０内に挿入されるオンセルタイプ（ｏｎ−ｃｅｌｌ ｔｙｐｅ）またはインセルタイプ（ｉｎ−ｃｅｌｌ ｔｙｐｅ）で具現することができる。タッチパネルは、抵抗膜方式（ｒｅｓｉｓｔｉｖｅ ｔｙｐｅ）、静電容量方式（ｃａｐａｃｉｔｉｖｅ ｔｙｐｅ）及び電磁誘導方式（ｅｌｅｃｔｒｏｍａｇｎｅｔｉｃ ｉｎｄｕｃｔｉｏｎ ｔｙｐｅ）などが適用することができる。表示部１１０は、端末機１００の回転方向（または配置方向）によるアプリ実行情報、横モードと縦モード間の変化による適応的画面切替表示を支援することができる。

入力部１２０は、端末機１００の運用に必要な多様な入力信号を生成する。入力部１２０は、数字または文字情報を入力され、各種機能を設定するための多数の入力キー及び機能キー、例えば、サイドキー、ショートカットキー及びホームキーなどを含むことができる。入力部１２０は、ユーザ設定及びユーザ機器の機能制御と関連したキー信号を生成し、制御部１９０に伝達する。制御部１９０は、このようなキー信号に応答して当該入力信号による機能を制御する。入力部１２０は、端末機１００のタッチパネルがフルタッチスクリーン形態で支援された場合、仮想タッチパッドとして提供することができる。

また、表示部１１０にタッチパネルを含む場合、表示部１１０は、入力部１２０として動作することができる。この場合、端末機運用のための入力信号は、タッチパネルを通じて生成することができる。タッチパネルは、タッチ入力ツール（例えば、ユーザのハンド、タッチペンなど）による入力イベント生成を支援する。特に、タッチパネルが静電容量方式で構成される場合、タッチパネルは、タッチ入力ツールと画面間の離隔距離による静電容量変化を感知し、静電容量値のサイズによってユーザの動作を区分することができるように支援する。また。タッチ入力ツールと画面間の隔離距離は、距離測定センサー、例えば赤外線センサーを通じて隔離距離、すなわち深さ値を測定することができる。本発明で入力部１２０は、ユーザの入力操作に応答してタッチ、マルチタッチ、シングルホバリング及びマルチホバリングのうち少なくとも１つの入力イベント生成を支援する。

無線通信部１３０は、端末機の通信を行う。無線通信部１３０は、支援可能な移動通信ネットワークと通信チャネルを形成し、音声通信、画像通信及びデータ通信のような通信を行う。無線通信部１３０は、送信される信号の周波数を低雑音増幅及び下降変換する無線周波数受信部などを含むことができる。また、無線通信部１３０は、移動通信モジュール（例えば、３世代（３−Ｇｅｎｅｒａｔｉｏｎ）移動通信モジュール、３．５世代（３．５−Ｇｅｎｅｒａｔｉｏｎ）移動通信モジュールまたは４世代（４−Ｇｅｎｅｒａｔｉｏｎ）移動通信モジュールなど）、及びデジタル放送モジュール（例えば、ＤＭＢモジュール）及び近距離通信モジュールを含むことができる。ここで、近距離通信モジュールは、ワイファイモジュール、ブルートゥースモジュール、ワイファイダイレクトモジュールのうち少なくとも１つを含むことができる。本発明で近距離通信モジュールは、他の端末機と通信チャネルを形成し、制御部１９０の制御下に、特定オブジェクトのファイルまたはデータを送受信する機能を支援する。

本発明で端末機１００は、アクセスポイント（ＡＰ：ａｃｃｅｓｓ ｐｏｉｎｔ）として使用される機能を支援することができる。端末機１００がアクセスポイントとして使用される場合、端末機１００は、当該端末機１００をアクセスポイントとして利用する他の端末機と直接ファイルを送受信することができる。または、端末機１００が特定アクセスポイントに接続された場合、特定アクセスポイントに連結された他の端末機とファイルを送受信する場合、特定アクセスポイントを通じてファイルを送受信することができる。

オーディオ処理部１４０は、端末機１００で生成されたまたは復号されたオーディオ信号出力を支援するスピーカーＳＰＫと音声通話や映像通話、録音機能などを支援するためにオーディオ信号を収集するマイクＭＩＣを含むことができる。オーディオ処理部１４０は、制御部１９０から入力された音声などのオーディオデータをＤＡ（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ）変換し、スピーカーＳＰＫに伝送し、マイクＭＩＣから入力された音声などのオーディオデータをＡＤ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）変換し、制御部１９０に伝達する。オーディオ処理部１４０は、コーデック（ｃｏｄｅｃ；ｃｏｄｅｒ／ｄｅｃｏｄｅｒ）で構成することができ、コーデックは、パケットデータなどを処理するデータコーデックと音声などのオーディオ信号を処理するオーディオコーデックを具備することができる。オーディオ処理部１４０は、受信されるデジタルオーディオ信号をオーディオコーデックを通じてアナログ信号に変換し、スピーカーを通じて再生する。オーディオ処理部１４０は、マイクから入力されるアナログオーディオ信号を、オーディオコーデックを通じてデジタルオーディオ信号に変換し、制御部１９０に伝達する。

カメラ１５０は、撮影を通じて映像を収集する機能を支援する。カメラ１５０は、入力された光信号を電気的信号に変換するカメラセンサーと、カメラセンサーから撮影されるアナログ映像信号をデジタルデータに変換する映像処理装置（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）及び映像処理装置で出力されるデジタルデータをタッチスクリーンに表示するためにビデオ信号を映像処理（例えば、サイズ調整（ｓｃａｌｉｎｇ）、ノイズ除去、ＲＣＧ信号変換など）する信号処理装置（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などを含むことができる。ここで、カメラセンサーは、ＣＣＤ（Ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサーまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）センサーなどが使用することができ、信号処理処置は、その構成が省略され、ＤＳＰで具現することもできる。

本発明でカメラ１５０は、ユーザジェスチャーを認識するためのセンサー機能を支援する。カメラ１５０は、制御部１９０の制御下に、バックグラウンド（ｂａｃｋｇｒｏｕｎｄ）機能で活性化することができる。例えば、カメラ１５０は、制御部１９０の制御下に、特定アプリが実行された状態でレンズを通じて収集される映像を制御部１９０に伝達することができる。

センサー部１６０は、ユーザ機器端末機１００を基盤として行われるユーザの入力情報及び周辺環境変化を感知し、それによる情報を制御部１９０に伝達する機能を支援する。本発明でセンサー部１６０は、タッチ入力を認識することができるタッチセンサー、タッチ入力ツールの接近を感知する近接センサー、タッチ入力ツールと機器との間の距離を測定することができる距離測定センサー、映像イメージを収集することができるイメージセンサー、３次元空間の動作及び動きを認識することができる動作認識センサー、方向などを感知することができる方向センサー、及び移動速度を検出することができる加速度センサーのうち少なくとも１つを含むことができる。

ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１７０は、制御部１９０の制御下に、ＧＰＳ衛星からＧＰＳ衛星信号を受信し、制御部１９０に伝達する機能を支援する。ＧＰＳ受信部１７０は、受信信号によってＧＰＳ衛星と接続し、ＧＰＳ衛星信号を受信される。ＧＰＳ受信部１７０は、受信されたＧＰＳ衛星信号を制御部１９０に伝達する。制御部１９０は、ＧＰＳ衛星信号を利用して現在位置する携帯端末機の位置情報を計算する。

本発明でＧＰＳ受信部１７０は、他の端末機と通信連結する手段として利用することができる。例えば、制御部１９０は、マルチホバリングジェスチャーが検出されれば、ＧＰＳ受信部１７０を通じてユーザ機器のＧＰＳ情報をＧＰＳサーバーに伝送する。制御部１９０は、所定の時間以内にＧＰＳサーバーから他の端末機のＧＰＳ座標情報が受信されれば、当該サーバーからファイルを受信することができる。

格納部１８０は、端末機１００の運営体制（ＯＳ；Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）及び多様なアプリケーション（以下、アプリ）を含めて、携帯端末で生成される多様なデータなどを格納する。データは、端末機のアプリケーション（以下、アプリ）実行に発生するデータ及び端末機を利用して生成するか、または外部（例えば、外部サーバー、他の携帯端末、パソコン）から受信し、格納可能なすべての形態のデータを含むことができる。格納部１８０は、端末機で提供されるユーザインターフェース及び機能処理に対する多様な設定情報を格納することができる。

本発明で格納部１８０は、ユーザのジェスチャーを決定するジェスチャー認識プログラムを含むことができる。ジェスチャー認識プログラムは、ホバリング基盤のマルチホバリングジェスチャーとカメラ基盤のハンドジェスチャーを認識する機能を支援する。ジェスチャー認識プログラムは、カメラから収集された映像からハンド領域を分離し、ハンド形態を認識する機能を支援する。また、ジェスチャー認識プログラムは、収集された映像でユーザのハンド形状が特定状態及び動作に変化する場合、当該動作状態及び動作とマッチングされるジェスチャーを判別する機能を支援する。

本発明で格納部１８０は、人が手を利用して動作することができる多様なハンドジェスチャーに対する情報、例えば、指の配置形態、指の位置情報、ハンドの動作形状、ハンド形態などの情報を格納することができる。また、格納部１８０は、ユーザのジェスチャーに対応して既定の命令（ｃｏｍｍａｎｄ）情報を含むことができる。ユーザジェスチャーに対応する命令は、製造時に定義することができるが、ユーザ便宜によって設定が可能である。

制御部１９０は、ユーザ機器の全般的な動作及びユーザ機器の内部構成間の信号フローを制御し、データを処理する機能を行う。制御部１９０は、バッテリーから内部構成への電源供給を制御する。制御部１９０は、電源が供給されれば、ユーザ機器の起動過程を制御し、ユーザの設定によってユーザ機器の機能実行のためにプログラム領域に格納された各種応用プログラムを実行する。

本発明で制御部１９０は、タッチスクリーンから受信される入力イベントを受信し、入力イベントによるユーザジェスチャーを区分する機能を支援する。制御部１９０は、タッチ入力ツールの接近を感知し、タッチ入力ツールとタッチスクリーンとの間の離隔間隔を計算する。ここで、タッチ入力ツールは、タッチペンやユーザのハンドであることができるが、本発明では、タッチ入力ツールがユーザのハンドである場合と仮定して説明する。

制御部１９０は、２つ間の離隔間隔が所定の離隔距離以内である場合、ホバリングを検出することができる。特に、本発明で制御部は、シングルホバリングとマルチホバリングを検出することができる。シングルホバリングは、タッチ入力ツールから１つのホバリング領域が検出される場合と定義される。マルチホバリングは、タッチ入力ツールから２つ以上のホバリング領域が検出される場合と定義される。

制御部１９０は、マルチホバリング領域の位置情報を基盤としてホバリング領域の動きを計算し、動きを基盤としてユーザのマルチホバリングジェスチャーを決定することができる。ここで、位置情報は、ホバリング領域の座標情報を含むことができる。例えば、制御部１９０は、マルチホバリングが検出された最初の領域を基準として中心点を計算し、ホバリング領域が中心点に近く接近する場合、ホバリング基盤のグラッブジェスチャー（ｇｒａｂ ｇｅｓｔｕｒｅ）が発生したと決定することができる。また、制御部１９０は、マルチホバリングが検出された最初の領域を基準としてホバリング領域が互いに遠くなった場合、ホバリング基盤のリリースジェスチャー（ｒｅｌｅａｓｅ ｇｅｓｔｕｒｅ）が発生したと決定することができる。また、制御部１９０は、ジェスチャー認識プログラムを利用してカメラを通じて収集された映像からハンド領域を分離し、ハンド領域から抽出されたイメージを通じてハンド形態を計算する。制御部１９０は、計算された手の形態が変更される場合、パターンマッチングを通じてカメラ基盤のハンドジェスチャーを決定することができる。

制御部１９０は、ユーザのジェスチャー、例えば、マルチホバリングジェスチャーまたはハンドジェスチャーが検出されれば、当該ジェスチャーに対応して実行可能な機能または所定の命令による機能を実行し、その実行画面を表示部１１０に出力する。

制御部の具体的な機能は、図２を参照して詳細に説明する。

図２は、本発明の実施例によるユーザ機器のオブジェクト運用方法を説明するための流れ図である。

図２を参照すれば、段階２１０で、端末機１００は、ユーザ入力または所定のスケジュールによって表示部１１０の画面に少なくとも１つのオブジェクトを表示する。ここで、オブジェクトは、ユーザ機器で提供されるデジタル化された情報に対応して画面に出力される客体を意味する。オブジェクトは、表示部１１０に出力されたアイコン、サムネイルなどと解釈することができる。本発明でオブジェクトは、それに対応するデータファイル、例えば、テキストファイル、音声ファイル、映像ファイル、イメージファイル、ＵＲＬ情報ファイルを含むものと定義することができる。

この場合、端末機の運営モードは、ホバリング認識モードで運用中であることができる。ホバリング認識モードは、ホバリング認識機能が支援される特定アプリが実行された状態であるか、またはホバリング認識機能が実行された状態であることができる。本発明でホバリング認識機能は、表示部に特定コンテンツがフルモードで出力された状態、またはユーザ入力によって複数のオブジェクトが選択された状態でホバリングを認識することができるが、これに限定するものではない。

段階２２０で、端末機１００は、所定の離隔距離以内でマルチホバリングを検出する。例えば、端末機１００は、端末機に接近する人体、例えば、ユーザのハンドから変化する静電容量値を測定する。端末機１００は、少なくとも２つ以上の領域で静電容量値の変化を検出することができる。端末機１００は、測定された変化量を基盤としてユーザのハンドと画面間の離隔距離を計算する。端末機１００は、ユーザのハンドと画面との間の離隔距離が既定の離隔距離（例えば、３ｃｍ）以内に接近する場合、ホバリングを検出することができる。端末機１００は、ホバリングが検出されれば、検出されたホバリングの位置情報を測定することができる。

この際、端末機１００は、２つ以上の領域でホバリングが検出される場合、マルチホバリングで決定することができる。すなわち、端末機１００は、２つ以上の位置でタッチ入力ツール（例えば、複数の指）が第１離隔距離以内で検出される場合、２つ以上の領域で検出されたホバリングを有効データとして認識することができる。

段階２３０で、端末機１００は、既定の時間以内に発生するマルチホバリングの動きを基盤としてグラッブ（ｇｒａｂ）ジェスチャーが発生したか否かを決定する。端末機１００は、最初に検出されたホバリング領域を基準としてユーザのジェスチャーによるホバリングの方向、距離、速さなどを決定することができる。

具体的に、端末機１００は、マルチホバリングの動いた方向及び距離を利用して位置ベクトルを算出し、算出された位置ベクトルを利用してグラッブジェスチャーが発生したか否かを決定することができる。端末機１００は、２つ以上のホバリング領域から中心点を決定し、ホバリング動きが中心点を基準として近くなる場合、グラッブジェスチャーが発生したと決定することができる。また、制御部１９０は、２つ以上のホバリング領域を含む外郭わくを決定し、ホバリングの動きが外郭わくの内側に変更された場合、グラッブジェスチャーが発生したと決定することができる。

段階２４０で、端末機１００は、ホバリング基盤のグラッブジェスチャーが発生したと決定されれば、表示部１１０に表示されたオブジェクトを、特定機能を実行するための選択オブジェクトとして決定する。この場合、端末機１００は、表示部１１０に出力された１つのオブジェクトを選択オブジェクトとして決定することができるが、ユーザ入力によってあらかじめ選択されたオブジェクトの選択決定を維持することができる。

端末機１００は、グラッブジェスチャーによって選択されたオブジェクトに対する視覚的フィードバック効果を出力することができる。例えば、端末機１００は、グラッブジェスチャーに対応してユーザが実質的に品物をピックアップすることのようなグラフィック効果を提供することができる。

段階２５０で、端末機１００は、選択オブジェクトが決定されれば、カメラ１５０を活性化させる。ここで、カメラ１５０は、端末が前面に装着される前面カメラであることができる。この際、カメラ１５０は、ユーザのハンドを認識することができるセンサー機能に用いられ、バックグラウンドで実行することができる。

段階２６０で、端末機１００は、カメラ１５０から映像を収集し、ユーザのハンドを認識する。例えば、端末機１００は、カメラから獲得される映像で色相情報を利用して背景を除いて、ハンド領域を分離することができる。端末機１００は、分離したハンド領域からハンドの特徴点を抽出し、ハンドの形態を計算することができる。端末機１００は、計算されたハンドの形態情報を利用してハンド形状と動作を認識することができる。端末機１００は、ハンド形状と動作を基盤としてパターンマッチング（ｐａｔｔｅｒｎ ｍａｔｃｈｉｎｇ）を行い、ハンドジェスチャーを検出することができる。

段階２７０で、端末機１００は、カメラ１５０の視野角内でユーザのハンドが消えたか否かを決定する。端末機１００は、色相情報を通じて映像からハンド領域を分離することができない場合、カメラ視野角内でユーザのハンドが消えたと決定することができる。

段階２７５で、端末機１００は、カメラ視野角内でユーザのハンドが消えたと決定されれば、選択されたオブジェクトをファイル伝送待機状態に変更する。この場合、端末機１００は、他の端末機との通信チャネルを形成し、他の端末機に伝送待機信号を伝送するか、または通信チャネルが既定の場合、他の端末機に伝送待機信号を伝送することができる。ファイル伝送待機に対する具体的な説明は、図６を参照して詳しく説明する。

段階２９０で、端末機１００は、他の端末機から伝送要請信号が受信されるか否かを決定する。端末機１００は、伝送要請信号は、他の端末機から受信される応答信号が該当することができる。段階２９５で、端末機１００は、伝送要請信号が受信される場合、伝送要請信号を発信した他の端末機に選択オブジェクトとして決定されたオブジェクトのファイルまたはデータを伝送する。

段階２８０で、端末機１００は、ユーザのハンドがカメラ１５０の視野角内で消えない場合、カメラ１５０基盤のハンドジェスチャーを検出することができる。例えば、ユーザは、特定オブジェクトが選択された状態でカメラ視野角内において、投げるジェスチャーを行うことができる。端末機１００は、カメラ１５０から収集される映像からユーザのハンド形態を決定し、パターンマッチングを通じてユーザハンドが投げる動作を行ったと決定することができる。

段階２８５で、端末機１００は、ハンドジェスチャーが検出された場合、当該ハンドジェスチャーに対応して選択されたオブジェクトに対する特定機能を行うことができる。例えば、投げる動作に対応してオブジェクト削除命令が定義された場合、端末機１００は、投げるジェスチャーに応答して当該オブジェクト削除する機能を行う。

図３は、本発明の実施例によるユーザ機器でオブジェクト伝送するユーザインタラクションを説明するための例示図である。

図３を参照すれば、表示部１１０は、ユーザの要請または所定のスケジュールによって１つ以上のオブジェクトを画面に出力することができる。表示部１１０は、画面に特定オブジェクトがフルモード（ｆｕｌｌ ｍｏｄｅ）で支援されるか、または多数のオブジェクトが表示される画面を出力することができる。

例えば、ユーザは、ユーザ機器で提供するギャラリー機能を行うことができる。ユーザ機器は、ユーザの要請に応答して〈ａ〉画面に示されたように、特定写真コンテンツ３１０がフルモードで支援された画面を出力することができる。また、ユーザ機器は、多数の写真オブジェクトリストが表示され、写真リストのうち特定写真が選択された画面を出力することができる。

ユーザは、特定写真が表示された状態で当該写真に対する機能を実行するためにユーザのハンド３２０を画面に接近することができる。ここで、ユーザ機器は、ホバリングとタッチを区分するために画面とタッチ入力ツールとの間の所定の離隔距離が設定することができる。所定の離隔距離は、ユーザ機器がタッチ入力ツールの位置を検出することができる水準まで接近する臨界値であることができる。

ユーザ機器は、ユーザのハンド３２０が所定の離隔距離以内に接近する場合、指から２つ以上のホバリング領域３３０を検出する。ユーザ機器は、〈ａ〉画面のように、指の接近を感知し、４個のホバリング領域３３０を検出することができる。この場合、ユーザの５個の指がすべて所定の離隔距離以内に接近することができるが、指の長さによって、特定指だけが所定の離隔距離以内に接近することができる。

ホバリング状態でユーザは、物体を把持することのように指を中心に集めることができる。それから、ユーザ機器は、２つ以上のホバリング領域が中心点に近くなると決定し、ホバリング基盤のグラッブジェスチャーを検出することができる。ユーザ機器は、グラッブジェスチャーに応答して表示部に表示されたオブジェクト、すなわち写真コンテンツを選択オブジェクトとして決定する。

このような状態でユーザ機器は、〈ｂ〉画面に示されたように、カメラ１５０を活性化させてユーザ映像を獲得する。カメラ１５０は、ユーザのハンド動作を認識するためのセンサーに利用することができる。ユーザ機器は、カメラ１５０から映像を獲得し、色相情報を利用してハンド領域を分離し、ハンド形状及び形態を認識することができる。ユーザ機器は、カメラ１５０から獲得された映像からハンド領域を分離することができるか否かによってカメラ１５０の視野角内でユーザのハンドが消えたと決定することができる。

このような状態で、ユーザは、〈ｃ〉画面に示されたように、カメラ１５０の視野角から離れるようにユーザのハンド３２０を動かすことができる。それから、制御部は、カメラ１５０の視野角内でユーザのハンド３２０が消えたと決定し、選択された写真コンテンツ３１０に対するファイルを伝送待機状態に変更する。この場合、ユーザ機器は、他のユーザ機器と通信チャネルが形成された状態であることができる。ユーザ機器は、伝送待機状態の場合、通信連結された他のユーザ機器にファイル伝送待機信号を伝送することができる。

図４は、本発明の実施例によるユーザ機器でオブジェクトを削除するユーザインタラクションを説明するための例示図である。

図４を参照すれば、ユーザは、ユーザ機器で提供するギャラリー機能を実行し、特定写真コンテンツ４１０をフルモードで出力することができる。ユーザ機器は、写真コンテンツ４１０を選択するマルチホバリングジェスチャー、例えば、グラッブジェスチャーが検出されれば、カメラ１５０を駆動させることができる。

このような状態で、ユーザは、カメラ１５０の視野角内でユーザのハンド４２０で特定モーション、例えば、〈ａ〉画面に示されたように、投げるジェスチャー（ｔｈｒｏｗ ｇｅｓｔｕｒｅ）を行うことができる。ユーザ機器は、カメラ１５０を通じて獲得された映像から手領域を分離し、手の形態から手の動きと形状を認識することができる。

ユーザ機器は、ユーザのハンドモーションがパターンマッチングを通じて投げる（ｔｈｒｏｗ）動作として決定されれば、〈ｂ〉画面に示されたように、グラッブジェスチャーによって選択された写真コンテンツ４１０を削除することができる。

図５は、本発明の実施例によってグラッブジェスチャーに対応して視覚的フィードバックを出力する画面例示図である。

図５を参照すれば、ユーザは、特定コンテンツを選択するためにユーザ機器の上で物体を把持することのように指を中心に集めることができる。それから、ユーザ機器は、ホバリング状態でグラッブジェスチャーが発生したと決定し、表示部に表示された特定コンテンツ５１０を選択オブジェクトとして決定する。

この際、ユーザ機器は、ユーザにオブジェクト選択に対する視覚的なフィードバックを提供することができる。ユーザ機器は、表示部１１０に表示されたコンテンツ５１０のサイズを縮小して出力することができる。また、ユーザ機器は、ユーザのハンド５２０と画面との間の離隔距離間隔が変更されれば、変更された離隔距離によってグラフィック処理されたコンテンツ５１０のサイズを拡大するかまたは縮小して出力することができる。例えば、ユーザ機器は、ユーザがタッチスクリーンの上で品物をピックアップすることのような視覚的フィードバック効果を提供することができる。これにより、ユーザは、特定コンテンツを現実のように品物をピックアップして品物がユーザの手によって引っ張られて出ることのような効果を経験することができる。

このような状態で、ユーザがユーザのハンドを動かす場合、ユーザ機器は、〈ｂ〉画面に示されたように、グラフィック処理されたコンテンツ５１０をユーザのハンド５２０が動いた方向によって移動させて表示することができる。

図６は、本発明の実施例によるファイル伝送過程を説明するために示す図である。

図６を参照すれば、本発明によるファイル伝送過程は、送信側機器Ａと受信側機器Ｂとに分離して説明する。本発明によるユーザ機器は、ファイル伝送を行うにあたって、送信側機器Ａと受信側機器Ｂにいずれも適用が可能である。また、送信側機器Ａと受信側機器Ｂは、通信チャネルが連結された状態、例えば、ペアリング、ワイファイダイレクト、ブルートゥース通信などで連結された状態と仮定する。

まず、送信側機器Ａで特定コンテンツが選択された後、カメラ視野角内でユーザのハンドが消えたと決定されれば、段階６１０で、送信側機器は、選択された特定コンテンツをファイル伝送待機状態に変更する。送信側機器Ａは、通信チャネルが形成された端末機があるか否かを決定し、他の端末機と通信チャネルが形成された場合、段階６２０で、受信側機器Ｂにファイル伝送待機信号を伝送する。この場合、受信側端末機は、伝送待機信号に応答して表示部にファイル伝送待機アラーム情報（例えば、伝送待機メッセージ）を出力することができるが、これに限定するものではない。

それから、受信側機器Ｂは、送信側機器Ａからファイル伝送要請信号を受信した後、段階６３０で、マルチホバリングを検出し、段階６４０で、マルチホバリングの動きによってリリースジェスチャーを検出することができる。具体的に、受信側機器Ｂは、２つ以上のホバリング領域を基準としてホバリング領域が互いに遠くなる場合、リリースジェスチャーが検出されたと決定することができる。または、受信側機器Ｂは、２つ以上のホバリング領域を含む外郭わくを決定し、ホバリング領域が外郭わくの外に変更される場合、リリースジェスチャーが検出されたと決定することができる。

受信側機器Ｂは、リリースジェスチャーが検出されれば、段階６５０で、リリースジェスチャーに応答して受信側機器に伝送要請信号に応答する応答信号を伝送する。それから、段階６６０で、送信側機器Ａは、応答信号に応答して選択された特定オブジェクトファイルを受信側機器にファイル伝送を開始する。受信側機器Ｂは、送信側機器Ａから伝送されるオブジェクト情報を表示部に表示することができる。

図７は、本発明の実施例によるオブジェクトの送受信過程を説明するための画面例示図である。

図７を参照すれば、本発明で送信側機器Ａと受信側機器Ｂとの間に通信チャネルが形成された場合、ファイル送受信のためのユーザインタラクションは、まず、送信側機器Ａで図３に示されたように、ホバリング状態でユーザのハンドをグラッブした後、カメラの視野角内でユーザのハンドを消えるように移動させることができる。

それから、送信側機器Ａは、表示部に表示された写真コンテンツ７１０を選択オブジェクトとして決定し、決定された写真コンテンツをファイル伝送待機状態に変更する。この際、送信側機器Ａは、決定された写真コンテンツが伝送待機状態であることを通知するファイル伝送待機信号を通信チャネルが形成された機器、例えば、受信側機器Ｂに伝送する。この場合、送信側機器Ａは、ファイル伝送待機信号を通じて伝送待機中のコンテンツがあることを認知することができる。

このような状態で、受信側機器Ｂでユーザは機器をタッチせず、機器から所定の間隔が離れた空間で品物をピックアップしてから置くことのようなモーションを行うことができる。受信側機器Ｂは、指の接近を感知して指の接近を感知し、２つ以上のホバリング領域を検出し、ホバリング領域が検出された開始点を基準として遠くなると決定される場合、リリースジェスチャーが検出されたと決定することができる。

受信側機器Ｂは、リリースジェスチャーが検出されたと決まれば、リリースジェスチャーに応答して送信側機器Ａにファイル伝送待機信号に応答する応答信号を伝送する。それから、送信側機器Ａは、ファイル伝送待機状態である特定写真コンテンツを受信側機器Ｂに伝送する。受信側機器Ｂは、ファイルが伝送中または伝送が完了した場合、図示のように、受信側機器Ｂから伝送された写真コンテンツ７３０を表示部に表示することができる。

送信側機器と受信側機器のファイル伝送は、ブルートゥース通信、ワイファイダイレクト通信、ＧＰＳ受信部及びサーバー通信、アクセスポイントを用いた連結通信など多様な方式で連結され、ファイルを送受信することができる。

図８は、本発明の実施例によってファイル受信に対応して視覚的フィードバックを出力する画面例示図である。

図８を参照すれば、ユーザ機器は、通信チャネルが形成された他の端末機から特定コンテンツに対するファイル及びデータを受信することができる。ユーザ機器は、他の端末機から特定コンテンツに対するファイル及びデータが受信されれば、当該コンテンツ８１０が伝送状態であることを指示する視覚的フィードバック効果を提供することができる。例えば、ユーザ機器は、図８に示されたように、受信されるファイルのデータ量によって画面に出力されるオブジェクトのサイズを次第に拡大して出力するグラフィック効果を支援することができる。ユーザは、表示部に出力された画面のサイズによってファイル伝送中またはファイル伝送が完了したことを認知することができる。

図９は、本発明の実施例による動画ファイルの送受信過程を説明するために示す画面である。

図９を参照すれば、送信側機器Ａが動画を再生して出力していると仮定する。送信側機器Ａにおける動画再生モードでホバリング基盤のグラッブジェスチャーが検出される場合、再生中の動画コンテンツを伝送待機状態と決定し、受信側機器Ｂに伝送待機信号を伝送する。

次に、受信側機器Ｂでホバリング基盤のリリースジェスチャーが検出される場合、リリースジェスチャーに応答して伝送待機信号に応答する応答信号を送信側機器Ａに伝送する。送信側機器Ａは、応答信号に応答して再生中の動画コンテンツを送信側機器Ａに伝送する。この際、送信側機器Ａは、動画コンテンツに対するファイルだけでなく、再生情報を含んで提供することができる。

例えば、送信側機器Ａで再生途中に動画コンテンツを受信側機器Ｂに伝送する場合、受信側機器Ｂは、提供された再生情報を基盤として送信側機器Ａで再生が停止された時点から動画ファイルを再生することができる。

以上のように、本発明によるユーザ機器のオブジェクト運用方法に対して本明細書及び図面を通じて好ましい実施例を挙げて説明し、たとえ特定用語が使用されたが、これは、ただ本発明の技術内容を容易に説明し、発明の理解を助けるために一般的な意味として使用されるものに過ぎず、本発明が前述した実施例に限定されるものではない。すなわち、本発明の技術的思想に基づく多様な実施例が可能であることは、本発明の属する技術分野における通常の知識を有する者に自明である。

１００ ユーザ機器
１１０ 表示部
１２０ 入力部
１３０ 無線通信部
１４０ オーディオ処理部
１５０ カメラ
１６０ センサー部
１７０ ＧＰＳ受信部
１８０ 格納部
１９０ 制御部

Claims (25)

1. 表示部に少なくとも１つのオブジェクトを表示する段階と、
   前記表示部に表示されたオブジェクトを選択するマルチフィンガーホバリングジェスチャーを検出する段階と、
   前記マルチフィンガーホバリングジェスチャーに応答してカメラを駆動する段階と、
   前記カメラから収集された映像を基盤としてユーザのハンドを認識する段階と、
   前記認識されたユーザのハンドが前記カメラの視野角内から消える場合、前記選択されたオブジェクトをファイル伝送待機状態に変更する段階と、を含むユーザ機器のオブジェクト運用方法。
2. 前記カメラの視野角内で認識されたユーザのハンド動作が変更される場合、前記変更されたハンド動作に対応して前記選択されたオブジェクトに対して所定の機能を行う段階をさらに含むことを特徴とする請求項１に記載のユーザ機器のオブジェクト運用方法。
3. 前記マルチフィンガーホバリングジェスチャーを検出する段階は、
   前記表示部に２つ以上のホバリング領域を検出する段階と、
   前記検出された２つ以上のホバリング領域が互いに近くなる動きとして決定される場合、前記マルチフィンガーホバリングジェスチャーを検出する段階と、を含むことを特徴とする請求項１に記載のユーザ機器のオブジェクト運用方法。
4. 前記選択されたオブジェクトは、前記オブジェクトの表示サイズを変更して表示することを特徴とすることを特徴とする請求項１に記載のユーザ機器のオブジェクト運用方法。
5. 前記選択されたオブジェクトは、画面とユーザハンドとの間の離隔距離間隔によってオブジェクトの表示サイズが縮小されるか、または拡大されて表示することを特徴とする請求項４に記載のユーザ機器のオブジェクト運用方法。
6. 前記オブジェクトを表示する段階は、
   特定オブジェクトがフルモードで表示するか、またはユーザ入力によって選択された複数のオブジェクトを表示する段階よりなることを特徴とする請求項１に記載のユーザ機器のオブジェクト運用方法。
7. 前記ユーザのハンドを認識する段階と、
   前記カメラから収集される映像を獲得する段階と、
   前記獲得された映像を色相情報を基盤としてハンド領域と背景領域とに分離する段階と、
   前記分離したハンド領域からハンド形態を認識する段階と、
   前記ハンド形態をパターンマッチングし、ハンドの動きと形状を認識する段階と、を含むことを特徴とする請求項１に記載のユーザ機器のオブジェクト運用方法。
8. 前記ファイル伝送待機状態に変更する段階は、
   ユーザ機器の運用モードを伝送待機モードに変更することを特徴とする請求項１に記載のユーザ機器のオブジェクト運用方法。
9. 前記伝送待機モードに変更する段階は、
   他の端末機との通信連結があるか否かを決定し、通信連結がある場合、通信が連結された端末機に伝送待機信号を伝送する段階、または
   他の端末機との通信連結がない場合、特定端末機と通信連結を行い、通信が連結された端末機に伝送待機信号を伝送する段階を含むことを特徴とする請求項８に記載のユーザ機器のオブジェクト運用方法。
10. 前記伝送待機信号を伝送する段階後に、通信連結された端末機から応答信号を受信する段階と、
    前記受信された応答信号に応答する前記選択されたオブジェクトを通信連結された端末機に伝送する段階と、をさらに含むことを特徴とする請求項９に記載のユーザ機器のオブジェクト運用方法。
11. 他の端末機と通信連結された状態でファイル伝送要請に応答するマルチホバリングジェスチャーを検出する段階と、
    前記ファイル伝送要請に応答するマルチホバリングジェスチャーに応答して他の端末機に応答信号を伝送する段階と、
    前記他の端末機から伝送されるオブジェクトを受信する段階と、
    前記受信されたオブジェクトを表示部に表示する段階と、をさらに含むことを特徴とする請求項１に記載のユーザ機器のオブジェクト運用方法。
12. 前記ファイル伝送要請に応答するマルチホバリングジェスチャーを検出する段階は、
    前記表示部に２つ以上のホバリング領域を検出する段階と、
    前記検出された２つ以上のホバリング領域が互いに遠くなる動きとして決定される場合、前記ファイル伝送要請に応答するマルチフィンガーホバリングジェスチャーを検出する段階とを含むことを特徴とする請求項１１に記載のユーザ機器のオブジェクト運用方法。
13. 前記受信されたオブジェクトを表示部に表示する段階は、
    前記受信されたオブジェクトのデータ伝送量によってオブジェクトの表示サイズが拡大される視覚的フィードバックで表示することを特徴とする請求項１１に記載のユーザ機器のオブジェクト運用方法。
14. 無線通信信号を送受信する無線通信部と、
    少なくとも１つのオブジェクトを表示する表示部と、
    前記オブジェクトに対するユーザジェスチャーを感知するセンサー部と、
    前記ユーザジェスチャーの映像を収集するカメラと、
    前記センサー部を通じてオブジェクトを選択するマルチフィンガーホバリングジェスチャーを検出し、前記マルチフィンガーホバリングジェスチャーに応答してカメラを駆動し、前記カメラから収集された映像を基盤としてユーザのハンドを認識し、前記認識されたユーザのハンドが前記カメラの視野角内から消える場合、前記選択されたオブジェクトをファイル伝送待機状態に変更するように制御する制御部と、を含むユーザ機器。
15. 前記制御部は、
    前記カメラの視野角内で認識されたユーザのハンド動作が変更される場合、前記変更されたハンド動作に対応して前記選択されたオブジェクトに対して所定の機能を行うように制御することを特徴とする請求項１４に記載のユーザ機器。
16. 前記センサー部は、
    前記表示部で発生された２つ以上のホバリング領域に対する情報を制御部に伝達し、
    前記制御部は、
    前記検出された２つ以上のホバリング領域が互いに近くなる動きが検出される場合、前記マルチフィンガーホバリングジェスチャーが発生したと決定することを特徴とする請求項１４に記載のユーザ機器。
17. 前記表示部は、
    前記マルチフィンガーホバリングジェスチャーによって選択されたオブジェクトの表示サイズを変更して表示することを特徴とする請求項１４に記載のユーザ機器。
18. 前記表示部は、
    前記表示部とユーザハンドとの間の離隔距離間隔によってオブジェクトの表示サイズを縮小するかまたは拡大して表示することを特徴とする請求項１４に記載のユーザ機器。
19. 前記表示部は、
    特定オブジェクトをフルモードで表示するか、またはユーザ入力によって選択された複数のオブジェクトを表示することを特徴とする請求項１４に記載のユーザ機器。
20. 前記制御部は、
    前記カメラから収集される映像を獲得し、前記獲得された映像を色相情報を基盤としてハンド領域と背景領域とに分離し、前記分離したハンド領域からハンド形態を認識し、前記ハンド形態をパターンマッチングし、ハンドの動きと形状を認識することを特徴とする請求項１４に記載のユーザ機器。
21. 前記制御部は、
    他の端末機との通信連結があるか否かを決定し、通信連結がある場合、前記無線通信部を通じて通信が連結された端末機に伝送待機信号を伝送し、他の端末機との通信連結がない場合、特定端末機と通信連結を行い、通信が連結された端末機に伝送待機信号を伝送するように制御することを特徴とする請求項１４に記載のユーザ機器。
22. 前記制御部は、
    前記通信連結された端末機から応答信号が受信される場合、前記受信された応答信号に応答する前記選択されたオブジェクトを通信連結された端末機に伝送するように制御することを特徴とする請求項２１に記載のユーザ機器。
23. 前記制御部は、
    他の端末機と通信連結された状態でファイル伝送要請に応答するマルチホバリングジェスチャーを検出する場合、前記無線通信部を通じてマルチホバリングジェスチャーに応答して他の端末機に応答信号を伝送し、前記他の端末機から伝送されるオブジェクトを受信し、前記受信されたオブジェクトを表示部に表示するように制御することを特徴とする請求項１４に記載のユーザ機器。
24. 前記制御部は、
    前記表示部に発生した２つ以上のホバリング領域が互いに遠くなる動きが検出される場合、前記ファイル伝送要請に応答するマルチフィンガーホバリングジェスチャーが発生したと決定することを特徴とする請求項２３に記載のユーザ機器。
25. 前記表示部は、
    前記受信されたオブジェクトのデータ伝送量によってオブジェクトの表示サイズが拡大されるようにグラフィック処理して表示することを特徴とする請求項２３に記載のユーザ機器。