JP6602045B2 - ディスプレイを用いる入力処理方法及び装置 - Google Patents

ディスプレイを用いる入力処理方法及び装置 Download PDF

Info

Publication number
JP6602045B2
JP6602045B2 JP2015096780A JP2015096780A JP6602045B2 JP 6602045 B2 JP6602045 B2 JP 6602045B2 JP 2015096780 A JP2015096780 A JP 2015096780A JP 2015096780 A JP2015096780 A JP 2015096780A JP 6602045 B2 JP6602045 B2 JP 6602045B2
Authority
JP
Japan
Prior art keywords
axis
input
electronic device
user input
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015096780A
Other languages
English (en)
Other versions
JP2015219912A (ja
Inventor
▲ソク▼ 煕 鄭
幸 眞 申
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2015219912A publication Critical patent/JP2015219912A/ja
Application granted granted Critical
Publication of JP6602045B2 publication Critical patent/JP6602045B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Selective Calling Equipment (AREA)

Description

本発明の多様な実施形態は、入力処理方法に関するもので、例えばディスプレイを用いる入力処理方法及び装置に関する。
最近情報通信技術と半導体技術の大きな発展に従って、多様な電子装置(例えば、移動電話機、タブレットＰＣ、又はＰＤＡ)は、ますます小型化され、スリム化され、握りやすくなり、及び軽量化されているだけでなく、ユーザーが必要とする多様な機能を提供する。例えば、電子装置は、ディスプレイ(例えば、タッチパネルを含むタッチスクリーン)を用いて多様な情報を出力し、かつユーザーの入力(例えば、タッチ又はホバリング）を受け付けることができる。ユーザーは、ディスプレイを通じて提供される多様な情報のうち特定情報をタッチ(又は、ホバリング)することによって、所望の情報を選択でき、別個のキー(例えば、ハードウェアキーパッド)を利用しなくても該当電子装置を制御できる。
また、電子装置は、例えば、有線無線通信モジュール(例えば、ＬＡＮ、ＷＬＡＮ、ＷｉＦｉ、ＮＦＣ、ＩｒＤＡ、Ｚｉｇｂｅｅ（登録商標）、ＢＴ、又はセルラーモジュール)を通じて複数の電子装置間の通信をサポートできる。ユーザーは有線無線通信を用いて複数の電子装置間の情報を交換するだけでなく、一つの電子装置(例えば、移動電話機)を通じて他の電子装置(例えば、移動電話機と通信するテレビ）を遠隔で制御できる。
従来技術によると、電子装置はユーザーの身体の一部又は物(例えば、スタイラス又は電子ペン)によってタッチ(又は、ホバリング)されたディスプレイの領域を判定し、タッチされた領域に従ってユーザーの入力に対応するイベント(例えば、アプリケーションの実行、画面明るさの制御、又は他の電子装置を制御)を実行する。しかしながら、電子装置は、例えば、ディスプレイの多様な領域(例えば、アイコン、ソフトウェアキーパッドの番号又は文字が表示される領域)の各々を一つのイメージ(例えば、ディスプレイを通じて出力される一つのイメージ)に含まれたテキスト又はアイコンに対応するソフトウェアで区分するだけで、別のハードウェア装置(例えば、ハードウェアキーパッド）で区分しない。それによって、ユーザーは、ディスプレイの多様な領域に表示されて区分される多様なアイコン又はテキストのそれぞれの領域を触感だけで区分しにくい。また、ユーザーが目でディスプレイを直接に見ない場合、ユーザーが希望しない領域がタッチされることによって、ユーザーの意図と異なるイベントが実行される可能性がある。
例えば、電子装置(例えば、移動電話機）は、他の電子装置(例えば、テレビ）の動作を制御できる遠隔制御装置(例えば、リモートコントローラ)として利用することができる。例えば、電子装置と機能的に連結された(例えば、電子装置に含まれた)ディスプレイを左側から右側へドラッグするユーザー入力が取得される場合、電子装置(例えば、移動電話機）は、他の電子装置(例えば、テレビ）のチャンネルを変更(例えば、低い番号のチャンネルから高い番号のチャンネルに変更)できる。あるいは、電子装置のディスプレイを下側から上側へドラッグするユーザー入力が取得される場合、電子装置は、他の電子装置のボリュームを上げられる。
この場合、ユーザーは、目では他の電子装置(例えば、テレビ）の画面を見つつ手では電子装置(例えば、移動電話機のディスプレイ)を通じて他の電子装置を制御するための命令を入力できる。しかしながら、ユーザーが電子装置を見ない場合、電子装置が位置した方向又はユーザーと電子装置との間の角度など多様な要因によってユーザーのドラッグ方向が所望の方向と異なることがある。例えば、ユーザーは電子装置のディスプレイを右側へドラッグすることによってチャンネルを変更しようとするが、ドラッグの入力方向がディスプレイの下方として認識されて他の電子装置のボリュームが変更されることがある。その結果、電子装置は他の電子装置を通じてユーザーの所望するイベント(例えば、チャンネル変更)を実行せず、間違って解析したユーザーの入力によって他のイベントを実行するという問題があった。
したがって、上記した従来技術の問題点を解決するために、本発明の目的は、ユーザー入力を判断するためのディスプレイの基準軸をユーザー入力に基づいて変更することによって、ユーザー入力に対応するイベント(例えば、他の電子装置のチャンネル変更、音消去、ボリューム変更、又は画面制御)を実行できる入力処理方法及び装置を提供することにある。
上記のような目的を達成するために、本発明の一態様によれば、入力を処理する方法が提供される。その方法は、電子装置と機能的に接続されるディスプレイを通してユーザー入力を取得するステップと、ディスプレイに対する第１の軸を基準軸としてユーザー入力に対応する角度を決定するステップと、少なくとも角度に基づいてディスプレイに対する第２の軸を基準軸として決定するステップと、第２の軸に基づき、ユーザー入力に対応する少なくとも一つのイベントを電子装置と機能的に接続する外部装置を通じて実行するステップとを有する。
本発明の他の態様によれば、入力を処理するための電子装置が提供される。その電子装置は、ユーザー入力を取得するために構成されるディスプレイと、ユーザー入力に関連した情報を格納するために構成されるメモリと、メモリと機能的に接続される入力処理モジュールとを含み、入力処理モジュールは、ディスプレイに対する第１の軸を基準軸としてユーザー入力に対応する角度を決定し、少なくとも角度に基づいてディスプレイに対する第２の軸を基準軸として決定し、第２の軸に基づき、ユーザー入力に対応する少なくとも一つのイベントを電子装置と機能的に接続される少なくとも一つの外部装置を通じて実行するように構成される。
本発明は、入力処理方法及び装置において、例えばユーザー入力を処理するためのディスプレイの基準軸を調整することによって、ディスプレイを通じて入力されるユーザー入力に対する認識を向上させることができる。
また、本発明は、入力処理方法及び装置において、例えばユーザー入力に基づいてディスプレイを制御することによって、他の電子装置を通じて実行されるユーザー入力に対応するイベントの正確性を向上させることができる。
本発明の多様な実施形態による電子装置を含むネットワーク環境を示す図である。 本発明の多様な実施形態による電子装置の入力処理モジュールの構成を示す図である。 本発明の多様な実施形態による電子装置に関連した基準軸の変更に対する一例を示す図である。 本発明の多様な実施形態による電子装置に関連した基準軸の変更に対する他の例を示す図である。 本発明の多様な実施形態によるユーザー入力に対応するイベントを実行する一例を示す図である。 本発明の多様な実施形態による電子装置を通じてユーザー入力に対応するイベントを実行する他の例を示す図である。 本発明の多様な実施形態によるディスプレイの座標軸を変更するプロセスを示すフローチャートである。 本発明の多様な実施形態による電子装置のブロック構成図である。 本発明の多様な実施形態による複数の電子装置間の通信プロトコルを示す図である。
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
添付の図面を参照する下記の説明は、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるような本発明の実施形態の包括的な理解を助けるために提供するものであり、この理解を助けるための様々な特定の詳細を含むが、唯一つの実施形態に過ぎない。従って、本発明の範囲及び趣旨を逸脱することなく、ここに説明する実施形態の様々な変更及び修正が可能であるということは、当該技術分野における通常の知識を有する者には明らかである。なお、公知の機能又は構成に関する具体的な説明は、明瞭性と簡潔性のために省略する。
次の説明及び請求項に使用する用語及び単語は、辞典的意味に限定されるものではなく、発明者により本発明の理解を明確且つ一貫性があるようにするために使用する。従って、特許請求の範囲とこれと均等なものに基づいて定義されるものであり、本発明の実施形態の説明が単に実例を提供するためのものであって、本発明の目的を限定するものでないことは、本発明の技術分野における通常の知識を持つ者には明らかである。
“実質的に(substantially)”という用語は、提示された特徴、パラメータ、又は値が正確に設定される必要はないが、許容誤差、測定誤り、測定精度限界及び当業者に知られており、あるいは当業者によって実験なしに得られる要素を含む偏差又は変化が、これら特性が提供しようとする効果を排除しない範囲内で発生することを意味する。
本発明の多様な実施形態による電子装置は、通信機能を含む装置であってもよい。例えば、電子装置は、スマートフォン、タブレット型パソコン(Personal Computer：ＰＣ)、移動電話(mobile phone)、ビデオ電話、電子書籍(e-book)リーダー、デスクトップＰＣ、ラップトップＰＣ、ネットワークコンピュータ、ＰＤＡ(Personal Digital Assistant)、ＰＭＰ(Portable Multimedia Player)、デジタルオーディオプレーヤー、モバイル医療機器、カメラ(camera)、及びウェアラブルデバイス(wearable device)(例えば、(電子メガネのような)ＨＭＤ(Head-Mounted-Device)、電子衣服、電子ブレスレット、電子ネックレス、電子アクセサリ(又はアプセサリ(appcessory)、電子タトゥー、スマート時計)のうち少なくとも一つを含むことができる。
一部実施形態によれば、電子装置は、通信機能を有するスマート家電製品であってもよい。スマート家電製品は、例えば、テレビ(ＴＶ)、ＤＶＤ(Digital Video Disk)プレーヤー、オーディオ、冷蔵庫、エアコン、清掃機、オーブン、電子レンジ、洗濯機、空気清浄器、セットトップボックス、ＴＶボックス(例えば、Ｓａｍｓｕｎｇ ＨｏｍｅＳｙｎｃＴＭ、Ａｐｐｌｅ ＴＶＴＭ、又はＧｏｏｇｌｅ ＴＶＴＭ)、ゲームコンソール、電子辞典、電子キー、カムコーダ(camcorder)、及び電子画像フレームのうち少なくとも一つを含むことができる。
一部の実施形態によると、電子装置は、医療機器(例えば、ＭＲＡ(Magnetic Resonance Angiography)、ＭＲＩ(Magnetic Resonance Imaging)、ＣＴ(Computed Tomography)、医療用カムコーダ、超音波機器)、ナビゲーション装置、ＧＰＳ(Global Positioning System)受信器、ＥＤＲ(Event Data Recorder)、ＦＤＲ(Flight Data Recorder)、自動車情報デバイス、船舶用電子装備(例えば、船舶用航法装置及びジャイロコンパス)、航空電子機器(avionics)、セキュリティ機器、車両用ヘッドユニット、産業用又は家庭用ロボット、金融機関のＡＴＭ(Automatic Teller’s Machine)、及び商店のＰＯＳ(Point Of Sales)のうち少なくとも一つを含むことができる。
一部の実施形態によると、電子装置は、通信機能を有する家具又は建物/構造物の一部、電子ボード、電子署名入力装置、プロジェクタ(projector)、及び各種計測機器(例えば、水道、電気、ガス、又はラジオメータ)のうち少なくとも一つを含んでもよい。本発明の多様な実施形態による電子装置は、上記した多様な装置のうち一つ又はそれらの組み合わせであってもよい。また、本発明の多様な実施形態による電子装置は、フレキシブル装置であってもよい。本発明の多様な実施形態による電子装置が上記した機器に限定されないことは、当業者には明らかである。
本発明の多様な実施形態による電子装置について、添付の図面を参照して説明する。本発明の多様な実施形態で使用される‘ユーザー’は、電子装置を使用する人、又は電子装置を使用するデバイス(例えば、人工知能電子装置)を意味する。
図１は、本発明の多様な実施形態による電子装置１０１を含むネットワーク環境１００を示す。
図１を参照すると、電子装置１０１は、バス１１０、プロセッサ１２０、メモリ１３０、入出力(Ｉ/Ｏ)インターフェース１４０、ディスプレイ１５０、通信インターフェース１６０、及び入力処理モジュール１７０を含む。
バス１１０は、上記した構成要素を相互に連結し、上記した構成要素間の通信情報(例えば、制御メッセージ）を伝送する回路であってもよい。
プロセッサ１２０は、例えばバス１１０を介して上記した他の構成要素(例えば、メモリ１３０、Ｉ/Ｏインターフェース１４０、ディスプレイ１５０、通信インターフェース１６０、入力処理モジュール１７０)から命令を受信し、受信した命令を解読し、解読した命令に対応するオペレーション又はデータ処理を実行する。
メモリ１３０は、プロセッサ１２０又は他の構成要素(例えば、Ｉ/Ｏインターフェース１４０、ディスプレイ１５０、通信インターフェース１６０、入力処理モジュール１７０)から受信されるか、あるいはプロセッサ１２０又は他の構成要素により生成される命令又はデータを格納する。メモリ１３０は、例えばカーネル１３１、ミドルウェア１３２、アプリケーションプログラミングインターフェース(ＡＰＩ)１３３、アプリケーション１３４のようなプログラミングモジュールを含むことができる。上記したそれぞれのプログラミングモジュールは、ソフトウェア、ファームウェア、ハードウェア、又はそれらのうち少なくとも２つの組み合わせで構成されてもよい。
カーネル１３１は、他のプログラミングモジュール(例えば、ミドルウェア１３２、ＡＰＩ１３３、又はアプリケーション１３４)で実現されるオペレーション又は機能を実行するのに使用されるシステムリソース(例えば、バス１１０、プロセッサ１２０、メモリ１３０）を制御又は管理する。カーネル１３１は、ミドルウェア１３２、ＡＰＩ１３３、又はアプリケーション１３４が電子装置１０１の個別構成要素にアクセスして制御又は管理できるインターフェースを提供する。
ミドルウェア１３２は、ＡＰＩ１３３又はアプリケーション１３４がカーネル１３１と通信してデータをやりとりするように仲介的な役割を実行する。また、ミドルウェア１３２は、アプリケーション１３４から受信したオペレーションリクエストに関連して、例えば、アプリケーション１３４のうち少なくとも一つのアプリケーションに電子装置１０１のシステムリソース(例えば、バス１１０、プロセッサ１２０、又はメモリ１３０)を優先的に配分する方法を用いてオペレーションリクエストに対する制御(例えば、スケジューリング又はロードバランシング)を実行することができる。
ＡＰＩ１３３は、アプリケーション１３４によりカーネル１３１又はミドルウェア１３２から提供される機能を制御するためのインターフェースであって、例えば、ファイル制御、ウィンドウ制御、画像処理又は文字制御のための少なくとも一つのインターフェース又は関数(例えば、命令語)を含む。
本発明の多様な実施形態によると、アプリケーション１３４は、ＳＭＳ(Short Message Service)/ＭＭＳ(Multimedia Messaging Service)アプリケーション、電子メール(E-mail)アプリケーション、カレンダアプリケーション、アラームアプリケーション、健康管理アプリケーション(例えば、運動量、血糖などを測定するアプリケーション)、環境情報アプリケーション(例えば、気圧、湿度又は温度情報を提供するアプリケーション)などを含む。追加的に又は代替的に、アプリケーション１３４は、電子装置１０１と外部電子装置(例えば、電子装置１０４)との間の情報交換に関連したアプリケーションであってもよい。情報交換と関連したアプリケーションは、例えば、外部電子装置に特定情報を伝達するための通知伝達(notification relay)アプリケーション、又は外部電子装置を管理するための装置管理アプリケーションを含む。
例えば、通知伝達アプリケーションは、電子装置１０１の他のアプリケーション(例えば、ＳＭＳ/ＭＭＳアプリケーション、Ｅ-メールアプリケーション、健康管理アプリケーション、又は環境情報アプリケーション)で生成された通知情報を外部電子装置(例えば、電子装置１０４）へ伝達する機能を含む。追加的に又は代替的に、通知伝達アプリケーションは、例えば、外部電子装置(例えば、電子装置１０４)から通知情報を受信してユーザーに提供できる。装置管理アプリケーションは、例えば、電子装置１０１と通信する外部電子装置(例えば、電子装置１０４)の少なくとも一部に対する機能(例えば、外部電子装置自体(又は、一部構成部品）のターンオン/ターンオフ又はディスプレイの明るさ(又は、解像度)の調整)、外部電子装置で動作するアプリケーション又は外部電子装置で提供されるサービス(例えば、通話サービス又はメッセージサービス)を管理(例えば、設置、削除、又はアップデート)できる。
本発明の多様な実施形態によると、アプリケーション１３４は、外部電子装置(例えば、電子装置１０４）の属性(例えば、電子装置の種類)によって指定されたアプリケーションを含む。例えば、外部電子装置がＭＰ３プレーヤーである場合、アプリケーション１３４は、音楽再生に関連したアプリケーションを含むことができる。同様に、外部電子装置がモバイル医療機器である場合、アプリケーション１３４は、健康管理に関連したアプリケーションを含むことができる。本発明の一実施形態によれば、アプリケーション１３４は、電子装置１０１に指定されたアプリケーション又は外部電子装置(例えば、サーバ１０６又は電子装置１０４)から受信されたアプリケーションのうち少なくとも一つを含む。
Ｉ/Ｏインターフェース１４０は、入出力装置(例えば、センサ、キーボード又はタッチスクリーン)を通じてユーザーから入力された命令又はデータを、例えばバス１１０を通じてプロセッサ１２０、メモリ１３０、通信インターフェース１６０、又は入力処理モジュール１７０に伝達できる。例えば、入出力インターフェース１４０は、タッチスクリーンを通じて入力されたユーザーのタッチに対するデータをプロセッサ１２０に提供する。また、入出力インターフェース１４０は、例えばバス１１０を通じてプロセッサ１２０、メモリ１３０、通信インターフェース１６０、又は入力処理モジュール１７０から受信された命令又はデータを入出力装置(例えば、スピーカ又はディスプレイ)を通じて出力できる。例えば、入出力インターフェース１４０は、プロセッサ１２０を通じて処理された音声データをスピーカを通じてユーザーに出力できる。
ディスプレイ１５０は、ユーザーに各種情報(例えば、マルチメディアデータ又はテキストデータ）を表示できる。
通信インターフェース１６０は、電子装置１０１と外部装置(例えば、電子装置１０４又はサーバ１０６)との間の通信を接続できる。例えば、通信インターフェース１６０は、無線通信又は有線通信を通じてネットワーク１６２に接続されて外部装置と通信する。無線通信は、例えばＷｉＦｉ(Wireless Fidelity)、ＢＴ(Bluetooth（登録商標）)、ＮＦＣ(Near Field Communication)、ＧＰＳ(Global Positioning System)又はセルラー通信(例えば、ＬＴＥ、ＬＴＥ-Ａ、ＣＤＭＡ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＷｉＢｒｏ、又はＧＳＭ（登録商標）)のうち少なくとも一つを含むことができる。有線通信は、例えばＵＳＢ(Universal Serial Bus)、ＨＤＭＩ（登録商標）(High Definition Multimedia Interface)、ＲＳ-２３２(Recommended Standard 232)、又はＰＯＴＳ(Plain Old Telephone Service)のうち少なくとも一つを含むことができる。
本発明の一実施形態によると、ネットワーク１６２は、通信ネットワークであってもよい。通信ネットワークは、コンピュータネットワーク、インターネット、モノのインターネット（ＩｏＴ）、又は電話ネットワークのうち少なくとも一つを含む。本発明の一実施形態によると、電子装置１０１と外部装置との間の通信のためのプロトコル(例えば、トランスポートレイヤプロトコル、データリンクレイヤプロトコル、又は物理レイヤプロトコル）は、アプリケーション１３４、アプリケーションプログラミングインターフェース１３３、ミドルウェア１３２、カーネル１３１、又は通信インターフェース１６０のうち少なくとも一つでサポートされてもよい。
本発明の一実施形態によれば、サーバ１０６は、電子装置１０１で実現される動作(又は、機能)のうち少なくとも一つの動作を実行することによって、電子装置１０１の駆動をサポートできる。例えば、サーバ１０６は、電子装置１０１で実現される入力処理モジュール１７０をサポートする入力処理サーバモジュール１０８を含むことができる。例えば、入力処理サーバモジュール１０８は、入力処理モジュール１７０の少なくとも一つの構成要素を含み、入力処理モジュール１７０により実行される動作のうち少なくとも一つの動作を実行(例えば、入力処理モジュール１７０の代わりに実行)できる。本発明の一実施形態によると、入力処理モジュール１７０の少なくとも一つの構成は、サーバ１０６(例えば、入力処理サーバモジュール１０８)に含まれ、入力処理モジュール１７０で実現される少なくとも一つの動作は、サーバ１０６によりサポートされる。
入力処理モジュール１７０は、他の構成要素(例えば、プロセッサ１２０、メモリ１３０、Ｉ/Ｏインターフェース１４０、ディスプレイ１５０、又は通信インターフェース１６０)から取得した情報のうち少なくとも一部を処理し、処理した情報を多様な方式でユーザーに提供する。例えば、入力処理モジュール１７０は、プロセッサ１２０を用いて、あるいはこれとは独立的に、ディスプレイ１５０を通じて取得した入力(例えば、ユーザー入力)に基づいてディスプレイ１５０を制御できる。
例えば、入力処理モジュール１７０は、少なくともディスプレイを通じて取得したユーザー入力に基づき、ユーザー入力を処理するためのディスプレイの基準軸を変更できる。また、入力処理モジュール１７０は、変更された基準軸に基づいてユーザー入力に対応するイベントを電子装置に対する外部装置(例えば、電子装置１０４又はサーバ１０６)を通じて実行させてもよい。後述する図２では、入力処理モジュール１７０に対する追加情報が提供される。
図２は、本発明の多様な実施形態による電子装置１０１の入力処理モジュール１７０の構成２００を示す。
図２を参照すると、入力処理モジュール１７０は、取得モジュール２１０、確認モジュール２３０、決定モジュール２５０、及び実行モジュール２７０を含む。
取得モジュール２１０は、例えば、電子装置(例えば、電子装置１０１)に機能的に接続されるディスプレイ(例えば、ディスプレイ１５０)を通じて取得したユーザー入力が電子装置に対する外部装置(例えば、電子装置１０４又はサーバ１０６)を制御する(例えば、遠隔で制御する)ためのユーザー入力(以下、説明の便宜上、‘実行入力’と称する)であるか否かを判定できる。本発明の一実施形態によると、取得モジュール２１０は、電子装置に対する外部オブジェクト(例えば、ユーザーの身体の一部又は電子ペン)がディスプレイ(例えば、タッチパネルを含むタッチスクリーン)に直接に接触されて入力されるタッチ入力又はディスプレイから特定距離だけ離れた位置で入力されるホバリング入力をユーザー入力として取得(例えば、検出)できる。
本発明の一実施形態によると、取得モジュール２１０は、ユーザー入力に対応する移動距離に基づいて、ユーザー入力が外部装置を制御(例えば、外部装置を通じてユーザー入力に対応するイベントを実行)するための実行入力であるか否かを判定できる。例えば、取得モジュール２１０は、ディスプレイの少なくとも一つの位置(point)(以下、説明の便宜上、‘開始位置’)から他の一つの位置(以下、説明の便宜上、‘終了位置’)へドラッグ(例えば、タッチ又はホバリングを用いるドラッグ)するユーザー入力を取得できる。また、ユーザー入力の開始位置と終了位置との間の距離(例えば、ユーザー入力の移動距離)が指定された距離(例えば、ユーザー入力が実行入力であるか否かを判定するために設定された距離であって、約１ｃｍを含む場合(例えば、ユーザー入力の移動距離が約２ｃｍである場合)、取得モジュール２１０は、ユーザー入力が実行入力であると判定できる。
一方、ユーザー入力の開始位置と終了位置との間の距離が特定距離より小さい場合(例えば、約０.５ｃｍである場合)、取得モジュール２１０は、ユーザー入力が実行入力でないと判定できる。例えば、取得モジュール２１０は、ユーザー入力の移動距離が特定範囲(例えば、特定距離より短い距離に属する範囲)に属すると、ユーザー入力を無視(disregard)(例えば、ユーザー入力によりイベントが外部装置を通じて実行されないようにユーザー入力を無視)できる。
例えば、ユーザー入力の移動距離が特定範囲(例えば、実行入力であるか否かを確認しにくい範囲)に該当する場合、取得モジュール２１０は、外部装置でないユーザー入力を取得した電子装置(例えば、電子装置１０１)を通じてユーザー入力に対応するイベント(例えば、電子装置１０１に格納されたアプリケーションを実行又は電子装置１０１の画面明るさの調整、ボリューム調整又は音消去)を実行できる。あるいは、取得モジュール２１０は、ユーザー入力に対応するいかなる動作も外部装置や電子装置を通じて実行しない。
本発明の一実施形態によれば、取得モジュール２１０は、ユーザー入力の移動距離又は移動方向のうち少なくとも一つに基づいてユーザー入力が複数の実行入力を含むか否かを判定する。例えば、ユーザー入力が複数の特定距離(例えば、実行入力としてユーザー入力を判定するために予め設定された距離)を含む場合、取得モジュール２１０は、複数の特定距離の各々に対応する入力を独立的な実行入力に指定(例えば、判定)できる。例えば、ユーザー入力が実行入力であるか否かを判定するための指定された距離が約１ｃｍであり、ユーザー入力の移動距離(例えば、ドラッグされた移動距離)が約３ｃｍ以上４ｃｍ未満である場合、取得モジュール２１０は、ディスプレイをドラッグする一つのユーザー入力を通して総３個の独立的な実行入力を取得できる。
本発明の一実施形態によれば、取得モジュール２１０は、ユーザー入力の移動方向が複数個である場合、それぞれの移動方向(例えば、ディスプレイの左側から右側へのドラッグ、上側から下側へのドラッグ、及び下側から上側へのドラッグ)に対応するユーザー入力を独立的な実行入力として取得できる。例えば、ユーザー入力が右側方向、下側方向、及び上側方向へ移動した場合、取得モジュール２１０は、それぞれの移動方向が特定距離を含むかを確認する。また、取得モジュール２１０は、それぞれの移動方向に対応する移動距離が特定距離を含む場合、それぞれの移動方向に対応する入力を実行入力として取得できる。このとき、取得モジュール２１０は、複数の移動方向のうち少なくとも一つが特定距離を含まない場合、特定距離を含まない移動方向に対応する入力は無視できる。
本発明の一実施形態によれば、取得モジュール２１０は、ディスプレイの異なる領域で取得したユーザー入力を異なるユーザー入力として判定できる。例えば、取得モジュール２１０は、ディスプレイの第１の領域をドラッグする第１の入力と第２の領域をドラッグする第２の入力を独立的なユーザー入力として取得できる。本発明の実施形態による取得モジュール２１０に対する追加説明は、図３と関連して後述する。
本発明の一実施形態によると、一つのユーザー入力(例えば、ユーザー入力の開始位置と終了位置が一つである入力）を通じて複数の実行入力が取得される場合、入力処理モジュール１７０のそれぞれのモジュールは、相互に連動して複数の実行入力を独立的に処理できる。例えば、入力処理モジュール１７０は、複数の実行入力の各々に対する基準軸を決定し、対応する基準軸に基づいて複数の実行入力の各々に対応するイベントを外部装置(例えば、電子装置１０４又はサーバ１０６)を通じて実行することができる。これに関する具体的な動作は、関連したモジュールで後述する。上記した説明では、特定距離及び特定範囲に対する例が特定数値として記載されているが、特定距離及び特定範囲は上記した例に限定されず、ユーザーの設定又は電子装置の設計者に従って多様に変更可能である。
確認モジュール２３０は、例えばディスプレイ(例えば、ディスプレイ１５０)に対する基準軸に基づき、ユーザー入力(例えば、実行入力として判定されたユーザー入力)に対する角度を確認することができる。本発明の一実施形態によれば、確認モジュール２３０は、ユーザー入力を処理するために、ディスプレイに臨時に設定された軸(以下、説明の便宜上‘臨時軸’と称する）を基準軸として定義し、基準軸とユーザー入力に対応する移動方向との間の角度を確認する。臨時軸は、例えば、ユーザーの指定(例えば、ユーザーの設定)によって自由に変更し、あるいは電子装置の設計者の実装によって基本的に設定された軸を含むことができる。また、臨時軸は、現在処理しようとするユーザー入力以前に入力されたユーザー入力(例えば、以前の実行入力）を処理するために決定された基準軸であってもよい。
本発明の一実施形態によれば、確認モジュール２３０は、取得モジュール２１０を通じて取得された実行入力が複数個である場合、臨時軸を基準軸にして複数の実行入力の各々に対する角度を確認できる。例えば、一つのユーザー入力を通じて第２の実行入力及び第２の実行入力が取得された場合、確認モジュール２３０は、臨時軸に基づいて第１の実行入力に対する角度と第２の実行入力に対する角度を確認することができる。
本発明の一実施形態によれば、確認モジュール２３０は、取得モジュール２１０を通じて取得された複数の実行入力がディスプレイの異なる領域で取得された場合、対応する領域の臨時軸を基準軸として、複数の実行入力の各々に対する角度を確認する。例えば、確認モジュール２３０は、ディスプレイの第１の領域で取得された第１の入力に対しては第１の領域の臨時軸を基準軸とし、第１の入力に対応する角度を確認することができる。また、確認モジュール２３０は、ディスプレイの第２の領域で取得された第２の入力に対しては第２の領域の臨時軸を基準軸とし、第２の入力に対応する角度を確認する。本発明の実施形態による確認モジュール２３０に対する追加的な説明は、図３に関連して後述する。
決定モジュール２５０は、例えば少なくともユーザー入力に対応する角度(例えば、臨時軸を基準軸にして決定されたユーザー入力に対応する角度)に基づき、新たな軸(以下、説明の便宜上‘変更軸’）を基準軸として決定できる。本発明の一実施形態によれば、決定モジュール２５０は、角度(例えば、臨時軸と実行入力の移動方向間の角度)が属する範囲に基づいて変更軸を決定できる。例えば、決定モジュール２５０は、角度が第１の特定範囲に属する場合、臨時軸に基づいて第１の角度だけ増減して変更軸を決定する。あるいは、決定モジュール２５０は、角度が第２の特定範囲に属する場合、臨時軸の角度を第２の角度だけ増減して変更軸を決定できる。
例えば、確認モジュール２３０により実行入力として決定されたユーザー入力と臨時軸との間の角度が約１０°である場合、決定モジュール２５０は、臨時軸の角度を約１０°だけ増減して変更した(例えば、傾斜又は回転した)軸を変更軸として決定できる。臨時軸とユーザー入力との間の角度が約２０°である場合、決定モジュール２５０は、臨時軸の角度を約２０°だけ増減させて変更した軸を変更軸として決定できる。本発明の実施形態によれば、決定モジュール２５０は、角度が特定範囲(例えば、約＋/-５°)に属する場合、臨時軸を変更軸として決定する。例えば、角度が２°の角として決定される場合、決定モジュール２５０は、臨時軸を基準軸として維持できる。
本発明の一実施形態によると、決定モジュール２５０は、複数の実行入力各々に対する変更軸を決定できる。例えば、一つのユーザー入力を通して第１の実行入力及び第２の実行入力が取得される場合、決定モジュール２５０は第１の実行入力と臨時軸との間の角度に基づき、第１の実行入力に対応する変更軸を決定できる。また、決定モジュール２５０は、第１の実行入力に対応して決定された変更軸と第２の実行入力との間の角度に基づき、第２の実行入力に対応する新たな変更軸を決定できる。
本発明の他の実施形態によると、決定モジュール２５０は、複数の実行入力に対して一つの変更軸を決定可能である。決定モジュール２５０は、取得モジュール２１０で取得された第１の実行入力及び第２の実行入力に対して第１の実行入力と臨時軸との角度及び第２の実行入力と臨時軸との角度に基づいて決定された変数(例えば、２つの角度の平均)を用いて変更軸を決定する。他の実施形態では、決定モジュール２５０は、第１の実行入力及び第２の実行入力が一つのユーザー入力を通じて同一又は類似した方向を有する場合、一つの変更軸を決定できる。
本発明の多様な実施形態によれば、決定モジュール２５０は、同一又は類似した方向を有する最新のＮ個(ここで、Ｎは整数）のユーザー入力の角度の平均を用いて変更軸を決定する。例えば、同一又は類似の方向を有する(Ｎ＋１)番目のユーザー入力に対して、決定モジュール２５０は、(Ｎ-１)番目のユーザー入力の角度α１、Ｎ番目のユーザー入力の角度α２、(Ｎ＋１)番目のユーザー入力の角度α３の平均を用いて変更軸を決定できる。
本発明の一実施形態によれば、決定モジュール２５０は、ディスプレイの異なる領域で取得された複数の実行入力の各々に対応する変更軸を決定できる。例えば、複数の実行入力は、ディスプレイの第１の領域(例えば、左側領域)で取得された第１の実行入力と、ディスプレイの第２の領域(例えば、右側領域)で取得された第２の実行入力を含むことができる。この場合、決定モジュール２５０は、第１の領域の臨時軸に基づいて決定された第１の実行入力の角度に基づいて、第１の実行入力に対応する第１の変更軸を決定できる。決定モジュール２５０は、第２の領域の臨時軸に基づいて決定された第２の実行入力の角度に従って第２実行入力に対応する第２変更軸を決定できる。
実行モジュール２７０は、例えば基準軸(例えば、ユーザー入力の角度により決定された変更軸、又はそのまま維持される臨時軸)に基づき、ユーザー入力に対応するイベントを電子装置１０１に機能的に接続する外部装置(例えば、電子装置１０４又はサーバ１０６)を通じて実行することができる。本発明の一実施形態によると、実行モジュール２７０は、基準軸に従って決定されたユーザー入力(例えば、実行入力として決定されたユーザー入力）の移動方向(例えば、上下左右)に対応するイベント(例えば、ボリューム調整、チャンネル変更、明るさ調整、画面フリッピング、又はカーソル移動)を実行できる。例えば、基準軸(例えば、Ｘ軸）に基づいてユーザー入力が約８０°の角を持ってディスプレイの左側方向へ移動すると判定された場合(例えば、ユーザー入力がディスプレイのＹ軸に近い斜線方向へ移動した場合)、実行モジュール２７０は、外部装置から出力される音が大きくなるように外部装置を制御できる。
他の例として、基準軸(例えば、Ｘ軸）に対してユーザー入力が約３０°の角でディスプレイの右側方向へ移動すると判定された場合(例えば、ユーザー入力がディスプレイのＸ軸に近い斜線方向へ移動する場合)、実行モジュール２７０は、外部装置から出力されるチャンネル(例えば、外部装置がＴＶ放送を提供する場合のＴＶチャンネル）を変更するように外部装置を制御できる。
本発明の一実施形態によると、実行モジュール２７０は、ユーザー入力が複数の実行入力を含むと判定される場合、複数の実行入力の各々に対応するイベントを連続して実行する。例えば、複数の実行入力は、臨時軸又は変更軸のうち決定モジュール２５０を通じて決定された基準軸に基づき、ディスプレイの左側から右側にドラッグする第１の実行入力、ディスプレイの右側から左側にドラッグする第２の実行入力、及びディスプレイの下側から上側にドラッグする第３の実行入力を含むことができる。この場合、実行モジュール２７０は、第１の実行入力に対応するイベントであるボリュームアップ、第２の実行入力に対応するイベントでボリュームダウン、及び第３の実行入力に対応するイベントであるチャンネル変更を連続して実行する。本発明の一実施形態において、複数の実行入力は、一つのユーザー入力(例えば、開始位置及び終了位置を有するユーザー入力)を通じて取得され、あるいは各々が独立的に入力された複数のユーザー入力を通じて取得されてもよい。
本発明の一実施形態によると、実行モジュール２７０は、ディスプレイの異なる領域において取得された複数の入力の各々に対してイベントを実行できる。例えば、実行モジュール２７０は、ディスプレイの左側領域で取得される第１の入力に対して、第１の入力に対応する第１の基準軸に基づいてイベントを実行する。実行モジュール２７０は、ディスプレイの右側領域で取得された第２の入力に対して、第２の基準軸に基づいてイベントを実行する。
本発明の一実施形態によると、実行モジュール２７０は、第１の入力と第２の入力に対応するイベントを異なる外部装置に各々伝達できる。例えば、実行モジュール２７０は、第１の入力に対応するイベントに対して、電子装置１０１に機能的に接続される第１の外部装置(例えば、ＴＶ)を制御し、第２の入力に対応するイベントに対して、電子装置１０１に機能的に接続される第２の外部装置(例えば、スマートフォン)を制御できる。
本発明の一実施形態によると、実行モジュール２７０は、ユーザー入力に対応するイベントが外部装置(例えば、電子装置と無線で接続されるＴＶ)を通じて実行されるように、外部装置を制御するための制御信号(例えば、イベントに対応する制御信号)を外部装置に伝達できる。例えば、実行モジュール２７０は、電子装置(例えば、電子装置１０１)で取得された実行入力(例えば、ディスプレイの下方から上方へ指定された距離以上(例えば、約２ｃｍ)ディスプレイをドラッグ)に対応するイベント(例えば、イベント情報又はイベントに対応する制御信号)を外部装置に伝送できる。それによって、外部装置は、電子装置を通じて取得されたユーザー入力に対応するイベントを実行することができる。
本発明の一実施形態によると、実行モジュール２７０は、電子装置又は外部装置と機能的に接続される出力装置のうち少なくとも一つを通じてイベントに対応する通知情報を提供できる。例えば、ユーザー入力に基づいてイベントが発生、又はイベントが外部装置に受信される場合、実行モジュール２７０は、電子装置又は外部装置のディスプレイを通じてイベントの通知(notification）を表示(例えば、カーソルの移動、画面の転換、ディスプレイの明るさの調整又は画面の点滅)できる。あるいは、実行モジュール２７０は、電子装置又は外部装置のスピーカを通じて音を出力し、あるいは振動装置を通じて振動を出力することによって、イベントに関連した多様な情報をユーザーに提供できる。
図３は、本発明の多様な実施形態による電子装置(例えば、ディスプレイ１５０)に関連した基準軸の変更に関する一例３００を示す。例えば、ディスプレイ３１０(例えば、ディスプレイ１５０)にはＸ軸及びＹ軸を含む第１の座標軸３１１が示され、ディスプレイ３３０にはユーザー入力３２５に基づいてＸ軸及びＹ軸が変更されたＸ′軸及びＹ′軸を含む第２の座標軸３１３が示されている。説明の便宜上、図３には、第１の座標軸３１１と第２の座標軸３１３は、別のディスプレイを通じて各々示すが、実質的に別のディスプレイに分離されているものではない。例えば、図３は、ディスプレイを通じて取得されたユーザー入力を処理するために一つのディスプレイの基準軸が変更可能であることを示す。
臨時軸及び変更軸は、例えば座標軸を構成する２つの軸(例えば、第１の座標軸３１１の場合、Ｘ軸及びＹ軸)のうちいずれか一つの軸であってもよい。例えば、臨時軸は、ユーザー入力３２５に基づき、Ｘ軸及びＹ軸のうちいずれか一つの軸(例えば、Ｘ軸)として決定されてもよい。例えば、ユーザー入力３２５の開始位置３１９の座標(ｘ１，ｙ１)とユーザー入力の終了位置の座標(ｘ３，ｙ３)との間の距離は、Ｘ軸方向の最短距離(例えば、ｘ３-ｘ１として、約５ｃｍ)及びＹ軸方向の最短距離(例えば、ｙ３-ｙ１として約１ｃｍ)を含むことができる。この場合、臨時軸は、例えばＸ軸方向の最短距離又はＹ軸方向の最短距離のうちより大きい値に対応する軸(例えば、Ｘ軸)として決定することができる。
本発明の一実施形態によると、臨時軸は、Ｘ軸及びＹ軸に対するユーザー入力３２５間の角度に基づいて、Ｘ軸又はＹ軸のうちいずれか一つであると決定する。例えば、臨時軸は、Ｘ軸又はＹ軸がユーザー入力３２５となす角度のうちより小さい角度を有する軸として決定することができる。例えば、ユーザー入力３２５がＸ軸となす角度αが約４５°未満であり、Ｙ軸となす角度が約４５°以上である場合、臨時軸は、Ｘ軸であってもよい。一方、Ｘ軸とユーザー入力３２５のなす角度αがＸ軸とＹ軸との間の角度の約１/２(約４５°)より大きい場合、臨時軸は、Ｙ軸として決定されてもよい。また、Ｘ軸が臨時軸として選択される場合、変更軸は、例えばＸ′軸として称されてもよい。このとき、Ｙ軸に対応するＹ′軸に対する考慮は省略されてもよい。本発明の一実施形態によると、第１の座標軸３１１及び第２の座標軸３１３は、ディスプレイ３１０，３３０には実際に表示されない(例えば、ユーザーが視覚的に認知できない、あるいはユーザーが見られない)仮想の座標軸であってもよい。また、第１の座標軸３１１及び第２の座標軸３１３は、例えばユーザー又は設計者の設定に従ってユーザーインターフェースとしてディスプレイ３１０、３３０を通じて表示されてもよい。
本発明の一実施形態によると、ディスプレイ３１０(例えば、ディスプレイ１５０）は、ユーザー(例えば、ユーザーの手)３５０からユーザー入力３２５を取得できる。ユーザー入力３２５は、例えば、開始位置３１９(例えば、座標(ｘ１，ｙ１))から終了位置３２７(例えば、座標(ｘ３，ｙ３))までドラッグする入力であってもよい。この場合、ユーザー入力３２５は、例えば、開始位置３１９から特定距離ＳＤだけ離隔された任意の位置(以下、説明の便宜上、“基準位置”)である座標(ｘ２，ｙ２)）を含むことができる。特定距離ＳＤは、ユーザー入力３２５が外部装置を通じてイベントを実行するための実行入力であるか否かを判定するための基準距離となり得る。
本発明の一実施形態によると、ユーザー入力３２５の移動方向３２９は、例えばＸ軸と角度αをなしてディスプレイ３１０の右側上方に移動する斜線方向であってもよい。この場合、ユーザー入力３２５がＸ軸となす角度αがＹ軸となす角度より小さいだけでなく、ユーザー入力３２５のＸ軸に対する最短距離がＹ軸に対する最短距離より大きいため、臨時軸は、例えばＸ軸として決定することができる。本発明の実施形態において、ユーザー入力３２５が特定距離ＳＤを含む場合、電子装置(例えば、確認モジュール２１０）は、開始位置３１９と終了位置３２３を接続したベクトル３２１を実行入力として取得できる。ベクトル３２１は、例えばユーザー入力３２５の特定距離ＳＤ及び移動方向３２９を含むことができる。本発明の一実施形態によると、ユーザー入力３２５が複数の特定距離ＳＤを含む場合、電子装置(例えば、確認モジュール２１０）は、指定された距離ＳＤごとに独立的な実行入力として判定できる。さらに、図示されないが、ユーザー入力３２５の移動距離Ｄが特定距離ＳＤより小さい場合、該当ユーザー入力を無視できる。
本発明の一実施形態によると、特定指定された距離ＳＤは、製造業者により予め設定された値、あるいはユーザーの設定により変更できる。一実施形態によると、電子装置は、ユーザー入力３２５の移動方向に従って特定距離ＳＤを異なって適用できる。例えば、第１の座標軸３１１に基づいて左右方向(例えば、Ｘ軸３１５に対して約＋/-４５°）のユーザー入力３２５(例えば、ドラッグ)に対して、電子装置(例えば、取得モジュール２１０）は、第１の特定距離(例えば、約１.５ｃｍ)に基づいて実行入力を取得する。また、第１の座標軸３１１に基づいて上下方向(例えば、基準軸のうちＹ軸に対して＋/-約４５°）のユーザー入力に対して電子装置(例えば、取得モジュール２１０）は、第２の特定距離(例えば、約１.７ｃｍ)に基づいて実行入力を取得できる。
本発明の一実施形態によると、電子装置(例えば、決定モジュール２５０）は、ユーザー入力３２５(例えば、ベクトル３２１)と臨時軸であるＸ軸との間の角度に基づいて変更軸(例えば、Ｘ′軸）を決定できる。例えば、臨時軸であるＸ軸とベクトル３２１との間の角度が約＋１０°(例えば、反時計方向に約１０°)である場合、電子装置(例えば、決定モジュール２５０）は、Ｘ軸を＋方向(例えば、反時計方向)に約１０°だけ傾けたＸ′軸を変更軸(例えば、新たな基準軸)として決定できる。
本発明の一実施形態によると、電子装置(例えば、実行モジュール２７０）は、変更軸であるＸ′軸に基づいてユーザー入力３２５に対応するイベントを外部装置(例えば、電子装置１０４)を通じて実行できる。このイベントは、例えばＸ′軸に基づいてユーザー入力３２５の移動方向３２９が修正された移動方向３３３に対応する。例えば、ユーザー入力３２５の移動方向３２９は、ディスプレイ３１０の左側上方の斜線方向として、移動方向３２９に対応するイベントが確認されない可能性もある。しかしながら、移動方向３２９がＸ′軸に基づいてディスプレイ３３０の左側方向である移動方向３３３であると確認されることによって、電子装置は、移動方向３３３に対応するイベント(例えば、外部電子装置のディスプレイの明るさの調整)を実行することができる。
図４は、本発明の多様な実施形態による電子装置(例えば、ディスプレイ１５０)に関連した基準軸の変更にする他の例４００を示す。図４を通じて、図３と同一又は類似の部分に関する説明は省略する。
本発明の一実施形態によると、ディスプレイ４１０(例えば、ディスプレイ３１０）は、ユーザー(例えば、ユーザーの手)３５０からユーザー入力４１７を取得できる。ユーザー入力４１７は、例えば開始位置４１３(例えば、座標(ｘ１，ｙ１))から終了位置４２１(例えば、座標(ｘ３，ｙ３))までドラッグする入力であってもよい。この場合、ユーザー入力４１７は、例えば開始位置４１３から特定距離ＳＤだけ離隔された基準位置４１９である座標(ｘ２，ｙ２)を含むことができる。
本発明の一実施形態によれば、ユーザー入力４１７は、以前のユーザー入力(例えば、ユーザー入力３２５)から続く(例えば、ユーザー３５０の手がディスプレイ４１０で離れていないままで継続してタッチ又はホバリングされる)入力(以下、説明の便宜上、“連続入力”）を含む。この場合、電子装置(例えば、取得モジュール２１０）は、ユーザー入力３２５の基準位置３２３を連続入力４１７の開始位置４１３を指定する。
本発明の一実施形態によると、連続入力４１７は、以前のユーザー入力(例えば、ユーザー入力３２５）の移動方向(例えば、移動方向３２９)で他の移動方向４２３に変わることによって取得される。移動方向４２３は、例えば以前の基準軸(例えば、以前の変更軸)であるＸ′軸を基準として左側下方へ移動する斜線方向であってもよい。電子装置(例えば、取得モジュール２１０）は、連続入力４１７の移動距離Ｄが特定距離ＳＤを含んでいるか否かを判定する。
連続入力４１７が特定距離ＳＤを含む場合、電子装置(例えば、取得モジュール２１０）は、連続入力４１７の開始位置４１３から特定距離ＳＤだけ離れた基準位置４１９に接続したベクトル４１５を実行入力として取得できる。一実施形態において、電子装置(例えば、確認モジュール２１０）は、ベクトル４１５を用いて臨時軸を決定できる。例えば、ディスプレイ４１０の座標軸４１１は、以前の変更軸であるＸ′軸と以前のユーザー入力(例えば、ユーザー入力３２５)で考慮されないＹ軸を含むことができる。電子装置(例えば、確認モジュール２１０）は、ベクトル４１５がＸ′軸又はＹ軸となす角度に基づき、Ｘ′軸又はＹ軸のうちいずれか一つの軸を連続入力４１７を処理するための臨時軸として決定する。例えば、連続入力４１７がＸ′軸となす角度がＹ軸となす角度αより大きくなってもよい。この場合、連続入力４１７のＸ′軸に対する最短距離は、Ｙ軸に対する最短距離より短いことがある。それによって、電子装置は、Ｘ′軸及びＹ軸を含む座標軸４１１でＹ軸を臨時軸として決定できる。
本発明の一実施形態によると、電子装置(例えば、決定モジュール２５０）は、臨時軸であるＹ軸とベクトル４１５との間の角度αに基づき、連続入力４１７に対するイベントを決定するための変更軸を決定できる。例えば、電子装置(例えば、決定モジュール２５０）は、臨時軸から角度αに対応するだけ変更されたＹ′軸４３５を変更軸として決定する。例えば、臨時軸であるＹ軸とベクトル４１５との間の角度が約＋１０°(例えば、反時計方向に約１０°)である場合、電子装置(例えば、決定モジュール２５０）は、Ｙ軸を＋方向(例えば、反時計方向)に約１０°だけ傾けたＹ′軸を変更軸として決定する。図４では、変更軸であるＹ′軸は、Ｙ軸が座標軸４１１の中心で角度αだけ回転することによって決定される。
それによって、ディスプレイ４３０の座標軸４３１は、例えばＸ′軸及びＹ′軸を含むことができる。又は、図示しないが、座標軸４３１のＸ′軸は考慮されないので、座標軸４３１のＸ方向に対応する軸はＸ軸(例えば、図３のＸ軸)にそのまま維持されてもよい。一実施形態によると、電子装置(例えば、実行モジュール２７０）は、基準軸(例えば、変更軸であるＹ′軸４３５)に基づいて連続入力４１７(例えば、ベクトル４１５)に対応するイベント４３３を実行する。
本発明の一実施形態によると、電子装置(例えば、実行モジュール２７０）は、変更軸Ｙ′に基づいて連続入力４１７に対応するイベントを外部装置(例えば、電子装置１０４)を通じて実行できる。イベントは、例えばＹ′軸を基準として連続入力４１７の移動方向４２３が修正された移動方向４３３に対応する。例えば、連続入力４１７の移動方向４２３は、ディスプレイ４１０の左側下方に向かう斜線方向として、移動方向４２３に対応するイベントが確認されない可能性もある。しかしながら、移動方向４２３がＹ′軸に基づいてディスプレイ４３０の下側方向である移動方向４３３として確認されることによって、電子装置は、移動方向４３３に対応するイベント(例えば、外部電子装置のディスプレイ明るさの調整)を実行する。
本発明の一実施形態によると、連続入力４１７は、移動距離Ｄ及び移動方向４２３を含むが、連続入力４１７に対応する実行入力は、移動距離Ｄと差があるベクトル４１５であってもよい。例えば、ユーザー入力(例えば、ユーザー入力３２５，４１７)に対応する実行入力は、特定距離ＳＤによって実際の移動距離と異なるように取得されてもよい。一実施形態によると、ユーザー又は電子装置の製造業者は、実行入力を判定するための基準となる特定距離ＳＤの調整により、ディスプレイ１５０に入力されるユーザーの入力に対する敏感度も設定できる。
例えば、特定距離ＳＤがより小さく設定されるほど、電子装置(例えば、確認モジュール２１０）は、ディスプレイ４１０，４３０に入力されるユーザー入力４１７に対してより敏感に(例えば、より多くの実行入力が取得)反応する。例えば、ユーザー入力(例えば、ユーザー入力３２５，４１７）の移動距離Ｄが約４ｃｍであってもよい。指定された距離ＳＤが約１ｃｍである場合、電子装置は、約４個の実行入力を取得することによって、４回のイベントを実行することができる。一方、特定距離ＳＤがより大きく設定されるほど、電子装置は、ディスプレイ４１０，４３０に入力されるユーザー入力４１７をより低い感度で(例えば、より少ない実行入力を取得)反応する。例えば、特定距離が約２ｃｍである場合、電子装置は、約２個の実行入力を取得することによって、２回のイベントを実行することができる。
図５は、本発明の多様な実施形態によるユーザー入力(例えば、ユーザー入力３２５，４１７)に対応するイベントを実行する一例５００を示す。ディスプレイ５１０(例えば、ディスプレイ１５０）は、ユーザー３５０からユーザー入力５１３を取得できる。
例えば、ユーザー入力５１３は、特定距離ＳＤを含む第１の移動５１５(例えば、第１の移動方向)及び第２の移動５１７(例えば、第２の移動方向）を含むことができる。電子装置(例えば、取得モジュール２１０）は、第１の移動５１５及び第２の移動５１７を第１の実行入力及び第２の実行入力として取得できる。本発明の一実施形態において、電子装置(例えば、実行モジュール２７０）は、連続した第１の実行入力及び第２の実行入力によって決定された座標軸５１１に基づき、第１の実行入力及び第２の実行入力に対応するイベントを実行する。例えば、電子装置は、第１の実行入力に対応する基準軸であるＸ′軸に基づいて第１のイベントを実行できる。また、電子装置は、第２の実行入力に対応する基準軸であるＹ′軸に基づいて第２のイベントを実行できる。
本発明の一実施形態によれば、電子装置(例えば、実行モジュール２７０）は、外部装置５３０(例えば、ＴＶ)と機能的に接続するディスプレイ５３１でマーカー(marker)５３５を第１のオブジェクト５３３(例えば、外部装置のインターフェース、メニュー、又はアプリケーションに対応するアイコン)で第２のオブジェクト５３７に移動させてもよい。例えば、Ｘ′軸に基づいてディスプレイ５１０の右側方向へ移動する第１の実行入力に応答し、電子装置は、マーカー５３５をディスプレイ５３１の第１の方向５３９に沿って、第１のオブジェクト５３３から所定のオブジェクト５４３に移動させてもよい。また、Ｙ′軸に基づいてディスプレイ５１０の下側方向へ移動する第２の実行入力に応答し、電子装置は、マーカー５３５をディスプレイ５３１の第２の方向５４１に沿って、所定のオブジェクト５４３から第２のオブジェクト５３７に移動させてもよい。
本発明の一実施形態によると、外部装置は、現在実行中である機能に従って電子装置から受信したイベントに対応する動作を実行する。例えば、外部装置でメディアコンテンツ機能が実行される場合、外部装置は、電子装置で取得された第１の実行入力及び第２の実行入力に従って、メディアコンテンツ機能に関連したイベント(例えば、巻き戻し、早送り、次回プレイリスト、音量調整、スキップ)を実行することができる。又は、ギャラリー(写真アルバム)機能が実行される場合、外部装置は、電子装置で取得された実行入力によって、実行されるギャラリー機能に関連したイベント(例えば、次の写真、以前写真、写真選択、又は写真間移動）を実行することができる。
図５に示す実施形態では、連続したユーザー入力(例えば、連続入力)に対するイベントの実行の一例を提供する。本発明の一実施形態によると、第１の移動５１５及び第２の移動５１７が一つのユーザー入力でなく、複数のユーザー入力を通じて独立的に取得される場合でも、電子装置は、独立的なユーザー入力の各々に対応するイベントを実行する。例えば、ユーザー３５０は、第１の移動５１５以後に、ディスプレイ５１０とのタッチ(又は、ホバリング）を解除した後に再びディスプレイ５１０をタッチ(又は、ホバリング)して第２の移動５１７が可能である。この場合、電子装置は、第１の移動５１５に対応して発生した第１の実行入力に対応するイベントを実行した後に、第２の移動５１７に対応して発生した第２の実行入力に対応するイベントを各々独立的に実行できる。
本発明の一実施形態によると、電子装置は、第１の移動５１５による第１の実行入力を処理するために決定される基準軸(例えば、Ｙ′軸)に基づいて、第２の移動５１７による第２の実行入力を処理できる。例えば、電子装置は、以前のユーザー入力を処理するために決定される座標軸をメモリ(例えば、メモリ１３０)に格納することによって、次に入力されるユーザー入力に対応するイベントを連続して実行できる。
例えば、電子装置は、第１の実行入力が入力される時点に実行中であるアプリケーションが終了した後、アプリケーションが再実行されて第２の実行入力が入力される場合、第１の実行入力を処理するために決定された基準軸に基づき、第２の実行入力を処理できる。本発明の一実施形態によると、変更された基準軸は、電子装置(例えば、プロセッサ１２０)又は製造業者により一定時間が過ぎると、デフォルト座標軸(例えば、座標軸３１１)として自動でリセットされてもよい。また、変更された基準軸は、ユーザーの要求によって手動でデフォルト座標軸にリセットされてもよい。
図６は、本発明の多様な実施形態による電子装置を通じてユーザー入力に対応するイベントを実行する他の例６００を示す。本発明の一実施形態によれば、電子装置(例えば、取得モジュール２１０）は、ディスプレイ６１０の異なる領域(例えば、第１の領域６１９及び第２の領域６２１)を通じて第１の実行入力６１５及び第２の実行入力６１７を取得できる。この場合、電子装置(例えば、実行モジュール２７０）は、第１の実行入力６１５及び第２の実行入力６１７の各々に対応する少なくとも一つのイベントを実行することができる。ディスプレイ６１０の異なる領域は、例えば特定基準により分けられるサブ領域(例えば、画面の半分)又は特定基準なしに第１及び第２の実行入力６１５、６１７の相対的な位置により区分することができる。本発明の一実施形態によると、第１の実行入力６１５及び第２の実行入力６１７は、一人が両手６１１，６１３を通じて入力する入力又は二人が個別的に入力する入力を通じて取得できる。
本発明の一実施形態によると、ディスプレイ６１０の第１の領域６１９を通じて取得した第１の実行入力６１５及び第２の領域６２１を通じて取得した第２の実行入力６１７は、同時に取得されるか、又は時間差を置いて取得されてもよい。
本発明の一実施形態によると、図６では、説明の便宜上、ディスプレイ６１０の第１の領域６１９と第２の領域６２１が左右に区分されるが、第１の領域６１９と第２の領域６２１は、実際に区分された領域(例えば、ユーザーの目に見えるように表示されて区分されるか、あるいは予め区分される領域)でなければならないものではない。第１の領域６１９と第２の領域６２１は、例えば複数のユーザー入力が入力される場合、複数のユーザー入力間の相対的な位置に従って上下左右又は対角線など多様な基準で区分されてもよい。
本発明の一実施形態によると、電子装置(例えば、実行モジュール２７０）は、第１の実行入力６１５及び第２の実行入力６１７に対応するイベントを外部装置６３０に伝達する。例えば、電子装置(例えば、入力処理モジュール１７０）は、第１の領域６１９で取得した第１の実行入力６１５に対応するイベントを外部装置６３０に伝送することによって、第１のユーザー６１１に対応するマーカー６３１を右側６３７に移動させることができる。電子装置(例えば、入力処理モジュール１７０）は、第２の領域６２１で取得した第２の実行入力６１７に対応するイベントを外部装置６３０に伝達することによって、第２のユーザー６１３に対応するマーカー６３３を下側６３９に移動させることができる。
本発明の一実施形態によれば、マーカー６３１，６３３は、カーソル、選択されたオブジェクトをより大きく表示、選択されたオブジェクトをより透明に表示、選択されたオブジェクトの形状の変更及び音出力、又は選択されたオブジェクトの動きを含むことによって、特定形式に制限されない。電子装置は、マーカー６３１，６３３に書き込まれる文字、形状又は色の変化を通じて、異なる領域で取得した入力であることをユーザーが区分可能にする。
本発明の一実施形態によると、電子装置(例えば、入力処理モジュール１７０)は、第１の実行入力６１５及び第２の実行入力６１７により決定された基準軸に関する情報をメモリに第１の領域６１９の基準軸及び第２の領域６２１の基準軸として格納する。また、ディスプレイ６１０を通じて複数のユーザー入力が取得される場合、電子装置(例えば、取得モジュール２１０）は、複数のユーザー入力の相対的な位置に従って格納される基準軸のうち少なくともいずれか一つを異なるように適用する。例えば、複数の実行入力のうち、第１の領域６１９で取得される任意の実行入力には、第１の領域６１９の基準軸が適用することができる。複数の実行入力のうち、第２の領域６２１で取得される任意の実行入力には第２の領域６２１の基準軸が適用することができる。
本発明の一実施形態によると、図示せず、複数の実行入力に対応するイベントは、電子装置と機能的に接続される複数の外部装置を通じて実行する。例えば、電子装置(例えば、実行モジュール２７０）は、第１の実行入力６１５に対応する第１のイベントは、第１の外部装置(例えば、ＴＶ)を通じて実行する。一方、電子装置は、第２の実行入力６１７に対応する第２のイベントを第２の外部装置(例えば、音楽プレーヤー)を通じて実行することができる。
本発明の一実施形態によると、外部装置６３０でマルチタッチを通じる調整が可能なアプリケーションが実行する。例えば、外部装置６３０で写真ビューなどの機能が実行される場合、ユーザーは、２つの指を用いて写真を拡大又は縮小(例えば、ズームイン/アウト)できる。この場合、第１の実行入力６１５及び第２の実行入力６１７は、マルチタッチで認識され、電子装置は、外部装置６３０を通して出力される写真を拡大又は縮小できる。
本発明の多様な実施形態によると、ユーザー入力を処理するための電子装置は、ユーザー入力を取得するためのディスプレイ、ユーザー入力に関連した情報を格納するためのメモリ、及びメモリと機能的に接続される入力処理モジュールを含み、入力処理モジュールは、ディスプレイに対する第１の軸を基準軸としてユーザー入力に対応する角度を決定し、少なくとも角度に基づいてディスプレイに対する第２の軸を基準軸に変更し、第２の軸に基づいてユーザー入力に対応する少なくとも一つのイベントを電子装置と機能的に接続される外部装置を通じて実行するように設定される電子装置を含むことができる。
本発明の多様な実施形態によれば、入力処理モジュールは、移動距離が特定範囲に属すると、ユーザー入力を無視(disregard)できる。
本発明の多様な実施形態によると、入力処理モジュールは、ユーザー入力に対応する移動距離に基づいてユーザー入力が少なくとも一つのイベントを実行するための実行入力であるかを決定できる。
本発明の多様な実施形態によれば、入力処理モジュールは、ユーザー入力の移動距離又は移動方向のうち少なくとも一つに基づいてユーザー入力が複数の入力を含むか否かを判断できる。
本発明の多様な実施形態によれば、入力処理モジュールは、ユーザー入力の移動距離が第１の特定距離及び第２の特定距離を含むと、第１の特定距離に対応する第１の入力及び第２の特定距離に対応する第２の入力各々を少なくとも一つのイベントを実行するための入力として指定できる。
本発明の多様な実施形態によれば、入力処理モジュールは、ユーザー入力の移動方向に基づいて角度を決定することができる。
本発明の多様な実施形態によれば、入力処理モジュールは、角度が第１の特定範囲に属する場合、第１の軸を基準として第１の角度だけ、角度が第２の特定範囲に属する場合、第１の軸を基準として第２の角度だけ増減させた軸を第２の軸として指定し、角度が第３の特定範囲に属する場合、第１の軸を第２の軸として決定できる。
本発明の多様な実施形態によれば、入力処理モジュールは、角度が第１の特定範囲に属する場合、第１の軸を基準として第１の角度だけ、角度が第２の特定範囲に属する場合、第１の軸を基準として第２の角度だけ増減させる軸を第２の軸として指定することができる。
本発明の多様な実施形態によると、入力処理モジュールは、ユーザー入力が少なくとも一つのイベントを実行するための複数の入力を含む場合、複数の実行入力の各々に対応するイベントを少なくとも一つのイベントとして継続して実行することができる。
本発明の多様な実施形態によると、入力処理モジュールで、ユーザー入力は、ディスプレイの第１の領域で取得した第１の入力とディスプレイの第２の領域で取得した第２の入力を含み、決定するステップは、第１の入力に対応する第１の基準軸及び第２の入力に対応する第２の基準軸を基準軸として各々指定するステップを含むことができる。
本発明の多様な実施形態によれば、入力処理モジュールは、第１の基準軸又は第２の基準軸のうち対応することに基づき、第１の入力に対応する第１のイベント及び第２の入力に対応する第２のイベントを実行することができる。
本発明の多様な実施形態によると、入力処理モジュールは、第１の入力に対応する第１のイベントを第１の外部装置で実行し、第２の入力に対応する第２のイベントを第２の外部装置で実行することができる。
本発明の多様な実施形態によると、入力処理モジュールは、電子装置又は外部装置と機能的に接続される出力装置のうち少なくとも一つを通じてイベントに対応する通知情報を提供できる。
図７は、本発明の多様な実施形態によるディスプレイの座標軸を変更するプロセスを示す。ステップ７１０で、電子装置(例えば、取得モジュール２１０）は、ディスプレイ(例えば、ディスプレイ１５０)を通じて一つ以上のユーザー入力を取得できる。一つ以上のユーザー入力は、いろいろな特徴(例えば、ユーザー入力の数、ユーザー入力の移動距離、ユーザー入力の移動方向、又はユーザー入力の位置）を有することができ、電子装置は、特徴に従って一つ以上のユーザー入力に対応する動作(例えば、実行入力の取得、ユーザー入力の無視、又はマルチタッチモード）を実行することができる。
ステップ７３０で、電子装置(例えば、確認モジュール２３０）は、ディスプレイに対する臨時軸を基準として一つ以上のユーザー入力に対応する角度を確認する。例えば、電子装置は、臨時軸に基づいて一つ以上のユーザー入力の移動方向を確認することができる。電子装置は、例えば一つ以上のユーザー入力の移動方向と臨時軸との間の角度を確認することができる。
ステップ７５０で、電子装置(例えば、決定モジュール２５０）は、角度に対応して変更軸を基準軸として決定できる。例えば、電子装置は、角度が第１の範囲に属する場合、臨時軸で第１の角度だけ増減した軸を変更軸として決定し、角度が第２の範囲に属する場合、臨時軸で第２の角度だけ増減した軸を変更軸として決定できる。
ステップ７７０で、電子装置(例えば、実行モジュール２７０）は、変更軸に基づいて一つ以上のユーザー入力に対応するイベントを電子装置と機能的に接続した外部装置を通じて実行する。例えば、一つ以上のユーザー入力が変更軸に基づいて左側に向けている場合、電子装置は、左側に該当する動作(例えば、音量の調整、チャンネルの調整、カーソルの移動、又は画面の移動）を外部装置を通じて実行することができる。一実施形態において、電子装置は、イベントの実行に対する通知をディスプレイ又は他の出力装置(例えば、スピーカ、モータ、ＬＥＤ、又はレシーバ)を通じてユーザーに音、振動、又は視覚的な効果などで知らせる。
本発明の多様な実施形態によれば、電子装置で入力を処理する方法は、電子装置と機能的に接続されたディスプレイを通じてユーザー入力を取得する動作、ディスプレイに対する第１の軸を基準軸としてユーザー入力に対応する角度を確認する動作、少なくとも角度に従ってディスプレイに対する第２の軸を基準軸として決定する動作、及び第２の軸に基づいてユーザー入力に対応する少なくとも一つのイベントを電子装置と機能的に接続される外部装置を通じて実行するステップを有することができる。
本発明の多様な実施形態によると、取得するステップは、ユーザー入力の移動距離が特定範囲に属する場合、ユーザー入力を無視するステップを含むことができる。
本発明の多様な実施形態によると、取得するステップは、ユーザー入力に対応する移動距離に基づき、ユーザー入力が少なくとも一つのイベントを実行するための実行入力であるか否かを決定するステップを含むことができる。
本発明の多様な実施形態によれば、取得するステップは、ユーザー入力の移動距離又は移動方向のうち少なくとも一つに基づき、ユーザー入力が複数の実行入力を含むか否かを判定するステップを有することができる。
本発明の多様な実施形態によれば、取得するステップは、ユーザー入力の移動距離が第１の特定距離及び第２の特定距離を含む場合、第１の特定距離に対応する第１の入力及び第２の特定距離に対応する第２の入力の各々を少なくとも一つのイベントを実行するための実行入力で指定するステップを有することができる。
本発明の多様な実施形態によれば、決定するステップは、ユーザー入力の移動方向に基づいて角度を決定するステップを含むことができる。
本発明の多様な実施形態によれば、決定するステップは、角度が特定範囲に属する場合、第１の軸を第２の軸として決定するステップを有することができる。
本発明の多様な実施形態によれば、決定するステップは、角度が第１の特定範囲に属する場合、第１の軸の角度を第１の角度だけ増減させた角度を第２の軸として決定するステップと、角度が特定範囲に属する場合、第１の軸の角度を第２の角度だけ増減させた軸を第２の軸として決定するステップを有することができる。
本発明の多様な実施形態によれば、ユーザー入力は、ディスプレイの第１の領域で取得した第１の入力とディスプレイの第２の領域で取得した第２の入力を含み、決定するステップは、第１の入力に対応する第１の基準軸及び第２の入力に対応する第２の基準軸を基準軸として各々決定するステップを含むことができる。
本発明の多様な実施形態によれば、実行するステップは、第１の基準軸又は第２の基準軸のうち対応することに基づき、第１の入力に対応する第１のイベント及び第２の入力に対応する第２のイベントを実行するステップを含むことができる。
本発明の多様な実施形態によれば、実行するステップは、第１の入力に対応する第１のイベントを第１の外部装置で実行し、第２の入力に対応する第２のイベントを第２の外部装置で実行するステップを有することができる。
本発明の多様な実施形態によれば、実行するステップは、ユーザー入力が少なくとも一つのイベントを実行するための複数の実行入力を含む場合、複数の実行入力の各々に対応するイベントを少なくとも一つのイベントとして連続して実行するステップを有することができる。
本発明の多様な実施形態によると、実行するステップは、電子装置又は外部装置と機能的に接続される出力装置のうち少なくとも一つを通じてイベントに対応する通知情報を提供するステップを有することができる。
図８は、本発明の多様な実施形態による電子装置８０１のブロック図８００を示す。電子装置８０１は、例えば図１に示した電子装置１０１の全体又は一部を構成してもよい。
図８を参照すると、電子装置８０１は、一つ以上のアプリケーションプロセッサ(ＡＰ)８１０、通信モジュール８２０、ＳＩＭ(Subscriber Identification Module)カード８２４、メモリ８３０、センサモジュール８４０、入力モジュール８５０、ディスプレイ８６０、インターフェース８７０、オーディオモジュール８８０、カメラモジュール８９１、電力管理モジュール８９５、バッテリ８９６、インジケータ８９７、及びモータ８９８を含む。
ＡＰ８１０は、オペレーティングシステム(ＯＳ)又はアプリケーションプログラムを駆動してＡＰ８１０に接続される複数のハードウェア又はソフトウェア構成要素を制御し、マルチメディアデータを含む各種データを処理し、演算を実行する。ＡＰ８１０は、例えばＳｏＣ(System on Chip)で実現されてもよい。本発明の一実施形態によれば、ＡＰ８１０はＧＰＵ(Graphic Processing Unit：図示せず)をさらに含んでもよい。
通信モジュール８２０(例えば、通信インターフェース１６０）は、電子装置８１０(例えば、電子装置１０１)にネットワークを介して接続される他の電子装置(例えば、電子装置１０４又はサーバ１０６)間の通信でデータ送受信を実行する。本発明の一実施形態によると、通信モジュール８２０は、セルラーモジュール８２１、ＷｉＦｉモジュール８２３、ＢＴモジュール８２５、ＧＰＳモジュール８２７、ＮＦＣモジュール８２８、及びＲＦ(Radio Frequency)モジュール８２９を含む。
セルラーモジュール８２１は、通信ネットワーク(例えば、ＬＴＥ、ＬＴＥ-Ａ、ＣＤＭＡ、ＷＣＤＭＡ（登録商標）、ＵＭＴＳ、ＷｉＢｒｏ、又はＧＳＭ（登録商標）)を介して音声通話、映像通話、文字サービス又はインターネットサービスを提供する。また、セルラーモジュール８２１は、例えば加入者識別モジュール(例えば、ＳＩＭカード８２４）を用いて通信ネットワーク内で電子装置の区別及び認証を実行する。本発明の一実施形態によれば、セルラーモジュール８２１は、ＡＰ８１０が提供できる機能のうち少なくとも一部機能を実行する。例えば、セルラーモジュール８２１は、マルチメディア制御機能の少なくとも一部を実行することができる。
本発明の一実施形態によれば、セルラーモジュール８２１は、コミュニケーションプロセッサ(ＣＰ)を含む。また、セルラーモジュール８２１は、例えばＳｏＣで実現されてもよい。図８では、セルラーモジュール８２１(例えば、コミュニケーションプロセッサ)、メモリ８３０、又は電力管理モジュール８９５の構成要素がＡＰ８１０と別個の構成要素で示されているが、一実施形態によれば、ＡＰ８１０が上記した構成要素の少なくとも一部(例えば、セルラーモジュール８２１)を含むように実現してもよい。
本発明の一実施形態によれば、ＡＰ８１０又はセルラーモジュール８２１(例えば、コミュニケーションプロセッサ）は、各々に接続される非揮発性メモリ又は他の構成要素のうち少なくとも一つから受信した命令又はデータを揮発性メモリにロードして処理できる。また、ＡＰ８１０又はセルラーモジュール８２１は、他の構成要素のうち少なくとも一つから受信するか、又は他の構成要素のうち少なくとも一つにより生成されるデータを非揮発性メモリに格納することができる。
ＷｉＦｉモジュール８２３、ＢＴモジュール８２５、ＧＰＳモジュール８２７、及びＮＦＣモジュール８２８の各々は、例えば該当するモジュールを通じて送受信されるデータを処理するためのプロセッサを含む。図８では、セルラーモジュール８２１、ＷｉＦｉモジュール８２３、ＢＴモジュール８２５、ＧＰＳモジュール８２７、又はＮＦＣモジュール８２８が各々別のブロックで示したが、一実施形態によれば、セルラーモジュール８２１、ＷｉＦｉモジュール８２３、ＢＴモジュール８２５、ＧＰＳモジュール８２７、又はＮＦＣモジュール８２８のうち少なくとも一部(例えば、２個以上）は、一つのＩＣ(Integrated Chip)又はＩＣパッケージ内に含まれてもよい。例えば、セルラーモジュール８２１、ＷｉＦｉモジュール８２３、ＢＴモジュール８２５、ＧＰＳモジュール８２７、又はＮＦＣモジュール８２８の各々に対応するプロセッサのうち少なくとも一部(例えば、セルラーモジュール８２１に対応するコミュニケーションプロセッサ及びＷｉＦｉモジュール８２３に対応するＷｉＦｉプロセッサ）は、一つのＳｏＣで実現されてもよい。
ＲＦモジュール８２９は、データの送受信、例えばＲＦ信号の送受信が可能である。ＲＦモジュール８２９は、図示せずが、例えばトランシーバ(transceiver)、ＰＡＭ(Power Amp Module)、周波数フィルタ、又はＬＮＡ(Low Noise Amplifier)を含むことができる。また、ＲＦモジュール８２９は、無線通信で自由空間上の電磁波を送受信するための部品(例えば、導体又は導線）をさらに含む。図８では、セルラーモジュール８２１、ＷｉＦｉモジュール８２３、ＢＴモジュール８２５、ＧＰＳモジュール８２７、及びＮＦＣモジュール８２８が一つのＲＦモジュール８２９を相互に共有することを示しているが、本発明の一実施形態によれば、セルラーモジュール８２１、ＷｉＦｉモジュール８２３、ＢＴモジュール８２５、ＧＰＳモジュール８２７、又はＮＦＣモジュール８２８のうち少なくとも一つは別のＲＦモジュールを通じてＲＦ信号の送受信を実行してもよい。
ＳＩＭカード８２４は、加入者識別モジュールを含むカードであって、電子装置の特定位置に形成されたスロットに挿入する。ＳＩＭカード８２４は、固有の識別情報(例えば、ＩＣＣＩＤ(Integrated Circuit Card Identifier))又は加入者情報(例えば、ＩＭＳＩ(International Mobile Subscriber Identity))を含む。
メモリ８３０(例えば、メモリ１３０）は、内蔵メモリ８３２又は外装メモリ８３４を含む。内蔵メモリ８３２は、例えば揮発性メモリ(例えば、ＤＲＡＭ(Dynamic RAM)、ＳＲＡＭ(Static RAM)、ＳＤＲＡＭ(Synchronous Dynamic RAM))又は非揮発性メモリ(例えば、ＯＴＰＲＯＭ(One Time Programmable ROM)、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable and Programmable ROM)、ＥＥＰＲＯＭ(Electrically Erasable and Programmable ROM)、マスクＲＯＭ、フラッシュＲＯＭ、ＮＡＮＤフラッシュメモリ、ＮＯＲフラッシュメモリ)のうち少なくとも一つを含む。
本発明の一実施形態によれば、内蔵メモリ８３２は、ＳＳＤ(Solid State Drive)であってもよい。外装メモリ８３４は、フラッシュドライブ、例えば、ＣＦ(Compact Flash)、ＳＤ(Secure Digital)、Ｍｉｃｒｏ-ＳＤ(Micro Secure Digital)、Ｍｉｎｉ-ＳＤ(Mini Secure Digital)、ｘＤ(extreme Digital)、又はメモリスティックをさらに含んでもよい。外装メモリ８３４は、多様なインターフェースを通じて電子装置８０１に機能的に接続する。本発明の一実施形態によれば、電子装置８０１は、ハードドライブのような格納装置(又は格納媒体)をさらに含む。
センサモジュール８４０は、物理量を測定し、あるいは電子装置８０１の作動状態を感知し、測定又は感知した情報を電気信号に変換する。センサモジュール８４０は、例えばジェスチャセンサ８４０Ａ、ジャイロセンサ８４０Ｂ、気圧センサ８４０Ｃ、磁気センサ８４０Ｄ、加速度センサ８４０Ｅ、グリップセンサ８４０Ｆ、近接センサ８４０Ｇ、カラーセンサ８４０Ｈ(例えば、ＲＧＢ(red，green，blue)センサ)、バイオメトリックセンサ８４０Ｉ、温度/湿度センサ８４０Ｊ、照度センサ８４０Ｋ、又はＵＶ(Ultra Violet)センサ８４０Ｍのうち少なくとも一つを含んでもよい。追加的に又は代替的に、センサモジュール８４０は、例えば嗅覚センサ(E-nose sensor：図示せず)、ＥＭＧセンサ(Electromyography sensor：図示せず)、ＥＥＧセンサ(Electroencephalogram sensor：図示せず)、ＥＣＧセンサ(Electrocardiogram sensor：図示せず)、ＩＲ(Infrared Ray)センサ(図示せず)、虹彩センサ(図示せず)、又は指紋センサ(図示せず)を含んでもよい。センサモジュール８４０は、それらに属する少なくとも一つのセンサを制御するための制御回路をさらに含んでもよい。
入力装置８５０は、タッチパネル８５２、(デジタル)ペンセンサ８５４、キー８５６、又は超音波入力装置８５８を含む。タッチパネル８５２は、例えば静電式、減圧式、赤外線方式、又は超音波方式のうち少なくとも一つの方式でタッチ入力を認識できる。また、タッチパネル８５２は、制御回路をさらに含んでもよい。静電式である場合、物理的接触又は近接認識が可能である。タッチパネル８５２は、触覚階層(tactile layer)をさらに含んでもよい。この場合、タッチパネル８５２は、ユーザーに触覚反応を提供できる。
(デジタル)ペンセンサ８５４は、例えばユーザーのタッチ入力を受信することと同一又は類似の方法又は別途の認識用シート(sheet)を用いて実現することができる。キー８５６は、例えば物理的なボタン、光学式キー、又はキーパッドを含むことができる。超音波入力装置８５８は、超音波信号を発生する入力ツールを通じて、電子装置８０１でマイク(例えば、マイク８８８）で音波を感知してデータを確認する装置であって、無線認識が可能である。一実施形態によれば、電子装置８０１は、通信モジュール８２０を用いてこれに接続される外部装置(例えば、コンピュータ又はサーバ)からユーザー入力を受信する。
ディスプレイ８６０(例えば、ディスプレイ１５０）は、パネル８６２、ホログラム装置８６４、又はプロジェクタ８６６を含む。パネル８６２は、例えばＬＣＤ(Liquid-Crystal Display)又はＡＭ-ＯＬＥＤ(Active-Matrix Organic Light-Emitting Diode)であってもよい。パネル８６２は、例えばフレキシブルに、透明に、又はウェアラブルに(wearable)実現されてもよい。パネル８６２は、タッチパネル８５２と一つのモジュールで構成される。ホログラム装置８６４は、光の干渉を用いて立体映像を空間中に見せることができる。プロジェクタ８６６は、スクリーンに光を投射して映像を表示できる。スクリーンは、例えば、電子装置８０１の内部又は外部に位置する。一実施形態によれば、ディスプレイ８６０は、パネル８６２、ホログラム装置８６４、又はプロジェクタ８６６を制御するための制御回路をさらに含むことができる。
インターフェース８７０は、例えば、ＨＤＭＩ（登録商標）(High-Definition Multimedia Interface)８７２、ＵＳＢ(Universal Serial Bus)８７４、光インターフェース８７６、又はＤ-ＳＵＢ(D-subminiature)８７８を含む。インターフェース８７０は、例えば図１に示した通信インターフェース１６０に含まれてもよい。追加的に又は代替的に、インターフェース８７０は、例えばＭＨＬ(Mobile High-Definition Link)インターフェース、ＳＤ(Secure Digital)カード/ＭＭＣ(Multi-Media Card)インターフェース、又はＩｒＤＡ(Infrared Data Association)規格インターフェースを含んでもよい。
オーディオモジュール８８０は、音と電気信号を双方向に変換させてもよい。オーディオモジュール８８０の少なくとも一部の構成要素は、例えば図１に示した入出力インターフェース１４０に含まれてもよい。オーディオモジュール８８０は、例えばスピーカ８８２、レシーバ８８４、イヤホン８８６、又はマイク８８８を通じて入力又は出力される音情報を処理する。
カメラモジュール８９１は、静止画像及び動画像を撮影する装置であって、本発明の一実施形態では、一つ以上のイメージセンサ(例えば、前面センサ又は後面センサ)、レンズ(図示せず)、ＩＳＰ(Image Signal Processor：図示せず)、又はフラッシュ(図示せず)(例えば、ＬＥＤ又はキセノンランプ(xenon lamp))を含む。
電力管理モジュール８９５は、電子装置８０１の電力を管理する。図示していないが、電力管理モジュール８９５は、例えばＰＭＩＣ(Power Management Integrated Circuit)、充電ＩＣ(Integrated Circuit)、又はバッテリ又は燃料ゲージを含んでもよい。
ＰＭＩＣは、例えば集積回路又はＳｏＣ半導体内に搭載することができる。充電方式は、有線と無線に区分できる。充電ＩＣは、バッテリを充電でき、充電器からの過電圧又は過電流の流入を防止できる。一実施形態において、充電ＩＣは、有線充電方式又は無線充電方式のうち少なくとも一つのための充電ＩＣを含むことができる。無線充電方式では、例えば磁気共鳴方式、磁気誘導方式、又は電磁気波方式があり、無線充電のための付加的な回路、例えばコイルループ、共振回路、又は整流器の回路が追加されてもよい。
バッテリゲージは、例えばバッテリ８９６の残量、充電中の電圧、電流又は温度を測定できる。バッテリ８９６は、電気を格納又は生成し、その格納又は生成された電気を利用して電子装置８０１に電源を供給することができる。バッテリ８９６は、例えば充電式バッテリ又は太陽電池(solar battery)を含んでもよい。
インジケータ８９７は、電子装置８０１又はその一部(例えば、ＡＰ８１０）の特定状態、例えばブート状態、メッセージ状態、又は充電状態を表示できる。モータ８９８は、電気的信号を機械的振動に変換する。図示せずが、電子装置８０１は、モバイルＴＶのサポートのための処理装置(例えば、ＧＰＵ)を含むことができる。モバイルＴＶのサポートのための処理装置は、例えばＤＭＢ(Digital Multimedia Broadcasting)、ＤＶＢ(Digital Video Broadcasting)、又はメディアフローの規格によるメディアデータを処理できる。
本発明の多様な実施形態による電子装置の前述した構成要素の各々は、一つ又はそれ以上の構成要素で構成され、該当構成要素の名称は、電子装置の種類に従って変わることがある。本発明の多様な実施形態による電子装置は、上記の構成要素のうち少なくとも一つを含んで構成され、一部構成要素が省略され、あるいは追加的な他の構成要素をさらに含んでもよい。また、本発明の多様な実施形態による電子装置の構成要素のうち一部が結合されて一つのエンティティで構成されることによって、結合以前の該当構成要素の機能と同じ機能を実行してもよい。
図９は、本発明の多様な実施形態による複数の電子装置(例えば、電子装置９１０及び電子装置９３０)間の通信プロトコル９００を示す。
図９を参照すると、例えば、通信プロトコル９００は、装置発見プロトコル９５１、機能交換プロトコル９５３、ネットワークプロトコル９５５、及びアプリケーションプロトコル９５７を含むことができる。
本発明の一実施形態によると、装置発見プロトコル９５１は、電子装置(例えば、電子装置９１０又は電子装置９３０）が自身と通信可能な外部電子装置を感知するか、又は感知した外部電子装置に接続するためのプロトコルであってもよい。例えば、電子装置９１０(例えば、電子装置１０１）は、装置発見プロトコル９５１を用いて、電子装置９１０で使用可能な通信方法(例えば、ＷｉＦｉ、ＢＴ、ＵＳＢ)を通じて電子装置９１０と通信可能な機器であって、電子装置９３０(例えば、電子装置１０４)を感知できる。電子装置９１０は、電子装置９３０との通信接続のために、装置発見プロトコル９５１を用いて、感知した電子装置９３０に対する識別情報を取得して格納する。電子装置９１０は、例えば少なくとも識別情報に基づき、電子装置９３０との通信接続を開設できる。
任意の実施形態によれば、装置発見プロトコル９５１は、複数の電子装置間の相互認証のためのプロトコルであってもよい。例えば、電子装置９１０は、少なくとも電子装置９３０に接続するための通信情報(例えば、ＭＡＣ(Media Access Control)アドレス、ＵＵＩＤ(Universally Unique Identifier)、ＳＳＩＤ(Subsystem Identification)、ＩＰ(Internet Protocol)アドレス)に基づき、電子装置９１０と電子装置９３０との間の認証を実行することができる。
本発明の一実施形態によれば、機能交換プロトコル９５３は、電子装置９１０又は電子装置９３０のうち少なくとも一つでサポート可能なサービスの機能に関連した情報を交換するためのプロトコルであってもよい。例えば、電子装置９１０及び電子装置９３０は、機能交換プロトコル９５３を通じて、各々が現在提供しているサービスの機能に関連した情報を相互に交換する。交換可能な情報は、電子装置９１０及び電子装置９３０でサポート可能な複数のサービスの中から特定サービスを示す識別情報を含んでもよい。例えば、電子装置９１０は、機能交換プロトコル９５３を通じて電子装置９３０から電子装置９３０が提供する特定サービスの識別情報を受信することができる。この場合、電子装置９１０は、受信された識別情報に基づいて、電子装置９１０が特定サービスをサポートできるか否かを判定できる。
本発明の一実施形態によると、ネットワークプロトコル９５５は、通信が可能なように接続される電子装置(例えば、電子装置９１０、電子装置９３０)の間で、例えばサービスを連動して提供するために送受信される、データフローを制御するためのプロトコルであってもよい。例えば、電子装置９１０又は電子装置９３０のうち少なくとも一つは、ネットワークプロトコル９５５を用いて、誤り制御、又はデータ品質制御などを実行することができる。追加的に又は代替的に、ネットワークプロトコル９５５は、電子装置９１０と電子装置９３０との間で送受信されるデータの伝送フォーマットを決定できる。また、電子装置９１０又は電子装置９３０のうち少なくとも一つは、ネットワークプロトコル９５５を用いて相互のデータ交換のための少なくともセッションを管理(例えば、セッション接続又はセッション終了)できる。
本発明の一実施形態によれば、アプリケーションプロトコル９５７は、外部電子装置で提供されるサービスに関連したデータを交換するための、手順又は情報を提供するためのプロトコルであってもよい。例えば、電子装置９１０(例えば、電子装置１０１）は、アプリケーションプロトコル９５７を介して電子装置９３０(例えば、電子装置１０４又はサーバ１０６)でサービスを提供できる。
本発明の一実施形態によれば、通信プロトコル９００は、標準通信プロトコル、個人又は団体により指定される通信プロトコル(例えば、通信装置製造業者又はネットワーク供給業者により自主的に指定された通信プロトコル)又はこれらの組み合わせを含むことができる。
本発明の多様な実施形態で使用される“モジュール”は、例えばハードウェア、ソフトウェア、及びファームウェアのうちいずれか一つ又は２つ以上の組み合わせを含む単位を意味できる。“モジュール”は、例えばユニット、論理、論理ブロック、構成要素(component)又は回路などの用語と交互に使用できる。“モジュール”は、一体で構成された部品の最小単位又はその一部であってもよい。“モジュール”は、一つ又はそれ以上の機能を実行する最小単位又はその一部であってもよい。“モジュール”は、機械的に又は電子的に実現することができる。例えば、本発明の多様な実施形態による“モジュール”は、知られており、あるいは未来に開発される任意の動作を実行するＡＳＩＣ(Application-Specific Integrated Circuit)チップ、ＦＰＧＡ(Field-Programmable Gate Array)、及びプログラム可能な論理装置(programmable-logic device)のうち少なくとも一つを含むことができる。
本発明の多様な実施形態による装置(例えば、モジュール又はその機能)又は方法(例えば、動作）の少なくとも一部は、例えば、プログラミングモジュールの形態で構成される、非一時的なコンピュータ読み取り可能な記録媒体に格納されている命令で実現されてもよい。この命令は、一つ以上のプロセッサ(例えば、プロセッサ１２２)により実行される場合、一つ以上のプロセッサが命令に該当する機能を実行できる。非一時的なコンピュータ読み取り可能な記録媒体は、例えばメモリ１３０であってもよい。プログラミングモジュールの少なくとも一部は、例えば、プロセッサ１２０により実現(例えば、実行)されてもよい。プログラミングモジュールの少なくとも一部は、一つ以上の機能を実行するための、例えばモジュール、プログラム、ルーチン、命令セット、又はプロセスなどを含んでもよい。
非一時的なコンピュータ読み取り可能な記録媒体は、ハードディスク、フロッピー（登録商標）ディスク、及び磁気テープのような磁気媒体と、ＣＤ-ＲＯＭ(Compact Disc Read Only Memory)、ＤＶＤ(Digital Versatile Disc)のような光記録媒体(Optical Media)と、フロプティカルディスクのような磁気光媒体と、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Acces Memory)、及びフラッシュメモリのようなプログラム命令(例えば、プログラミングモジュール)を格納して実行するように特別に構成されるハードウェア装置を含んでもよい。プログラム命令は、コンパイラにより生成される機械語だけでなく、インタープリタを用いてコンピュータによって実行されるハイレベル言語コードを含んでもよい。ハードウェア装置は、本発明の多様な実施形態による動作を実行するために一つ以上のソフトウェアモジュールとして作動するように構成可能であり、その逆の場合も同様である。
本発明の多様な実施形態によるモジュール又はプログラミングモジュールは、上記した構成要素のうち少なくとも一つ以上を含むか、一部を省略するか、あるいは追加的な他の構成要素をさらに含んでもよい。本発明の多様な実施形態によるモジュール、プログラミングモジュール、又は他の構成要素により実行される動作は、順次的、並列的、反復的、又はヒューリスティックな(heuristic)方法で実行されてもよい。また、一部動作は、異なる順序で実行又は省略され、又は他の動作が追加されてもよい。
本発明の多様な実施形態によると、命令を格納している記録媒体においては、命令は、少なくとも一つのプロセッサにより実行される場合に少なくとも一つのプロセッサで少なくとも一つの動作を実行するように設定されるものであり、少なくとも一つの動作は、ユーザー入力を取得する動作、ディスプレイに対する第１の軸を基準軸としてユーザー入力の角度を決定する動作、少なくとも角度に基づいてディスプレイに対する第２の軸を基準軸に変更する動作、及び第２の軸に基づいてユーザー入力に対応する少なくとも一つのイベントを電子装置と機能的に接続される外部装置を通じて実行する動作を含んでもよい。
以上、本発明の詳細な説明においては具体的な実施形態に関して説明したが、特許請求の範囲の記載及びこれと均等なものに基づいて定められる本発明の範囲及び精神を逸脱することなく、形式や細部の様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。

Claims (15)

  1. 入力を処理する方法であって、
    電子装置と機能的に接続されるディスプレイを通してユーザー入力を取得するステップと、
    前記ディスプレイに対する第１の軸を基準軸として、前記基準軸と前記ユーザー入力の移動方向とのなす角度を決定するステップと、
    少なくとも前記角度に基づいて前記ディスプレイに対する第２の軸を前記基準軸として決定するステップと、
    前記第２の軸に基づき、前記ユーザー入力に対応する少なくとも一つのイベントを前記電子装置と機能的に接続する外部装置を通じて実行するステップと、
    を有することを特徴とする方法。
  2. 前記ユーザー入力を取得するステップは、
    前記ユーザー入力の移動距離が特定範囲に属する場合、前記ユーザー入力を無視するステップを有すること特徴とする請求項１に記載の方法。
  3. 前記ユーザー入力を取得するステップは、
    前記ユーザー入力に対応する移動距離に基づいて、前記ユーザー入力が前記少なくとも一つのイベントを実行するための実行入力であるか否かを判定するステップを有することを特徴とする請求項１に記載の方法。
  4. 前記ユーザー入力を取得するステップは、
    前記ユーザー入力の移動距離又は移動方向のうち少なくとも一つに基づいて、前記ユーザー入力が前記複数の実行入力を含むか否かを判定するステップを有することを特徴とする請求項３に記載の方法。
  5. 前記第２の軸を決定するステップは、
    前記角度が第１の特定範囲に属する場合、前記第１の軸の角度を第１の角度だけ増減した軸を第２の軸として決定するステップと、
    前記角度が第２の特定範囲に属する場合、前記第１の軸の角度を第２の角度だけ増減した軸を第２の軸として決定するステップと、
    を有することを特徴とする請求項１に記載の方法。
  6. 前記ユーザー入力は、前記ディスプレイの第１の領域で取得される第１の入力と前記ディスプレイの第２の領域で取得される第２の入力を含み、
    前記第２の軸を決定するステップは、
    前記第１の入力に対応する第１の基準軸及び前記第２の入力に対応する第２の基準軸を前記基準軸として各々決定するステップを有することを特徴とする請求項１に記載の方法。
  7. 前記ユーザー入力に対応する少なくとも一つのイベントを実行するステップは、
    前記ユーザー入力が前記少なくとも一つのイベントを実行するための複数の実行入力を含む場合、前記複数の実行入力の各々に対応するイベントを連続して実行するステップを有することを特徴とする請求項１に記載の方法。
  8. 入力を処理するための電子装置であって、
    ユーザー入力を取得するために構成されるディスプレイと、
    前記ユーザー入力に関連した情報を格納するために構成されるメモリと、
    前記メモリと機能的に接続される入力処理モジュールと、を含み、
    前記入力処理モジュールは、
    前記ディスプレイに対する第１の軸を基準軸として、前記基準軸と前記ユーザー入力の移動方向とのなす角度を決定し、
    少なくとも前記角度に基づいて前記ディスプレイに対する第２の軸を前記基準軸として決定し、
    前記第２の軸に基づき、前記ユーザー入力に対応する少なくとも一つのイベントを前記電子装置と機能的に接続される少なくとも一つの外部装置を通じて実行するように構成されることを特徴とする電子装置。
  9. 前記入力処理モジュールは、
    前記移動距離が特定範囲に属すると、前記ユーザー入力を無視するように設定されることを特徴とする請求項８に記載の電子装置。
  10. 前記入力処理モジュールは、
    前記ユーザー入力に対応する移動距離に基づき、前記ユーザー入力が前記少なくとも一つのイベントを実行するための実行入力であるか否かを決定するように構成されることを特徴とする請求項８に記載の電子装置。
  11. 前記入力処理モジュールは、
    前記ユーザー入力の移動距離又は移動方向のうち少なくとも一つに基づき、前記ユーザー入力が前記複数の実行入力を含むか否かを判定するように設定されることを特徴とする請求項８に記載の電子装置。
  12. 前記入力処理モジュールは、
    前記ユーザー入力の移動距離が第１の特定距離及び第２の特定距離を含む場合、前記第１の特定距離に対応する第１の入力及び前記第２の特定距離に対応する第２の入力の各々を前記少なくとも一つのイベントを実行するための前記実行入力として指定するように設定されることを特徴とする請求項８に記載の電子装置。
  13. 前記入力処理モジュールは、
    前記角度が第１の特定範囲に属する場合、前記第１の軸の角度を第１の角度だけ増減した軸を第２の軸として決定し、
    前記角度が第２の特定範囲に属する場合、前記第１の軸の角度を第２の角度だけ増減した軸を前記第２の軸として決定するように設定され、
    前記入力処理モジュールは、前記角度が特定範囲に属する場合、前記第１の軸を前記第２軸として決定するように設定されることを特徴とする請求項８に記載の電子装置。
  14. 前記入力処理モジュールは、
    前記ユーザー入力が前記少なくとも一つのイベントを実行するための複数の実行入力を含む場合、前記複数の実行入力の各々に対応するイベントを前記少なくとも一つのイベントとして連続して実行するように設定されることを特徴とする請求項８に記載の電子装置。
  15. 前記入力処理モジュールは、
    前記電子装置及び前記外部装置のうち少なくとも一つに機能的に接続される少なくとも一つの出力装置を通じて前記イベントに対応する通知情報を提供するように設定されることを特徴とする請求項８に記載の電子装置。
JP2015096780A 2014-05-19 2015-05-11 ディスプレイを用いる入力処理方法及び装置 Expired - Fee Related JP6602045B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140059597A KR102282498B1 (ko) 2014-05-19 2014-05-19 디스플레이를 이용한 입력 처리 방법 및 장치
KR10-2014-0059597 2014-05-19

Publications (2)

Publication Number Publication Date
JP2015219912A JP2015219912A (ja) 2015-12-07
JP6602045B2 true JP6602045B2 (ja) 2019-11-06

Family

ID=53199812

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015096780A Expired - Fee Related JP6602045B2 (ja) 2014-05-19 2015-05-11 ディスプレイを用いる入力処理方法及び装置

Country Status (7)

Country Link
US (1) US10275056B2 (ja)
EP (1) EP2947556B1 (ja)
JP (1) JP6602045B2 (ja)
KR (1) KR102282498B1 (ja)
CN (1) CN105094314B (ja)
AU (1) AU2015202698B2 (ja)
WO (1) WO2015178661A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102548083B1 (ko) * 2016-03-14 2023-06-27 삼성전자주식회사 전자 장치 및 그 제어 방법
JP2017174144A (ja) 2016-03-23 2017-09-28 株式会社スクウェア・エニックス プログラム、コンピュータ装置、プログラム実行方法、及び、システム
CN105959759A (zh) * 2016-04-21 2016-09-21 北京小米移动软件有限公司 控制智能设备的方法及装置
JP6903450B2 (ja) * 2017-02-23 2021-07-14 株式会社Ｎｔｔドコモ ユーザ端末およびセル選択方法
JP2017188140A (ja) * 2017-06-14 2017-10-12 株式会社スクウェア・エニックス プログラム、コンピュータ装置、プログラム実行方法、及び、システム
DE112017007739T5 (de) * 2017-08-08 2020-04-16 Ford Global Technologies, Llc Verbesserter betrieb von tragbaren vorrichtungen
JP7210158B2 (ja) * 2018-04-23 2023-01-23 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記録媒体
JP2020119391A (ja) * 2019-01-25 2020-08-06 セイコーエプソン株式会社 情報処理装置、情報処理装置の制御方法、及び情報処理装置の制御プログラム
KR102696593B1 (ko) 2019-03-26 2024-08-21 삼성전자주식회사 입력 장치 및 입력 장치와 상호 작용하는 전자 장치

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5956019A (en) * 1993-09-28 1999-09-21 The Boeing Company Touch-pad cursor control device
JP4087879B2 (ja) * 2006-06-29 2008-05-21 株式会社シンソフィア タッチパネルの文字認識方法及び文字入力方法
KR101259105B1 (ko) 2006-09-29 2013-04-26 엘지전자 주식회사 콘트롤러 및 콘트롤러에서 키이 코드를 발생하는 방법
NL2000621C2 (nl) 2007-05-01 2008-11-04 Meeteren Albertus Petrus Georg Inrichting voor het bewerken van ingevoerde gegevens.
US7941765B2 (en) * 2008-01-23 2011-05-10 Wacom Co., Ltd System and method of controlling variables using a radial control menu
US8826181B2 (en) * 2008-06-28 2014-09-02 Apple Inc. Moving radial menus
JP5267229B2 (ja) 2009-03-09 2013-08-21 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US8549432B2 (en) * 2009-05-29 2013-10-01 Apple Inc. Radial menus
JP5458783B2 (ja) * 2009-10-01 2014-04-02 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5418232B2 (ja) 2010-01-04 2014-02-19 ソニー株式会社 操作方向判定装置、遠隔操作システム、操作方向判定方法およびプログラム
EP2577430A4 (en) * 2010-05-24 2016-03-16 Will John Temple MULTIDIRECTIONAL BUTTON, KEY AND KEYBOARD
US8933910B2 (en) * 2010-06-16 2015-01-13 Panasonic Intellectual Property Corporation Of America Information input apparatus, information input method, and program
JP5625586B2 (ja) 2010-07-28 2014-11-19 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US20120030624A1 (en) 2010-07-30 2012-02-02 Migos Charles J Device, Method, and Graphical User Interface for Displaying Menus
JP5813948B2 (ja) 2010-12-20 2015-11-17 株式会社バンダイナムコエンターテインメント プログラム及び端末装置
US8554897B2 (en) 2011-01-24 2013-10-08 Lg Electronics Inc. Data sharing between smart devices
US8918719B2 (en) 2011-02-14 2014-12-23 Universal Electronics Inc. Graphical user interface and data transfer methods in a controlling device
JP5841590B2 (ja) 2011-09-13 2016-01-13 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報入力装置及び情報入力方法
TWI493438B (zh) 2012-01-09 2015-07-21 Amtran Technology Co Ltd 觸控方法
KR20130111809A (ko) 2012-04-02 2013-10-11 삼성전자주식회사 터치스크린 단말기에서 그래픽 키패드 제공 방법 및 장치
US9268424B2 (en) 2012-07-18 2016-02-23 Sony Corporation Mobile client device, operation method, recording medium, and operation system
US10191643B2 (en) * 2012-11-29 2019-01-29 Facebook, Inc. Using clamping to modify scrolling

Also Published As

Publication number Publication date
CN105094314A (zh) 2015-11-25
US10275056B2 (en) 2019-04-30
EP2947556B1 (en) 2018-11-14
KR20150132963A (ko) 2015-11-27
JP2015219912A (ja) 2015-12-07
US20150331511A1 (en) 2015-11-19
CN105094314B (zh) 2019-11-01
AU2015202698A1 (en) 2015-12-03
KR102282498B1 (ko) 2021-07-27
WO2015178661A1 (en) 2015-11-26
AU2015202698B2 (en) 2020-06-11
EP2947556A1 (en) 2015-11-25

Similar Documents

Publication Publication Date Title
JP6602045B2 (ja) ディスプレイを用いる入力処理方法及び装置
US9922179B2 (en) Method and apparatus for user authentication
KR102264808B1 (ko) 지문 처리 방법 및 그 전자 장치
US9910539B2 (en) Method and apparatus for controlling flexible display and electronic device adapted to the method
KR102383103B1 (ko) 전자 장치 및 이의 화면 표시 방법
US9817475B2 (en) Method for tracking a user's eye to control an indicator on a touch screen and electronic device thereof
US9760331B2 (en) Sharing a screen between electronic devices
EP3026544A1 (en) Screen configuration method, electronic device, and storage medium
KR102213190B1 (ko) 홈스크린 구성 방법 및 이를 이용한 전자 장치
KR20160011915A (ko) 화면 제어 방법 및 이를 사용하는 전자 장치
KR20150141313A (ko) 전자 장치의 정보 처리 방법 및 장치
US20170046123A1 (en) Device for providing sound user interface and method thereof
EP2958006A1 (en) Electronic device and method for controlling display
KR20150099324A (ko) 전자 장치간 원격 제어 방법 및 그를 위한 시스템
US9958967B2 (en) Method and electronic device for operating electronic pen
KR102213897B1 (ko) 사용자 입력에 따라 하나 이상의 아이템들을 선택하는 방법 및 이를 위한 전자 장치
US20150339047A1 (en) Method of displaying for user interface effect and electronic device thereof
KR20150135837A (ko) 디스플레이 운용 전자장치 및 방법
US20150220171A1 (en) Method for processing input and electronic device thereof
US10528248B2 (en) Method for providing user interface and electronic device therefor
AU2017346260A1 (en) Electronic device and computer-readable recording medium for displaying images
EP3035313B1 (en) Method and apparatus for remote control
CN106796912B (zh) 用于设置块的电子装置和方法
KR20150099255A (ko) 정보 표시 방법 및 이를 이용하는 전자 장치

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180507

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191008

R150 Certificate of patent or registration of utility model

Ref document number: 6602045

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees