本発明は、多様な変換を加えることができ、かついろいろな実施形態を持つことができるところ、特定の実施形態を図面に例示して詳細な説明に詳細に説明する。しかし、これは本発明を特定の実施形態に限定しようとするものではなく、本発明の思想及び技術範囲に含まれるすべての変換、均等物ないし代替物を含むと理解されねばならない。本発明を説明するに際して、かかる公知技術についての具体的な説明が本発明の趣旨を不明にすると判断される場合、その詳細な説明を略する。
第1、第2などの用語は、多様な構成要素の説明に使われるが、構成要素は用語によって限定されてはならない。用語は、一つの構成要素を他の構成要素から区別する目的のみで使われる。
本出願で使った用語は、単に特定の実施形態を説明するために使われたものであり、本発明を限定しようとするものではない。本出願で使った用語は、本発明での機能を考慮して、なるべく現在広く使われる一般的な用語を選択したが、これは当業者の意図、判例、または新たな技術の出現などによって変わる。また、特定の場合には、出願人が任意に選定した用語もあり、この場合に該発明の説明部分で詳細にその意味を記載する。したがって、本発明で使われる用語は単純な用語の名称ではなく、その用語が持つ意味及び本発明の全般の内容に基づいて定義されねばならない。
単数の表現は、特に断らない限り複数の表現を含む。本出願で“含む”または“持つ”などの用語は、明細書上に記載の特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在するということを指定しようとするものであり、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものなどの存在または付加可能性を予め排除しないと理解されねばならない。
明細書の全般にわたって言及される入力情報は、ユーザの入力情報であり、タッチ基盤の入力情報である。タッチ基盤の入力情報は、ユーザのジェスチャー基盤の入力情報を含む。例えば、タップ(tap)(または、タッチ)、ロングタップ(long tap)(または、ロングタッチ)、タッチ&ホールド(touch and hold)、タッチ&ドラッグ(touch and drag)、ダブルタップ(double tap)、ドラッグ(drag)、パンニング(panning)、フリック(flick)、ドラッグ&ドロップ(drag and drop)、及びスウィープ(sweep)などのタッチ基盤の入力情報に含まれるが、これらに制限されるものではない。
入力情報は、前述したタッチ基盤の入力情報に制限されるものではない。例えば、入力情報は、動き基盤(movement−based)入力情報またはビジョン基盤(vision−based)入力情報を含む。
動き基盤入力情報は、デバイス動き基盤のユーザのジェスチャー(例えば、デバイス揺すり、デバイス回転、及びデバイス持ち上げなど)に基づく。例えば、デバイスを、後述する実施形態で言及するように、重力方向にひっくり返す(upside−down)デバイス動き基盤のユーザのジェスチャーを、所定の機能実行要請を示すデバイス動き基盤の入力情報と設定する。
ビジョン基盤の入力情報は、デバイスとの接触なしにカメラによって獲得された入力イメージを分析して認識された情報に基づく。例えば、後述する実施形態で言及されているように、カメラによって獲得された入力イメージに含まれたユーザの顔を認識した情報またはユーザの目を認識した情報を、デバイスの所定の機能についての活性化要請を示すビジョン基盤の入力情報と設定する。
以下、望ましい実施形態を添付図面を参照して詳細に説明するが、添付図面を参照して説明するに際して、同一または対応する構成要素には同じ図面番号を付与し、これについての重なる説明は略する。
図1は、望ましい一実施形態によるデバイス100の機能ブロック図である。図1は、デバイス100の動き(movement)に関するモーション情報(motion information)、及びデバイス100の動作モード(operation mode)に基づいて所定の機能を実行するデバイス100の例である。
図1を参照すれば、デバイス100は、センシング部101、保存部102、プロセッサ103、及び情報入出力部104を備えるが、これらに制限されるものではない。すなわち、デバイス100は、図1に示された構成要素よりさらに多い構成要素を備えるか、またはさらに少ない構成要素を備える。センシング部101は、センシング部101の機能によってセンサーと言及されてもよく、保存部102は、保存部102の機能によって保存器と言及されてもよく、プロセッサ103は、プロセッサ103の機能によって制御部と言及されてもよい。
例えば、デバイス100は、後述する図14に示されたように、デバイス100に関する少なくとも一つの状況情報を検出する構成要素(element)をさらに含む。また、デバイス100は、前述した少なくとも一つの状況情報を検出する構成要素、プロセッサ103、及び保存部102の間のデータ送受信によってデバイス100に関する少なくとも一つの状況情報を検出するように構成される。デバイス100に関する少なくとも一つの状況情報は、後述する図14でさらに詳細に説明する。デバイス100の動作モードに関する情報は、デバイス100に関する前記状況情報に含まれる。
センシング部101は、デバイス100の動きを感知するための多様なタイプの複数のセンサーを備える。
情報入出力部104は、スクリーンをディスプレイできるディスプレイを備える。ディスプレイは、タッチスクリーンで構成されてユーザタッチ基盤入力情報を受信する。
デバイス100の動作モードは、待機モード(standby mode)及び活性化モード(active mode)を含むが、これらに制限されるものではない。
デバイス100の待機モードは、デバイス100のブラックスクリーン状態(black screen state)、デバイス100に備えられたアプリケーションプロセッサ(Application Processor)のアイドル状態(idle state)、情報入出力部104に備えられたタッチスクリーン(touch screen)に関する機能の不活性化状態(deactivation state)、デバイス100の画面ロック設定状態のうち少なくとも一つを含む。
タッチスクリーンに関する機能の不活性化状態は、タッチスクリーンのタッチセンシング機能不活性化状態及びタッチスクリーンのディスプレイ機能不活性化状態のうち少なくとも一つを含むが、これらに制限されるものではない。タッチセンシング機能不活性化状態は、デバイス100のタッチセンシング機能のオフ状態を示す。タッチスクリーンのディスプレイ機能不活性化状態は、デバイス100のブラックスクリーン状態を示す。
デバイス100の待機モードは、センシング部101、保存部102、及びプロセッサ103以外のデバイス100の構成要素の不活性化状態を含む。デバイス100の待機モードは、プロセッサ103の機能のうちセンシング部101及び保存部102とのインターフェースに基づいた機能、センシング部101に関する機能、及び保存部102に関する機能以外のデバイス100の機能についての不活性化状態を含む。
デバイス100の待機モードは、センシング部101、保存部102、及びプロセッサ103のみ動作される低電力状態を含む。すなわち、デバイス100の待機モードは、プロセッサ103、センシング部101、及び保存部102によってパワーが消費される低電力状態を含む。低電力状態は、例えば、数mW〜数μWで電力が消費される状態でありうるが、低電力状態は前述したものに制限されるものではない。
デバイス100の待機モードは、センシング部101、保存部102、及びプロセッサ103以外のデバイス100の構成要素による電力消費が発生しない低電力状態を含む。デバイス100の待機モードは、デバイス100の活性化モードで消費されるパワーより低いパワーが消費される状態を含む。
プロセッサ103は、補助プロセッサを備え、前記補助プロセッサは、プロセッサ103とセンシング部101との間のインターフェースに基づいた機能、及びプロセッサ103と保存部102との間のインターフェースに基づいた機能を実行する。このような場合に、前述した低電力状態は、補助プロセッサ、センシング部101及び保存部102によってパワーが消費される状態であるといえる。補助プロセッサは、例えば、低いクロックレート(clock rate)で動作するマイクロコントローラユニット(Micro Controller Unit)を使う。
デバイス100の待機モードは、デバイス100に備えられたアプリケーションプロセッサ(Application Processor)の活性化状態を含む。すなわち、デバイス100の画面ロック設定状態がアプリケーションプロセッサの活性化状態で動作し、デバイス100の画面ロック設定状態がデバイス100の待機モードに設定された場合に、デバイス100の待機モードはアプリケーションプロセッサの活性化状態を含む。
アプリケーションプロセッサは、プロセッサ103に備えられる。プロセッサ103にアプリケーションプロセッサが備えられるということは、プロセッサ103がアプリケーションプロセッサ及び前述した補助プロセッサを備えるとみられる。プロセッサ103にアプリケーションプロセッサ及び補助プロセッサが備えられる場合に、前述したデバイス100の待機モードは、プロセッサ103に備えられた補助プロセッサは活性化状態であり、アプリケーションプロセッサは不活性化状態である。デバイス100の待機モードは、前述したものに制限されるものではない。
デバイス100は、一例として、スマートフォン、スマートTV、パソコン、デスクトップPC、ノート型パソコン、スマートボード、タブレットPC、モバイルデバイス、ハンドヘルド(handheld)デバイスまたはハンドヘルドコンピュータ、メディアプレーヤ、電子ブック端末機、PDA(Personal Digital Assistant)、デバイスの動きをセンシングする機能を持つデジタルカメラ、及びデバイスの動きをセンシングできる機能を持つデジタルCE(Consumer Electronics)などであるが、これらに制限されるものではない。
例えば、デバイス100は、ユーザが着用できる装置である。ユーザが着用できる装置は、例えば、時計、メガネ、ベルト(例えば、腰ベルト、ヘアベルトなど)、各種アクセサリー(例えば、指輪、腕輪、足輪、ヘアピン、ネックレス)、イヤホン、ヘルメット、各種身体保護台(例えば、膝保護台、肘保護台)。靴、手袋、衣類、帽子、障害者用義足、障害者用義手などの用途で使われる装置を含む。ユーザが着用できる装置は通信機能及びデータプロセッシング機能を含む。ユーザが着用できる装置は、前述した用途で使われる装置に制限されるものではない。
センシング部101は、デバイス100の動きを検出する。デバイス100の動きは、例えば、デバイス100のひっくり返し(Upside−down)のように、回転基盤の動きと回転方向(例えば、時計回り方向、逆時計回り方向、+z軸方向、及び−z軸方向)基盤の動き、デバイス100を水平において垂直方向に持ち上げるような直線方向基盤の動き及び直線方向基盤の動きによるデバイス100の移動距離などを含むが、これらに制限されるものではない。例えば、デバイス100の動きは、前述したようにデバイス100の揺すり基盤の動きを含む。
センシング部101は、デバイス100の動きを検出するために、少なくとも一つのセンサーを備える。すなわち、センシング部101は、デバイス100の回転基盤の動きをセンシングできるジャイロセンサー(Gyro Sensor)と、デバイス100の直線方向基盤の動き及び移動距離をセンシングできる加速度センサー(Accelerometer Sensor)のうち少なくとも一つを含むが、これらに制限されるものではない。
例えば、センシング部101は、デバイス100の回転方向をセンシングできる地磁気センサー(Magnetic Field Sensor)、デバイス100の勾配方向をセンシングできるオリエンテーションセンサー(Orientation Sensor)、デバイス100の位置情報をセンシングできるGPSセンサー(Grobal Position System Sensor)、デバイス100の重力方向をセンシングする重力センサー(Gravity Sensor)、及びデバイス100の回転数をセンシングできる回転数センサーのうち少なくとも一つをさらに備える。センシング部101にさらに備えられるセンサーも、前述したものに制限されるものではない。
ジャイロセンサーは、デバイス100の3軸(x軸、y軸、z軸)の回転角速度をセンシングできるように3個のジャイロセンサーで構成される。このような場合に、センシング部101は、デバイス100のx軸回転角度(ロール(roll、左右回転)角)、y軸回転角度(ピッチ(pitch、傾斜度)角)、z軸回転角度(ヨー(yaw、水平回転)角)と回転方向とをそれぞれセンシングした結果を、電気信号に変換して出力する。
加速度センサーは、デバイス100の3軸(x軸、y軸、z軸)の加速度変化量または2軸(x軸、y軸)の加速度変化量をそれぞれセンシングするように構成される。このような場合に、センシング部101は、デバイス100の線形加速度及び各軸方向の傾斜角度をセンシングした結果を、電気信号に変換して出力する。センシング部101から出力されるセンシングされた結果についての電気信号は、プロセッサ103に伝送される。
センシング部101は、デバイス100の動きを検出する動き検出部と言及される。センシング部101から出力される信号は、デバイス100の動きに関するセンシング値またはデバイス100の動きに関する情報と言及される。
保存部102は、少なくとも一つのプログラムと、少なくとも一つのプログラムに関するデータとを保存する。保存部102に保存された少なくとも一つのプログラムは、デバイス100の動きに関する情報に基づいたデバイス100のモーション情報と、前記デバイス100のモーション情報に対応する少なくとも一つのデバイス100の機能情報とに基づいた機能を実行できるようにデバイスを制御するプログラムを含む。少なくとも一つのプログラムに関するデータは、前述したデバイス100の動きに関する情報、前述したデバイス100のモーション情報、及び前述したデバイス100の機能情報に関するマッピング情報を含む。
図2は、デバイス100の動作モード情報、デバイス100のモーション情報、及びデバイス100の機能情報に関するマッピング情報を説明するためのテーブルの例である。図2に示されたテーブルの例は、デバイス100の動きに関する情報とデバイス100のモーション情報とのマッピング関係を説明する情報を含まない。しかし、時計回り方向に90゜回転、時計回り方向に180゜回転、時計回り方向に270゜回転のようなデバイスのモーション情報は、センシング部101から出力されるデバイス100の動きに関する情報に基づいて定められる。
保存部102に保存されるプログラムに関するデータは、図2に示されたようなテーブル情報を含む。保存部102に保存されるプログラムに関するデータは、デバイス100の活性化モードに関する情報を含まず、デバイス100の待機モードに関するデバイス100の動きに関する情報、デバイス100のモーション情報、及びデバイス100の機能情報に関するマッピング情報を含む。
図2を参照すれば、デバイス100の動作モードは、待機モード及び活性化モードを含む。デバイス100のモーション情報は、時計回り方向に90゜回転を示す情報、時計回り方向に180゜回転を示す情報、及び時計回り方向に270゜回転を示す情報を含む。
前述した待機モードは、スリープモード(sleep mode)または不活性化モード(deactivation mode)またはアイドル(idle)状態と言及されるが、これらに制限されるものではない。前述した活性化モード(active mode)は、ランニングモード(running mode)と言及されるが、これに制限されるものではない。
図3A及び図3Bは、デバイス100の回転基盤モーション情報を説明するための図面である。すなわち、図3Aは、デバイス100が縦になっている状態を基準とした複数のモーション情報を説明するための例である。図3Aに示されたモーション情報は、時計回り方向に90゜回転の水平スパンモーション情報、時計回り方向に270゜回転の水平スパンモーション情報、及び時計回り方向に180゜回転によるひっくり返しモーション情報を含む。
デバイス100の回転基盤モーション情報は、図3Aに示されたように、90゜回転、180゜回転、及び270゜回転に制限されるものではない。例えば、デバイス100の回転基盤モーション情報は、時計回り方向に90゜以下の回転動きに関する情報に基づいて設定される。すなわち、時計回り方向に45゜ずつの回転動きに関する情報に基づいてデバイス100の回転基盤モーション情報を設定する。
デバイス100の回転基盤モーション情報は、逆時計回り方向にデバイス100が90゜ずつ回転することによる動きに関する情報に基づいたモーション情報を含む。デバイス100の回転基盤モーション情報は、時計回り方向にデバイス100が90゜ずつ回転することによる動きに関する情報に基づいたモーション情報と、逆時計回り方向にデバイス100が90゜ずつ回転することによる動きに関する情報とに基づいたモーション情報を含む。
デバイス100の回転基盤モーション情報は、図3Bに示されたように、デバイス100が縦になっている状態を基準として+z軸方向にひっくり返される(180゜回転)動きに関する情報に基づいたモーション情報と、−z軸方向にひっくり返される(180゜回転)動きに関する情報に基づいたモーション情報のうち一つを含む。デバイス100の回転基盤モーション情報は、デバイス100が横になっている状態を基準として±z軸方向にひっくり返される(180゜回転)動きに関する情報に基づいたモーション情報を含む。
一方、デバイス100の待機モードで検出されたモーション情報によって、デバイス100の待機モードは活性化モードに変更される。
デバイス100の待機モードで、情報入出力部104は不活性化状態である。例えば、タッチスクリーンが情報入出力部104に備えられ、デバイス100の待機モードをタッチスクリーンのブラックスクリーン(black screen)状態に設定するか、または、タッチスクリーンに関する機能の不活性化状態に設定するか、または、デバイス100の画面ロック設定状態に設定した場合に、デバイス100の待機モードで情報入出力部104は不活性化状態である。
図2の活性化モードは、デバイス100に備えられたセンシング部101、保存部102、プロセッサ103、及び情報入出力部104いずれも活性化状態を含む。図2の活性化モードは、デバイス100に備えられたセンシング部101、保存部102、プロセッサ103、及び情報入出力部104のみならず、図示されていない少なくとも一つの他の構成要素の活性化状態を含む。
図2の活性化モードは、デバイス100に備えられたセンシング部101、保存部102、プロセッサ103、及び情報入出力部104によってパワーが消費される電力消費状態を含む。図2の活性化モードは、デバイス100に備えられたセンシング部101、保存部102、プロセッサ103、及び情報入出力部104のみならず、図示されない少なくとも一つの他の構成要素によってパワーが消費される電力消費状態を含む。
図2の活性化モードは、デバイス100に備えられたアプリケーションプロセッサの活性化状態を含む。アプリケーションプロセッサの活性化状態は、アプリケーションプロセッサによってパワーが消費される状態を示す。
図2の活性化モードは、図2の待機モードでデバイス100によって消費されるパワー以上のパワーが消費される状態を含む。
図2の活性化モードは、デバイス100に設定された、または、デバイス100によって外部からダウンロードできるアプリケーション、サービス、及びコンテンツのうち少なくとも一つが実行されるか、または、アプリケーション、サービス、及びコンテンツのうち少なくとも一つの実行が要請される状態を含む。
アプリケーション、サービス及びコンテンツのうち少なくとも一つが実行されている状態は、マルチタスキング(Multitasking)状態を含む。アプリケーション、サービス、及びコンテンツのうち少なくとも一つの実行が要請される状態は、情報入出力部104にアプリケーション、サービス及びコンテンツの実行モードを設定できるアイコン、またはスクリーンショット(screenshot)、またはユーザインターフェース(User Interface)を含む画面がディスプレイされているか、またはディスプレイされ得る状態を含む。
図2を参照して、デバイス100の動作モード情報、デバイス100のモーション情報及びデバイス100の機能情報間の関係をさらに詳細に説明すれば、下記の通りである。
すなわち、デバイス100のモーション情報が、時計回り方向に90゜回転を示す動きに関する情報に対応し、デバイス100の動作モードが待機モードである場合に、デバイス100によって実行される所定の機能は、時間確認機能である。
図4Aないし図4Jは、デバイス100の動作モード及びデバイス100のモーション情報によって実行されるデバイス100の所定の機能を説明するための画面401〜424である。
図4Aを参照すれば、デバイス100の動作モードが待機モードであり、情報入出力部104を通じてブラックスクリーン401がディスプレイされ、センシング部101からデバイス100の時計回り方向への90゜回転を示すセンシング値(動きに関する情報)が受信されれば、プロセッサ103は、受信されたセンシング値によって、保存部102に保存された情報からデバイス100のモーション情報を検出する。この時に検出されるモーション情報は、時計回り方向に90゜回転を示すモーション情報である。
プロセッサ103は、デバイス100の待機モードで検出されたデバイス100のモーション情報を用いて保存部102から機能情報を検出する。保存部102からモーション情報または機能情報を検出することは、情報リードまたは情報サーチと言及され得るが、これらに制限されるものではない。
図2を参照すれば、デバイス100のモーション情報が時計回り方向に90゜回転を示し、デバイス100の動作モードが待機モードである場合に、保存部102から検出される機能情報は、時間確認機能情報である。検出される機能情報によってプロセッサ103は、時間確認機能が実行されるようにデバイス100の機能を制御する。これによって、情報入出力部104のブラックスクリーン401は、時間情報を含む画面402に変更される。
前記時間確認機能実行によって提供されるスクリーン402は、ファーストスクリーン(First Screen)と言及される。ファーストスクリーンとは、ブラックスクリーン401で最初に提供されるスクリーンを示すが、これに制限されるものではない。例えば、ファーストスクリーンは、ブラックスクリーン401で最初に提供されるスクリーンでありつつ、ユーザが一定時間以上とどまるように多様な情報を提供するスクリーンを示す。多様な情報は、例えば、後述するゲートウェイ関連情報を含むが、これに制限されるものではない。
ファーストスクリーンが提供される時、デバイス100に備えられたアプリケーションプロセッサは不活性化状態であるが、活性化状態であってもよい。アプリケーションプロセッサの不活性化如何は、ファーストスクリーンを通じて提供される情報によって定められる。例えば、ファーストスクリーンを通じて提供される情報が、デバイス100に備えられたアプリケーションプロセッサの不活性化状態で提供される場合に、アプリケーションプロセッサは、不活性化状態である。ファーストスクリーンを通じて提供される情報がデバイス100に備えられたアプリケーションプロセッサの活性化状態で提供される場合に、アプリケーションプロセッサは、活性化状態である。
前述した時間機能を含む画面402がディスプレイされる場合に、デバイス100に備えられたアプリケーションプロセッサは、不活性化状態である。アプリケーションプロセッサは、前述したようにプロセッサ103に備えられ、不活性化状態または活性化状態に設定される。しかし、アプリケーションプロセッサは、プロセッサ103の外部に設けられる。
図2で、デバイス100の動作モードが待機モードであり、デバイス100のモーション情報が時計回り方向に180゜回転を示す場合に、デバイス100によって実行される所定の機能は、図4Bに示されたようにクィックノート(Quick Note)機能である。
図4Bを参照すれば、デバイス100の動作モードが待機モードであり、情報入出力部104を通じてブラックスクリーン403がディスプレイされている時、センシング部101からデバイス100の時計回り方向への180゜回転を示すセンシング値が受信されれば、プロセッサ103は、デバイス100のモーション情報を時計回り方向に180゜回転と認識する。プロセッサ103によるセンシング値によるモーション情報認識は、受信されたセンシング値を用いて保存部102からモーション情報を検出する動作に基づく。したがって、プロセッサ103によるモーション情報認識は、モーション情報検出と言及されるが、これに制限されるものではない。
プロセッサ103は、デバイス100のモーション情報を検出した後、デバイス100の動作モードを検出する。プロセッサ103は、検出されたデバイス100のモーション情報と、検出されたデバイス100の動作モードに対応する所定の機能情報とを保存部103から検出する。
図2で、デバイス100の動作モードが待機モードであり、デバイス100のモーション情報が時計回り方向に180゜回転を示すと検出されれば、保存部103からリードされる所定の機能情報は、クィックノート機能情報である。これによって、プロセッサ103はクィックノート機能を実行し、情報入出力部104にディスプレイされる画面は、図4Bに示されたように、ブラックスクリーン403からノート画面404に変更される。
図4Bに示されたノート画面404に含まれる録音アイコン及びカメラアイコンは、クィックノート機能のために使われる。すなわち、画面404から録音(Voice Recording)アイコンを選択するユーザの命令が入力されれば、録音される内容がノート画面にディスプレイされる。例えば、“午前8時、私は学校へ向かっている”というユーザの音声信号が入力されれば、プロセッサ103は、入力されるユーザの音声信号をテキスト情報に変換し、変換されたテキスト情報をノート画面にディスプレイする。これによって、ユーザは、ノート画面を通じて“午前8時、私は学校へ向かっている”というメッセージを見られる。
このために、プロセッサ103は、情報入出力部104を通じて受信されるオーディオ信号をディスプレイできるテキスト情報に変換する機能を実行する。この時、ディスプレイされるテキスト情報の書体は、予め設定される。ディスプレイされるテキスト情報は、ユーザの保存要請に応じて保存部102に保存される。
したがって、スタイラスペンを用いてノート画面で所望の内容をメモすることもできるが、ノート画面の録音機能を用いて所望の内容をメモすることもできる。これによって、ユーザは、瞬時に思い出すアイデアをさらに速くメモでき、スタイラスペンなしにデバイス100のクィックノート機能を使える。
また、スタイラスペンがデバイス100に取り付けられた場合に、スタイラスペンを取り出さずにデバイス100のクィックノート機能を使える。録音アイコンが選択される時、プロセッサ103は録音アプリケーションを実行させつつ、それによる実行画面を、情報入出力部104を通じてディスプレイする。
画面404でカメラアイコンを選択する命令が入力されれば、カメラを用いてキャプチャーされたイメージがクィックノート画面にディスプレイされる。このためにプロセッサ103は、カメラを通じてキャプチャーされたイメージをクィックノート画面に重畳させる機能を実行する。
例えば、プロセッサ103は、カメラアプリケーション実行による画面とクィックノート画面とを分割してディスプレイする。例えば、カメラを通じてキャプチャーされるイメージは左側にディスプレイし、ノート画面は右側にディスプレイして、ノート画面を通じてキャプチャーされたイメージに関するメッセージを入力する。キャプチャーされたイメージがディスプレイされる領域と、ノート画面がディスプレイされる領域とはこれに制限されるものではない。キャプチャーされたイメージは、静止画または動画である。
キャプチャーされたイメージがディスプレイされる画面及びクィックノートの画面のサイズは予め設定される。ユーザの命令に応じてキャプチャーされたイメージのみ保存部102に保存するか、または、キャプチャーされたイメージとノート画面を通じて入力されたメッセージとを共に保存部102に保存する。これによって、ユーザは、速くキャプチャーしたいイメージを、クィックノート機能を用いてキャプチャーして保存するか、または、キャプチャーされたイメージに関するメッセージを共に保存する。
キャプチャーされたイメージが保存されれば、カメラアプリケーション実行が自動的に終了するが、カメラアプリケーションは、ユーザの要請に応じて終了する。このような動作は、デバイス100の環境設定による。前述した録音機能及びキャプチャー機能のために、情報入出力部104はマイク及びカメラをさらに備える。
前述したクィックノート画面404に含まれた録音アイコン及びカメラアイコンを用いて該アプリケーションを実行する場合に、クィックノート画面404は、録音アプリケーションまたはカメラアプリケーションを実行するためのゲートウェイ画面と定義される。
ゲートウェイ画面は、所定の機能の実行を知らせる通知情報を含む。ゲートウェイ画面は、少なくとも一つの機能に関する実行モードを選択できる選択情報を含む。選択情報は、前述した録音アイコン及びカメラアイコンのように定義される。ゲートウェイ画面に関する説明は、後述する図17及び図18Aないし図18Fでさらに詳細に説明する。
クィックノート機能が、デバイス100に設けられたノートアプリケーションを速く実行する機能を示す場合に、クィックノート機能は、デバイス100に設けられたノートアプリケーションを基盤とする。
クィックノート機能において、録音アイコンとカメラアイコンとは同時に選択される。このような場合に、キャプチャーされたイメージと、キャプチャーされたイメージに対応するオーディオ信号のテキスト情報とをノート画面に共にディスプレイできる。録音アイコンとカメラアイコンとを同時に選択するのは、録音アイコン及びカメラアイコンのマルチタッチによって行われる。録音アイコンとカメラアイコンとを同時に選択するのは、録音アイコンの選択によって自動的にカメラアイコンが選択されるデバイス100の環境設定による。録音アイコンとカメラアイコンとを同時に選択するのは、カメラアイコンの選択によって自動的に録音アイコンが選択されるデバイス100の環境設定による。
デバイス100の動作モードが待機モードであり、デバイス100の動きに関する情報に基づいたモーション情報が時計回り方向に180゜回転を示す場合に、デバイス100によって実行される所定の機能情報は、図4Cに示されたように、ユニバーサルキュー(Universal Queue)機能情報である。
図4Cは、デバイス100の動作モードが待機モードであり、情報入出力部104にブラックスクリーン405がディスプレイされ、デバイス100の動きに関する情報に基づいたモーション情報が時計回り方向に180゜回転を示す場合に、ユニバーサルキュー機能が実行される例である。
すなわち、プロセッサ103によって保存部102からリードされる所定の機能情報は、ユニバーサルキュー機能情報であり、プロセッサ103は、情報入出力部104上にディスプレイされているブラックスクリーン405が、ユニバーサルキューに保存されていた情報画面406に変換されるようにデバイス100を制御する。ユニバーサルキューは、保存部102に含まれる。
デバイス100が待機モードであり、デバイス100のモーション情報が時計回り方向に180゜回転を示す場合に、デバイス100によって実行される所定の機能情報は、ユニバーサルキューリストディスプレイ機能情報である。
前記所定の機能情報がユニバーサルキューリストディスプレイ機能情報である場合に、図4Dに示されたように、プロセッサ103によってユニバーサルキューリストディスプレイ機能を実行することで、情報入出力部104のブラックスクリーン407は、ユニバーサルキューリスト画面408に変換される。ユニバーサルキューリストは、保存部103に保存され、ユニバーサルキューリストに基づいた情報は、保存部103またはサーバ(図示せず)から提供される。図4Dの画面409は、ユニバーサルキューリストに基づいて選択されたキューの情報をサーバ(図示せず)からダウンロードする画面である。
図2で、デバイス100が待機モードであり、デバイス100のモーション情報が時計回り方向に270゜回転を示す場合に、デバイス100によって実行される所定の機能情報は、バイトインフォメーションビューア(Byte Information Viewer)機能である。
バイトインポケイションビューア機能とは、デバイス100に設定された画面または環境によって必要な情報を示す機能である。例えば、ユーザが予め指定したチケット情報、保安カード情報、決済用バーコード情報、メモ情報、クーポン情報などが、バイトインフォメーションビューア機能を用いて提供される情報であるが、提供可能な情報はこれらに制限されるものではない。
バイトインフォメーションビューア機能を用いてユーザは、特定アプリケーションを使う途中でクリップボードに残しておいた情報、特定インタラクションを通じてバイトインフォメーションビューアとして残しておいた情報、スクリーンキャプチャー及びメモ帳に保存された情報を速くスワイプしつつ見ることができる。
図4Eは、バイトインフォメーションビューア機能を実行する画面の例である。すなわち、デバイス100が待機モードであり、情報入出力部104を通じてブラックスクリーン410がディスプレイされている時、センシング部101から、デバイス100が時計回り方向に270゜回転を示すセンシング値が受信されれば、プロセッサ103は、デバイス100の動作モード、情報入力出力部104のスクリーン状態、及びセンシング値に基づいてデバイス100のモーション情報を認識する。
モーション情報が認識されれば、プロセッサ103は、デバイス100の動作モード及びデバイス100のモーション情報を用いて、保存部102から所定の機能情報を検出する。図2を参照すれば、保存部102から検出される所定の機能情報は、バイトインフォメーションビューア機能情報である。プロセッサ103は、バイトインフォメーションビューア機能を実行し、情報入出力部104にディスプレイされるブラックスクリーン410は、予め設定された情報画面411に変換される。
図2を参照すれば、デバイス100が活性化モードであり、デバイス100のモーション情報が時計回り方向に90゜回転を示し、デバイス100によって現在実行される機能がウェブブラウジング機能である場合に、デバイス100によって実行される所定の機能情報は、図4Fに示されたように、ブラウザ・シークレット(Browser secrete)モード実行機能情報である。
図4Fを参照すれば、活性化モードのデバイス100がウェブブラウジング機能412を実行している時、センシング部101から受信されたセンシング値に基づいて、デバイス100が時計回り方向に90゜回転を示すモーション情報が検出されれば、プロセッサ103は、デバイス100のモーション情報デバイス100の動作モード及びデバイス100によって行われる機能に基づいて、保存部102から所定の機能情報を検出する。検出された所定の機能情報は、ブラウザ・シークレットモード実行機能情報である。これによって、プロセッサ103は、ブラウザ・シークレットモードを行う。ブラウザ・シークレットモード実行によって、以後に実行されるログ(log)情報がデバイス100に記録されない。ログ情報は、ユーザの検索ヒストリー情報、ユーザのインターネット検索ヒストリー(Surfing History)情報及びログイン情報などのような情報を含む。
シークレットモードの実行中に、センシング部101から、デバイス100が逆時計回り方向に90゜回転を示すセンシング値が受信されれば(すなわち、センシング値が基準値と受信されれば)、プロセッサ103は、ウェブブラウジングのブラウザ・シークレットモード実行を解除する。ブラウザ・シークレットモード実行機能及びブラウザ・シークレットモード解除機能は、プロセッサ103によって受信されたセンシング値を用いて保存部102からモーション情報をリードし、リードされたモーション情報及びセンシング値を用いて、保存部102から所定の機能情報をリードする方式で行われる。
図2で、デバイス100が活性化モードであり、デバイス100のモーション情報が時計回り方向に180゜回転を示し、デバイス100によって現在任意のアプリケーションが実行されている時、図4Gに示されたように、デバイス100によって実行される所定の機能は、他のアプリケーションにスイッチングする機能である。
図4Gを参照すれば、デバイス100が特定のSNS(Social Network Service)414を実行している時、センシング部101から、デバイス100が時計回り方向に180゜回転を示すセンシング値が受信されれば、プロセッサ103は、センシング値を用いて保存部102からデバイス100のモーション情報を検出する。プロセッサ103は、検出されたダバイス100のモーション情報及びデバイス100の動作モードを用いて、保存部102から所定の機能情報を検出する。図4Gの場合に検出される所定の機能情報は、他のアプリケーションにスイッチングする機能情報である。
したがって、プロセッサ103は、他のアプリケーションにスイッチングする機能415、416を実行する。前述した他のアプリケーションは、予め設定されたアプリケーション、直前に実行したアプリケーション、及びマルチタスキングされている他のアプリケーションのうち一つを含むが、これらに制限されるものではない。マルチタスキングされているアプリケーションが複数の場合に、他のアプリケーションは、最近実行されたアプリケーションを含む。
アプリケーションのスイッチング時、プロセッサ103は、画面を直ぐスイッチングすることができるが、図4Gの画面415、416に示されたようにアニメーション効果を提供する。図4Gの画面415、416は、アコーディオン効果によって重い石をデバイス100のローサイド(low side)にディスプレイし、センシング部101から、デバイス100が時計回り方向に180゜回転を示すセンシング値が受信されれば、プロセッサ103は、重い石を下方に徐々に下ろしつつ、元々のアプリケーション画面を徐々に圧縮する画面をディスプレイする。
アニメーション効果は、前述したアコーディオン効果に制限されるものではない。例えば、アニメーション効果は、ブラーのイメージが明らかになるアニメーション効果、イメージが上端から下端に移動するアニメーション効果、デバイス100の回転角度と同じくイメージを回転させるアニメーション効果などの多様なアニメーション効果を含む。これらの多様なアニメーション効果は、予めユーザによって設定される。ユーザによって設定される前に、アニメーション効果は予めデモ(demonstration)形態でシミュレーションされる。
図4Hを参照すれば、デバイス100が特定アプリケーション(例えば、フェイスブック)417を実行している時、デバイス100が時計回り方向に180゜回転したことがセンシングされれば、予め指定されたアプリケーション(例えば、カカオトーク)418にスイッチングされる。予め指定されたアプリケーション(例えば、カカオトーク)の実行中にデバイス100が再び時計回り方向に180゜回転419すれば、以前に実行された特定アプリケーション(例えば、フェイスブック)にスイッチング420される。このようにデバイス100によって実行されるアプリケーションがスイッチングされるように、保存部102に保存されたデバイス100のモーション情報、デバイス100の動作モード情報及びデバイス100によって実行される所定の機能情報を設定する。画面419でデバイス100の回転は、逆時計回り方向に180゜回転すると設定される。
デバイス100の動作モードがサービスまたはコンテンツを実行していると示す時、デバイス100の所定のモーション情報によるデバイス100の所定の機能情報は、前記サービスまたはコンテンツを他のサービスまたは他のコンテンツまたは他のアプリケーションにスイッチングするように設定される。
デバイス100の動作モードがサービスまたはアプリケーションを実行していることを示し、現在実行されているサービスまたはアプリケーションが複数勘定と設定された場合に、デバイス100の所定のモーション情報によるデバイス100の所定の機能情報は、現在使っている勘定を他の勘定に変更する機能を実行するように設定される。
図2で、デバイス100が活性化モードであり、特定リストをディスプレイする時、デバイス100のモーション情報が時計回り方向に180゜回転を示せば、デバイス100によって実行される所定の機能は、図4Iに示されたように、リストソーティング方法の変更機能である。すなわち、図4Iの画面421に示されたように、昇順(Ascending)にソーティングされたリストをデバイス100のモーション情報が時計回り方向に180゜回転を示せば、プロセッサ103は、降順(Descending)にソーティングされたリスト画面422に変更する。
図2で、デバイス100の動作モードが活性化モードであり、デバイス100のモーション情報が時計回り方向に270゜回転を示せば、デバイス100によって実行されている機能と関係なくボイスレコーダ機能を実行するように、所定の機能が設定される。例えば、デバイス100がホーム画面をディスプレイしている時、デバイス100が時計回り方向に270゜回転されたことを示すセンシング値が受信されれば、デバイス100は、予め設定された所定の機能情報によってボイスレコーダ機能を実行する。
デバイス100のモーション情報及びデバイス100の動作モードによるデバイス100の所定の機能情報は、図2に定義された通りに制限されるものではない。例えば、デバイスのモーション情報は、時計回り方向のひっくり返し(デバイス100の180゜回転)モーション情報のみ定義される。デバイス100のモーション情報は、図4Jに示されたように、デバイス100を横方向に持って縦方向に持ち上げるモーション情報423のみ定義される。図4Jに示されたモーション情報423に対応する所定の機能情報は、図2に定義された機能のうち一つの機能情報をマッチングさせる。しかし、モーション情報423にマッチング可能な機能情報は、図2に定義されたところに制限されるものではない。
デバイス100のモーション情報は、前述したものに制限されるものではない。例えば、デバイス100のモーション情報は、デバイス100を縦方向に持って縦方向に持ち上げるモーション情報、縦方向に持って左または/及び右方向に所定距離ほど移動させるモーション情報、横方向に持って左または/及び右方向に所定距離ほど移動させるモーション情報を含む。所定距離は、センシング部101によって左または右方向にデバイス100が移動したと認識される最小限の距離以上の距離と定義される。最小限の距離は、センシング部101に備えられるセンサーによって定められる。
図4Jは、デバイス100が待機モードであり、センシング部101から、デバイス100を横方向に持って縦方向に持ち上げることを示すセンシング値が受信されれば、プロセッサ103が予め設定されたアプリケーションを実行する場合である。デバイス100を横方向に持って縦方向に持ち上げることを示すセンシング値は、例えば、x軸変化量が30゜より小さく、y軸変化量が90゜以上であり、加速度変化量がTより大きく、Tは整数であると設定されるが、センシング値は前述したものに制限されるものではない。すなわち、センシング値は、センシング部101に備えられるセンサーによって定められる。
保存部102に保存される少なくとも一つのプログラムは、アプリケーション実行プログラム、サービス実行プログラム、コンテンツ保存プログラム、及びコンテンツ再生プログラムなどを含む。
プロセッサ103は、前述したように保存部102に保存された少なくとも一つのプログラムを実行し、センシング部101からセンシングした値及び保存部102に保存された情報を用いてデバイス100のモーション情報を認識する。
プロセッサ103は、デバイス100の動作モードを検出する。プロセッサ103のフラグレジスタ(flag register)または保存部102の所定領域にデバイス100の動作モードに関する情報が保存された場合に、プロセッサ103は、フラグレジスタまたは保存部102の前述した所定領域からデバイス100の動作モードに関する情報をリードし、デバイス100の動作モードを判断する。このようなデバイス100の動作モード判断は、デバイス100の動作モード検出と言及される。プロセッサ103は、前述したフラグレジスタを含むRAMを含む。
プロセッサ103は、デバイス100の全般的な動作を制御するものであり、一つ以上のプロセッサと言及される。プロセッサ103は、センシング部101、保存部102及び情報入出力部104の動作を制御する。プロセッサ103は、制御器やマイクロプロセッサ、デジタル信号処理器(Digital Signal Processor)などと言及される。
プロセッサ103は、図5に示されたように連続的なセンシングプラットホーム(Seamless Sensing Platform、SSP)を使ってセンシング部101を制御する低電力プロセッサ510と、アプリケーションプロセッサ520とを備える。低電力プロセッサ510は、補助プロセッサと定義され、アプリケーションプロセッサ520は、メインプロセッサと定義される。図5は、SSP基盤のセンシング部101とプロセッサ103との関係を説明するための図面である。
図5に示された低電力プロセッサ510は、前述した図1で言及されたデバイス100の待機モードで動作する低電力MCUで構成される。低電力プロセッサ510は、センサーハブ511及びSSPマネージャー512を備える。センサーハブ511に、第1ないし第nセンサー501_1〜501_nを備えるセンシング部101が取り付けられる。SSPマネージャー512はアプリケーションプロセッサ520のフレームワークに含まれる。
センサーハブ511は、第1ないし第nセンサー501_1〜501_nからセンシングされた値を受信する。第1ないし第nセンサー501_1〜501_nは、センシングされた値を、低電力ブルートゥース(Bluetooth(登録商標) Low Energy)通信のような通信に基づいてセンサーハブ511に伝送する。第1ないし第nセンサー501_1〜501_nとセンサーハブ511との間の通信は、低電力ブルートゥース通信に制限されるものではない。
デバイス100の動作モードが待機モードを示す場合に、アプリケーションプロセッサ520は、待機モードに設定されている。アプリケーションプロセッサ520が待機モードに設定されている時、アプリケーションプロセッサ520の動作モードを活性化モードに変更せねばならない場合、センサーハブ511は、SSP(Seamless Sensing Platform)に基づいたデータ通信プロトコルを使ってSSPマネージャー512とのデータ通信を行える。アプリケーションプロセッサ520の待機モードを活性化モードに変更せねばならない場合は、前述した実施形態で言及されたデバイス100によって実行されねばならない所定の機能情報によって定められる。
センサーハブ511とSSPマネージャー512との間の動作を説明すれば、次の通りである。すなわち、センサーハブ511は、伝送するデータがあるということを示す割り込み(Interrupt)信号をSSPマネージャー512に伝送する(513)。SSPマネージャー512は、センサーハブ511によって伝送されるデータ形式(Data type)及び長さ(length)を要請する信号を、センサーハブ511に伝送する(514)。センサーハブ511は、伝送するデータの形式及び長さに関する情報をSSPマネージャー512に伝送する(515)。センサーハブ511からSSPマネージャー512に伝送されるデータに関する情報は、データ形式及び長さに制限されるものではない。
SSPマネージャー512は、受信準備完了メッセージ(Start to read MSG)をセンサーハブ511に伝送する(516)。センサーハブ511は、受信準備完了メッセージ(Start to read MSG)が受信されれば(516)、センシングされた値を予め約束されたパッケージに加工してSSPマネージャー512に伝送する(517)。センサーハブ511からSSPマネージャー512に伝送される、センシングされた値は、電気的な信号に伝送されると言及される。
SSPマネージャー512は、図1で言及されたように、デバイス100の待機モードでセンサーハブ511から受信された、センシングされた値を用いて、保存部120に保存された情報からモーション情報を検出する。SSPマネージャー512は、検出されたモーション情報に基づいてデバイス100の所定の機能情報を検出し、検出された機能情報に基づいてデバイス100の機能を制御する。
また、SSPマネージャー512は、図1で言及されたように、センサーハブ511から受信されたセンシングされた値を用いて、保存部120に保存された情報からモーション情報を検出し、図1で言及したように、デバイス100の動作モードをチェックする。SSPマネージャー512は、チェックされた動作モード及び検出されたモーション情報を用いて、保存部120からデバイス100の所定の機能情報を検出し、検出された機能情報に基づいてデバイス100の機能を制御する。
情報入出力部104は、前述したように、デバイス100の待機モードでブラックスクリーンであり、電力が消費されない状態であり、タッチスクリーンに関する機能が不活性化状態であり、タッチスクリーンに関するディスプレイ機能が不活性化状態であるが、これらに制限されるものではない。
図6Aは、望ましい一実施形態によるデバイスの機能実行方法を説明するためのフローチャートである。図6Aは、デバイス100のモーション情報及びデバイス100の動作モードによって所定の機能を実行する場合である。図6Aのフローチャートは、デバイス100のプロセッサ103によって行われる。
段階S601で、プロセッサ103は、デバイス100の動きに関する情報を受信する。デバイス100の動きに関する情報は、図1で言及されたセンシング部101に備えられたセンサーから、図5で言及したように、連続的なセンシングプラットホーム基盤で受信される。
デバイス100の動きに関する情報に基づいて、プロセッサ103は所定のモーション情報を検出する(S602)。デバイス100のモーション情報が検出されれば、プロセッサ103は、デバイス100の動作モードに関する情報を検出する(S603)。デバイス100の動作モードに関する情報の検出は、デバイス100の動作モードのチェックと言及される。
デバイス100が活性化モードならば、デバイス100の動作モードに関する情報は、デバイス100が現在いかなる状態であるかを示す情報を含む。例えば、デバイス100の動作モードに関する情報は、デバイス100によるアプリケーション実行時、いかなるアプリケーションが実行されているかを示す情報を含むが、これに制限されるものではない。段階S603のデバイス100の動作モードを検出することは、図1のプロセッサ103に関する説明で言及したものと同じ方式で行われる。
段階S604で、プロセッサ103は、デバイス100の動作モードに関する情報及びデバイス100のモーション情報に基づいて所定の機能を実行する。所定の機能は、前述した図2及び図4Aないし図4Jで説明したように、保存部102から検出される。
図6Bは、望ましい他の実施形態によるデバイスの機能実行方法を説明するためのフローチャートである。図6Bは、デバイス100が待機モードの場合である。図6Bは、デバイス100のプロセッサ103によって行われる。
図6Bを参照すれば、デバイス100の動作モードが待機モードである時、プロセッサ103は、センサー部101からデバイス100の動き(movement)に関する情報を受信する。この時、プロセッサ103は、図5の低電力プロセッサ510である。よって、SSP(Seamless Sensing Platform)に基づいたデータ通信プロトコルを使って、プロセッサ103は、センサー部101からデバイス100の動きに関する情報を受信する。
デバイス100の待機モードで(S605)、プロセッサ103は、センサー部101からデバイス100の動きに関する情報を受信する(S606)。プロセッサ103は、受信された動きに関する情報を用いて保存部102からモーション情報を検出する(S607)。モーション情報が検出されれば、プロセッサ103は、検出されたモーション情報に対応する少なくとも一つの機能情報を保存部102から検出する(S608)。
保存部102に保存されたモーション情報及び少なくとも一つの機能情報の保存構造によって、前述したモーション情報検出及び前述した少なくとも一つの機能情報検出は、少なくとも一つの機能情報検出として言及される。例えば、センサー部101から受信された動きに関する情報を用いて、プロセッサ103によって保存部102から少なくとも一つの機能情報を検出する場合に、前述したモーション情報検出及び前述した少なくとも一つの機能情報検出は、前述した少なくとも一つの機能情報検出として言及される。
プロセッサ103は、保存部102から受信された少なくとも一つの機能情報に基づいた機能を実行するように、デバイス100を制御する(S609)。図6Bに示された動作フローチャートは、前述した図4Aないし図4Eで説明されたように行われる。段階S609で、プロセッサ103は、機能を実行する前に、後述する図17及び図18Aないし図18Fのようなゲートウェイ画面をディスプレイする。
図7は、前述した図6Aの段階S604または図6Bの段階S609に含まれるプロセスを説明するための動作フローチャートである。
図7は、ユーザがデバイス100を見ているかどうかを判断した結果によって、デバイス100の所定の機能を実行するプロセスに関する。
すなわち、段階S701で、プロセッサ103は、所定の機能を実行する前にユーザがデバイス100を見ているかどうかを判断する。ユーザがデバイス100を見ているかどうかを判断することは、デバイス100に備えられたカメラを用いて獲得されたイメージに、ユーザの顔が含まれているかどうかによって定められる。または、前述した獲得されたイメージに含まれているユーザの顔がデバイス100を見ているかどうかによって、ユーザがデバイス100を見ているかどうかを判断できるが、ユーザがデバイス100を見ているかどうかを判断することは、前述したものに制限されるものではない。。
プロセッサ103は、顔領域抽出技術を用いて、獲得されたイメージにユーザの顔が含まれているかどうかを判断する。プロセッサ103は、特徴値検出方式を用いて、獲得されたイメージに含まれているユーザの顔がデバイス100を見ているかどうかを判断する。特徴値検出方式は、ユーザの両眼間の距離、鼻の厚さ、ほお骨の高さと形状、及び顔における額(額の広さ及び高さに基づいた面積)の割合などについての特徴値を検出することである。プロセッサ103は、検出された特徴値を用いてイメージに含まれたユーザの顔が向かう方向を推定して、ユーザがデバイス100を見ているかどうかを判断する。
前述したユーザの顔を認識する方式の代りに、獲得されたイメージからユーザの瞳を検出し、瞳の動きを推定して、ユーザがデバイス100を見ているかどうかを判断するように具現する。
段階S701で判断した結果、ユーザがデバイス100を見ていると判断されれば、プロセッサ103は、前述した所定の機能情報に基づいた機能を実行するようにデバイス100を制御する(S702)。
段階S702で判断した結果、ユーザがデバイス100を見ていないと判断されれば、プロセッサ103は、前述した所定の機能情報に基づいた機能を実行しないようにデバイス100を制御する(S703)。
プロセッサ103によって、図7で言及したように、顔領域抽出及び特徴値検出または瞳の動き推定方式を用いてユーザがデバイス100を見ているかどうかを判断するために、保存部102は、これに関するアプリケーションプログラムを少なくとも一つ保存し、プロセッサ103の要請に応じてプロセッサ103に提供する。プロセッサ103は、保存部102から提供された、関連のアプリケーションプログラムを実行して、前述したようにユーザがデバイス100を見ているかどうかを判断する。
図8は、図7の段階S701及び段階S702によって、デバイス100によって所定の機能が活性化する画面を示したものである。すなわち、図8の画面810に示されたように、デバイス100が待機モードであり、画面がブラックスクリーンである時、センシング値によってデバイス100が時計回り方向に180゜回転したと認識されれば、プロセッサ103は、前面カメラ821の機能を活性化させる。プロセッサ103は、画面820に示されたように前面カメラ821に関するアプリケーションを実行させるために、デバイス100の動作モードを一時的に活性化モードに切り替える。この時、プロセッサ103は、情報入出力部104を通じてブラックスクリーンを出力するか、またはカメラモードが実行される画面を出力する。
プロセッサ103は、前面カメラ821を用いて、獲得されたイメージ822において前述したユーザの顔認識またはユーザの瞳の動き推定によって、ユーザがデバイス100を見ているかどうかを判断する。ユーザがデバイス100を見ていると判断されれば、プロセッサ103は、デバイス100の動作モード及びデバイス100のモーション情報によって実行される所定の機能を実行する(830)。
図9は、望ましい他の実施形態よって、前述した図6Aの段階S604または図6Bの段階S609で行われるプロセスを説明するための動作フローチャートである。図9は、所定の機能を実行するための要請に対応する、予め設定されたユーザのジェスチャー基盤情報が受信されれば、デバイス100で所定の機能が実行されるプロセスに関する。
すなわち、段階S901で、プロセッサ103は、所定の機能を実行する前に所定の機能についての実行要請に対応するユーザのジェスチャー基盤情報が受信されたかどうかを判断する。ユーザのジェスチャー基盤情報は、図10に示されたように、両手でデバイス100を水平に取った状態で2タッチ(例えば、両手の親指基盤の2タッチ)と予め定義される。しかし、片手でデバイス100を水平に取った状態で1タッチ(例えば、デバイス100を取っている手の親指を用いた1タッチ)と予め定義されてもよい。
デバイス100の状態は、前述したように水平に置かれた状態に制限されるものではない。例えば、デバイス100の状態は、垂直に置かれた状態を含む。デバイス100が水平に置かれた状態は、図10に示されたように、デバイスのサイズに関する情報に含まれた高さ情報(Height、または縦情報)を持つデバイス100のベゼル面が地面に対して直角に近い値を持つ状態を示す。デバイス100が垂直に置かれた状態は、デバイス100のサイズに関する情報に含まれた横(width)情報を持つデバイス100のベゼル面が地面に対して直角に近い値を持つ状態を示す。
前述した2タッチ及び1タッチは、予め保存されている、予測されたタッチ領域に関する情報を用いて認識される。前述した、予測されたタッチ領域に関する情報は、誤差範囲を考慮して設定される。予測されたタッチ領域に関する情報は、デバイス100のサイズ情報及びユーザの手のサイズ情報を用いて予め設定される。ユーザの手のサイズ情報は、ユーザの身体サイズによって変わる。ユーザの手のサイズ情報は、スキャンされたユーザの手のイメージを用いて定められる。デバイス100のサイズ情報は、予め保存されたデバイス100のスペック情報に含まれた情報を用いる。
前述した、予測されたタッチ領域に関する情報は、ユーザによるタッチ領域登録過程を通じて設定される。例えば、ユーザがデバイス100を用いて同じ状況を演出し、演出された状況でタッチされた領域を、予測されたタッチ領域と登録した後で用いられる。予測されたタッチ領域を登録する時、利用可能な誤差範囲をユーザが設定する。
前述したユーザのジェスチャー基盤情報は、保存部104に保存されたデバイス100の動作モードに関する情報及びデバイス100のモーション情報にマッピングして保存される。
保存部104に保存される、前述したユーザのジェスチャー基盤情報は、少なくともタッチ面の座標情報を含む。前述したタッチ面の座標情報は、デバイス100のサイズ、ユーザがデバイス100を両手で握る場合に両手の親指基盤の2タッチが発生すると予測されるタッチ面の座標情報、デバイス100を右手で握る場合に右手の親指基盤の1タッチが発生すると予想されるタッチ面の座標情報、及びデバイス100を左手で握る場合に左手の親指基盤の1タッチが発生すると予想されるタッチ面の座標情報を含むが、これらに制限されるものではない。タッチ面の座標情報は、2次元画面領域を示す座標情報を含む。段階S901で、前述したユーザのジェスチャーに基づいて所定の機能についての実行要請が受信されたと判断されれば、プロセッサ103は、段階S902で前述した所定の機能を実行する。
段階S903で、前述したユーザのジェスチャーに基づいて所定の機能についての実行要請が受信されていないと判断されれば、プロセッサ103は、段階S903で前述した所定の機能を実行しない。
図10は、図9の段階S901及び段階S902で、デバイス100によって実行される所定の機能を説明するための画面を示すものである。図10の画面1010で、デバイス100の動作モードが待機モードであり、画面がブラックスクリーンである時、デバイス100が縦方向に所定距離以上持ち上げられるデバイス100の動きを示すセンシング値を使って、プロセッサ103は、デバイス100のモーション情報を認識する。
デバイス100のモーション情報を認識した後、デバイス100を握っている両手の親指に基づいたマルチタッチが発生したと認識されれば(S1020)、プロセッサ103は、デバイス100の動作モード及びデバイス100のモーション情報によって定められる所定の機能を実行する(1030)。図10の場合に、所定の機能は、デバイス100の動作モードが待機モードに設定される直前に実行されたアプリケーションを連続して実行する場合である。
図11は、望ましい他の実施形態によるデバイス1100の機能ブロック図である。図11を参照すれば、デバイス1100は、情報入力部1101、センシング部1102、タッチスクリーン1103、カメラ1104、オーディオ入力部1105、オーディオ出力部1106、保存部1107、無線通信部1108、有線通信部1109、プロセッサ1110、及び電源部1114を備える。デバイス1100の構成は、図11に示されたものに制限されるものではない。すなわち、デバイス1100の構成は、図11に示された構成要素よりさらに多い構成要素を備えるか、または、さらに少ない構成要素を備える。例えば、デバイス1100は、有線通信部1109を備えなくてもよい。無線通信部1108は、無線通信インターフェースと言及され、有線通信部1109は、有線通信インターフェースと言及されてもよい。
図11に示されたデバイス1100は、第2プロセッサ1112の動作に関係なく第1プロセッサ1111に基づいて、デバイス1100が待機モードの時にデバイス1100の動きによる所定の機能を実行する。第1プロセッサ1111は、前述した低電力プロセッサであり、第2プロセッサ1112は、前述したアプリケーションプロセッサと定義されるが、これに制限されるものではない。第1プロセッサ1111と第2プロセッサ1112との関係は、以下の該構成要素の説明でさらに詳細に説明される。
デバイス1100の待機モードは、センシング部1102、第1プロセッサ1111、及び保存部1107による電力消費状態である、図1で言及された低電力消費状態を含む。デバイス1100の待機モードは、センシング部1102、第1プロセッサ1111、及び保存部1107以外のデバイス1100の構成要素によって電力が消費されない状態を含む。デバイス1100の待機モードは、第2プロセッサ1112のAP 1113の不活性化状態を含む。デバイス1100の待機モードは、タッチスクリーン1103のブラックスクリーンを含む。デバイス1100の待機モードは、タッチスクリーン1103のタッチスクリーンに関する機能の不活性化状態と、タッチスクリーン1103のタッチセンシング機能の不活性化状態のうち少なくとも一つを含む。デバイス1100の待機モードは、前述したものに制限されるものではない。
情報入力部1101は、デバイス1100の待機モードで電力を消費しない状態である。情報入力部1101は、デバイス1100の待機モードで不活性化状態である。情報入力部1101は、デバイス1100の動作を制御するための入力データを入力する。例えば、情報入力部1101は、デバイス1100の電源オン/オフ命令を入力する。情報入力部1101は、キーパッド、ドームスイッチ(dome switch)、ジョグホイール、ジョグスイッチ、ハードウェア(H/W)ボタン、ホットキ(hot key)、及びタッチパネルなどを備えるが、これらに制限されるものではない。
センシング部1102は、デバイス1100の待機モード及び活性化モードで活性化状態である。センシング部1102は、図1のセンシング部101で説明したように構成され、デバイス1100の動きをセンシングした信号を出力する。センシング部1102は、デバイス1100の動きを検出する動き検出部と言及される。
センシング部1102は、デバイス1100の位置、ユーザの接触如何、デバイス1100の方位、デバイス1100の加速または減速などをセンシングした信号を出力する。センシング部1102は、近接センサー及びモーションセンサーをさらに備える。近接センサーとは、予め設定された検出面に近付く物体、または、近傍に存在する物体の有無を、電磁界の力または赤外線を用いて機械的接触なしに検出するセンサーをいう。近接センサーの例としては、透過型光電センサー、直接反射型光電センサー、ミラー発射型光電センサー、高周波発振型近接センサー、静電容量型近接センサー、磁気型近接センサー、赤外線近接センサーなどがある。
センシング部1102は、センサー基盤のユーザのジェスチャーをセンシングした信号を出力する。センシング部1102は、図5に示されたセンシング部101のように、第1ないし第nセンサー501_1〜501_nを備える。センシング部1102は、デバイス1100の待機モードとデバイス1100の活性化モードとでいずれも動作する。
タッチスクリーン1103は、デバイス1100の待機モードで、前述したようにブラックスクリーン状態である。タッチスクリーン1103は、デバイス1100の待機モードで電力を消費しない状態である。タッチスクリーン1103は、デバイス1100の待機モードで、タッチスクリーン1103に関する機能の不活性化状態または/及びタッチスクリーン1103のタッチセンシング機能の不活性化状態である。タッチスクリーン1103は、デバイス1100の待機モードでデバイス1100の画面ロック設定状態を示す画面または情報を出力する。タッチスクリーン1103は、デバイス1100の待機モードで不活性化状態である。
タッチスクリーン1103は、抵抗膜(減圧)方式または静電容量方式で構成されるが、これらに制限されるものではない。タッチスクリーン1103は、前述したユーザのタッチ基盤ジェスチャーに依存するユーザの入力情報を受信する。ユーザのタッチ基盤ジェスチャーに依存するユーザの入力情報は、タッチ回数、タッチパターン、タッチ面積、及びタッチ強度などの多様な組み合わせによって定義される。
タッチスクリーン1103は、タッチスクリーン1103のタッチまたは近接タッチを感知するための多様なセンサーを備える。タッチスクリーン1103に備えられるセンサーは、前述したタッチ基盤のユーザのジェスチャーまたはパターンをセンシングした信号を発生させる。タッチスクリーン1103のための近接センサーは、センシング部1102に備えられる近接センサーと同一である。
タッチスクリーン1103のタッチを感知するためのセンサーの一例として、触覚センサーを備える。触覚センサーは、接触面の粗度、接触物体の硬さ、接触地点の温度などの多様な情報を感知する。
タッチスクリーン1103のタッチは、ポインタを使ってタッチパネルをタッチすることを意味する。タッチスクリーン1103の近接タッチは、タッチパネルに実際にポインタをタッチせず、ポインタがタッチパネルから所定距離内に近づいた場合である。ポインタは、タッチスクリーン1103の特定部分をタッチするか、または近接タッチするための道具である。ポインタの例として、スタイラスペン、指などがあるが、これらに制限されるものではない。
タッチスクリーン1103は、デバイス1100によって出力される情報をディスプレイする。例えば、タッチスクリーン1103は、タッチスクリーン1103に備えられたセンサーを通じてセンシングされたユーザのジェスチャーまたはタッチパターンに応答する画面をディスプレイする。タッチスクリーン1103は、情報入力部1101を通じて入力された制御データまたはユーザの入力情報に応答する画面をディスプレイする。タッチスクリーン1103は、センシング部1102を通じてセンシングされた信号に応答する画面をディスプレイする。タッチスクリーン1103は、前述した図4Aないし図4Jに示されたような画面のうち少なくとも一つをディスプレイする。
タッチスクリーン1103は、入力及び出力装置と言及される。タッチスクリーン1103にディスプレイされている画面は、UI(User Interface)画面またはGUI(Graphic User Interface)画面を含む。
タッチスクリーン1103は、液晶ディスプレイ、薄膜トランジスタ液晶ディスプレイ、有機発光ダイオード、フレキシブルディスプレイ、3Dディスプレイ、及びAMOLED(Active−Matrix Organic Light−Emitting Diode)などを含むが、これらに制限されるものではない。タッチスクリーン1103は、ディスプレイと言及される。デバイス1100は、2個以上のタッチスクリーン1103を備える。デバイス1100が2個のタッチスクリーン1103を備える場合に、タッチスクリーン1103は、デュアルタッチモードで構成される。デュアルタッチモードとは、デバイス1100の前面部タッチモードとデバイス1100の背面部タッチモードであるといえるが、これらに制限されるものではない。
カメラ1104は、映像通話モードまたは撮影モードで、イメージセンサー(または光センサー)によって得られる静止画または動画などの画像フレームを処理する。カメラ1104によって処理された画像フレームは、タッチスクリーン1103にディスプレイされる。カメラ1104によって処理された画像フレームは、保存部1107に保存されるか、または無線通信部1108または有線通信部1109を通じて外部に伝送される。
カメラ1104は、デバイス1100の待機モードで電力が消費されない状態である。カメラ1104は、デバイス1100の待機モードで不活性化状態である。カメラ1104は、デバイス1100の構成によって2個以上備えられる。すなわち、デバイス1100は、デバイス1100の前面カメラと背面カメラとを備える。前面カメラは、デバイス1100の待機モードで、前述した図8のようにユーザの顔を認識するか、またはユーザの瞳の動きを推定するためのイメージを獲得するために動作する。ユーザの瞳の動きを推定することは、ユーザの瞳の動きを追跡すると言及される。カメラ1104は、ユーザの空間ジェスチャーを認識する入力装置として使われる。
オーディオ入力部1105は、デバイス1100の待機モードで電力を消費しない状態である。オーディオ入力部1105は、デバイス1100の待機モードで不活性化状態である。オーディオ入力部1105は、通話モード、または録画モード、または音声認識モードなどで、外部の音響信号を入力されて電気的な音声データに変換し、プロセッサ1110に伝送する。オーディオ入力部1105は、例えば、マイクロフォンで構成される。オーディオ入力部1105は、外部の音響信号を入力される過程で発生するノイズを除去するための多様なノイズ除去アルゴリズムに基づいた機能を含む。
オーディオ入力部1105は、前述した図4Bで録音アイコンが選択されれば、活性化する。オーディオ入力部1105を通じて入力される外部の音響信号は、プロセッサ1110を通じて保存部1107に保存される。オーディオ入力部1105を通じて入力される外部の音響信号は、プロセッサ1110及び無線通信部1108を通じて外部に伝送される。オーディオ入力部1105を通じて入力される外部の音響信号は、プロセッサ1110及び有線通信部1109を通じて外部に伝送される。
オーディオ出力部1106は、デバイス1100の待機モードで電力を消費しない状態である。オーディオ出力部1106は、デバイス1100の待機モードで不活性化状態である。オーディオ出力部1106は、通話モード、またはオーディオ再生モードなどで、外部から受信されるか、または保存部1107からリードされる音響信号またはオーディオ信号を出力する。オーディオ出力部1106は、スピーカーで構成される。オーディオ出力部1106は、コンテンツが再生される時、再生されるコンテンツにオーディオ信号が含まれていれば、再生されるコンテンツに含まれているオーディオ信号を出力する。オーディオ入力部1105及びオーディオ出力部1106は、ヘッドセットのように一体型に構成される。
保存部1107は、デバイス1100の待機モード及び活性化モードで動作する。保存部1107は、デバイス1100の待機モード及び活性化モードで活性化状態である。保存部1107は、後述するプロセッサ1110によって実行可能に構成された少なくとも一つのプログラム及び/または命令語セットと資源を保存する。
前述した少なくとも一つのプログラムは、望ましい実施形態によるデバイス1100の機能実行方法を行うための少なくても一つのプログラムを含む。前述した少なくとも一つのプログラムは、デバイス1100のオペレーティングシステムプログラム、デバイス1100によって行われる各種機能(またはサービス)に関するアプリケーションプログラム、デバイス1100に含まれたハードウェアコンポネントを駆動させるプログラム、デバイス1100の少なくとも一つの外部機器を制御するアプリケーションプログラムを含むが、これらに制限されるものではない。
前述した外部機器は、デバイス1100のアクセサリーを備えるむ。アクセサリーとは、デバイス1100によってアクセサリーに関するアプリケーションプログラムが実行されることで、デバイス1100によって機能が制御される機器をいうが、これに制限されるものではない。
保存部1107は、センシング部1102によってセンシングされた値がデバイス1200の所定のモーション情報に該当するかどうかを判断できる少なくとも一つのプログラムと、少なくとも一つのプログラムに関するデータとが保存される。
第1プロセッサ1111は、保存部1107に保存されている、前述した少なくとも一つのプログラムをローディングし、ローディングされたプログラムを実行して受信されたセンシング値が、デバイス1200の所定モーション情報に該当するかどうかを判断する。すなわち、プログラムが実行されることで、第1プロセッサ1111は、センシング部1102からセンシング値が受信されれば、受信されたセンシング値を用いて保存部1107から受信されたセンシング値に対応する所定のモーション情報を検出する。
前述したセンシング値がデバイス1100の所定のモーション情報に該当するかどうかを判断する少なくとも一つのプログラムは、第1プロセッサ1111に予め保存される。前述した少なくとも一つのプログラムを保存するために、第1プロセッサ1111は、RAM(Random Access Memory)のようなメモリを備える。
保存部1107に保存される資源は、前述した図2で言及されたように、センシング値、デバイス1100の所定のモーション情報、デバイス1100の所定の機能情報をマッピングした情報を含む。保存部1107に保存される資源は、デバイス1100に関する情報、デバイス1100に設定されたアプリケーションプログラムの運用に必要な情報、及び前述したハードウェアコンポネントを駆動させるためのプログラムの実行に必要な情報を含むが、これらに制限されるものではない。
デバイス1100に関する情報は、デバイス1100のユーザ情報を含む、がこれに制限されるものではない。保存部1107は、前述した図7及び図9で説明されたような情報を保存する。
保存部1107は、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ(例えば、SD、XDメモリなど)、ROM(Read−Only Memory)、EEPROM(Electronically Erasable Programmable Read−only Memory)、PROM(Programmable Read−only Memory)、磁気メモリ、光ディスクのうち少なくとも一つのタイプの記録媒体を含むが、これらに制限されるものではない。
保存部1107に保存される少なくとも一つのプログラム及び/または命令語セットは、機能によって複数のモジュールに分類できる。
図12は、保存部1107に保存されるプログラム及び/または命令語セットをモジュール別に分類した例である。図12を参照すれば、保存部1107は、オペレーティングシステム1201、無線通信モジュール1202、有線通信モジュール1203、グラフィックモジュール1204、GPS(Global Position System)モジュール1205、UI(User Interface)モジュール1206、センシングモジュール1207、接触及び動きモジュール1208、電源モジュール1209、及びアプリケーションデータベース(DB)モジュール1210を備えるが、これらに制限されるものではない。
アプリケーションDBモジュール1210は、望ましい実施形態によるデバイス機能実行モジュール1211、カメラモジュール1212、ボイスレコーダモジュール1213、ウェブブラウジングモジュール1214及びキュー管理モジュール1215を備えるが、これらに制限されるものではない。例えば、アプリケーションDBモジュール1210は、電子メールモジュール、SNS(Social Network Service)モジュール、画像会議モジュール、イメージ管理モジュール、ブラウジングモジュール、カレンダーモジュール、ウィジェットモジュール、検索モジュール及びワード文書作成モジュールなど多様なアプリケーションモジュールをさらに備える。
オペレーティングシステム1201は、デバイス1100の一般的な機能を制御及び管理する。オペレーティングシステム1201は、デバイス1100内のハードウェア及びソフトウェアコンポネント間の通信を可能にするソフトウェアコンポネントを備える。
無線通信モジュール1202は、無線通信部1108を通じて少なくとも一つの外部デバイスとの通信を可能にする。無線通信モジュール1202は、無線通信部1108を通じて少なくとも一つの外部デバイスから/に受信/送信されるデータを処理するためのソフトウェアコンポネントを備える。無線通信モジュール1202は、無線通信部1108を通じてサーバ(図示せず)、または中継器(図示せず)と無線通信可能にできるが、無線通信対象は、前述したものに制限されるものではない。
有線通信モジュール1203は、USB(Universal Serial Bus)ポートなどのエレメントで構成された有線通信部1109と、少なくとも一つの外部デバイス(図示せず)との通信を可能にする。有線通信モジュール1203は、有線通信部1109を通じて少なくとも一つの外部デバイスと送受信されるデータを処理するためのソフトウェアコンポネントを備える。
グラフィックモジュール1204は、タッチスクリーン1103にディスプレイされているグラフィックの輝度調節及びレンダリングのためのソフトウェアコンポネント、及びアプリケーションモジュール1210でテキストを入力するための仮想キーボード(または、ソフトキーボード)を提供するソフトウェアコンポネントを備える。
GPSモジュール1205は、デバイス1100の位置を定め、定められた位置情報を、位置基盤サービスを提供するアプリケーションに提供するソフトウェアコンポネントを備える。UIモジュール1206は、タッチスクリーン1103基盤のUI情報を提供するアプリケーションに必要なUIを提供するソフトウェアコンポネントを備える。
センシングモジュール1207は、センシング部1102から受信されるセンシング値を判断し、判断された結果に基づいてアプリケーションDBモジュール1210に含まれた特定アプリケーションにセンシング値を提供するソフトウェアコンポネントを備える。例えば、センシング部1102から受信されるセンシング値が、デバイス1100の動きに関する情報ならば、センシングモジュール1207は、受信されたセンシング値をデバイス機能実行モジュール1211に伝送する。
デバイス機能実行モジュール1211は、受信されたセンシング値に対応するデバイス1100のモーション情報を保存部1107から検出する。受信されたセンシング値に対応するデバイス1100のモーション情報が検出されれば、デバイス機能実行モジュール1211は、保存部1107に保存された情報、または第1プロセッサ1111に含まれたフラグレジスタ(図示せず)に保存された情報を用いて、デバイス1100の動作モードをチェックする。デバイス1100の動作モードをチェックする時点は、前述したものに制限されるものではない。例えば、デバイス1100の動作モードは、前述したセンシング値の受信前にチェックされる。
デバイス機能実行モジュール1211は、チェックされた動作モードに関する情報と、デバイス1100の検出されたモーション情報にマッピングされた所定の機能情報とを検出し、検出された所定の機能情報に対応する機能を実行する。
デバイス機能実行モジュール1211は、デバイス1100の動作モードをチェックせず、デバイス1100の動作モードによって動作する。
すなわち、図6Bに示されたように、デバイス機能実行モジュール1211は、デバイス1100の待機モードで実行される。すなわち、デバイス機能実行モジュール1211は、デバイス1100の待機モードでセンシング値を受信する。デバイス1100の待機モードでセンシング値を受信することは、図5で説明した通りの方式で行われる。
デバイス1100の待機モードでセンシング値が受信されれば、デバイス機能実行モジュール1211は、受信されたセンシング値を用いてデバイス1100のモーション情報を保存部1107から検出する。検出されたデバイス1100のモーション情報を用いて、デバイス機能実行モジュール1211は、検出されたモーション情報にマッピングされた所定の機能情報を保存部1107から検出し、検出された所定の機能情報に対応する機能を実行する。
デバイス機能実行モジュール1211は、デバイス1100の活性化モードで受信されるセンシング値によって、保存部1107からデバイス1100のモーション情報及び所定の機能情報を検出し、検出された所定の機能情報に基づいた機能を実行する。
接触及び動きモジュール1208は、タッチスクリーン1103基盤のタッチ接触を感知し、タッチ接触に基づいたデバイス1100の動きを追跡した結果を、アプリケーションDBモジュール1210に含まれた特定アプリケーションに提供するソフトウェアコンポネントを備える。例えば、接触及び動きモジュール1208は、前述した図10でのようなタッチスクリーン1103基盤のタッチ接触が感知されれば、感知されたタッチ接触に関する情報をデバイス機能実行モジュール1211に伝送する。
電源モジュール1209は、オペレーティングシステム1201と連動してデバイス1100内のハードウェアコンポネントへの電源供給を制御し、タッチスクリーン1103に供給される電源についての節電モードを制御するソフトウェアコンポネントを備える。
保存部1107は、図12に示されたプログラム及び/または命令語セットのうちアプリケーションDB1210に含まれるモジュールを保存せず、アプリケーションモジュールのURL(Uniform Resource Locator)のような位置情報と、アプリケーションモジュールを示すディスプレイ情報のみ保存する。
このような場合に、プロセッサ1110は、位置情報を用いて、無線通信部1108または有線通信部1109を通じてアプリケーションDBを持っている外部デバイスと接続して、外部デバイスに保存されている、対応するプログラム及び/または命令語セットを使える。この時、外部デバイスは、クラウドサーバまたはアプリケーションデータベースを持っているデバイスを含むが、これらに制限されるものではない。
また、タッチスクリーン1103を通じてディスプレイされているアプリケーションモジュールに関する情報に基づいたユーザの選択信号が受信されれば、ユーザによって選択されたアプリケーションモジュールの位置情報を用いて、プロセッサ1110は、無線通信部1108または有線通信部1109を通じて前述した外部デバイスに保存されている情報を用いる。
保存部1107は、図1に示された保存部102に保存された情報を保存する。保存部1107は、ユーザのスケジュール情報及びデバイス1100のログ情報をさらに保存する。保存部1107に保存されたスケジュール情報及びデバイス1100のログ情報は、デバイス1200に関する状況情報として第1プロセッサ1111に提供される。第1プロセッサ1111は、デバイス1200に関する状況情報、または前述したスケジュール情報及びログ情報を保存部1107に要請する。
無線通信部1108は、デバイス1100の待機モードで電力を消費しない状態である。無線通信部1108は、デバイス1100の待機モードで不活性化状態である。無線通信部1108は、デバイス1100の待機モードで第1プロセッサ1111によって制御され、活性化状態に設定される。
無線通信部1108は、無線インターネット通信、無線イントラネット通信、無線電話ネットワーク通信、無線LAN通信、ワイファイ(Wi−Fi)通信、ワイファイダイレクト(WFD、Wi−Fi Direct)通信、3G(Generation)通信、4G LTE(Long Term Evolution)通信、ブルートゥース通信、赤外線通信(IrDA、Infrared Data Association)、RFID(Radio Frequency Identification)通信、UWB(Ultra WideBand)通信、ジグビー通信のような無線ネットワークを通じて外部デバイスとデータを送受信する。
無線通信部1108は、放送受信モジュール、移動通信モジュール、無線インターネットモジュール、有線インターネットモジュール、近距離通信モジュール、及び位置情報モジュールのうち少なくとも一つを備えるが、これに制限されるものではない。
有線通信部1109は、デバイス1100の待機モードで電力が消費されない状態である。有線通信部1109は、デバイス1100の待機モードで不活性化状態である。有線通信部1109は、有線インターネットのような有線ネットワークを通じて外部デバイスとデータを送受信する。有線通信部1109は、USB(Universal Serial Bus)ポート(図示せず)のようなプラグ・アンド・プレイインターフェースを用いて、外部デバイス(図示せず)とデータを送受信する。
電源部1114は、デバイス1100に備えられたハードウェアコンポネントに電力を供給する。電源部1114は、バッテリー及び交流電源のような一つ以上の電源を備える。デバイス1100は、電源部1114を備えず、外部電源提供部(図示せず)と連結される連結部(図示せず)を備える。電源部1114は、デバイス1100の待機モードでセンシング部1102、第1プロセッサ1111、及び保存部1107に電力を供給する。電源部1114は、デバイス1100の待機モードでセンシング部1102、第1プロセッサ1111、及び保存部1107以外の構成要素に電力を供給しない。
プロセッサ1110は、デバイス1100の全般的な動作を制御するものであり、一つ以上のプロセッサと言及される。プロセッサ1110は、保存部1107に保存されたオペレーティングシステム1201及び各種モジュール1202〜1215らを用いて、情報入力部1101、センシング部1102、タッチスクリーン1103、カメラ1103、オーディオ入力部1105、オーディオ出力部1106、保存部1107、無線通信部1108、有線通信部1109、電源部1114を全般的に制御する。プロセッサ1110は、制御器やマイクロプロセッサ、デジタル信号処理器などと言及される。
プロセッサ1110は、オペレーティングシステム1201及びUIモジュール1206を用いて、情報入力部1101、センシング部1102、タッチスクリーン1103、カメラ1104、オーディオ入力部1105基盤のユーザインターフェースを提供する。
プロセッサ1110は、望ましい実施形態によるデバイス1100の機能実行方法に関する少なくとも一つのプログラムを実行させて、前述した図6A、図6B、後述する図13Aまたは図13Bの動作フローチャートを行える。
プロセッサ1110は、前記プログラムを保存部1107からリードして実行させる。プロセッサ1110は、前記プログラムを、無線通信部1108または有線通信部1109を通じて連結された外部デバイスからダウンして実行させる。前述した外部デバイスは、アプリケーション提供サーバまたはアプリケーションマーケットサーバと言及される。外部デバイスは、クラウドサーバまたはデバイス1100周辺の通信可能なデバイスを含むが、これらに制限されるものではない。プロセッサ1110は、デバイス1100内の各種ハードウェアコンポネントとプロセッサ1110との間のインターフェース機能部を備えると理解される。
プロセッサ1110は、第1プロセッサ1111及び第2プロセッサ1112を備える。第1プロセッサ1111は、図5の低電力プロセッサ510に対応し、第2プロセッサ1112は、図5のアプリケーションプロセッサ520に対応するが、これらに制限されるものではない。図11に示された第2プロセッサ1112は、AP 1113を備える。これは、第2プロセッサ1112にコミュニケーションプロセッサ(CP)のような追加プロセッサが備えられると言及されるからである。コミュニケーションプロセッサとは、通信基盤の動作を制御するプロセッサである。
第2プロセッサ1112の待機モードは、デバイス1100の待機モードを示す。第2プロセッサ1112の待機モードは、AP 1113の待機モードを示す。
デバイス1100の待機モードで第1プロセッサ1111は、前述したように動作する。第1プロセッサ1111によって検出された所定の機能情報に基づいた機能を実行するために、第2プロセッサ1112のAP 1113を覚ませねばならない場合に、第1プロセッサ1111は、AP 1113に活性化モード設定要請信号を伝送する。第1プロセッサ1111は、前述したようにMCU(Micro Control Unit)で構成される。
第1プロセッサ1111は、無線通信部1108と連結されて、デバイス1100の位置情報及び時間情報のようなデバイス1100に関する状況情報を外部から受信する。このために、第1プロセッサ1111は、デバイス1100の待機モードで不活性化状態に設定されている無線通信部1108を、活性化モードに設定する。前述した無線通信部1108の活性化モードの設定は一時的に行われる。
図13A及び図13Bは、図11に示されたセンシング部1102、第1プロセッサ1111と第2プロセッサ1112との関係に基づいて望ましい他の実施形態によるデバイスの機能実行方法を説明するための図面である。図13A及び図13Bに示された第2プロセッサ1112は、図11のAP 1113と言及される。
段階S1301で、センシング部1102は、センシング値を第1プロセッサ1111に伝送する。段階S1302で、第1プロセッサ1111は、センシング値を受信する。図13Aの段階S1301及び段階S1302は、デバイス1100の待機モードで第1プロセッサ1111によってセンシング部1101から連続的にセンシング値を受信する段階と言及される。
段階S1303で、第1プロセッサ1111は、受信されたセンシング値を用いてデバイス1100のモーション情報を検出する。
デバイス1100のモーション情報が検出されれば、第1プロセッサ1111は、デバイス1100の動作モードが待機モードであるかどうかをチェックする(S1304)。段階S1304でのデバイス1100の動作モードをチェックすることは、前述した図1及び図2で言及したように、第1プロセッサ1111に備えられたフラグレジスタ(図示せず)のような保存場所に保存された動作モードに関する情報を検出するか、または、保存部1107の所定の領域に保存された動作モードに関する情報を検出する方式で行われる。
フラグレジスタに保存された動作モードに関する情報及び保存部1107に保存される動作モードに関する情報は、例えば、‘0’と‘1’との値で、デバイス1100の動作モードが待機モードであるか、または活性化モードであるかを示す。デバイス1100の動作モードが活性化モードである場合に、デバイス1100の動作モードをさらに詳細に示す追加情報が含まれる。
追加情報は、例えば、現在デバイス1100がウェブブラウジング中であるということを示す情報を含むか、または、フェイスブックを実行中であるということを示す情報を含む。追加情報は、保存部1107の前述した所定領域に保存される。デバイス1100の動作モードが活性化モードであり、前述した追加情報がある場合に、追加情報を用いてデバイス1100の動作モードに関するさらに詳細な情報を検出することは、第2プロセッサ1112によって行われる。保存部1107の所定の領域は、記録されたデータに関する変更可能な領域であり、第1プロセッサ1111及び第2プロセッサ1112によっていずれもアクセス可能な領域である。
デバイス1100の動作モードが待機モードでなければ、第2プロセッサ1112が活性化モードである。第2プロセッサ1112が活性化モードであり、検出された所定の機能情報が第2プロセッサ1112によって実行されるものならば、第1プロセッサ1111は、検出されたモーション情報を第2プロセッサ1112に伝送する(S1305)。
第2プロセッサ1112は、受信されたモーション情報を用いて保存部1107から所定の機能情報を検出する(S1306)。
第2プロセッサ1112は、所定の機能情報を検出する前に、前述したように保存部1107に保存されたデバイス1100の動作モードに関する追加情報を用いてさらに詳細な動作モードに関する情報を検出する。前記追加情報は、第2プロセッサ1112に備えられている臨時保存場所に保存される。追加情報が第2プロセッサ1112に備えられている臨時保存場所に保存されている場合に、第2プロセッサ1112は、第1プロセッサ1111からモーション情報を受信すれば、前記臨時保存場所に保存されている追加情報を用いて、デバイス1100の詳細な動作モードに関する情報を検出する。第2プロセッサ1112に備えられる臨時保存場所は、RAMのような記録媒体で構成される。
第2プロセッサ1112は、検出された所定の機能情報による所定の機能を実行せねばならない主体が、第2プロセッサ1112であるかどうかを判断する(S1307)。このような判断は、所定の機能別メタデータを用いて行われるが、これに制限されるものではない。例えば、所定の機能のメタデータに含まれた所定の機能を実行するために必要なパワーのレベル(または、電力消費レベル)が所定の基準値以上の場合に、第2プロセッサ1112は、所定の機能を実行せねばならない主体を第2プロセッサ1112と判断する。前述した所定の基準値情報は、第1プロセッサ1111のみ動作する場合に、デバイス1100によって消費されるパワーのレベルによって定められる。所定の機能別メタデータは、保存部1107に保存される。
第2プロセッサ1112は、保存部1107に保存された所定の機能を実行する主体に関する情報を用いて、所定の機能を実行せねばならない主体を判断する。すなわち、保存部1107に保存された所定の機能情報にマッピングされた主体に関する情報(第1プロセッサ1111を示す情報、第2プロセッサ1112を示す情報)を用いて、第2プロセッサ1112は、所定の機能を実行せねばならない主体を判断する。
所定の機能を実行せねばならない主体が第2プロセッサ1112と判断された場合に、第2プロセッサ1112は、前述した所定の機能を実行する(S1308)。
所定の機能を実行せねばならない主体が、第2プロセッサ1112ではなく第1プロセッサ1211である場合に、第2プロセッサ1112は、第1プロセッサ1111に所定の機能実行を要請しつつ(S1309)、第2プロセッサ1112は、待機モードに切り替えられる(S1310)。これによって、第1プロセッサ1111は、所定の機能を実行する(S1311)。第2プロセッサ1112が活性化モードから待機モードに切り替えられれば、デバイス1100の電力消費状態は、前述したデバイス1100の待機モードでのような低電力消費状態になる。すなわち、デバイス1100の電力消費状態は、センシング部1101、第1プロセッサ1111、保存部1107に基づいた電力消費状態になる。
一方、段階S1304で、デバイス1100の動作モードが待機モードである場合に、本方法は段階S1312に進む。
第1プロセッサ1111は、検出されたモーション情報を用いて、保存部1107から所定の機能情報を検出する(S1312)。所定の機能情報が検出されれば、第1プロセッサ1111は、検出された所定の機能情報による所定の機能を実行せねばならない主体が、第1プロセッサ1111であるかどうかを判断する(S1313)。所定の機能を実行せねばならない主体についての判断は、前述した段階S1307で言及したような方式で行われる。すなわち、所定の機能情報のメタデータに含まれた所定の機能を実行するために必要なパワーレベルが所定の基準値より小さな場合に、所定の機能を実行せねばならない主体は、第1プロセッサ1111と判断する。
所定の機能を実行せねばならない主体を判断する方法は、前述したものに制限されるものではない。例えば、前述したように、保存部1107に保存された所定の機能情報にマッピングされた主体に関する情報を用いて、第1プロセッサ1111は、所定の機能を実行せねばならない主体を判断する。
判断結果、所定の機能を実行せねばならない主体が第1プロセッサ1111ならば、第1プロセッサ1111は、デバイス1100の動作モードを待機モードに維持しつつ所定の機能を実行する(S1314)。
段階S1313で判断した結果、所定の機能を実行せねばならない主体が第1プロセッサ1111ではないと判断されれば、第1プロセッサ1111は、第2プロセッサ1112に活性化モード設定要請信号を伝送する(S1315)。これによって第2プロセッサ1112は、待機モードから活性化モードに切り替えられる(S1316)。
第2プロセッサ1112は、待機モードから活性化モードに切り替えられれば、第2プロセッサ1112は活性化モードに切り替えられたことを第1プロセッサ1111に知らせる(S1317)。第1プロセッサ1111または保存部1107に保存されたデバイス1100の動作モードを示すフラッグ情報は、活性化モードを示すためにアップデートされる。第1プロセッサ1111は、第2プロセッサ1112に所定の機能実行要請信号を伝送する(S1318)、第2プロセッサ1112は、所定の機能を実行する(S1319)。
図14は、望ましいさらに他の実施形態によるデバイスの機能ブロック図である。図14は、デバイスの動きに関する情報及びデバイスに関する状況情報に基づいてデバイスの機能を実行する例である。後述するデバイスの機能の実行は、前述した図4Aないし図4Jに示された画面例のうち少なくとも一つの例のように行われる。
図14を参照すれば、デバイス1400は、センシング部1410、状況情報検出部1420、保存部1430、情報入出力部1440、及びプロセッサ1450を備えるが、これらに制限されるものではない。すなわち、図1で言及したように、デバイス1400に備えられる構成要素は、図14に示されたものより少ないか、または多い。状況情報検出部1420は、状況情報検出センサーまたは状況情報検出器と言及される。
例えば、プロセッサ1450によってデバイス1400に関する状況情報を検出するように構成された場合に、状況情報検出部1420は、デバイス1400に備えられない。デバイス1400の位置情報及び時間情報のような状況情報を外部器機から受信する場合に、デバイス1400は、状況情報検出部1420の代りに状況情報受信部を備える。状況情報受信部は、図11に示された無線通信部1108のように通信可能な構成要素で構成されるが、これに制限されるものではない。前記外部機器は、GPSサーバを備えるが、これに制限されるものではない。
センシング部1410は、図1のセンシング部101と同様に前述した図5のSSP基盤でデバイス1400の動きをセンシングし、センシング値をプロセッサ1450に伝送する。伝送されるセンシング値は、デバイス1400の動きに関する情報と言及される。センシング部1410は、デバイス1400の待機モード及び活性化モードで動作する。
状況情報検出部1420は、現在時間情報、デバイス1400の現在位置情報、デバイス1400の動作モードをそれぞれ検出するように構成されるが、これらに制限されるものではない。すなわち、保存部1430に保存されたスケジュール情報及びデバイス1400のログ情報をさらに参照して、デバイス1400に関する現在状況情報を検出する。
状況情報検出部1420も、連続的な状況情報検出プラットホーム(Seamless Context Detecting Platform)基盤で動作する。状況情報検出部1420が、連続的な状況情報検出プラットホーム基盤で動作する場合に、図5に示されたセンサーハブ511とSSPマネージャー512との間のデータ通信方式と類似した方式で状況情報検出部1420とプロセッサ1450とは連結され、状況情報を伝送する。
このような場合に、状況情報検出部1420は、時間情報のような状況情報を検出する場合には、低電力プロセッサにより制御され、時間情報以外の状況情報を検出する場合には、アプリケーションプロセッサにより制御されるように構成される。このために状況情報検出部1420は、検出可能な状況情報によって独立した構成要素を備える。例えば、状況情報検出部1420は、時間情報を検出する構成要素と位置情報を検出する構成要素とを独立して備える。
状況情報検出部1420が、前述したように独立した構成要素を備える場合に、デバイス1400の待機モードで状況情報検出部1420に備えられた一部の構成要素は活性化状態であり、状況情報検出部1420に備えられた一部の構成要素を除いた他の構成要素は、不活性化状態である。状況情報検出部1420の一部の構成要素の活性化状態は、電力消費状態を示す。状況情報検出部1420の一部の構成要素以外の他の構成要素の不活性化状態は、前記一部の構成要素以外の他の構成要素によって電力が消費されない状態を示す。
状況情報検出部1420に備えられる一部の構成要素は、低電力プロセッサにより制御される構成要素であり、例えば、前述した時間情報に関する状況情報を検出する構成要素を備える。状況情報検出部1420に備えられる他の構成要素は、前述したアプリケーションプロセッサによって制御される構成要素であり、例えば、前述した位置情報を検出する構成要素を備えるが、状況情報検出部1420に備えられる構成要素は、前述したものに制限されるものではない。
状況情報検出部1420によって検出される状況情報は、次のように検出されるが、これに制限されるものではない。
すなわち、デバイス1400に関する所定のモーション情報が認識される時、状況情報検出部1420は、デバイス1400の動作モードが待機モードであるか、または活性化モードであるを検出する。状況情報検出部1420は、デバイス1400が室内に位置するか、または室外に位置するかを検出する。デバイス1400が室内に位置するか、または室外に位置するかを検出することは、GPS受信情報または複数のAP(Access Point)から受信される情報に基づいた三角測量法を用いて行われる。
デバイス1400が室内に位置する場合に、状況情報検出部1420は、室内の複数のAPとの通信によって室内情報(例えば、事務室または家などの情報)を検出する。デバイス1400が室外に位置する場合に、GPS情報または複数のAPから受信される情報によって場所情報(例えば、A鉄道駅、B映画館などの情報)を検出する。
状況情報検出部1420は、GPS基盤の時間情報またはデバイス1400内のシステムクロック信号によって現在時間情報を検出する。
状況情報検出部1420は、検出された時間情報及びデバイス1400の位置情報を用いて、保存部1430に保存されたスケジュール情報または/及びログ情報のうち係るスケジュール情報または/及びログ情報を検出する。状況情報検出部1420は、検出されたスケジュール情報または/及びログ情報を用いて状況情報を類推する。
デバイス1400に関する所定のモーション情報が認識される時、状況情報検出部1420は、デバイス1400のユーザが歩いていて、または走っていて止めた状態で、この時、デバイス1400の動作モードが待機モードであるということを示す状況情報を検出する。このような状況情報を検出するために、状況情報検出部1420は、保存部1430に保存された情報または/及びプロセッサ1450に保存された情報を用いられる機能、及びデバイス1400の移動速度を感知する機能などを含む。デバイス1400の移動速度を感知できる機能を実行するために、状況情報検出部1420は、デバイス1400の移動速度を感知するために必要な基準速度情報を予め保存するか、または、保存部1430に保存された基準速度情報を用いるように構成される。
デバイス1400に関する所定のモーション情報が認識される時、状況情報検出部1420は、B映画館でユーザがデバイス1400を持っている状態であり、デバイス1400の動作モードが待機モードであり、保存部1430及び/またはプロセッサ1450に保存されたスケジュール情報、ログ情報、及び時間情報のうち少なくとも一つをチェックして、B映画館で現在時間に近い時間に前売りした情報があるということを示す状況情報を検出する。このために状況情報検出部1420は、前述したようにデバイス1400の移動速度を感知する機能、保存部1430または/及びプロセッサ1450から必要な情報をリードする機能、及びデバイス1400の位置情報及び時間情報を獲得する機能などを含む。
デバイス1400に関する所定のモーション情報が認識される時、状況情報検出部1420は、A鉄道駅でユーザがデバイス1400を持っている状態であり、デバイス1400の動作モードが待機モードであり、保存部1430及び/またはプロセッサ1450に保存されたスケジュール情報、ログ情報、及び時間情報のうち少なくとも一つをチェックして、A鉄道駅で出発する列車チケットが予約されたことを示す状況情報を検出する。このために、状況情報検出部1420は、前述したようにデバイス1400の移動速度を感知する機能、保存部1430または/及びプロセッサ1450から必要な情報をリードする機能、デバイス1400の位置情報及び時間情報を獲得する機能などを含む。
デバイス1400に関する所定のモーション情報が認識される時、状況情報検出部1420は、ユーザがデバイス1400を持っている状態であり、デバイス1400の動作モードが活性化モードであり、デバイス1400がウェブブラウジング中であるという状況情報を検出する。このために、状況情報検出部1420は、デバイス1400の移動速度を感知する機能、保存部1430及び/またはプロセッサ1450から必要な情報をリードする機能などを含む。
デバイス1400に関する所定のモーション情報が認識される時、状況情報検出部1420は、江南駅7番出口でユーザがデバイス1400を持っており、デバイス1400の動作モードが待機モードであり、ユーザが現在時間に近い時間の約束情報を状況情報として検出する。このために、状況情報検出部1420は、位置及び時間情報検出機能、保存部1430及び/またはプロセッサ1450から必要な情報(例えば、スケジュール情報)をリードする機能などを含む。
状況情報検出部1420は、時間情報と位置情報のみを状況情報として検出するように構成される。このような場合に、プロセッサ1450は、受信された時間情報及び位置情報に基づいて保存部1430に保存されたデバイス1400の動作モードに関する情報、スケジュール情報、及びログ情報を参照してデバイス1400の現在状況情報をさらに詳細に検出する。
一方、保存部1430は、図1に示された保存部102のように構成されて情報及びプログラムを保存する。情報入出力部1440は、図1に示された情報入出力部104と同様に構成される。
プロセッサ1450は、図1のプロセッサ103のように低電力プロセッサ(または、補助プロセッサ)として動作する場合に、デバイス1400の待機モードは、デバイス1400に備えられたセンシング部1410、状況情報検出部1420に備えられた一部または全ての構成要素、保存部1430、及びプロセッサ1450による電力消費状態または活性化状態を含む。
プロセッサ1450が前述した低電力プロセッサとして動作する場合に、デバイス1400の待機モードは、デバイス1400に備えられたセンシング部1410、状況情報検出部1420に備えられた一部または全ての構成要素、保存部1430、及びプロセッサ1450以外のデバイス1400に備えられた構成要素によって電力が消費されない状態を含む。
プロセッサ1450が前述した低電力プロセッサとして動作する場合に、デバイス1400の待機モードは、情報入出力部1440に備えられたタッチスクリーンについて、前述した図1で言及されたように、タッチスクリーンに関するタッチセンシング機能及びタッチスクリーンのディスプレイ機能、及びデバイス1400の画面ロック設定状態のうち少なくとも一つを含む。
プロセッサ1450は、図1で言及したように、前述した低電力プロセッサ及びアプリケーションプロセッサを備える。プロセッサ1450がアプリケーションプロセッサを備える場合に、デバイス1400の待機モードは、プロセッサ1450に備えられた低電力プロセッサの活性化状態及びアプリケーションプロセッサの不活性化状態を含む。プロセッサ1450がアプリケーションプロセッサを備える場合に、デバイス1400の待機モードは、プロセッサ1450に備えられた低電力プロセッサによる電力消費状態を含む。デバイス1400の待機モードは、プロセッサ1450に備えられたアプリケーションプロセッサによって電力が消費されない状態を含む。
プロセッサ1450は、低電力プロセッサ及びアプリケーションプロセッサを備える場合に、プロセッサ1450は、以下の図15、図6A、図16B図19A、及び図19Bの動作フローチャートに示されたように動作する。プロセッサ1450の動作を、図15、図6A、図16B、図19A及び図19Bの動作フローチャートに基づいて説明すれば、次の通りである。
図15は、望ましいさらに他の実施形態によるデバイスの機能実行方法を説明するための動作フローチャートである。図15を参照すれば、段階S1501で、プロセッサ1450は、センシング部1410からセンシング値を受信する。センシング部1410からのセンシング値の受信は、図5で言及したようにSSPに基づく。
プロセッサ1450は、受信されたセンシング値に基づいて保存部1430から所定のモーション情報を検出する(S1502)。保存部1430に保存された所定のモーション情報は、受信されるセンシング値の誤差範囲が考慮される。例えば、前述した所定のモーション情報が180゜回転を示す場合に受信されるセンシング値は、180゜±αに対応する電気的な信号で表現される。αとは、0以上の整数値を持つ。
所定のモーション情報が検出されれば、プロセッサ1450は、状況情報検出部1420から状況情報を受信する(S1503)。状況情報検出部1420から状況情報を受信することは、プロセッサ1450から状況情報検出部1430に状況情報要請信号を伝送することで行われる。
プロセッサ1450は、受信された状況情報及びデバイス1400に関する所定のモーション情報に基づいてデバイスの機能を実行する(1504)。
状況情報検出部1420から時間情報及び位置情報が受信される場合に、プロセッサ1450は、受信された時間情報及び位置情報を用いて保存部1430に保存されたスケジュール情報、ログ情報及びデバイス1400の動作モードに関する情報を検出し、検出されたスケジュール情報、ログ情報、及びデバイス1400の動作モードに関する情報を用いて、デバイス1400に関する現在の状況情報を検出する。このような場合に、段階S1503は、状況情報検出段階と言及され、段階S1504で使われる状況情報は、前述したデバイス1400に関する前述した現在の状況情報である。
図15は、デバイス1400の待機モードに基づいて行われるか、または、デバイス1400の活性化モードに基づいて行われる。よって、段階S1504で行われる機能は、デバイス1400の動作モードによって異なる。
図6Aは、望ましいさらに他の実施形態によるデバイスの機能実行方法を説明するための動作フローチャートである。図6Aは、図15の動作フローチャートに、デバイス1400が待機モードである時にデバイス1400にエンベデッド(embedded)ゲートウェイを行う機能を加えた例である。もし、デバイス1400によって実行される所定の機能がサービスを含むならば、前述したゲートウェイは、サービスゲートウェイと言及される。
プロセッサ1450は、センシング部1410からセンシング値を受信する(S1601)。受信されたセンシング値は、デバイス1400の動きに関する情報と言及される。受信されたセンシング値を用いて、プロセッサ1450は、デバイス1400の所定のモーション情報を検出する(S1602)。状況情報検出部1420から状況情報を受信すれば(S1603)、プロセッサ1450は、デバイス1400の動作モードをチェックする。デバイス1400の動作モードが待機モードならば(S1604)、プロセッサ1450は、保存部1430から前記ゲートウェイ情報をリードし、ゲートウェイ画面が情報入出力部1440上にディスプレイされるように制御する(S1605)。プロセッサ1450は、所定のモーション情報及び状況情報に基づいて所定の機能情報を検出し、検出された所定の機能情報による所定の機能を実行する(S1606)。
段階S1604で、デバイス1400の動作モードが待機モードではなければ、プロセッサ1450は、ゲートウェイ画面を情報入出力部1440にディスプレイするように制御せず、状況情報及びデバイス1400のモーション情報に基づいて所定の機能情報を検出し、検出された所定の機能情報による所定の機能を実行する(S1607)。
図16Bは、デバイス1400の動作モードが図6Bと共に待機モードの場合に望ましいさらに他の実施形態によるデバイスの機能実行方法を説明するための動作フローチャートである。
図16Bを参照すれば、段階1608で、デバイス1400の動作モードが待機モードであるとき、プロセッサ1450は、センシング部1410からセンシング値を受信する(S1609)。受信されたセンシング値は、デバイス1400の動きに関する情報と言及される。
プロセッサ1450は、受信されたセンシング値を用いてデバイス1400の所定のモーション情報を検出する(S1610)。状況情報検出部1420から状況情報を受信すれば(S1611)、プロセッサ1450は、受信された状況情報及び検出されたモーション情報を用いて、デバイス1400にエンベデッドゲートウェイ画面をディスプレイする(S1612)。プロセッサ1450は、所定のモーション情報及び状況情報に基づいて所定の機能情報を検出し、検出された所定の機能情報による所定の機能を実行する(S1613)。
図17は、デバイス1400の所定のモーション情報が検出され、デバイス1400の動作モードが待機モードである場合に、デバイス1400にエンベデッドゲートウェイ画面を説明するための画面の例である。
すなわち、画面1710のようにデバイス1400の動作モードが待機モードであり、ブラックスクリーン状態である時、デバイス1400が時計回り方向に90゜回転した動きが検出されれば、画面1720に示されたように、デバイス1400はゲートウェイ画面をディスプレイする。ゲートウェイ画面は、非常に短時間にディスプレイされる。例えば、ゲートウェイ画面は、約5秒ほどディスプレイされるが、これに制限されるものではない。ゲートウェイ画面をディスプレイする時間は、デバイス1400の環境設定時に設定される。
図17に示されたようにゲートウェイ画面をディスプレイすることは、プロセッサ1450が補助プロセッサ(例えば、低電力プロセッサ)及びメインプロセッサ(例えば、アプリケーションプロセッサ)を備える場合に、補助プロセッサによって行われる。したがって、実行されねばならない所定の機能が補助プロセッサによって実行されねばならず、メインプロセッサが待機モードである場合に、デバイス1400は、メインプロセッサの待機モードを維持しつつ、補助プロセッサによって所定の機能1730を実行する。
ゲートウェイ画面は、図18Aないし図18Fに示したように、多様な形態で提供される。
すなわち、ゲートウェイ画面は、図18Aに示したように、デバイス1400のメーカー識別情報(例えば、ロゴ(logo))と、ロック(Lock)解除をユーザに聞く命令語とを含む。
ゲートウェイ画面は、図18Bに示されたように、デバイス1400のメーカー識別情報及び所定の実行可能なアプリケーションを選択できる情報を含む。図18Bは、所定の実行可能なアプリケーションを選択できる情報をアイコンで図示した場合である。しかし、所定の実行可能なアプリケーションをユーザが選択できる情報は、前述したアイコンに制限されるものではない。例えば、所定の実行可能なアプリケーションを選択できる情報は、テキスト形態で提供される。
図18Bに示されたように、4個のアイコンが提供される場合に、デバイス1400のモーション情報及び状況情報によって実行可能な所定の機能情報に対応するアプリケーションが4個であるということを示す。これによって、ユーザは、アイコンを用いて4個の実行可能な所定のアプリケーションのうち少なくとも一つを選択できる。
ゲートウェイ画面は、図18Cに示されたように、デバイス1400のメーカー識別情報と、所定の機能実行如何をユーザが選択できる情報とを含む。図18Cの場合に、所定の機能実行如何をユーザが選択できる情報を、コンテンツ/広告領域にイメージ形態で提供した場合である。
コンテンツ/広告領域を通じてディスプレイされている情報は、実行可能な所定の機能を示すイメージ(例えば、サムネールまたは代表イメージまたはキーイメージ)の一部、またはサイズを縮小したイメージであるが、これらに制限されるものではない。ユーザは、コンテンツ/広告領域へのタッチに基づいて所定の機能実行を選択できる。すなわち、ユーザはコンテンツ/広告領域をタッチすることで、所定の機能実行を要請する。コンテンツ/広告領域を通じてディスプレイされている情報は、デバイス1400のモーション情報及び状況情報によって定められた所定の機能情報に対応するものであり、保存部1430に予め保存される。
図18Dに示されたゲートウェイ画面は、デバイス1400のメーカー識別情報、ロック(または、画面ロック設定状態)解除メッセージ、実行可能な少なくとも一つのアプリケーションを選択できるアイコンを含む。図18Eに示されたゲートウェイ画面は、デバイス1400のメーカー識別情報、ロック解除メッセージ、及びデバイス1400の所定の機能実行如何をユーザが選択できる情報である、コンテンツ/広告領域に基づいた情報を含む。図18Fに示されたゲートウェイ画面は、前述したデバイス1400のメーカー識別情報、ロック解除メッセージ、前述した所定の機能実行如何をユーザが選択できる情報(コンテンツ/広告領域)、及び前述した実行可能な少なくとも一つのアプリケーションを選択できる情報(アイコン)を含む。
ゲートウェイ画面は、図18Aないし図18Fに制限されるものではない。例えば、ゲートウェイ画面は、図18A、図18D、図18E、図18Fに示された“ロック解除”メッセージを含まない。
図18Aないし図18Fに示されたゲートウェイ画面は、図1に示されたデバイス100または図11に示されたデバイス1100に適用する。図1及び図11に適用される場合に、図18Aないし図18Fに示されたゲートウェイ画面は、前述したように状況情報を考慮せずにデバイスの動作モード及びデバイスのモーション情報によって提供されると言及される。
図19Aは、望ましいさらに他の実施形態によるデバイスの機能実行方法を説明するためのフローチャートである。図19Aは、図6Aの動作フローチャートにおいて、デバイス1400にエンベデッドゲートウェイ画面を通じて機能実行如何を選択できる機能をさらに含んだ場合である。よって、図19Aの段階S1901ないし段階S1904は、図6Aの段階S1601ないし段階S1604と同一であるので、以下で重なる説明を回避するために説明を略する。
段階S1904で、デバイス1400の動作モードが待機モードならば、プロセッサ1450は、保存部1430にエンベデッドゲートウェイ画面情報をリードし、保存部1430からリードされた情報に基づいてゲートウェイ画面をディスプレイする(S1905)。ディスプレイされるゲートウェイ画面は、図18Bないし図18Fのうち一つの画面に対応する。
したがって、情報入出力部1440を通じて、デバイス1400のメーカー識別情報及び機能実行如何を選択できる情報が出力される。特に、実行可能な所定の機能が複数である場合に、図18B、図18D、図18Fのうち一つの画面のように機能実行如何を選択できる情報が複数ディスプレイされる。機能実行如何を選択できる情報は、デバイスの所定のモーション情報、検出された状況情報及びデバイス1400の動作モードに関する情報に基づいて定められた所定の機能情報に対応するものである。
段階S1906で、実行を所望する所定の機能についての実行要請が受信されれば、プロセッサ1450は、実行の要請された所定の機能を実行する(S1907)。しかし、段階S1906で機能の実行が要請されねば、プロセッサ1450は、デバイス1400のモーション情報認識以前の動作状態に戻る(S1908)。
デバイス1400の動作モードが待機モードである場合に、一定時間以上実行要請が受信されない場合に、機能実行が要請されていないと判断する。プロセッサ1450は、所定時間を管理でき、保存部1430に所定時間を保存して管理する。
段階S1904で、デバイス1400の動作モードが待機モードでなければ(デバイス1400の動作モードが活性化モードならば)、プロセッサ1450は、機能実行如何を選択できる情報を出力する(S1909)。この時に出力される情報は、ポップアップの形態で出力されるが、これに制限されるものではない。また、出力される情報は、デバイス1400の動作モード、モーション情報、及び状況情報によって定められた所定の機能実行如何を選択できる情報である。
デバイス1400にディスプレイされている情報に基づいて機能実行要請が受信されれば、プロセッサ1450は、段階S1907で要請された機能を実行する。ディスプレイされている情報に基づいて機能実行要請が受信されねば、プロセッサ1450は、デバイス1400のモーション情報認識以前の動作状態に戻る。
デバイス1400が活性化モードである時、前述したように機能実行如何を選択できる情報がディスプレイされている状態で他の機能メニューが要請または選択されるか、または、前述したように一定時間以上実行が要請されなければ、機能実行要請が受信されていないと判断される。
図19Bは、望ましいさらに他の実施形態によるデバイスの機能実行方法を説明するためのフローチャートである。図19Bは、図16Bの動作フローチャートにおいて、ゲートウェイ画面を通じて機能実行如何を選択できる機能をさらに含む場合である。よって、図19Bの段階S1910ないし段階S1913は、図16Bの段階S1608ないし段階S1611と類似して行われ、段階S1914ないし段階S1917は、図19Aの段階S1905ないし段階S1908と類似して行われる。
図20は、図18Fに示されたように、実行可能な少なくとも一つのアプリケーションを選択できる情報(例えば、アイコン)、及び所定の機能実行如何をユーザが選択できる情報(例えば、コンテンツ/広告領域)を含むゲート画面2020を通じて所定の機能実行を要請する場合の画面の例である。
すなわち、デバイス1400の動作モードが待機モードであり、ブラックスクリーン状態である時(2010)、デバイス1400のひっくり返しモーション情報及び状況情報が検出されれば、デバイス1400のモーション情報及び状況情報に基づいて定められた所定の機能情報によって図20のゲートウェイ画面2020がディスプレイされる。
図20のゲートウェイ画面2020からコンテンツ/広告領域が選択されることで列車チケット情報を含む画面2030がディスプレイされる。この時、コンテンツ/広告領域に、画面2030にディスプレイされる列車チケットの一部イメージまたは列車チケットのサイズを縮小したイメージがディスプレイされるが、テキスト形態で提供されることができる。
前述した図15の段階S1504、図6Aの段階S1606と段階S1607、図16Bの段階S1613、図19Aの段階S1907、及び図19Bの段階S1917は、前述した図7及び図9に示されたプロセスを含むように変形される。
図21は、望ましいさらに他の実施形態によるデバイスの機能ブロック図である。図21は、前述した図11の機能ブロック図に、図14のデバイス1400の機能ブロック図に備えられた状況情報検出部1420と類似した状況情報検出部2103をさらに備える例である。これによってプロセッサ2111は、図14のプロセッサ1450のように動作する。
プロセッサ2111は、図11のように第1プロセッサ2112及び第2プロセッサ2113を備える。第1プロセッサ2112は、前述した図5で言及された連続的なセンシングプラットホームに基づいて、センシング部2102からセンシング値を受信し、前述した図14で言及された連続的な状況情報検出プラットホームに基づいて、状況情報検出部2103から状況情報を受信する。
図21に示された情報入力部2101、タッチスクリーン2104、カメラ2105、オーディオ入力部2106、オーディオ出力部2107、無線通信部2109、有線通信部2110、電源部2115は、図11に示された情報入力部1101、タッチスクリーン1103、カメラ1104、オーディオ入力部1105、オーディオ出力部1106、無線通信部1108、有線通信部1109、電源部1114と類似して構成及び動作する。無線通信部2109は、無線通信インターフェースと言及される。有線通信部2110は、有線通信インターフェースと言及される。
図21に示された保存部2108は、図14に示された保存部1430と図11に示された保存部1107とを結合したものと類似した構成を持ち、保存部1430及び保存部1107に保存された情報及び少なくとも一つのプログラムを保存する。
デバイス2100の待機モードは、図1、図11、及び図14で言及したような状態を含む。すなわち、デバイス2100の待機モードは、センシング部2102、状況情報検出部2103の一部の構成要素、第1プロセッサ2112、及び保存部2108による電力消費状態を含む。デバイス2100の待機モードは、センシング部2102、状況情報検出部2103、第1プロセッサ2112、及び保存部2108による電力消費状態を含む。デバイス2100の待機モードは、センシング部2102、状況情報検出部2103の一部の構成要素、第1プロセッサ2112、及び保存部2108を除いたデバイス2100に備えられた構成要素によって電力が消費されない状態を含む。デバイス2100の待機モードは、センシング部2102、状況情報検出部2103、第1プロセッサ2112、及び保存部2108以外のデバイス2100に備えられた構成要素によって電力が消費されない状態を含む。
デバイス2100の待機モードは、図11で言及されたタッチスクリーン2104に関する機能の不活性化状態(または、実行されない状態)と、デバイス2100の画面ロック設定状態のうち少なくとも一つを含む。
望ましい実施形態によるデバイスの機能実行方法をコンピュータで具現する方法を行わせる命令語を含む一つ以上のプログラムは、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして記録される。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるすべての保存装置を含む。コンピュータで読み取り可能な記録媒体の例には、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置などがある。またコンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードとして保存されて実行される。
これまで本発明についてその望ましい実施形態を中心として説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されるということを理解できるであろう。したがって、開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にあるすべての差は本発明に含まれていると解釈されねばならない。