以下、添付の図面を参照して本発明の多様な実施形態を詳しく説明する。この際、添付の図面において同一の構成要素は、できるだけ同一の符号で示していることに留意しなければならない。また、本発明の要旨を不明にすることが公知機能および構成に対する詳細な説明を省略することができる。すなわち、下記の説明では、本発明の多様な実施形態による動作を理解するのに必要な部分だけが説明され、その他の部分の説明は、本発明の要旨を不明にしないように省略されるということを留意しなければならない。
提案する本発明は、ユーザデバイス(user device)で状況認識サービス(CAS、Context Aware Service)を提供する方法および装置に関する。
本発明の実施形態によれば、ユーザデバイスでユーザにより定義された1つまたはそれ以上の規則(Rule)によってユーザの多様な状況(context)に対する状況認識(context aware)を行うことができる。
本発明の実施形態によれば、状況認識による1つまたはそれ以上のアクション(action)実行を自動処理し、アクション実行に対応する状況情報(context information)をユーザまたは定義された他のユーザにフィードバック(feedback)することができる。
本発明の多様な実施形態において、前記状況情報は、ユーザデバイスを通じてフィードバックされるか、外部機器(例えば、テレビ、電灯など)の制御を通じてユーザにフィードバックされるか、またはメッセージ伝送などを通じて他のユーザにフィードバックすることができる。
本発明の多様な実施形態において前記規則は、自然言語(natural language)に基づくテキスト(例えば、筆記(hand writing))または音声入力を通じて定義されることができる。本発明の多様な実施形態において、前記自然言語は、人々が日常的に使用する言語を人工的に作られた言語である人工語(または機械語)(artificial language)と区分して呼ぶ概念である。
本発明の多様な実施形態において前記規則は、前記規則と関連した命令(command)の入力(または受信)に応答して活性化(activated)されることができる。
本発明の多様な実施形態において、前記規則は、受信されたユーザ入力に基づいて定義されるか、または選択されることができる。前記定義された規則は、前記規則の条件に対応する状況検出に反応して活性化されることができる。前記規則が検出されれば、前記条件に対応するアクションが実行されることができる。
本発明の多様な実施形態において前記規則が活性化されれば、ユーザデバイスは、ユーザデバイスが動作(operates)する状況をモニター(monitor)または検出(detect)することができる。ユーザデバイスが動作する状況モニターまたは検出に基づいて、ユーザデバイスは、活性化された規則に対応する状況でユーザデバイスが動作することを決定(determine)するか、または識別(identify)することができる。
本発明の多様な実施形態において前記規則は、少なくとも1つの条件および少なくとも1つのアクションに区分されることができ、前記規則を生成する動作については、後述する。
本発明の多様な実施形態においてあらかじめ定義された規則に対する実行は、前記規則に対応する命令(instruction)受信を通じて行われることができる。本発明の多様な実施形態において前記命令は、ユーザデバイスの多様な入力手段(例えば、タッチスクリーン、キーパッド、マイクなど)を通じて入力される自然言語に基づくテキストまたは音声による命令語または命令語文章(sentence)(例えば、命令文)を含むことができる。また、前記命令は、あらかじめ定義された規則に従ってユーザデバイスの多様なセンサー(sensor)(例えば、近接センサー、照度センサー、加速度センサー、ジャイロセンサー、音声センサーなど)を通じて感知されるユーザデバイスの変化(例えば、姿勢変化、オリエンテーション(orientation)など)感知を含むことができる。また、前記命令は、あらかじめ定義された規則に対応する外部のメッセージまたは外部のサウンド受信を含むこともできる。また、前記命令は、あらかじめ定義された規則に対応するユーザ(またはユーザデバイス)の地域的位置変化を含むこともできる。
本発明の多様な実施形態において前記規則を実行する命令(例えば、命令語、命令語文章、感知しようとするユーザデバイスの動作または動作感知のためのセンサー定義)は、自然言語に基づく音声またはテキスト入力で設定されることができる。
本発明の多様な実施形態において前記規則を実行する命令のうち命令語または命令語文章は、前記規則定義時に前記規則に含まれる自然言語の一部(例えば、単語)、文章の一部または全体で入力されることができる。
本発明の多様な実施形態において前記文章は、考えや感情を言葉で表現するとき、完結された内容を示す最小の単位であることができ、主語と述語を備えることが原則であるが、時には主語と述語が省略されることもできる。
本発明の多様な実施形態において前記規則を実行する命令のうちユーザデバイスの動作感知は、前記規則定義時に設定される1つまたはそれ以上のセンサーが動作することによって入力されることができる。
本発明の多様な実施形態において前記アクションは、実行中の規則で当該規則に対応する状況が認知されるとき、ユーザデバイスが行う動作を含むことができる。
本発明の多様な実施形態において前記アクションは、ユーザデバイスの内部構成(例えば、表示部、通信モジュール、スピーカーなど)を制御し、当該規則に対応する状況情報をユーザデバイスを通じてフィードバックする動作制御(例えば、内部動作制御)、またはユーザデバイスの外部機器(例えば、テレビ、電灯、外部スピーカーなど)を制御し、当該規則に対応する状況情報を外部機器を通じてフィードバックする動作制御(例えば、外部動作制御)、またはユーザデバイスの内部動作および外部機器の外部動作を一緒に制御することを含むことができる。
本発明の多様な実施形態において状況認識サービス(CAS)は、ユーザデバイスがユーザにより定義された規則による状況を認識し判断し、それに対応するアクションを実行し、アクション実行による状況情報をユーザ(または定義される他のユーザ)に提供するサービスを示す。前記状況情報は、ユーザが相互作用(interaction)をする時点に利用することができるすべての情報であって、ユーザ(またはユーザデバイス)の位置、識別、活動、そして状態などを含み、ユーザデバイスのアプリケーションをも含むことができる。
以下では、本発明の実施形態によるユーザデバイスの構成とその運用制御方法について下記図面を参照して説明する。本発明の実施形態によるユーザデバイスの構成とその運用制御方法が下記で記述する内容に制限されるかまたは限定されるものではないので、下記の実施形態に基づいて多様な実施形態に適用することができることに留意しなければならない。
図1は、本発明の実施形態によるユーザデバイスの構成を概略的に示す図である。
図1を参照すれば、本発明のユーザデバイス100は、無線通信部110、ユーザ入力部120、タッチスクリーン130、オーディオ処理部140、格納部150、インターフェース部160、制御部170、そして電源供給部180を含んで構成される。本発明のユーザデバイス100は、図1に示された構成要素より多い構成要素を有するか、またはそれより少ない構成要素を有するもので具現されることができる。例えば、本発明の実施形態によるユーザデバイス100が撮影機能を支援する場合、カメラモジュール(図示せず)の構成がさらに含まれることもでき、本発明の実施形態によるユーザデバイス100が放送受信および再生機能を支援しない場合、一部のモジュール(例えば、前記無線通信部110の放送受信モジュール119の構成)は省略されることもできる。
前記無線通信部110は、ユーザデバイス100と無線通信システムとの間またはユーザデバイス100と他のユーザデバイスとの間の無線通信を可能にする1つ以上のモジュールを含むことができる。例えば、無線通信部110は、移動通信モジュール111、無線LAN(WLAN、Wireless Local Area Network)モジュール113、近距離通信モジュール115、位置算出モジュール117、そして放送受信モジュール119などを含んで構成されることができる。
移動通信モジュール111は、移動通信ネットワーク上で基地局、外部の端末、そして多様なサーバー(例えば、統合サーバー(integration server)、プロバイダーサーバー(provider server)、コンテンツサーバー(content server)、インターネットサーバー(internet server)、クラウドサーバー(cloud server)など)のうち少なくとも1つと無線信号を送受信することができる。前記無線信号は、音声通話信号、画像通話信号または文字/マルチメディアメッセージ送受信による多様な形態のデータを含むことができる。移動通信モジュール111は、制御部170の制御によってプロバイダーサーバーまたはコンテンツサーバーなどに接続し、状況認識サービスのための多様な規則をダウンロード(download)することができる。前記移動通信モジュール111は、制御部170の制御によってアクション実行に対する結果(状況情報)を少なくとも1つのターゲットユーザデバイスに伝送することができる。また、前記移動通信モジュール111は、制御部170の制御によって特定規則が実行中の状態またはその他の状態で前記特定規則に定義された条件にマッチ(満足)するメッセージを受信することができる。
無線LANモジュール113は、無線インターネット接続および他のユーザデバイスと無線LANリンク(link)を形成するためのモジュールを示すもので、ユーザデバイス100に内蔵されるか、または外装されることができる。無線インターネット技術としては、無線LAN(Wi−Fi)、Wibro(Wireless broadband)、Wimax(World Interoperability for Microwave Access)、そしてHSDPA(High Speed Downlink Packet Access)などが利用されることができる。無線LANモジュール113は、多様なサーバーと無線LAN通信が連結されるとき、状況認識サービスのための多様なデータ(例えば、規則を含む)を受信されることができる。また、無線LANモジュール113は、他のユーザデバイスと無線LANリンクが形成されるとき、ユーザ選択による状況認識サービスのための多様なデータ(例えば、規則を含む)を他のユーザデバイスに伝送するか、または他のユーザデバイスから受信されることができる。または、無線LANモジュール113は、無線LANを介して状況認識サービスのための多様なデータ(例えば、規則を含む)をクラウドサーバーなどに伝送するか、またはクラウドサーバーから受信されることができる。前記無線LANモジュール113は、制御部170の制御によってアクション実行に対する結果(状況情報)を少なくとも1つのターゲットユーザデバイスに伝送することができる。また、前記無線LANモジュール113は、制御部170の制御によって特定規則が実行中の状態で前記特定規則に定義された条件に合致するメッセージを受信することができる。
近距離通信モジュール115は、ユーザデバイス100の近距離通信(short range communication)のためのモジュールを示す。近距離通信技術としては、ブルートゥース(Bluetooth(登録商標))、ブルートゥース低エネルギー(BLE、Bluetooth(登録商標) Low Energy)、RFID(Radio Frequency Identification)、赤外線通信(IrDA、Infrared Data Association)、UWB(Ultra Wideband)、ジグビー(ZigBee)、そしてNFC(Near Field Communication)などが利用されることができる。また、近距離通信モジュール115は、ユーザデバイス100が他のユーザデバイスと近距離通信が連結されるとき、ユーザ選択による状況認識サービスのための多様なデータ(例えば、規則を含む)を他のユーザデバイスに伝送するか、または受信されることができる。
位置算出モジュール117は、ユーザデバイス100の位置を獲得するためのモジュールを示す。前記位置算出モジュール117は、GPS(Global Position System)モジュールなどを含むことができる。位置算出モジュール117は、3個以上の基地局から離れた距離情報と正確な時間情報を算出した後、前記算出された情報に三角法を適用することによって、緯度(latitude)、経度(longitude)、および高度(altitude)による3次元の現位置情報を算出することができる。または、位置算出モジュール117は、3個以上の衛星からユーザデバイス100の位置情報をリアルタイムで続いて受信することによって、位置情報を算出することもできる。ユーザデバイス100の位置情報は、多様な方法によって獲得されることができる。
放送受信モジュール119は、放送チャネル(例えば、衛星放送チャネル、地上波放送チャネルなど)を介して外部の放送管理サーバーから放送信号(例えば、テレビ放送信号、ラジオ放送信号、データ放送信号など)および/または前記放送と関連した情報(例えば、放送チャネル、放送番組または放送サービス提供者に関する情報など)を受信することができる。
ユーザ入力部120は、ユーザデバイス100の動作制御のための入力データをユーザ入力に対応して発生させる。ユーザ入力部120は、キーパッド(keypad)、ドームスイッチ(domeswitch)、タッチパッド(静圧/静電)、ジョグホイール(jog wheel)、ジョグスイッチ(jog switch)、センサー(例えば、音声センサー、近接センサー、照度センサー、加速度センサー、ジャイロセンサーなど)などを含んで構成されることができる。前記ユーザ入力部120は、ユーザデバイス100の外部にボタン形態で具現されることができ、一部のボタンは、タッチパネル(touch panel)で具現されることもできる。ユーザ入力部120は、規則定義および規則実行(例えば、命令)のためのユーザ入力(例えば、テキスト入力、音声入力、ユーザデバイス100動作変化など)が受信されるとき、それによる入力データを発生させることができる。
タッチスクリーン130は、入力機能と表示機能を同時に行う入出力手段であって、表示部131とタッチ感知部133を含むことができる。本発明の実施形態においてタッチスクリーン130は、前記表示部131を介してユーザデバイス100の運用による画面(例えば、規則(条件およびアクション)設定画面、通話発信のための画面、メッセンジャー画面、ゲーム画面、ギャラリー画面など)の表示中に、前記タッチ感知部133によるユーザのタッチイベント(例えば、1つまたはそれ以上のタッチ(touch)、タップ(tap)、ドラッグ(drag)、スウィープ(sweep)、フリック(flick)など)が入力されれば、前記タッチイベントによる入力信号を前記制御部170に伝達することができる。それでは、制御部170は、前記タッチイベントを区分し、タッチイベントによる動作実行を制御することができる。例えば、表示部131に規則設定画面が表示された状態で、タッチ感知部133によってユーザの自然言語に基づくテキストが筆記されるタッチイベントが入力されれば、制御部170は、前記タッチイベントによって規則を生成する動作を行うことができる。
表示部131は、ユーザデバイス100で処理される情報を表示(出力)することができる。例えば、ユーザデバイス100が通話モードの場合、通話と関連したユーザインターフェース(UI、User Interface)またはグラフィックユーザインターフェース(GUI、Graphical UI)を表示することができる。また、表示部131は、ユーザデバイス100が画像通話モードまたは撮影モードの場合には、撮影または/および受信された映像またはUI、GUIを表示することができる。特に、表示部131は、状況認識サービス運用と関連した多様なUI、GUIを表示することができる。例えば、表示部131は、ユーザ入力による規則設定、規則実行状態、規則に対応するアクション実行状態、そしてアクション実行による結果(例えば、状況情報)などと関連した多様なUI、GUIを表示することができる。また、表示部131は、ユーザデバイス100の回転方向(または配置される方向)によって横モードによる画面表示、縦モードによる画面表示および横モードと縦モード間の変化による画面切替表示を支援することができる。本発明で運用される表示部131の画面例示について後述する。
表示部131は、液晶ディスプレイ(LCD、Liquid Crystal Display)、薄膜トランジスタ液晶ディスプレイ(TFT LCD、Thin Film Transistor−LCD)、発光ダイオード(LED、Light Emitting Diode)、有機発光ダイオード(OLED、Organic LED)、能動型OLED(AMOLED、ActiveMatrix OLED)、フレキシブルディスプレイ(flexible display)、ベンディドディスプレイ(bended display)、および3次元ディスプレイ(3D display)のうち少なくとも1つを含むことができる。これらのうち一部のディスプレイは、外部が見られるように透明型または光透明型で構成される透明ディスプレイ(transparent display)で具現されることができる。
タッチ感知部133は、前記表示部131に配置されることができ、前記タッチスクリーン130の表面に接触するユーザのタッチイベント(例えば、シングルタッチイベント、マルチタッチイベント、タッチに基づくジェスチャーイベントなど)を感知することができる。タッチ感知部133は、前記タッチスクリーン130の表面にユーザのタッチイベントを感知するとき、前記タッチイベントが発生した座標を検出し、検出された座標を前記制御部170に伝送することができる。タッチ感知部133は、ユーザにより発生するタッチイベントを感知し、感知されたタッチイベントによる信号を生成し、前記制御部170に伝送することができる。制御部170は、前記タッチ感知部133で伝送される信号によってタッチイベントが発生した領域に該当する機能を行うことができる。
タッチ感知部133は、表示部131の特定部位に加えられた圧力または表示部131の特定部位に発生する静電容量などの変化を電気的な入力信号に変換するように構成されることができる。タッチ感知部133は、タッチされる位置および面積だけでなく、適用したタッチ方式によってタッチ時の圧力までも検出することができるように構成されることができる。タッチ感知部133に対するタッチ入力がある場合、それに対応する信号は、タッチ制御機(図示せず)に伝達されることができる。タッチ制御機(図示せず)は、その信号を処理した後、対応するデータを制御部170に伝送することができる。これにより、制御部170は、表示部131のどの領域がタッチされたかなどを把握することができる。
オーディオ処理部140は、制御部170から入力されたオーディオ信号をスピーカー(SPK、speaker)141に伝送し、マイク(MIC、microphone)143から入力された音声などのオーディオ信号を制御部170に伝達する機能を行うことができる。オーディオ処理部140は、音声/音響データを制御部170の制御によってスピーカー141を介して可聴音に変換して出力し、マイク143から受信される音声などのオーディオ信号をデジタル信号に変換し、制御部170に伝達することができる。
スピーカー141は、通話モード、録音(録画)モード、音声認識モード、放送受信モード、撮影モード、 および状況認識サービスモードなどで無線通信部110から受信されるか、または格納部150に格納されたオーディオデータを出力することができる。スピーカー141は、ユーザデバイス100で行われる機能(例えば、規則実行、アクション実行、状況情報フィードバック、通話連結受信、通話連結発信、撮影、メディアコンテンツ(例えば、音楽ファイル、動画ファイルなど)再生など)と関連した音響信号を出力することもできる。
マイク143は、通話モード、録音(録画)モード、音声認識モード、撮影モード、メッセンジャーモード、および状況認識サービスモードなどで外部の音響信号を入力されて電気的な音声データとして処理することができる。処理された音声データは、例えば、通話モードの場合、移動通信モジュール111を介して移動通信基地局に送信可能な形態に変換されて出力されることができる。マイク143には、外部の音響信号を入力される動作で発生する雑音(noise)を除去するための多様な雑音除去アルゴリズムが具現されることができる。マイク143は、規則定義および規則実行(命令)のためのユーザ入力(例えば、自然言語に基づくテキストまたは音声などの入力)が受信されるとき、それによる入力データを発生し、制御部170に伝達することができる。
格納部150は、制御部170の処理および制御のためのプログラム(program)を格納することもでき、入出力されるデータ(例えば、規則情報、命令情報、アクション情報、状況情報、コンタクト(contact)情報、メッセージ、メディアコンテンツ(例えば、オーディオ、動画、電子島でなど)など)の臨時格納のための機能を行うこともできる。格納部150には、ユーザデバイス100の機能運用による使用頻度(例えば、規則使用頻度、命令使用頻度、アプリケーション使用頻度、データ(例えば、電話番号、メッセージ、メディアコンテンツ)に対する使用頻度など)、重要度および優先順位も一緒に格納されることができる。格納部150には、ユーザ入力部120によるユーザ入力に応答して出力される多様なパターン(pattern)の振動および音響またはタッチスクリーン130上のタッチ入力に応答して出力される多様なパターンの振動および音響に関するデータを格納することもできる。特に、格納部150は、ユーザ定義による規則、定義される各規則の命令(例えば、規則実行命令)、各規則の実行アクション(例えば、機能またはアプリケーション)、および規則終了条件などがマッチングされるマッピングテーブルを格納することができる。
格納部150は、ユーザデバイス100のオペレーティングシステム(OS、Operating System)、タッチスクリーン130を利用した入力および表示制御動作と関連したプログラム、状況認識サービスを運用する制御動作(例えば、規則(例えば、条件およびアクション)生成、規則(例えば、条件)による状況認識、規則によるアクション実行、状況情報フィードバックなど)と関連したプログラム、そして各プログラムの動作によって発生するデータなどを持続的にまたは一時的に格納することができる。また、格納部150は、本発明の実施形態による状況認識サービスを支援することと関連した多様な設定情報を格納することができる。前記設定情報は、状況認識サービスを支援するにあたって音声に基づくか、またはテキストに基づくかに関する情報を含むことができる。また、前記設定情報は、規則別に1つまたはそれ以上の条件および前記条件別のアクションを含む規則を含むことができ、また、前記定義された規則を実行する命令がさらに含まれることもできる。
格納部150は、フラッシュメモリータイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マイクロタイプ(micro type)、およびカードタイプ(例えば、SDカード(Secure Digital Card)またはXDカード(eXtream Digital Card)などのメモリ(memory)と、RAM(Random Access Memory)、DRAM(Dynamic RAM)、SRAM(Static RAM)、ROM(Read−Only Memory)、PROM(Programmable ROM)、EEPROM(Electrically Erasable PROM)、磁気メモリ(MRAM、Magnetic RAM)、磁気ディスク(magnetic disk)、および光ディスク(opticaldisk)タイプのメモリのうち少なくとも1つのタイプの格納媒体(storage medium)を含むことができる。ユーザデバイス100は、インターネット上で前記格納部150の格納機能を行うウェブストレージ(web storage)と関連して動作することもできる。
インターフェース部160は、ユーザデバイス100に連結されるすべての外部機器との通路の役目を行うことができる。インターフェース部160は、外部機器からデータを伝送されるか、または電源を供給されて、ユーザデバイス100内部の各構成要素に伝達するか、またはユーザデバイス100内部のデータが外部機器に伝送されるようにすることができる。例えば、有線/無線ヘッドセットポート(port)、外部充電器ポート、有線/無線データポート、メモリカード(memory card)ポート、識別モジュールが具備された装置を連結するポート、オーディオ入出力(Input/Output)ポート、ビデオ入出力ポート、イヤホンポートなどがインターフェース部160に含まれることができる。
制御部170は、ユーザデバイス100の全般的な動作を制御することができる。例えば、音声通信、データ通信、画像通信などに関連した制御を行うことができる。制御部170は、本発明の多様な実施形態において状況認識サービスを提供することと関連した全般的な動作を制御することができる。本発明の多様な実施形態によれば、制御部170は、規則設定モジュール173、規則実行モジュール175、条件感知モジュール177、およびアクション実行モジュール179を含むデータ処理モジュール171を含むことができる。前記規則設定モジュール173、規則実行モジュール175、条件感知モジュール177、およびアクション実行モジュール179に関する動作は、下記で説明される図面と関連して説明される。また、制御部170は、状況認識サービス運用のための状況認識サービスフレームワーク(framework)(図示せず)、マルチメディア再生のためのマルチメディアモジュール(図示せず)を具備することもできる。本発明において状況認識サービスフレームワーク(図示せず)およびマルチメディアモジュール(図示せず)は、制御部170内に具現されることもでき、制御部170と別に具現されることもできる。
本発明の実施形態によれば、制御部170は、ユーザ入力によって定義される規則設定、ユーザ定義による規則実行、定義された規則に対応する状況認識、定義された規則によるアクション実行、そしてアクション実行による状況情報のフィードバックなどと関連した状況認識サービスの運用を制御することができる。制御部170(例えば、規則設定モジュール173)は、ユーザ入力(例えば、自然言語に基づく音声またはテキスト入力)によって状況認識サービスのための規則を定義することができる。制御部170は、ユーザ入力を受信することができ、受信されたユーザ入力に基づいて条件および前記条件に対応するアクションを含む規則を定義することができる。制御部170は、前記規則の条件を有する(条件に対応する)状況(context)検出によって前記規則を活性化することができる。制御部170(例えば、規則実行モジュール175)は、前記設定された規則による規則実行のための命令が感知されれば、前記命令に対応する1つまたはそれ以上の規則実行を制御することができる。制御部170(例えば、条件感知モジュール177)は、前記規則実行に応答して実行された当該規則による条件(または状況)を感知(判別)および認識することができる。制御部170(例えば、アクション実行モジュール179)は、当該規則による条件が認識される時前記実行された当該規則に対応するアクション実行を制御することができる。例えば、制御部170は、前記状況が検出されれば、前記条件に対応するアクションを実行することができる。制御部170(例えば、アクション実行モジュール179)は、アクションに対応する1つの機能(またはアプリケーション)または少なくとも2つ以上の複合機能(またはアプリケーション)を実行し、実行する機能(またはアプリケーション)に対応する当該動作実行を制御することができる。
また、制御部170は、規則実行モジュール175によってユーザ要請による1つまたはそれ以上の規則が実行された状態で条件感知モジュール177によりイベントの発生(例えば、規則に設定された条件に対応する動作感知)を検出すれば、アクション実行モジュール179を介して前記実行規則で前記イベントに対するアクション実行のために定義された機能を抽出することができる。そして、制御部170は、アクション実行モジュール179により前記抽出された機能に対応するアクションの実行を制御することができる。制御部170は、規則実行モジュール175によりユーザ要請による1つまたはそれ以上の規則が実行された状態でイベントの発生がなければ、条件感知モジュール177により現在状況が実行された1つまたはそれ以上の規則を終了する規則終了条件に該当するかを判別することができる。制御部170は、条件感知モジュール177により前記規則終了条件が感知されれば、規則実行モジュール175により前記実行された規則の終了を制御することができる。
また、制御部170は、規則実行モジュール175により1つまたはそれ以上の規則が実行された状態で、条件感知モジュール177により認識された条件によるアクションを実行するとき、アクション実行モジュール179によりアクション実行に対応する状況情報のフィードバック動作を制御することができる。また、制御部170は、規則実行モジュール175により1つまたはそれ以上の規則が実行された状態で条件感知モジュール177により認識された条件によって実行された規則を終了するとき、アクション実行モジュール179によりアクション終了に対応するフィードバック動作を制御することができる。
本発明の多様な実施形態において前記アクション実行によるフィードバック動作は、アクション実行に対する結果(例えば、状況情報)を表示部131などを介してユーザに出力するか、またはアクション実行に対する結果(例えば、状況情報)を無線通信部110を介して他のユーザに伝送することを含むことができる。また、前記アクション実行によるフィードバック動作は、アクション実行に対応して外部の機器(例えば、電灯、テレビなど)の動作(例えば、機器ターンオン(turn−on)またはターンオフ(turn−off)、機器ボリューム加減など)を制御するための制御信号を当該外部の機器に伝送することを含むことができる。本発明の多様な実施形態において前記規則終了によるフィードバック動作は、聴覚(例えば、スピーカー141)を用いた設定された音響データ出力)、視覚(例えば、表示部131を用いた設定された画面表示)、そして触覚(例えば、振動モジュール(図示せず)を用いた設定された振動パターン出力)の要素のうち少なくとも1つを介してユーザデバイス100のユーザに提供することを含むことができる。
このような制御部170の詳細制御動作について後述する図面を参照したユーザデバイス100の動作例示およびその制御方法で説明される。
また、本発明の多様な実施形態による制御部170は、前記の動作制御以外にユーザデバイス100の通常的な機能と関連した各種動作を制御することもできる。例えば、制御部170は、特定アプリケーションを実行するとき、実行するアプリケーションの運用および画面表示を制御することができる。また、制御部170は、タッチに基づく入力インターフェース(例えば、タッチスクリーン130)で支援する多様なタッチイベント入力に対応する入力信号を受信し、受信された入力信号による機能運用を制御することができる。また、制御部170は、有線通信に基づいてまたはコードレス通信に基づいて各種データの送受信を制御することもできる。
電源供給部180は、制御部170の制御によって外部の電源、内部の電源を印加されて各構成要素の動作に必要な電源を供給することができる。
以上説明したように、本発明の多様な実施形態によるユーザデバイス100は、一実施形態によれば、自然言語に基づく音声またはテキストを利用した規則設定のためのユーザ入力を受け入れ、前記ユーザ入力による規則を設定するためのコンピュータにより実行される(computer−implemented)規則設定モジュール173、自然言語に基づく音声またはテキスト、ユーザデバイス100の動作感知または外部のメッセージ受信を利用した規則実行のための命令を受け入れ、前記命令による規則を実行するためのコンピュータにより実行される規則実行モジュール175、規則に設定された1つまたはそれ以上の条件(状況)に反応して内部または外部で発生する1つまたはそれ以上の条件を感知(認識)するためのコンピュータにより実行される条件感知モジュール177、規則に設定された1つまたはそれ以上の条件認識に反応して1つまたはそれ以上のアクション実行を制御するためのコンピュータにより実行されるアクション実行モジュール179によって具現されることができる。
本発明の多様な実施形態において前記規則設定モジュール173は、規則設定モードでユーザによる自然言語に基づく音声またはテキスト入力に反応して前記音声またはテキストを認識(例えば、音声認識、筆記認識)するように動作することができる。本発明の多様な実施形態において前記規則設定モジュール173は、1つの規則に対して多数の条件を設定することができ、多数の条件に対応する多数のアクションを設定するように動作することができる。本発明の多様な実施形態において前記条件感知モジュール177は、1つの規則に設定された多数の条件に対応する多重状況認識(multi context aware)を行うように動作することができる。本発明の多様な実施形態において前記アクション実行モジュール179は、1つの規則で多重状況認識に反応して多数のアクションを同時または順次に行うように動作することができる。
本発明において説明される多様な実施形態は、ソフトウェア(software)、ハードウェア(hardware)またはこれらの組合されたものを利用してコンピュータ(computer)またはこれと類似の装置で読み取り可能な記録媒体内で具現されることができる。ハードウェア的な具現によれば、本発明で説明される実施形態は、ASICs(Application Specific Integrated Circuits)、DSPs(digital signal processors)、DSPDs(digital signal processing devices)、PLDs(programmable logic devices)、FPGAs(field programmable gate arrays)、プロセッサ(processors)、制御機(controllers)、マイクロコントローラー(micro−controllers)、マイクロプロセッサー(microprocessors)、その他機能実行のための電気的なユニット(unit)のうち少なくとも1つを利用して具現されることができる。
そして、一部の場合、本明細書で説明される実施形態が制御部170自体で具現されることができる。ソフトウェア的な具現によれば、本明細書で説明される手続および機能のような実施形態は、別途のソフトウェアモジュール(例えば、規則設定モジュール173、規則実行モジュール175、条件感知モジュール177またはアクション実行モジュール179)で具現されることができる。前記ソフトウェアモジュールそれぞれは、本明細書において説明される1つ以上の機能および動作を行うことができる。
ここで、前記記録媒体は、ユーザ入力によって状況認識サービスのための規則を定義し、前記規則実行のための命令が検出されれば、前記命令に対応する1つまたはそれ以上の規則を実行し、前記実行された規則による条件(状況)が認識されるとき、前記実行規則で前記条件に対応する1つまたはそれ以上のアクションが実行されるように処理するプログラムを格納したコンピュータで読み取り可能な記録媒体を含むことができる。また、前記記録媒体は、自然言語に基づく音声およびテキストのうち少なくとも1つのユーザ入力を条件および前記条件に対応するアクションで区分して前記条件および前記アクションを含む規則を設定する動作、前記規則に対応する命令に反応して前記規則を活性化する動作、前記規則活性化に応答して前記規則による条件を感知する動作、前記条件が感知されるとき、前記条件に対応する前記アクションを実行する動作を行うプログラムを格納したコンピュータで読み取り可能な記録媒体を含むことができる。
以上説明したような、本発明の多様な実施形態によるユーザデバイス100は、本発明の機能を支援するすべての情報通信機器、マルチメディア機器およびそれに対する応用機器のように、AP(Application Processor)、GPU(Graphic Processing Unit)、CPU(Central Processing Unit)を使用するすべてのデバイスを含むことができる。例えば、前記ユーザデバイス100は、多様な通信システムに対応する各通信プロトコル(communication protocols)に基づいて動作する移動通信端末機を含めて、タブレットパソコン(tablet Personal Computer)、スマートフォン(Smart Phone)、デジタルカメラ(Digital Camera)、PMP(Portable Multimedia Player)、メディアプレーヤー(Media Player)(例えば、MP3プレーヤー)、携帯ゲーム端末、およびPDA(Personal Digital Assistant)などのデバイスを含むことができる。また、本発明の多様な実施形態による機能制御方法は、デジタルテレビ(Digital Television)、DS(Digital Signage)、LFD(Large Format Display)などのように多様なディスプレイデバイス、ノートパソコンなどのようなラップトップコンピュータおよび個人用コンピュータ(PC)などに適用されて運用されることもできる。
図2は、本発明の実施形態によるユーザデバイスで状況認識サービスを運用する方法を示す流れ図である。
図2を参照すれば、制御部170(例えば、規則設定モジュール173)は、ユーザ入力部120、マイク143またはタッチスクリーン130を介して状況認識サービスのための規則を定義する入力が発生すれば、ユーザから入力(または選択)される規則を定義(例えば、規則設定および生成)することができる(201段階)。
例えば、ユーザは、規則設定モードでマイク143を介して設定しようとする規則に対応する自然言語に基づく音声を入力することができる。または、ユーザは、規則設定モードでタッチスクリーン130を介して設定しようとする規則に対応する自然言語に基づくテキストを入力することもできる。また、制御部170(例えば、規則設定モジュール173)は、ユーザ入力を認識(例えば、音声認識または筆記認識など)および解析(parsing)して実行する規則を定義することができる。制御部170(例えば、規則実行モジュール175)は、ユーザにより規則が定義されるとき、設定された規則に対する規則実行を待機(すなわち、規則実行のための命令検出待機)する活性化状態で管理することもできる。本発明の多様な実施形態において規則を設定および生成する動作について後述する図面(例えば、図3A〜3K、図31A〜図31Nなど)と関連して下記で説明される。
制御部170(例えば、規則実行モジュール175)は、ユーザ入力による1つまたはそれ以上の規則が定義された状態で特定規則の実行のための命令が受信されれば、当該規則実行を制御することができる(203段階)。
例えば、ユーザは、ユーザ入力部120、マイク143またはタッチスクリーン130を介してあらかじめ定義された規則を実行するための命令語または命令語文章を自然言語に基づいて入力することができる。ユーザは、機能キー入力に基づいて、音声入力に基づいて、タッチ入力(例えば、テキストの筆記入力、ウィジェット選択など)に基づいて、またはユーザデバイス100を利用したジェスチャーに基づいて(例えば、ユーザデバイス100の姿勢変化(例えば、傾き、加速運動など)など)のうち状況認識サービスの活性化のための1つまたはそれ以上の規則に対応する特定命令を入力することによって、当該規則を実行することができる。このように、本発明の実施形態において前記規則実行のための命令は、規則実行のために当該規則に定義された条件に合致するユーザの多様な入力方式を含むことができる。また、本発明の実施形態において前記規則実行のための命令は、前記ユーザによる入力を含めて、規則実行のために定義された条件に合致する特定メッセージまたはサウンドが外部から受信されることを含むことができる。それでは、制御部170(例えば、規則実行モジュール175)は、規則実行のための条件を満たす特定命令を認識し、認識された命令に応答して当該規則を実行し、状況認識サービスの活性化を制御することができる。
制御部170(例えば、条件感知モジュール177)は、実行されている規則に対応する条件(状況)をトリガリング(triggering)することができる(205段階)。そして、制御部170(例えば、アクション実行モジュール179)は、実行中の規則に対応する条件がトリガリングされれば、前記条件に対応する1つまたはそれ以上のアクション実行を制御することができる(207段階)。
例えば、制御部170(例えば、条件感知モジュール177)は、1つまたはそれ以上の規則が実行されるとき、当該規則でアクションを誘発させる条件または状況(triggering condition)を監視することができる。そして、制御部170(例えば、アクション実行モジュール179)は、前記アクションを誘発する条件または状況が感知されれば、当該アクションを実行するための内部または外部に対する動作を制御することができる。ここで、アクション実行は、定義された規則(例えば、条件およびアクション)によって機能(またはアプリケーション)を実行し、それによる結果(例えば、状況情報)を生成し、ユーザまたは他のユーザにフィードバックされるようにする動作を含むことができる。
一方、本発明の実施形態では、前記201段階による規則定義動作は、ユーザによりあらかじめ定義されて格納された状態であることができ、またはユーザが希望する規則を実行する前に、ユーザにより追加定義されることもできる。したがって、前者の場合、ユーザは、規則実行のための命令を入力する203段階をすぐ行うことができ、後者の場合、ユーザは、規則定義および規則実行のための命令を入力する201段階および203段階をすべて行うこともできる。
図3A〜図3Kは、本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
図3A〜図3Kは、まず図2を参照した説明で制御部170(例えば、規則設定モジュール173)がユーザ入力のうち自然言語に基づく音声入力を受け入れ、前記音声入力に反応して規則(例えば、条件およびアクション)を定義する動作の例示を示すものである。図3A〜図3Kを参照すれば、図3Aは、ユーザデバイス100のユーザが本発明の実施形態による状況認識サービスのためのアプリケーションを実行したときのユーザデバイス100の画面例示を示すものである。
図3Aに示されたように、状況認識サービスのためのアプリケーションは、ユーザが定義した規則のリスト(list)を表示するための第1メニュー(menu)310(例えば、マイメニュー、図3Aで“My Rule”)、定義された規則のうち現在実行されている規則のリストを表示するための第2メニュー320(例えば、アクティングメニュー、図3Aで“Acting Rule”)、新しい規則を追加定義するための第3メニュー350(例えば、追加メニュー、図3aで“Add Rule”)などを含むUI(User Interface)またはGUI(Graphical User Interface)(以下、画面インターフェース(display interface)という)を提供することができる。
また、前記画面インターフェースは、第1メニュー310または第2メニュー320のうち選択されたメニューアイテムに対応するリストを提供することができる。例えば、図3Aの例示のように、第1メニュー310が選択された状態であるとき、ユーザにより定義された各規則に対応するアイテム(item)(例えば、“家”アイテム330、“タクシー”アイテム340)のリストが表示されることができる。
また、前記アイテム330、340は、当該アイテムに設定された詳細情報を表示するためのプルダウンメニュー(pull−down menu)335を含むことができる。例えば、ユーザがプルダウンメニュー335を選択するとき、プルダウン(pull−down)またはドロップダウン(drop down)メニュー335が選択された当該アイテムの規則に設定された詳細情報が当該アイテムの下方に広がって表示されることができる。
図3Aのような状態で、ユーザは、新しい規則を追加定義するために第3メニュー350(Add Rule)を選択(例えば、タップに基づくタッチイベント)することができる。それでは、ユーザデバイス100の制御部170(例えば、規則設定モジュール173)は、規則を定義するための動作開始であるものと決定し、それにより、規則設定モードに切り替えて、それによる画面インターフェースを表示することができる。このような例示が前記図3Bに示されている。
図3Bは、ユーザデバイス100のユーザが規則を定義するための規則設定モードを実行したときのユーザデバイス100の画面例示を示すものである。本発明の実施形態において前記図3Bによる動作は、規則定義による動作実行方法に対するチュートリアル(tutorial)をユーザに提供するための動作に該当するもので、このようなチュートリアルを提供する動作は、ユーザ選択によって省略されることができる。
図3Bに示されたように、チュートリアルは、ポップアップウィンドウ(pop−up window)351を介して提供されることができる。制御部170は、チュートリアルが表示されるように動作するとき、ポップアップウィンドウ351の表示を制御し、ポップアップウィンドウ351内に規則を定義する方法を案内する実行情報(例えば、イメージ、テキストなど)を表示することができる。例えば、前記実行情報は、音声認識動作状態を指示するイメージ351cと規則を定義する方法を案内するテキスト351d(例えば、次のようにルールを作ってください。“地下鉄と言えば、音楽を再生してくれ”、“地下鉄と言えば、次をしてくれ”)などを含んで提供されることができる。また、チュートリアルを提供するポップアップウィンドウ351は、規則定義する次の動作に進行するための選択メニュー351a(例えば、確認)と規則定義を取り消す動作に進行するための選択メニュー351b(例えば、取り消し)とを含むことができる。図3Bのようなチュートリアルが行われる動作で前記ポップアップウィンドウ351の選択メニュー351a、351bの選択によって規則定義のための次の動作が行われるか、または規則定義のための動作が取り消されることができる。
図3Cないし図3Kは、本発明の実施形態において規則設定モードに進入し、新しい規則を定義する動作を示すものである。図3C〜図3Kでは、当該規則の条件およびアクションを設定する自然言語に基づく音声をユーザから入力され、ユーザ入力によって当該規則を設定する動作例示を示す。
図3C〜図3Kに示されたように、図3Cで、制御部170は、規則設定モード進入に反応してユーザの音声入力を案内(例えば、“ルールを話してください”)するポップアップウィンドウ353を表示した後、ユーザの音声入力を待機することができる。図3Cのような状態で、ユーザは、定義する規則のタイプ(例えば、単数構造または複数構造など)によって自然言語に基づいて1つまたはそれ以上の条件と、当該条件に設定する1つまたはそれ以上のアクションに対する音声を入力することができる。
例えば、図3Cのような状態で、ユーザは、“地下鉄と言えば、次をしてくれ”と音声を入力することができる。それでは、制御部170は、前記ユーザの音声入力を認識し、図3Dのように、音声認識による結果画面をポップアップウィンドウ355を通じて提供することができる。一実施形態によれば、制御部170は、“命令語[地下鉄]何をしてあげましょうか?”のように音声認識に対する結果と“地下鉄”という条件で行うアクションに対する音声入力を案内(例えば、“何をしてあげましょうか?”)するポップアップウィンドウ355を表示した後、ユーザの音声入力を待機することができる。
図3Dのような状態で、ユーザは、“ワイファイ(Wi−Fi)オンしてくれ”と音声を入力することができる。それでは、制御部170は、前記ユーザの音声入力を認識し、図3Eのように、音声認識および先立って入力された条件(例えば、地下鉄)とそれによるアクション(例えば、Wi−Fiターンオン)をマッピングする動作中であることを案内(例えば、認識中)するポップアップウィンドウ359を提供することができる。本発明の多様な実施形態において、前記認識動作による関連画面表示は、省略されることもできる。
制御部170は、前述した認識およびマッピング動作が完了するとき、図3fのように、それによる結果画面をポップアップウィンドウ359を通じて提供することができる。例えば、制御部170は、ユーザの音声入力によって新しい規則が定義され、定義された規則およびそのアクションに対する情報を案内するポップアップウィンドウ359を提供することができる。一実施形態によれば、前記ポップアップウィンドウ359を通じて示したように、制御部170は、“新しいルールが生成され、生成されたルールの条件が地下鉄であり、地下鉄の条件で実行されるアクションがWi−Fiのターンオン設定”であることを案内し、それに対するユーザ確認(例えば、確認および取り消し)を要求するメニューを提供することができる。図3Fのような状態で、ユーザは、前述した手続によって設定された規則を定義しようとするとき、確認メニューを選択することができ、上記のように設定された規則を取り消そうとするとき、取り消しメニューを選択することができる。
図3Fのような状態で、ユーザが確認メニューを選択(または音声入力)するとき、図3Gのように、ユーザの次の音声入力を案内(例えば、“次を話してください”するポップアップウィンドウ361を表示した後、ユーザの音声入力を待機することができる。図3Gのような状態で、ユーザは、“振動に変えてくれ”と音声を入力することができる。それでは、制御部170は、前記ユーザの音声入力を認識し、図3Hのように音声認識および先立って入力された条件(例えば、地下鉄)とそれによる追加アクション(例えば、振動設定)をマッピングする動作中であることを案内(例えば、認識中)するポップアップウィンドウ363を提供することができる。そして制御部170は、前述した認識およびマッピング動作が完了するとき、図3iのように、それによる結果画面をポップアップウィンドウ365を通じて提供することができる。例えば、制御部170は、ユーザの音声入力によって設定が進行中の規則およびそのアクションに対する情報を案内するポップアップウィンドウ365を提供することができる。一実施形態によれば、前記ポップアップウィンドウ365を通じて示されたように、制御部170は、“新しいルールが生成され、生成されたルールの条件が地下鉄であり、地下鉄の条件で実行される追加アクションが振動モードに切替設定”であることを案内し、それに対するユーザ確認(例えば、確認および取り消し)を要求するメニューを提供することができる。図3iのような状態で、ユーザは、前述した手続によって設定された規則を定義しようとするとき、確認メニューを選択することができ、上記のように設定された規則を取り消そうとするとき、取り消しメニューを選択することができる。
図3Iのような状態で、ユーザが確認メニューを選択するとき、図3Jのように、ユーザの次の音声入力を案内(例えば、“次を話してください”)するポップアップウィンドウ367を表示した後、ユーザの音声入力を待機することができる。図3Iのような状態で、ユーザは、“エンド(または終了など)”と音声を入力することができる。それでは、制御部170は、前記ユーザの音声入力を認識し、図3Kのように、図3B〜図3Jによって進行された規則定義によって設定された条件およびそれに対応する1つまたはそれ以上のアクションに対する情報を提供することができる。
例えば、制御部170は、図3Kに示したように、先立って手続によって進行された規則定義動作で前記規則の条件が地下鉄であり、前記条件によって実行されるアクションが“Wi−Fiのターンオン設定”と“振動モード切替設定”であることを示すことができる。このように、追加定義された規則は、先立って図3Aで説明した規則リストで前記追加された定義が含まれて提供されることができる。例えば、ユーザにより以前に定義された規則に対応するアイテム(例えば、“家”アイテム330、“タクシー”アイテム340)に前記新しく追加定義された規則に対応するアイテム(例えば、“地下鉄”アイテム360)が追加されて現われることができ、前記新しく追加された“地下鉄”アイテム360に対する詳細情報(例えば、条件およびそのアクション)が広がった形態で提供されることができる。前記画面インターフェースは、デバイスの多様な設定を表示することができる。例えば、前記画面インターフェースは、Wi−Fi設定371とサウンド設定373などを表示することができる。前記デバイスの設定は、アイテム(例えば、アイテム330、アイテム340、および/またはアイテム360)と連関されることができる。
一方、以上で、図3A〜図3Kを参照して説明したように、本発明の多様な実施形態によれば、1つの条件に1つまたはそれ以上のアクションをマッピングすることができる。すなわち、本発明の実施形態によれば、単数構造による規則定義動作と複数構造による規則定義動作を支援することができる。これを整理して見れば、次の通りである。
前記単数構造による規則定義動作を要約すれば、下記の表1のように示すことができる。
前記複数構造による規則定義動作を要約すれば、下記の表1のように示すことができる。
前記表1および前記表2に開示されたように、「“家”と言えば、ベル音に変えてくれ。」のように、単純If条件文の形態で可能であり、または「“家”と言えば、電話がかかってくるとき、テレビ音を消去してくれ。」のように、重複If条件文の形態でも可能である。また、本発明の実施形態によれば、単純If条件文または重複If条件文による1つまたはそれ以上の条件に対して複数のアクション(例えば、端末機機能、状況による多重アプセサリ(Multi−Appcessory(App+Accessory)連動、クラウド(Cloud)サービス使用)が設定されることができる。例えば、複数のアクションのうち端末機機能の場合、Wi−Fiモード設定、ベル音/振動/無音モード変更、文字伝送(受信者、内容音声設定)、カメラフラッシュ点灯などが含まれることができ、状況による多重アプセサリの場合テレビ音消去設定、LED電球点灯などが含まれることができ、クラウドサービス使用の場合ユーザ位置把握(例えば、GPS利用)後、文字伝送などが含まれることができる。
このような本発明の実施形態で規則に設定されることができる条件(または命令)の種類および少なくとも1つの条件に対して設定されることができるアクションの種類を整理して記述すれば、次の表3のように示すことができる。
一方、本発明の多様な実施形態によれば、ユーザが特定条件に対して実行しようとするアクションによってユーザデバイス100は、付加的に必要な情報をユーザに音声またはテキストでフィードバック(feedback)しながらインタラクション(interaction)(例えば、質疑応答方式)動作を行うことができる。例えば、本発明の多様な実施形態によれば、ユーザデバイス100で支援可能なすべてのアクションに対してユーザからどんな情報を受けなければならないかをあらかじめデータベース(DB、Data Base)化されて提供されることができる。一実施形態によれば、文字を伝送するアクションの場合、受信者と文字内容に対する追加的な情報が必要であるということをユーザデバイス100が認知し、ユーザに音声およびテキストで追加情報を入力するように誘導することができ、また、誤った入力値の場合、エラーを通知し、再入力を要請および受信することができる。このような動作例示について、下記図4A〜図4Jを参照して説明する。
図4A〜図4Jは、本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
図4A〜図4Jを参照すれば、制御部170は、先立って図3A(または図3B動作を含む)のような状態で、ユーザの規則設定モード進入に反応してユーザの音声入力を案内(例えば、“ルールを話してください”)するポップアップウィンドウ451を表示した後、ユーザの音声入力を待機することができる。図4Aのような状態で、ユーザは、定義する規則のタイプ(例えば、単数構造または複数構造など)によって自然言語に基づいて1つまたはそれ以上の条件と、当該条件に設定する1つまたはそれ以上のアクションに対する音声を入力することができる。
例えば、図4Aのような状態で、ユーザは、“タクシーと言えば、次をしてくれ”と音声を入力することができる。それでは、制御部170は、前記ユーザの音声入力を認識し、図4Bのように、音声認識による結果画面をポップアップウィンドウ453を通じて提供することができる。一実施形態によれば、制御部170は、“命令語[タクシー]何をしてあげましょうか?”のように、音声認識に対する結果と“タクシー”という条件で行うアクションに対する音声入力を案内(例えば、“何をしてあげましょうか?”)するポップアップウィンドウ453を表示した後、ユーザの音声入力を待機することができる。
図4Bのような状態で、ユーザは、“文字を送ってくれ”と音声を入力することができる。それでは、制御部170は、前記ユーザの音声入力を認識し、図4C〜図4Fのように、前記アクション(例えば、“文字を送ってくれ”)に対してユーザから入力されなければならない情報を認識し、それに対するフィードバックを提供するインタラクション動作を行うことができる。
例えば、図4Cに示されたように、制御部170は、前記“文字を送ってくれ”のアクションに対して追加されることができる情報である“受信者”に対して入力することを案内(例えば、“命令語[タクシー]受信者を話してください。”)するポップアップウィンドウ455を表示した後、ユーザの音声入力を待機することができる。図4cのような状態で、ユーザは、文字を伝送する特定受信者情報(例えば、“ボーイフレンド”)に対する音声を入力することができる。それでは、制御部170は、前記ユーザの音声入力を認識し、図4Dに示されたように、前記“文字を送ってくれ”のアクションに対して追加されることができる情報である“文字内容”に対して追加入力することを案内(例えば、“To.[ボーイフレンド]文字内容を話してください。”)するポップアップウィンドウ457を表示した後、ユーザの音声入力を待機することができる。すなわち、制御部170は、図4Cで入力された受信者(例えば、“ボーイフレンド”)のアクションに対する追加的な情報が必要であるということを認知し、それによって伝送する文字の内容に対して入力することを要請することができる。
図4Dのような状態で、ユーザは、図4Dで入力された受信者(例えば、“ボーイフレンド”)に伝送する文字内容を入力することができる。一実施形態によれば、ユーザは、“ボーイフレンド”に伝送する文字内容で“私の位置を送ってくれ”という音声を入力することができる。それでは、制御部170は、前記ユーザの音声入力を認識し、図4Eに示されたように、前記“位置伝送”のアクションに対する追加的な情報が必要であるということを認知し、ユーザに前記“位置伝送”に対する周期を案内(例えば、To.[ボーイフレンド]何分ごとに送りましょうか?”)するポップアップウィンドウ459を表示した後、ユーザの音声入力を待機することができる。
図4Eのような状態で、ユーザは、“私の位置伝送”に対して伝送する周期を入力することができる。一実施形態によれば、ユーザは、“私の位置伝送”に対する周期で“5分ごとに”という音声を入力することができる。それでは、制御部170は、前記ユーザの音声入力を認識し、図4Fに示されたように、それに対する結果画面を提供することができる。
例えば、図4Fに示されたように、ユーザが現在定義しようとする規則の条件に設定された条件情報410と、前記条件に対するアクションに設定されたアクション情報411、413、415、417に対してポップアップウィンドウ461を通じて提供されることができる。特に、前記アクション情報411、413、415、417の場合、初めて設定されるアクションによって付加的に設定されたアクションが提供されることができる。一実施形態によれば、第1アクションとして“メッセージ伝送411”が設定されることができ、前記第1アクションによるメッセージを伝送する対象である第2アクションとして“ボーイフレンド413”が設定されることができ、前記第1アクションおよび第2アクション(または第2アクション)によってボーイフレンドに伝送するメッセージの内容である第3アクションとして“私の位置伝送415”が設定されることができ、前記第1アクション〜第3アクション(または第3アクション)によってボーイフレンドに私の位置に対するメッセージを伝送する周期の第4アクションとして“5分(417)”が設定されることができる。すなわち、本発明の実施形態によれば、制御部170は、前述したように、アクションによって付加的に必要な情報をユーザに音声またはテキストで質問しながらインタラクション動作を行うことができる。この際、制御部170は、アクションに対するインタラクション動作のうち追加的な情報がこれ以上不要なアクションに対してこれを認知し、図4Fのように、要請された条件(例えば、“タクシー410”)に対して設定されたアクション(例えば、“メッセージ伝送411”、“ボーイフレンド413”、“私の位置伝送415”、“5分(417)”)に対する情報をポップアップウィンドウ461を通じて提供することができる。これにより、ユーザは、“タクシー”という条件でボーイフレンドに5分ごとに私の位置を含むメッセージを伝送するアクションを有する規則を定義することができる。
一方、図4Fのような状態で、ユーザは、前述した手続によって設定された規則の条件(例えば、タクシー)に対するアクション(例えば、ボーイフレンド、私の位置伝送、5分)を定義しようとするとき、確認メニューを選択することができ、上記のように設定された規則を取り消すかまたは再設定しようとするとき、取り消しメニューを選択することができる。
図4Fのような状態で、ユーザが確認メニューを選択(または音声入力)すれば、(例えば、“確認”と言えば)、図4Gのように、ユーザの次音声入力を案内(例えば、“次を話してください”)するポップアップウィンドウ463を表示した後、ユーザの音声入力を待機することができる。図4Gのような状態で、ユーザは、前記条件(例えば、タクシー)に対する追加的なアクションとしてマナーモードへの切替設定のために“振動に変えてくれ”と音声を入力することができる。それでは、制御部170は、前記ユーザの音声入力を認識し、図4Hのように音声認識および先立って入力された条件(例えば、タクシー)とそれによる追加アクション(例えば、振動設定)に対する結果画面をポップアップウィンドウ465を通じて提供することができる。一実施形態によれば、前記ポップアップウィンドウ465を通じて示したように、制御部170は、“新しいルールが生成され、生成されたルールの条件がタクシーであり、タクシーの条件で実行される追加アクションが振動モードに切替設定”であることを案内し、それに対するユーザ確認(例えば、確認および取り消し)を要求するメニューを提供することができる。
図4Hのような状態で、ユーザが確認メニューを選択するとき、図4Iのように、ユーザの次の音声入力を案内(例えば、“次を話してください”)するポップアップウィンドウ467を表示した後、ユーザの音声入力を待機することができる。図4Iのような状態で、ユーザは、進行中の規則に対する追加設定を終了しようとするとき、“エンド(または終了など”)と音声を入力することができる。それでは、制御部170は、前記ユーザの音声入力を認識し、図4Jのように、前記図4A〜図4Iによって進行された規則に設定された条件およびそれに対応する1つまたはそれ以上のアクションに対する情報を提供することができる。
例えば、制御部170は、図4Jに示したように、先立って手続きによって進行された規則定義動作で前記規則の条件がタクシーであり、前記条件によって実行されるアクションが“メッセージ伝送”と“サウンド設定”に該当し、それに対する詳細情報として“ボーイフレンドに私の位置を5分ごとにメッセージで伝送”であり、“サウンド設定で振動”が設定されていることを案内する結果画面を提供することができる。
一方、本発明の多様な実施形態によれば、図4A〜図4Fに示されたように、ユーザが入力するアクションによって付加的に必要な情報をユーザに音声またはテキストで質問しながらインタラクションを動作を行うことができる。また、本発明の多様な実施形態によれば、図4G〜図4Iに示されたように、追加的な情報が不要なアクション(例えば、サウンド設定など)を認知することができ、追加的な情報が不要なアクションに対しては、追加的なユーザ入力を要請することなく、次の動作をすぐ進行することができる。
以上では、本発明の多様な実施形態によって規則を定義する動作について説明した。以下では、上記のように定義された特定規則を実行する動作例示について説明する。本発明の多様な実施形態によれば、定義された規則に対する実行は、先立って説明したように、ユーザの音声またはテキスト入力によってすぐ実行されることができる。また、定義された規則に対する実行は、以下で説明するように、ユーザデバイスでユーザの定義による規則に対してウィジェット(widget)を生成し、前記ウィジェットによって当該規則を実行することもできる。すなわち、本発明の多様な実施形態によれば、ウィジェットを通じて規則に対する命令をすぐ実行することができるように支援することができる。
また、本発明の多様な実施形態において規則生成時に、規則を生成する動作中に通話受信またはその他の動作によるインタラプトが発生し、規則生成動作が不可能な場合、インタラプト発生時点まで進行中であった規則を格納(または臨時格納)し、インタラプトによる動作が行われるようにすることができる。
図5A〜図5Eは、本発明の実施形態によるユーザデバイスで規則を実行する動作例示を示す図である。
図5A〜図5Eは、先立って図2を参照した説明で制御部170(例えば、規則実行モジュール175)がユーザ入力中に自然言語に基づく音声入力を受け入れ、前記音声入力に反応して規則を実行し、制御部170(例えば、条件感知モジュール177)が規則実行に反応して前記規則に対応する条件を感知し、制御部170(例えば、アクション実行モジュール179)が条件感知(例えば、状況(context)が検出されるとき)に反応して当該条件に対応する1つまたはそれ以上のアクションを実行する動作の例示を示すものである。
図5A〜図5Eを参照すれば、図5Aは、本発明の実施形態による状況認識サービスのためのウィジェットが提供されているときのユーザデバイス100の画面例示を示すものである。
図5Aに示されたように、状況認識サービスのためのウィジェット500は、ユーザデバイス100のホーム画面(またはメニュー画面など)で表示されることができる。前記ウィジェット500は、規則実行を命令するユーザ入力(例えば、タップ、タッチ)を受け入れるための命令入力領域(または規則実行ボタン)510と、ユーザにより定義された規則のうち現在動作中の規則に対する情報を表示する実行情報領域520とを含むことができる。また、前記ウィジェット500は、実行中の規則などに対する情報を更新するためのリフレッシュ機能を提供するアイテム530をさらに含むことができる。一実施形態によれば、前記命令入力領域510は、ユーザの直観性が考慮されることができるイメージとテキストを含んで提供されることができる。そして、図5aの例示では、現在実行中の規則がない状態の例示を示したもので、前記実行情報領域520には、動作中の規則がないことが案内されることができる。
図5Aのような状態で、ユーザは、規則を実行するために前記命令入力領域510を選択(例えば、タップに基づくタッチイベントなど)することができる。それでは、制御部170(例えば、規則実行モジュール175)は、規則を実行するための動作開始であるものと決定し、それによって実行しようとする規則に対する情報入力(例えば、音声)を案内(例えば、“命令語を話してください”)するポップアップウィンドウ551を表示した後、ユーザの音声入力を待機することができる。
図5Aのような状態で、ユーザは、実行しようとする当該規則に対する音声(例えば、“地下鉄”)を入力することができる。それでは、制御部170は、前記ユーザの音声入力を認識し、図5Cに示されたように、前記“地下鉄”に対応する規則をローディング(loading)中であることを案内(例えば、認識中)するポップアップウィンドウ553を提供することができる。本発明の多様な実施形態において前記認識動作による関連画面表示は、省略されることもできる。
制御部170は、前述した認識およびローディング動作が完了するとき、図5Dのように、それによる結果画面をポップアップウィンドウ555を通じて提供することができる。例えば、制御部170は、ユーザの音声入力によって実行する規則と、前記規則による条件およびアクションに対する情報をポップアップウィンドウ555を通じて提供することができる。一実施形態によれば、制御部170は、実行する規則が“地下鉄”であり、その条件として“地下鉄”が設定(例えば、[地下鉄]実行)されており、前記条件によって動作するアクションとして“Wi−Fiターンオン”および“振動切替”が設定(例えば、‘Wi−Fi’on、‘振動’設定)されていることを案内することができる。本発明の多様な実施形態において前記実行される規則に対する情報提供動作と関連した画面表示は、省略されることができ、後述する図5Eの動作にすぐ進行されることもできる。そして、図5Eの動作は、設定された所定の時間の間に表示された後、所定の時間が経過する時点で図5Eの動作に自動切り替えられることができる。
図5Dのような状態で、所定の時間が経過するとき、制御部170は、図5Eに示されたように、前記ウィジェット500の実行情報領域520にユーザにより実行された規則(または現在動作中の規則)に対する情報(例えば、地下鉄)をイメージまたはテキストのうち少なくとも1つを利用して提供することができる。例えば、図5Eに示されたように、ウィジェット500の実行情報領域520が“動作中のルールがありません。”の代わりに、地下鉄に対応するアイコンおよびテキストが表示されることができる。また、図5Eに示されたように、制御部170は、規則実行に反応して、ユーザデバイス100の多様な動作状態情報を提供するインジケータ領域(indicator area)に規則が動作中にあることを通知する通知アイテム(notification item)550を提供することもできる。前記通知アイテムについて後述する。
そして、図5Eでは、1つの規則が動作することを例示として示したが、前記手続を通じて複数の規則が実行されることができ、このような場合、前記実行情報領域520では、実行中の複数の規則に対する情報が提供されることができる。また、前記では、命令入力領域510が選択される時、ユーザ音声入力を要請する動作として進行することを例示したが、本発明の多様な実施形態によれば、前記命令入力領域510の選択に反応してユーザにより定義された規則に対する規則リストを提供し、規則リストでユーザが実行しようとする少なくとも1つの規則を選択される動作として進行されることもできる。
一方、制御部170(例えば、条件感知モジュール177)は、上記のように定義された多様な規則のうち特定規則が動作中の状態で、動作中の当該規則に反応する条件を感知するように動作することができる。そして、制御部170(例えば、アクション実行モジュール179)は、当該規則の条件が感知されるとき、当該条件にマッピングされた1つまたはそれ以上のアクションを実行するように動作することができる。一実施形態によれば、制御部170(例えば、アクション実行モジュール179)は、前記規則の条件に対応する状況(context)にマッピングされた少なくとも1つのアクションを実行することができる。
以上のように、本発明の多様な実施形態によれば、ウィジェット500を通じて規則を実行することができる。一実施形態によれば、ユーザは、ウィジェット500で命令入力領域(または規則実行ボタン)510を選択し、設定された規則(または命令語)に対する音声を言うことができる。それでは、制御部170は、規則の開始を通知しながらどんなアクションが行われるかをテキストポップアップまたは音声(例えば、TTS(Text To speech)動作)でユーザにフィードバックすることができる。そして、制御部170は、実行する当該規則に対して実行情報領域520に追加しながら、インジケータ領域を通じて実行中の規則があることを通知する通知アイテム550を表示することができる。前記通知アイテム550については、後述する。
以下では、本発明の多様な実施形態による状況認識サービス運用方法に対する具体的動作例示について下記図面(例えば、図6〜図13)を参照して説明する。
図6は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
図6を参照すれば、図6は、ユーザが音声を利用して規則を設定および実行し、ユーザデバイス100が前記規則に従って定義された条件を認知し、それによるアクションを実行する動作の例示を示したものである。特に、図6では、ユーザが特定条件1(例えば、家)でアクション1(例えば、サウンド設定)を実行し、前記条件1の下に行われる二重条件(条件2)(例えば、電話がかかってくるとき)としてアクション2(例えば、電灯点滅)およびアクション3(例えば、テレビ音消去(mute))が行われるようにする規則に対する動作例示を示したものである。
図6に示されたように、ユーザは、ユーザデバイス100を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス100を操作して規則生成のための機能を活性化し、ユーザデバイス100とのインタラクションを通じて特定位置でベル音を自動切替し、前記特定位置から電話がかかってくるとき、電灯点滅およびテレビ音消去を制御するようにする規則を定義することができる。一実施形態によれば、ユーザは、“家では、サウンド設定をベル音に変え、家から電話がかかってくるとき、電灯を点滅し、テレビを音消去”することと関連した規則をユーザデバイス100との段階別インタラクション動作によって定義することができる。このような規則を定義する動作は、図3A〜図4Jを参照した規則生成動作によって行われることができる。ここで、前記規則を定義する動作は、自然言語に基づいて入力されて設定されることができる。
そして、ユーザは、音声またはテキストを利用した自然言語に基づいて前記定義された規則の実行を命令することができる。図6で定義された規則による状況認識対象、すなわち条件は、“[家]という音声が入力されるとき、家から電話がかかってくるとき”になることができ、前記条件によるアクション実行対象は、“ベルサウンド設定、電灯瞬き、テレビ音消去”になることができる。図6でユーザは、別途の定義をしないが、ユーザデバイス100では、実行アクションによって付加的なアクション実行を内部的に管理することもできる。例えば、電話がかかってくるとき、電灯点滅およびテレビ音消去に対応して、“電話を受ければ、電灯は、以前状態に戻り、電話を終えれば、テレビ音を自動再生”する追加的なアクションが遂行されるように動作することができる。
一方、ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された規則を実行することができる。例えば、ユーザが外部から家に入るとき、図5A〜図5Eのような動作例示に準じて、“家”という音声を入力することができる。それでは、ユーザデバイス100は、現在動作中の1つまたはそれ以上の規則のうち前記“家”に対応する規則が動作中であるかを確認することができる。ユーザデバイス100は、前記“家”に対応する規則が動作中の場合、前記“家”という規則に設定された1つまたはそれ以上の条件および当該条件に対するアクションを確認することができる。
ユーザデバイス100は、前記“家”という規則に定義された一番目の条件として“家”を認知し、それに対応する一番目のアクションとして“ベル音モード変更”を認知することができる。したがって、ユーザデバイス100は、ユーザの“家”という音声入力に反応してユーザデバイス100のサウンド設定をベル音モードに自動変更610することができる。
また、ユーザデバイス100は、前記“家”という規則に定義された二番目の条件として“電話がかかってくるとき”を認知し、それに対するインタラプト(例えば、外部からの電話受信)をチェック(判別)することができる。その後、ユーザデバイス100は、外部から電話が受信されれば(620)、当該インタラプトに反応して前記“家”という規則に定義された二番目の条件として“電話がかかってくるとき”を認知することができる。そして、ユーザデバイス100は、前記電話受信に反応して、二番目のアクションとして“電灯点滅630”および三番目のアクションとして“テレビ音消去640”を制御するように動作することができる。
一方、ユーザデバイス100は、電話受信によるアラーム(例えば、電話ベル発生)中にユーザにより電話が受諾(例えば、通話連結)されれば、電灯を以前状態に復帰を制御するように動作することができ、また、通話連結が終われば、テレビ音消去解除によって音再生を制御するように動作することもできる。
図7は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
図7を参照すれば、図7は、ユーザが音声を利用して規則を設定および実行し、ユーザデバイス100が前記規則に従って定義された条件を認知し、それによるアクションを実行する動作の例示を示すものである。特に、図7では、ユーザが自分の位置(またはユーザデバイスの位置)を設定された時間ごとに指定された少なくとも1つのターゲットユーザデバイスに自動伝送するようにする規則を定義することができる。そして、ユーザデバイス100は、ユーザ入力によって前記規則を実行し、実行規則で定義された時間ごとに前記少なくとも1つのターゲットユーザデバイスに位置情報を伝送するアクションを実行する場合の例示を示すものである。
図7に示されたように、ユーザは、ユーザデバイス100を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス100を操作して規則を生成することができる機能(またはアプリケーション)を活性化し、少なくとも1つのターゲットユーザデバイス200に設定された時間ごとに位置情報を伝送するようにする規則を定義することができる。一実施形態によれば、ユーザは、“私がタクシーに乗ったら、パパと弟に5分ごとに私の位置情報を知らせてくれ”のように規則を生成することができる。この際、前記規則は、前述したように、マイク143を通じて音声に基づいて入力されるか、または後述するように、ユーザ入力部120またはタッチスクリーン130を通じてテキストに基づいて入力されることができる。前記音声またはテキストは、前記例示のように、自然言語に基づいて入力されて設定されることを特徴とする。図7で定義された規則による状況認識対象、すなわち、条件は、“移動変化があるとき”になることができ、前記条件によるアクション実行対象は、“パパと弟に5分ごとに位置情報伝送”になることができる。
ユーザデバイス100は、ユーザ要請に従って前記規則を定義するとき、位置情報を伝送する少なくとも1つのターゲットユーザデバイス200を指定するためのインターフェースを提供し、ユーザ入力によって前記少なくとも1つのターゲットユーザデバイス200の情報(例えば、電話番号、名前、ニックネームなど)を前記規則にマッピングして格納することができる。前記規則は、あらかじめ定義されるか、またはユーザ必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができる。
また、ユーザは、前記規則定義時に与えられるインターフェースを通じて前記規則を実行するための別途の命令を音声、テキストまたはジェスチャーに基づいて入力することができる。それでは、ユーザデバイス100は、前記定義された規則と前記命令をマッピングして格納することができる。ここで、ユーザデバイス100は、音声に基づいて命令が入力されるとき、音声の波形を格納することができ、または、入力された音声をテキストに変換して格納することもできて、または音声の波形および変換されたテキストをすべて格納することもできる。
ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された命令(例えば、音声、テキスト、またはジェスチャーなど)で規則を実行することができる。例えば、ユーザは、図5A〜図5Eのような動作例示に準じて、タクシー(TAXI)に乗る前またはタクシーに乗りながら音声で前記定義された規則を実行するための当該命令(例えば、“タクシー”、“タクシーモード”、“今タクシーに乗りなさい”などの音声)を入力することができる。ここで、前記命令は、マイク143を通じて音声に基づいて入力されることを例示するが、ユーザ入力部120またはタッチスクリーン130を通じてテキストに基づいて入力されるか、またはジェスチャーに基づいて入力されることもできる。前記音声およびテキストは、前記例示のように自然言語に基づいて入力されることを特徴とする。
また、ユーザは、前記規則(または条件、状況認識など)を実行するための音声を入力しようとするとき、ユーザデバイス100に規則実行のための音声入力を行うことを通知する動作を先行することもできる。例えば、音声で規則(または条件、状況認識など)を実行する方式の場合、マイク143を活性化する動作が必要なことがある。すなわち、音声入力を待機するためにマイク143を常時ターンオン状態に維持するとき、意図しない音声入力で不要な動作やエラーが発生することができる。したがって、音声入力方式では、マイク143を活性化する特定動作(例えば、ウィジェット、ジェスチャーまたは機能キーなど)を定義し、音声入力前にマイク143をターンオンするために定義された当該動作が先行されることができる。一実施形態によれば、ユーザは、定義されたジェスチャーを行った後、音声を入力するか、または定義された機能キーを押圧した状態で音声を入力するか、またはウィジェットの規則実行ボタンを選択した後、音声を入力することができる。
ユーザデバイス100は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。例えば、ユーザデバイス100は、特定規則に対応する音声が入力されるとき、あらかじめ定義された規則(例えば、各規則別にマッピングされた音声波形)のうち入力音声に対応する音声波形を検索することができる。または、ユーザデバイス100は、あらかじめ定義された規則(例えば、各規則別にマッピングされたテキスト)のうち入力音声をテキストに変換し、変換されたテキストに対応するテキストを検索することができる。または、あらかじめ定義された規則(例えば、各規則別にマッピングされた音声波形およびテキスト)のうち前記入力音声に対応する音声波形およびテキストをすべて検索することもできる。
ユーザデバイス100は、規則実行によって条件(状況)認識を行うことができる。例えば、ユーザデバイス100は、前記定義された規則に従ってユーザの“今タクシーに乗りなさい”のような条件1を認知し、前記条件1によって動作して設定された時間(例えば、5分)のような条件2をチェックすることができる。そして、ユーザデバイス100は、前記条件2の設定された時間ごとにユーザデバイス100の位置情報を獲得するアクション1を行うように動作することができる。また、ユーザデバイス100は、アクション1の実行によって獲得された位置情報を指定された少なくとも1つのターゲットユーザデバイス200に伝送するアクション2を行うように動作することができる。
一方、前記少なくとも1つのターゲットユーザデバイス200は、前記ユーザデバイス100から位置情報が受信されるとき、あらかじめ定義されたインターフェースを通じて前記ユーザデバイス100に対する位置情報をフィードバックすることができる。例えば、図7に示されたように、ターゲットユーザデバイス200は、マップイメージとともにユーザデバイス100のユーザ位置情報を示すことができる。この際、前記マップイメージと位置情報は、ユーザデバイス100で加工されて伝送されるか、またはターゲットユーザデバイス200で位置情報を受信するとき、当該位置情報に対するマップイメージをマッピングして出力することもできる。
以上説明したような図7の実施形態によって、ユーザは、自分の位置に対して設定された時間ごとに指定された少なくとも1人の他のユーザに通知することができる。そして、少なくとも1人の他のユーザは、別途の行為を行うことなく、前記ユーザの位置および移動経路に対して提供されることができる。
図8は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
図8を参照すれば、図8は、コンポジットアプリケーション(Composite Application)を利用して規則を設定および実行し、ユーザデバイス100が前記規則に従って定義された条件を認知し、それによるアクションを実行する動作の例示を示すものである。特に、図8では、ユーザが自分の位置(またはユーザデバイス100の位置)を外部のイベントによって特定のターゲットユーザデバイス200に自動伝送するようにする規則を定義することができる。そして、ユーザデバイス100は、ユーザ入力によって前記規則を実行し、実行規則で定義されたターゲットユーザデバイス200からイベントが受信されるとき、前記ターゲットユーザデバイス200に位置情報を伝送するアクションを実行する場合の例示を示すものである。図8では、外部デバイス(例えば、ターゲットユーザデバイス200)からの入力(イベント)をユーザデバイス100内部で感知して指定されたアクションを実行する場合の例示を示す。
本発明の多様な実施形態において前記コンポジットアプリケーションは、多様なリソース(resource)から得たそれぞれ他の情報を最終ユーザに最も好ましい方式で、すなわちユーザが所望する方式で伝達するために画面構成をモジュール化し、ユーザの権限と役目によって画面構成および画面切替を異なるようにすることができるなどユーザ経験を最適化させるためのアプリケーションを示すことができる。
図8に示されたように、ユーザは、ユーザデバイス100を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス100を操作して規則を生成することができる機能(またはアプリケーション)を活性化し、少なくとも1つのターゲットユーザデバイス200からイベント(例えば、メッセージ受信)時ごとに位置情報を伝送するようにする規則を定義することができる。一実施形態によれば、ユーザは、“運転中に妻から通話が来れば、現在私の位置情報を知らせてくれ”のように規則を生成することができる。この際、前記規則は、前述したように、マイク143を通じて音声に基づいて入力されるか、または後述するように、ユーザ入力部120またはタッチスクリーン130を通じてテキストに基づいて入力されることができる。前記音声またはテキストは、自然言語に基づいて入力されて設定されることを特徴とする。図8で定義された規則による状況認識対象、すなわち条件は、“運転中の状態で妻から通話受信時”になることができ、前記条件によるアクション実行対象は、“イベント時ごとに位置情報を指定された対象に伝送”になることができる。また、追加的に、“運転中の状態で妻から‘どこなの’のような位置を確認するフレーズを含むメッセージ受信時”のように追加条件が設定されることもできる。
ユーザデバイス100は、ユーザ要請に従って前記規則を定義するとき、イベントを提供する対象である少なくとも1つのターゲットユーザデバイス200を指定するためのインターフェースを提供し、ユーザ入力によって前記少なくとも1つのターゲットユーザデバイス200の情報(例えば、電話番号、名前、ニックネームなど)を前記規則にマッピングして格納することができる。前記規則は、前述したように、あらかじめ定義されるか、またはユーザ必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができ、与えられるインターフェースを通じて前記規則を実行するための命令が音声、テキストまたはジェスチャーに基づいて入力されることができる。それでは、ユーザデバイス100は、前述したように、前記定義された規則と前記命令をマッピングして格納することができる。
ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された命令(例えば、音声、テキスト、またはジェスチャーなど)で規則を実行することができる。例えば、ユーザは、図5A〜図5Eのような動作例示に準じて、自動車に乗る前または自動車に乗りながら音声で前記定義された規則を実行するための当該命令(例えば、“運転”、“運転モード”、“運転するよ”など)の音声を入力することができる。ここで、前記命令は、マイク143を通じて音声に基づいて入力されることを例示にするが、ユーザ入力部120またはタッチスクリーン130を通じてテキストに基づいて入力されるか、またはジェスチャーに基づいて入力されることもできる。前記音声およびテキストは、前記例示のように自然言語に基づいて入力されることを特徴とする。また、ユーザは、前記命令を入力するとき、前述したように、ユーザデバイス100に命令入力を行うことを知らせる動作(例えば、マイク143をターンオンするための動作)を先行することもできる。
ユーザデバイス100は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。そして、ユーザデバイス100は、規則実行によって条件(状況)認識を行うことができる。例えば、ユーザデバイス100は、前記定義された規則に従ってユーザの“運転するよ”のような条件1を認知し、前記条件1によって動作して指定されたターゲットユーザデバイス200のような条件2から文字メッセージ(特定条件(例えば、“どこなの”を含む文字メッセージに設定されることもできる)受信のような条件3をチェックすることができる。この際、ユーザデバイス100は、前記条件2による前記ターゲットユーザデバイス200から条件3による文字メッセージが受信されれば、ユーザデバイス100の位置情報を獲得するアクション1を行うように動作することができる。また、ユーザデバイス100は、アクション1の実行によって獲得された位置情報を前記ターゲットユーザデバイス200に伝送するアクション2を行うように動作することができる。
一方、前記ターゲットユーザデバイス200は、前記ユーザデバイス100から位置情報が受信されるとき、あらかじめ定義されたインターフェースを通じて前記ユーザデバイス100に対する位置情報をフィードバックすることができる。例えば、図8に示されたように、ターゲットユーザデバイス200は、マップイメージとともにユーザデバイス100のユーザ位置情報を示すことができる。
以上説明したような図8の実施形態によって、ユーザは、指定したターゲットユーザから外部イベントが受信されれば、別途の動作を行うことなく、前記ターゲットユーザにユーザの位置を文字メッセージを通じてすぐ通知することができる。そして、前記ターゲットユーザは、前記ユーザの位置および移動経路に対して提供されることができる。
図9は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
図9を参照すれば、図9は、規則実行時に類似の複数の規則のうちユーザ選択または自動によっていずれか1つの規則を推薦するか、または規則実行時に類似の複数の規則を一緒に運用する動作の例示を示すものである。特に、図9では、ユーザが特定環境変化に従ってユーザデバイス100を通じてアラームをフィードバックするか、またはユーザデバイス100の特定機能を制御するようにする規則を定義することができる。そして、ユーザデバイス100は、ユーザ入力によって前記規則を実行し、前記規則で定義された環境変化が感知されるとき、ユーザデバイス100の特定機能を制御するか、またはアラームを出力するアクションを実行する場合の例示を示すものである。
図9に示されたように、ユーザは、ユーザデバイス100を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス100を操作して規則を生成することができる機能(またはアプリケーション)を活性化し、環境変化によるイベント時ごとにアラームを出力するようにする1つの規則(以下、第1規則)と、環境変化によるイベント時ごとにユーザデバイスの機能を制御するようにする他の1つの規則(以下、第2規則)を生成することができる。一実施形態によれば、ユーザは、“運転中に時速80Km/h以上なら警告アラーム出力”のような第1規則と、“運転中に時速60Km/h以上ならオーディオボリューム(自動車のオーディオボリュームまたはユーザデバイス100のオーディオボリューム)を増加”のような第2規則を生成することができる。この際、前記規則は、前述したように、マイク143を通じて音声に基づいて入力されるか、またはユーザ入力部120またはタッチスクリーン130を通じてテキストに基づいて入力されることができる。前記音声またはテキストは、自然言語に基づいて入力されて設定されることができる。図9で定義された規則による状況認識対象、すなわち条件は、“運転中の状態で環境変化(すなわち、速度変化)が一定基準値以上”になることができ、前記条件によるアクション実行対象は、“アラーム出力またはオーディオボリューム制御”になることができる。
前記第1規則および第2規則は、前述したように、あらかじめ定義されるか、またはユーザの必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができ、与えられるインターフェースを通じて前記規則を実行するための命令が音声、テキストまたはジェスチャーに基づいて入力されることができる。それでは、ユーザデバイス100は、前述したように、前記定義された規則と前記命令をマッピングして格納することができる。図9では、前記第1規則および第2規則のように複数の規則に対して1つの同一の命令がマッピングされる場合を例示にする。
ユーザは、上記のように規則(第1規則および第2規則)が定義された状態で、ユーザ必要に応じて前記定義された命令(例えば、音声、テキスト、またはジェスチャーなど)で規則を実行することができる。例えば、ユーザは、図5A〜図5Eのような動作例示に準じて、自動車に乗る前または自動車に乗りながら音声に定義された規則を実行するための命令(例えば、“運転”、“運転モード”、“運転するよ”などの音声)を入力することができる。ここで、前記命令は、マイク143を通じて音声に基づいて入力されることを例示するが、ユーザ入力部120またはタッチスクリーン130を通じてテキストに基づいて入力されることができ、またはジェスチャーに基づいて入力されることもできる。ユーザは、前記音声に基づく命令を入力するとき、前述したように、ユーザデバイス100に命令入力を行うことを知らせる動作(例えば、マイク143をターンオンするための動作)を先行することもできる。
ユーザデバイス100は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。そして、ユーザデバイス100は、規則実行によって条件(状況)認識を行うことができる。例えば、ユーザデバイス100は、前記定義された規則に従ってユーザの“運転するよ”のような条件1を認知し、前記条件1によって動作し、移動速度が特定条件(例えば、60Km/h以上、80Km/h以上)に到逹するかどうかのような条件2をチェックすることができる。この際、ユーザデバイス100は、移動速度が前記条件2による移動速度に到逹すれば、当該条件に合致する機能実行を処理するアクション1を行うように動作することができる。例えば、60Km/h以上の条件に合致すれば、前記定義された第2規則に従ってオーディオボリューム(例えば、設定条件によってユーザデバイス100のオーディオボリュームまたは自動車のオーディオボリューム)を増加するアクションを行うことができる。または80Km/h以上の条件に合致すれば、前記定義された第1規則に従って警告アラームを発生するアクションを行うことができる。
一方、ターゲットユーザデバイス200は、上記のように1つの命令に対して複数の規則(例えば、第1規則および第2規則)が定義された場合で、条件(状況)認識によるアクション実行時複数の規則の中で少なくとも1つの規則を選択するように当該規則(例えば、第1規則および第2規則)に対する規則推薦を提供することができる。例えば、図9に示されたように、前記命令に対して定義された第1規則(80Km/h以上)と第2規則(60Km/h)が定義されていることをポップアップウィンドウを通じて提供することができる。
また、前述した実施形態では、ユーザが運転を開始する前に、規則を実行する場合の例示を示すものである。したがって、あらかじめ定義された複数の規則が動作中の場合で、当該規則に対応する条件である60Km/hおよび80Km/hが順次に監視され、それによるアクションが順次にすべて実行されるか、または最後の検出された条件によるアクションだけが実行されることもできる。
これとは異なって、ユーザは、車両を運転する状態(例えば、図9に示されたように、現在時速110Km/hの状態)で前述したように定義された規則を実行することもできる。
このような場合、ユーザデバイス100は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。そして、ユーザデバイス100は、規則実行によって条件(状況)認識を行うことができる。例えば、ユーザデバイス100は、前記定義された規則に従ってユーザの“運転するよ”のような条件1を認知し、前記条件1によって動作し、移動速度が特定条件(例えば、60Km/h以上、80Km/h以上)に到逹するかどうかのような条件2をチェックすることができる。この際、ユーザデバイス100は、現在移動速度が110Km/hであり、あらかじめ定義された前記特定条件をすべて満足することによって、前記複数の条件に対する各アクションを同時に実行するように動作することができる。一実施形態によれば、現在移動速度(110Km/h)が60Km/hおよび80Km/h以上の条件をすべて満足することによって、前記定義された第1規則および第2規則に従ってオーディオボリューム(例えば、設定条件によってユーザデバイス100のオーディオボリュームまたは自動車のオーディオボリューム)を増加しながら警告アラームを発生することもできる。
または、ターゲットユーザデバイス200は、上記のように1つの命令に対して複数の規則が定義された場合で、状況認識によるアクション実行時に複数の規則のうち少なくとも1つの規則を選択するように定義された規則に対する規則推薦を提供することができる。例えば、図9に示されたように、前記命令に対して定義された第1規則(80Km/h以上)と第2規則(60Km/h)が定義されている状況であり、現在状況認識(110Km/h)によって第1規則および第2規則をすべて満たすとき、ポップアップウィンドウを通じて複数の規則のうち現在条件を満たす少なくとも1つの規則を選択することができる規則推薦を提供することができる。そして、ユーザは、規則推薦による特定規則選択時に運転中であることを考慮して音声入力によって選択することができる。そして、ユーザ設定によって規則推薦による少なくとも1つの規則選択は、音声を含めて、テキストおよびジェスチャーによって選択することもできる。
図10は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
図10を参照すれば、図10は、ユーザデバイス100と外部デバイス(またはユーザデバイスと通信可能であるか、または通信可能な装置が付着された物体など)と連動して状況認識サービスを提供する動作の例示を示すものである。
図10では、ユーザにより設定された時間ごとに外部の環境変化をチェックし、その結果によってユーザデバイス100によってアラームをフィードバックするようにする規則を定義することができる。そして、ユーザデバイス100は、定義された規則に対するユーザ命令に従って規則を実行した後、前記規則で定義された外部の環境変化が感知されるとき、アラームを出力するアクションを実行する場合の例示を示すものである。
図10に示されたように、ユーザは、ユーザデバイス100を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス100を操作して規則を生成することができる機能(またはアプリケーション)を活性化し、設定された時間ごとに外部の環境変化によるイベントを検出し、イベント検出時ごとにアラームを出力するようにする規則を定義することができる。一実施形態によれば、ユーザは、“4時間ごとに薬を飲まなければ、夜10時と午前7時の間を除いてリマインド(remind)メッセージを提示し、風呂場に電気をつけてくれ”のように規則を生成することができる。この際、前記規則は、マイク143を通じて音声に基づいて入力されるか、またはユーザ入力部120またはタッチスクリーン130を通じてテキストに基づいて入力されることができる。前記音声またはテキストは、前記例示のように、自然言語に基づいて入力されて設定されることができる。図10で定義された規則による状況認識対象、すなわち条件は、“4時間ごとに薬を飲まなければ(例えば、薬瓶の動きが感知されなければ)”と“夜10時と午前7時の間”になることができ、前記条件によるアクション実行対象は、“リマインドメッセージ出力および風呂場電灯オン”になることができる。
前記規則は、前述したようにあらかじめ定義されるか、またはユーザ必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができ、与えられるインターフェースを通じて前記規則を実行するための命令を音声、テキストまたはジェスチャーに基づいて入力されることができる。それでは、ユーザデバイス100は、前述したように、前記定義された規則と前記命令をマッピングして格納することができる。
ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された命令(例えば、音声、テキスト、またはジェスチャーなど)で規則を実行することができる。例えば、ユーザは、図5A〜図5Eのような動作例示に準じて、音声で前記定義された規則を実行するための命令(例えば、“薬”、“薬瓶位置確認”、“薬服用時間”などの音声)を入力することができる。ここで、前記命令は、マイク143を通じて音声に基づいて入力されることを例示するが、ユーザ入力部120またはタッチスクリーン130を通じてテキストに基づいて入力されることができ、またはジェスチャーに基づいて入力されることもできる。ユーザは、音声に基づいて命令を入力するとき、前述したように、ユーザデバイス100に命令入力を行うことを通知する動作(例えば、マイク143をターンオンするための動作)を先行することもできる。
ユーザデバイス100は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。そしてユーザデバイス100は、規則実行によって条件(状況)認識を行い、特定イベントを監視することができる。例えば、ユーザデバイス100は、実行された規則に対応する状況検出をモニターすることができる。一実施形態によれば、前記ユーザデバイス100は、前記定義された規則に従ってユーザの“薬服用時間”のような条件1を認知し、前記条件1によって動作して設定された時間(例えば、4時間)のような条件2をチェックし、前記条件2に反応して外部デバイス(例えば、薬瓶)の動き(振動)可否のような条件3を監視することができる。本発明の多様な実施形態において外部デバイスの動きの監視は、相互間の無線信号交信によって確認することができる。したがって、前記外部デバイス(例えば、薬瓶)は、ユーザデバイス100と通信可能な装置(例えば、BLE(Bluetooth(登録商標) Low Energy)タグ、RFタグ、NFCタグなど)が付着されることができる。
そして、ユーザデバイス100は、設定された時間(例えば、4時間)の間に前記外部デバイス(すなわち、薬瓶)の動きが感知されなければ、ユーザに“薬を服用してください!”のようなリマインドメッセージを出力するアクション1を行うように動作することができる。また、ユーザデバイス100は、前記アクション1によるリマインドメッセージ出力とともにターゲットデバイス(例えば、電灯、冷蔵庫、電気ポートなど)を制御するアクション2を行うように動作することができる。
本発明の実施形態においてターゲットデバイスは、ユーザデバイス100のようなスマート機器を含めて、電灯、冷蔵庫、電気ポートなどのようにユーザが日常的に使用する多様な品物を含むことができ、ユーザに定義された規則による状況を認知させ、当該状況で必要とするアクションを行うことができるすべての物体を含むことができる。そして、図10のような動作例示で、前記ターゲットデバイスの制御は、ターゲットデバイスがユーザデバイス100と直接通信可能な場合には、ターゲットデバイスが直接制御されることができ、直接通信が不可能な場合には、ターゲットデバイス制御のための別途のデバイス(例えば、通信機能を具備した電源制御装置など)と連動してターゲットデバイスが間接的に制御されることができる。一実施形態によれば、ユーザデバイス100は、通信機能を具備した電源制御装置と通信し、ターゲットデバイスである風呂場の電灯に電源が印加されるように制御することができる。
図11は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
図11では、ユーザデバイスの持ち主(owner)が規則を実行するための指示(instruction)を入力する場合の例示を示すことができる。例えば、本発明の実施形態では、ユーザデバイスのユーザが規則を実行するための指示を入力することができ、ユーザデバイスのユーザが子供などのようにデバイスの操作が難しいユーザの場合、他のユーザ(例えば、ユーザデバイス持ち主の親など)ユーザデバイスに対して規則を実行するための指示を入力することもできる。
図11を参照すれば、図11は、コンポジットアプリケーションを利用して規則を設定および実行し、ユーザデバイス100が前記規則に従って定義された条件を認知し、それによるアクションを実行する動作の例示を示すものである。特に、図11では、ユーザが自分の位置(またはユーザデバイス100の位置)を外部のイベントによって特定ターゲットユーザデバイス200に自動伝送するようにする規則を定義することができる。そして、ユーザデバイス100は、ユーザ入力によって前記規則を実行し、実行規則で定義されたターゲットユーザデバイス200からイベントが受信されるとき、前記ターゲットユーザデバイス200に写真情報および位置情報を伝送するアクションを実行する場合の例示を示すものである。図11では、特定モード状態で外部デバイス(例えば、ターゲットユーザデバイス200)からの入力(イベント)をユーザデバイス100内部で感知し、指定されたアクションを実行する場合の例示を示す。
図11に示されたように、ユーザは、ユーザデバイス100を利用して規則を定義することができる。例えば、ユーザ(またはユーザの保護者)は、ユーザデバイス100を操作して規則を生成することができる機能(またはアプリケーション)を活性化し、少なくとも1つのターゲットユーザデバイス200からイベント(例えば、メッセージ受信)時に写真情報と位置情報を伝送するようにする規則を定義することができる。一実施形態によれば、ユーザ(または保護者)は、“保護モード中にママに文字が来れば、カメラで写真を撮って、私の位置とともに送ってくれ”のように、規則を生成することができる。この際、前記規則は、マイク143を通じて音声に基づいて入力されることができ、またはユーザ入力部120またはタッチスクリーン130を通じてテキストに基づいて入力されることもできる。前記音声またはテキストは、自然言語に基づいて入力されて設定されることができる。図11で定義された規則による状況認識対象、すなわち条件は、“保護モードでママから文字受信時”になることができ、前記条件によるアクション実行対象は、“イベントによってカメラで写真を撮って、位置情報を指定された対象に伝送”になることができる。また、追加的に、“保護モード中にママに‘どこなの’のような位置を確認するフレーズを含む文字受信時”のように追加条件が設定されることもできる。
ユーザデバイス100は、ユーザ要請に従って前記規則を定義するとき、イベントを提供する対象である少なくとも1つのターゲットユーザデバイス200を指定するためのインターフェースを提供し、ユーザ入力によって前記少なくとも1つのターゲットユーザデバイス200の情報(例えば、電話番号、名前、ニックネームなど)を前記規則にマッピングして格納することができる。前記規則は、前述したように、あらかじめ定義されるか、またはユーザ必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができ、与えられるインターフェースを通じて前記規則を実行するための命令が音声、テキストまたはジェスチャーに基づいて入力されることができる。それでは、ユーザデバイス100は、前述したように、前記定義された規則と前記命令をマッピングして格納することができる。
ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された命令(例えば、音声、テキスト、またはジェスチャーなど)で規則を実行することができる。例えば、ユーザは、図5A〜図5Eのような動作例示に準じて、学校(学院)から出て家へ行きながら規則を実行(例えば、保護モードで状態設定)するための当該命令(例えば、“保護モード”、“下校”、“家に帰る”などの音声)を入力することができる。ここで、前記命令は、マイク143を通じて音声に基づいて入力されることを例示するが、ユーザ入力部120またはタッチスクリーン130を通じてテキストに基づいて入力されることができ、またはジェスチャーに基づいて入力されることもできる。前記音声およびテキストは、自然言語に基づいて入力されることができる。また、ユーザは、音声に基づいて命令を入力するとき、ユーザデバイス100に命令入力を行うことを通知する動作(例えば、マイク143をターンオンするための動作)を先行することもできる。
ユーザデバイス100は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。そして、ユーザデバイス100は、規則実行によって条件(状況)認識を行うことができる。例えば、ユーザデバイス100は、前記実行中の規則に従って“保護モード”のような条件1を認知し、前記条件1によって動作して指定されたターゲットユーザデバイス200のような条件2から特定条件(例えば、“どこなの”のような文字)を含む文字メッセージ受信のような条件3をチェックすることができる。この際、ユーザデバイス100は、前記条件2によるターゲットユーザデバイス200から条件3による特定条件(例えば、どこなの)を含む文字メッセージが受信されれば、カメラモジュール(図示せず)を駆動するアクション1を行うように動作することができる。またユーザデバイス100は、アクション1の実行によって自動撮影を行い、写真情報を獲得するアクション2を行うように動作することができる。また、ユーザデバイス100は、位置算出モジュール117を駆動するアクション3を行うように動作することができる。また、ユーザデバイス100は、アクション3の実行によってユーザデバイス100の位置情報を獲得するアクション4を行うように動作することができる。そして、ユーザデバイス100は、アクション1〜アクション4の実行によって獲得された写真情報と位置情報を前記ターゲットユーザデバイス200に伝送するアクション5を行うように動作することができる。
一方、前記ターゲットユーザデバイス200は、前記ユーザデバイス100から写真情報と位置情報が受信されるとき、あらかじめ定義されたインターフェースを通じて前記ユーザデバイス100に対する周辺の写真情報および位置情報をフィードバックすることができる。例えば、図11に示されたように、ターゲットユーザデバイス200は、マップイメージ上にユーザデバイス100が獲得した写真情報と位置情報を示すことができる。
図11では、図示を省略したが、前記写真情報は、ユーザデバイス100の位置に対する周辺の写真情報を外部のサーバーから獲得することもできる。例えば、ユーザデバイス100がユーザのポケットにある状態で撮影が行われるとき、所望の被写体(例えば、周辺写真)ではない黒白の写真だけが獲得されることができる。したがって、ユーザデバイス100は、撮影された写真情報を確認するか、またはユーザデバイス100の状態(例えば、照度センサー(図示せず)を通じてポケットの中にあるか否か確認など)をチェックし、前記例示のように、非正常状態の写真情報であるかを判別することができる。そして、ユーザデバイス100は、非正常状態の写真情報の場合、ユーザデバイス100の現在位置に対応する周辺写真を外部のサーバーから受信し、前記写真情報を獲得することによって進行する条件およびアクションを追加的に設定および動作するようにすることもできる。
また、図11では、規則実行のための命令をユーザデバイス100を備えるユーザが直接入力する場合を例示にする。しかし、幼い子供のようなユーザの場合、定義された規則を実行することができない場合も発生することができる。したがって、保護者が持続的に子供の位置をモニタリングするための方案として前記規則実行を外部の保護者が実行するようにすることもできる。例えば、規則定義時に“ママに‘どこなの’という文字が来れば、保護モードを実行し、私の位置を知らせてくれ”のように、規則が設定されることもできる。それでは、ユーザデバイス100は、ターゲットユーザデバイス200から‘どこなの’を含むメッセージを受信するとき、保護モードの実行状態をチェックし、保護モードが実行状態の場合、前述したような動作を行うことができる。一方、保護モードが実行されない状態の場合、保護モードを実行した後、前述したような動作を行うこともできる。
以上説明したような図11の実施形態によって、ユーザ(子供)の位置および周辺環境に対してイベントを要請した他のユーザ(保護者)に一層便利で且つ迅速に通知することができる。そして、前記他のユーザは、前記ユーザの位置、移動経路および周辺環境に対して提供されることができる。
図12は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
図12を参照すれば、図12は、ユーザが音声を利用して規則を設定および実行し、ユーザデバイス100が前記規則に従って定義された条件を認知し、それによるアクションを実行する動作の例示を示すものである。特に、図12では、ユーザが特定環境でユーザデバイス100の特定機能を制御するようにする規則を定義することができる。そして、ユーザデバイス100は、ユーザ入力によって前記規則を実行し、実行規則で定義されたユーザデバイス100の特定機能を処理するアクションを実行する場合の例示を示すものである。
図12に示されたように、ユーザは、ユーザデバイス100を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス100を操作し、規則を生成することができる機能(またはアプリケーション)を活性化し、特定環境で定義された複数の機能(またはアプリケーション)を行うようにする規則を定義することができる。一実施形態によれば、ユーザは、“地下鉄に乗ったら、Wi−Fiをつけて、音楽APPを実行させてくれ”のように、規則を生成することができる。この際、前記規則は、マイク143を通じて音声に基づいて入力されることができ、またはユーザ入力部120またはタッチスクリーン130を通じてテキストに基づいて入力されることもできる。前記音声またはテキストは、自然言語に基づいて入力されて設定されることができる。図12で定義された規則による状況認識対象、すなわち条件は、“地下鉄に乗ったら”のように、ユーザによる明示的な命令入力や地下鉄に乗る状態変化による命令入力になることができ、前記条件によるアクション実行対象は、“Wi−Fi機能ターンオン(turn−on)および音楽APP実行”になることができる。
ユーザデバイス100は、ユーザ要請に従って前記規則を定義するとき、当該条件で実行しようとする複数のアクション(例えば、機能、アプリケーション)を選択するためのインターフェースを提供することができ、ユーザは、前記インターフェースを通じて複数のアクションを選択することもできる。例えば、ユーザが当該規則に対する条件である“地下鉄”を入力するとき、ユーザデバイス100は、前記地下鉄と連関して実行されることができるアクション(例えば、機能、アプリケーション)のリスト(アクションリスト)を表示し、前記アクションリストで実行しようとするアクション(例えば、Wi−Fiオン、音楽アプリケーションなど)を選択するユーザ入力を受信されることもできる。ここで、前記規則は、あらかじめ定義されるか、またはユーザ必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができる。
ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された命令(例えば、音声、テキスト、またはジェスチャーなど)で規則を実行することができる。例えば、ユーザは、図5A〜図5Eのような動作例示に準じて、地下鉄に乗る前または地下鉄に乗りながら音声で前記定義された規則を実行するための当該命令(例えば、“地下鉄に乗りなさい”、“地下鉄”、“地下鉄モード”などの音声)を入力することができる。ここで、前記命令は、マイク143を通じて音声に基づいて入力されることを例示するが、ユーザ入力部120またはタッチスクリーン130を通じてテキストに基づいて入力されることができ、またはジェスチャーに基づいて入力されることもできる。前記音声およびテキストは、自然言語に基づいて入力されることができる。また、ユーザは、音声に基づいて命令を入力するとき、ユーザデバイス100に命令入力を行うことを通知する動作(例えば、マイク143をターンオンするための動作(例えば、機能キー入力、ウィジェットの規則実行ボタン入力など)を先行することもできる。
ユーザデバイス100は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。そしてユーザデバイス100は、規則実行によって条件(状況)認識を行うことができる。例えば、ユーザデバイス100は、前記実行中の規則に従って“地下鉄に乗ろう”のような条件を認知し、前記条件によって動作し、Wi−Fiをターンオンするアクション1および音楽アプリケーションを行うアクション2を行うように動作することができる。ユーザデバイス100は、前記アクション1およびアクション2による動作でWi−Fi連結のための送受信信号処理および音楽アプリケーション実行による音楽再生を処理することができる。
前記ユーザデバイス100は、前記規則が実行され、前記規則による条件(例えば、地下鉄搭乗)が検出されるとき、Wi−Fi機能オンおよび音楽アプリケーションを一緒に実行し、それに対する情報をフィードバックすることができる。例えば、図12に示されたように、ユーザデバイス100は、Wi−Fiのターンオン状態を表示し、音楽再生によるサウンドを出力することができる。
以上説明したような図12の実施形態よって、ユーザは、動作中の規則に対する条件感知で音声または状態変化を通じて入力することができ、当該条件によって複数のアクション(機能、アプリケーションなど)を複合的に運用することもできる。
図13は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
図13を参照すれば、図13は、ユーザが自然言語に基づく音声または自然言語に基づくテキストを利用して規則を設定および実行し、ユーザデバイス100が前記規則に従って定義された条件を認知し、それによるアクションを行う動作の例示を示す。例えば、ユーザデバイス100は、規則が活性化されれば、前記活性化された規則の条件に対応する状況をモニターまたは検出することができる。もし、状況が検出されれば、ユーザデバイス100は、前記規則の条件に対応するアクションを実行することができる。
図13では、ユーザが抽象的な状況を定義し、ユーザデバイス100は、ユーザ入力によって前記規則を実行し、実行規則で定義されたユーザデバイス100の特定機能処理および外部デバイス(またはユーザデバイス100と通信可能であるか、または通信可能な装置が付着された物体など)を制御するアクションを実行する場合の例示を示すものである。
図13に示されたように、ユーザは、ユーザデバイス100を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス100を操作し、規則を生成することができる機能(またはアプリケーション)を活性化し、特定環境で定義された複数の機能(ユーザデバイス100自体の機能および外部デバイスの機能)を実行するようにする規則を定義することができる。一実施形態によれば、ユーザは、“憂鬱なら、照明の明るさを2段階にし、クラシック音楽ジャンルを再生してくれ”のように、規則を生成することができる。この際、前記規則は、マイク143を通じて音声に基づいて入力されることができ、またはユーザ入力部120またはタッチスクリーン130を通じてテキストに基づいて入力されることもできる。前記音声またはテキストは、自然言語に基づいて入力されて設定されることができる。図13で定義された規則による状況認識対象、すなわち条件は、“憂鬱なら”になることができ、アクション実行対象は、“照明の明るさ調節およびクラシック音楽再生”になることができる。
この際、ユーザデバイス100は、ユーザ要請に従って前記規則を定義するとき、当該条件で実行しようとする複数のアクション(例えば、ユーザデバイス100の機能制御および外部デバイスの機能制御)を選択するためのインターフェースを提供することができ、ユーザは、前記インターフェースを通じて複数のアクションを選択することもできる。例えば、ユーザが当該規則に対する条件である“憂鬱だ”を入力するとき、ユーザデバイス100は、前記“憂鬱だ”と連関して実行されることができるアクションのリスト(アクションリスト)を表示し、前記アクションリストで実行しようとするアクション(例えば、照明明るさ調節、音楽アプリケーション実行およびクラシック音楽再生など)を選択するユーザ入力を受信されることもできる。ここで、前記規則は、あらかじめ定義されるか、またはユーザ必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができる。
ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された命令(例えば、音声、テキスト、またはジェスチャーなど)で規則を実行することができる。例えば、ユーザは、図5A〜図5Bのような動作例示に準じて自然言語に基づく音声で前記定義された規則を実行するための該当命令(例えば、“憂鬱だ”、“疲れた”、“憂鬱モード”などの音声)を入力することができる。または、ユーザは、後述するように、自然言語に基づくテキストで前記定義された規則を実行するための当該命令を入力することもできる。一実施形態によれば、前記命令は、マイク143を通じて音声に基づいて入力されることができ、ユーザ入力部120またはタッチスクリーン130を通じてテキストに基づいて入力されることができ、またはジェスチャーに基づいて入力されることもできる。前記音声およびテキストは、自然言語に基づいて入力されることができる。また、ユーザは、音声に基づいて前記命令を入力するとき、ユーザデバイス100に命令入力を行うことを通知する動作(例えば、マイク143をターンオンするための動作(例えば、機能キー入力、ウィジェットの規則実行ボタン入力など)を先行することもできる。
ユーザデバイス100は、入力された命令(例えば、音声、テキストまたはジェスチャー)を認識および解析し、当該命令に対応する規則を実行することができる。そして<ユーザデバイス100は、規則実行によって条件(状況)認識を行うことができる。例えば、ユーザデバイス100は、前記実行中の規則に従って“憂鬱だ”のようなユーザの音声入力による条件を認知し、前記条件によって動作し、外部デバイスを制御し、照明の明るさを2段階で調節するアクション1を行うように動作し、ユーザデバイス100の音楽アプリケーションを実行するアクション2を行うように動作し、クラシック音楽を再生するアクション3を行うように動作することができる。
そして、図13のような動作例示で、前記外部デバイスの制御は、外部デバイス(例えば、居間の照明またはユーザデバイス100と通信および/または制御が許諾(permission)された他の外部デバイス)がユーザデバイス100と直接通信可能な場合には、外部デバイスが直接制御されることができる。前記外部デバイスがユーザデバイス100と直接通信が不可能な場合には、ユーザデバイス100は、外部デバイス制御のための別途のデバイス(例えば、通信機能を具備した電源制御装置など)と連動して外部デバイスが間接制御されることもできる。一実施形態によれば、ユーザデバイス100は、通信機能を具備した電源制御装置と通信し、外部デバイスである居間の照明の明るさが調節されるように制御することができる。
前記ユーザデバイス100は、前記規則実行のための命令が入力されるとき、外部照明の明るさ調節および音楽アプリケーションを一緒に実行し、それに対する情報をフィードバックすることができる。例えば、図13に示されたように、ユーザデバイス100は、照明の明るさの制御を通じてその明るさを2段階に低減し、クラシック音楽再生によるサウンド出力およびその画面を出力することができる。
以上説明したような図13の実施形態によって、ユーザは、抽象的な状況を定義し、これによるアクションを実行する規則設定が可能である。一実施形態によれば、前述した例示で説明したように、ユーザは、憂鬱(または疲労)ということを、ユーザ状況を通じてではなく、自然言語を通じて認識させ、それによるアクションを実行し、フィードバックを提供されることができる。
一方、以上、図6〜図13による動作例示では、規則と命令を区分して定義および設定することを例示した。しかし、本発明の多様な実施形態によれば、規則実行のための命令を別に定義しないとしても、定義された規則で抽出して運用することもできる。
例えば、図7の例示のように、“私がタクシーに乗ったら、パパと弟に5分ごとに私の位置情報を知らせてくれ”のような規則が定義される場合を仮定する。ユーザデバイス100は、前記規則で“タクシーに乗ったら”を認識し、それと関連した連関命令(または連関単語(Associative word)(規則実行のための命令語に定義された規則内の単語に対して連関度が高い命令語))である“今タクシーに乗りなさい”、“タクシー”、“タクシーモード”などを自動検出し、規則を実行することもできる。すなわち、ユーザは、別途の命令語指定なしに前記のような規則のみを定義した状態で“今タクシーに乗りなさい”、“タクシー”、または“タクシーモード”などの連関命令語を入力することだけで、規則を実行することができる。
また、図8の例示で、“運転中に妻から文字が来れば、現在私の位置情報を知らせてくれ”のような規則が定義される場合を仮定する。ユーザデバイス100は、前記規則で“運転中”を認識し、それと関連した連関命令語である“運転するよ”、“運転”、“運転モード”などを検出し、規則を実行することができる。すなわち、ユーザは、別途の命令語指定なしに前記のような規則のみを定義した状態で“運転するよ”、“運転”、または“運転モード”などの連関命令語を入力することだけで、規則を実行することができる。
ユーザデバイス100は、前記の動作例示のように連関命令語が入力されるとき、それに対応する規則をあらかじめ定義された多様な規則から追跡し、当該規則を実行するように動作することができる。
一方、図7および図8の例示で説明したような運用方式を図6、図9〜図13の場合でも適用されることができる。例えば、図9の場合、定義された規則に従って“運転するよ”、“運転”、または“運転モード”などが連関命令語として入力されることができ、図10の場合、定義された規則に従って“薬”、“薬瓶位置確認”、または“薬服用時間”などが連関命令語として入力されることができ、図11の場合、定義された規則に従って“保護モード”、“下校”、または“家に帰る”などが連関命令語として入力されることができ、図12の場合、定義された規則に従って“地下鉄に乗ろう”、“地下鉄”、または“地下鉄モード”などが連関命令語に入力されることができ、図13の場合、定義された規則に従って“憂鬱だ”、または“疲れた”などが連関命令語として入力されることができる。したがって、ユーザデバイス100は、別途の命令語が定義されていないとしても、あらかじめ定義された規則に対応する連関命令語に基づいて当該規則実行を制御することができる。
図14Aおよび図14Bは、本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。
図14Aおよび図14Bを参照すれば、図14Aは、本発明の実施形態による状況認識サービスのためのウィジェット500が提供されており、前記ウィジェット500の実行情報領域520を通じて現在動作中の規則に対する情報が表示されているときのユーザデバイス100の画面例示を示すものである。
図14Aに示されたように、現在動作中の規則が“タクシー”および“地下鉄”に該当する場合を仮定する。ユーザは、ウィジェット500の実行情報領域520を通じて提供中の特定規則を選択することによって、当該規則を一時中止させることができる。例えば、図14aのような状態で、ユーザは、“タクシー”の規則を選択(例えば、タップに基づくタッチイベント)することができる。それでは、ユーザデバイス100は、図14bに示されたように、実行中の規則(例えば、タクシー、地下鉄)のうちユーザ選択に対応する規則(例えば、タクシー)を一時中止させることができる。
そして、ユーザデバイス100は、一時中止する規則に対する表示を変更して提供することができる。一実施形態によれば、ユーザデバイス100は、図14Bに示されたように、実行情報領域520で“タクシー”に対応する規則の活性化状態を不活性化状態に切り替えて表示することができる。すなわち、図14Bは、ウィジェット500の実行情報領域520で特定規則(例えば、タクシー)のボタンを通じて当該規則がしばらく中断されている状態のユーザデバイス100の画面例示を示すものである。
このように、本発明の実施形態によれば、現在実行中の規則をウィジェット500を通じて表示することができ、表示中の規則に対してユーザ入力によってしばらく中止することができるように支援することができる。これにより、繰り返し的に行われなければならない規則(例えば、周期的に状態をチェックするか、または周期的に文字を送らなければならないアクションなど)の場合、ユーザ選択によってしばらく中断することができるようにして、ユーザの使用性が増大されることができる。
図15Aおよび図15Bは、本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。
図15Aおよび図15Bを参照すれば、図15Aおよび図15Bは、本発明の実施形態による状況認識サービスのためのアプリケーション(例えば、規則リスト)を実行したときのユーザデバイス100の画面例示を示すものである。
図15Aおよび図15Bに示されたように、現在設定された規則1510が“地下鉄”であり、ユーザ選択によって前記規則に設定された詳細情報がプルダウンされて表示中の状態であることができる。例えば、ユーザがプルダウンメニュー335を選択し、前記規則1510に設定された詳細情報(例えば、条件およびアクションなど)1520、1530に対応する“Wi−Fi設定:オン”と“サウンド設定:振動”にそれぞれ設定されていることを表示することができる。
ユーザは、図15Aのような状態で1つの規則で定義された複数のアクション1520、1530のうち特定アクションを選択することによって当該アクションのみを一時中止させることができる。例えば、図15Aのような状態で、ユーザは、“地下鉄”規則1510に設定されたアクション(例えば、Wi−Fi設定、サウンド設定)1520、1530のうち“Wi−Fi設定”と関連したアクション1520を選択することができる。そして、ユーザデバイス100は、図15Bに示されたように、実行中の規則(例えば、地下鉄)1510のアクション(例えば、Wi−Fi設定、サウンド設定)1520、1530のうちユーザ選択に対応するアクション(例えば、Wi−Fi設定)1520を一時中止させることができる。
そして、ユーザデバイス100は、一時中止するアクションに対する表示を変更して提供することができる。一実施形態によれば、ユーザデバイス100は、図15Bに示されたように、“Wi−Fi設定”に対応するアクション1520の活性化状態を不活性化状態に切り替えて表示することができる。すなわち、図15Bは、特定規則に設定された複数のアクション1520、1530のうち特定アクション(例えば、Wi−Fi設定)1520のボタンを通じて当該アクション1520がしばらく中断されている状態のユーザデバイス100の画面例示を示すものである。
このように、本発明の実施形態によれば、1つの規則で複数のアクションが実行される場合、実行中の規則リスト画面で全体または一部のアクションを選択的に中断することもできる。
図16A〜図16Bは、本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。
図16Aおよび図16Bを参照すれば、図16Aは、本発明の実施形態による状況認識サービスのためのウィジェット500が実行されており、前記ウィジェット500の実行情報領域520を通じて現在動作中の規則に対する情報が表示されているときのユーザデバイス100の画面例示を示すものである。
図16aに示されたように、現在動作中の規則が“タクシー”および“地下鉄”に該当する場合を仮定する。ユーザは、ウィジェット500の命令入力領域(または規則実行ボタン)510を選択(例えば、タップに基づくタッチイベントなど)することができる。それでは、制御部170は、規則の実行、実行中の規則の一時停止、または実行中の規則の終了のうち少なくとも1つの動作を行うための動作開始であるものと決定することができる。図16A〜図16Cの動作例示では、実行中の規則を一時停止するための動作の場合を仮定することができる。したがって、ユーザデバイス100は、図16Bに示されたように、実行を一時中止しようとする規則に対する情報入力(例えば、音声入力)を案内(例えば、“命令語を話してください”)するポップアップウィンドウ1651を表示した後、ユーザの音声入力を待機することができる。
図16Bのような状態で、ユーザは、実行を一時中止しようとする当該規則(例えば、タクシー)を一時中止する音声(例えば、“タクシー一時停止”)を入力することができる。それでは、制御部170は、前記ユーザの音声入力を認識し、実行中の規則(例えば、“タクシー”、“地下鉄”)で前記音声に対応する規則(例えば、“タクシー”)を一時中止させることができる。そして、制御部170は、図16Cに示されたように、ウィジェット500の実行情報領域520でユーザにより一時停止要請された当該規則(例えば、“タクシー”)に対する表示を変更して提供することができる。
一実施形態によれば、制御部170は、図16Cに示されたように、実行情報領域520で“タクシー”に対応する規則の活性化状態を不活性化状態に切り替えて表示することができる。すなわち、図16Cは、ウィジェット500の実行情報領域520で特定規則(例えば、タクシー)がユーザの音声入力によって当該規則がしばらく中断されている状態のユーザデバイス100の画面例示を示すものである。
このように、本発明の実施形態によれば、現在実行中の規則をウィジェット500を通じて表示することができ、表示中の規則に対してユーザの音声入力(例えば、“OOO一時停止”、OOOは、規則または条件を含む)によってしばらく中止することができるように支援することができる。
図17は、本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
図17を参照すれば、ユーザデバイス100は、ユーザ要請による規則を実行するとき、表示部131の画面上に関連通知アイテム700を提供することができる。前記通知アイテム700は、実行された規則に対応するアイコンまたはテキストなどで提供されることができる。例えば、前述した動作例示によって運転と関連した規則実行の場合、図17の例示のように、“自動車”イメージ(またはテキスト)と関連した通知アイテム700が画面上の一領域を通じて提供されることができる。または、前述した例示によって薬と関連した規則実行の場合、“薬局または薬瓶”イメージまたはテキストと関連した通知アイテム700が画面上の一領域を通じて提供されることができる。このように、本発明の多様な実施形態によれば、規則が実行されるとき、現在実行中の規則に対してユーザが直観的に認知することができるように関連通知アイテム700を通じてユーザにフィードバックすることができる。
一方、図17では、本発明の実施形態による通知アイテム700が表示部131の画面上でいずれか1つの領域を通じて提供されることを例示した。しかし、本発明がこれに限定されるものではなく、図5Eを参照した説明で記述したように、ユーザデバイス100の多様な動作状態情報を提供するインジケータ領域を通じて提供されることもできる。これを下記の図18A〜19Bを参照して説明する。
図18Aおよび図18Bは、本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
図18Aおよび図18Bを参照すれば、ユーザデバイス100は、ユーザ要請による規則を実行するとき、表示部131のインジケータ領域1850のうちいずれか1つ領域を通じて通知アイテム550を提供することができる。一実施形態によれば、インジケータ領域1850の左側領域を利用して通知アイテム550を表示することによって、現在実行中の規則があることを通知することができる。
図18Aおよび図18Bに示されたように、本発明の多様な実施形態において前記通知アイテム550は、実行中の規則に関係なく、実行されている1つの規則だけでもあったら提供されることができる。
例えば、図18Aを参照すれば、ウィジェット500の実行情報領域520に示されたように、複数の規則(例えば、“タクシー”と“地下鉄”のように2個の規則)が現在動作中の状態であることができる。図18Bを参照すれば、ウィジェット500の実行情報領域520に示されたように、複数の規則(例えば、“タクシー”と“地下鉄”のように2個の規則)のうちいずれか1つの規則(例えば、“地下鉄”)だけが動作中であり、他の1つの規則(例えば、“タクシー”)は、不活性化状態(例えば、前述した動作例示を参照するとき、一時中止された状態)であることができる。
このように、本発明の多様な実施形態によれば、インジケータ領域1850に現在実行中の規則があることを通知アイテム550を通じてフィードバックすることができ、1つまたはそれ以上の規則が実行中の場合、実行中のすべての規則を代表して1つの通知アイテム550が表示されることができる。しかし、本発明がこれに限定されるものではなく、本発明の多様な実施形態によれば、実行中の規則ごとに通知アイテムを提供することもできる。すなわち、インジケータ領域1850を通じて複数の通知アイテムが提供されることもできる。
図19Aおよび図19Bは、本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
図19Aおよび図19Bを参照すれば、ユーザデバイス100は、ユーザ要請に従って規則を実行するとき、表示部131の前述したようにインジケータ領域1850を通じて実行中の規則が存在することを通知する通知アイテム550を提供することができる。そして、本発明の実施形態によれば、実行中の規則が一時的に中止されるとき、それに反応してユーザデバイス100は、現在一時的に中止された規則があることをインジケータ領域1850の当該通知アイテム550を通じてフィードバックすることもできる。
例えば、図19Aに示されたように、動作中であった規則(例えば、タクシー)がユーザ選択によって一時中止するとき、ユーザデバイス100は、当該規則の一時停止に反応して通知アイテム550を不活性化状態に切り替えて提供することができる。前記ウィジェット500の実行情報領域520は、前記規則(例えば、タクシー)が現在動作(running)中ではないことを指示することができる。
また、本発明の実施形態によれば、図19Bに示されたように、通知アイテム550は、当該規則に対応するアイコンまたはアプリケーション実行アイコンなど多様に提供されることができる。そして、当該規則に対応するアイコン形態を規則の実行状態(例えば、動作中でまたは一時停止中)によって活性化または不活性化状態を区分して直観的に提供することができる。一実施形態によれば、図19bの例示のように、“タクシー”と関連した規則の場合、タクシー形状のアイコンの通知アイテム550が提供されることができる。
図20A〜図20Cは、本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
図20A〜図20Cを参照すれば、ユーザデバイス100は、1つまたはそれ以上の実行規則に対する通知アイテム550をインジケータ領域1850を通じて提供することができる。そして、本発明の実施形態によれば、ユーザが前記インジケータ領域1850の通知アイテム550を選択(例えば、タップまたはタッチに基づくタッチイベントなど)するか、またはクイックパネル(Quick Panel)2010を表示するためにインジケータ領域1850をタッチし、下方にドラッグすることができる。
前記クイックパネル2010は、ユーザデバイス100の多様な機能(例えば、Wi−Fi、GPS、音、画面自動回転、節電モードなど)に対する設定情報およびそれらの迅速な設定などを支援することができ、ユーザ入力に反応してスライディングされ、表示部131の全体画面または一部の画面上に半透明形態で提供されることができる。特に、本発明の多様な実施形態において前記クイックパネル2010は、図20Bに示されたように、規則が動作中の場合、動作中の当該規則に対する情報アイテム2050を提供することができる。したがって、ユーザは、前記クイックパネル2010を通じてインジケータ領域1850に提供された通知アイテム550に対応する少なくとも1つの規則の条件およびアクションが何であるかを直観的に確認することができる。
図20Bのような状態で、ユーザは、当該規則に対する詳細情報を確認するために、図20Cに示されたように、前記クイックパネル2010の情報アイテム2050を選択(例えば、タップまたはタッチに基づくタッチイベントなど)することができる。ユーザデバイス100は、前記情報アイテム2050の選択に反応して現在実行中の規則(すなわち、ユーザにより選択された情報アイテム2050に対応する規則)に対する詳細情報を出力することができる。本発明の多様な実施形態において前記詳細情報出力は、前記クイックパネル2010上のポップアップウィンドウを通じてテキストに基づいて提供されることもでき、または画面切替を通じて前述したような規則リストを通じて提供されることもでき、または前記クイックパネル2010を維持する状態で音声に基づいて提供されることもできる。
例えば、本発明の多様な実施形態によれば、インジケータ領域1850の通知アイテム550をタッチするとき、当該規則の条件およびアクションなどが何であるかを音声またはテキストを通じてフィードバックすることができる。
また、本発明の多様な実施形態によれば、インジケータ領域1850の通知アイテム550をタッチするか、またはインジケータ領域1850をタッチし、下方にドラッグするとき、クイックパネル2010を通じて当該規則に対する情報アイテム2050を提供することができる。そして、情報アイテム2050をタッチするとき、当該規則に対する詳細情報(例えば、条件および規則)に対して音声でフィードバックすることができる。一実施形態によれば、図20Cの情報アイテム2050が選択されるとき、“[家]実行中です。サウンド設定ベル、Wi−Fi ON”のような音声を出力することができ、またはテキストを出力することができ、または音声およびテキストをすべて出力することもできる。
図21Aおよび図21Bは、本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
図21Aおよび図21Bを参照すれば、図21Aおよび図21Bは、本発明の実施形態によるウィジェット500を利用してユーザが現在どんな規則を実行中であるかに対して通知する動作例を示すものである。
図21Aに示されたように、ユーザは、ウィジェット500の実行情報領域520を通じて現在実行中の規則(例えば、家)が表示中の状態で、当該規則を選択することができる。それでは、ユーザデバイス100は、前記実行情報領域520で選択された当該規則に対する詳細情報をテキストまたは音声に基づいてフィードバックすることができる。
例えば、図21bに示されたように、ユーザデバイス100は、ユーザ選択による当該規則(例えば、家)に対して設定された“[家]実行中、サウンド設定ベル音、Wi−Fi ON”のような条件およびアクションをポップアップウィンドウ2150を通じてテキストに基づいて出力することができる。またはユーザデバイス100は、ユーザの設定方式に対応して、前述した詳細情報を音声に基づいて出力するように動作するか、または前記テキストと前記音声をすべて出力するように動作することもできる。
図22A〜図22Cは、本発明の実施形態によるユーザデバイスで実行中の規則を終了する動作例示を示す図である。
図22A〜図22Cを参照すれば、図22Aは、本発明の実施形態による状況認識サービスのためのウィジェット500が実行されており、前記ウィジェット500の実行情報領域520を通じて現在動作中の規則に対する情報が表示されているときのユーザデバイス100の画面例示を示すものである。
図22Aに示されたように、現在動作中の規則が“地下鉄”に該当する場合を仮定する。これにより、ウィジェット500の実行情報領域520を通じて実行中の規則である“地下鉄”に対する情報が表示されることができ、インジケータ領域1850に前記動作中の規則“地下鉄”に対応して通知アイテム550が提供されることができる。
ユーザは、ウィジェット500の命令入力領域(または規則実行ボタン)510を選択(例えば、タップに基づくタッチイベントなど)することができる。それでは、制御部170は、規則の実行、実行中の規則の一時停止、または実行中の規則の終了のうち少なくとも1つの動作を行うための動作開始であるものと決定することができる。図22A〜図22Cの動作例示では、実行中の特定規則を終了するための動作の場合を仮定することができる。したがって、ユーザデバイス100は、図22Bに示されたように、実行を終了しようとする規則に対する情報入力(例えば、音声入力)を案内(例えば、“命令語を話してください”)するポップアップウィンドウ2251を表示した後、ユーザの音声入力を待機することができる。
図22bのような状態で、ユーザは、実行を終了しようとする当該規則(例えば、地下鉄)を終了する音声(例えば、“地下鉄終了”)を入力することができる。それでは、制御部170は、前記ユーザの音声入力を認識し、実行中の規則(例えば、“地下鉄”)で前記音声に対応する規則(例えば、“地下鉄”)を終了させることができる。そして、制御部170は、図22cに示されたように、ウィジェット500の実行情報領域520でユーザにより終了要請された当該規則(例えば、“地下鉄”)に対する表示を変更して提供することができる。また、制御部170は、実行中の規則“地下鉄”の終了に反応してインジケータ領域1850に表示された通知アイテム550の表示も除去することができる。
一実施形態によれば、制御部170は、図22Cに示されたように、実行情報領域520から“地下鉄”に対応する規則の活性化状態を不活性化状態に切り替えて表示することができる。図22Cは、ユーザの終了音声入力に反応してウィジェット500の実行情報領域520で動作中のもので表示された当該規則(例えば、地下鉄)が除去された状態のユーザデバイス100の画面例示を示すものである。図22Cに示されたように、動作中であった“地下鉄”規則の終了要請に反応して、実行情報領域520に表示された“地下鉄”規則と関連した情報表示の代わりに、“動作中の規則がありません。”のような情報が代替されて表示されることができる。また、複数の規則が実行中であり、終了要請された規則が1つである場合を仮定するとき、前記実行情報領域520には、終了要請された規則の情報表示だけが除去され、他の規則の情報表示は、維持されることができる。
以上のように、本発明の多様な実施形態によれば、“OOO終了”のように、特定規則に対する終了を指示する音声入力を通じて当該規則に対して簡便に終了させることができる。また、本発明の多様な実施形態において、ユーザ入力によって特定規則が終わるとき、前記特定規則の条件およびアクションによって変更されたユーザデバイス100の1つまたはそれ以上の設定を変更される前の状態に自動復帰するように動作することもできる。
図23Aおよび図23Bは、本発明の実施形態によるユーザデバイスで実行中の規則を終了する動作例示を示す図である。
図23aおよび図23bを参照すれば、図23Aおよび図23Bは、前述したようなウィジェット500または規則リストなどで当該規則に対して終了を入力することができる終了ボタンを提供し、前記終了ボタンを利用して当該規則を終了させる場合の動作例示を示すものである。
図23aに示されたように、ウィジェット500を通じて現在動作中の規則が“地下鉄”に該当することをフィードバックすることができる。この際、図23Aに示されたように、インジケータ領域1850に前記動作中の規則に対応して通知アイテム550が提供されることができる。
ユーザは、現在動作中の前記“地下鉄”規則に対して終了するために当該規則にマッピングされて提供される終了ボタン525を利用して当該規則の動作状態を終了することができる。例えば、図23Aに示されたように、ユーザは、ウィジェット500の実行情報領域520で当該規則(例えば、“地下鉄”)にマッピングされた終了ボタン525を選択(例えば、タップまたはタッチに基づくタッチイベント)することができる。
それでは、制御部170は、前記終了ボタン525に対するユーザ入力を認識し、実行中の規則(例えば、“地下鉄”)で前記終了ボタン525に対応する規則(例えば、“地下鉄”)を終了させることができる。そして、制御部170は、図23bに示されたように、ウィジェット500の実行情報領域520でユーザにより終了要請された当該規則(例えば、“地下鉄”)に対する表示を変更して提供することができる。また、制御部170は、実行中の規則の終了に反応してインジケータ領域1850に表示された通知アイテム550の表示も除去することができる。
一実施形態によれば、制御部170は、図23Bに示されたように、実行情報領域520で“地下鉄”に対応する規則の活性化状態を不活性化状態に切り替えて表示することができる。図23Bは、ユーザの終了ボタン525入力に反応してウィジェット500の実行情報領域520で動作中のものと表示された当該規則(例えば、地下鉄)が除去された状態のユーザデバイス100の画面例示を示すものである。図23Bに示されたように、動作中であった“地下鉄”規則の終了要請に反応して、実行情報領域520に表示された“地下鉄”規則と関連した情報表示の代わりに“動作中の規則がありません。”のような情報が代替されて表示されることができる。また、複数の規則が実行中であり、終了要請された規則が1つである場合を仮定するとき、前記実行情報領域520には、終了要請された規則の情報表示だけが除去され、他の規則の情報表示は、維持されることができる。
図24および図25は、本発明の実施形態によるユーザデバイスで状況認識サービスを終了する動作例示を示す図である。
図24を参照すれば、ユーザは、規則終了のためにあらかじめ定義された特定命令(例えば、音声、テキスト、ウィジェットの終了ボタン、またはジェスチャーなど)を入力することによって、現在実行中の少なくとも1つの規則を終了することができる。ここで、前記規則終了のための命令は、音声命令やテキスト命令を含むことができる。または、前記規則終了は、別に割り当てられた機能キー入力を通じて終了することができ、ウィジェット500を通じて規則ごとに割り当てられた終了ボタン525入力を通じて終了することもでき、または筆記入力のようなテキスト入力を通じて終了することもでき、または設定された特定ジェスチャー入力を通じて終了することもできる。
例えば、図24に示されたように、ユーザは、“OOO(規則に対応する命令語など)終了、家到着、またはもう少しで家に到着”などのようにあらかじめ定義された規則終了のための自然言語に基づく音声を入力することができる。そして、ユーザデバイス100は、ユーザから入力された音声を認識および解析し、当該音声が特定規則の終了のための命令に該当するとき、実行されている当該規則を終了することができる。本発明の多様な実施形態において前記規則終了のための命令は、定義される各規則別に設定されることができる。また、前記規則終了のための命令は、実行されている規則に関係なく、すべての規則に対して一括的に終了処理することができる統合命令(例えば、規則終了)が設定されることもできる。そして、統合命令の場合、複数で実行中の規則に対してすべて一括的に終了するように動作することができる。
図25を参照すれば、ユーザデバイス100は、ユーザにより規則終了のための命令が直接的に入力されないとしても、特定条件が持続すれば、当該規則の終了を自動で行うか、または規則終了をユーザに誘導することもできる。
例えば、図25に示されたように、ユーザデバイス100は、実行された規則による状況を監視し、現在状況がマッピングテーブルで前記規則に対して定義された規則終了条件に対応するかを区分することができる。本発明の多様な実施形態において、前記規則終了は、ユーザにより定義された1つまたはそれ以上の規則が所定の時間の間にどんな条件(状況)変化も検出されないか、またはユーザが定義した規則終了条件(例えば、規則終了のための音声入力、規則終了機能キー入力、特定条件持続など)が満たされれば、当該規則の終了として決定することができる。
ユーザデバイス100は、前記規則に対する終了条件が満たされるとき、ユーザに実行中の当該規則の終了を誘導するメッセージ(例えば、“運転モードを終了しましょうか?”)をポップアップ900で提供することができ、ポップアップ900を通じたユーザ選択によって当該規則を維持するかまたは当該規則を終了することができるようにする。
図26Aおよび図26Bは、本発明の実施形態によるユーザデバイスで規則を削除する動作例示を示す図である。
図26Aおよび図26Bを参照すれば、図26Aおよび図26Bは、本発明の実施形態による状況認識サービスのためのアプリケーション(例えば、規則リスト)を実行するときのユーザデバイス100の画面例示を示すものである。
図26aおよび図26bに示されたように、ユーザにより“家”、“タクシー”および“地下鉄”のように3個の規則が生成されて格納された場合を仮定することができる。ユーザは、前記のように3個の規則に対する規則リストが表示された状態でメニュー操作、音声入力、またはジェスチャー入力などを通じて削除機能を活性化することができる。
例えば、ユーザは、図26Aのような状態で、ユーザデバイス100のメニューを操作するユーザ入力、“規則削除”のような音声またはテキストに基づくユーザ入力、規則削除機能実行のためにあらかじめ定義されたジェスチャーに基づくユーザ入力などを通じて削除機能実行を要請することができる。それでは、制御部170は、前記のようなユーザ入力のうちいずれか1つのユーザ入力に反応して規則削除機能を活性化することができ、図26Bのように、規則を削除することができる画面インターフェースを提供することができる。一実施形態によれば、図26Bに示されたように、あらかじめ定義された規則に対するリストが表示されることができ、前記リスト内の各規則を選択することができる選択アイテム2600(例えば、チェックボックス(Check Box))が提供されることができる。
ユーザは、規則に対応する選択アイテム2600のうち削除しようとする少なくとも1つの規則を選択することができる。この際、制御部170は、ユーザの選択入力に反応して選択アイテム2600上に当該規則が選択されることを表示することができる。一実施形態によれば、選択アイテム2600の“空きのボックス(empty box)(例えば、内部にチェックマーク(checkmark)がない選択ボックス)”上に“v”のようにマーキングし、“内部にチェックマークを有するボックス”のように示すことができる。そして、ユーザは、メニュー操作または削除ボタンを利用して選択された少なくとも1つの規則を削除することができる。
一方、図26Aおよび図26Bでは、ユーザがメニューおよび選択アイテム2600などを利用して規則を削除する動作を例示したが、ユーザは、図26Aまたは図26Bのような状態で音声に基づいてまたはテキストに基づいて規則を削除することもできる。例えば、ユーザは、図26Aまたは図26Bのような状態で“家削除”に対応する音声または筆記入力によって“家”規則を削除することもできる。
図27は、本発明の実施形態によるユーザデバイスで規則を生成する動作を示す流れ図である。
図27を参照すれば、制御部170(例えば、規則設定モジュール173)は、状況認識サービスのために入力されるユーザ入力を受信することができる(1001段階)。例えば、ユーザは、ユーザ入力部120、マイク143およびタッチスクリーン130のうち少なくとも1つを操作して状況認識サービスの規則を定義するための設定モード実行を制御することができる。そして、ユーザは、設定モードでマイク143を通じた音声入力、ユーザ入力部120またはタッチスクリーン130を通じたテキスト入力などを通じてユーザの規則を定義する入力を行うことができる。それでは、制御部170は、前記設定モードで状況認識サービスのための前記ユーザ入力を感知することができる。ここで、ユーザは、前述した多様な動作例示のように、少なくとも1つの入力手段を通じて規則、条件状況、アクションおよび規則実行命令などを入力することができる。
例えば、ユーザは、規則で“タクシーに乗ったら、文字を送ってくれ”を定義し、前記文字を伝送するターゲットに少なくとも1つのターゲットユーザデバイス(例えば、“パパに送ってくれ”)を指定し、それによる規則実行命令として“私はタクシーに乗った”を定義することができる。また、ユーザは、前述した例示で説明したように、“私がタクシーに乗ったら、パパと弟に5分ごとに私の位置情報を知らせてくれ”や“私がタクシーに乗った後、パパから‘どこなの’が含む文字受信時にパパに文字を送ってくれ”などのように具体的な規則を定義することもできる。
制御部170は、ユーザ入力を認識することができる(1003段階)。例えば、制御部170は、ユーザ規則の設定モードでユーザ入力が受信されるとき、当該手段に通じて入力された音声またはテキストを認識することができる。例えば、制御部170は、マイク143を通じてユーザの音声が入力されるとき、音声認識を行うことができ、ユーザ入力部120またはタッチスクリーン130を通じてユーザのテキストが入力されるとき、テキスト認識を行うことができる。ここで、本発明の実施形態においてユーザの音声またはユーザのテキストは、前述した例示のように、自然言語(ユーザが日常的に使用する言語)に基づいて入力されることができ、制御部170は、ユーザの音声またはテキストによる自然言語を認識することができる。
制御部170は、認識されたユーザ入力(例えば、自然言語に基づくユーザ音声またはテキスト)を解析することができる(1005段階)。例えば、制御部170は、前記自然言語に基づくユーザ音声を解析し、ユーザにより意図された規則、状況および規則実行命令語を抽出および区分することができる。または、制御部170は、ユーザからテキストが入力された場合、認識された自然言語に基づくユーザテキストを解析し、ユーザにより意図された規則、状況および規則実行命令語を抽出および区分することができる。ここで、前記規則、条件(状況)、アクションおよび規則実行命令は、ガイドによって順次に入力されることもできる。また、制御部170は、前記ユーザ入力に対する解析結果で状況認識によるアクション実行のための項目(例えば、状況認識対象、ターゲット、命令語など)をチェックし、漏れた部分を確認することもできる。一実施形態によれば、制御部170は、ユーザとのインタラクション動作を通じて規則生成に対するガイド提供およびそれに反応して入力された情報に基づいて規則を生成することができる。
例えば、ユーザが“タクシーに乗ったら、文字を送ってくれ”のように、状況認識のための規則内容のみを定義し、ターゲットを指定しない場合、制御部170は、前記規則内容で文字を伝送する対象(すなわち、ターゲット)がないことを認知することができる。そして、制御部170は、ターゲットが指定されないことによって定義された規則に対するアクション実行時、どんなターゲットに伝送するかをガイドすることができる。すなわち、制御部170は、アクションによって付加的に必要な情報をユーザに音声またはテキストで質問しながらインタラクション動作を行うことができる。一実施形態によれば、制御部170は、“受信者を話してください”または“誰に送りましょうか?”などのようなポップアップ(音声案内を含む)を提供することができる。それでは、ユーザは、“後で決定するよ”、“ボーイフレンド”または“パパに送ってくれ”などのようにターゲットを指定することができる。前記ターゲット指定は、前述したように、音声またはテキストに基づく自然言語で指定されることができる。そして、制御部170は、上記のように規則に対する追加定義が行われるとき、前述したような手続によって認識および解析を行い、当該事項を1つの規則にマッチングすることができる。
制御部170は、解析されたユーザ入力に対応して状況認識サービスのための規則を定義して管理することができる(1007段階)。例えば、制御部170は、解析されたユーザ入力から抽出された規則、条件(状況)、アクションおよび規則実行命令などをマッピングしてマッピングテーブルで格納および管理することもできる。
一方、図27では、図示を省略したが、本発明の多様な実施形態によれば、前記規則定義時にユーザのためのガイドを追加提供することもできる。例えば、前述したような設定モードで、ユーザは、特定入力道具(例えば、電子ペン、ユーザの指など)を利用して定義しようとする規則に対するフレーズを筆記入力するか、仮想のタッチキーパッドを利用してタイピング入力することもできる。それでは、制御部170は、前記筆記またはタイピングによるテキストを認識し、認識されたテキストによる規則を定義することができる画面インターフェースを提供することができる。
前記画面インターフェースを通じて指定可能な条件およびアクション(または機能、アプリケーション)などのリスト(例えば、条件リスト、アクションリスト)が提供されることができ、ユーザは、当該リストで所望のまたは必要な条件またはアクション(または機能、アプリケーション)をオン/オフ(On/Off)するか、または所望の条件またはアクションを選択することができる。例えば、ユーザが事務室でGPS機能を自動オフするための規則を定義しようとするとき、前記設定モードで電子ペン(またはユーザの指)でユーザデバイスの画面上に“office”を入力(筆記入力またはタッチキーパッドによるタイピング(文字)選択入力)することができる。
本発明の多様な実施形態においては、ユーザ筆記入力またはタイピング入力のための画面インターフェース(例えば、命令語パッド(command pad)やタッチキーパッド)を画面上に提供することもできる。そして、前記命令語パッドやタッチキーパッドのような画面インターフェースを通じて様々な入力ツール(電子ペンまたはユーザ指など)を利用したユーザの筆記またはキーパッド入力によるテキストを入力されて“office”を認識し、当該入力が規則定義のための入力であるものと認知することができる。それでは、制御部170は、設定リスト画面に切り替え、ユーザは、前記設定リスト画面で前記“office”に関連した多様な条件またはアクション(機能、アプリケーションなど)のうち少なくとも1つの条件またはアクションに対するオン/オフを設定することができる。一例として、ユーザは、GPS機能のオフを選択することができる。
このように、本発明の実施形態によれば、規則定義は、ユーザの音声入力およびユーザのテキスト入力のうち少なくとも1つの入力方式を通じて規則を定義することができる。また、前記ユーザのテキスト入力方式は、ユーザが前述したような自然言語に基づいて規則を定義するか、または前述したような命令語パッドやタッチキーパッドを通じて特定索引語(例えば、‘office’)を入力し、それに対応するアクションリストで少なくとも1つのアクションに対するオン/オフを選択的に設定する方式に区分されることができる。
図28は、本発明の実施形態によるユーザデバイスで状況認識サービスが提供される動作を示す流れ図である。
図28では、ユーザデバイス100でユーザにより定義された規則実行のための当該命令入力による規則を実行し、実行規則に対応する条件状況が感知されるとき、それによるアクションを実行する動作を示すものである。
図28を参照すれば、制御部170は、状況認識サービスのための命令入力を受信することができる(1101段階)。例えば、ユーザは、マイク143を通じて状況認識サービスのために定義された規則実行のための音声を入力することができる。それでは、制御部170は、前記マイク143を通じてユーザの音声を受信することができる。ここで、本発明の多様な実施形態によれば、ユーザの規則実行のための命令は、上記のようにマイク143を通じて音声に基づいて入力されることができ、ユーザ入力部120またはタッチスクリーン130を通じてテキストに基づいて入力されることができ、またはあらかじめ定義された特定ジェスチャーに基づいて入力されることもできる。
また、本発明の多様な実施形態においては、音声命令を入力するために、ユーザデバイス100の機能キーのうちユーザにより規則実行のための音声入力を待機するようにする命令キー(例えば、ショートカットキーまたはウィジェット500の規則実行ボタンなど)を指定することもできる。例えば、制御部170は、前記命令キーによる入力が発生するとき、ユーザの状況移植サービスのための音声入力受信を待機し、前記待機状態で入力される音声のみに対して規則実行のための命令として認知することができる。ここで、前記命令キーの入力方式は、1回の入力で待機状態に切り替えられる方式であるか、または命令キーが押圧されている間にのみ、待機状態に切り替える方式であることができる。
制御部170は、入力される命令を認識することができる(1103段階)。例えば、制御部170は、ユーザから音声が入力されるとき、入力された音声から規則実行を命令する命令語を認識することができる。
制御部170は、認識された命令を解析することができる(1105段階)。例えば、制御部170は、認識されたユーザ音声(例えば、“私はタクシーに乗ります”)を解析し、規則実行命令語(例えば、“タクシー”)を抽出することができる、制御部170は、実行命令語が抽出されるとき、あらかじめ定義された規則で前記実行命令語に対応する規則があるのかを判別することができる(1107段階)。
制御部170は、前記実行命令語に対応する規則がなければ(1107段階のNO)、ガイド出力を制御することができる(1109段階)。例えば、制御部170は、ユーザにより要請された規則がないことを通知するガイドポップアップを出力することができる。または、制御部170は、前記ガイドポップアップを通じて当該命令語に対する規則を追加に定義するかなどを問い合わせるガイドを出力することもできる。または、制御部170は、ユーザにより定義された規則の規則リストを提供することもできる。
制御部170は、ガイド出力後、ユーザ要請による当該動作実行を制御することができる(1111段階)。例えば、制御部170は、ユーザ選択によって前述した手続を終了するか、またはユーザ選択によって前記命令語に対応する新しい規則を定義するか、規則リストで特定規則を選択されるようにするなどの動作を処理することができる。
制御部170は、前記実行命令語に対応する規則があれば(1107段階のYES)、前記実行命令語に対して定義された規則が複数個であるかを判別することができる(1113段階)。例えば、ユーザは、1つの命令に対して1つまたはそれ以上の規則を定義することができる。一実施形態によれば、ユーザは、“運転”という規則(命令語)に“運転中に指定された外部からイベントが発生するとき、現在位置を伝送”するようにする第1規則、“運転中に時速100Km/h以上なら、警告アラームを出力”するようにする第2規則、そして“運転中で時速60Km/h以上ならオーディオボリュームを増加”するようにする第3規則などのように複数個を定義することができる。または、ユーザは、“運転1”という命令語に前記第1規則を定義し、“運転2”という命令語に前記第2規則を定義し、“運転3”という命令語に前記第3規則をそれぞれマッピングして定義することもできる。
制御部170は、前記実行命令語に対して定義された規則が複数個ではなければ(1113段階のNO)、すなわち前記実行命令語に対応する規則が1つなら、前記1つの規則による単一のアクション実行を制御することができる(1115段階)。例えば、制御部170は、前記1つの規則による条件(状況)のみを監視し、前記1つの規則に対する当該条件(状況)が検出されるとき、それに反応して1つまたはそれ以上のアクションを実行するように動作することができる。
制御部170は、前記実行命令語に対して定義された規則が複数個なら(1113段階のYES)、前記複数の規則による複数のアクション実行を制御することができる(1117段階)。例えば、制御部170は、前記複数の規則によるそれぞれの条件状況を監視し、前記複数の規則に対する1つまたはそれ以上の当該条件状況が検出されるとき、それに反応して1つまたはそれ以上のアクションを実行するように動作することができる。
また、図28では、図示を省略したが、制御部170は、1つの命令に対して複数の定義された規則が存在するとき、複数の規則のうちいずれか1つの規則選択をガイド(または推薦)するインターフェースを提供することもできる。そして、制御部170は、ユーザ選択(音声、テキスト、ジェスチャーなどによる選択入力)によって複数の規則に対する複数のアクション実行を制御することができ、または選択されたいずれか1つの規則に対する単一のアクション実行を制御することもできる。
また、図28では、図示を省略したが、前記ユーザ入力による規則でアクション実行のための項目(例えば、条件(状況)認識対象、ターゲット)をチェックし、漏れた部分を確認することもできる。すなわち、制御部170は、ユーザにより規則が実行される過程でインタラクションをチェックすることができる。
例えば、ユーザが規則定義時に“タクシーに乗ったら、文字を送ってくれ”のように、条件(状況)認識のための規則内容のみを定義し、文字を伝送するターゲットを“後で決定するよ”として定義することができる。このような場合、制御部170は、規則実行段階または規則実行中に当該条件を検出して文字伝送のアクションを実行しようとする段階で、当該文字を伝送する対象(すなわち、ターゲット)がないことを認知することができる。したがって、制御部170は、ターゲットが指定されないことによって、当該規則に従って文字を伝送しようとするとき、どんなターゲットに伝送するかをガイドすることができる。一実施形態によれば、制御部170は、“文字を誰に送りましょうか?”のようなポップアップ(音声案内を含む)を提供することができる。それでは、ユーザは、“パパに送ってくれ”などのようにターゲットを指定することができ、前記ターゲット指定は、音声またはテキストに基づく自然言語で指定されることができる。
図29は、本発明の実施形態によるユーザデバイスで状況認識サービスが提供される動作を示す流れ図である。
特に、図29では、ユーザデバイス100で規則実行後、実行された規則に対応する1つまたはそれ以上の条件(状況)をチェックしてアクションを実行するか、または動作中の規則を解除する動作の例示を示すものである。
図29を参照すれば、制御部170は、ユーザ要請による規則を実行し(1201段階)、前記規則実行による実行情報(例えば、通知アイテム)をフィードバックすることができる(1203段階)。例えば、制御部170は、前述したように、表示部131の画面上に実行されている規則と関連したアイテム(アイコン、テキストなど)が表示されるように動作することができる。
制御部170は、規則実行による状態をチェックすることができる(1205段階)。例えば、制御部170は、現在実行中の規則に対応する条件(状況)が発生するかどうかを持続的または周期的に監視することができる。
制御部170は、前記状態チェックされた結果を通じてアクション実行条件が満たされるかを判別することができる(1207段階)。例えば、制御部170は、実行中の規則で定義された1つまたはそれ以上の条件状況を監視し、現在状況がマッピングテーブルで前記規則に対して定義されたアクションが実行されるようにする特定条件に対応するかを判別することができる。
制御部170は、ユーザデバイス100の条件(状況)がアクション実行条件に対応すれば(1207段階のYES)、前記実行規則で当該条件に対応するアクション実行を制御することができる(1209段階)。例えば、制御部170は、規則実行時にアクションを誘発させる条件または状況を監視し、アクションを誘発する条件または状況になれば、当該アクションが実行されるように動作することができる。ここで、アクション実行は、定義された規則に従って機能(またはアプリケーション)を実行し、それによる結果(例えば、状況情報)を生成し、ユーザまたは他のユーザに出力されるようにする動作などを含むことができる。
制御部170は、ユーザデバイス100の条件(状況)がアクション実行条件に対応しなければ(1207段階のNO)、前記状態チェックされた結果を通じて規則解除条件が満たされるかを判別することができる(1211段階)。例えば、制御部170は、実行された規則による条件(状況)を監視し、現在状況がマッピングテーブルで前記規則に対して定義された規則解除条件に対応するかを判別することができる。ここで、前記規則解除は、ユーザ設定による所定の時間の間にどんな状況変化も検出されないか、またはユーザが定義した規則解除条件(例えば、規則解除のための音声命令入力、規則解除のための機能キー入力、規則解除のためのテキスト入力、規則解除のためのジェスチャー入力、または特定条件持続)などが満たされれば、実行中の規則の解除として決定することができる。
制御部170は、ユーザデバイス100の条件(状況)が規則解除条件に対応しなければ(1211段階のNO)、前記1205段階に進行し、状態チェックを行いながら以下の動作実行を制御することができる。
制御部170は、ユーザデバイス100の条件(状況)が規則解除条件に対応すれば(1211段階のYES)、実行中の規則を解除し(1213段階)、規則解除による解除情報をフィードバックすることができる(1215段階)。例えば、制御部170は、実行された規則が解除されることを聴覚、視覚、そして触覚のうち少なくとも1つを通じてフィードバックすることができる。一実施形態によれば、制御部170は、オーディオ(例えば、音声、音響など)、解除案内ポップアップ、そして振動のうち少なくとも1つを通じて規則が解除されることをフィードバックする出力が行われるように動作することができる。
ここで、図29では、図示を省略したが、制御部170は、前記規則解除条件が充足されるとき、ユーザに実行規則終了を誘導するポップアップを提供することもでき、当該ポップアップを通じたユーザ選択によって実行中の規則を維持するかまたは解除することもできる。
図30は、本発明の実施形態によるユーザデバイスで状況認識サービスが提供される動作を示す流れ図である。
図30を参照すれば、制御部170は、ユーザ要請による規則が実行された状態でイベントを監視し(1301段階)、それによるイベント(条件)発生有無をチェックすることができる(1303段階)。例えば、制御部170は、実行中の規則による条件(状況)を監視し、内部または外部で発生するイベント(条件)があるか否かをチェックすることができる。
前記イベント(条件)は、実行される規則に従ってユーザデバイス100自体で状況変化(イベント)が監視される内部イベントと、外部でユーザデバイス100に受信され、状況変化(イベント)が監視される外部イベントとを含むことができる。一実施形態によれば、前記内部イベントは、ユーザデバイス100の速度変化が設定された条件を超過するときに発生するイベント、設定された時間の周期によって発生するイベント、ユーザから入力される音声またはテキストによって発生するイベント、ユーザデバイス100の動作変化(例えば、モーション、照度など)によって発生するイベントなどを含むことができる。前記外部イベントは、外部からメッセージ受信(特に、実行中の規則で指定されたターゲットユーザデバイスからのメッセージ受信)によって発生するイベントなどを含むことができる。
制御部170は、イベント発生があれば(1303段階のYES)、前記実行規則で行う機能をチェックすることができる(1305段階)。例えば、制御部170は、現在実行中の規則で当該イベント(条件)に対してアクションとして定義された機能(またはアプリケーション)を抽出することができる。
制御部170は、抽出された機能を活性化し(1307段階)、活性化された機能によってアクションが実行されるように動作することができる(1309段階)。例えば、制御部170は、前記実行規則で当該イベント(条件)によるアクションがユーザデバイス100のオーディオボリューム制御に関するアクションの場合、オーディオボリューム制御のための機能を活性化し、ボリュームを加減するように動作することができる。または、制御部170は、前記実行規則で当該イベント(条件)によるアクションがユーザデバイス100の現在位置伝送に関するアクションの場合、位置情報伝送のための機能(またはアプリケーション)(例えば、GPS機能(ナビゲーション機能)およびメッセージ機能など)を活性化し、ユーザデバイス100の現在位置情報を当該ターゲットデバイスに伝送するように動作することができる。すなわち、制御部170は、アクションを実行するタイプによって1つの機能(またはアプリケーション)または少なくとも2つ以上の複合機能(またはアプリケーション)を運用することができる。
制御部170は、アクション実行(または実行の結果)によって関連情報(例えば、前記アクションの実行から発生する情報)のフィードバックを制御することができる(1311段階)。例えば、制御部170は、オーディオボリューム制御によってオーディオ出力のサイズを変化して出力しながら、変化したオーディオボリュームに対する画面インターフェース表示を制御することができる。または、制御部170は、ユーザデバイス100の位置情報を指定されたターゲットデバイスに伝送したことを通知する画面インターフェース表示または音響(効果音など)出力を制御することができる。
制御部170は、イベント(条件)発生がなければ(1303段階のNO)、現在状況が規則解除条件に該当するかを判別することができる(1315段階)。例えば、制御部170は、現在実行されている規則による状況を監視し、現在状況がマッピングテーブルで前記規則に対して定義された規則解除条件に対応するかを判別することができる。
制御部170は、前記規則解除条件に対応しなければ(1315段階のNO)、前記1301段階に進行し、イベント監視を行いながら以下の動作実行を制御することができる。
制御部170は、前記規則解除条件に対応すれば(1315段階のYES)、前記実行された規則を解除し(1317段階)、規則解除(または規則の解除の結果)による解除情報(例えば、前記規則の解除から発生する情報)のフィードバックを制御することができる(1319段階)。例えば、前記規則解除条件が満たされるとき、ユーザに実行規則終了を誘導するポップアップを提供し、ポップアップを通じたユーザ選択によって実行規則を維持するか、または実行規則を解除することもできる。そして、制御部170は、実行規則解除時に、規則が解除されることを聴覚、視覚、そして触覚のうち少なくとも1つを通じてフィードバックすることができる。
図31A〜図31Nは、本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。
図31A〜図31Nは、制御部170(例えば、規則設定モジュール173)がユーザ入力のうち筆記による自然言語に基づくテキスト入力を受け入れ、前記テキスト入力に反応して規則(例えば、条件およびアクション)を定義する動作の例示を示すものである。
図31A〜図31Nを参照すれば、図31A〜図31Nは、図3A〜図3Kまたは図4A〜図4Jを参照した説明部分で説明したような規則生成動作に対応することができる。例えば、図31Aは、図4Aに対応する動作であることができ、図31Cは、図4Bに対応する動作であることができ、図31Eは、図4Cに対応する動作であることができ、図31Gは、図4Dに対応する動作であることができ、図31Iは、図4Eに対応する動作であることができ、図31Kは、図4Fに対応する動作であることができ、図31Lは、図4Iに対応する動作であることができ、図31Nは、図4Jに対応する動作であることができる。したがって、以下では、図31A〜図31Nを参照する説明において前記図4A〜図4Jを参照した説明に対応または同一の動作に対しては、その説明を省略するかまたは簡素化する。
すなわち、図31A〜図31Nは、図4A〜図4Jに対応する動作実行で規則を生成する本発明の実施形態を示すものである。但し、図31A〜図31Nでは、規則生成のためのユーザ入力が、音声ではなく、ユーザの筆記によってテキストで入力される点において差異がある。したがって、図31A〜図31Nでは、音声に基づいて規則を生成する動作(例えば、図4A〜図4J)に比べてユーザ音声入力を受け入れる動作の代わりに、ユーザの筆記に基づくテキスト入力を受け入れる動作が行われることができる。
例えば、図31A〜図31Nの場合、規則生成のためのユーザ入力がテキストに基づいて行われることによって、ユーザデバイス100は、ユーザとのインタラクション動作によって提供するポップアップウィンドウにユーザ入力で“音声入力”の案内の代わりに、“テキスト入力”を案内する情報を提供することができる。一実施形態によれば、図4Aのポップアップウィンドウ451では、ユーザに音声入力インタラクション動作であることを通知する“ユーザが言う形態のイメージ”と“OOOを話してください”のような音声入力に対する案内が提供されることができる。一方、図31A、図31E、図31G、または図31Lなどのポップアップウィンドウ3151、3155、3157、3167などでは、ユーザにテキスト入力インタラクション動作であることを通知する“ペンで文を書く形態のイメージ”と“OOOを書いてください”のようなテキスト入力に対する案内が提供されることができる。
また、図31A〜図31Nの場合、規則生成のためのユーザ入力がテキストに基づいて行われることによって、ユーザ入力として、音声ではなく、テキストのための筆記を入力される動作が行われることができる。例えば、図31B、図31D、図31F、図31H、図31J、そして図31Mに示されたように、ユーザデバイス100の質疑に対するテキスト応答を入力(例えば、筆記入力)される動作が行われることができ、それによる筆記入力ウィンドウ3100が提供されることができる。一実施形態によれば、図31aのポップアップウィンドウ3151を通じてユーザデバイス100の“命令語を書いてください”という案内(質疑)後に、図31Bのように、筆記入力ウィンドウ3100が提供されれば、ユーザは、前記筆記入力ウィンドウ3100を通じてテキスト(例えば、タクシー)を筆記入力することができる。
このように、本発明の多様な実施形態によれば、規則を生成するにあたって、ユーザデバイス100とユーザ間のインタラクション動作で規則生成過程が行われることができ、ユーザは、ユーザデバイス100の案内に従って生成しようとする規則の条件およびアクションに対して自然言語に基づくテキストで入力して規則を設定することができる。すなわち、図31A〜図31Nでユーザデバイス100は、規則の条件およびアクションを設定する自然言語に基づくテキストをユーザから入力され、ユーザ入力によって当該規則を設定することができる。
図32A〜図32Eは、本発明の実施形態によるユーザデバイスで規則を実行する他の動作例示を示す図である。
図32A〜図32Eは、制御部170(例えば、規則実行モジュール175)がユーザ入力のうち筆記による自然言語に基づくテキスト入力を受け入れ、前記テキスト入力に反応して規則を実行し、制御部170(例えば、条件感知モジュール177)が規則実行に反応して前記規則に対応する条件を感知し、制御部170(例えば、アクション実行モジュール179)が条件感知に反応して当該条件に対応する1つまたはそれ以上のアクションを実行する動作の例示を示すものである。
図32A〜図32Eを参照すれば、図32A〜図32Eは、図5A〜図5Eを参照した説明部分で説明したような規則実行動作に対応することができる。例えば、図32Aは、図5Aに対応する動作であることができ、図32Bは、図5Bに対応する動作であることができ、図32Dは、図5Cに対応する動作であることができ、図32Eは、図5Dに対応する動作であることができる。したがって、以下では、図32A〜図32Eを参照する説明で図5A〜図5Eを参照した説明に対応または同一の動作に対しては、その説明を省略するかまたは簡素化する。
すなわち、図32A〜図32Eは、図5A〜図5Eに対応する動作実行で規則を実行する本発明の実施形態を示すものである。但し、図32A〜図32Eでは、規則実行のためのユーザ入力が、音声ではなく、ユーザの筆記によってテキストに入力される点において差異がある。したがって、図32A〜図32Eでは、音声に基づいて規則を生成する動作(例えば、図5A〜図5E)に比べてユーザ音声入力を受け入れる動作の代わりに、ユーザの筆記に基づくテキスト入力を受け入れる動作が行われることができる。
例えば、図32A〜図32Eの場合、規則実行のためのユーザ入力がテキストに基づいて行われることによって、ユーザデバイス100は、ユーザとのインタラクション動作によって提供するポップアップウィンドウにユーザ入力として“音声入力”の案内の代わりに、“テキスト入力”を案内する情報を提供することができる。一実施形態によれば、図5Bのポップアップウィンドウ551では、ユーザに音声入力インタラクション動作であることを通知する“ユーザが言う形態のイメージ”と“OOOを話してください”のような音声入力に対する案内が提供されることができる。一方、図32Bなどのポップアップウィンドウ3251では、ユーザにテキスト入力インタラクション動作であることを通知する“ペンで文を書く形態のイメージ”と“OOOを書いてください”のようなテキスト入力に対する案内が提供されることができる。
また、図32A〜図32Eの場合、規則実行のためのユーザ入力がテキストに基づいて行われることによって、ユーザ入力として、音声ではなく、テキストのための筆記を入力される動作が行われることができる。例えば、図32Cに示されたように、ユーザデバイス100の質疑に対するテキスト応答を入力(例えば、筆記入力)される動作が行われることができ、それによる筆記入力ウィンドウ3200が提供されることができる。一実施形態によれば、図32Bのポップアップウィンドウ3251を通じてユーザデバイス100の“命令語を書いてください”という案内(質疑)後に図32Cのように筆記入力ウィンドウ3200が提供されれば、ユーザは、前記筆記入力ウィンドウ3200を通じてテキスト(例えば、地下鉄)を筆記入力することができる。
このように、本発明の多様な実施形態によれば、規則を実行するにあたって、ユーザデバイス100とユーザ間のインタラクション動作で規則実行過程が行われることができ、ユーザは、ユーザデバイス100の案内に従って実行しようとする当該規則に対して自然言語に基づくテキストを入力して当該規則を実行することができる。すなわち、図32A〜図32Eでユーザデバイス100は、当該規則を実行する自然言語に基づくテキストをユーザから入力され、ユーザ入力によって当該規則を実行することができる。
以上のように、本発明の多様な実施形態によれば、ウィジェット500を通じて規則を実行することができる。一実施形態によれば、ユーザは、ウィジェット500で命令入力領域(または規則実行ボタン)510を選択し、設定された規則(または命令語)に対するテキストを入力することができる。それでは、制御部170は、規則の開始を通知しながらどんなアクションが行われるかをテキストポップアップまたは音声(例えば、TTS動作)でユーザにフィードバックすることができる。そして、制御部170は、実行する当該規則に対して実行情報領域520に追加しながら、インジケータ領域を通じて実行中の規則があることを通知する通知アイテムを表示することもできる。
また、図32Aに示されたように、テキスト入力に基づく前記ウィジェット500の場合、図5Aで提示された音声入力に基づくウィジェット500と区別されるように提供されることができる。一実施形態によれば、図5Aのウィジェット500の場合、命令入力領域または規則実行ボタン510に“ユーザが言う形態のイメージ”が提供されることができ、これにより、音声に基づく動作であることをユーザに通知することができる。また、図32Aのウィジェット500の場合、命令入力領域(または規則実行ボタン)510に“ペンで文を書く形態のイメージ”が提供されることができ、これにより、テキストに基づく動作であることをユーザに通知することができる。
図33A〜図33Dは、本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する他の動作例示を示す図である。
図33A〜図33Dを参照すれば、制御部170がユーザ入力のうち筆記による自然言語に基づくテキスト入力を受け入れ、前記テキスト入力に反応して現在動作中の規則を一時中止する動作の例示を示すものである。
図33A〜図33Dを参照すれば、図33A〜図33Dは、図16A〜図16Cを参照した説明部分で説明したような規則一時停止動作に対応することができる。例えば、図33Aは、図16Aに対応する動作であることができ、図33Bは、図16Bに対応する動作であることができ、図33Dは、図16Cに対応する動作であることができる。したがって、以下では、図33A〜図33Dを参照する説明において前記図16A〜図16Cを参照した説明に対応または同一の動作に対しては、その説明を省略するかまたは簡素化する。
すなわち、図33A〜図33Dは、図16A〜図16Cに対応する動作実行で実行中の規則を一時中止する本発明の実施形態を示すものである。但し、図33A〜図33Dでは、規則を一時中止するためのユーザ入力が、音声ではなく、ユーザの筆記によってテキストに入力される点において差異がある。したがって、図33A〜図33Dでは、音声に基づいて規則を一時中止する動作(例えば、図16A〜図16C)に比べてユーザ音声入力を受け入れる動作の代わりに、ユーザの筆記に基づくテキスト入力を受け入れる動作が行われることができる。
例えば、図33A〜図33Dの場合、規則を一時中止するためのユーザ入力がテキストに基づいて行われることによって、ユーザデバイス100は、ユーザとのインタラクション動作によって提供するポップアップウィンドウにユーザ入力で“音声入力”の案内の代わりに、“テキスト入力”を案内する情報を提供することができる。一実施形態によれば、図33Bのポップアップウィンドウ3351では、ユーザにテキスト入力インタラクションション動作であることを通知する“ペンで文を書く形態のイメージ”と“OOOを書いてください”のように、テキスト入力に対する案内が提供されることができる。
また、図33A〜図33Dの場合、規則を一時中止するためのユーザ入力がテキストに基づいて行われることによって、ユーザ入力として、音声ではなく、テキストのための筆記を入力される動作が行われることができる。例えば、図33Cに示されたように、ユーザデバイス100の質疑に対するテキスト応答を入力(例えば、筆記入力)される動作が行われることができ、それによる筆記入力ウィンドウ3300が提供されることができる。一実施形態によれば、図33bのポップアップウィンドウ3351を通じてユーザデバイス100の“命令語を書いてください”という案内(質疑)後に図33cのように筆記入力ウィンドウ3300が提供されれば、ユーザは、前記筆記入力ウィンドウ3300を通じてテキスト(例えば、タクシー一時停止)を筆記入力することができる。
このように、本発明の多様な実施形態によれば、規則を一時中止するにあたって、ユーザデバイス100とユーザ間のインタラクション動作で一時停止過程が行われることができ、ユーザは、ユーザデバイス100の案内に従って一時中止しようとする規則に対して自然言語に基づくテキストを入力し、当該規則を一時中止させることができる。すなわち、図33A〜図33Dでユーザデバイス100は、当該規則を一時中止する自然言語に基づくテキストをユーザから入力され、ユーザ入力によって当該規則を一時中止することができる。
以上のように、本発明の多様な実施形態によれば、ウィジェット500を通じて規則を一時中止することができる。一実施形態によれば、ユーザは、ウィジェット500で命令入力領域(または規則実行ボタン)510を選択し、動作中の規則の一時停止のためのテキストを入力することができる。これにより、ユーザは、周期的に繰り返し実行される少なくとも1つの規則を一時的に中止することができる。すなわち、制御部170は、“OOO一時停止”のように、テキストに基づくユーザ入力が入れば、当該規則(例えば、OOO)を一時中止させることができる。
図34A〜図34Dは、本発明の実施形態によるユーザデバイスで実行中の規則を終了する他の動作例示を示す図である。
図34A〜図34Dを参照すれば、図34A〜図34Dは、図22A〜図22Cを参照した説明部分で説明したような規則終了動作に対応することができる。例えば、図34Aは、図22Aに対応する動作であることができ、図34bは、図22bに対応する動作であることができ、図34Dは、図22Cに対応する動作であることができる。したがって、以下では、図34A〜図34Dを参照した説明に対応または同一の動作に対しては、その説明を省略するかまたは簡素化する。
すなわち、図34A〜図34Dは、図22A〜図22Cに対応する動作実行で規則を終了する本発明の実施形態を示すものである。但し、図34A〜図34Dでは、規則終了のためのユーザ入力が、音声ではなく、ユーザの筆記によってテキストに入力される点において差異がある。したがって、図34A〜図34Dでは、音声に基づいて規則を終了する動作(例えば、図22A〜図22C)に比べてユーザ音声入力を受け入れる動作の代わりに、ユーザの筆記に基づくテキスト入力を受け入れる動作が行われることができる。
例えば、図34A〜図34Dの場合、規則終了のためのユーザ入力がテキストに基づいて行われることによって、ユーザデバイス100は、ユーザとのインタラクション動作によって提供するポップアップウィンドウにユーザ入力として“音声入力”の案内の代わりに、“テキスト入力”を案内する情報を提供することができる。一実施形態によれば、図34Bのポップアップウィンドウ3451では、ユーザにテキスト入力インタラクション動作であることを通知する“ペンで文を書く形態のイメージ”と“OOOを書いてください”のようなテキスト入力に対する案内が提供されることができる。
また、図34A〜図34Dの場合、規則終了のためのユーザ入力がテキストに基づいて行われることによって、ユーザ入力として、音声ではなく、テキストのための筆記を入力される動作が行われることができる。例えば、図34Cに示されたように、ユーザデバイス100の質疑に対するテキスト応答を入力(例えば、筆記入力)される動作が行われることができ、それによる筆記入力ウィンドウ3400が提供されることができる。一実施形態によれば、図34Bのポップアップウィンドウ3451を通じてユーザデバイス100の“命令語を書いてください”という案内(質疑)後に図34Cのように筆記入力ウィンドウ3400が提供されれば、ユーザは、前記筆記入力ウィンドウ3400を通じてテキスト(例えば、地下鉄終了)を筆記入力することができる。
このように、本発明の多様な実施形態によれば、規則を実行するにあたって、ユーザデバイス100とユーザ間のインタラクション動作で規則終了過程が行われることができ、ユーザは、ユーザデバイス100の案内に従って終了しようとする当該規則に対して自然言語に基づくテキストを入力し、当該規則を終了することができる。すなわち、図34a〜図34dでユーザデバイス100は、当該規則を終了する自然言語に基づくテキストをユーザから入力され、ユーザ入力によって当該規則を終了することができる。
以上のように、本発明の多様な実施形態によれば、ウィジェット500を通じて規則を終了することができる。一実施形態によれば、ユーザは、ウィジェット500で命令入力領域(または規則実行ボタン)510を選択し、動作中の規則の終了のためのテキストを入力することができる。また、本発明の多様な実施形態によれば、ユーザのテキスト入力によって当該規則が終わるとき、前記当該規則の条件およびアクションによって変更されたユーザデバイス100の1つまたはそれ以上の設定を変更される前の状態に自動復帰するように動作することもできる。
本発明の多様な実施形態によれば、それぞれのモジュールは、ソフトウェア、ファームウエア、ハードウェアまたはその組合で構成されることができる。また、一部または全体モジュールは、1つの個体(entity)に構成され、各モジュールの当該機能を同一に行われるように構成することができる。また、本発明の多様な実施形態によれば、それぞれの動作は、順次、繰り返し的または並列的に実行されることができる。また、一部の動作は、省略されるか、または他の動作が追加されて実行されることもできる。
前述したような本発明の実施形態によるメッセージ処理方法は、多様なコンピュータ手段を通じて行われることができるプログラム命令形態で具現され、コンピュータで読み取り可能な記録媒体に記録されることができる。この際、前記コンピュータで読み取り可能な記録媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。一方、記録媒体に記録されるプログラム命令は、本発明のために特別に設計され構成されたものであるか、またはコンピュータソフトウェア当業者に公知されて使用可能なものであってもよい。
前記コンピュータで読み取り可能な記録媒体には、ハードディスク、フロッピー(登録商標)ディスクおよび磁気テープのような磁気媒体(Magnetic Media)、CD−ROM、DVDのような光記録媒体(Optical Media)、フロプチカルディスク(Floptical Disk)のような磁気−光媒体(Magneto−Optical Media)、およびROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなどのようなプログラム命令を格納し実行するように特別に構成されたハードウェア装置が含まれる。また、プログラム命令には、コンパイラによって作われるもののような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行されることができる高級言語コードを含む。前述したハードウェア装置は、本発明の動作を行うために1つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。
そして、本明細書と図面に開示された本発明の実施形態は、本発明の技術内容を容易に説明し、本発明の理解を助けるために特定例を提示したものに過ぎず、本発明の範囲を限定しようとするものではない。したがって、本発明の範囲は、ここに開示された実施形態以外にも、本発明の技術的思想に基づいて導出されるすべての変更または変形された形態が本発明の範囲に含まれるものと解釈されなければならない。