JP6338829B2 - 多重入力処理方法及び装置 - Google Patents

Description

本発明は、多重入力処理方法及び装置に関し、特に、同時に発生した多重入力に応答して機能を行う方法及び装置に関する。

現在、携帯端末は、無線音声通話及び情報交換が可能な媒体として用いられている。携帯端末の普及初期には、単純に携帯することができ、無線通話が可能なものとして認識されたが、技術の発達に伴い、多様なサービスと機能を提供する。例えば、携帯端末は、ホンブック（ｐｈｏｎｅ ｂｏｏｋ）、ゲーム（ｇａｍｅ）、短文メッセージ（ｓｈｏｒｔ ｍｅｓｓａｇｅ）、電子メール（ｅｍａｉｌ）、モーニングコール（ｍｏｒｎｉｎｇ ｃａｌｌ）、ミュージックプレーヤー、日程管理機能、デジタルカメラ及び無線インターネットサービスが可能なマルチメディア機器に発展して多様なサービスを提供する。

一方、現在音声認識技術は、急速に発展しており、単純に音声をテキストに変換するか、単語を認識するにとどまらず、人のように文脈を認識することができる。このような音声認識技術は、多様な端末、例えば、スマートホン、スマートテレビまたはタブレットパソコンなどに適用されている。端末は、ユーザの入力情報、特に音声情報に応答して多様な機能（例えば、撮影、インターネット接続、音楽再生、ナビゲーションサービスなど）を実行することができる。このような音声認識技術の発達に伴い、ユーザは、自分が保有した各々の端末を便利に利用することができる。

近年、携帯端末は、ユーザとの相互作用を入力インターフェースとして多様な入力装置、代表的に、タッチスクリーンとマイクを提供する。すなわちユーザは、タッチスクリーンを通じてタッチ入力し、携帯端末を制御することができる。また、ユーザは、マイクを通じて音声入力し、携帯端末を制御することができる。すなわち従来、携帯端末は、ユーザの入力を個別的に処理している。特に従来携帯端末は、音声入力と他の入力を個別的に処理している。したがって、携帯端末に様々な種類の入力装置を具備することが非効率的であることがある。

本発明は、２つ以上の入力方式を組み合わせて使用することができる環境を提供することを目的とする。言い換えれば、本発明は、互いに異なる入力インターフェースから同時に入力された多重入力を処理する方法及び装置を提供することを目的とする。

また、本発明は、マイクから入力された音声情報からユーザの意図を認識し、マイクではない他のインターフェースによって行われる機能に前記ユーザの意図が正確に反映され得るようにする方法及び装置を提供することを目的とする。

本発明による多重入力処理方法は、外部との相互作用のためのインターフェースのうち１つから第１ユーザ入力を検出する段階と、前記第１ユーザ入力に応答して機能を行う段階と、前記インターフェースのうち他の１つから第２ユーザ入力またはシステム入力を検出する段階と、前記第２ユーザ入力または前記システム入力に応答して前記機能の属性を変更する段階と、を含むことを特徴とする。ここで、前記機能の属性を変更する段階は、前記第２ユーザ入力に該当する音声情報を分析し、ユーザの意図を認識する段階と、前記第１ユーザ入力によって既に行われた機能に対して補正が必要であるか否かを決定する段階と、前記補正が必要な場合、前記既に行われた機能で補正必要部分を算出する段階と、前記補正必要部分に前記ユーザの意図を反映する段階とを含むことを特徴とする。

本発明による多重入力処理装置は、外部との相互作用のためのインターフェースと、前記インターフェースを制御する制御部と、を含み、前記制御部は、前記インターフェースのうち１つから第１ユーザ入力を検出し、前記第１ユーザ入力に応答して機能を行い、前記インターフェースのうち他の１つから第２ユーザ入力またはシステム入力を検出し、前記第２ユーザ入力または前記システム入力に応答して前記機能の属性を変更することを特徴とする。また、前記制御部は、前記第２ユーザ入力に該当する音声情報を分析してユーザの意図を認識し、前記第１ユーザ入力によって既に行われた機能に対して補正が必要であるか否かを決定し、前記補正が必要な場合、前記既に行われた機能で補正必要部分を算出し、前記補正必要部分に前記ユーザの意図を反映することを特徴とする。

以上より、本発明による多重入力処理方法及び装置によれば、本発明は、２つの以上の入力方式を組み合わせて使用することができる環境をユーザに提供することができる。本発明は、マイクから入力された音声情報からユーザの意図を認識し、ユーザの意図が他の入力によって行われる機能に正確に反映されるようにすることができる。

本発明の一実施例による多重入力処理装置のブロック構成図である。 本発明の一実施例による多重入力処理方法を説明するための流れ図である。 本発明の一実施例による多重入力処理方法を説明するための画面例示図である。 本発明の一実施例による機能の属性変更方法を説明するための流れ図である。 本発明の一実施例による補正必要部分の算出方法を説明するための図である。 本発明の他の実施例による多重入力処理方法を説明するための画面例示図である。 本発明のさらに他の実施例による多重入力処理方法を説明するための画面例示図である。 本発明のさらに他の実施例による多重入力処理方法を説明するための画面例示図である。

本発明の詳細な説明に先立って、以下で使用される用語や単語は、通常的や辞書的な意味に限定して解釈してはならないし、本発明の技術的思想に符合する意味や概念として解釈されなければならない。したがって、以下の説明と添付の図面は、本発明の好ましい実施例に過ぎないもので、本発明の技術的思想をすべて代弁するものではないので、本出願時点においてこれらを代替することができる多様な均等物と変形例があり得ることを理解しなければならない。また、添付の図面において一部の構成要素は、誇張されるか省略されるかまたは概略的に図示され、各構成要素のサイズは、実際サイズを全く反映するものではない。したがって、本発明は、添付の図面に描かれた相対的なサイズや間隔によって制限されない。

本発明による多重入力処理方法及び装置は、スマートホン、タブレットパソコン、ノートパソコン、デスクトップパソコン、テレビ、ナビゲーション装置及びビデオフォンなどのようなマルチメディア機器に適用されることができる。また、マルチメディア機器が融合された機器（例えば、通信機能及びタッチスクリーンを有する冷蔵庫）にも適用されることができる。

本発明において「入力」は、外部との相互作用のための多様なインターフェースから入力された情報であって、大きく、ユーザ入力とシステム入力を含むことができる。具体的に「ユーザ入力」は、ユーザインターフェース（例えば、タッチスクリーン、マイク、センサー部、キー入力部など）のうち１つを通じて装置に入力されたユーザの入力情報であって、ハンドリング手段（例えば、ユーザの手やペン）を利用したタッチスクリーンに対するユーザのジェスチャーと、マイクを通じて入力された音声情報と、センサー部で感知したモーション（ｍｏｔｉｏｎ）情報などを含むことができる。ここで、モーション情報は、ユーザのモーション情報を含む。ユーザモーション情報は、例えば、カメラ（イメージセンサー）で撮影した「手のモーション」、「顔のモーション」または「目のモーション」などになることができる。また、装置が携帯端末である場合、モーション情報は、当該装置のモーション情報を含むことができる。装置モーション情報は、例えば、ユーザが携帯端末を振って、これによって加速度センサーで感知した当該装置の「加速度情報」になることができる。本発明において「システム入力」は、当該装置の外部環境と関連した情報である。ここで、外部環境は、大きく、自然環境と通信環境を含むことができる。例えば、自然環境と関連した情報は、外部照度、温度、湿度、携帯端末の速度、位置、動きの方向などを含むことができる。そして、通信環境と関連した情報は、ＬＴＥ、３Ｇ、ＷｉＦｉ、ブルートゥースなど当該端末が連結された無線通信網情報と、有線で連結された外部装置の属性情報などを含むことができる。以上、本発明において入力は、ユーザ観点で、当該入力がユーザによって発生したか否かによってユーザ入力とシステム入力に区分されることができる。機器観点で、入力は、当該入力の発生場所を基準としてユーザ入力とシステム入力に区分されることができる。例えば、タッチスクリーンで発生した入力は、ユーザ入力であり、照度センサーで発生した入力は、システム入力であることができる。

本発明による方法及び装置は、同時発生した多重入力を処理することができる。特に本発明による方法及び装置は、第１ユーザ入力によって行われる機能の属性を、第２ユーザ入力またはシステム入力に応答して、変更することができる。例えば、方法及び装置は、ペンタッチに応答してペン文字を画面に表示する。この際、「赤色」というユーザの音声が検出された場合、本発明による方法及び装置は、文字の色相を赤色に変更する。また、本発明による方法及び装置は、既に書かれたペン文字の色相を赤色に補正することもできる。このような本発明の特徴的な技術を添付の図面を参照して以下で具体的に説明する。但し、本発明を説明するに際して、関連された公知機能または構成に対する具体的な説明が本発明の要旨を不明にすることができると判断される場合、その詳細な説明を省略する。

図１は、本発明の一実施例による多重入力処理装置のブロック構成図である。

図１を参照すれば、装置１００は、タッチスクリーン１１０、キー入力部１２０、格納部１３０、無線通信部１４０、オーディオ処理部１５０、スピーカーＳＰＫ、マイクＭＩＣ、センサー部１６０及び制御部１７０、カメラ１８０を含むことができる。

タッチスクリーン１１０は、ユーザとの相互作用のためのユーザインターフェースを提供するために、タッチパネル１１１と表示パネル１１２を含んで構成される。タッチパネル１１１は、表示パネル１１２に安着（ｐｌａｃｅ ｏｎ ｔｈｅ ｄｉｓｐｌａｙ ｕｎｉｔ）されることができる。具体的にタッチパネル１１１は、表示パネル１１２上に位置するアドオンタイプ（ａｄｄ−ｏｎ ｔｙｐｅ）や表示パネル１１２内に挿入されるオンセルタイプ（ｏｎ−ｃｅｌｌ ｔｙｐｅ）またはインセルタイプ（ｉｎ−ｃｅｌｌ ｔｙｐｅ）で具現されることができる。

タッチパネル１１１は、タッチパネル１１１に対するユーザのジェスチャーに応答してアナログ信号（例えば、タッチイベント）を発生し、アナログ信号をＡ／Ｄ変換し、制御部１７０に伝達する。制御部１７０は、伝達されたタッチイベントからユーザのジェスチャーを検出する。すなわち、制御部１７０は、タッチ地点、タッチの移動距離、タッチの移動方向、タッチの速さ及びタッチの圧力などを検出し、前記構成を制御することができる。

タッチパネル１１１は、手ジェスチャーを感知する手タッチパネル１１１ａとペンジェスチャーを感知するペンタッチパネル１１１ｂを含んで構成された複合タッチパネルであることができる。ここで、手タッチパネル１１１ａは、静電容量方式（ｃａｐａｃｉｔｉｖｅ ｔｙｐｅ）で構成されることができる。ここで、手タッチパネル１１１ａは、ユーザの手ジェスチャーだけによってタッチイベントを発生するものではなく、他の物体（例えば、静電容量変化を加えることができる伝導性材質の物体）によってもタッチイベントを生成することができる。すなわち手タッチパネル１１１ａでは、ユーザの手のみならず、他の物体によってもタッチイベントが発生することができる。手タッチパネル１１１ａは、静電容量方式に限定されるものではなく、抵抗膜方式（ｒｅｓｉｓｔｉｖｅ ｔｙｐｅ）、赤外線方式または超音波方式で構成されることもできる。ペンタッチパネル１１１ｂは、電子誘導方式（ｅｌｅｃｔｒｏｍａｇｎｅｔｉｃ ｉｎｄｕｃｔｉｏｎ ｔｙｐｅ）で構成されることができる。これにより、ペンタッチパネル１１１ｂは、磁場を形成することができるように特殊製作されたタッチ用スタイラスペンによってタッチイベントを生成する。

タッチスクリーン１１０に対するユーザジェスチャーは、前述したように、タッチ入力手段が何であるかによって、大きく、手ジェスチャーとペンジェスチャーに区分される。前述したように、手ジェスチャーは、手タッチパネル１１１ａで感知し、ペンジェスチャーは、ペンタッチパネル１１１ｂで感知することができる。

また、ユーザジェスチャーは、ハンドリング手段が何であるかとは関係なく、タッチ（Ｔｏｕｃｈ）とタッチジェスチャー（Ｔｏｕｃｈ ｇｅｓｔｕｒｅ）に区分される。さらに、タッチジェスチャーは、タップ（Ｔａｐ）、ダブルタップ（Ｄｏｕｂｌｅ Ｔａｐ）、ロングタップ（Ｌｏｎｇ ｔａｐ）、ドラッグ（Ｄｒａｇ）、ドラッグアンドドロップ（Ｄｒａｇ ＆ Ｄｒｏｐ）、フリック（Ｆｌｉｃｋ）及びプレス（Ｐｒｅｓｓ）などを含むことができる。ここで、タッチは、ユーザが画面のいずれか１つの地点にタッチ入力手段（例えば、指やスタイラスペン）を利用して接触する操作であり、タップは、いずれか１つの地点をタッチした後、タッチ入力手段の移動なしに当該地点でタッチ入力手段をタッチ解除（ｔｏｕｃｈ−ｏｆｆ）する操作であり、ダブルタップは、いずれか１つの地点を連続的に２回タップする操作であり、ロングタップは、タップよりも相対的に長くタッチした後、タッチ入力手段の移動なしに当該地点でタッチ入力手段をタッチ解除する操作であり、ドラッグは、いずれか１つの地点をタッチした状態でタッチ入力手段を所定方向に移動させる操作であり、ドラッグアンドドロップは、ドラッグした後、タッチ入力手段をタッチ解除する操作であり、フリックは、弾くように、ドラッグに比べてタッチ入力手段を速く移動させた後、タッチ解除する操作を意味する。プレスは、タッチ入力手段でいずれか１つの地点をタッチした後、当該地点を押す操作である。すなわちタッチは、タッチスクリーンに接触（ｃｏｎｔａｃｔ）している状態を意味し、タッチジェスチャーは、タッチがタッチスクリーンに接触（ｔｏｕｃｈ−ｏｎ）してタッチ解除（ｔｏｕｃｈ−ｏｆｆ）までのタッチの動きを意味する。タッチパネル１１１は、圧力センサーを具備し、タッチされた地点の圧力を感知することができる。感知された圧力情報は、制御部１７０に伝達され、制御部１７０は、感知された圧力情報に基づいてタッチとプレスを区分することができる。

表示パネル１１２は、制御部１７０の制御下に、制御部１７０から入力された映像データをアナログ信号に変換して表示する。すなわち、表示パネル１１２は、装置１００の利用による多様な画面、例えば、ロック画面、ホーム画面、アプリケーション（アプリ（Ａｐｐ）と略称する）実行画面、キーパッドなどを表示することができる。ロック画面は、表示パネル１１２がオンとされれば、表示パネル１１２に表示される映像として定義されることができる。ロック解除のためのユーザジェスチャーが検出されれば、制御部１７０は、表示される映像をロック画面からホーム画面またはアプリ実行画面などに切り替える（ｃｈａｎｇｉｎｇ）ことができる。ホーム画面は、多数のアプリに各々対応する多数のアイコンを含む映像として定義されることができる。

多数のアプリアイコンのうち１つがユーザによって選択（例えば、アイコンをタップ）された場合、制御部１７０は、当該アプリ（例えば、インターネット、文書作成、チャット、文字伝送など）を実行し、その実行画面を表示パネル１１２に表示することができる。表示パネル１１２は、制御部１７０の制御下に、前記画面のうち１つを背景（ｂａｃｋｇｒｏｕｎｄ）で表示し、他の１つを前景（ｆｏｒｅｇｒｏｕｎｄ）として前記背景にオーバーラップして表示することができる。例えば、表示パネル１１２は、アプリ実行画面を表示し、その上にキーパッドを表示することができる。

表示パネル１１２は、制御部１７０の制御下に、多数の画面を表示することができる。例えば、表示パネル１１２は、タッチスクリーン１１０の第１スクリーン領域にキーパッドを表示し、タッチスクリーン１１０の第２スクリーン領域に前記キーパッドを通じて入力されたメッセージを表示することができる。

表示パネル１１２は、液晶表示装置（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｅｄ Ｄｉｏｄｅ）またはＡＭＯＬＥＤ（Ａｃｔｉｖｅ Ｍａｔｒｉｘ Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｅｄ Ｄｉｏｄｅ）で構成されることができる。

キー入力部１２０は、数字または文字情報を入力され、各種機能を設定するための多数のキーを含むことができる。このようなキーは、方向キー、サイドキー及びショートカットキーなどを含むことができる。キー入力部１２０は、ユーザ設定及び装置１００の機能制御と関連したキーイベントを生成し、制御部１７０に伝達する。キーイベントは、電源オン／オフイベント、ボリューム調節イベント、画面オン／オフイベントなどを含むことができる。制御部１７０は、このようなキーイベントに応答して前述した構成を制御する。また、キー入力部１２０は、多数のキーを含むクォティキーパッド（ＱＷＥＲＴＹ ｋｅｔｐａｄ）、３＊４キーパッド、４＊３キーパッドなどを含むことができる。キー入力部１２０は、タッチパネル１１１がフルタッチスクリーン形態で支援された場合、装置１００のケース側面に形成される、画面オン／オフ、装置オン／オフまたはボリューム調節などのための１つ以上のサイドキーのみを含むこともできる。一方、キー入力部１２０のキーは、ハードキー（ｈａｒｄ ｋｅｙ）と言い、タッチスクリーン１１０に表示されるキーは、ソフトキー（ｓｏｆｔ ｋｅｙ）と指称されることができる。

格納部１３０は、制御部１７０の制御下に、装置１００から生成（例えば、文字メッセージ、撮影映像）されるか、無線通信部１４０を通じて外部から受信したデータ（例えば、文字メッセージ、電子メール）を格納することができる。格納部１３０は、前記ロック画面、ホーム画面及びキーパッドなどを格納することができる。格納部１３０は、装置１００の運営のための多様な設定値（例えば、画面明るさ、タッチ発生時に振動有無、画面の自動回転有無、背景イメージなど）を格納することができる。

格納部１３０は、装置１００の起動運用のための運営体制（ＯＳ、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、通信プログラム、イメージ処理プログラム、表示制御プログラム、ユーザインターフェースプログラム、ユーザ認識プログラム、人工知能プログラム、エンベデッドアプリケーション（ｅｍｂｅｄｄｅｄ ａｐｐｌｉｃａｔｉｏｎ）及びサードパーティアプリケーション（３ｒｄ ｐａｒｔｙ ａｐｐｌｉｃａｔｉｏｎ）を含むことができる。

通信プログラムは、無線通信部１４０を通じて外部装置と通信を可能にする命令語を含む。グラフィック処理プログラムは、タッチスクリーンに表示されるグラフィックを処理するための様々なソフトウェア構成要素（例えば、イメージのフォーマット変換、表示されるグラフィックのサイズ調節、レンダリング（ｒｅｎｄｅｒｉｎｇ）及び表示パネル１１２のバックライトユニットの輝度決定などのためのモジュール）を含む。ここで、グラフィックは、テキスト、ウェブページ、アイコン、写真（ｐｉｃｔｕｒｅ）、動画及びアニメーションなどを含むことができる。また、グラフィック処理プログラムは、ソフトウェアコーデックを含むことができる。ユーザインターフェースプログラムは、ユーザインターフェースと連関された様々なソフトウェア構成要素を含む。

ユーザ認識プログラムは、例えば、音声認識プログラムと顔認識プログラムを含んでなることができる。音声認識プログラムは、音声データから音声特徴情報（例えば、音色、周波数、デシベルなど）を検出することができる。音声認識プログラムは、検出された音声特徴情報をあらかじめ格納された１つ以上の音声特徴情報と比較し、比較結果に基づいてユーザが誰なのかを認識することができる。また、音声認識プログラムは、音声データをテキストに変換するＳＴＴ（Ｓｐｅｅｃｈ Ｔｏ Ｔｅｘｔ）機能を具備することができる。顔認識プログラムは、カメラ１８０で撮影されたイメージからユーザの顔を認識する。具体的に顔認識プログラムは、イメージデータから顔情報を抽出し、抽出された顔情報をあらかじめ格納された１つ以上の顔情報と比較し、比較結果に基づいてユーザが誰なのかを認識することができる。一方、ユーザ認識は、前述した音声認識プログラムや顔認識プログラム以外にも、多様なプログラム（例えば、虹彩認識（ｉｒｉｓ ｓｃａｎ）、静脈認識（ｖｅｉｎ ｒｅｃｏｇｎｉｔｉｏｎ）、指紋認識（ｆｉｎｇｅｒ ｓｃａｎ）などを通じて行われることができる。

人工知能プログラムは、音声やイメージデータからユーザの意図を把握するためのプログラムである。例えば、人工知能プログラムは、音声データから文脈（ｃｏｎｔｅｘｔ）を認識して処理する自然語処理エンジン（ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｅｎｇｉｎｅ）と、イメージデータからユーザのジェスチャーモーションの意図を把握するジェスチャーユーザモーション認識エンジンと、認識された文脈に基づいてユーザの意図を推論する推論エンジンと、認識された文脈やユーザモーションに基づいてユーザと話し合う対話エンジンなどを含んで構成されることができる。

エンベデッドアプリケーションは、装置１００に基本的に搭載されているアプリケーションを意味する。例えば、エンベデッドアプリケーションは、ブラウザー（ｂｒｏｗｓｅｒ）、電子メール（ｅｍａｉｌ）、インスタントメッセンジャー（ｉｎｓｔａｎｔ ｍｅｓｓｅｎｇｅｒ）などになることができる。サードパーティアプリケーションは、周知されているように、オンラインマーケットから装置１００にダウンロードされて設置され得るアプリケーションを意味し、非常に多種多様である。このようなサードパーティアプリケーションは、設置及び除去が自由である。

無線通信部１４０は、音声通話、画像通話またはデータ通信を制御部１７０の制御下に行う。このために無線通信部１４０は、送信される信号の周波数を上昇変換及び増幅する無線周波数送信部と、受信される信号の周波数を低雑音増幅及び下降変換する無線周波数受信部などを含むことができる。また、無線通信部１４０は、移動通信モジュール（例えば、３世代（３−Ｇｅｎｅｒａｔｉｏｎ）移動通信モジュール、３．５世代（３．５−Ｇｅｎｅｒａｔｉｏｎ）移動通信モジュールまたは４世代（４−Ｇｅｎｅｒａｔｉｏｎ）移動通信モジュールなど）、デジタル放送モジュール（例えば、ＤＭＢモジュール）及び近距離通信モジュール（例えば、ワイファイ（Ｗｉ−Ｆｉ）モジュール）、ブルートゥース（ｂｌｕｅｔｏｏｔｈ）モジュール）を含むことができる。

オーディオ処理部１５０は、スピーカーＳＰＫ及びマイクＭＩＣと結合し、音声認識、音声複製、デジタルレコーディング（ｒｅｃｏｒｄｉｎｇ）及び電話機能のためのオーディオ信号の入力及び出力機能を行う。すなわち、オーディオ処理部１５０は、スピーカーＳＰＫを通じてオーディオ信号を出力し、マイクＭＩＣを通じてオーディオ信号を入力されるための機能を行う。オーディオ処理部１５０は、制御部１７０からオーディオデータを受信し、受信したオーディオデータをアナログ信号にＤ／Ａ変換した後、アナログ信号をスピーカーＳＰＫに出力する。オーディオ処理部１５０は、マイクＭＩＣからアナログ信号を受信し、オーディオデータにＡ／Ｄ変換した後、オーディオデータを制御部１７０に提供する。スピーカーＳＰＫは、オーディオ処理部１５０から受信されたアナログ信号を音波（ｓｏｕｎｄ ｗａｖｅ）に変換して出力する。マイクＭＩＣは、人やその他音源（ｓｏｕｎｄ ｓｏｕｒｃｅ）から伝達された音波をアナログ信号に変換する。

センサー部１６０は、装置１００の勾配変化、照度変化、加速度変化などのような多様な状態変化のうち少なくとも１つを検出し、制御部１７０に伝達することができる。センサー部１６０は、多様なセンサーよりなることができ、センサーは、制御部１７０の制御下に、電源が供給され、装置１００の状態変化を検出することができる。センサー部１６０は、１つのチップ（ｃｈｉｐ）にセンサーが一体化されるか、またはセンサーが別途のチップで具現されることができる。具体的に、センサー部１６０は、加速度センサーを含むことができる。加速度センサーは、Ｘ軸、Ｙ軸及びＺ軸成分各々に対する加速度を測定することができる。加速度センサーは、ジャイロセンサーを含むことができ、これにより、装置１００の動きがない場合、重力加速度を測定することができる。一例として、タッチスクリーン１１０が上（例えば、正のＺ軸方向）に向けるようにＸＹ平面に配置される場合、センサー部１６０によって検出される重力加速度でＸ軸及びＹ軸成分は、０ｍ／ｓｅｃ２であり、Ｚ軸成分は、＋９．８ｍ／ｓｅｃ２であることができる。タッチスクリーン１１０が裏返された場合、Ｘ軸及びＹ軸成分は、０ｍ／ｓｅｃ２であり、Ｚ軸成分は、−９．８ｍ／ｓｅｃ２であることができる。加速度センサーは、装置１００の動きがある場合、装置１００の運動加速度と重力加速度が加えられた加速度を検出する。

制御部１７０は、装置１００の全般的な動作及び装置１００の内部構成間の信号フローを制御し、データを処理する機能を行う。そして、制御部１７０は、バッテリーから内部構成への電源供給を制御する。

制御部１７０は、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）とＧＰＵ（ｇｒａｐｈｉｃ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含むことができる。周知されたように、ＣＰＵは、資料の演算及び比較と、命令語の解釈及び実行などを行うコンピュータシステムの核心的な制御ユニットである。ＧＰＵは、ＣＰＵの代わりに、グラフィックと関連した資料の演算及び比較と、命令語の解釈及び実行などを行うグラフィック制御ユニットである。ＣＰＵとＧＰＵは、各々、２つ以上の独立コア（例えば、クアッドコア（ｑｕａｄ−ｃｏｒｅ）が単一集積回路よりなる１つのパッケージ（ｐａｃｋａｇｅ）に統合されることができる。また、ＣＰＵとＧＰＵは、１つのチップに統合（ＳｏＣ；Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）されたものであることができる。また、ＣＰＵとＧＰＵは、マルチレイヤ（ｍｕｌｔｉ ｌａｙｅｒ）にパッケージング（ｐａｃｋａｇｉｎｇ）されたものであってもよい。一方、ＣＰＵ及びＧＰＵを含む構成がＡＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）と指称されることができる。

本発明による多重入力の処理は、ＣＰＵのコアのうち少なくとも１つで行われることができる。また、多重入力の処理でグラフィックと関連した機能は、ＧＰＵで行われることもできる。例えば、ＧＰＵのコアのうち少なくとも１つがタッチジェスチャーに応答してペン文字を表示する機能を行うことができる。もちろん本発明による多重入力の処理は、ＧＰＵ及びＣＰＵの両方で行うこともできる。本発明による制御部１７０の機能は、以下で具体的に説明する。

制御部１７０は、音声認識部を含むことができる。音声認識部は、オーディオ処理部１５０を通じてマイクＭＩＣから入力された音声情報から音声特徴情報（例えば、音色、周波数、デシベルなど）を検出し、これをあらかじめ格納された１つ以上の音声特徴情報と比較し、比較結果に基づいてユーザが誰なのかを認識する。また、制御部１７０は、顔認識部を含むことができる。このような顔認識部は、カメラ１８０から入力されたイメージデータから顔情報を抽出し、抽出された顔情報をあらかじめ格納された１つ以上の顔情報と比較し、比較結果に基づいてユーザが誰なのかを認識することができる。制御部１７０は、認識されたユーザにのみ制御権限を付与することができる。すなわち制御部１７０は、音声や顔が認識された場合にのみ反応することができる。また、音声認識部は、入力された音声情報において音声の特徴情報をテキストに変換し、テキストを利用してユーザの意図（すなわち特定キーワード（例えば、ｔｈｉｃｋｅｒ、ｒｅｄなど）や文脈）を認識することができる。また、顔認識部は、イメージデータからユーザのモーションの意図を把握することができる。このような音声認識部と顔認識部のうち１つ以上は、装置１００の内部に設けられる代わりに、外部のサーバーに設けられてもよい。

カメラ１８０は、制御部１７０の制御下に、被写体を撮影し、制御部１７０に出力する機能を行う。具体的に、カメラ１８０は、光を集めるためのレンズと、このような光を電気的な信号に変換するイメージセンサー（例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）またはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）と、イメージセンサーから入力される電気信号を映像データにＡ／Ｄ変換し、制御部１７０に出力するイメージ信号処理部（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ；ＩＳＰ）を含んでなることができる。カメラ１８０のＩＳＰは、映像データをプレビューイメージに加工（例えば、タッチスクリーン１１０の画面サイズに合わせて解像度を調節（ｒｅｓｉｚｉｎｇ））し、制御部１７０に出力する表示制御モジュールと、映像データをコーディング（例えば、ＭＰＥＧフォーマットに圧縮）し、制御部１７０に出力するコーディングモジュールをさらに含むことができる。制御部１７０は、プレビューイメージをタッチスクリーン１１０に表示することができる。また、制御部１７０は、コーディングされた動画を格納部１３０に格納することができる。

一方、デジタル機器のコンバージェンス（ｃｏｎｖｅｒｇｅｎｃｅ）傾向に伴い、変形が非常に多様なので、すべて列挙することはできないが、本発明による装置１００は、ＧＰＳモジュール、振動モータ、カメラ、ハードウェアコーデック、外部機器（例えば、パソコンなど）と有線で連結するための有線通信部などのように、上記で言及しない構成をさらに含むことができる。また、本発明の装置１００は、その提供形態によって前述した構成から特定の構成が除外されるか、他の構成に代替されてもよい。

図２及び図３は、各々本発明の一実施例による多重入力処理方法を説明するための流れ図及び画面例示図である。

図２を参照すれば、段階２１０で、制御部１７０は、ユーザインターフェースのうち１つから第１ユーザ入力を検出する。例えば、第１ユーザ入力は、ハンドリング手段（例えば、手やペン）を利用して文字書き込み（ｈａｎｄｗｒｉｔｉｎｇ）、ドローイング（ｄｒａｗｉｎｇ）またはペインティング（ｐａｉｎｔｉｎｇ）を行うことができるようにするプログラムが実行中の状態で、タッチスクリーンに対するハンドリング手段の動きになることができる。具体的に図３に示されたように、タッチスクリーン１１０は、ホーム画面３１０を表示する。制御部１７０は、ホーム画面３１０でメモ作成プログラムの選択（例えば、ペン３２０を利用してメモ作成プログラムのアイコン３１１をダブルタップ）を検出する（図３（ａ）参照）。制御部１７０は、メモ作成プログラムの選択に応答してメモ作成画面３３０をタッチスクリーン１１０に表示する。制御部１７０は、メモ作成画面３３０に対する第１ユーザ入力、例えば、ペン３２０の動きを検出する。

段階２２０で、制御部１７０は、第１ユーザ入力に応答して当該機能を行う。例えば、機能は、図３（ｂ）に示されたように、ペン３２０の動きに対応する文字「ＳＥＬＡＢ」を表示するものである。ここで、ペン３２０のようなハンドリング手段の動きに対応する機能は、文字書き込みに限定されるものではなく、ドローイング、ペインティング及び消去などのようにグラフィック作業と関連した機能のうち１つであることができる。ここで、消去は、文字書き込み、ドローイング及びペインティングなどによって作業された文字や絵を消す機能である。

段階２３０で、制御部１７０は、第２ユーザ入力またはシステム入力の検出可否を決定する。ここで、第２ユーザ入力は、第１ユーザ入力を生成したユーザインターフェースではない他のインターフェースで発生したものであることができる。例えば、第１ユーザ入力がタッチスクリーン１１０で発生し、第２ユーザ入力は、マイクＭＩＣ及びセンサー部１６０のうち１つで発生したものである。一方、システム入力は、第１ユーザ入力を生成したユーザインターフェースではない他の所で発生したものである。前述したように、本発明において「システム入力」は、当該装置の外部環境（例えば、自然環境または通信環境）と関連した情報である。これにより、システム入力は、例えば、センサー部１６０または無線通信部１４０などで発生したものであることができる。

第２ユーザ入力及びシステム入力のうち少なくとも１つが検出された場合、段階２４０で、制御部１７０は、検出された入力に応答して前記第１ユーザ入力によって行われた機能の属性を変更する。例えば、機能が文字書き込みである場合、文字の属性を変更するものになる。具体的に図３（ｃ）、（ｄ）及び（ｅ）を参照すれば、ユーザが「Ｌｉｎｅ ｒｅｄ、Ｌｉｎｅ Ｔｈｉｃｋｅｒ」と音声入力した場合、制御部１７０は、このような音声入力に応答して文字「ｓｏｆｔｗａｒｅ ｃｅｎｔｅｒ」の属性を音声入力に対応するように変更する。すなわち制御部１７０は、文字の色相を赤色に変更し、そして文字を厚く変更する。システム入力、例えば、外部照度の変化が検出された場合（例えば、現在検出された外部照度の値が２０Ｋｌｕｘ以上（野外に該当）である場合）、制御部１７０は、文字の色相を明るく変更し、相対的にその背景（すなわちメモ作成画面３３０）は、暗く変更することができる。

一方、前記機能の変更を行うようにする第２ユーザ入力とシステム入力は、あらかじめ指定されることができる。このような指定は、例えば、環境設定画面でユーザによって設定されることができる。ここで、環境設定画面は、サウンド、明るさ、背景画面、ネットワークなどのように当該装置１００の使用環境を設定することができるようにする画面である。また、このような指定は、製造社によって設定されることができ、ユーザによって変更が不可能であることがある。前述したように、機能がグラフィックと関連した作業である場合、第２ユーザ入力は、音声入力として指定され、システム入力は、外部照度の変化として指定されることができる。

第２ユーザ入力が音声入力である場合、制御部１７０は、ユーザの意図を把握するために、音声情報を処理する時間が必要である。ここで、音声情報は、マイクＭＩＣを通じてオーディオ処理部１５０から入力されたものであり、処理は、音声情報を分析（例えば、音声情報をテキストに変換など）し、ユーザの意図を認識するものである。このような処理は、サーバーで行うことができる。すなわち無線通信部１４０は、音声情報を含む音声認識要請メッセージを制御部１７０から伝達されて、音声認識サーバーに伝送することができる。音声認識サーバーは、音声情報を処理し、その処理結果（すなわちユーザの意図）を含む応答メッセージを装置１００に伝送することができる。このような音声処理時間の間にユーザの意図が反映されない状態で機能（例えば、文字書き込み）が行われることができる。例えば、図３（ｃ）〜（ｅ）をさらに参照すれば、ユーザは、「ＳＥＬＡＢ」を書いた後、その後、文章は、さらに厚く、そして赤色で書こうとする意図で、前述したように、「Ｌｉｎｅ ｒｅｄ、Ｌｉｎｅ Ｔｈｉｃｋｅｒ」と音声命令する。ユーザは、このような音声命令と同時に「ｓｏｆｔｗａｒｅ ｃｅｎｔｅｒ」を書くことができる。この際、「ｓｏｆｔｗａｒｅ ｃｅｎｔｅｒ」において「ｓｏｆｔ」は、ユーザの意図が反映されないことがある。すなわちユーザは、タッチスクリーン１１０に文字を書きながらそれと同時に文字の属性を変更するように音声命令することができる。したがって、既に行われた機能でユーザの意図が反映されなければならない補正必要部分（すなわちユーザの意図が反映されない部分）があり得る。前記段階２４０は、このような補正プロセス（下記の図４）を含むことができる。

図４は、本発明の一実施例による機能の属性変更方法を説明するための流れ図である。図５は、本発明の一実施例による補正必要部分の算出方法を説明するための図である。図４及び図５の説明は、ユーザがタッチスクリーン１１０に線を引くと同時に線の属性を変更するように音声命令する状況を仮定する。

図４を参照すれば、段階４１０で、制御部１７０は、検出された音声情報を分析し、ユーザの意図を認識する。具体的に図５を参照すれば、制御部１７０は、音声の開始時点ｔ１を検出する。その後、制御部１７０は、音声の終了時点ｔ２を検出する。制御部１７０は、この区間ｔ２−ｔ１の音声情報を分析し、ユーザの意図を認識する。ここで、ユーザの意図の認識は、前述したように、制御部１７０ではない外部装置である音声認識サーバーで処理されることができる。その後、制御部１７０は、ユーザの意図によって線引きの属性を変更する。例えば、タッチスクリーン１１０は、制御部１７０の制御下に、線を厚く変更して表示する。この際、ユーザが線を厚く変更しようと意図した時点は、ｔ１であるが、ユーザの意図が実際適用される時点は、ｔ３である。すなわちユーザの意図なら、ユーザの引く線は、時間ｔ１である時から太く変更されなければならないが、前述したような処理時間の所要によって実際は、時間ｔ３である時から適用される問題点がある。このような偏差は、以下のような手続によって補正されることができる。

段階４２０で、制御部１７０は、既に行われた機能の補正が必要であるか否かを決定する。制御部１７０は、タッチスクリーン１１０からタッチジェスチャーの入力を検出する同時に、オーディオ処理部１５０を通じてマイクＭＩＣから音声情報の入力を検出した場合、補正が必要なものと決定する。すなわち第１ユーザ入力（ユーザジェスチャー）と第２ユーザ入力（音声情報）が同時に検出される場合、例えば、ユーザが線を引くと同時に、音声として命令する状況において、制御部１７０は、前記第１ユーザ入力によって既に行われた機能に対して補正が必要なものと決定することができる。制御部１７０は、タッチイベントの発生が完了した後、音声情報が発生したものなら（例えば、ユーザが線引き作業を仕上げた後、以後に進行する機能の属性を設定するために音声命令する状況である）、既に行われた機能（すなわち線引き）に対して補正が不要なものと決定することができる。

補正が必要な場合、段階４３０で、制御部１７０は、既に行われた機能で補正必要部分を算出する。例えば、図５を参照すれば、制御部１７０は、ユーザの発話時点ｔ１を検出し、ユーザの意図を認識して適用した時点ｔ３を検出する。そして、制御部１７０は、引かれた（表示された）線でｔ１からｔ３である時まで引かれた部分を補正必要部分として決定する。

段階４４０で、制御部１７０は、補正必要部分にユーザの意図（すなわち線の厚さを太く）を反映する。例えば、制御部１７０は、ｔ３以後に太くなった線の厚さ分だけ補正必要部分を厚く表示するように制御する。制御部１７０は、線引き方向に行くほど補正必要部分を次第に厚く表示するように制御することもできる。色相の補正の場合、制御部１７０は、ｔ３以後に適用された線の色相を補正必要部分に適用することができる。制御部１７０は、ｔ１以前の線の色相とｔ３以後に適用された線の色相を混合した色（赤色と青色の混合である紫色）を補正必要部分に適用することもできる。以上、制御部１７０は、太さ及び色相以外にも、明るさ、透明度などのような補正必要部分のグラフィック的な属性を、前記認識されたユーザ意図に基づいて補正することができる。

図６は、本発明の他の実施例による多重入力処理方法を説明するための画面例示図である。

図６を参照すれば、制御部１７０は、メモ作成画面６１０でペン６２０の動きを検出する。制御部１７０は、ペン６２０の動きによって線を表示するように制御する。表示された線が閉曲線６３０になった場合、制御部１７０は、図６（ａ）に示されたように、閉曲線６３０内に色相（例えば、青色）を表示するように制御する。制御部１７０は、オーディオ処理部１５０を通じてマイクＭＩＣから音声情報の入力を検出する。制御部１７０は、入力された音声情報を分析し、ユーザの意図（例えば、閉曲線６３０の形態を楕円（ｅｌｌｉｐｓｅ）に変形）を認識する。制御部１７０は、ユーザの意図によって閉曲線６３０を楕円６４０に変形して表示するように制御する（図６（ｂ）参照）。

図７は、本発明のさらに他の実施例による多重入力処理方法を説明するための画面例示図である。

図７を参照すれば、制御部１７０は、メモ作成画面７１０でペン７２０の動きを検出する。制御部１７０は、ペン７２０の動きによって線を表示するように制御する。表示された線が閉曲線７３０になった場合、制御部１７０は、図７（ａ）に示されたように、閉曲線７３０内に色相（例えば、青色）を表示するように制御する。制御部１７０は、センサー部１６０からモーション情報の入力を検出する。例えば、ユーザが装置１００を振る場合、センサー部１６０は、これに対応するモーション情報を発生し、制御部１７０に伝達する。制御部１７０は、検出されたモーション情報を利用して速さ（ｓｐｅｅｄ）を算出する。そして、制御部１７０は、算出された速さが既に格納された臨界値を超過した場合、前記検出されたモーション情報が「閉曲線の形態を楕円に変形」を要請するユーザ入力であるものと決定する。前記決定によって制御部１７０は、閉曲線７３０を楕円７４０に変形して表示するように制御する（図７（ｂ）参照）。一方、前記検出されたモーション情報が「閉曲線の形態を楕円に変形」を要請するユーザ入力であるか否かを決定するための要素は、速さ以外に他の要素（例えば、動きの方向、移動距離など）をも考慮されることができる。このような要素は、環境設定でユーザによって設定されることができる。

図８は、本発明のさらに他の実施例による多重入力処理方法を説明するための画面例示図である。図８の説明は、ユーザがタッチスクリーン１１０に線を引く状況を仮定する。

図８を参照すれば、制御部１７０は、タッチスクリーン１１０からハンドリング手段（例えば、手やペン）の動きを検出する。制御部１７０は、検出されたハンドリング手段の動きによって線を表示するように制御する。このような線引きの機能を行う間に、制御部１７０は、センサー部１６０からシステム入力（例えば、上下振動）を検出することができる。制御部１７０は、システム入力で速さを計算し、計算された速さが既に格納された臨界値を超過した場合、前記システム入力がユーザの意図しない入力として決定する。このような決定によって、制御部１７０は、前記システム入力が検出された時間の間に行われた機能（例えば、線引き）を補正必要部分として決定し、補正必要部分を前記システム入力が検出された時間の前及び後に行われた機能に基づいて補正する。例えば、制御部１７０は、図８に示されたように、装置１００の上下振動によって曲がっている線を直線に補正して表示する。一方、前記システム入力がユーザの意図しない入力であるか否かを決定するための要素は、速さ以外に他の要素（例えば、動きの方向、動いた距離）などをも考慮されることができる。

以上、本発明は、同時に入力された多重入力を処理する方法及び装置を提供する。ここで、多重入力は、前述したように、互いに異なるユーザインターフェースを通じて入力されたユーザ入力であることができる。また、多重入力は、ユーザ入力とシステム入力を含むこともできる。また、本発明は、ユーザの意図が反映されない機能を補正する方法及び装置を提供する。また、本発明は、ユーザの意図しないシステム入力によって行われた機能を補正する方法及び装置を提供する。

前述したような本発明による方法は、多様なコンピュータを通じて行われることができるプログラム命令で具現され、コンピュータで読み取り可能な記録媒体に記録されることができる。ここで、記録媒体は、プログラム命令、データファイル、データ構造などを含むことができる。また、プログラム命令は、本発明のために特別に設計され、構成されたものであるか、またはコンピューターソフトウェア当業者に公知されて使用可能なものであってもよい。また、記録媒体には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体（ＭａｇｎｅｔｉｃＭｅｄｉａ）と、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（Ｏｐｔｉｃａｌ Ｍｅｄｉａ）と、フロプチカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光媒体（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭと、フラッシュメモリなどのようなハードウェア装置が含まれることができる。また、プログラム命令には、コンパイラーによって作われるもののような機械語コードだけでなく、インタプリターなどを使用してコンピュータによって実行されることができる高級言語コードが含まれることができる。ハードウェア装置は、本発明を行うために１つ以上のソフトウェアモジュールとして作動するように構成されることができる。

本発明による方法及び装置は、前述した実施例に限定されず、本発明の技術思想が許容する範囲で多様に変形して実施することができる。

１００ 装置
１１０ タッチスクリーン
１１１ タッチパネル
１１１ａ 手タッチパネル
１１１ｂ ペンタッチパネル
１１２ 表示パネル
１２０ キー入力部
１３０ 格納部
１４０ 無線通信部
１５０ オーディオ処理部
１６０ センサー部
１７０ 制御部
１８０ カメラ
ＭＩＣ マイク
ＳＰＫ スピーカー

Claims (10)

1. 外部との相互作用のためのインターフェースを有する装置での多重入力処理方法において、
   前記インターフェースのうち１つから第１ユーザ入力を検出する段階と、
   前記第１ユーザ入力に応答して対象物を描画する機能を実行する段階と、
   前記インターフェースのうち他の１つから前記対象物の属性に対する変更を指示する第２ユーザ入力を検出する段階と、
   前記第２ユーザ入力に応答して、描画されている前記対象物の属性を変更する段階と、
   を含み、
   前記対象物の属性を変更する段階は、
   前記第２ユーザ入力として音声情報を分析し、ユーザによる前記対象物の属性に対する変更内容を認識する段階と、
   前記変更内容の認識時点から前記第２ユーザ入力が検出された時点まで遡って、既に描画された前記対象物の属性を変更する段階と、
   次の第２ユーザ入力が検出されるまで、前記変更内容の認識時点以後に描画される前記対象物に対して、前記属性の変更を反映する段階と、
   を含むことを特徴とする多重入力処理方法。
2. 前記第１ユーザ入力を検出する段階は、前記インターフェースのうち１つであるタッチスクリーンからユーザジェスチャーを検出するものであり、
   前記機能を実行する段階は、前記ユーザジェスチャーに応答してグラフィック作業と関連した機能を実行するものであり、
   前記第２ユーザ入力を検出する段階は、前記インターフェースのうち１つであるマイクから音声情報を検出し、ユーザによる前記対象物の属性に対する変更内容を認識することを特徴とする請求項１に記載の多重入力処理方法。
3. 前記グラフィック作業は、文字書き込み、ドローイング、ペインティング及び消去のうちいずれか１つであることを特徴とする請求項２に記載の多重入力処理方法。
4. 前記第１ユーザ入力は、タッチスクリーンに対するユーザのジェスチャー、マイクを通じて入力された音声情報及びセンサー部で感知したモーション（ｍｏｔｉｏｎ）情報のうちいずれか１つであり、
   前記第２ユーザ入力は、タッチスクリーンに対するユーザのジェスチャー、マイクを通じて入力された音声情報及びセンサー部で感知したモーション（ｍｏｔｉｏｎ）情報のうち他の１つであることを特徴とする請求項１に記載の多重入力処理方法。
5. 外部との相互作用のためのインターフェースと、
   前記インターフェースを制御する制御部と、を含み、
   前記制御部は、前記インターフェースのうち１つから第１ユーザ入力を検出し、前記第１ユーザ入力に応答して対象物を描画する機能を実行し、前記インターフェースのうち他の１つから前記対象物の属性に対する変更を指示する第２ユーザ入力を検出し、前記第２ユーザ入力に応答して、描画されている前記対象物の属性を変更し、
   前記制御部は、
   前記第２ユーザ入力として音声情報を分析し、ユーザによる前記対象物の属性に対する変更内容を認識し、前記変更内容の認識時点から前記第２ユーザ入力が検出された時点まで遡って、既に描画された前記対象物の属性を変更し、次の第２ユーザ入力が検出されるまで、前記変更内容の認識時点以後に描画される前記対象物に対して、前記属性の変更を反映することを特徴とする多重入力処理装置。
6. 前記インターフェースは、少なくともタッチスクリーンとマイクを含み、
   前記制御部は、前記第１ユーザ入力として、前記タッチスクリーンから検出されたユーザジェスチャーに応答してグラフィック作業によって前記対象物を描画する機能を実行し、前記機能を実行するとき、前記第２ユーザ入力として、前記マイクから音声情報を検出してユーザによる前記対象物の属性に対する変更内容を認識し、前記変更内容に基づいて前記グラフィック作業によって描画された前記対象物の属性を変更することを特徴とする請求項５に記載の多重入力処理装置。
7. 前記タッチスクリーンは、手ジェスチャーを感知する手タッチパネルと、ペンジェスチャーを感知するペンタッチパネルと、表示パネルを含むことを特徴とする請求項６に記載の多重入力処理装置。
8. 前記グラフィック作業は、前記ペンジェスチャーまたは前記手ジェスチャーによる文字書き込み、ドローイング、ペインティング及び消去のうちいずれか１つであることを特徴とする請求項７に記載の多重入力処理装置。
9. 音声認識サーバーと連結可能な無線通信部をさらに含み、
   前記制御部は、前記音声情報を含む音声認識要請メッセージを前記音声認識サーバーに伝送するように前記無線通信部を制御し、前記無線通信部を通じて前記音声認識サーバーから音声情報の処理結果を含む応答メッセージを受信し、既に行われたグラフィック作業による前記対象物に対して補正が必要であるか否かを決定し、前記補正が必要な場合、前記グラフィック作業による前記対象物に対する補正必要部分を算出し、前記補正必要部分に前記処理結果を反映することを特徴とする請求項８に記載の多重入力処理装置。
10. 外部との相互作用のためのインターフェースを有する装置で具現される記録媒体において、
    前記インターフェースのうち１つから第１ユーザ入力を検出する段階と、
    前記第１ユーザ入力に応答して対象物を描画する機能を実行する段階と、
    前記インターフェースのうち他の１つから前記対象物の属性に対する変更を指示する第２ユーザ入力を検出する段階と、
    前記第２ユーザ入力に応答して、描画されている前記対象物の属性を変更する段階と、
    を含み、
    前記対象物の属性を変更する段階は、
    前記第２ユーザ入力として音声情報を分析し、ユーザによる前記対象物の属性に対する変更内容を認識する段階と、
    前記変更内容の認識時点から前記第２ユーザ入力が検出された時点まで遡って、既に描画された前記対象物の属性を変更する段階と、
    次の第２ユーザ入力が検出されるまで、前記変更内容の認識時点以後に描画される前記対象物に対して、前記属性の変更を反映する段階と、
    を含むように構成された記録媒体。