JP5837627B2 - 電子機器及び電子機器の制御方法 - Google Patents

Description

本発明は、一般的に音声認識機能を備えする電子機器に関するものであり、より詳細には、前記電子機器上での音声認識結果の編集を実行するものに関する。

携帯端末機を含む様々な電子機器に係るハードウェア技術とソフトウェア技術が飛躍的に発展するにつれ、電子機器は、様々な情報を迅速にユーザに提供できるようになった。

特に、電子機器を介して様々な機能が実行できるようにするために、従来は複雑なキーシーケンス（key sequence）とメニュー階層の構造を記憶し、キー入力を介して、様々な機能を実行した。しかし、複数のキーシーケンスと、メニュー階層の構造を記憶するために不必要な時間が消費され、所定のキーを押して、その機能を活性化させるのに困難があった。

これにより、従来の電子機器は、テキストとグラフィックを編集するシンプルで直観的な方式を提供しなかった。特に、音声認識機能を備える電子機器は、ユーザの音声を認識し、認識されたユーザの音声を様々な方法で編集し、これを応用することができるユーザインターフェースの開発が求められているのが実情である。

本発明の目的とする課題は、タッチスクリーンを備える電子機器に対するユーザインターフェイスに関連付けられて、前述した問題点を減少するか、または除去することができるようにできる電子機器を提供することにある。

本発明のまた他の課題は、音声認識結果を、より便利な方法で編集し、それを応用することができる電子機器及び電子機器の制御方法を提供することにある。

前記課題を解決するために、本発明の電子機器は、タッチスクリーンと、音声認識モジュールと、前記音声認識モジュールが活性化された状態で前記音声入力モジュールを介して音声入力を受信し、前記音声入力をテキストに変換し、変換されたテキストを前記タッチスクリーンに表示する間に予め定められた単語を認知する場合、前記予め定められた単語の編集をガイドするためのオブジェクト（object）を前記予め定められた単語が認知された地点に表示する制御部とを含むことができる。

前記予め定められた単語は、前記音声入力の内、長音、無声音、音声入力を介して表現しにくいオーディオ（例えば、特定の動作が実行されるようにする、ユーザから入力される音声信号など）、名詞と動詞の内の少なくとも一つに対応する単語を含むことができる。

前記制御部は、予め定められた時間の間、前記オブジェクトを前記タッチスクリーンに表示することができる。

前記制御部は、前記オブジェクトを選択する入力を受信する場合、前記予め定められた単語が認知された地点に挿入可能な文字、特殊記号、グラフィック オブジェクトのうち少なくとも一つを含むウィンドウ（window）を前記タッチスクリーンに表示することができる。

前記オブジェクトを選択する入力は、前記オブジェクトに対するマルチタッチによるズームアウトの入力を含み、前記制御部は、前記変換されたテキストのうち、第１単語と第２単語の間の１つの地点についてズームアウト入力を受信する場合、前記第１単語と第２単語間の間隔を拡張させ、前記拡張された空間に、前記文字、特殊記号及びグラフィック オブジェクトのうち少なくとも一つを挿入することができる。

前記制御部は、前記文字、特殊記号及びグラフィックオブジェクトのうち少なくとも一つを所定の優先順位（priority）に基づいて前記ウインドウ（window）に配列して表示することができる。

前記文字と特殊記号及びグラフィックオブジェクトの各々は、対応するインデックスが一緒に表示され、前記制御部は、前記インデックスを指称する音声入力を受信する場合、前記インデックスに対応するテキストの編集を行うことができる。

前記制御部は、前記オブジェクトに対して予め定められたタッチ入力を受信する場合、前記オブジェクトが表示された地点に挿入可能な文字を自動的に完成することができる。

前記制御部は、前記自動的な完成によって挿入可能な文字が複数である場合、複数の候補文字を前記タッチスクリーンに表示することができる。

前記制御部は、前記音声入力をテキストに変換するためのモードに進入し、前記モードで、前記音声認識モジュールを活性化し、前記変換されたテキストのうちの少なくとも一部を選択するタッチ入力を受信する場合、前記音声認識モジュールを非活性化し、前記選択された少なくとも一部のテキストを編集するためのモードに進入することができる。

前記制御部は、前記受信された音声入力のパターンに応じて前記オブジェクトの属性を変更して表示することができる。

本発明の他の面に沿った電子機器の制御方法は、音声認識モジュールを活性化する段階と、前記音声認識モジュールを介して音声入力を受信する段階と、前記音声入力をテキストに変換する段階と、変換されたテキストをタッチスクリーンに表示する間に、予め定められた単語を認知する場合、前記予め定められた単語を編集するためのオブジェクトを前記予め定められた単語が認知された地点に表示する段階と、を含むことができる。

本発明によれば、音声認識モジュールを介して入力されるリアルタイムの音声をテキストに変換する間、変換されたテキストの編集をリアルタイムでガイドすることができる所定のマーカー（marker）を通じて変換されたテキストの編集を容易に行うことができる。

また、本発明によれば、音声認識結果を編集するより速く、より効率的な方法及びインタフェースを提供することができる。これにより、電子機器の有効性、効率、及びユーザの満足度を向上することができる。

本発明の一実施形態に係る電子機器のブロック構成図（block diagram）である。 近接センサの近接深さを説明するための概念図である。 本発明の一実施形態に係る電子機器の制御方法のフローチャートである。 予め定められた単語が認知される場合、テキストの編集をガイドするためのオブジェクトを表示する例を説明するための図である。 予め定められた単語が認知される場合、テキストの編集をガイドするためのオブジェクトを表示する例を説明するための図である。 図５に示されたオブジェクトを用いて、テキストを編集する例を説明するための図である。 図５に示されたオブジェクトを用いて、テキストを編集する例を説明するための図である。 変換されたテキストの属性を考慮し、テキストを編集する例を説明するための図である。 変換されたテキストの属性を考慮し、テキストを編集する例を説明するための図である。 変換されたテキストの属性を考慮し、テキストを編集する例を説明するための図である。 変換されたテキストの属性を考慮し、テキストを編集する例を説明するための図である。 テキストの編集をガイドするためのオブジェクトが表示される例を説明するための図である。 変換されたテキストの内、編集するテキストのブロックを選択する例を説明するための図である。 変換されたテキストの内、単語と単語の間に別のテキストを挿入するための例を説明するための図である。 変換されたテキストの内、単語と単語の間に別のテキストを挿入するための例を説明するための図である。 変換されたテキストの内、単語と単語の間に別のテキストを挿入するための例を説明するための図である。 変換されたテキストの内、単語と単語の間に別のテキストを挿入するための例を説明するための図である。 変換されたテキストの内、単語と単語の間に別のテキストを挿入するための例を説明するための図である。 変換されたテキストの内、単語と単語の間に別のテキストを挿入するための例を説明するための図である。 変換されたテキストの内、単語と単語の間に別のテキストを挿入するための例を説明するための図である。 変換されたテキストの内、単語と単語の間に別のテキストを挿入するための例を説明するための図である。 変換されたテキストの内、単語と単語の間に別のテキストを挿入するための例を説明するための図である。 変換されたテキストの内、単語と単語の間に別のテキストを挿入するための例を説明するための図である。 変換されたテキストの内、単語と単語の間に別のテキストを挿入するための例を説明するための図である。

本発明の前述した目的、特徴及び長所は、添付された図面に係る以下の詳細な説明を通じてより明確になる。

以下、添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。明細書全体にかけて同一の参照番号は同一の構成要素を示す。また、本発明に関する公知の機能や構成についての具体的な説明が本発明の要旨を不必要に不明確にすると判断される場合には、その詳細な説明を省略する。

以下の説明で使用される構成要素に対する接尾辞「モジュール」及び「部」は、明細書作成の容易さのみが考慮されて付与または混用されるものであり、それ自体で区別される意味または役割を有するものではない。

本明細書で説明される電子機器には、携帯電話、スマートフォン（smart phone）、ノートパソコン（laptop computer）、デジタル放送用端末機、ＰＤＡ（Personal Digital Assistants）、ＰＭＰ（Portable Multimedia Player）、ナビゲーションなどが含まれうる。

本発明は、電子機器に関するもので、タッチスクリーンに表示されるアイテムの選択、実行、及び制御のための新しいユーザインターフェイスを提供する電子機器及び電子機器の制御方法に関するものである。

本発明は、後述するように、タッチスクリーンを備えた電子機器で実現することができる。

本発明によれば、前記電子機器のタッチスクリーンに複数のアイテムが表示された状態で、ユーザが両手で、または２本の指で前記タッチスクリーンの任意の領域をタッチする場合、本発明の技術的思想によるユーザインターフェイスが前記タッチスクリーンに提供される。

前記ユーザインタフェースは、前記タッチスクリーンに表示された前記複数のアイテムが、それぞれ対応する複数のカラーが対応された第１制御領域を含むことができる。ここで、前記ユーザインタフェースが提供されるに応じて、ユーザに前記複数のアイテムと、
前記複数の色の対応関係を知らせるために、前記複数のアイテムのそれぞれについて、対応する色が表示されることができる。

ユーザは、前記複数のカラーが対応された前記第１制御領域を介して前記複数のアイテムのそれぞれを選択するか、実行するか、または制御することができる。

たとえば、ユーザが前記複数のカラーが対応された前記第１制御領域を指で擦り付けるようにドラッグすると、指が通過する位置に表示された色に対応するアイテムが選択されることができる。

また、前記ユーザインタフェースは、前記第１制御領域とは別の位置に提供される、後述する第２制御領域を含むことができる。前記第２制御領域は、前記第１制御領域と同じ方式に、前記タッチスクリーンに表示された複数のアイテムをナビゲートするための機能が割り当てられるか、前記第１制御領域を介して選択された特定のアイテムを実行するための機能が割り当てることができる。

前記第１制御領域と前記第２制御領域は、相互補完的な関係を介して前記タッチスクリーンに表示された複数のアイテムを選択するか、実行するか、制御するために用いることができる。

以下、前記第１制御領域及び前記第２制御領域を含む前記ユーザインタフェースが実現される様々な実施形態を、必要な図を参照して詳細に説明する。

図１は、本発明の一実施形態に係る電子機器のブロック構成図（block diagram）である。

前記電子機器１００は、無線通信部１１０、Ａ/Ｖ（Audio/Video）入力部１２０、ユーザ入力部１３０、センシング部１４０、出力部１５０、メモリー部１６０、インターフェース部１７０、制御部１８０と電源供給部１９０などを含むことができる。図１に示された構成要素が不可欠なわけではなく、それよりも多くの構成要素を有するか、それより少ない構成要素を有する電子機器を実現することもできる。

以下、前記構成要素について順に注意深く見る。

無線通信部１１０は、電子機器１００と無線通信システム間、または電子機器１００と電子機器１００が位置するネットワーク間の無線通信を可能にする１つ以上のモジュールを含むことができる。たとえば、無線通信部１１０は、放送受信モジュール１１１、移動通信モジュール１１２、無線インターネットモジュール１１３、近距離通信モジュール１１４と位置情報モジュール１１５などを含むことができる。

放送受信モジュール１１１は、放送チャンネルを介して外部の放送管理サーバから放送信号及び/または放送関連情報を受信する。

前記放送チャンネルは、衛星放送チャンネル、地上波チャンネルを含むことができる。前記の放送管理サーバは、放送信号及び/または放送関連情報を生成して送信するサーバまたは既に生成された放送信号及び/または放送関連情報の提供を受けて端末機に送信するサーバを意味することができる。前記放送信号は、ＴＶ放送信号、ラジオ放送信号、データ放送信号を含むだけでなく、ＴＶ放送信号またはラジオ放送信号にデータ放送信号が結合した形態の放送信号も含むことができる。

前記放送関連情報は、放送チャンネル、放送番組または放送サービス提供者に関連した情報を意味することができる。前記放送関連情報は、移動通信網を通じても提供されることができる。このような場合には、前記移動通信モジュール１１２によって受信することができる。

前記放送関連情報は、様々な形で存在することができる。たとえば、ＤＭＢ（Digital Multimedia Broadcasting）のＥＰＧ（Electronic Program Guide）またはＤＶＢ−Ｈ（Digital Video Broadcast-Handheld）のＥＳＧ（Electronic Service Guide）などの形態で存在することができる。

前記放送受信モジュール１１１は、各種放送システムを利用して放送信号を受信するが、特に、ＤＭＢ−Ｔ（Digital Multimedia Broadcasting-Terrestrial）、ＤＭＢ−Ｓ（Digital Multimedia Broadcasting-Satellite）、ＭｅｄｉａＦＬＯ（Media Forward Link Only）、ＤＶＢ−Ｈ（Digital Video Broadcast-Handheld）、ＩＳＤＢ−Ｔ（Integrated Services Digital Broadcast-Terrestrial）などのデジタル放送システムを利用してデジタル放送信号を受信することができる。もちろん、前記の放送受信モジュール１１１は、前述したデジタル放送システムだけでなく、放送信号を提供する他の放送システムに適合するように構成することもできる。

放送受信モジュール１１１を介して受信された放送信号及び/または放送関連情報はメモリ部１６０に格納することができる。

移動通信モジュール１１２は、移動通信網上で基地局、外部の端末、サーバの内、少なくとも一つと無線信号を送受信する。前記無線信号は、音声呼信号(call)、画像通話呼信号または文字/マルチメディアメッセージの送受信に伴う様々な形態のデータを含むことができる。

無線インターネットモジュール１１３は、無線インターネットの接続のためのモジュールを言うことで、無線インターネットモジュール１１３は、電子機器１００に内装または外装することができる。無線インターネット技術ではＷＬＡＮ（Wireless LAN）（Ｗｉ−Ｆｉ）、Ｗｉｂｒｏ（Wireless broadband）、Ｗｉｍａｘ（World Interoperability for Microwave Access）、ＨＳＤＰＡ（High Speed Downlink Packet Access）などが利用されうる。

近距離通信モジュール１１４は、近距離通信のためのモジュールをいう。近距離通信技術としてブルートゥース（Bluetooth）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（ＩｒＤＡ、infrared Data Association）、ＵＷＢ（Ultra Wideband）、ＺｉｇＢｅｅなどが利用されることができる。

位置情報モジュール１１５は、電子機器の位置を確認し、または、取得するためのモジュールである。前記位置情報モジュールの代表的な例としては、ＧＰＳ（Global Position System）モジュールがある。現在の技術によれば、前記ＧＰＳモジュール１１５は、一地点（オブジェクト）が３つ以上の衛星から離れた距離に関する情報と、前記距離情報が測定された時間に関する情報を算出した後、前記算出された距離情報に三角法を適用することで、一時間に一地点（オブジェクト）の緯度、経度、及び高度に応じた３次元の位置情報を算出することができる。さらに、３つの衛星を利用して、位置と時間の情報を算出し、また他の１つの衛星を利用して前記算出された位置と時間情報の誤差を修正する方法もまた使用されている。ＧＰＳモジュール１１５は、現在の位置をリアルタイムで継続算出して、それを利用して速度情報を算出することもある。

図１を参照すると、Ａ / Ｖ（Audio/Video）入力部１２０は、オーディオ信号またはビデオ信号を入力するためのものであり、これは、カメラ１２１とマイク１２２などが含まれることができる。カメラ１２１は、画像通話モードまたは撮影モードでイメージセンサにより得られる静止映像や動映像などの画像フレームを処理する。処理された画像フレームは、ディスプレイ部１５１に表示されることができる。

カメラ１２１で処理された画像フレームは、メモリ部１６０に格納されるか、無線通信部１１０を介して外部に伝送することができる。カメラ１２１は、端末機の構成態様に応じて２つ以上が備えられることもある。

マイク１２２は、通話モードまたは録音モードでは、音声認識モードなどでマイクロフォン（Microphone）により外部の音響信号の入力を受け、電気的な音声データに処理する。処理された音声データは、通話モードである場合、移動通信モジュール１１２を介して移動体通信基地局に送信可能な形態に変換されて出力されることができる。マイク１２２には、外部の音響信号の入力を受ける過程で発生する雑音（noise）を除去するための様々なノイズ除去アルゴリズムが実現されることができる。

ユーザ入力部１３０は、ユーザが端末機の動作を制御するための入力データを発生させる。ユーザ入力部１３０は、キーパッド（key pad）ドームスイッチ（dome switch）、タッチパッド（静圧/静電）、ジョグホイール、ジョグスイッチなどで構成することができる。

センシング部１４０は、電子機器１００の開閉状態、電子機器１００の位置、ユーザの接触の有無、電子機器の変位、電子機器の加速/減速などのように電子機器１００の現在の状態を感知して、電子機器１００の動作を制御するためのセンシング信号を発生させる。たとえば、電子機器１００がスライドフォン型である場合、スライドフォンの開閉状況をセンシングすることができる。また、電源供給部１９０の電源供給可否、インターフェース部１７０の外部機器の結合可否などに係るセンシング機能を担当することもできる。一方、前記センシング部１４０は、近接センサ１４１を含むことができる。

出力部１５０は、視覚、聴覚または触覚などに係る出力を発生させるためのものであり、これはディスプレイ部１５１、音響出力モジュール１５２、アラーム部１５３とハプティックモジュール１５４などが含むことができる。

ディスプレイ部１５１は、電子機器１００で処理される情報を表示出力する。例えば、電子機器が通話モードである場合、通話に関連付けられたＵＩ（User Interface）またはＧＵＩ（Graphic User Interface）を表示する。電子機器１００が画像通話モードまたは撮影モードである場合には、撮影及び/または受信された映像やＵＩ、ＧＵＩを表示する。

ディスプレイ部１５１は、液晶ディスプレイ（liquid crystal display）、薄膜トランジスタ液晶ディスプレイ（thin film transistor-liquid crystal display）、有機発光ダイオード（organic light-emitting diode）、フレキシブルディスプレイ（flexible display）、３次元ディスプレイ（３Ｄ display）の内から少なくとも一つを含むことができる。

これらのうち、一部のディスプレイは、それを通して外部を見ることができるように透明型または光透過型で構成することができる。これは、透明ディスプレイと呼称されることがありますが、前記透明ディスプレイの代表的な例としては、透明ＬＣＤなどがある。ディスプレイ部１５１の後方の構造また、光透過型構造で構成することができる。このような構造によって、ユーザは、端末機本体のディスプレイ部１５１が占める領域を介して端末機本体の後方に位置する物事を見ることができる。

電子機器１００の実現形態に応じて、ディスプレイ部１５１が２つ以上存在することができる。たとえば、電子機器１００には、複数のディスプレイ部が一つの面に離隔されたり一体に配置されることができ、また、互いに異なる面にそれぞれ配置することもできる。

ディスプレイ部１５１とタッチ動作を感知するセンサ（以下、「タッチセンサ」と称する）が相互レイヤー構造をなす場合（以下、「タッチスクリーン」と略称する）に、ディスプレイ部１５１は、出力デバイス以外に、入力デバイスとしても使用することができる。タッチセンサは、例えば、タッチフィルム、タッチシート、タッチパッドなどの形態を有することができる。

タッチセンサは、ディスプレイ部１５１の特定の部位に加えられた圧力またはディスプレイ部１５１の特定の部位に発生する静電容量などの変化を電気的な入力信号に変換するように構成することができる。タッチセンサは、タッチされる位置と面積だけでなく、タッチ時の圧力までも検出することができるように構成することができる。

タッチセンサのタッチ入力がある場合、それに対応する信号は、タッチコントローラに送られる。タッチコントローラは、その信号を処理した後、対応するデータを制御部１８０に伝送する。これにより、制御部１８０はディスプレイ部１５１のどの領域がタッチされたかどうかなどを知ることができるようになる。

図１を参照すると、前記タッチスクリーンによって包み込まれる電子機器の内部領域または前記タッチスクリーンの近傍に近接センサ１４１が配置されることができる。前記近接センサ１４１は、所定の検出面に接近する物体、あるいは近傍に存在する物体の有無を電磁界の力または赤外線を利用して機械的接触なしに検出するセンサを称する。近接センサは、接触式センサよりは、その寿命が長く、その活用度もまた高い。

前記近接センサ１４１の例としては、透過型光電センサ、直接反射型光電センサ、ミラー反射型光電センサ、高周波発振型近接センサ、静電容量型近接センサ、磁気型近接センサ、赤外線近接センサなどがある。

前記タッチスクリーンが静電式の場合には、前記ポインタの近接に伴う電界の変化で、前記ポインタの近接を検出するように構成される。この場合、前記タッチスクリーン（タッチセンサ）は、近接センサに分類されることもある。

以下では説明の便宜のために、前記タッチスクリーン上にポインタが接触しながら、近接して前記ポインタが前記タッチスクリーン上に位置するのが認識されるようにする行為を「近接タッチ（proximity touch）」と称し、前記タッチスクリーン上にポインタが実際に接触される行為を「接触タッチ（contact touch）」と称する。前記タッチスクリーン上でポインタで近接タッチがされる位置というのは、前記ポインタが近接タッチされるとき、前記ポインタが前記タッチスクリーンに対して垂直に対応する位置を意味する。

前記近接センサ１４１は、近接タッチ及び近接タッチパターン（例えば、近接タッチ距離、近接タッチ方向、近接タッチ速度、近接タッチ時間、近接タッチ位置、近接タッチ移動状態など）を感知する。前記感知された近接タッチ動作及び近接タッチパターンに相当する情報は、タッチスクリーン上に出力することができる。

音響出力モジュール１５２は呼信号の受信、通話モードまたは録音モード、音声認識モード、放送受信モードなどで、無線通信部１１０から受信したり、メモリ部１６０に格納されたオーディオデータを出力することもできる。音響出力モジュール１５２は、電子機器１００で実行される機能（例えば、呼信号受信音、メッセージ受信音など）に係る音響信号を出力する。このような音響出力モジュール１５２には、レシーバ（Receiver）、スピーカ（speaker）、ブザー（Buzzer）などが含まれることができる。また、前記音響出力モジュール１５２は、イヤホンジャック１１６を介して音響を出力することができる。ユーザは、前記イヤホンジャック１１６にイヤホンを接続して、出力される音響を聞くことができる。

アラーム部１５３は、電子機器１００のイベント発生を知らせるための信号を出力する。電子機器から発生されるイベントの例としては、呼信号の受信、メッセージ受信、キー信号入力、タッチ入力などがある。アラーム部１５３は、ビデオ信号やオーディオ信号以外に、他の形態、例えば、振動でイベントの発生を知らせるための信号を出力することもできる。ビデオ信号やオーディオ信号は、ディスプレイ部１５１や音響出力モジュール１５２を通じても出力することができる。

ハプティック モジュール（haptic module）１５４は、ユーザが感じることができる様々な触覚効果を発生させる。ハプティックモジュール１５４が発生させる触覚効果の代表的な例としては、振動がある。ハプティック モジュール１５４が発生する振動の強さやパターンなどは制御可能である。たとえば、互いに異なる振動を合成して出力したり、順次出力することもできる。

ハプティックモジュール１５４は、振動外にも、接触皮膚面に対して垂直に運動するピン配列による刺激による効果、噴射口や吸込口を介する空気の噴射力や吸引力を介した刺激による効果、皮膚の表面をかすめる刺激による効果、電極（eletrode）との接触を通じた刺激による効果、静電気力を用いた刺激による効果、吸熱や発熱可能な素子を用いた冷温感再現による効果など様々な触覚効果を発生させることができる。

ハプティックモジュール１５４は、直接的な接触を介して触覚効果を伝達することができるだけでなく、ユーザの指や腕などの筋感覚を通じて触覚効果を感じることができるように実現することもできる。ハプティックモジュール１５４は、電子機器１００の構成の態様に応じて２つ以上が備えられることができる。

メモリ部１６０は、制御部１８０の動作のためのプログラムを格納することができ、入/出力されるデータ（例えば、電話帳、メッセージ、静止映像、動映像など）を一時的に格納することもできる。前記メモリ部１６０は、前記タッチスクリーン上のタッチ入力時に出力される様々なパターンの振動および音響に関するデータを格納することができる。

メモリ部１６０は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＳＤまたはＸＤメモリなど）、ラム（Random Access Memory、ＲＡＭ）、ＳＲＡＭ（Static Random Access Memory）、ロム（Read-Only Memory、ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＰＲＯＭ（Programmable Read-Only Memory）、磁気メモリ、磁気ディスク、光ディスクの内、少なくとも一つのタイプの格納媒体を含むことができる。電子機器１００は、インターネット（internet）上で前記メモリ部１６０の格納機能を実行するウェブストレージ（web storage）と関連して動作することもできる。

インターフェース部１７０は、電子機器１００に接続されるすべての外部機器との通路の役割をする。インターフェース部１７０は、外部機器からのデータを伝送受けたり、電源の供給を受け、電子機器１００内部の各構成要素に伝達したり、電子機器１００内部のデータが外部機器に伝送されるようにする。たとえば、有/無線ヘッドセットポート、外部充電器ポート、有/無線データポート、メモリカード（memory card）ポート、識別モジュールが備えられた装置を接続するポート、オーディオＩ/Ｏ（Input/Output）ポート、ビデオＩ/Ｏ（Input/Output）ポート、イヤホンポートなどのインターフェース部１７０に含めることができる。

識別モジュールは、電子機器１００の使用権を認証するための各種情報を格納したチップで、ユーザ認証モジュール（User Identify Module、ＵＩＭ）、加入者認証モジュール（Subscriber Identify Module、ＳＩＭ）、汎用ユーザ認証モジュール（Universal Subscriber Identity Module、ＵＳＩＭ）などを含むことができる。識別モジュールが備えられた装置（以下「識別装置」）は、スマートカード（smart card）の形式で製作されることができる。したがって、識別装置はポートを通じて電子機器１００と接続することができる。

前記インターフェース部は、電子機器１００が外部クレードル（cradle）と接続するとき、前記クレードルからの電源が、前記電子機器１００に供給される通路になったり、ユーザにより前記クレードルから入力される各種コマンド信号が前記電子機器１００に伝達される経路になることがある。前記クレードルから入力される各種コマンド信号または前記電源は、前記電子機器１００が前記クレードルに正しく装着されたことを認知するための信号で動作することもできる。

制御部１８０は、一般的に電子機器の全般的な動作を制御する。例えば、音声通話、データ通信、画像電話などのための係る制御及び処理を実行する。制御部１８０は、マルチメディアの再生のためのマルチメディアモジュール１８１を備えることもできる。マルチメディアモジュール１８１は、制御部１８０内に実現されることもあり、制御部１８０とは別に実現することもできる。

前記制御部１８０は、前記タッチスクリーン上で行われる手書き入力または絵描き入力をそれぞれ文字及びイメ―ジとして認識することができるパターン認識処理を行なうことができる。

電源供給部１９０は、制御部１８０の制御により外部の電源、内部の電源の印加を受けて、各構成要素の動作に必要な電源を供給する。

ここで説明される様々な実施形態は、例えば、ソフトウェア、ハードウェア、またはこれらの組み合わせたものを用いて、コンピュータまたはこれと類似のデバイスで読むことができる記録媒体内で実現することができる。

ハードウェア的な実現によると、ここに説明される実施形態は、ＡＳＩＣｓ（application specific integrated circuits）、ＤＳＰｓ（digital signal processors）、ＤＳＰＤｓ（digital signal processing devices）、ＰＬＤｓ（programmable logic devices）、ＦＰＧＡｓ（field programmable gate arrays、プロセッサ（processors）、コントローラ（controllers）、マイクロコントローラ（micro-controllers）、マイクロプロセッサ（microprocessors）、機能を実行するための電気的なユニットの内少なくとも一つを利用して実現することができる。一部の場合に、そのような実施形態が制御部１８０によって実現されることができる。

ソフトウェア的な実現によると、手続きや機能のような実施形態は、少なくとも一つの機能または作動を実行させる別のソフトウェアモジュールと一緒に実現することができる。ソフトウェアコードは、適切なプログラム言語で書かれたソフトウェア・アプリケーションによって実現されることができる。また、ソフトウェアコードは、メモリ部１６０に格納され、制御部１８０によって実行されることができる。

前述した近接センサ１４１に対して、図２を参照しながら、さらに具体的に注意深く見る。

図２は、近接センサ１４１の近接深さを説明するための概念図である。

図２に示すように、ユーザの指などのようなポインタが前記タッチスクリーンに近接
する場合、前記タッチスクリーンの内部または近傍に配置された前記近接センサ１４１がこれを感知し、近接信号を出力する。

前記近接センサ１４１は、前記近接タッチされたポインタと前記タッチスクリーンとの間の距離（以下、「近接深さ」と称する）に応じて互いに異なる近接信号を出力するように構成することができる。

前記タッチスクリーンにポインタが近づいたときに、近接信号が出力される距離を検出距離だというのに、簡単には、前記検出距離が互いに異なる近接センサを複数使用することにより、各近接センサから出力される近接信号を比較すると、前記の近接深さを知ることができる。

図２では、例えば３つの近接深さを感知することができる近接センサ１４１が配置されたタッチスクリーンの断面が例示されている。３つ未満または４個以上の近接深さを感知する近接センサも可能すること勿論である。

具体的には、前記ポインタが前記タッチスクリーン上に完全に接触される場合（ｄ₀）には接触タッチとして認識される。前記ポインタが前記タッチスクリーン上でｄ₁距離未満で離隔されて位置する場合には、第１近接深さの近接タッチとして認識される。前記ポインタが前記タッチスクリーン上でｄ₁距離以上ｄ₂距離未満で離隔されて位置する場合には、第２近接深さの近接タッチとして認識される。前記ポインタが前記タッチスクリーン上でｄ₂距離以上ｄ₃距離未満で離隔されて位置する場合には、第３近接深さの近接タッチとして認識される。そして、前記ポインタが前記タッチスクリーン上でｄ₃距離以上に離隔されて位置する場合には、近接タッチが解除されたことで認識される。

従って、前記制御部１８０は、前記ポインタのタッチスクリーンの近接距離と近接位置などに応じて前記近接タッチを様々な入力信号として認識することができ、前記の様々な入力信号に応じた様々な動作制御を実行することができる。

以下、本発明の実施形態を説明する。

本発明では説明の便宜のために、前記ディスプレイ部１５１をタッチスクリーン１５１であると仮定する。前述したように、前記タッチスクリーン１５１は、情報表示機能と情報入力機能を全て実行することができる。しかし、本発明はこれに限定されるわけではないことを明らかにしておく。また、本明細書で言及されるタッチは、接触タッチと近接タッチを全て含むことができる。前述した外部機器２００のディスプレイモジュール２３０また、タッチスクリーンと仮定して説明することができることを明らかにしておく。

図３は、本発明の本発明の一実施形態に係る電子機器の制御方法のフローチャートである。本発明の一実施形態に係る電子機器の制御方法は、図１及び図２を参照して説明した電子機器１００で実現されることができる。以下に必要な図面を参照して、本発明の一実施形態に係る電子機器の制御方法と、これを実現するための、前記電子機器１００の動作を詳細に説明することにする。

電子機器１００の制御部１８０は、音声認識モジュールを活性化する（Ｓ１１０）。そして、前記音声認識モジュールが活性化された状態で、ユーザが発話する音声入力を受信することができる（Ｓ１２０）。

前記音声認識モジュールは、図１に示されてはいないが、図１に示されたマイク１２２と連携して、マイク１２２に入力される音声（音声）を認識する。

前記音声認識モジュールを自然言語を認識することができるアプリケーションを実行することにより、活性化することができる。前記のアプリケーションを実行する場合、マイク１２２が自動的にオン（on）することができる。

前記音声認識モジュールは、ユーザが発話する音声内容を認識するために、自然言語データベースと連携することができる。たとえば、前記の自然言語データベースは、ユーザから入力される音声の内、前記自然言語データベースに格納されたテキストと一致する音声があるか可否を判断する。一致する音声が検索される場合には、前記ユーザの発話内容を前記自然言語データベースに格納されているテキストの内容で認識する。

一方、前記音声認識モジュールが活性化された後に受信される音声入力は、ユーザが発話する音声だけでなく、電子機器１００の内部に格納されたオーディオファイルを含むことができる。

その後、制御部１８０は、前記音声認識モジュールが活性化された状態でリアルタイムに認識される音声入力をテキストに変換し（Ｓ１３０）、変換されたテキストをタッチスクリーン１５１に表示することができる。

制御部１８０は、前記変換されたテキストが予め定められた単語であるかを判断する（Ｓ１４０）。その後、制御部１８０は、前記タッチスクリーン１５１に表示される変換されたテキストの内、前記予め定められた単語が存在する場合（Ｓ１４０：例）、前記予め定められた単語の編集をガイドするためのオブジェクト（object）を前記予め定められた単語が認知された地点に表示することができる（Ｓ１５０）。

ここで、前記予め定められた単語は、ユーザによってあらかじめ設定された単語で有り得る。例えば、前記予め定められた単語は、リアルタイムで入力されるユーザの音声入力が長音である場合、前記の長音を認識し、前記の長音を編集できるようにする。また、前記予め定められた単語が特定の品詞に該当する場合、前記特定の品詞に係る編集を行うことができるようにする。

前記予め定められた単語は、前述した長音、または特定の品詞に限定されない。例えば、制御部１８０は、ユーザによってあらかじめ設定された特定の文字、記号、特殊文字などが認識される場合、本発明の一実施形態に係る編集を行うことができるように制御する。また、制御部１８０は、音声認識モジュールを介して、特定の単語に変換するのが難しい無声音や拍手の音などを認識する場合、現在変換中のテキストを編集するためのモードに進入することができる。一方、制御部１８０は、前記無声音や拍手の音の場合、前記の無声音または拍手の音をテキストに変換されないため、前記の無声音または拍手の音を代替する記号（symbol）に置換して表示することができる。

制御部１８０は、変換されたテキストの編集をガイド（guide）するためのオブジェクト（object）の操作を介して前記変換されたテキストを編集することができる。（Ｓ１６０）前記オブジェクトは、タッチスクリーン１５１上で編集対象のテキストの位置を指称するためのカーソル（cursor）の形で表示されることができる。また、前記オブジェクトは、グラフィック オブジェクトの形で表示されることができる。前記オブジェクトは、ユーザのタッチ入力を通じて外形が変形することができる。例えば、予め定められた広さを有するオブジェクトが表示された以後、ユーザのズームアウト入力により前記オブジェクトの広さが広がることができる。前記オブジェクトは、予め定められた時間の間、タッチスクリーン１５１上に表示され、前記予め定められた時間が経過すると、前記オブジェクトが前記タッチスクリーン１５１上で自動的に消えることができる。すなわち、前記オブジェクトがタッチスクリーン１５１上に表示される間、テキストを編集できるモードに認識することができる。これにより、前記オブジェクトが前記タッチスクリーン１５１から消えると制御部１８０は、テキスト編集モードで再度音声入力モードに切り替えることができる。

前術した実施形態に係ると、電子機器１００は、ユーザが発話する音声入力をリアルタイムでテキストに変換しながら、変換されたテキストをユーザのタッチ入力を介してリアルタイムで編集できるようになる。一方、電子機器１００は、従来の文字入力方式で超えて、音声入力を通じて文字を入力し、入力された文字を多様に変形してテキストメッセージを伝送することができる。

一方、ユーザの音声入力をテキストに変換する場合、変換されたテキストは、前記ユーザの発話パターン、ユーザの感情、イントネーション、発話時間、ユーザの位置などが反映される必要がある状況が有り得る。

本発明の一実施形態に係れば、ユーザが発話する音声をリアルタイムでテキストに変換しながら、ユーザの自動または手動で前記前述したコンテクスト（context）を前記変換されたテキストに反映することができる。

本発明の一実施形態では、前記前述したコンテクストを反映る一例として、テキスト編集を記述したが、本発明はこれに限定されず多様に変形して実施することができる。

図４〜図５は、予め定められた単語が認知される場合、テキストの編集をガイドするためのオブジェクトを表示する例を説明するための図である。

図４を参照すると、制御部１８０は、音声認識モジュールが活性化されると、ユーザが発話する音声が入力されていることを識別するためのユーザインターフェイス、例えば、マイクの形のグラフィック オブジェクト１０と、音声が入力されていることを示すオブジェクト１１をタッチスクリーン１５１の一領域に表示することができる。

制御部１８０は、ユーザが発話する音声を受信し、これをテキストに変換し、変換されたテキスト（ＳＴ）をタッチスクリーン１５１に表示する。

制御部１８０は、前記音声に含まれている長音（Ｔ１）を認識する場合、図５に示すように、前記長音（例えば、図４の「イイイイイ」）を自動または手動で編集するためのオブジェクト（ＯＢ）を前記認識された長音の後に表示する。

特に、ユーザの音声で入力できない特殊記号の場合には、予め定められた長音を発話することにより、前記長音を別の記号に修正できるようにするオブジェクト（ＯＢ）を前記長音の近傍に表示する。そして、前記オブジェクト（ＯＢ）を操作することにより、所望する記号または文字などを挿入したり、変更することができる。

図６〜図７は、図５に示されたオブジェクトを用いて、テキストを編集する例を説明するための図である。

図６を参照すると、制御部１８０は、ユーザの音声を通じて長音が入力される場合、ユーザの音声が変換されたテキスト（ＳＴ）の横にオブジェクト（ＯＢ）を表示する。そして、制御部１８０は、前記のオブジェクト（ＯＢ）を選択する入力を受信する場合、前記子音を代替したり、前記子音の横に挿入するための候補記号または候補文字を含むリスト（Ｌ）をタッチスクリーン１５１に表示することができる。

制御部１８０は、ユーザが頻繁に使用する特殊記号、文字入力パターンなどを監視
して、ユーザの文字入力パターンを蓄積してデータ化することができる。制御部１８０は、前記ユーザの文字入力パターンを参照して、前記オブジェクト（ＯＢ）に挿入されるようお勧めすることができる。

前記リスト（Ｌ）は、前述したように、ユーザの音声入力を介して入力しにくい、特殊記号、シンボル、所定のグラフィックオブジェクトなどを含むことができる。

一方、前記リスト（Ｌ）に含まれている記号と文字は、アラビア数字でインデックスされて表示されることができる。たとえば、波表示「〜」は、アラビア数字「１」でインデックスされ、添字表「＊」は、アラビア数字「２」でインデックスされ、「☆」は、アラビア数字「３」にインデックスされることができる。残りの記号と文字も同様に所定のアラビア数字（４,５,６,７,８）にそれぞれインデックスされて表示されることができる。

図６を参照すると、前記リスト（Ｌ）がタッチスクリーン１５１に表示された状態で、制御部１８０は、前記インデックスされたアラビア数字を含む音声入力を受信する場合、前記アラビア数字に対応する記号または文字を前記オブジェクト（ＯＢ）の代わりに挿入することができる。

一方、前記リスト（Ｌ）に含まれている記号または文字を選択するための方法は、前述したユーザの音声入力のほか、さまざまな方法で実現することができる。たとえば、電子機器１００のハードキーまたはタッチスクリーン１５１に表示されるソフトキーボタンを選択する入力を介して実現することができる。

図７を参照すると、図６において、ユーザが「１」を発話する場合、前記「１」に対応する波表示「〜」（Ｔ２）が前記オブジェクト（ＯＢ）の代わりに挿入される。

すなわち、本発明の実施形態に係れば、ユーザの音声を介して受信しにくい特殊記号、文字等についても、より簡便な方法でテキストを入力することができる。

一方、本発明の実施形態によれば、ユーザの発話内容が「ジュヒョンイ波表示」である場合、制御部１８０は、前記発話内容の内、「ジュヒョンイ」に該当する部分はテキストに切り替え、残りの「波表示」に該当する部分は、自動的に波表示に該当する記号「〜」に切り替えて表示することもできる。

図８〜図１１は、変換されたテキストの属性を考慮して、テキストを編集する例を説明するための図である。

本発明の一実施形態に係れば、ユーザの文字入力パターンを考慮して、ユーザの音声をテキストに変換する際に、前記変換されたテキストが、ユーザが頻繁に使用したパターンの文字と同じである場合、制御部１８０は、前述したテキストの編集をガイドするオブジェクト（ＯＢ）を制御することにより、前記テキストを編集することができる。前記ユーザが頻繁に使用するパターンの文字は、既に設定されたプログラムを用いて、ユーザの文字入力パターンを持続的に監視し、監視結果をデータベースに格納することができる。

前記プログラムを通じて監視する文字入力のパターンは、特定単語が入力された後、入力される特殊文字、記号などを含むことができる。一方、前記監視される事項は、特定単語が入力される頻度などを含むことができる。

例えば、図８を参照すると、制御部１８０は、特定単語をユーザの発話を介して受信し、前記ユーザの発話をテキストに変換し、タッチスクリーン１５１にリアルタイムで表示する中、制御部１８０は、前記特定単語（例えば「ヨンス」）を認識するとすぐに、前記特定の単語の横にテキストの編集をガイドするためのオブジェクト（ＯＢ）を表示する。

一方、前記テキストの編集をガイドするためのオブジェクト（ＯＢ）は、複数で有り得る。すなわち、図９を参照すると、「ヨンス」と「善い」という単語があらかじめ設定された単語である場合、制御部１８０は、該当単語にそれぞれ前記テキストの編集をガイドするためのオブジェクト（ＯＢ）をマッチングして表示することができる。すなわち、第１オブジェクト（ＯＢ１）を「ヨンス」を編集するために表示し、第２オブジェクト（ＯＢ２）を「善い」を編集するために表示することができる。

前記複数の第１オブジェクト（ＯＢ１）及び第２オブジェクト（ＯＢ２）は、連続して表示することができる。また、前記第１オブジェクト（ＯＢ１）及び第２オブジェクト（ＯＢ２）は、それぞれがタッチスクリーン１５１に表示された後、予め定められた時間が経過した後に自動的に消えるようにすることができる。一方、制御部１８０は、前記オブジェクトが表示された後、前記オブジェクトのタッチ入力が入力されていない状態で、予め定められた時間が経過する場合は、前記オブジェクトを自動的にタッチスクリーン１５１で消えるようにすることができる。

図１０を参照すると、変換されたテキスト（ＳＴ）に含まれる、予め定められた単語の内、特定単語の近傍に表示されるオブジェクト（ＯＢ）を選択するタッチ入力を受信する場合、前記オブジェクト（ＯＢ）の代わりに挿入される候補アイテムが含まれるリスト（Ｌ）をタッチスクリーン１５１に表示することができる。前記リスト（Ｌ）は、ユーザの使用頻度を考慮して、所定の優先順位（Ｐ１、Ｐ２、Ｐ３）に基づいて配列されて表示されることができる。

一方、前記リスト（Ｌ）に表示された少なくとも一つのアイテムのいずれかが選択されると、制御部１８０は、前記選択されたアイテム（Ｃ１）を、前記オブジェクト（ＯＢ）の代わりに挿入する。

図１２は、テキストの編集をガイドするためのオブジェクトがディスプレイされる例を説明するための図である。図１２を参照すると、制御部１８０は、ユーザの音声がリアルタイムにテキストに変換され、タッチスクリーン１５１に表示された状態で、前記テキストに対して予め定められたイベントが発生する場合、前記変換されたテキストの編集をガイドするためのオブジェクト（ＯＢ）をタッチスクリーン１５１に表示することができる。

前記予め定められたイベントは、前述した予め定められた単語が認知される場合、またはユーザの音声が入力され、テキストに変換された後、予め定められた入力を受信することで、ＳＴＴ（Speech to Text）モードに進入した場合、または音声認識モジュールを通じて認識されたユーザの音声がリアルタイムでテキストに変換され、タッチスクリーンに表示される中、最後のテキストが表示された後、一定時間の間、ユーザの追加の音声入力が存在しない場合などを含むことができる。

ユーザの音声が入力された後、変換されたテキストを編集するためのオブジェクトを表示するための、前記予め定められたイベントは、前述した例に限定されない。

制御部１８０は、テキストの編集をガイドするためのオブジェクト（ＯＢ）を変換されたテキストの近傍に表示した後、予め定められた時間が経過すると、自動的に前記オブジェクト（ＯＢ）を削除することができる。

一方、制御部１８０は、前記オブジェクト（ＯＢ）がタッチスクリーン１５１に表示されると、音声認識モードを一時的に非活性化させることができる。すなわち、前記オブジェクト（ＯＢ）の操作を通じて前記音声認識モードが非活性化された状態で前記変換されたテキストの編集を行うことができる。一方、前記オブジェクト（ＯＢ）が前記タッチスクリーン１５１から消える場合、制御部１８０は、自動的に音声認識モードに進入し、ユーザの音声入力を受信し、これを認識することができる。

図１３は、変換されたテキストの編集するテキストのブロックを選択する例を説明するための図である。

図１３を参照すると、制御部１８０は、ユーザの音声が変換されたテキスト（ＳＴ）の少なくとも一部の単語のタッチ入力を受信することができる。制御部１８０は、前記タッチ入力が受信された地点に対応する単語を含むテキストブロックを形成することができる。

例えば、図１３で、ユーザのタッチ入力が受信された地点は、「階」であり、制御部１８０は、前記「階」を含む「段階の」を１つのテキストブロックとして認識し、前記テキストブロックごとに編集を行うことができる。

つまり、制御部１８０は、前記形成されたテキストブロックに対して、前述した実施形態を適用することにより、ユーザの音声をリアルタイムで編集しながらテキストに変更することができる。

図１４〜図１７Ｃは、変換されたテキストの内、単語と単語の間に別のテキストを挿入するための例を説明するための図である。

本発明の一実施形態に基づいて、ユーザの音声入力が変換されたテキストに対して、マルチタッチ入力を通じて編集を行うことができる。前記マルチタッチ入力は、ズームアウト入力またはズームイン入力で有り得る。前記マルチタッチ入力は、前記変換されたテキストに含まれる特定単語と他の特定単語の間に入力することができる。そして、前記特定単語と前記他の特定単語の間に挿入するためのユーザインターフェース及びユーザの特定の操作を通じてユーザの音声入力を適切に編集することができる。

図１４を参照すると、制御部１８０は、変換されたテキスト（ＳＴ）の内、第１単語（「段」）と第２単語（「階」）の間の地点の空間（space）を拡張するズームアウト入力（zoomout input）を受信することができる。

制御部１８０は、前記変換されたテキスト（ＳＴ）の一部について、前記マルチティーチ入力を受信する場合、前記音声認識モードを終了し、テキストの編集モードに進入する。

図１５Ａを参照すると、前記ズームアウトの入力に応答して制御部１８０は、前記第１単語と第２単語の間のスペースにテキスト編集をガイドするためのオブジェクト（ＯＢ）を挿入することができる。

また、制御部１８０は、前記第１単語と第２単語の間に挿入するテキストを入力するためのユーザインターフェイス３１を前記タッチスクリーン１５１に表示することができる。

制御部１８０は、前記ユーザインターフェイス３１のタッチ入力を受信する場合、前記音声認識モードを再開することができる。また、前記音声認識モードの再開を識別するための識別表示１２をタッチスクリーン１５１上に表示することができる。ここで、制御部１８０は、前記ユーザインターフェイス３１（例えば、特定テキストが挿入されるスペースを指示する指示ブロック）の、タッチ入力が維持される間、前記音声認識モードを再開することができる。

これにより、前記ユーザインターフェイス３１のタッチ入力が維持される間、ユーザの音声入力（「ＡＢＣＤ」）を受信する場合、制御部１８０は、図１５Ｃに示すように、前記入力される音声をテキストに変換して前記ユーザインターフェイス３１に表示することができる。

一方、図１５Ｃを参照すれば、前記ユーザインターフェイス３１のタッチ入力が解除される場合、制御部１８０は、音声認識モードを終了し、前記音声認識モードの終了を知らせるシンボル１１を表示することができる。

次に、前記音声認識モードが終了すると、制御部１８０は、前記ユーザインターフェイス３１を介して挿入されるテキスト２３を前記ズームアウトの入力を受信した地点に挿入することができる。

図１５Ｂを参照すると、制御部１８０は、前記変換されたテキスト（ＳＴ）に含まれる特定単語を選択する入力を受信する場合、拡大表示ウィンドウ５１を、前記タッチスクリーン１５１に表示することができる。制御部１８０は、前記拡大表示ウィンドウ５１の、ユーザのタッチ操作を通じてテキストを編集することができる。

以上では、ユーザの音声入力がテキストに変換された後、前記変換されたテキスト中、編集しようとするテキストに対するズームアウト入力を通じてユーザが容易にテキストを編集することができる実施形態を注意深く見た。

図１６Ａ〜図１７Ｃは、以上で説明した実施形態の他の局面を説明するための図である。

図１６Ａを参照すると、制御部１８０は、ユーザの音声の入力を受けた後、前記音声をテキストに変換する。制御部１８０は、変換されたテキストがタッチスクリーン１５１に表示された状態で、編集しようとする特定単語ブロック４０を選択する入力を受信することができる。また、制御部１８０は、前記特定の単語ブロック４０内の第１単語と第２単語の間のスペースに所定の文字または記号を挿入するためのバー４１を位置させ、前記バー４１を左右方向に動かしながら、特定位置を選択することができる。

一方、制御部１８０は、前記特定位置が選択されると、前記特定位置に挿入する少なくとも一つの記号と文字を含むリスト（Ｌ）をタッチスクリーン１５１に表示することができる。図１６Ｂに示すように、前記リスト（Ｌ）に含まれる少なくとも一つの記号と文字はそれぞれアラビア数字でインデックスされている。前記インデックスされているアラビア数字のいずれかを発話する音声入力を受信する場合、制御部１８０は、前記入力されたアラビア数字に対応する記号を、前記特定位置に挿入する（図１６Ｃ参照）。

一方、図１７Ａ〜図１７Ｃを参照すると、前記リスト（Ｌ）は、挿入可能な複数の単語を含むことができる。これにより、本発明の一実施形態に係れば、ユーザの音声入力がテキストに変換された後に、前記テキスト内の特定位置を選択する場合、前記特定位置に挿入可能な複数の候補単語を推薦することができる。前記推薦された候補の単語のいずれかを選択する入力（例えば、音声入力「１」）を受信した場合、制御部１８０は、図１７Ｃに示すように、複数の候補単語の特定の単語を、前記特定位置に挿入して表示することができる。

一方、本発明の一実施形態に係れば、ユーザの音声入力がテキストに変換された後、ユーザの編集意図が存在することで認識することができる所定の入力（例えば、前記変換されたテキストのタッチ入力）を受信する場合、制御部１８０は、テキストの文脈（context）を分析し、適切な単語を自動補完機能を通じて挿入することができる。

本発明の一実施形態に係れば、前記自動補完が可能な候補をタッチスクリーン１５１に表示し、ユーザによって選択された項目を自動完成に挿入することができる。

前記で説明した本発明に係る電子機器の制御方法は、コンピュータ上で実行させるためのプログラムでコンピュータ読み取り可能な記録媒体に記録して提供することができる。

本発明に係る電子機器の制御方法は、ソフトウェアを通じて実行されることができる。ソフトウェアで実行されるとき、本発明の構成手段は、必要な作業を実行するコードセグメントである。プログラムまたはコードセグメントは、プロセッサ判読可能媒体に格納したり、伝送媒体または通信網で搬送波と結合されたコンピュータデータ信号によって伝送することができる。

コンピュータが読み取り可能な記録媒体は、コンピュータシステムによって読み取られることができるデータが格納されるすべての種類の記録装置を含む。コンピュータが読み取り可能な記録装置の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、ＤＶＤ±ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、フロッピーディスク、ハードディスク（hard disk）、光データ記憶装置などがある。また、コンピュータが読み取り可能な記録媒体は、ネットワークに接続されたコンピュータ装置に分散して分散方式でコンピュータが読み取り可能なコードが格納され、実行されることができる。

以上で説明した本発明は、本発明が属する技術分野における通常の知識を有する者にあって、本発明の技術的思想を逸脱しない範囲内で、複数の置換、変形及び変更が可能であるため、前述した実施形態及び添付された図面によって限定されるものではない。また、本明細書に記載された実施形態は、限定されるように適用できるものではなく、種々の変形が行われるように、各実施形態の全部または一部が選択的に組み合わされて構成されることができる。

１００ 電子機器
１５１ ディスプレイ部（タッチスクリーン）

Claims (12)

1. タッチスクリーンと、
   音声認識モジュールと、
   前記音声認識モジュールが活性化された状態で音声入力モジュールを介して音声入力を受信し、前記音声入力をテキストに変換し、変換されたテキストを前記タッチスクリーンに表示する間、変換されたテキストの最後の部分に長音を含む予め定められた単語を認知する場合、前記予め定められた単語の編集をガイドするためのオブジェクト（object）を前記予め定められた単語が認知された地点に表示し、前記のオブジェクトを選択する入力を受信することによって前記表示されたオブジェクトを新しいテキストに切り替えるための編集オプションを前記タッチスクリーンに表示し、前記編集オプションが選択されることによって前記新しいテキストを前記予め定められた単語の代わりに挿入して表示する制御部と、
   を含む電子機器。
2. 前記予め定められた単語は、
   予め定められた名詞や動詞、テキストに変換するのが難しいユーザの音声の内、少なくとも一つを含む、請求項１記載の電子機器。
3. 前記制御部は、
   予め定められた時間の間、前記オブジェクトを前記タッチスクリーンに表示する、請求項１記載の電子機器。
4. 前記制御部は、
   前記予め定められた時間が経過した場合は、前記オブジェクトを前記タッチスクリーンから除去する、請求項３記載の電子機器。
5. 前記制御部は、
   前記オブジェクトを選択する入力を受信する場合、前記予め定められた単語が認知された地点に挿入可能な文字、特殊記号及びグラフィックオブジェクトのうち少なくとも一つを含むウィンドウを前記タッチスクリーンに表示する、請求項３記載の電子機器。
6. 前記オブジェクトを選択する入力は、前記オブジェクトに対するマルチタッチによるズームアウトの入力を含み、
   前記制御部は、
   前記変換されたテキストの内、第１単語と第２単語の間の一地点に対してズームアウトの入力を受信する場合、前記第１単語と第２単語間の間隔を拡張させ、前記拡張された空間に、文字、特殊記号とグラフィックオブジェクトの内、少なくとも一つを挿入する、請求項１記載の電子機器。
7. 前記制御部は、
   前記文字と特殊記号、グラフィックオブジェクトの内少なくとも一つを所定の優先順位に基づいて前記ウインドウに配列して表示する、請求項５記載の電子機器。
8. 前記文字と特殊記号及びグラフィックオブジェクトの各々は、対応するインデックスが一緒に表示され、
   前記制御部は、前記インデックスを指称する音声入力を受信する場合、前記インデックスに対応するテキストの編集を実行する、請求項５記載の電子機器。
9. 前記制御部は、
   前記オブジェクトに対して予め定められたタッチ入力を受信する場合、前記オブジェクトが表示された地点に挿入可能な文字を自動完成して挿入する、請求項１記載の電子機器。
10. 前記制御部は、前記自動完成によって挿入可能な文字が複数である場合、複数の候補文字を前記タッチスクリーンに表示する、請求項９記載の電子機器。
11. 前記制御部は、
    前記音声入力をテキストに切り替えるためのモードに進入し、前記モードにおいて、前記音声認識モジュールを活性化し、前記変換されたテキストの内の少なくとも一部を選択するタッチ入力を受信する場合、前記音声認識モジュールを非活性化し、前記選択された少なくとも一部のテキストを編集するためのモードに進入する、請求項１記載の電子機器。
12. 音声認識モジュールを活性化する段階と、
    前記音声認識モジュールを介して音声入力を受信する段階と、
    前記音声入力をテキストに変換する段階と、
    変換されたテキストをタッチスクリーンに表示する間、変換されたテキストの最後の部分に長音を含む予め定められた単語を認知する場合、前記予め定められた単語を編集するためのオブジェクトを前記予め定められた単語が認知された地点に表示する段階と、
    前記のオブジェクトを選択する入力を受信することによって前記表示されたオブジェクトを新しいテキストに切り替えるための編集オプションを前記タッチスクリーンに表示する段階と、
    前記編集オプションが選択されることにより前記新しいテキストを前記予め定められた単語の代わりに挿入して表示する段階と、
    を含む電子機器の制御方法。

Images