JP6925458B2 - モバイルデバイス及び通話方法 - Google Patents

Description

本発明は、音声／文字通話サービスを提供するシステム及びその方法に係り、さらに詳細には、音声／文字通話サービスを介して、音声通話及び文字サービスを共に提供することができるシステム及びその方法に関する。

マルチメディア技術及びネットワーク技術の発展により、ユーザは、多様なデバイスを利用して、他のユーザとコミュニケーションを行えるようになった。特に、音声通話サービス及び文字送受信サービスを介して、ユーザらは、他のユーザと対話を交わすことができるようになった。

しかし、ユーザが、デバイスを介して、他のデバイスのユーザと対話を交わすことができる環境が、音声通話に適さないか、あるいは文字送受信に適さないこともある。

従って、ユーザが、音声通話サービス及び文字送受信サービスを一緒にして利用することができ、音声通話サービス及び文字送受信サービスを効果的に転換して利用することができる技術が要求されている。

本発明の一実施形態は、音声／文字通話サービスを介して、音声通話及び文字サービスを共に提供することができる音声／文字通話サービスを提供するシステム及びその方法を提供する。

また、本発明の一実施形態は、音声／文字通話中に、ユーザ間の対話を示すテキストを区別して表示することができる音声／文字通話サービスを提供するシステム及びその方法を提供する。

また、本発明の一実施形態は、音声／文字通話中に、通話モードの変更をユーザに知らせる音声／文字通話サービスを提供するシステム及びその方法を提供する。

前述の技術的課題を達成するための技術的手段として、本開示の第１側面は、モバイルデバイスと外部モバイルデバイスとの通話中に、前記モバイルデバイスと前記外部モバイルデバイスとの間に送受信される音声から変換されたテキストを獲得し、前記モバイルデバイスに入力されたテキスト、及び前記外部モバイルデバイスから提供されたテキストを獲得する制御部と、前記変換されたテキスト、前記入力されたテキスト、及び前記提供されたテキストを配列し、前記通話中に、前記モバイルデバイスの画面上にディスプレイするディスプレイ部と、を含むモバイルデバイスを提供する。

また、本開示の第２側面は、モバイルデバイスと外部モバイルデバイスとの通話中に、前記モバイルデバイスと前記外部モバイルデバイスとの間に送受信される音声から変換されたテキストを獲得する段階と、前記モバイルデバイスに入力されたテキストを獲得する段階と、前記外部モバイルデバイスから提供されたテキストを獲得する段階と、前記変換されたテキスト、前記入力されたテキスト、及び前記提供されたテキストを配列し、前記通話中に、前記モバイルデバイスの画面上にディスプレイする段階と、を含む、モバイルデバイスが外部モバイルデバイスと通話を行う方法を提供する。

また、本開示の第３側面は、第１モバイルデバイスから第１ユーザの音声を受信する通信部と、前記受信された第１ユーザの音声をテキストに変換する制御部と、を含み、前記通信部は、前記第１ユーザの音声から変換されたテキストを、前記第２モバイルデバイスに伝送するサーバと、前記サーバに、前記第１ユーザの音声を提供する第１モバイルデバイスと、前記第２モバイルデバイスに伝送された、前記第１ユーザの音声から変換されたテキストを、前記通話中に、前記第２モバイルデバイスの画面上にディスプレイされる、前記第１ユーザと前記第２ユーザとの対話内容を示すチャットウィンドウ内に表示する第２モバイルデバイスと、を含む、第１モバイルデバイスと第２モバイルデバイスとの通話を提供するシステムを提供する。

一実施形態による音声／文字通話サービスについて説明するための図面である。 一実施形態による、第１デバイスが、音声／文字通話中に、音声から変換されたテキスト、及びユーザから入力されたテキストをディスプレイする方法のフローチャートである。 一実施形態による音声／文字通話機能が活性化される例示を図示した図面である。 一実施形態による音声／文字通話機能が活性化される例示を図示した図面である。 一実施形態による、電話受信時、第１デバイスの音声／文字通話機能が活性化される例示を図示した図面である。 一実施形態による、音声通話中、第１デバイスの音声／文字通話機能が活性化される例示を図示した図面である。 一実施形態による、音声／文字通話機能が活性化された第１デバイスが、音声／文字通話機能が活性化されていない第２デバイスと音声／文字通話を行う方法のフローチャートである。 一実施形態による、第１デバイスと第２デバイスとが互いに音声／文字通話を行う方法のフローチャートである。 一実施形態による、第１デバイスと第２デバイスとが互いに音声／文字通話を行う方法のフローチャートである。 一実施形態による、第１デバイスと第２デバイスとが互いに音声／文字通話を行う方法のフローチャートである。 一実施形態による、第１デバイスが音声／文字通話中、チャットウィンドウをディスプレイする方法のフローチャートである。 一実施形態による、音声／文字通話中、ディスプレイされたチャットウィンドウの例示を示す図面である。 一実施形態による、音声／文字通話中、ディスプレイされたチャットウィンドウの例示を示す図面である。 一実施形態による、第１デバイス及び第２デバイスが、特定チャットアプリケーションを介して、音声から変換されたテキストを互いに送受信する例示を示す図面である。 一実施形態による、音声／文字通話機能が活性化される場合、第１デバイスが、音声通話と連動されて実行されるチャットアプリケーションを決定する方法のフローチャートである。 一実施形態による、第１デバイスが音声／文字通話中に利用されるチャットアプリケーションを決定する方法のフローチャートである。 一実施形態による、第１デバイスが音声／文字通話中に利用されるチャットアプリケーションをインストールする方法のフローチャートである。 一実施形態による、第１デバイスがチャットサービスを利用している最中、音声／文字通話機能を活性化する例示を示す図面である。 一実施形態による、第１デバイスがチャットアプリケーションのユーザリスト画面を介したユーザ入力によって、音声／文字通話を始める例示を示す図面である。 一実施形態による、第１デバイス及び第２デバイスがチャットサービスを利用している最中、音声／文字通話を行う方法のフローチャートである。 一実施形態による、音声／文字通話中、通話モードが変更される例示を示す図面である。 一実施形態による、音声／文字通話中、通話モードが変更される例示を示す図面である。 一実施形態による、音声／文字通話中、通話モードが変更される例示を示す図面である。 一実施形態による、音声／文字通話中、通話モードが変更される例示を示す図面である。 一実施形態による、第１デバイスが音声／文字通話のモードを転換する方法のフローチャートである。 一実施形態による、第１デバイスが音声モードで音声／文字通話を行う方法のフローチャートである。 一実施形態による、第１デバイスが文字モードで音声／文字通話を行う方法のフローチャートである。 一実施形態による、第１デバイスが第２デバイスの通話モードを識別する方法のフローチャートである。 一実施形態による、音声モードで動作する第１デバイスと、文字モードで動作する第２デバイスとが音声／文字通話を行う方法のフローチャートである。 一実施形態による、音声モードで動作する第１デバイスと、文字モードで動作する第２デバイスとが音声／文字通話を行う方法のフローチャートである。 一実施形態による、音声モードで動作する第１デバイスと、文字モードで動作する第２デバイスとが音声／文字通話を行う方法のフローチャートである。 一実施形態による、音声／文字通話の通話モードのうち一つである混合モードの例示を示す図面である。 一実施形態による、音声／文字通話の通話モードのうち一つである混合モードの例示を示す図面である。 一実施形態による、音声／文字通話の通話モードのうち一つである混合モードの例示を示す図面である。 一実施形態による、音声／文字通話を行っている第１デバイスの通話モードが、音声モードから混合モードに転換されたり、混合モードから音声モードに転換されたりする一例を図示した図面である。 一実施形態による、音声／文字通話を行っている第１デバイスの通話モードが、文字モードから混合モードに転換されたり、混合モードから文字モードに転換されたりする一例を図示した図面である。 一実施形態による、第１デバイスが音声／文字通話のモードを転換する方法のフローチャートである。 一実施形態による、第１デバイスが混合モードで音声／文字通話を行う方法のフローチャートである。 一実施形態による、混合モードで動作する第１デバイスが、第２デバイスと音声／文字通話を行う方法のフローチャートである。 一実施形態による、第１デバイスが第２デバイスの通話モード変更を第１ユーザに知らせ、第１ユーザに通話モードの変更を勧める方法のフローチャートである。 一実施形態による、第１デバイスが第２デバイスの混合モードの入出力機能変更を第１ユーザに知らせ、第１ユーザに通話モードの変更を勧める方法のフローチャートである。 一実施形態による、第１デバイスが第１ユーザに、音声モードから文字モードへの通話モード変更を勧める一例を図示した図面である。 一実施形態による、第１デバイスが第１ユーザに、文字モードから音声モードへの通話モード変更を勧める一例を図示した図面である。 一実施形態による、第１デバイスが音声／文字通話の通話リストを生成する方法のフローチャートである。 一実施形態による、第１デバイスの通話リストを介して、第１ユーザと第２ユーザとの対話を示すテキストをディスプレイする方法のフローチャートである。 一実施形態による通話リストの一例を図示した図面である。 一実施形態による通話リストの一例を図示した図面である。 一実施形態による通話リストの一例を図示した図面である。 一実施形態による、第１デバイス及び第２デバイスが、サーバを介して、音声／文字通話を行う例示を図示した図面である。 一実施形態による、サーバが第１ユーザ、及び第２ユーザの音声をテキストに変換することにより、第１デバイスと第２デバイスとの音声／文字通話を支援する方法のフローチャートである。 実施形態による、サーバが、第１ユーザ、及び第２ユーザのテキストを音声に変換することにより、第１デバイスと第２デバイスとの音声／文字通話を支援する方法のフローチャートである。 一実施形態による、サーバが第１デバイスと第２デバイスとの音声／文字通話と係わる音声データ及びテキストデータを保存する方法のフローチャートである。 一実施形態による、第１デバイス、第２デバイス及び第３デバイスが互いに音声／文字通話を行う例示を示す図面である。 一実施形態による、第１デバイス、第２デバイス及び第３デバイスが、サーバを介して、互いに音声／文字通話を行う例示を示す図面である。 一実施形態による第１デバイスのブロック図である。 一実施形態による第１デバイスのブロック図である。 一実施形態によるサーバのブロック図である。

以下、添付した図面を参照し、本発明が属する技術分野で当業者が容易に実施することができるように、本発明の実施形態について詳細に説明する。しかし、本発明は、さまざまに異なる形態に具現されるが、ここで説明する実施形態に限定されるものではない。そして、図面において、本発明について明確に説明するために、説明と係わりのない部分は省略し、明細書全体を通じて、類似した部分については、類似した図面符号を付した。

明細書全体において、ある部分が他の部分と「連結」されているとするとき、それは、「直接連結」されている場合だけではなく、その中間に、他の素子を挟んで「電気的に連結」されている場合も含む。また、ある部分がある構成要素を「含む」というとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。

また、本明細書において、音声／文字通話サービスは、音声通話サービス及びチャットサービスを併行して提供するサービスでもある。ユーザは、デバイスを利用して、相手デバイスと音声通話を行うことができ、音声通話中、相手デバイスとメッセージ送受信を共に行うことができる。また、音声／文字通話サービスの通話モードは、例えば、音声モード、文字モード及び混合モードのうち少なくとも２以上を含んでもよい。

また、本明細書において、音声モードは、ユーザが音声通話が可能であるように、他のユーザと通話を行うことができる通話モードでもある。

また、本明細書において、文字モードは、ユーザが、文字メッセージの送受信を介して、他のユーザとコミュニケーションすることができる通話モードでもある。

また、本明細書において、混合モードは、ユーザが、他のユーザと音声通話を行うと同時に、他のユーザとメッセージ送受信を行うことができる通話モードでもある。

例えば、混合モードにおいて、ユーザは、デバイスのスピーカフォンを介して、他のユーザと音声通話を行いながら、文字メッセージの送受信を介して、他のユーザとコミュニケーションを行うことできる。また、例えば、混合モードにおいて、ユーザは、他のユーザと、スピーカフォンを使用しない音声通話を行いながら、文字メッセージの送受信を介して、他のユーザとコミュニケーションを行うことできる。

また、本明細書において、デバイス間に、音声と文字とを伝送する方式は、多様な方式が利用される。例えば、ユーザが加入した移動通信サービス、またはデバイスで使用可能な無線技術（Ｗｉ−Ｆｉ（wireless fidelity）、ブルートゥース（登録商標（Bluetooth）など）などを利用して、音声及び文字がデバイス間で送受信される。例えば、ＬＴＥ（long term evolution）通信技術またはＷｉ−Ｆｉ通信技術が使用される場合、音声及び文字のいずれも、パケット網を介して、デバイス間で送受信される。その場合、音声は、ＶｏＬＴＥ（voice over long term evolution）技術を使用して伝送される。また、ＷＣＤＭＡ（登録商標（wideband code division multiple access））が使用される場合、音声は、サーキット網を介して伝送され、文字は、パケット網を介し＋もて伝送される。音声と文字は、それぞれ別途の通信連結を介しても伝送される。パケット網が利用される場合、デバイス間の通信連結は、ＴＣＰ／ＩＰ連結にもなる。サーキット網が利用される場合、デバイス間の通信連結は、コール（call）連結にもなる。

以下、添付された図面を参照し、本発明について詳細に説明する。

図１は、一実施形態による音声／文字通話サービスについて説明するための図面である。図１を参照すれば、第１デバイス１０００は、第２デバイス２０００と音声／文字通話を行うことができる。音声／文字通話は、音声サービス及びメッセージングサービスをいずれも支援する１つの通信連結またはセッションを介して始まる。第１デバイス１０００及び第２デバイス２０００は、互いに音声通話を行うことができ、第１デバイス１０００は、音声通話最中に、第１デバイス１０００の画面上に、ユーザ間の対話を示すテキストをディスプレイすることができる。また、第２デバイス２０００も、音声通話最中に、第２デバイス２０００の画面上に、ユーザ間の対話を示すテキストをディスプレイすることができる。例えば、第１デバイス１０００及び第２デバイス２０００は、ユーザ間の対話を示すチャットウィンドウを、それぞれ第１デバイス１０００の画面上、及び第２デバイス２０００の画面上にディスプレイすることができる。チャットウィンドウは、メッセージを伝送して受信するための窓（window）でもあり、チャットウィンドウにディスプレイされるテキストを介して、第１デバイス１０００のユーザと、第２デバイス２０００のユーザは、互いにコミュニケーションを行うことできる。

それにより、第１デバイス１０００のユーザ、及び第２デバイス２０００のユーザは、音声／文字通話中、音声通話サービス及びチャットサービスを併行して利用することができる。その場合、音声及びメッセージング間のシームレススイッチングが、音声／文字通話中に行われる。または、音声及びメッセージングが、音声／文字通話中、同時に（simultaneously）にも行われる。

音声／文字通話は、音声データ及び文字データが伝送される１以上のチャネルによって具現される。例えば、音声データは、音声チャネルに伝送され、文字データは、音声チャネルに伝送される。または、データチャネルが、データ伝送のために、音声／文字通話内に含まれる。

また、第１デバイス１０００及び第２デバイス２０００は、例えば、スマートフォン、タブレットＰＣ（personal computer）、ＰＣ、スマートＴＶ（television）、携帯電話、ＰＤＡ（personal digital assistant）、ラップトップ、メディアプレイヤ、マイクロサーバ、ＧＰＳ（global position system）装置、電子書籍端末機、デジタル放送用端末機、ナビゲーション、キオスク、ＭＰ３プレイヤ、デジタルカメラ、ウェアラブルデバイス、及びその他のモバイルまたは非モバイルのコンピュータ装置でもあるが、それらに制限されるものではない。また、第１デバイス１０００及び第２デバイス２０００は、電子黒板、タッチテーブルのように、タッチ入力を受信することができる多様な装置を含んでもよい。また、第１デバイス１０００及び第２デバイス２０００は、通信機能及びデータプロセッシング機能を具備した時計、めがね、ヘアバンド及び指輪でもある。

図２は、一実施形態による、第１デバイス１０００が、音声／文字通話中、音声から変換されたテキスト、及びユーザから入力されたテキストをディスプレイする方法のフローチャートである。

段階Ｓ２００において、第１デバイス１０００は、音声／文字通話機能を活性化することができる。第１デバイス１０００は、第２デバイス２０００に電話を発信するとき、音声通話機能を活性化することができる。また、第１デバイス１０００は、第２デバイス２０００から電話を受信するとき、音声通話機能を活性化することができる。また、第１デバイス１０００は、第２デバイス２０００との通話中、音声／文字通話機能を活性化することができる。

また、音声／文字通話機能が活性化されることにより、第１デバイス１０００は、第１デバイス１０００において、音声／文字通話機能が活性化されたということを第２デバイス２０００に知らせる。その場合、第１デバイス１０００は、第１デバイス１０００の音声／文字通話の通話モードを、第２デバイス２０００に知らせることもできる。音声／文字通話の通話モードについては、後述する。

また、音声／文字通話の活性化時、音声及び文字を伝送する方式は、多様な方式が利用される。例えば、ユーザが加入した移動通信サービス、またはユーザデバイスで使用可能な無線技術（Ｗｉ−Ｆｉ、ブルートゥースなど）などを利用して、音声及び文字が第１デバイス１０００及び第２デバイス２０００の間で送受信される。例えば、ＬＴＥ通信技術またはＷｉ−Ｆｉ通信技術が使用される場合、音声及び文字のいずれも、パケット網を介して、第１デバイス１０００及び第２デバイス２０００間で送受信される。その場合、音声は、ＶｏＬＴＥ技術を使用して伝送される。また、ＷＣＤＭＡを使用する場合、音声は、サーキット網を介して、文字は、パケット網を介して伝送されもする。

音声及び文字は、それぞれ別途の通信連結を介しても伝送される。パケット網が利用される場合、通信連結は、ＴＣＰ／ＩＰ連結でもある。サーキット網が利用される場合、通信連結は、コール連結でもある。

段階Ｓ２１０において、第１デバイス１０００は、第１デバイスのユーザと第２デバイス２０００のユーザ間の音声から変換されたテキストを獲得することができる。第１デバイス１０００は、第１デバイス１０００のユーザの音声をテキストに変換することにより、変換されたテキストを獲得することができる。また、第１デバイス１０００は、第２デバイス２０００のユーザの音声を第２デバイス２０００から受信し、受信された音声をテキストに変換することにより、変換されたテキストを獲得することができる。しかし、第１デバイス１０００が変換されたテキストを獲得する方法は、それらに制限されるものではない。第１デバイス１０００のユーザの音声、及び第２デバイス２０００のユーザの音声は、多様な装置、または第１デバイス１０００と第２デバイス２０００との通信を仲介するサーバによってテキストに変換され、第１デバイス１０００は、変換されたテキストを多様な装置及びサーバから受信することができる。

段階Ｓ２２０において、第１デバイス１０００は、ユーザによって入力されたテキストを獲得することができる。第１デバイス１０００は、音声／文字通話中、第１デバイス１０００のユーザから入力されたテキストを獲得することができる。また、第１デバイス１０００は、音声／文字通話中、第２デバイス２０００のユーザから、第２デバイス２０００に入力されたテキストを第２デバイス２０００から受信することができる。

段階Ｓ２３０において、第１デバイス１０００は、変換されたテキスト、及び入力されたテキストを経時的に配列し、ユーザとの通話中、第１デバイス１０００の画面上にディスプレイすることができる。第１デバイス１０００は、音声及びテキストの入力時間に基づいて、変換されたテキスト、及び入力されたテキストを経時的に配列することができる。例えば、第１デバイス１０００は、第１デバイス１０００のユーザが第１デバイス１０００に音声を入力した時間、第２デバイス２０００のユーザが第２デバイス２０００に音声を入力した時間、第１デバイス１０００のユーザが第１デバイス１０００にテキストを入力した時間、及び第２デバイス２０００のユーザが第２デバイス２０００にテキストを入力した時間に基づいて、第１デバイス１０００は、変換されたテキスト、及び入力されたテキストを配列することができる。

図３Ａないし図５は、一実施形態による、音声／文字通話機能が活性化される例示を図示した図面である。

図３Ａは、一実施形態による、電話発信時、第１デバイス１０００の音声／文字通話機能が活性化される例示を図示した図面である。図３Ａを参照すれば、第１デバイス１０００のユーザは、第２デバイス２０００の電話番号を入力した後、「音声／文字通話（voice-message call）」ボタン３０を選択することができる。それにより、第１デバイス１０００は、音声／文字通話機能を活性化し、第２デバイス２０００に電話をかけることができる。

図３Ｂは、一実施形態による、第１デバイス１０００の画面上にディスプレイされたフォンブックから、所定ボタンを選択するユーザ入力に基づいて、第１デバイス１０００の音声／文字通話機能が活性化される例示を図示した図面である。図３Ｂを参照すれば、第１デバイス１０００は、第１デバイス１０００の画面上に、フォンブックをディスプレイすることができ、第１デバイス１０００のユーザは、ディスプレイされたフォンブックに含まれたユーザリストにおいて、第２デバイス２０００の電話番号が表示されたフィールドに含まれた、音声／文字通話を行うためのボタン３２を選択する。それにより、第１デバイス１０００は、音声／文字通話機能を活性化し、第２デバイス２０００に電話をかけることができる。

図４は、一実施形態による、電話受信時、第１デバイス１０００の音声／文字通話機能が活性化される例示を図示した図面である。図４を参照すれば、第１デバイス１０００のユーザは、第２デバイス２０００からの電話通話を受信する場合、「音声／文字通話」ボタン４０を選択することができる。それにより、第１デバイス１０００は、音声／文字通話機能を活性化し、第２デバイス２０００からの電話通話を受信することができる。または、第１デバイス１０００は、音声／文字通話を開始し、第２デバイス２０００は、音声／文字通話を自動的に受容する（accept）ことができる。

図５は、一実施形態による、音声通話中、第１デバイス１０００の音声／文字通話機能が活性化される例示を図示した図面である。図５を参照すれば、第１デバイス１０００のユーザは、第２デバイス２０００との音声通話中、「音声／文字通話」ボタン５０を選択することができる。それにより、第１デバイス１０００は、音声／文字通話機能を活性化し、第２デバイス２０００と、音声／文字通話を行うことができる。または、第２デバイス２０００は、音声／文字通話機能を、第１デバイス１０００との音声通話中、活性化することができる。それにより、通話は、音声通話で始まり、音声通話中、音声／文字通話が始まる。

図６は、一実施形態による、音声／文字通話機能が活性化された第１デバイス１０００が、音声／文字通話機能が活性化されていない第２デバイス２０００と音声／文字通話を行う方法のフローチャートである。図６を参照すれば、音声／文字通話機能が活性化された第１デバイス１０００は、第２デバイス２０００と音声／文字通話を行うことができ、音声／文字通話機能が活性化されていない第２デバイス２０００は、第１デバイス１０００と音声通話を行うことができる。

段階Ｓ６００において、第１デバイス１０００は、第２デバイス２０００と通話連結される。第１デバイス１０００は、第２デバイス２０００に、通話連結のためのコールを伝送するか、あるいは第２デバイス２０００から通話連結のためのコールを受信することにより、第１デバイス１０００は、第２デバイス２０００と通話連結される。

段階Ｓ６１０において、第１デバイス１０００は、音声／文字通話機能を活性化することができる。第１デバイス１０００は、ユーザ入力に基づいて、音声／文字通話機能を活性化することができる。段階Ｓ６１０においては、第１デバイス１０００が第２デバイス２０００と通話連結された後、音声／文字通話機能を活性化すると説明したが、それに制限されるものではない。第１デバイス１０００は、例えば、発信時、受信時または通話中、音声／文字通話機能を活性化することができる。

段階Ｓ６２０において、第１デバイス１０００は、第１デバイス１０００のユーザ（以下、第１ユーザとする）の音声を第２デバイス２０００に伝送することができる。第１デバイス１０００は、マイクロフォンを介して、第１ユーザの音声を獲得することができ、獲得された音声を第２デバイス２０００に伝送することができる。

段階Ｓ６３０において、第１デバイス１０００は、第１ユーザの音声をテキストに変換することができる。第１デバイス１０００は、多様なＳＴＴ（speech to text）技術を利用して、第１ユーザの音声をテキストに変換することができる。

段階Ｓ６４０において、第１デバイス１０００は、第２デバイス２０００のユーザ（以下、第２ユーザとする）の音声を第２デバイス２０００から受信することができる。その場合、第２デバイス２０００は、第２デバイス２０００内のマイクロフォンを利用して、第２ユーザの音声を獲得し、獲得された第２ユーザの音声を第１デバイス１０００に伝送することができる。

段階Ｓ６５０において、第１デバイス１０００は、第２ユーザの音声をテキストに変換することができる。第１デバイス１０００は、多様なＳＴＴ技術を利用して、第２ユーザの音声をテキストに変換することができる。

段階Ｓ６６０において、第１デバイス１０００は、変換されたテキストを経時的に配列することができる。第１デバイス１０００は、例えば、第１ユーザの音声が第１デバイス１０００に入力された時刻、及び第２ユーザの音声が受信された時刻により、第１ユーザの音声から変換されたテキスト、及び第２ユーザの音声から変換されたテキストを配列することができる。また、例えば、第１デバイス１０００は、第１ユーザの音声が第１デバイス１０００に入力された時刻、及び第２ユーザの音声が第２デバイス２０００に入力された時刻により、第１ユーザの音声から変換されたテキスト、及び第２ユーザの音声から変換されたテキストを配列することができる。しかし、それらに制限されるものではない。

段階Ｓ６７０において、第１デバイス１０００は、配列されたテキストを含むチャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。第１デバイス１０００は、音声／文字通話を行っている最中、チャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。また、第１デバイス１０００は、音声／文字通話の通話モードにより、チャットウィンドウを、第１デバイス１０００の画面上にディスプレイするか、あるいは第１デバイス１０００の画面上において、チャットウィンドウを隠すことができる。

図７は、一実施形態による、第１デバイス１０００及び第２デバイス２０００が互いに音声／文字通話を行う方法のフローチャートである。図７においては、第１デバイス１０００が第１ユーザの音声をテキストに変換し、第２ユーザの音声をテキストに変換し、第２デバイス２０００も、第１ユーザの音声、及び第２ユーザの音声をテキストに変換することができる。

段階Ｓ７００において、第１デバイス１０００及び第２デバイス２０００は、互いに通話連結される。第１デバイス１０００は、第２デバイス２０００に、通話連結のためのコールを伝送するか、あるいは第２デバイス２０００から通話連結のためのコールを受信することにより、第１デバイス１０００は、第２デバイス２０００と通話連結される。

段階Ｓ７０５において、第１デバイス１０００は、音声／文字通話機能を活性化することができる。第１デバイス１０００は、ユーザ入力に基づいて、音声／文字通話機能を活性化することができる。段階Ｓ７０５においては、第１デバイス１０００が第２デバイス２０００と通話連結された後、音声／文字通話機能を活性化すると説明したが、それに制限されるものではない。第１デバイス１０００は、例えば、発信時、受信時または通話中、音声／文字通話機能を活性化することができる。

段階Ｓ７１０において、第２デバイス２０００は、音声／文字通話機能を活性化することができる。第２デバイス２０００は、ユーザ入力に基づいて、音声／文字通話機能を活性化することができる。段階Ｓ７１０においては、第２デバイス２０００が第１デバイス１０００と通話連結された後、音声／文字通話機能を活性化すると説明したが、それに制限されるものではない。第２デバイス２０００は、例えば、発信時、受信時または通話中、音声／文字通話機能を活性化することができる。

段階Ｓ７１５において、第１デバイス１０００は、第１ユーザの音声を第２デバイス２０００に伝送することができる。第１デバイス１０００は、第１デバイス１０００内のマイクロフォンを介して、第１ユーザの音声を獲得することができ、獲得された音声を第２デバイス２０００に伝送することができる。

段階Ｓ７２０において第１デバイス１０００は、第１ユーザの音声をテキストに変換することができる。第１デバイス１０００は、多様なＳＴＴ技術を利用して、第１ユーザの音声をテキストに変換することができる。

段階Ｓ７２５において、第２デバイス２０００は、第１デバイス１０００から受信された第１ユーザの音声をテキストに変換することができる。第２デバイス２０００は、多様なＳＴＴ技術を利用して、第１ユーザの音声をテキストに変換することができる。

段階Ｓ７３０において、第２デバイス２０００は、第２ユーザの音声を第１デバイス１０００に伝送することができる。第２デバイス２０００は、第２デバイス２０００内のマイクロフォンを介して、第２ユーザの音声を獲得することができ、獲得された音声を、第１デバイス１０００に伝送することができる。

段階Ｓ７３５において、第１デバイス１０００は、第２デバイス２０００から受信された第２ユーザの音声をテキストに変換することができる。第１デバイス１０００は、多様なＳＴＴ技術を利用して、第２ユーザの音声をテキストに変換することができる。

段階Ｓ７４０において第２デバイス２０００は、第２ユーザの音声をテキストに変換することができる。第２デバイス２０００は、多様なＳＴＴ技術を利用して、第２ユーザの音声をテキストに変換することができる。

段階Ｓ７４５において、第１デバイス１０００は、変換されたテキストを経時的に配列することができる。第１デバイス１０００は、例えば、第１ユーザの音声が第１デバイス１０００に入力された時刻、及び第２ユーザの音声が受信された時刻により、第１ユーザの音声から変換されたテキスト、及び第２ユーザの音声から変換されたテキストを配列することができる。また、例えば、第１デバイス１０００は、第１ユーザの音声が第１デバイス１０００に入力された時刻、及び第２ユーザの音声が第２デバイス２０００に入力された時刻により、第１ユーザの音声から変換されたテキスト、及び第２ユーザの音声から変換されたテキストを配列することができる。しかし、それらに制限されるものではない。

段階Ｓ７５０において、第２デバイス２０００は、変換されたテキストを経時的に配列することができる。第２デバイス２０００は、例えば、第２ユーザの音声が第２デバイス２０００に入力された時刻、及び第１ユーザの音声が受信された時刻により、第１ユーザの音声から変換されたテキスト、及び第２ユーザの音声から変換されたテキストを配列することができる。また、例えば、第２デバイス２０００は、第２ユーザの音声が第２デバイス２０００に入力された時刻、及び第１ユーザの音声が第１デバイス１０００に入力された時刻により、第１ユーザの音声から変換されたテキスト、及び第２ユーザの音声から変換されたテキストを配列することができる。しかし、それらに制限されるものではない。

段階Ｓ７５５において第１デバイス１０００は、配列されたテキストを含むチャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。第１デバイス１０００は、音声／文字通話を行っている最中、チャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。また、第１デバイス１０００は、音声／文字通話の通話モードにより、チャットウィンドウを、第１デバイス１０００の画面上にディスプレイするか、あるいは第１デバイス１０００の画面上において、チャットウィンドウを隠すことができる。

段階Ｓ７６０において、第２デバイス２０００は、配列されたテキストを含むチャットウィンドウを、第２デバイス２０００の画面上にディスプレイすることができる。第２デバイス２０００は、音声／文字通話を行っている最中、チャットウィンドウを、第２デバイス２０００の画面上にディスプレイすることができる。また、第２デバイス２０００は、音声／文字通話の通話モードにより、チャットウィンドウを、第２デバイス２０００の画面上にディスプレイするか、あるいは第２デバイス２０００の画面上において、チャットウィンドウを隠すことができる。

図８は、一実施形態による、第１デバイス１０００及び第２デバイス２０００が互いに音声／文字通話を行う方法のフローチャートである。図８においては、第１デバイス１０００が第１ユーザの音声をテキストに変換し、第２デバイス２０００が第２ユーザの音声をテキストに変換することができる。

段階Ｓ８００において、第１デバイス１０００及び第２デバイス２０００は、互いに通話連結される。

段階Ｓ８０５において、第１デバイス１０００は、音声／文字通話機能を活性化し、段階Ｓ８１０において、第２デバイス２０００は、音声／文字通話機能を活性化することができる。図８では、第１デバイス１０００及び第２デバイス２０００が互いに通話連結された後、第１デバイス１０００及び第２デバイス２０００が音声／文字通話機能を活性化すると説明したが、それに制限されるものではない。第１デバイス１０００及び第２デバイス２０００は、音声／文字通話機能を自動的に始めることができる。

段階Ｓ８１５において、第１デバイス１０００は、第１ユーザの音声を第２デバイス２０００に伝送することができる。第１デバイス１０００は、第１デバイス１０００内のマイクロフォンを介して、第１ユーザの音声を獲得することができ、獲得された音声を第２デバイス２０００に伝送することができる。

段階Ｓ８２０において、第１デバイス１０００は、第１ユーザの音声をテキストに変換することができる。第１デバイス１０００は、多様なＳＴＴ技術を利用して、第１ユーザの音声をテキストに変換することができる。

段階Ｓ８２５において、第１デバイス１０００は、第１ユーザのテキストを第２デバイス２０００に伝送することができる。

段階Ｓ８３０において、第２デバイス２０００は、第１デバイス１０００に第２ユーザの音声を伝送することができる。第２デバイス２０００は、第２デバイス２０００内のマイクロフォンを介して、第２ユーザの音声を獲得することができ、獲得された音声を第１デバイス１０００に伝送することができる。

段階Ｓ８３５において、第２デバイス２０００は、第２ユーザの音声をテキストに変換することができる。第２デバイス２０００は、多様なＳＴＴ技術を利用して、第１ユーザの音声をテキストに変換することができる。

段階Ｓ８４０において、第２デバイス２０００は、第２ユーザのテキストを第１デバイス１０００に伝送することができる。

段階Ｓ８４５において、第１デバイス１０００は、変換されたテキスト及び受信されたテキストを経時的に配列することができる。第１デバイス１０００は、第１ユーザの音声から、第１デバイス１０００によって変換されたテキスト、及び第２デバイス２０００から受信された第２ユーザのテキストを経時的に配列することができる。

段階Ｓ８５０において、第１デバイス１０００は、配列されたテキストを含むチャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。第１デバイス１０００は、音声／文字通話を行っている最中、チャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。

段階Ｓ８５５において、第２デバイス２０００は、変換されたテキスト及び受信されたテキストを経時的に配列することができる。第２デバイス２０００は、第２ユーザの音声から、第２デバイス２０００によって変換されたテキスト、及び第１デバイス１０００から受信された第１ユーザのテキストを経時的に配列することができる。

段階Ｓ８６０において、第２デバイス２０００は、配列されたテキストを含むチャットウィンドウを、第２デバイス２０００の画面上にディスプレイすることができる。第２デバイス２０００は、音声／文字通話を行っている最中、チャットウィンドウを、第２デバイス２０００の画面上にディスプレイすることができる。

図９は、一実施形態による、第１デバイス１０００及び第２デバイス２０００が互いに音声／文字通話を行う方法のフローチャートである。図９においては、第１デバイス１０００が、第１ユーザの音声、及び第２ユーザの音声をテキストに変換することができる。

図９の段階Ｓ９００ないし段階Ｓ９３０は、図８の段階Ｓ８００ないし段階Ｓ８３０に対応するので、それについての説明は省略する。

段階Ｓ９３５において、第１デバイス１０００は、第２ユーザの音声をテキストに変換することができる。第１デバイス１０００は、多様なＳＴＴ技術を利用して、第２ユーザの音声をテキストに変換することができる。

段階Ｓ９４０において、第１デバイス１０００は、第２ユーザのテキストを第２デバイス２０００に伝送することができる。

段階Ｓ９４５において、第１デバイス１０００は、変換されたテキストを経時的に配列することができる。第１デバイス１０００は、第１ユーザの音声から、第１デバイス１０００によって変換されたテキスト、及び第２ユーザの音声から、第１デバイス１０００によって変換されたテキストを経時的に配列することができる。

段階Ｓ９５０において、第１デバイス１０００は、配列されたテキストを含むチャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。第１デバイス１０００は、音声／文字通話を行っている最中、チャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。

段階Ｓ９５５において、第２デバイス２０００は、受信されたテキストを経時的に配列することができる。第２デバイス２０００は、第１デバイス１０００から受信された第１ユーザのテキスト、及び第２ユーザのテキストを経時的に配列することができる。

段階Ｓ９６０において、第２デバイス２０００は、配列されたテキストを含むチャットウィンドウを、第２デバイス２０００の画面上にディスプレイすることができる。第２デバイス２０００は、音声／文字通話を行っている最中、チャットウィンドウを、第２デバイス２０００の画面上にディスプレイすることができる。

図１０は、一実施形態による、第１デバイス１０００が、音声／文字通話中、チャットウィンドウをディスプレイする方法のフローチャートである。

段階Ｓ１０００において、第１デバイス１０００は、音声／文字通話機能を活性化することができる。第１デバイス１０００は、第２デバイス２０００に電話を開始するとき、音声通話機能を活性化することができる。また、第１デバイス１０００は、第２デバイス２０００から電話を受信するとき、音声通話機能を活性化することができる。また、第１デバイス１０００は、第２デバイス２０００との通話中、音声／文字通話機能を活性化することができる。

段階Ｓ１０１０において、第１デバイス１０００は、第１ユーザと第２ユーザとの音声から変換されたテキストを獲得することができる。第１デバイス１０００は、第１デバイス１０００のユーザの音声をテキストに変換することにより、変換されたテキストを獲得することができる。また、第１デバイス１０００は、第２デバイス２０００のユーザの音声を第２デバイス２０００から受信し、受信された音声をテキストに変換することにより、変換されたテキストを獲得することができる。しかし、第１デバイス１０００が変換されたテキストを獲得する方法は、それに制限されるものではない。第１デバイス１０００のユーザの音声、及び第２デバイス２０００のユーザの音声は、多様な装置またはサーバによってテキストに変換され、第１デバイス１０００は、変換されたテキストを多様な装置及びサーバから受信することができる。例えば、テキストは、第２デバイス２０００、または第１デバイス１０００と第２デバイス２０００との通信セッションを仲介するサーバから受信されることができる、
段階Ｓ１０２０において、第１デバイス１０００は、変換されたテキストの原本音声データをバックアップすることができる。第１デバイス１０００は、第１ユーザの音声から変換されたテキストに対応する第１ユーザの音声データをバックアップすることができる。また、第１デバイス１０００は、第２ユーザの音声から変換されたテキストに対応する第２ユーザの音声データをバックアップすることができる。

段階Ｓ１０３０において、第１デバイス１０００は、第１ユーザと第２ユーザとの通話中、第１デバイス１０００の画面上にチャットウィンドウをディスプレイすることができる。第１デバイス１０００は、第１ユーザと第２ユーザとの対話の内容を示すために、チャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。

段階Ｓ１０４０において、第１デバイス１０００は、チャットウィンドウを介して、第１ユーザから入力されたテキストを獲得することができる。また、第１デバイス１０００は、音声／文字通話中、第２ユーザから第２デバイス２０００に入力されたテキストを、第２デバイス２０００から受信することができる。

段階Ｓ１０５０において、第１デバイス１０００は、変換されたテキスト、及び入力されたテキストを経時的に配列し、チャットウィンドウ内に表示することができる。第１デバイス１０００は、音声及びテキストの入力時間に基づいて、変換されたテキスト、及び入力されたテキストを経時的に配列することができる。例えば、第１デバイス１０００は、第１ユーザが第１デバイス１０００に音声を入力した時間、第２ユーザが第２デバイス２０００に音声を入力した時間、第１ユーザが第１デバイス１０００にテキストを入力した時間、及び第２ユーザが第２デバイス２０００にテキストを入力した時間に基づいて、第１デバイス１０００は、変換されたテキスト、及び入力されたテキストを配列することができる。

段階Ｓ１０６０において、第１デバイス１０００は、変換されたテキストを、入力されたテキストと区別して表示することができる。第１デバイス１０００は、第１ユーザの音声から変換されたテキスト、及び第２ユーザの音声に変換されたテキストを、第１ユーザから入力されたテキスト、及び第２ユーザから入力されたテキストと区別されるように表示することができる。その場合、ユーザは、ユーザによって入力されたテキスト、及びユーザによって入力された音声から変換されてディスプレイされたテキストを区別することができる。

例えば、第１デバイス１０００は、変換されたテキストを区別して表示するために、別途のアイコンを、変換されたテキストの周辺にディスプレイすることができる。また、例えば、第１デバイス１０００は、変換されたテキストの色相、太さまたは書体などを、区別されるように表示することができる。しかし、それらに制限されるものではない。

段階Ｓ１０７０において、第１デバイス１０００は、変換されたテキストが選択されれば、変換されたテキストの原本音声データを出力することができる。変換されたテキストが、チャットウィンドウ内で、第１ユーザによって選択されれば、第１デバイス１０００は、選択されたテキストの原本音声データをメモリから抽出し、抽出された原本音声データを、第１デバイス１０００内のスピーカを介して出力することができる。

段階Ｓ１０８０において、第１デバイス１０００は、配列されたテキストのうち、所定のイベントが発生する以前の既設定時間の間に獲得されたテキストをバックアップすることができる。所定のイベントは、例えば、第１デバイス１０００と第２デバイス２０００との通話終了、またはテキストバックアップのためのユーザ入力受信などを含んでもよい。例えば、第１デバイス１０００と第２デバイス２０００との通話が終われば、第１デバイス１０００は、通話が終わる前の５分間、第１デバイス１０００によって獲得されたテキストをバックアップすることができる。例えば、第１デバイス１０００は、テキストをバックアップするためのユーザ入力を受信すれば、ユーザ入力が受信される前の３分間、第１デバイス１０００によって獲得されたテキストをバックアップすることができる。しかし、テキストバックアップのために設定された、イベントの種類及び時間値は、それらに制限されるものではない。

一方、第１デバイス１０００は、配列されたテキスト全体をサーバ３０００にバックアップすることができる。その場合、第１デバイス１０００は、配列されたテキストのうち一部を第１デバイス１０００内にバックアップし、配列されたテキストの全部をサーバ３０００にバックアップすることができる。また、第１デバイス１０００は、配列されたテキストのうち一部テキスト、及び配列されたテキストの全体テキストを、サーバ３０００に保存することもできる。

一方、図１０では、第１デバイス１０００が、配列されたテキストのうち、所定のイベントが発生する以前の既設定時間の間に獲得されたテキストをバックアップすると説明したが、それに制限されるものではない。第１デバイス１０００は、配列されたテキスト全体を、多様な自然語解釈方法を介して、ユーザ間の対話を分析することができ、配列されたテキストから、ユーザ間の主要対話内容を示す部分を抽出することができる。また、第１デバイス１０００は、抽出された一部対話を示すテキストを、第１デバイス１０００内にバックアップすることができる。

図１１Ａ及び図１１Ｂは、一実施形態による、音声／文字通話中、ディスプレイされたチャットウィンドウの例示を示す図面である。

図１１Ａは、一実施形態による、音声／文字通話中、ディスプレイされたチャットウィンドウ内で、音声から変換されたテキストが区別されるように表示された一例を示す図面である。

図１１Ａを参照すれば、音声／文字通話中、第１デバイス１０００画面上には、チャットウィンドウがディスプレイされ、チャットウィンドウ内に、ユーザの音声から変換されたテキストである「Sure」「What are you going？」がディスプレイされる。また、第１デバイス１０００は、「What are you going？」が音声から変換されたテキストであることを示すために、「What are you going？」の周辺にアイコン１１０をディスプレイすることができる。

また、第１ユーザが「What are you going？」をタッチすれば、第１デバイス１０００は、タッチされたテキストである「What are you going？」に対応する原本音声データを第１デバイス１０００のスピーカを介して出力することができる。第１デバイス１０００は、「What are you going？」を発音するユーザの音声を出力することができる。その場合、ユーザの原本音声は、第１デバイス１０００、第２デバイス２０００及びサーバに保存される。従って、保存された音声は、要請によってさらに再生される。

それにより、ユーザの音声から変換されたテキストに誤字「going」が存在しても、ユーザは、変換されたテキストの原本音声データを聴取することにより、さらに正確にユーザの対話内容を確認することができる。

また、第１デバイス１０００は、音声から変換されたテキストがいかほど信頼される程度に変換されているかということを示すことができる。例えば、「Sure」の信頼度が、「What are you going？」の信頼度より高い場合、「Sure」の文字サイズ及び文字厚を、「What are you going？」の文字サイズ及び文字厚より大きく表示することができる。しかし、それに制限されるものではなく、「Sure」の文字色相、字形などを区別されるように表示することもできる。また、変換されたテキストの周辺に、信頼度の数値を示す特定客体をディスプレイすることもできる。

図１１Ｂは、一実施形態による、音声／文字通話中、ディスプレイされたチャットウィンドウ内で、音声から変換されたテキストの信頼度が、単語単位で区別されるように表示された一例を示す図面である。

図１１Ｂを参照すれば、一実施形態による第１デバイス１０００は、音声から変換されたテキスト「What are you doing？」の信頼度を単語単位で区別されるように表示することができる。例えば、テキスト「What are you doing？」内において、「What」及び「you」の信頼度が、「are」及び「doing」の信頼度より高い場合、「What」及び「you」の文字サイズ及び文字厚を、「are」及び「doing」の文字サイズ及び文字厚より大きく表示することができる。しかし、それに制限されるものではなく、「What」及び「you」の文字色相、字形などを区別されるように表示することもできる。

また、第１ユーザが「What are you doing？」において「What」をタッチすれば、第１デバイス１０００は、タッチされた単語である「What」に対応する原本音声データを、第１デバイス１０００のスピーカを介して出力することができる。第１デバイス１０００は、単語「What」を発音するユーザの音声を出力することができる。従って、ユーザは、テキストメッセージの部分に対応して再生される音声を選択的に要請することができる。

図１２は、一実施形態による、第１デバイス１０００及び第２デバイス２０００が、特定チャットアプリケーションを介して、音声から変換されたテキストを互いに送受信する例示を示す図面である。

図１２を参照すれば、第１デバイス１０００において、チャットアプリケーション１２０が実行され、第２デバイス２０００において、チャットアプリケーション１２２が実行される。チャットアプリケーション１２０及びチャットアプリケーション１２２は、互いに同一のアプリケーションでもあり、互いに互換可能なアプリケーションでもある。

また、第１デバイス１０００は、第１デバイス１０００によって獲得された、音声から変換されたテキストをチャットアプリケーション１２０に入力し、入力されたテキストを、チャットアプリケーション１２０を介して、第２デバイス２０００のチャットアプリケーション１２２に伝送することができる。

また、第２デバイス２０００は、第２デバイス２０００によって獲得された、音声から変換されたテキストを、チャットアプリケーション１２２に入力し、入力されたテキストを、チャットアプリケーション１２２を介して、第１デバイス１０００のチャットアプリケーション１２０に伝送することができる。

図１３は、一実施形態による、音声／文字通話機能が活性化される場合、第１デバイス１０００が、音声通話と連動されて実行されるチャットアプリケーションを決定する方法のフローチャートである。

段階Ｓ１３００において、第１デバイス１０００は、音声／文字通話機能を活性化することができる。第１デバイス１０００は、第２デバイス２０００に電話を始めるための要請を行うとき、音声通話機能を活性化することができる。また、第１デバイス１０００は、第２デバイス２０００から電話を受信するとき、音声通話機能を活性化することができる。また、第１デバイス１０００は、第２デバイス２０００との通話中、音声／文字通話機能を活性化することができる。

段階Ｓ１３１０において、第１デバイス１０００は、チャットアプリケーションを決定することができる。第１デバイス１０００は、音声／文字通話中に利用されるチャットアプリケーションを決定することができる。例えば、第１デバイス１０００は、第１デバイス１０００の音声／文字通話機能と連動されて実行されるチャットアプリケーションを、音声／文字通話中に利用されるチャットアプリケーションで決定することができる。また、例えば、第１デバイス１０００は、第１デバイス１０００及び第２デバイス２０００のいずれにもインストールされたチャットアプリケーションを、音声／文字通話中に利用されるチャットアプリケーションとして決定することができる。しかし、それに制限されるものではない。ユーザは、通話が始まるか、あるいは通話要請が受信されたとき、ユーザは、１以上のチャットアプリケーションのうち実行されるチャットアプリケーションを選択することができる。

段階Ｓ１３２０において、第１デバイス１０００は、決定されたチャットアプリケーションを実行し、段階Ｓ１３２５において、第１デバイス１０００は、音声から変換されたテキストを、実行されたチャットアプリケーションに入力することができる。例えば、第１デバイス１０００は、実行されたチャットアプリケーションに、テキスト自動入力のためのプラグインをインストールし、インストールされたプラグインを介して、チャットアプリケーションに、音声から変換されたテキストを入力することができる。しかし、それに制限されるものではない。

段階Ｓ１３３０において、第１デバイス１０００は、ユーザとの通話中、チャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。第１デバイス１０００は、第１ユーザの音声から変換されたテキスト、第１ユーザによって第１デバイス１０００に入力されたテキスト、第２ユーザの音声から変換されたテキスト、及び第２ユーザによって第２デバイス２０００に入力されたテキストを、チャットウィンドウ内に配列することができる。

また、第１デバイス１０００は、第１デバイス１０００の音声／文字通話の通話モードにより、チャットウィンドウを、第１デバイス１０００の画面上にディスプレイするか、あるいは第１デバイス１０００の画面上において、チャットウィンドウを隠すことができる。

図１４は、一実施形態による、第１デバイス１０００が、音声／文字通話中に利用されるチャットアプリケーションを決定する方法のフローチャートである。

段階Ｓ１４００において、第１デバイス１０００は、第２デバイス２０００に、第２デバイス２０００にインストールされたチャットアプリケーションのリストを要請し、段階Ｓ１４１０において、第２デバイス２０００は、第２デバイス２０００にインストールされたチャットアプリケーションのリストを第１デバイス１０００に提供する。

段階Ｓ１４２０において、第１デバイス１０００は、第１デバイス１０００にインストールされたチャットアプリケーションのうち、第２デバイス２０００から受信されたチャットアプリケーションのリストに含まれたチャットアプリケーションと互換可能なチャットアプリケーションを選択することができる。

例えば、チャットアプリケーション「Ａ」と互換可能なチャットアプリケーションは、チャットアプリケーション「Ａ」と同一のチャットアプリケーションでもある。また、例えば、チャットアプリケーション「Ａ」と互換可能なチャットアプリケーションは、チャットアプリケーション「Ａ」と異なるが、チャットアプリケーション「Ａ」とメッセージを送受信することができるチャットアプリケーションでもある。

一方、図１４では、第１デバイス１０００が第２デバイス２０００に、チャットアプリケーションのリストを要請することにより、第２デバイス２０００から、チャットアプリケーションのリストを受信すると説明したが、それに制限されるものではない。第１デバイス１０００及び第２デバイス２０００が、音声／文字通話のために連結されながら、第１デバイス１０００は、別途の要請なしに、第２デバイス２０００からチャットアプリケーションのリストを受信することもできる。

図１５は、一実施形態による、第１デバイス１０００が、音声／文字通話中に利用されるチャットアプリケーションをインストールする方法のフローチャートである。

段階Ｓ１５００において、第１デバイス１０００は、第２デバイス２０００に、第２デバイス２０００にインストールされたチャットアプリケーションのリストを要請し、段階Ｓ１５１０において、第２デバイス２０００は、第２デバイス２０００にインストールされたチャットアプリケーションのリストを、第１デバイス１０００に提供する。

段階Ｓ１５２０において、第１デバイス１０００は、第２デバイス２０００から受信されたチャットアプリケーションのリストに含まれたチャットアプリケーションと互換可能なチャットアプリケーションをインストールすることができる。第１デバイス１０００は、第２デバイス２０００から受信されたチャットアプリケーションのリストに含まれたチャットアプリケーションと互換可能なチャットアプリケーションを選択し、選択されたチャットアプリケーションを、所定のサーバからダウンロードすることができる。また、第１デバイス１０００は、ダウンロードされたチャットアプリケーションを、第１デバイス１０００内にインストールすることができる。

一方、図１５では、第１デバイス１０００が、第２デバイス２０００にチャットアプリケーションのリストを要請することにより、第２デバイス２０００からチャットアプリケーションのリストを受信すると説明したが、それに制限されるものではない。第１デバイス１０００及び第２デバイス２０００が、音声／文字通話のために連結されながら、第１デバイス１０００は、別途の要請なしに、第２デバイス２０００からチャットアプリケーションのリストを受信することもできる。

図１６Ａは、一実施形態による、第１デバイス１０００がチャットサービスを利用している最中、音声／文字通話機能を活性化する例示を示す図面である。図１６Ａを参照すれば、第１デバイス１０００は、チャットアプリケーションを実行し、所定のチャットサービスを利用することができる。また、第１ユーザが、チャットアプリケーションの実行画面上に表示されたボタン１６０を選択することにより、第１デバイス１０００は、音声／文字通話機能を活性化することができる。

図１６Ｂは、一実施形態による、第１デバイス１０００がチャットアプリケーションのユーザリスト画面を介したユーザ入力により、音声／文字通話を始める例示を示す図面である。図１６Ｂを参照すれば、第１デバイス１０００は、チャットアプリケーションを実行し、チャットアプリケーションのユーザリストをディスプレイすることができる。また、第１デバイス１０００は、ユーザリストにおいて「John」と音声通話を行うためのボタン１６５を選択するユーザ入力を受信することができる。それにより、第１デバイス１０００は、Johnのデバイスと音声／文字通話を始めることができる。

図１７は、一実施形態による、第１デバイス１０００及び第２デバイス２０００がチャットサービスを利用している最中、音声／文字通話を行う方法のフローチャートである。

段階Ｓ１７００において、第１デバイス１０００及び第２デバイス２０００は、チャットサービスのために互いに通信連結される。また、段階Ｓ１７１０において、第１デバイス１０００は、チャットウィンドウを、第１デバイス１０００の画面上にディスプレイし、段階Ｓ１７２０において、第２デバイス２０００は、チャットウィンドウを、第２デバイス２０００の画面上にディスプレイすることができる。その後、第１デバイス１０００及び第２デバイス２０００は、互いにメッセージを送受信することができる。

段階Ｓ１７３０において、第１デバイス１０００は、音声／文字通話機能を活性化し、段階Ｓ１７４０において、第２デバイス２０００は、音声／文字通話機能を活性化することができる。

また、段階Ｓ１７５０において、第１デバイス１０００及び第２デバイス２０００は、互いに音声／文字通話を行うことができる。

図１８ないし図２１は、一実施形態による、音声／文字通話中、通話モードが変更される例示を示す図面である。

音声／文字通話の通話モードは、例えば、音声モード及び文字モードを含んでもよい。音声モードは、ユーザが音声通話が可能であるように、他のユーザと通話を行うことができるモードであることができ、文字モードは、ユーザが文字メッセージの送受信を介して、他のユーザとコミュニケーションすることができるモードでもある。

図１８は、一実施形態による、第１デバイス１０００が、音声／文字通話中、音声モードから文字モードに、通話モードを自動転換する一例を図示した図面である。図１８を参照すれば、第１デバイス１０００がユーザの顔に近接していれば、第１デバイス１０００は、第１デバイス１０００の画面を非活性化し、音声モードで動作することができる。その後、第１デバイス１０００がユーザの顔から離隔されるならば、第１デバイス１０００は、通話モードを音声モードから文字モードに転換し、第１デバイス１０００の画面上にチャットウィンドウをディスプレイすることができる。

図１９は、一実施形態による、第１デバイス１０００が、音声／文字通話中、文字モードから音声モードに、通話モードを自動転換する一例を図示した図面である。図１９を参照すれば、第１デバイス１０００がユーザの顔から離隔されていれば、第１デバイス１０００は、第１デバイス１０００の画面上にチャットウィンドウをディスプレイし、文字モードで動作することができる。その後、第１デバイス１０００がユーザの顔に近接すれば、第１デバイス１０００は、通話モードを文字モードから音声モードに転換し、第１デバイス１０００の画面を非活性化することができる。第１デバイス１０００は、第１デバイス１０００の方位及び位置を自動的に検出することができ、音声モード及び文字モードを、必要によって転換することができる。

図２０は、一実施形態による、第１デバイス１０００が、音声／文字通話中、音声モードから文字モードに、通話モードを手動転換する一例を図示した図面である。図２０を参照すれば、第１デバイス１０００が、音声モードで動作している最中、第１ユーザが、第１デバイス１０００の画面上に表示されたボタン２００を選択すれば、第１デバイス１０００は、通話モードを音声モードから文字モードに転換し、第１デバイス１０００の画面上にチャットウィンドウをディスプレイすることができる。

図２１は、一実施形態による、第１デバイス１０００が、音声／文字通話中、文字モードから音声モードに、通話モードを手動転換する一例を図示した図面である。図２１を参照すれば、第１デバイス１０００が文字モードで動作している最中、第１ユーザが、第１デバイス１０００の画面上に表示されたボタン２１０を選択すれば、第１デバイス１０００は、通話モードを文字モードから音声モードに転換し、第１デバイス１０００の画面を非活性化することができる。

図２２は、一実施形態による、第１デバイス１０００が音声／文字通話のモードを転換する方法のフローチャートである。

段階Ｓ２２００において、第１デバイス１０００は、音声／文字通話の通話モードが音声モードであるか否かということを判断することができる。第１デバイス１０００は、例えば、第１デバイス１０００内の近接センサを利用して、第１デバイス１０００が第１ユーザの顔に近接しているか否かということを判断することにより、通話モードが音声モードであるか否かということを判断することができる。また、例えば、第１デバイス１０００は、音声モードに転換するためのボタンが、第１ユーザによって選択されたか否かということを判断することにより、通話モードが音声モードであるか否かということを判断することができる。

段階Ｓ２２００での判断結果、通話モードが音声モードであると判断されれば、段階Ｓ２２１０において、第１デバイス１０００は、第１デバイス１０００内のスピーカ及びマイクロフォンを活性化することができる。それにより、第１デバイス１０００は、活性化されたマイクロフォンを介して、第１ユーザの音声を獲得することができ、第１デバイス１０００は、活性化されたスピーカを介して、第２ユーザの音声を出力することができる。

また、段階Ｓ２２２０において、第１デバイス１０００は、チャットウィンドウを第１デバイス１０００の画面上で隠す。例えば、第１デバイス１０００は、第１デバイス１０００の画面を非活性化することにより、第１デバイス１０００の画面上において、チャットウィンドウを隠すことができる。画面が非活性化されても、第１デバイス１０００は、音声対話の内容を示すテキストを、音声モードが文字モードに転換される場合、保存することができる。音声対話の内容を示すテキストは、第１デバイス１０００、第２デバイス２０００またはサーバに保存される。

一方、段階Ｓ２２００での判断結果、通話モードが音声モードではなければ、段階Ｓ２２３０において、第１デバイス１０００は、音声／文字通話の通話モードが、文字モードであるか否かということを判断することができる。第１デバイス１０００は、例えば、第１デバイス１０００内の近接センサを利用して、第１デバイス１０００が、第１ユーザの顔から離隔されているか否かということを判断することにより、通話モードが、文字モードであるか否かということを判断することができる。また、例えば、第１デバイス１０００は、文字モードに転換するためのボタンが、第１ユーザによって選択されたか否かということを判断することにより、通話モードが、文字モードであるか否かということを判断することができる。

段階Ｓ２２３０での判断結果、通話モードが文字モードであると判断されれば、段階Ｓ２２４０において、第１デバイス１０００は、第１デバイス１０００内のスピーカ及びマイクロフォンを非活性化することができる。

また、段階Ｓ２２５０において、第１デバイス１０００は、チャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。また、第１デバイス１０００は、チャットウィンドウを介して、第１ユーザから入力されるテキストをチャットウィンドウ内に表示することができる。また、第１デバイス１０００は、第２ユーザの音声から変換されたテキスト、及び第２ユーザが第２デバイス２０００に入力したテキストをチャットウィンドウ内に表示することができる。

段階Ｓ２２６０において、第１デバイス１０００は、通話モードが転換されたか否かということを判断することができる。段階Ｓ２２６０において、通話モードが転換されたと判断されれば、第１デバイス１０００は、段階Ｓ２２００を遂行することができる。

図２３は、一実施形態による、第１デバイス１０００が音声モードで、音声／文字通話を行う方法のフローチャートである。

段階Ｓ２３００において、第１デバイス１０００は、第１デバイス１０００が第１ユーザの顔に近接しているか否かということを決定することができる。第１デバイス１０００は、第１デバイス１０００内に含まれた近接センサを利用して、第１デバイス１０００が、第１ユーザの顔に近接しているか否かということを判断することができる。

段階Ｓ２３１０において、第１デバイス１０００は、スピーカ及びマイクロフォンを活性化することができる。第１デバイス１０００は、音声／文字通話の通話モードが音声モードであるか否かということを判断し、第１デバイス１０００内のスピーカ及びマイクロフォンを活性化することができる。それにより、第１デバイス１０００は、マイクロフォンを介して、第１ユーザの音声入力を受信し、第２ユーザの音声をスピーカを介して出力することができる。

段階Ｓ２３２０において、第１デバイス１０００は、第１ユーザから入力された音声をテキストに変換することができる。第１デバイス１０００は、多様なＳＴＴ技術を利用して、第１ユーザの音声をテキストに変換することができる。

段階Ｓ２３３０において、第１デバイス１０００は、チャットウィンドウを第１デバイス１０００の画面上で隠す。第１デバイス１０００は、例えば、第１デバイス１０００の画面を非活性化することにより、チャットウィンドウを、第１デバイス１０００の画面上で隠すことができる。

段階Ｓ２３４０において、第１デバイス１０００は、第２デバイス２０００の通話モードを識別することができる。第２デバイス２０００は、第２デバイス２０００の通話モードを示す情報を、第１デバイス１０００に伝送することができ、第１デバイス１０００は、第２デバイス２０００から受信された通話モードを示す情報に基づいて、第２デバイス２０００の通話モードを識別することができる。

段階Ｓ２３５０において、第１デバイス１０００は、第１ユーザから入力された音声、及び第１ユーザから入力された音声から変換されたテキストのうち少なくとも一つを、選択的に第２デバイス２０００に伝送することができる。例えば、第２デバイス２０００の通話モードが音声モードである場合、第１デバイス１０００は、第１ユーザから入力された音声を、第２デバイス２０００に伝送することができる。また、例えば、第２デバイス２０００の通話モードが文字モードである場合、第１デバイス１０００は、第１ユーザから入力された音声から変換されたテキストを、第２デバイス２０００に伝送することができる。しかし、それに制限されるものではない。

図２４は、一実施形態による、第１デバイス１０００が、文字モードで、音声／文字通話を行う方法のフローチャートである。

段階Ｓ２４００において、第１デバイス１０００は、第１デバイス１０００が、第１ユーザの顔から離隔されているか否かということを決定することができる。第１デバイス１０００は、第１デバイス１０００内に含まれた近接センサを利用して、第１デバイス１０００が、第１ユーザの顔から離隔されているか否かということを判断することができる。

段階Ｓ２４１０において、第１デバイス１０００は、スピーカ及びマイクロフォンを非活性化することができる。第１デバイス１０００は、音声／文字通話の通話モードが文字モードであるか否かということを判断し、第１デバイス１０００内のスピーカ及びマイクロフォンを非活性化することができる。

段階Ｓ２４２０において、第１デバイス１０００は、チャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。第１デバイス１０００は、第１ユーザと第２ユーザとの対話を示すためのチャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。

段階Ｓ２４３０において、第１デバイス１０００は、第１ユーザから入力されたテキストを音声に変換することができる。第１デバイス１０００は、多様なＴＴＳ（text to speech）技術を利用して、第１ユーザのテキストを音声に変換することができる。その場合、第１デバイス１０００は、第１ユーザの性別及び年齢などを考慮し、変換された第１ユーザの音声の音色（tone）を決定することができる。

段階Ｓ２４４０において、第１デバイス１０００は、第２デバイス２０００の通話モードを識別することができる。第２デバイス２０００は、第２デバイス２０００の通話モードを示す情報を、第１デバイス１０００に伝送することができ、第１デバイス１０００は、第２デバイス２０００から受信された通話モードを示す情報に基づいて、第２デバイス２０００の通話モードを識別することができる。

段階Ｓ２４５０において、第１デバイス１０００は、第１ユーザから入力されたテキスト、及び第１ユーザから入力されたテキストから変換された音声のうち少なくとも一つを、選択的に第２デバイス２０００に伝送することができる。例えば、第２デバイス２０００の通話モードが音声モードである場合、第１デバイス１０００は、第１ユーザから入力されたテキストから変換された音声を、第２デバイス２０００に伝送することができる。また、例えば、第２デバイス２０００の通話モードが文字モードである場合、第１デバイス１０００は、第１ユーザから入力されたテキストを第２デバイス２０００に伝送することができる。しかし、それらに制限されるものではない。

図２５は、一実施形態による、第１デバイス１０００が第２デバイス２０００の通話モードを識別する方法のフローチャートである。

段階Ｓ２５００において、第１デバイス１０００は、第２デバイス２０００に、第２デバイス２０００の通話モードを尋ねることができる。第１デバイス１０００は、既設定周期で、第２デバイス２０００に通話モードを尋ねることができるが、それに制限されるものではない。または、第１デバイス１０００は、通話を開始するとき、第２デバイス２０００に通話モードを尋ねることができる。

また、段階Ｓ２５１０において、第２デバイス２０００は、第２デバイス２０００の通話モードを識別し、段階Ｓ２５２０において、第２デバイス２０００は、第２デバイス２０００の通話モードについての情報を、第１デバイス１０００に伝送することができる。

図２５では、第２デバイス２０００が、第１デバイス１０００からの問い合わせに応答し、第２デバイス２０００の通話モードについての情報を伝送すると説明したが、それに制限されるものではない。例えば、第２デバイス２０００は、第１デバイス１０００からの問い合わせがないにしても、第２デバイス２０００の通話モードが変更されれば、第１デバイス１０００に、第２デバイス２０００の通話モードについての情報を伝送することができる。

段階Ｓ２５３０において、第１デバイス１０００は、第２デバイス２０００の通話モードを識別することができる。第１デバイス１０００は、第２デバイス２０００から受信された第２デバイス２０００の通話モードについての情報に基づいて、第２デバイス２０００の通話モードが、音声モードであるか文字モードであるかということを識別することができる。

段階Ｓ２５４０において、第１デバイス１０００は、第１ユーザの音声、または第１ユーザのテキストを、選択的に第２デバイス２０００に伝送することができる。例えば、第２デバイス２０００の通話モードが音声モードである場合、第１デバイス１０００は、第２デバイス２０００に第１ユーザの音声を伝送することができる。また、例えば、第２デバイス２０００の通話モードが文字モードである場合、第１デバイス１０００は、第２デバイス２０００に第１ユーザのテキストを伝送することができる。

図２６は、一実施形態による、音声モードで動作する第１デバイス１０００と、文字モードで動作する第２デバイス２０００とが音声／文字通話を行う方法のフローチャートである。図２６では、第１デバイス１０００が第１ユーザの音声をテキストに変換し、第２デバイス２０００が第２ユーザのテキストを音声に変換することができる。

段階Ｓ２６００において、第１デバイス１０００及び第２デバイス２０００は、互いに通話連結される。第１デバイス１０００は、第２デバイス２０００に、通話連結のためのコールを伝送するか、あるいは第２デバイス２０００から通話連結のためのコールを受信することにより、第１デバイス１０００は、第２デバイス２０００と通話連結される。

段階Ｓ２６０５において、第１デバイス１０００は、音声／文字通話機能を活性化することができる。第１デバイス１０００は、ユーザ入力に基づいて、音声／文字通話機能を活性化することができる。段階Ｓ２６０５においては、第１デバイス１０００が第２デバイス２０００と通話連結された後、音声／文字通話機能を活性化すると説明したが、それに制限されるものではない。第１デバイス１０００は、例えば、発信時、受信時または通話中、音声／文字通話機能を活性化することができる。

段階Ｓ２６１０において、第２デバイス２０００は、音声／文字通話機能を活性化することができる。第２デバイス２０００は、ユーザ入力に基づいて、音声／文字通話機能を活性化することができる。段階Ｓ２６１０においては、第２デバイス２０００が第１デバイス１０００と通話連結された後、音声／文字通話機能を活性化すると説明したが、それに制限されるものではない。第２デバイス２０００は、例えば、発信時、受信時または通話中、音声／文字通話機能を活性化することができる。

段階Ｓ２６１５において、第１デバイス１０００は、音声モードで動作することができる。第１デバイス１０００が第１ユーザの顔に近接するか、あるいは第１デバイス１０００を音声モードで動作させるユーザ入力が受信されれば、第１デバイス１０００は、音声モードで動作することができる。

段階Ｓ２６２０において、第１デバイス１０００は、第１デバイス１０００内のマイクロフォン及びスピーカを活性化し、第１ユーザと第２ユーザとの対話を示すためのチャットウィンドウを、第１デバイス１０００の画面上で隠すことができる。

段階Ｓ２６２５において、第２デバイス２０００は、文字モードで動作することができる。第２デバイス２０００が第２ユーザの顔から離隔されるか、第２デバイス２０００を文字モードで動作させるユーザ入力が受信されれば、第２デバイス２０００は、文字モードで動作することができる。

段階Ｓ２６３０において、第２デバイス２０００は、第２デバイス２０００内のスピーカ及びマイクロフォンを非活性化し、第１ユーザと第２ユーザとの対話を示すためのチャットウィンドウを、第２デバイス２０００の画面上にディスプレイすることができる。

段階Ｓ２６３５において、第１デバイス１０００は、第１ユーザの音声入力を受信し、段階Ｓ２６４０において、第１デバイス１０００は、第１ユーザの音声をテキストに変換することができる。

また、段階Ｓ２６４５において、第１デバイス１０００は、第１ユーザの音声から変換されたテキストを、第２デバイス２０００に伝送することができる。第１デバイス１０００は、第２デバイス２０００が文字モードで動作することを識別し、第２デバイス２０００に、第１ユーザの音声から変換されたテキストを伝送することができる。

段階Ｓ２６５０において、第２デバイス２０００は、第１ユーザと第２ユーザとの対話を示すチャットウィンドウを、第２デバイス２０００の画面上にディスプレイし、段階Ｓ２６５５において、第２デバイス２０００は、チャットウィンドウを介した第２ユーザのテキスト入力を受信することができる。また、第２デバイス２０００は、第１デバイス１０００から受信されたテキスト、及び第２デバイス２０００に入力されたテキストを経時的に配列し、チャットウィンドウ内に表示することができる。

段階Ｓ２６６０において、第２デバイス２０００は、第２ユーザのテキストを、ＴＴＳを利用して音声に変換することができる。第２デバイス２０００は、例えば、第２ユーザの年齢及び性別を考慮し、第２ユーザのテキストから変換された音声の音色を決定することができる。

段階Ｓ２６６５において、第２デバイス２０００は、第２ユーザのテキストから変換された音声、及び第２ユーザのテキストを第１デバイス１０００に伝送することができる。

また、段階Ｓ２６７０において、第１デバイス１０００は、第２ユーザのテキストから変換された音声を第１デバイス１０００のスピーカを介して出力することができる。

図２７は、一実施形態による、音声モードで動作する第１デバイス１０００と、文字モードで動作する第２デバイス２０００とが音声／文字通話を行う方法のフローチャートである。図２７では、第１デバイス１０００が、第１ユーザの音声をテキストに変換し、第２ユーザのテキストを音声に変換することができる。従って、第１ユーザは、音声モードを利用し、第２ユーザは、文字モードを利用することができる。

図２７の段階Ｓ２７００ないし段階Ｓ２７５５は、図２６の段階Ｓ２６００ないし段階Ｓ２６５５に対応するので、段階Ｓ２７００ないし段階Ｓ２７５５についての説明は省略する。

段階Ｓ２７６０において、第２デバイス２０００は、第２ユーザから入力されたテキスト（第２ユーザのテキスト）を第１デバイス１０００に伝送することができる。

段階Ｓ２７６５において第１デバイス１０００は、第２ユーザのテキストを音声に変換することができる。第１デバイス１０００は、多様なＴＴＳ技術を利用して、第２ユーザのテキストを第２ユーザの音声に変換することができる。また、第１デバイス１０００は、第２ユーザの性別及び年齢などについてのユーザ情報をあらかじめ獲得することができ、第２ユーザの性別及び年齢などを考慮し、第２ユーザのテキストから変換された音声の音色を決定することができる。

段階Ｓ２７７０において、第１デバイス１０００は、第２ユーザのテキストから変換された音声を、第１デバイス１０００のスピーカを介して出力することができる。従って、第２ユーザは、文字モードを利用し、第１ユーザは、音声モードを利用することができる。

図２８は、一実施形態による、音声モードで動作する第１デバイス１０００と、文字モードで動作する第２デバイス２０００とが音声／文字通話を行う方法のフローチャートである。図２８では、第２デバイス２０００が第１ユーザの音声をテキストに変換し、第２ユーザのテキストを音声に変換することができる。

図２８の段階Ｓ２８００ないし段階Ｓ２８３５は、図２７の段階Ｓ２７００ないし段階Ｓ２７３５に対応するので、段階Ｓ２８００ないし段階Ｓ２８３５についての説明は省略する。

段階Ｓ２８４０において、第１デバイス１０００は、第１ユーザの音声を第２デバイス２０００に伝送することができる。

段階Ｓ２８４５において、第２デバイス２０００は、第１ユーザの音声をテキストに変換し、段階Ｓ２８５０において、第２デバイス２０００は、第１ユーザと第２ユーザとの対話を示すテキストを、チャットウィンドウ内にディスプレイすることができる。従って、第１ユーザは、音声モードを利用し、第２ユーザは、文字モードを利用することができる。

また、段階Ｓ２８５５において、第２デバイス２０００は、チャットウィンドウを介した第２ユーザのテキスト入力を受信し、段階Ｓ２８６０において、第２デバイス２０００は、第２ユーザから入力されたテキスト（第２ユーザのテキスト）を音声に変換することができる。第２デバイス２０００は、例えば、第２ユーザの性別及び年齢を考慮し、変換された音声の音色を決定することができる。

段階Ｓ２８６５において、第２デバイス２０００は、第２ユーザのテキストから変換された音声、第１ユーザの音声から変換されたテキスト、及び第２ユーザのテキストを第１デバイス１０００に伝送することができる。従って、第１ユーザは、音声モードを利用し、第２ユーザは、文字モードを利用することができる。

段階Ｓ２８７０において、第１デバイス１０００は、第２ユーザのテキストから変換された音声を、第１デバイス１０００のスピーカを介して出力することができる。

図２９Ａ、図２９Ｂ及び図２９Ｃは、一実施形態による、音声／文字通話の通話モードのうち一つである混合モードの例示を示す図面である。

混合モードでは、音声通話のための音声入力機能及び音声出力機能が活性化された状態で、テキスト送受信のための文字入力機能及び文字出力機能が活性化される。従って、混合モードにおいてユーザは、第１デバイス１０００を介して音声通話を行う間、文字送受信を共に行うことができる。

また、混合モードでは、音声通話のための音声入力機能及び音声出力機能のうち一部が活性化された状態で、テキスト送受信のための文字入力機能及び文字出力機能のうち一部が活性化される。

例えば、混合モードでは、音声通話のための音声入力機能が活性化された状態で、テキスト送受信のための文字入力機能及び文字出力機能が活性化される。

また、例えば、混合モードでは、音声通話のための音声出力機能が活性化された状態で、テキスト送受信のための文字入力機能及び文字出力機能が活性化される。

また、例えば、混合モードでは、音声通話のための音声入力機能及び音声出力機能が活性化された状態で、テキスト送受信のための文字入力機能が活性化される。

また、例えば、混合モードでは、音声通話のための音声入力機能及び音声出力機能が活性化された状態で、テキスト送受信のための文字出力機能が活性化される。

図２９Ａを参照すれば、第１デバイス１０００のスピーカフォン機能が活性化され、第１デバイス１０００の画面上にディスプレイされたチャットウィンドウを介したメッセージ送受信機能が活性化される。

混合モードでは、第１デバイス１０００は、第２デバイス２０００と音声通話を行っている最中、第２デバイス２０００とメッセージ送受信を共に行うことができる。

図２９Ｂを参照すれば、第１デバイス１０００のスピーカフォンを利用しない音声通話機能が活性化された状態で、第１デバイス１０００の画面上にディスプレイされたチャットウィンドウを介したメッセージ送受信機能が活性化される。スピーカフォンを利用しない音声通話は、第１デバイス１０００がユーザの顔に近接した状態で、ユーザの耳に近接したスピーカ、及びユーザの口に近接したマイクロフォンを利用して行う音声通話でもある。

その場合、第１デバイス１０００は、音声通話機能が活性化された状態で、音声入出力が行われている最中、第２デバイス２０００とメッセージ送受信を行うためのチャットウィンドウを介した入出力が共に行われる。

図２９Ｃを参照すれば、ユーザが、第１デバイス１０００に、有線または無線で連結されたウェアラブルデバイス２９０を着用している状態で、第１デバイス１０００は、混合モードで、音声／文字通話を行うことができる。その場合、第１デバイス１０００は、混合モードでの音声／文字通話のための、音声入出力及び文字入出力のうち一部をウェアラブルデバイス２９０が行うようにもする。

例えば、ウェアラブルデバイス２９０がヘッドフォンである場合、第１デバイス１０００は、混合モードで音声／文字通話を行いながら、第１デバイス１０００で出力される音声をヘッドフォンを介して出力させる。

また、例えば、ウェアラブルデバイス２９０がスマートめがねである場合、第１デバイス１０００は、混合モードで音声／文字通話を行いながら、第１デバイス１０００で出力されるチャットウィンドウをスマートめがねを介して出力させる。

図３０は、一実施形態による、音声／文字通話を行っている第１デバイス１０００の通話モードが、音声モードから混合モードに転換されたり、混合モードから音声モードに転換されたりする一例を図示した図面である。図３０を参照すれば、音声モードで音声／文字通話を行っている第１デバイス１０００の画面上に表示されたボタン３００が選択されれば、第１デバイス１０００の通話モードは、音声モードから混合モードに転換される。また、混合モードで音声／文字通話を行っている第１デバイス１０００の画面上に表示されたボタン３０１が選択されれば、第１デバイス１０００の通話モードは、混合モードから音声モードに転換される。

図３１は、一実施形態による、音声／文字通話を行っている第１デバイス１０００の通話モードが、文字モードから混合モードに転換されたり、混合モードから文字モードに転換されたりする一例を図示した図面である。図３１を参照すれば、文字モードで音声／文字通話を行っている第１デバイス１０００の画面上に表示されたボタン３１０が選択されれば、第１デバイス１０００の通話モードは、文字モードから混合モードに転換される。また、混合モードで音声／文字通話を行っている第１デバイス１０００の画面上に表示されたボタン３１１が選択されれば、第１デバイス１０００の通話モードは、混合モードから文字モードに転換される。

図３２は、一実施形態による、第１デバイス１０００が音声／文字通話のモードを転換する方法のフローチャートである。図３２の段階Ｓ３２００ないしＳ３２２０、及び段階Ｓ３２６０ないしＳ３２９０は、図２２の段階Ｓ２２００ないしＳ２２２０、及び段階Ｓ２２３０ないしＳ２２６０に対応するので、図３２の段階Ｓ３２００ないしＳ３２２０、及び段階Ｓ３２６０ないしＳ３２９０についての説明は便宜上省略する。

段階Ｓ３２００での判断結果、通話モードが音声モードではなければ、段階Ｓ３２３０において、第１デバイス１０００は、音声／文字通話の通話モードが混合モードであるか否かということを判断することができる。例えば、第１デバイス１０００は、混合モードに転換するためのボタンが、第１ユーザによって選択されたか否かということを判断することにより、通話モードが混合モードであるか否かということを判断することができる。

段階Ｓ３２３０での判断結果、通話モードが混合モードであると判断されれば、段階Ｓ３２４０において、第１デバイス１０００は、第１デバイス１０００内のスピーカ及びマイクロフォンを活性化することができる。

また、段階Ｓ３２５０において、第１デバイス１０００は、チャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。また、第１デバイス１０００は、チャットウィンドウを介して、第１ユーザから入力されるテキストを、チャットウィンドウ内に表示することができる。また、第１デバイス１０００は、第２ユーザの音声から変換されたテキスト、及び第２ユーザが第２デバイス２０００に入力したテキストをチャットウィンドウ内に表示することができる。

一方、段階Ｓ３２３０での判断結果、通話モードが混合モードではないと判断されれば、第１デバイス１０００は、段階Ｓ３２６０を遂行することができる。

図３３は、一実施形態による、第１デバイス１０００が混合モードで音声／文字通話を行う方法のフローチャートである。

段階Ｓ３３００において、第１デバイス１０００は、音声／文字通話の通話モードが混合モードであるか否かということを判断することができる。例えば、第１デバイス１０００は、混合モードに転換するためのボタンが、第１ユーザによって選択されたか否かということを判断することにより、通話モードが混合モードであるか否かということを判断することができる。

通話モードが混合モードであるならば、段階Ｓ３３１０において、第１デバイス１０００は、スピーカ及びマイクロフォンを活性化し、段階Ｓ３３２０において、第１デバイス１０００は、チャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。また、第１デバイス１０００は、チャットウィンドウを介して、第１ユーザから入力されるテキストを、チャットウィンドウ内に表示することができる。また、第１デバイス１０００は、第２ユーザの音声から変換されたテキスト、及び第２ユーザが第２デバイス２０００に入力したテキストをチャットウィンドウ内に表示することができる。

段階Ｓ３３３０において、第１デバイス１０００は、第１ユーザの音声入力、及び／または第１ユーザのテキスト入力を受信することができる。第１デバイス１０００は、活性化されたマイクロフォンを介して、第１ユーザの音声入力を受信することができ、第１デバイス１０００は、ディスプレイされたチャットウィンドウを介したユーザのテキスト入力を受信することができる。また、第１デバイス１０００は、第１ユーザから入力された音声をテキストに変換することができ、第１ユーザから入力されたテキストを音声に変換することができる。

段階Ｓ３３４０で第１デバイス１０００は、第２デバイス２０００の通話モードを識別することができる。第２デバイス２０００は、第２デバイス２０００の通話モードを示す情報を、第１デバイス１０００に伝送することができ、第１デバイス１０００は、第２デバイス２０００から受信された通話モードを示す情報に基づいて、第２デバイス２０００の通話モードを識別することができる。

段階Ｓ３３５０において、第１デバイス１０００は、第１ユーザの音声及びテキストのうち少なくとも一つを、選択的に第２デバイス２０００に伝送することができる。第１デバイス１０００は、第１ユーザから入力された音声、第１ユーザから入力されたテキスト、第１ユーザから入力された音声から変換されたテキスト、及び第１ユーザから入力されたテキストから変換された音声のうち少なくとも一つを、第２デバイス２０００に伝送することができる。

例えば、第２デバイス２０００の通話モードが音声モードである場合、第１デバイス１０００は、第１ユーザから入力された音声、及び第１ユーザから入力されたテキストから変換された音声を第２デバイス２０００に伝送することができる。また、例えば、第２デバイス２０００の通話モードが文字モードである場合、第１デバイス１０００は、第１ユーザから入力されたテキスト、及び第１ユーザから入力された音声から変換されたテキストを第２デバイス２０００に伝送することができる。しかし、それらに制限されるものではない。

図３４は、一実施形態による、混合モードで動作する第１デバイス１０００が、第２デバイス２０００と音声／文字通話を行う方法のフローチャートである。

段階Ｓ３４００において、第１デバイス１０００は、第２デバイス２０００と通話連結される。第１デバイス１０００は、第２デバイス２０００に、通話連結のためのコールを伝送するか、あるいは第２デバイス２０００から通話連結のためのコールを受信することにより、第１デバイス１０００は、第２デバイス２０００と通話連結される。

段階Ｓ３４０５において、第１デバイス１０００は、音声／文字通話の通話モードが混合モードであるか否かということを判断することができる。例えば、第１デバイス１０００は、混合モードに転換するためのボタンが、第１ユーザによって選択されたか否かということを判断することにより、通話モードが混合モードであるか否かということを判断することができる。

通話モードが混合モードであるならば、段階Ｓ３４１０において、第１デバイス１０００は、スピーカ及びマイクロフォンを活性化し、段階Ｓ３４１５において、第１デバイス１０００は、チャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。

段階Ｓ３４２０において、第１デバイス１０００は、第１ユーザの音声入力を受信することができる。第１デバイス１０００は、活性化されたマイクロフォンを介して、第１ユーザの音声入力を受信することができる。

段階Ｓ３４２５において、第１デバイス１０００は、第１ユーザから入力された音声を第２デバイス２０００に伝送し、段階Ｓ３４３０において、第１デバイス１０００は、第１ユーザから入力された音声をテキストに変換することができる。また、第１デバイス１０００は、第１ユーザから入力された音声から変換されたテキストを、チャットウィンドウ内にディスプレイすることができる。

段階Ｓ３４３５において、第２デバイス２０００は、第２ユーザの音声を第１デバイス１０００に伝送し、段階Ｓ３４４０において、第１デバイス１０００は、第２ユーザの音声を出力することができる。第１デバイス１０００は、活性化されたスピーカを介して、第２ユーザの音声を出力することができる。

段階Ｓ３４４５において、第１デバイス１０００は、第２ユーザの音声をテキストに変換することができる。また、第１デバイス１０００は、第２ユーザの音声から変換されたテキストを、チャットウィンドウ内にディスプレイすることができる。

段階Ｓ３４５０において、第１デバイス１０００は、第１ユーザのテキスト入力を受信することができる。第１デバイス１０００は、チャットウィンドウを介した第１ユーザのテキスト入力を受信することができ、入力された第１ユーザのテキストを、チャットウィンドウ内にディスプレイすることができる。

段階Ｓ３４５５において、第１デバイス１０００は、第１ユーザから入力されたテキストを音声に変換することができる。第１デバイス１０００は、例えば、第１ユーザの性別及び年齢を考慮し、第１ユーザから入力されたテキストから変換された音声の音色を決定することができる。しかし、それに制限されるものではなく、変換された音声の音色は、あらかじめ設定されていてもよい。

段階Ｓ３４６０において、第１デバイス１０００は、第１ユーザから入力されたテキストから変換された音声を、第２デバイス２０００に伝送することができる。

図３５Ａは、一実施形態による、第１デバイス１０００が第２デバイス２０００の通話モード変更を第１ユーザに知らせ、第１ユーザに通話モードの変更を勧める方法のフローチャートである。

段階Ｓ３５００において、第１デバイス１０００は、第２デバイス２０００の通話モードを識別することができる。第２デバイス２０００は、第２デバイス２０００の通話モードを示す情報を、第１デバイス１０００に伝送することができ、第１デバイス１０００は、第２デバイス２０００から受信された通話モードを示す情報に基づいて、第２デバイス２０００の通話モードを識別することができる。

段階Ｓ３５１０において、第１デバイス１０００は、第２デバイス２０００の通話モードが変更されたか否かということを判断することができる。例えば、第２デバイス２０００の通話モードは、音声モードから文字モードに変更されるか、音声モードから混合モードに変更されるか、文字モードから音声モードに変更されるか、文字モードから混合モードに変更されるか、混合モードから音声モードに変更されるか、あるいは混合モードから文字モードに変更される。第１デバイス１０００は、第２デバイス２０００にモード情報を要請して獲得することができる。または、第２デバイス２０００が第１デバイス１０００にモード変更を知らせる。

また、第１デバイス１０００は、第２デバイス２０００の入力方法の変更を判断することができる。第１デバイス１０００は、第２デバイス２０００が音声／文字通話のために、音声入力だけ受信するか、テキスト入力だけ受信するか、音声及びテキスト入力を受信するかということを判断することができる。第１デバイス１０００は、第２デバイス２０００に、入力方法についての情報を要請して獲得することができる。または、第２デバイス２０００が、第１デバイス１０００に入力方法についての通知を行う。

また、第１デバイス１０００は、第２デバイス２０００の出力方法の変更を判断することができる。第１デバイス１０００は、第２デバイス２０００が音声／文字通話のために、音声出力だけ提供するか、テキスト出力だけ提供するか、あるいは音声及びテキスト出力を提供するかということを判断することができる。第１デバイス１０００は、第２デバイス２０００に、出力方法についての情報を要請して獲得することができる。または、第２デバイス２０００が、第１デバイス１０００に出力方法についての通知を行う。

段階Ｓ３５１０での判断結果、第２デバイス２０００の通話モードが変更されたと判断されれば、段階Ｓ３５２０において、第１デバイス１０００は、第２デバイス２０００の変更された通話モードを第１ユーザに知らせる。例えば、第１デバイス１０００の通話モードが音声モードである場合、第１デバイス１０００は、第２デバイス２０００の通話モードが変更されることを知らせるための音声を出力することができる。また、例えば、第１デバイス１０００の通話モードが文字モードである場合、第１デバイス１０００は、第２デバイス２０００の通話モードが変更されることを知らせるためのテキストを、第１デバイス１０００の画面上にディスプレイすることができる。また、例えば、第１デバイス１０００の通話モードが混合モードである場合、第１デバイス１０００は、第２デバイス２０００の通話モードが変更されることを知らせるための音声を出力しながら第２デバイス２０００の通話モードが変更されることを知らせるためのテキストを、第１デバイス１０００の画面上にディスプレイすることができる。しかし、それらに制限されるものではない。また、第１デバイス１０００は、第２デバイス２０００の変更された通話モードの出力方法を第１ユーザに知らせる。

また、第１デバイス１０００は、第２デバイス２０００の入力方法が変更された場合、変更された入力方法を第１ユーザに知らせる。また、第１デバイス１０００は、第２デバイス２０００の出力方法が変更された場合、第１デバイス１０００は、変更された出力方法を第１ユーザに知らせる。

段階Ｓ３５２０において、第１デバイス１０００は、第１デバイス１０００の通話モードの変更を勧めることができる。例えば、音声モードで動作中の第１デバイス１０００が、第２デバイス２０００と音声／文字通話を行っている最中、第２デバイス２０００の通話モードが、音声モードから文字モードに変更されれば、第１デバイス１０００は、第１ユーザに通話モードを、音声モードから文字モードに変更することを勧めることができる。その場合、第１デバイス１０００は、例えば、「通話モードを文字モードに変更しますか」という音声をスピーカを介して出力することができる。また、第１デバイス１０００が、通話モードを音声モードから文字モードに変更すれば、第１デバイス１０００は、第１デバイス１０００と第２デバイス２０００との間に形成された音声通話チャネルを暫定的に切ることができる。

また、例えば、文字モードで動作中の第１デバイス１０００が、第２デバイス２０００と音声／文字通話を行っている最中、第２デバイス２０００の通話モードが、文字モードから音声モードに変更されれば、第１デバイス１０００は、第１ユーザに、通話モードを文字モードから音声モードに変更することを勧めることができる。その場合、第１デバイス１０００は、例えば、「通話モードを音声モードに変更しますか」というテキストを、第１デバイス１０００の画面上のチャットウィンドウ内にディスプレイすることができる。また、第１デバイス１０００が、通話モードを文字モードから音声モードに変更すれば、第１デバイス１０００は、第１デバイス１０００と第２デバイス２０００との間に形成された文字送受信のためのチャネルを暫定的に切ることができる。

また、例えば、第２デバイス２０００の通話モードが変更されることにより、第１デバイス１０００は、所定の振動を発生させながら、第１デバイス１０００の画面上に、モード変更を知らせるメッセージをディスプレイすることができる。

また、第１デバイス１０００は、第２デバイス２０００の入力方法が変更された場合、音声／文字通話を行うための、第１デバイス１０００の入力方法を勧めることができる。また、第１デバイス１０００は、第２デバイス２０００の入力方法が変更された場合、音声／文字通話を行うための、第１デバイス１０００の出力方法を勧めることができる。

また、第１デバイス１０００は、第２デバイス２０００の出力方法が変更された場合、音声／文字通話を行うための、第１デバイス１０００の入力方法を勧めることができる。また、第１デバイス１０００は、第２デバイス２０００の出力方法が変更された場合、音声／文字通話を行うための、第１デバイス１０００の出力方法を勧めることができる。

図３５Ｂは、一実施形態による、第１デバイス１０００が、第２デバイス２０００の混合モードの入出力機能変更を第１ユーザに知らせ、第１ユーザに、通話モードの変更を勧める方法のフローチャートである。

段階Ｓ３５４０において、第１デバイス１０００は、第２デバイス２０００の混合モードの入出力機能が変更されたことを識別することができる。第２デバイス２０００は、第２デバイス２０００の混合モードでの入出力機能変更を示す情報を、第１デバイス１０００に伝送することができ、第１デバイス１０００は、第２デバイス２０００から受信された情報に基づいて、第２デバイス２０００の混合モードの入出力機能変更を識別することができる。

段階Ｓ３５５０において、第１デバイス１０００は、第２デバイス２０００の混合モードの入出力機能が変更されたか否かということを判断することができる。第１デバイス１０００は、例えば、第２デバイス２０００の混合モードにおいて、音声通話のための音声入力機能及び音声出力機能のうち一部が変更されるか、あるいは文字送受信のための文字入力機能及び文字出力機能のうち一部が変更されたか否かということを判断することができる。

また、第１デバイス１０００は、第２デバイス２０００の入力方法の変更を判断することができる。第１デバイス１０００は、第２デバイス２０００が音声／文字通話のために、音声入力だけ受信するか、テキスト入力だけ受信するか、あるいは音声及びテキスト入力を受信するかということを判断することができる。

また、第１デバイス１０００は、第２デバイス２０００の出力方法の変更を判断することができる。第１デバイス１０００は、第２デバイス２０００が音声／文字通話のために、音声出力だけ提供するか、テキスト出力だけ提供するか、あるいは音声及びテキスト出力を提供するかということを判断することができる。

段階Ｓ３５５０での判断結果、第２デバイス２０００の混合モードでの入出力機能が変更されたと判断されれば、段階Ｓ３５６０において、第１デバイス１０００は、第２デバイス２０００の変更された入出力機能を第１ユーザに知らせる。例えば、第２デバイス２０００の変更された出力方法を第１ユーザに知らせる。また、第１デバイス１０００は、第２デバイス２０００の入力方法が変更された場合、変更された入力方法を第１ユーザに知らせる。また、第１デバイス１０００は、第２デバイス２０００の出力方法が変更された場合、第１デバイス１０００は、変更された出力方法を第１ユーザに知らせる。

段階Ｓ３５７０において、第１デバイス１０００は、第１デバイス１０００の通話モードの変更を勧めることができる。その場合、第１デバイス１０００は、第２デバイス２０００の混合モードでの入出力機能がいかように変更されたかということにより、第１デバイス１０００の通話モードをユーザに勧めることができる。

また、第１デバイス１０００は、第２デバイス２０００の入力方法が変更された場合、音声／文字通話を行うための、第１デバイス１０００の入力方法を勧めることができる。また、第１デバイス１０００は、第２デバイス２０００の入力方法が変更された場合、音声／文字通話を行うための、第１デバイス１０００の出力方法を勧めることができる。

また、第１デバイス１０００は、第２デバイス２０００の出力方法が変更された場合、音声／文字通話を行うための、第１デバイス１０００の入力方法を勧めることができる。また、第１デバイス１０００は、第２デバイス２０００の出力方法が変更された場合、音声／文字通話を行うための、第１デバイス１０００の出力方法を勧めることができる。

図３６は、一実施形態による、第１デバイス１０００が第１ユーザに、音声モードから文字モードへの通話モード変更を勧める一例を図示した図面である。図３６を参照すれば、第１デバイス１０００は、音声モードで動作しながら、音声／文字通話を行うことができ、第２デバイス２０００の通話モードが、音声モードから文字モードに変更されれば、第１デバイス１０００は、第１デバイス１０００のスピーカを介して、「相手方の通話モードが音声モードから文字モードに変更されました。文字モードに変更しますか？」という音声を出力することができる。

また、第１ユーザは、第１デバイス１０００を第１ユーザの顔から離隔させ、それにより、第１デバイス１０００は、通話モードを音声モードから文字モードに変更することができる。

図３７は、一実施形態による、第１デバイス１０００が、第１ユーザに、文字モードから音声モードへの通話モード変更を勧める一例を図示した図面である。図３７を参照すれば、第１デバイス１０００は、文字モードで動作しながら、音声／文字通話を行うことができ、第２デバイス２０００の通話モードが、文字モードから音声モードに変更されれば、第１デバイス１０００は、第１デバイス１０００の画面上にディスプレイされたチャットウィンドウ内に、「相手方の通話モードが文字モードから音声モードに変更されました。音声モードに変更しますか」というテキストを表示することができる。

また、第１ユーザは、第１デバイス１０００を第１ユーザの顔に近接させることができ、それにより、第１デバイス１０００は、通話モードを、文字モードから音声モードに変更することができる。

図３８は、一実施形態による、第１デバイス１０００が音声／文字通話の通話リストを生成する方法のフローチャートである。

段階Ｓ３８００において、第１デバイス１０００は、第１デバイス１０００と音声／文字通話を行った第２デバイス２０００のデバイス情報を獲得することができる。第１デバイス１０００は、例えば、第２デバイス２０００のＳＳＩＤ（service set identifier）、第２デバイス２０００の電話番号、第２デバイス２０００の第２ユーザの氏名、及び第２デバイス２０００の種類などについての情報を獲得することができる。

段階Ｓ３８１０において第１デバイス１０００は、第２デバイス２０００との通話時間についての情報を獲得することができる。第１デバイス１０００は、例えば、第１デバイス１０００及び第２デバイス２０００が、音声／文字通話を始めた時刻、第１デバイス１０００及び第２デバイス２０００が、音声／文字通話を終了した時刻、及び第１デバイス１０００及び第２デバイス２０００が、音声／文字通話を行った時間についての情報を獲得することができる。

段階Ｓ３８２０において、第１デバイス１０００は、第１デバイス１０００の通話位置についての情報を獲得することができる。第１デバイス１０００は、第２デバイス２０００と音声／文字通話を行ったときの第１デバイス１０００の位置についての情報を獲得することができる。

段階Ｓ３８３０において、第１デバイス１０００は、音声／文字通話時に生成されたチャットウィンドウ内のテキスト情報をバックアップすることができる。第１デバイス１０００は、チャットウィンドウ内において、第１ユーザと第２ユーザとの対話内容を示すテキストをバックアップすることができる。該テキストは、第１デバイス１０００またはサーバにバックアップされる。

また、第１デバイス１０００は、所定のイベントが発生する以前の既設定時間の間に獲得されたテキストをバックアップすることができる。所定のイベントは、例えば、第１デバイス１０００と第２デバイス２０００との通話終了、またはテキストバックアップのためのユーザ入力受信などを含んでもよい。例えば、第１デバイス１０００と第２デバイス２０００との通話が終われば、第１デバイス１０００は、通話が終わる前の５分間、第１デバイス１０００によって獲得されたテキストをバックアップすることができる。例えば、第１デバイス１０００は、テキストをバックアップするためのユーザ入力を受信すれば、ユーザ入力が受信される前の３分間、第１デバイス１０００によって獲得されたテキストをバックアップすることができる。しかし、テキストバックアップのために設定された、イベントの種類及び時間値は、それらに制限されるものではない。

また、第１デバイス１０００は、第１ユーザと第２ユーザとの対話内容を示すテキストの一部を、第１デバイス１０００内にバックアップし、第１ユーザと第２ユーザとの対話内容を示すテキストの全部を、サーバ３０００にバックアップすることができる。

段階Ｓ３８４０において、第１デバイス１０００は、段階Ｓ３８００ないし段階Ｓ３８２０で獲得された情報に基づいて、通話リストを生成することができる。

段階Ｓ３８５０において、第１デバイス１０００は、生成された通話リストを、段階Ｓ３８３０でバックアップされたテキスト情報と関連づけて保存することができる。通話リストを、バックアップされたテキスト情報と関連させて保存されることにより、第１デバイス１０００は、通話リストに対するユーザ入力により、通話リストに対応する通話内容を第１ユーザに提供する。その場合、第１デバイス１０００は、通話リストにおいて第１ボタンが選択されれば、通話リストに対応する通話内容の一部を、まず第１デバイス１０００の画面上にディスプレイし、通話内容の一部が表示された画面内の第２ボタンが選択されれば、通話リストに対応する通話内容の全部を、第１デバイス１０００の画面上にディスプレイすることができる。

図３９は、一実施形態による、第１デバイス１０００の通話リストを介して、第１ユーザと第２ユーザとの対話を示すテキストをディスプレイする方法のフローチャートである。

段階Ｓ３９００において、第１デバイス１０００は、通話リストから第２デバイス２０００を選択することができる。第１デバイス１０００は、ユーザ入力に基づいて、通話リストから第２デバイス２０００の電話番号を選択するか、あるいは第２ユーザの氏名を選択することができる。

段階Ｓ３９１０において、第１デバイス１０００は、第２デバイス２０００が選択されることにより、第１ユーザと第２ユーザとの対話を示すテキストを、第１デバイス１０００の画面上にディスプレイすることができる。

図４０ないし図４２は、一実施形態による通話リストの一例を図示した図面である。

図４０を参照すれば、一実施形態による、第１デバイス１０００の画面上にディスプレイされた通話リストには、第２デバイス２０００の電話番号が表示される。また、第１ユーザは、特定通話に係わる対話内容を見るために、通話リスト内のボタン３５０を選択することができる。その場合、ユーザは、他のユーザとの対話履歴を見ることができる。

第１ユーザがボタン３５０を選択すれば、選択されたボタン３５０に対応する対話内容を示すテキストが、図４１のように、第１デバイス１０００の画面全体にディスプレイされる。その場合、対話内容を示すテキストは、対話の一部内容を示すテキストでもある。また、対話の一部内容を示すテキストは、第１デバイス１０００内に保存される。しかし、それに制限されるものではない。

さらに、図４１を参照すれば、対話の一部内容を示すテキストを含むウィンドウ内には、対話の全体内容を見るためのボタン４１０が表示される。また、ユーザがボタン４１０を押せば、第１デバイス１０００は、対話の全体内容を示すテキストを、第１デバイス１０００の画面上にディスプレイすることができる。その場合、対話の全体内容を示すテキストは、サーバ３０００に保存されており、第１デバイス１０００は、対話の全体内容を示すテキストを、サーバ３０００から受信してディスプレイすることができる。

また、第１ユーザがボタン３５０を選択すれば、選択されたボタン３５０に対応する対話内容を示すテキストを含むポップアップウィンドウが、図４２のように第１デバイス１０００の画面一部にディスプレイされる。

一方、第１ユーザがボタン３５０を選択すれば、選択されたボタン３５０に対応する対話の全体内容がディスプレイされる。しかし、それらに制限されるものではない。

図４３は、一実施形態による、第１デバイス１０００及び第２デバイス２０００がサーバ３０００を介して、音声／文字通話を行う例示を図示した図面である。図４３を参照すれば、第１デバイス１０００は、サーバ３０００を経由し、第２デバイス２０００と音声／文字通話を行うことができる。また、サーバ３０００は、音声／文字通話のために必要な、ＴＴＳ機能及びＳＴＴ機能を遂行することができる。例えば、サーバ３０００は、第１デバイス１０００で入力された第１ユーザの音声をテキストに変換し、第１デバイス１０００で入力された第１ユーザのテキストを音声に変換することができる。また、サーバ３０００は、第２デバイス２０００で入力された第２ユーザの音声をテキストに変換し、第２デバイス２０００で入力された第２ユーザのテキストを音声に変換することができる。

図４４は、一実施形態によるサーバ３０００が、第１ユーザ及び第２ユーザの音声をテキストに変換することにより、第１デバイス１０００と第２デバイス２０００との音声／文字通話を支援する方法のフローチャートである。

段階Ｓ４４００において、第１デバイス１０００及び第２デバイス２０００は、互いに通話連結される。第１デバイス１０００は、第２デバイス２０００に、通話連結のためのコールを伝送するか、あるいは第２デバイス２０００から通話連結のためのコールを受信することにより、第１デバイス１０００は、第２デバイス２０００と通話連結される。

段階Ｓ４４０５において、第１デバイス１０００は、音声／文字通話機能を活性化することができる。第１デバイス１０００は、ユーザ入力に基づいて、音声／文字通話機能を活性化することができる。段階Ｓ４４０５においては、第１デバイス１０００が第２デバイス２０００と通話連結された後、音声／文字通話機能を活性化すると説明したが、それに制限されるものではない。第１デバイス１０００は、例えば、発信時、受信時または通話中、音声／文字通話機能を活性化することができる。

段階Ｓ４４１０において、第２デバイス２０００は、音声／文字通話機能を活性化することができる。第２デバイス２０００は、ユーザ入力に基づいて、音声／文字通話機能を活性化することができる。段階Ｓ４４１０においては、第２デバイス２０００が第１デバイス１０００と通話連結された後、音声／文字通話機能を活性化すると説明したが、それに制限されるものではない。第２デバイス２０００は、例えば、発信時、受信時または通話中、音声／文字通話機能を活性化することができる。

段階Ｓ４４１５において、第１デバイス１０００は、第１ユーザの音声をサーバ３０００に伝送することができる。第１デバイス１０００は、第１デバイス１０００内のマイクロフォンを介して、第１ユーザの音声を獲得することができ、獲得された音声をサーバ３０００に伝送することができる。

また、段階Ｓ４４２０において、サーバ３０００は、第１ユーザの音声を第２デバイス２０００に伝送することができる。

段階Ｓ４４２５において、サーバ３０００は、第１ユーザの音声をテキストに変換することができる。サーバ３０００は、多様なＳＴＴ技術を利用して、第１ユーザの音声をテキストに変換することができる。

段階Ｓ４４３０において、サーバ３０００は、第１ユーザの音声から変換されたテキストを第２デバイス２０００に伝送し、段階Ｓ４４３５において、サーバ３０００は、第１ユーザの音声から変換されたテキストを、第１デバイス１０００に伝送することができる。

段階Ｓ４４４０において、第２デバイス２０００は、第２ユーザの音声をサーバ３０００に伝送することができる。第２デバイス２０００は、第２デバイス２０００内のマイクロフォンを介して、第２ユーザの音声を獲得することができ、獲得された音声をサーバ３０００に伝送することができる。

また、段階Ｓ４４４５において、サーバ３０００は、第２ユーザの音声を第１デバイス１０００に伝送することができる。

段階Ｓ４４５０において、サーバ３０００は、第２ユーザの音声をテキストに変換することができる。サーバ３０００は、多様なＳＴＴ技術を利用して、第２ユーザの音声をテキストに変換することができる。

段階Ｓ４４５５において、サーバ３０００は、第２ユーザの音声から変換されたテキストを第１デバイス１０００に伝送し、段階Ｓ４４６０において、サーバ３０００は、第２ユーザの音声から変換されたテキストを第２デバイス２０００に伝送することができる。

段階Ｓ４４６５において、第１デバイス１０００は、受信されたテキストを経時的に配列することができる。第１デバイス１０００は、例えば、第１ユーザの音声が第１デバイス１０００に入力された時刻、及び第２ユーザの音声が受信された時刻により、第１ユーザの音声から変換されたテキスト、及び第２ユーザの音声から変換されたテキストを配列することができる。また、例えば、第１デバイス１０００は、第１ユーザの音声が第１デバイス１０００に入力された時刻、及び第２ユーザの音声が第２デバイス２０００に入力された時刻により、第１ユーザの音声から変換されたテキスト、及び第２ユーザの音声から変換されたテキストを配列することができる。しかし、それらに制限されるものではない。

段階Ｓ４４７０において、第１デバイス１０００は、配列されたテキストを含むチャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。第１デバイス１０００は、音声／文字通話を行っている最中、チャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。また、第１デバイス１０００は、音声／文字通話の通話モードにより、チャットウィンドウを、第１デバイス１０００の画面上にディスプレイするか、あるいは第１デバイス１０００の画面上において、チャットウィンドウを隠すことができる。

段階Ｓ４４７５において、第２デバイス２０００は、受信されたテキストを経時的に配列することができる。第２デバイス２０００は、例えば、第２ユーザの音声が第２デバイス２０００に入力された時刻、及び第１ユーザの音声が受信された時刻により、第１ユーザの音声から変換されたテキスト、及び第２ユーザの音声から変換されたテキストを配列することができる。また、例えば、第２デバイス２０００は、第２ユーザの音声が第２デバイス２０００に入力された時刻、及び第１ユーザの音声が第１デバイス１０００に入力された時刻により、第１ユーザの音声から変換されたテキスト、及び第２ユーザの音声から変換されたテキストを配列することができる。しかし、それらに制限されるものではない。

段階Ｓ４４８０において、第２デバイス２０００は、配列されたテキストを含むチャットウィンドウを、第２デバイス２０００の画面上にディスプレイすることができる。第２デバイス２０００は、音声／文字通話を行っている最中、チャットウィンドウを、第２デバイス２０００の画面上にディスプレイすることができる。また、第２デバイス２０００は、音声／文字通話の通話モードにより、チャットウィンドウを、第２デバイス２０００の画面上にディスプレイするか、あるいは第２デバイス２０００の画面上において、チャットウィンドウを隠すことができる。

サーバ３０００は、第１デバイス１０００と第２デバイス２０００との連結を仲介する。従って、サーバ３０００は、必要によって、音声の対話及び文字の対話を行うことができる。また、サーバ３０００は、必要によって、テキストデータ及び音声データを保存する機能を遂行することができる。

図４５は、一実施形態による、サーバ３０００が第１ユーザ及び第２ユーザのテキストを音声に変換することにより、第１デバイス１０００と第２デバイス２０００との音声／文字通話を支援する方法のフローチャートである。

図４５の段階Ｓ４５００ないしＳ４５１０は、図４４の段階Ｓ４４００ないしＳ４４１０に対応するので、それについての説明は省略する。

段階Ｓ４５１５において、第１デバイス１０００は、第１ユーザによって入力されたテキストをサーバ３０００に伝送し、段階Ｓ４５２０において、サーバ３０００は、第１ユーザによって入力されたテキストを、第２デバイス２０００に伝送することができる。

段階Ｓ４５２５において、サーバ３０００は、第１ユーザから入力されたテキストを音声に変換することができる。サーバ３０００は、第１ユーザのユーザ情報（例えば、性別及び年齢）を考慮し、第１ユーザのテキストから変換された音声の音色を決定することができる。

段階Ｓ４５３０において、サーバ３０００は、第１ユーザのテキストから変換された音声を第２デバイス２０００に伝送し、段階Ｓ４５３５において、サーバ３０００は、第１ユーザのテキストから変換された音声を、第１デバイス１０００に伝送することができる。

段階Ｓ４５４０において、第２デバイス２０００は、第２ユーザによって入力されたテキストをサーバ３０００に伝送し、段階Ｓ４５４５において、サーバ３０００は、第２ユーザによって入力されたテキストを、第１デバイス１０００に伝送することができる。

段階Ｓ４５５０において、サーバ３０００は、第２ユーザから入力されたテキストを音声に変換することができる。サーバ３０００は、第２ユーザのユーザ情報（例えば、性別及び年齢）を考慮し、第２ユーザのテキストから変換された音声の音色を決定することができる。

段階Ｓ４５５５において、サーバ３０００は、第２ユーザのテキストから変換された音声を第１デバイス１０００に伝送し、段階Ｓ４５６０において、サーバ３０００は、第２ユーザのテキストから変換された音声を、第２デバイス２０００に伝送することができる。

段階Ｓ４５６５において、第１デバイス１０００は、第１ユーザと第２ユーザとの対話を示すチャットウィンドウを、第１デバイス１０００の状況によってディスプレイすることができる。例えば、第１デバイス１０００の通話モードが文字モードであるか、あるいは混合モードである場合、第１デバイス１０００は、第１ユーザと第２ユーザとの対話を示すチャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。

段階Ｓ４５７０において、第１デバイス１０００は、第２ユーザの音声を第１デバイス１０００の状況によって出力することができる。例えば、第１デバイス１０００の通話モードが音声モードであるか、あるいは混合モードである場合、第１デバイス１０００は、第２ユーザの音声を出力することができる。

段階Ｓ４５７５において、第２デバイス２０００は、第１ユーザと第２ユーザとの対話を示すチャットウィンドウを、第２デバイス２０００の状況によってディスプレイすることができる。例えば、第２デバイス２０００の通話モードが文字モードであるか、あるいは混合モードである場合、第２デバイス２０００は、第１ユーザと第２ユーザとの対話を示すチャットウィンドウを、第２デバイス２０００の画面上にディスプレイすることができる。

段階Ｓ４５８０において、第２デバイス２０００は、第１ユーザの音声を、第２デバイス２０００の状況によって出力することができる。例えば、第２デバイス２０００の通話モードが音声モードであるか、あるいは混合モードである場合、第２デバイス２０００は、第１ユーザの音声を出力することができる。

サーバ３０００は、第１デバイス１０００と第２デバイス２０００との連結を仲介する。従って、サーバ３０００は、必要によって、音声の対話及び文字の対話を遂行することができる。また、サーバ３０００は、必要によってテキスト及び音声データを保存する機能を遂行することができる。

図４６は、一実施形態による、サーバ３０００が第１デバイス１０００と第２デバイス２０００との音声／文字通話と係わる音声データ及びテキストデータを保存する方法のフローチャートである。

段階Ｓ４６００において、第１デバイス１０００は、第２デバイス２０００と音声／文字通話を行うことができる。第１デバイス１０００及び第２デバイス２０００は、音声／文字通話機能を活性化することができる。また、第１デバイス１０００及び第２デバイス２０００は、サーバ３０００を経由し、音声／文字通話を行うことができるが、それらに制限されるものではない。第１デバイス１０００は、第２デバイス２０００と直接音声／文字通話を行うこともできる。

段階Ｓ４６１０において、第１デバイス１０００は、ユーザ間の対話内容の一部を示すテキストを保存することができる。第１デバイス１０００は、第１ユーザによって第１デバイス１０００に入力された音声から変換されたテキスト、第２ユーザによって第２デバイス２０００に入力された音声から変換されたテキスト、第１ユーザによって第１デバイス１０００に入力されたテキスト、及び第２ユーザによって第２デバイス２０００に入力されたテキストを獲得することができる。

また、第１デバイス１０００は、ユーザ間の対話内容を示すテキストを、第１デバイス１０００、第２デバイス２０００及びサーバ３０００のうち少なくとも一つから獲得することができる。また、第１デバイス１０００は、獲得されたテキストのうち一部を第１デバイス１０００内に保存することができる。

段階Ｓ４６２０において、第１デバイス１０００は、ユーザ間の対話内容の全部を示すテキストをサーバ３０００に伝送し、段階Ｓ４６３０において、サーバ３０００は、ユーザ間の対話内容の全部を示すテキストを保存することができる。段階Ｓ４６２０及びＳ４６３０においては、サーバ３０００が、ユーザ間の対話内容の全部を示すテキストを第１デバイス１０００から受信して保存すると説明したが、それに制限されるものではない。サーバ３０００は、ユーザ間の対話内容の一部を示すテキストを第１デバイス１０００から受信し、ユーザが対話内容の他の一部を示すテキストを第２デバイス２０００から受信し、ユーザ間の対話内容のさらに他の一部を示すテキストを直接生成することができる。また、サーバ３０００は、第１デバイス１０００から受信されたテキスト、第２デバイス２０００から受信されたテキスト、及びサーバ３０００で生成されたテキストを組み合わせることにより、ユーザ間の対話内容の全部を示すテキストを獲得することもできる。

段階Ｓ４６４０において、第１デバイス１０００は、ユーザ間の対話内容の一部を示す音声データを保存することができる。第１デバイス１０００は、第１ユーザによって第１デバイス１０００に入力されたテキストから変換された音声データ、第２ユーザによって第２デバイス２０００に入力されたテキストから変換された音声データ、第１ユーザによって第１デバイス１０００に入力された音声データ、及び第２ユーザによって第２デバイス２０００に入力された音声データを獲得することができる。

また、第１デバイス１０００は、ユーザ間の対話内容を示す音声データを、第１デバイス１０００、第２デバイス２０００及びサーバ３０００のうち少なくとも一つから獲得することができる。また、第１デバイス１０００は、獲得された音声データのうち一部を、第１デバイス１０００内に保存することができる。

段階Ｓ４６５０において、第１デバイス１０００は、ユーザ間の対話内容の全部を示す音声データをサーバ３０００に伝送し、段階Ｓ４６６０において、サーバ３０００は、ユーザ間の対話内容の全部を示す音声データを保存することができる。段階Ｓ４６５０及びＳ４６６０においては、サーバ３０００がユーザ間の対話内容の全部を示す音声データを第１デバイス１０００から受信して保存すると説明したが、それに制限されるものではない。サーバ３０００は、ユーザ間の対話内容の一部を示す音声データを第１デバイス１０００から受信し、ユーザ間の対話内容の一部を示す音声データを第２デバイス２０００から受信し、ユーザ間の対話内容の一部を示す音声データを直接生成することができる。また、サーバ３０００は、第１デバイス１０００から受信された音声データ、第２デバイス２０００から受信された音声データ、及びサーバ３０００で生成された音声データを組み合わせることにより、ユーザ間の対話内容の全部を示す音声データを獲得することもできる。

図４７は、一実施形態による、第１デバイス１０００、第２デバイス２０００及び第３デバイス４０００が互いに音声／文字通話を行う例示を示す図面である。図４７を参照すれば、第１デバイス１０００、第２デバイス２０００及び第３デバイス４０００の間に音声／文字通話が行われる。例えば、第１デバイス１０００及び第２デバイス２０００が音声／文字通話を行っている最中、第３デバイス４０００が、第１デバイス１０００及び第２デバイス２０００の音声／文字通話に参与することができる。また、例えば、第１デバイス１０００、第２デバイス２０００及び第３デバイス４０００が、音声／文字通話を共に始めることができる。３個のデバイスが例示されたが、それらに制限されるものではなく、いかなる数のデバイスも、音声／文字通話に参与することができる。

第１デバイス１０００、第２デバイス２０００及び第３デバイス４０００の間に、音声／文字通話が行われる場合、ｉ）音声／文字通話を行うための第１デバイス１０００と第２デバイス２０００との動作、ｉｉ）音声／文字通話を行うための第１デバイス１０００と第３デバイス４０００との動作、及びｉｉｉ）音声／文字通話を行うための第２デバイス２０００と第３デバイス４０００との動作は、図１ないし図４２に図示された動作に対応する。

図４８は、一実施形態による、第１デバイス１０００、第２デバイス２０００及び第３デバイス４０００が、サーバ３０００を介して、互いに音声／文字通話を行う例示を示す図面である。図４８を参照すれば、第１デバイス１０００、第２デバイス２０００及び第３デバイス４０００が、サーバ３０００を介して、互いに音声／文字通話を行う場合、第１デバイス１０００に入力された音声、第２デバイス２０００に入力された音声、及び第３デバイス４０００に入力された音声の一部または全部が、サーバ３０００によってテキストに変換される。また、第１デバイス１０００に入力されたテキスト、第２デバイス２０００に入力されたテキスト、及び第３デバイス４０００に入力されたテキストの一部または全部が、サーバ３０００によって音声に変換される。

また、第１デバイス１０００、第２デバイス２０００及び第３デバイス４０００の間で、サーバ３０００を介して、音声／文字通話が行われる場合、ｉ）音声／文字通話を行うための第１デバイス１０００、第２デバイス２０００及びサーバ３０００の間の動作、ｉｉ）音声／文字通話を行うための第１デバイス１０００、第３デバイス４０００及びサーバ３０００の間の動作、及びｉｉｉ）音声／文字通話を行うための第２デバイス２０００、第３デバイス４０００及びサーバ３０００の間の動作は、図４３ないし図４６に図示された動作に対応する。

図４９及び図５０は、一実施形態による第１デバイス１０００のブロック図である。

図４９に図示されているように、一実施形態による第１デバイス１０００は、ユーザ入力部１１００、出力部１２００、制御部１３００及び通信部１５００を含んでもよい。しかし、図４９に図示された構成要素がいずれも第１デバイス１０００の必須構成要素であるものではない。図４９に図示された構成要素より多くの構成要素によって、第１デバイス１０００が具現されもし、図４９に図示された構成要素より少ない構成要素によって、第１デバイス１０００が具現されもする。

例えば、図５０に図示されているように、一実施形態による第１デバイス１０００は、ユーザ入力部１１００、出力部１２００、制御部１３００及び通信部１５００以外に、センシング部１４００、Ａ／Ｖ（audio/video）入力部１６００及びメモリ１７００をさらに含んでもよい。

ユーザ入力部１１００は、ユーザが第１デバイス１０００を制御するためのデータを入力する手段を意味する。例えば、ユーザ入力部１１００には、キーパッド（key pad）、ドームスイッチ（dome switch）、タッチパッド（接触式静電容量方式、圧力式抵抗膜方式、赤外線感知方式、表面超音波伝導方式、積分式張力測定方式、ピエゾ効果方式など）、ジョグホイール、ジョグスイッチなどがあるが、それらに限定されるものではない。

ユーザ入力部１１００は、音声／文字通話のためのユーザ入力を受信することができる。例えば、ユーザ入力部１１００は、ユーザの音声入力、ユーザの文字入力及びユーザのタッチ入力を受信することができる。

出力部１２００は、オーディオ信号またはビデオ信号または振動信号を出力することができ、出力部１２００は、ディスプレイ部１２１０、音響出力部１２２０及び振動モータ１２３０を含んでもよい。

ディスプレイ部１２１０は、第１デバイス１０００で処理される情報を表示出力することができる。例えば、ディスプレイ部１２１０は、音声／文字通話中、ユーザ間の対話内容を示すテキストを含むチャットウィンドウをディスプレイすることができる。

一方、ディスプレイ部１２１０とタッチパッドとがレイヤ構造をなし、タッチスクリーンとして構成される場合、ディスプレイ部１２１０は、出力装置以外に、入力装置としても使用される。ディスプレイ部１２１０は、液晶ディスプレイ（liquid crystal display）、薄膜トランジスタ液晶ディスプレイ（thin film transistor-liquid crystal display）、有機発光ダイオード（organic light-emitting diode）、フレキシブルディスプレイ（flexible display）、三次元ディスプレイ（３Ｄ display）、電気泳動ディスプレイ（electrophoretic display）のうち少なくとも一つを含んでもよい。そして、第１デバイス１０００の具現形態によって、第１デバイス１０００は、ディスプレイ部１２１０を２個以上含んでもよい。そのとき、２個以上のディスプレイ部１２１０は、ヒンジ（hinge）を利用して対向するように配置される。

音響出力部１２２０は、通信部１５００から受信されるか、あるいはメモリ１７００に保存されたオーディオデータを出力することができる。また、音響出力部１２２０は、第１デバイス１０００で遂行される機能（例えば、コール信号受信音、メッセージ受信音、アラーム音）と係わる音響信号を出力することができる。そのような音響出力部１２２０には、スピーカ、ブザー（buzzer）などが含まれてもよい。

振動モータ１２３０は、振動信号を出力することができる。例えば、振動モータ１２３０は、オーディオデータまたはビデオデータ（例えば、コール信号受信音、メッセージ受信音など）の出力に対応する振動信号を出力することができる。また、振動モータ１２３０は、タッチスクリーンにタッチが入力される場合、振動信号を出力することもできる。

制御部１３００は、一般的に、第１デバイス１０００の全般的な動作を制御することができる。例えば、制御部１３００は、メモリ１７００に保存されたプログラムを実行することにより、ユーザ入力部１１００、出力部１２００、センシング部１４００、通信部１５００、Ａ／Ｖ入力部１６００などを全般的に制御することができる。制御部１３００は、図１ないし図４９での第１デバイス１０００の動作を遂行するために、ユーザ入力部１１００、出力部１２００、センシング部１４００、通信部１５００、Ａ／Ｖ入力部１６００などを全般的に制御することができる。

具体的には、制御部１３００は、音声／文字通話機能を活性化することができる。制御部１３００は、第２デバイス２０００に電話を発信するとき、音声通話機能を活性化することができる。また、制御部１３００は、第２デバイス２０００から電話を受信するとき、音声通話機能を活性化することができる。また、制御部１３００は、第２デバイス２０００との通話中、音声／文字通話機能を活性化することができる。

また、音声／文字通話機能が活性化されることにより、制御部１３００は、第１デバイス１０００において、音声／文字通話機能が活性化されたということを、第２デバイス２０００に知らせる。その場合、制御部１３００は、第１デバイス１０００の音声／文字通話の通話モードを、第２デバイス２０００に知らせることもできる。音声／文字通話の通話モードについては、後述する。

また、制御部１３００は、第１デバイスのユーザと、第２デバイス２０００のユーザとの音声から変換されたテキストを、獲得することができる。制御部１３００は、第１デバイス１０００のユーザの音声をテキストに変換することにより、変換されたテキストを獲得することができる。また、制御部１３００は、通信部１５００を介して、第２デバイス２０００のユーザの音声を第２デバイス２０００から受信し、受信された音声をテキストに変換することにより、変換されたテキストを獲得することができる。しかし、第１デバイス１０００が変換されたテキストを獲得する方法は、それらに制限されるものではない。第１デバイス１０００のユーザの音声、及び第２デバイス２０００のユーザの音声は、多様な装置またはサーバによってテキストに変換され、第１デバイス１０００は、変換されたテキストを、通信部１５００を介して、多様な装置及びサーバから受信することができる。

また、制御部１３００は、ユーザによって入力されたテキストを獲得することができる。第１デバイス１０００は、音声／文字通話中、第１デバイス１０００のユーザから入力されたテキストを獲得することができる。また、制御部１３００は、音声／文字通話中、第２デバイス２０００のユーザから第２デバイス２０００に入力されたテキストを、第２デバイス２０００から受信することができる。

制御部１３００は、変換されたテキスト、及び入力されたテキストを経時的に配列し、ユーザとの通話中、第１デバイス１０００の画面上にディスプレイすることができる。制御部１３００は、音声及びテキストの入力時間に基づいて、変換されたテキスト、及び入力されたテキストを経時的に配列することができる。例えば、制御部１３００は、第１デバイス１０００のユーザが第１デバイス１０００に音声を入力した時間、第２デバイス２０００のユーザが第２デバイス２０００に音声を入力した時間、第１デバイス１０００のユーザが第１デバイス１０００にテキストを入力した時間、及び第２デバイス２０００のユーザが第２デバイス２０００にテキストを入力した時間に基づいて、第１デバイス１０００は、変換されたテキスト、及び入力されたテキストを配列することができる。

一方、制御部１３００は、第１ユーザと第２ユーザとの音声から変換されたテキストの原本音声データを、メモリ１７００またはサーバ２０００にバックアップすることができる。制御部１３００は、第１ユーザの音声から変換されたテキストに対応する第１ユーザの音声データをバックアップすることができる。また、制御部１３００は、第２ユーザの音声から変換されたテキストに対応する第２ユーザの音声データをバックアップすることができる。

また、制御部１３００は、第１ユーザと第２ユーザとの通話中、第１デバイス１０００の画面上にチャットウィンドウをディスプレイすることができる。制御部１３００は、第１ユーザと第２ユーザとの対話の内容を示すために、チャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。

制御部１３００は、チャットウィンドウを介して、第１ユーザから入力されたテキストを獲得することができる。また、制御部１３００は、音声／文字通話中、第２ユーザから第２デバイス２０００に入力されたテキストを、第２デバイス２０００から受信することができる。

また、制御部１３００は、変換されたテキスト、及び入力されたテキストを経時的に配列してチャットウィンドウ内に表示することができる。制御部１３００は、音声及びテキストの入力時間に基づいて、変換されたテキスト、及び入力されたテキストを経時的に配列することができる。例えば、制御部１３００は、第１ユーザが第１デバイス１０００に音声を入力した時間、第２ユーザが第２デバイス２０００に音声を入力した時間、第１ユーザが第１デバイス１０００にテキストを入力した時間、及び第２ユーザが第２デバイス２０００にテキストを入力した時間に基づいて、第１デバイス１０００は、変換されたテキスト、及び入力されたテキストを配列することができる。

また、制御部１３００は、変換されたテキストを、入力されたテキストと区別して表示することができる。制御部１３００は、第１ユーザの音声から変換されたテキスト、及び第２ユーザの音声に変換されたテキストを、第１ユーザから入力されたテキスト、及び第２ユーザから入力されたテキストと区別されるように表示することができる。

例えば、制御部１３００は、変換されたテキストを区別して表示するために、別途のアイコンを、変換されたテキストの周辺にディスプレイすることができる。また、例えば、制御部１３００は、変換されたテキストの色相、太さまたは書体などが区別されるように表示することができる。しかし、それらに制限されるものではない。

また、制御部１３００は、変換されたテキストが選択されれば、変換されたテキストの原本音声データを出力することができる。変換されたテキストが、チャットウィンドウ内で、第１ユーザによって選択されれば、制御部１３００は、選択されたテキストの原本音声データをメモリから抽出し、抽出された原本音声データを、第１デバイス１０００内のスピーカを介して出力することができる。

また、制御部１３００は、配列されたテキストのうち、所定のイベントが発生する以前の既設定時間の間に獲得されたテキストをバックアップすることができる。所定のイベントは、例えば、第１デバイス１０００と第２デバイス２０００との通話終了、またはテキストバックアップのためのユーザ入力受信などを含んでもよい。例えば、第１デバイス１０００と第２デバイス２０００との通話が終われば、制御部１３００は、通話が終わる前の５分間、第１デバイス１０００によって獲得されたテキストをバックアップすることができる。例えば、制御部１３００は、テキストをバックアップするためのユーザ入力を受信すれば、ユーザ入力が受信される前の３分間、第１デバイス１０００によって獲得されたテキストをバックアップすることができる。しかし、テキストバックアップのために設定された、イベントの種類及び時間値は、それらに制限されるものではない。

一方、制御部１３００は、配列されたテキスト全体をサーバ３０００にバックアップすることができる。その場合、制御部１３００は、配列されたテキストのうち一部を第１デバイス１０００内にバックアップし、配列されたテキストの全部をサーバ３０００にバックアップすることができる。また、制御部１３００は、配列されたテキストのうち一部テキスト、及び配列されたテキストの全体テキストをサーバ３０００に保存することもできる。

一方、制御部１３００は、配列されたテキスト全体を多様な自然語解釈方法を介して、ユーザ間の対話を分析することができ、配列されたテキストから、ユーザ間の主要対話内容を示す部分を抽出することができる。また、制御部１３００は、抽出された一部対話を示すテキストを、第１デバイス１０００内にバックアップすることができる。

一方、制御部１３００は、音声／文字通話機能を活性化し、音声／文字通話中に利用されるチャットアプリケーションを決定することができる。例えば、制御部１３００は、第１デバイス１０００の音声／文字通話機能と連動されて実行されるチャットアプリケーションを、音声／文字通話中に利用されるチャットアプリケーションとして決定することができる。また、例えば、制御部１３００は、第１デバイス１０００及び第２デバイス２０００のいずれにもインストールされたチャットアプリケーションを、音声／文字通話中に利用されるチャットアプリケーションとして決定することができる。しかし、それに制限されるものではない。

また、制御部１３００は、決定されたチャットアプリケーションを実行し、音声から変換されたテキストを、実行されたチャットアプリケーションに入力することができる。例えば、制御部１３００は、実行されたチャットアプリケーションに、テキスト自動入力のためのプラグインをインストールし、インストールされたプラグインを介して、チャットアプリケーションに、音声から変換されたテキストを入力することができる。しかし、それに制限されるものではない。

また、制御部１３００は、ユーザとの通話中、チャットウィンドウを、第１デバイス１０００の画面上にディスプレイすることができる。制御部１３００は、第１ユーザの音声から変換されたテキスト、第１ユーザによって第１デバイス１０００に入力されたテキスト、第２ユーザの音声から変換されたテキスト、及び第２ユーザによって第２デバイス２０００に入力されたテキストを、チャットウィンドウ内に配列することができる。

また、制御部１３００は、第１デバイス１０００の音声／文字通話の通話モードにより、チャットウィンドウを、第１デバイス１０００の画面上にディスプレイするか、あるいは第１デバイス１０００の画面上において、チャットウィンドウを隠すことができる。

一方、制御部１３００は、第１デバイス１０００及び第２デバイス２０００がチャットサービスを利用している最中、音声／文字通話を始めることができる。

また、制御部１３００は、音声／文字通話中、通話モードを変更することができる。通話モードは、音声モード、文字モード及び混合モードを含んでもよい。制御部１３００は、通話モードが変更されることにより、第１デバイス１０００のスピーカ及びマイクロフォンのうち少なくとも一つを活性化または非活性化することができる。また、制御部１３００は、通話モードが変更されることにより、音声／文字通話に利用されるチャットウィンドウを、第１デバイス１０００の画面上にディスプレイするか、あるいは隠すことができる。また、制御部１３００は、第２デバイス２０００の通話モードにより、ユーザの音声またはテキストを、選択的に第２デバイス２０００に提供する。

一方、制御部１３００は、第２デバイス２０００の通話モード変更を第１ユーザに知らせることができ、第１ユーザに通話モードの変更を勧めることができる。また、制御部１３００は、第２デバイス２０００の混合モードの入出力機能変更を第１ユーザに知らせ、第１ユーザに通話モードの変更を勧めることができる。

一方、制御部１３００は、チャットウィンドウ内のテキスト情報の一部または全部を第１デバイス１０００またはサーバ３０００にバックアップすることができる。また、一方、制御部１３００は、チャットウィンドウ内のテキスト情報を、通話リストと関連づけて保存することができる。

センシング部１４００は、第１デバイス１０００の状態、または第１デバイス１０００周辺の状態を感知し、感知された情報を制御部１３００に伝達することができる。

センシング部１４００は、地磁気センサ（magnetic sensor）１４１０、加速度センサ（acceleration sensor）１４２０、温度／湿度センサ１４３０、赤外線センサ１４４０、ジャイロスコープセンサ１４５０、位置センサ（例えば、ＧＰＳ（global position system））１４６０、気圧センサ１４７０、近接センサ１４８０、及びＲＧＢセンサ（illuminance sensor）１４９０のうち少なくとも一つを含んでもよいが、それらに限定されるものではない。各センサの機能は、その名称から当業者が直観的に推論することができるので、具体的な説明は省略する。

通信部１５００は、第１デバイス１０００が、第２デバイス２０００、第３デバイス４０００及びサーバ３０００のうち少なくとも一つと通信をするようにする１以上の構成要素を含んでもよい。例えば、通信部１５００は、近距離通信部（short-range wireless communication unit）１５１０、移動通信部１５２０、放送受信部１５３０を含んでもよい。

近距離通信部１５１は、ブルートゥース（登録商標）通信部、ＢＬＥ（Bluetooth low energy）通信部、近距離無線通信部（near field communication unit）、ＷＬＡＮ（wireless local area network）通信部、ジグビー（登録商標（Zigbee））通信部、赤外線（ＩｒＤＡ：infrared data association）通信部、ＷＦＤ（Ｗｉ−Ｆｉ direct）通信部、ＵＷＢ（ultra wideband）通信部、Ａｎｔ＋通信部などを含んでもよいが、それらに限定されるものではない。

移動通信部１５２０は、移動通信網上において、基地局、外部の端末、サーバのうち少なくとも一つと無線信号を送受信することができる。ここで、該無線信号は、音声コール信号、画像通話コール信号または文字／マルチメディアメッセージ送受信による多様な形態のデータを含んでもよい。

放送受信部１５３０は、放送チャネルを介して、外部から放送信号、及び／または放送係わる情報を受信することができる。該放送チャネルは、衛星チャネル、地上波チャネルを含んでもよい。一具現例によって、第１デバイス１０００が放送受信部１５３０を含まないこともある。

また、通信部１５００は、音声／文字通話を行うために必要な情報を、第１デバイス１０００が、第２デバイス２０００、第３デバイス４０００及びサーバ３０００のうち少なくとも一つと送受信することができる。

Ａ／Ｖ入力部１６００は、オーディオ信号またはビデオ信号の入力のためのものであり、それには、カメラ１６１０やマイクロフォンロホン１６２０などが含まれる。カメラ１６１０は、画像通話モードまたは撮影モードにおいて、イメージセンサを介して、静止映像または動画などの画像フレームを得ることができる。イメージセンサを介してキャプチャされたイメージは、制御部１３００または別途のイメージ処理部（図示せず）を介して処理される。

カメラ１６１０で処理された画像フレームは、メモリ１７００に保存されるか、あるいは通信部１５００を介して外部に伝送される。カメラ１６１０は、端末機の構成様態によって、２個以上が具備されてもよい。

マイクロフォンロホン１６２０は、外部の音響信号を入力され、電気的な音声データに処理することができる。例えば、マイクロフォンロホン１６２０は、外部デバイスまたは話者から音響信号を受信することができる。マイクロフォンロホン１６２０は、外部の音響信号を入力される過程で発生するノイズを除去するための多様なノイズ除去アルゴリズムを利用することができる。

メモリ１７００は、制御部１３００の処理及び制御のためのプログラムを保存することができ、第１デバイス１０００に入力されるか、あるいは第１デバイス１０００から出力されるデータを保存することもできる。

メモリ１７００は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＳＤメモリまたはＸＤメモリなど）、ＲＡＭ（random access memory）、ＳＲＡＭ（static random access memory）、ＲＯＭ（read only memory）、ＥＥＰＲＯＭ（electrically erasable and programmable read only memory）、ＰＲＯＭ（programmable read only memory）、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも１つのタイプの記録媒体を含んでもよい。

メモリ１７００に保存されたプログラムは、その機能によって複数個のモジュールに分類することができるのに、例えば、ＵＩ（user interface）モジュール１７１０、タッチスクリーンモジュール１７２０、アラームモジュール１７３０などに分類される。

ＵＩモジュール１７１０は、アプリケーション別に、第１デバイス１０００と連動される特化されたＵＩ、ＧＵＩ（graphic user interface）などを提供する。タッチスクリーンモジュール１７２０は、ユーザのタッチスクリーン上のタッチジェスチャを感知し、タッチジェスチャについての情報を制御部１３００に伝達することができる。一実施形態によるタッチスクリーンモジュール１７２０は、タッチコードを認識して分析することができる。タッチスクリーンモジュール１７２０は、コントローラを含む別途のハードウェアでも構成される。

タッチスクリーンのタッチまたは近接タッチを感知するために、タッチスクリーンの内部または近傍に多様なセンサが具備される。タッチスクリーンのタッチを感知するためのセンサの一例として、触覚センサがある。触覚センサは、人が感じるほど、あるいはそれ以上、特定物体の接触を感知するセンサをいう。触覚センサは、接触面の粗度、接触物体の硬度、接触地点の温度などの多様な情報を感知することができる。

また、タッチスクリーンのタッチを感知するためのセンサの一例として、近接センサがある。

該近接センサは、所定の検出面に接近する物体、あるいは近傍に存在する物体の有無を電子系の力または赤外線を利用して、機械的接触なしに検出するセンサをいう。近接センサの例としては、透過型光電センサ、直接反射型光電センサ、ミラー反射型光電センサ、高周波発振型近接センサ、静電容量型近接センサ、磁気型近接センサ、赤外線近接センサなどがある。ユーザのタッチジェスチャには、タップ、タッチ＆ホールド、ダブルタップ、ドラッグ、パンニング、フリック、ドラッグアンドドロップ、スワイプなどがある。

アラームモジュール１７３０は、第１デバイス１０００のイベント発生を知らせるための信号を発生させることができる。第１デバイス１０００で発生するイベントの例としては、コール信号受信、メッセージ受信、キー信号入力、日程通知などがある。アラームモジュール１７３０は、ディスプレイ部１２１０を介して、ビデオ信号形態でアラーム信号を出力することもでき、音響出力部１２２０を介して、オーディオ信号形態でアラーム信号を出力することもでき、振動モータ１２３０を介して、振動信号形態でアラーム信号を出力することもできる。

図５１は、一実施形態によるサーバ３０００のブロック図である。図５１を参照すれば、一実施形態によるサーバ３０００は、通信部３１００、制御部３２００及びＤＢ（database）３３００を含んでもよい。また、ＤＢ ３３００は、音声ＤＢ ３３１０、テキストＤＢ ３３２０及び通話リストＤＢ ３３３０を含んでもよい。

通信部３１００は、第１デバイス１０００、第２デバイス２０００及び第３デバイス４０００のうち少なくとも２以上間の音声／文字通話を行うために必要なデータを、第１デバイス１０００、第２デバイス２０００及び第３デバイス４０００のうち少なくとも２以上に伝送することができる。

制御部３２００は、一般的に、サーバ３０００の全般的な動作を制御することができる。例えば、制御部３２００は、ＤＢ ３３００に保存されたプログラムを実行することにより、サーバ３０００の全般的な動作を制御することができる。

具体的には、制御部３２００は、第１デバイス１０００から受信された第１ユーザのテキスト、及び第２デバイス２０００から受信された第２ユーザのテキストのうち少なくとも一つを音声に変換することができる。制御部３２００は、第１ユーザのユーザ情報（例えば、性別及び年齢）を考慮し、第１ユーザのテキストから変換された音声の音色を決定することができる。また、制御部３２００は、第２ユーザのユーザ情報（例えば、性別及び年齢）を考慮し、第２ユーザのテキストから変換された音声の音色を決定することができる。

また、制御部３２００は、通信部３１００を介して、第１ユーザのテキストから変換された音声を、第１デバイス１０００及び第２デバイス２０００のうち少なくとも一つに伝送することができる。また、制御部３２００は、通信部３１００を介して、第２ユーザのテキストから変換された音声を、第１デバイス１０００及び第２デバイス２０００のうち少なくとも一つに伝送することができる。

また、制御部３２００は、通信部３１００を介して、第１ユーザによって入力されたテキストを、第１デバイス１０００から受信することができ、受信されたテキストを、第２デバイス２０００に伝送することができる。また、制御部３２００は、通信部３１００を介して、第２ユーザによって入力されたテキストを、第２デバイス２０００から受信することができ、受信されたテキストを、第１デバイス１０００に伝送することができる。

一方、制御部３２００は、第１デバイス１０００から受信された第１ユーザの音声、及び第２デバイス２０００から受信された第２ユーザの音声のうち少なくとも一つをテキストに変換することができる。

また、制御部３２００は、通信部３１００を介して、第１ユーザの音声から変換されたテキストを、第１デバイス１０００及び第２デバイス２０００のうち少なくとも一つに伝送することができる。また、制御部３２００は、通信部３１００を介して、第２ユーザの音声から変換されたテキストを、第１デバイス１０００及び第２デバイス２０００のうち少なくとも一つに伝送することができる。

また、制御部３２００は、通信部３１００を介して、第１ユーザによって入力された音声を、第１デバイス１０００から受信することができ、受信された音声を、第２デバイス２０００に伝送することができる。また、制御部３２００は、通信部３１００を介して、第２ユーザによって入力された音声を、第２デバイス２０００から受信することができ、受信された音声を、第１デバイス１０００に伝送することができる。

一方、制御部３２００は、音声／文字通話を行うユーザ間の対話内容を示すテキストを保存することができる。制御部３２００は、音声／文字通話を行うユーザ間の対話内容の一部及び／または全部を示すテキストを保存することができる。制御部３２００は、第１ユーザによって第１デバイス１０００に入力された音声から変換されたテキスト、第２ユーザによって第２デバイス２０００に入力された音声から変換されたテキスト、第１ユーザによって第１デバイス１０００に入力されたテキスト、及び第２ユーザによって第２デバイス２０００に入力されたテキストを獲得することができる。

また、制御部３２００は、ユーザ間の対話内容を示すテキストを、第１デバイス１０００、第２デバイス２０００及びサーバ３０００のうち少なくとも一つから獲得することができる。また、制御部３２００は、獲得されたテキストのうち一部及び／または全部をＤＢ ３３００に保存することができる。

一方、制御部３２００は、音声／文字通話を行うユーザ間の対話内容を示す音声データを保存することができる。制御部３２００は、音声／文字通話を行うユーザ間の対話内容の一部及び／または全部を示す音声データを保存することができる。制御部３２００は、第１ユーザによって第１デバイス１０００に入力されたテキストから変換された音声データ、第２ユーザによって第２デバイス２０００に入力されたテキストから変換された音声データ、第１ユーザによって第１デバイス１０００に入力された音声データ、及び第２ユーザによって第２デバイス２０００に入力された音声データを獲得することができる。

また、制御部３２００は、ユーザ間の対話内容を示す音声データを、第１デバイス１０００、第２デバイス２０００及びサーバ３０００のうち少なくとも一つから獲得することができる。また、制御部３２００は、獲得された音声データのうち一部及び／または全部をＤＢ ３３００内に保存することができる。

一方、制御部３２００は、ユーザ間の音声／文字通話についての通話リストを生成することができる。また、制御部３２００は、保存されたテキスト及び音声データを、ユーザ間の音声／文字通話についての通話リストにマッチングすることができる。

ＤＢ ３３００は、第１デバイス１０００、第２デバイス２０００及び第３デバイス４０００のうち少なくとも２以上間の音声／文字通話のために必要なデータを保存することができる。

音声ＤＢ ３３１０は、ユーザの音声データを保存することができる。音声ＤＢ ３３１０は、ユーザによって入力された音声データ、及びユーザによって入力されたテキストから変換された音声データを保存することができる。また、音声ＤＢ ３３１０は、ユーザの音声データについての属性情報を保存することができる。音声データの属性情報は、ユーザによって入力された音声、及びユーザによって入力されたテキストから変換された音声を区別するための情報でもある。しかし、それらに制限されるものではない。

テキストＤＢ ３３２０は、ユーザのテキストを保存することができる。テキストＤＢ ３３２０は、ユーザによって入力されたテキスト、及びユーザによって入力された音声から変換されたテキストを保存することができる。また、テキストＤＢ ３３２０は、ユーザのテキストについての属性情報を保存することができる。テキストの属性情報は、ユーザによって入力されたテキスト、及びユーザによって入力された音声から変換されたテキストを区別するための情報でもある。しかし、それらに制限されるものではない。

通話リストＤＢ ３３３０は、ユーザ間の音声／文字通話についての通話リストを保存することができる。また、通話リストＤＢ ３３３０についての多様な情報を保存することができる。通話リストＤＢ ３３３０に保存されたデータは、音声ＤＢ ３３１０に保存されたデータ、及びテキストＤＢ ３３２０に保存されたデータと互いにマッチングされる。

一実施形態は、コンピュータによって実行されるプログラムモジュールのようなコンピュータによって実行可能な命令語を含む記録媒体の形態でも具現される。コンピュータ可読媒体は、コンピュータによってアクセスされる任意の可用媒体でもあり、揮発性媒体及び不揮発性媒体、分離型媒体及び非分離型媒体をいずれも含む。また、コンピュータ可読媒体は、コンピュータ記録媒体及びコンピュータ通信媒体をいずれも含んでもよい。該コンピュータ記録媒体は、コンピュータ可読命令語、データ構造、プログラムモジュール、またはその他データのような情報の保存のための任意の方法または技術によって具現された揮発性及び不揮発性、分離型及び非分離型の媒体をいずれも含む。該通信媒体は、典型的に、コンピュータ可読命令語、データ構造、プログラムモジュール、または搬送波のような変調されたデータ信号のその他データ、あるいはその他伝送メカニズムを含み、任意の情報伝達媒体を含む。

また、本明細書において、「部」は、プロセッサまたは回路のようなハードウェア構成（hardware component）、及び／またはプロセッサのようなハードウェア構成によって実行されるソフトウェア構成（software component）でもある。

前述の本発明の説明は、例示のためのものであり、本発明が属する技術分野の当業者であるならば、本発明の技術的思想や必須な特徴を変更せずとも、他の具体的な形態に容易に変形が可能であるということを理解することができるであろう。従って、以上で記述した実施形態は、全ての面で例示的なものであり、限定的ではないと理解されなければならない。例えば、単一型と説明されている各構成要素は、分散されて実施されもし、同様に、分散されていると説明されている構成要素も、結合された形態でも実施される。

本発明の範囲は、前述の説明よりは、特許請求の範囲によって示され、特許請求の範囲の意味、範囲及びその均等概念から導き出される全ての変更または変形された形態は、本発明の範囲に含まれるものであると解釈されなければならない。

以下、本願により教示される手段を例示的に列挙する。
（付記１）
外部モバイルデバイスと通話を行うモバイルデバイスにおいて、
前記モバイルデバイスと前記外部モバイルデバイスとの通話中、前記モバイルデバイスと前記外部モバイルデバイスとの間で送受信される音声デデータから変換されたテキストを獲得し、
前記モバイルデバイスに入力されたテキスト、及び前記外部モバイルデバイスから提供されたテキストを獲得する制御部と、
前記変換されたテキスト、前記入力されたテキスト、及び前記提供されたテキストを配列し、前記外部モバイルデバイスと前記モバイルデバイスとの通話中、前記モバイルデバイスの画面上にディスプレイするディスプレイ部と、を含むモバイルデバイス。
（付記２）
前記配列されたテキストは、経時的に配列され、
前記ディスプレイ部は、前記配列されたテキストを含むメッセージウィンドウを、前記モバイルデバイスの画面上にディスプレイすることを特徴とする付記１に記載のモバイルデバイス。
（付記３）
前記ディスプレイ部は、前記ディスプレイされたテキストのうち、前記音声から変換されたテキストを、前記入力されたテキストと区別されるように表示することを特徴とする付記１に記載のモバイルデバイス。
（付記４）
前記音声から変換されたテキストは、音声変換の信頼度によって、他の変換されたテキストと区別されるように表示されることを特徴とする付記３に記載のモバイルデバイス。
（付記５）
前記変換されたテキストが選択されることにより、前記変換されたテキストに対応する原本音声データを出力する音響出力部をさらに含むことを特徴とする付記３に記載のモバイルデバイス。
（付記６）
前記選択されたテキストは、文章、または文章内の単語であることを特徴とする付記５に記載のモバイルデバイス。
（付記７）
前記外部モバイルデバイスの前記通話中の出力方法が変更されることにより、前記変更された出力方法が、前記モバイルデバイスのユーザに知らされ、
前記出力方法は、音声だけ出力する方法、テキストだけ出力する方法、並びに音声及びテキストを共に出力する方法を含むことを特徴とする付記１に記載のモバイルデバイス。
（付記８）
音声、テキスト及び振動のうち少なくとも一つを利用して、前記変更された出力方法が、前記モバイルデバイスのユーザに知らされることを特徴とする付記７に記載のモバイルデバイス。
（付記９）
前記制御部は、前記外部モバイルデバイスの出力方法により、前記モバイルデバイスのユーザに、前記モバイルデバイスの前記通話の入力方法の変更を勧め、
前記入力方法は、音声だけ入力する方法、テキストだけ入力する方法、並びに音声及びテキストを共に入力する方法を含むことを特徴とする付記７に記載のモバイルデバイス。
（付記１０）
前記制御部は、前記外部モバイルデバイスとの通話履歴を含む通話リストと、前記配列されたテキストとを関連づけて保存することを特徴とする付記１に記載のモバイルデバイス。
（付記１１）
前記制御部は、前記配列されたテキストの一部を保存し、
前記配列されたテキストの一部は、前記音声／文字通話中、所定イベントが発生する以前の既設定時間の間に獲得されたテキストであることを特徴とする付記１０に記載のモバイルデバイス。
（付記１２）
モバイルデバイスが外部モバイルデバイスと通話を行う方法において、
前記モバイルデバイスと前記外部モバイルデバイスとの通話中、前記モバイルデバイスと前記外部モバイルデバイスとの間で送受信される音声から変換されたテキストを獲得する段階と、
前記モバイルデバイスに入力されたテキストを獲得する段階と、
前記外部モバイルデバイスから提供されたテキストを獲得する段階と、
前記変換されたテキスト、前記入力されたテキスト、及び前記提供されたテキストを配列し、前記通話中、前記モバイルデバイスの画面上にディスプレイする段階と、を含む方法。
（付記１３）
前記配列されたテキストは、経時的に配列され、
前記ディスプレイする段階は、前記配列されたテキストを含むメッセージウィンドウを、前記モバイルデバイスの画面上にディスプレイすることを特徴とする付記１２に記載の方法。
（付記１４）
モバイルデバイスにおいて、
送受信部と、
前記送受信部を制御することにより、外部モバイルデバイスと音声メッセージ通信セッションを形成するプロセッサと、を含むが、
前記音声メッセージ通信セッションは、前記モバイルデバイスと前記外部モバイルデバイスとの音声データ及びテキストデータの伝送及び受信を支援するモバイルデバイス。
（付記１５）
ディスプレイと、
ユーザから入力を受信してユーザに情報を出力する入出力部と、をさらに含み、
前記プロセッサは、前記ディスプレイが、前記外部モバイルデバイスから受信されたテキストデータをテキスト情報にディスプレイするように制御し、前記入出力部が、前記外部モバイルデバイスから受信された音声データをオーディオ情報に出力するように制御することを特徴とする付記１４に記載のモバイルデバイス。

米国特許出願公開第２００９／００４８８４５号明細書 特開２０１１−１０２８６２号公報 特開２００４−１９４１３２号公報

Claims (11)

1. 外部モバイルデバイスと通話を行うモバイルデバイスにおいて、
   インストラクションを保存するメモリと、
   ディスプレイと、
   前記保存されたインストラクションを行うプロセッサと、を含み、
   前記プロセッサは、
   前記モバイルデバイスと前記外部モバイルデバイスとの音声通話のためのアプリケーションを実行し、
   前記外部モバイルデバイスとの前記音声通話を実行する際に、ユーザの入力に基づいて前記外部モバイルデバイスとの音声−文字通話機能を活性化させ、前記モバイルデバイスと前記外部モバイルデバイスとの通話中、前記通話のために実行されたアプリケーションを通じて、前記外部モバイルデバイスとの前記音声通話からの音声データに基づいて生成された第１テキスト、前記モバイルデバイスに入力された第２テキスト及び前記外部モバイルデバイスから受信された第３テキストを獲得し、
   前記外部モバイルデバイスと前記モバイルデバイスとの音声通話中、前記音声通話のために実行されたアプリケーションを通じて、前記モバイルデバイスの画面上に第１テキスト、第２テキスト及び第３テキストをディスプレイし、
   前記外部モバイルデバイスと遂行中である音声通話からの音声データは、前記モバイルデバイスから前記外部モバイルデバイスに送信された音声データ、及び前記外部モバイルデバイスから前記モバイルデバイスによって受信された音声データを含み、
   前記モバイルデバイスと前記外部モバイルデバイスとの音声通話中、前記第１テキストが選択された場合に前記第１テキストに対応する原本音声データを出力することにより、前記モバイルデバイスによって受信された音声データは、前記モバイルデバイスで前記音声通話のために実行された前記アプリケーションによって提供されることを特徴とするモバイルデバイス。
2. 第１テキスト、第２テキスト及び第３テキストは、第１テキスト、第２テキスト及び第３テキストが受信された順序によって経時的に配列されることを特徴とする請求項１に記載のモバイルデバイス。
3. 前記プロセッサは、前記インストラクションを行うことで、前記配列された前記第１テキスト、前記第２テキスト及び前記第３テキストを含むチャットウィンドウをディスプレイすることを特徴とする請求項２に記載のモバイルデバイス。
4. 前記プロセッサは、前記インストラクションを行うことで、前記第１テキストの音声変換の信頼度によって、前記第１テキストの信頼度をディスプレイすることを特徴とする請求項１に記載のモバイルデバイス。
5. 前記選択された第１テキストは、文章、または文章内の単語であることを特徴とする請求項１に記載のモバイルデバイス。
6. 前記外部モバイルデバイスの前記音声通話中の出力方法が変更されることにより、前記変更された出力方法が、前記モバイルデバイスのユーザに知らされ、
   前記出力方法は、音声だけ出力する方法、テキストだけ出力する方法、並びに音声及びテキストを共に出力する方法を含むことを特徴とする請求項１に記載のモバイルデバイス。
7. 音声、テキスト及び振動のうち少なくとも一つを利用して、前記変更された出力方法が、前記モバイルデバイスのユーザに知らされることを特徴とする請求項６に記載のモバイルデバイス。
8. 前記第２テキストは、前記モバイルデバイスのユーザインターフェースを通じて前記モバイルデバイスに入力されることを特徴とする請求項１に記載のモバイルデバイス。
9. 前記プロセッサは、前記インストラクションを行うことで、前記外部モバイルデバイスとの音声通話履歴を含む音声通話リストと、前記第１テキスト、第２テキスト及び第３テキストを関連づけて保存することを特徴とする請求項１に記載のモバイルデバイス。
10. モバイルデバイスが外部モバイルデバイスと通話を行う方法において、
    前記モバイルデバイスと前記外部モバイルデバイスとの音声通話のためのアプリケーションを実行する段階と、
    前記外部モバイルデバイスとの音声通話を開始する際に、ユーザの入力に基づいて前記外部モバイルデバイスとの音声−文字通話機能を活性化させ、前記モバイルデバイスと前記外部モバイルデバイスとの音声通話中、前記音声通話のために実行されたアプリケーションを通じて、前記外部モバイルデバイスとの前記音声通話からの音声データに基づいて生成された第１テキストを獲得する段階と、
    前記モバイルデバイスに入力された第２テキストを獲得する段階と、
    前記外部モバイルデバイスから提供された第３テキストを獲得する段階と、
    前記音声通話中、前記音声通話のために実行されたアプリケーションを通じて、前記モバイルデバイスの画面上に第１テキスト、第２テキスト及び第３テキストをディスプレイする段階と、を含み、
    前記音声通話からの音声データは、前記モバイルデバイスから前記外部モバイルデバイスに送信された音声データ、及び前記外部モバイルデバイスから前記モバイルデバイスによって受信された音声データを含み、
    前記モバイルデバイスと前記外部モバイルデバイスとの音声通話中、前記第１テキストが選択された場合に前記第１テキストに対応する原本音声データを出力することにより、前記モバイルデバイスによって受信された音声データは、前記モバイルデバイスで前記音声通話のために実行された前記アプリケーションによって提供されることを特徴とする方法。
11. 第１テキスト、第２テキスト及び第３テキストは、第１テキスト、第２テキスト及び第３テキストが受信された順序によって経時的に配列されることを特徴とする請求項１０に記載の方法。

Images