JP5508605B1 - 通信制御システム、通信制御方法、通信制御プログラム、端末、及び端末用プログラム - Google Patents

Abstract

一実施形態に係る通信制御システムは、送信端末と受信端末との間の通信を制御する通信制御システムであって、音声信号又は映像信号である送信信号を送信端末から受信端末に送信する信号送信部と、送信信号のうち受信端末において受信された信号である到達信号を特定する応答情報を受信端末から取得する取得部と、送信信号と応答情報とに基づいて、到達信号、又は送信信号のうち受信端末において受信されなかった信号である欠落信号を特定する特定部と、到達信号又は欠落信号を識別可能な受信状況識別情報を送信端末に表示する表示部と、を備える。

Description

本発明の一側面は、通信制御システム、通信制御方法、通信制御プログラム、端末、及び端末用プログラムに関する。

従来から、通信回線を介して送信端末から受信端末へ音声信号又は映像信号を送信することにより通信を実現する通信制御システムが提供されている。しかし、通信状況によっては、送信端末と受信端末との間の通信経路において音声信号又は映像信号の一部又は全体が欠落し、当該音声信号又は映像信号が受信端末に到達しない場合がある。

このような送信端末と受信端末との間の通信の不具合をユーザに通知するためのシステムとして、例えば特許文献１に記載の通信システムが知られている。この通信システムは、電波状態を監視する電波状態監視部と、基地局の異常を監視する異常状態監視部と、電波状態の異常または基地局の異常をメッセージとして送信し、携帯端末からのメッセージを中継するメッセージ送受信部と、を含む基地局と、電波状態を監視する電波状態監視部と、端末の異常を監視する異常状態監視部と、電波状態の異常または／および端末の異常をメッセージとして送信し、基地局からのメッセージを受信可能なメッセージ送受信部と、メッセージを音声に変換し出力する音声処理部と、を含む端末とを備えて構成されている。この通信システムでは、通話切断等の不具合が生じた際に、その不具合の原因が電波障害、端末の異常、及び基地局の異常の何れかであるかを示すメッセージを端末に送信することにより、ユーザに不具合の理由を認識させることを可能としている。

特開２００７−３００２３２号公報

ところで、送信端末と受信端末との間において送信信号の一部が欠落することにより受信端末で音声又は映像の一部が途切れた場合には、例えば、送信端末のユーザが欠落した一部の音声又は映像を再送信する等の対応が必要となる。しかし、特許文献１に記載のシステムでは、送信された音声又は映像のうち、どこまでが受信端末に到達したかを送信端末のユーザが把握することができないので、送信端末のユーザと受信端末のユーザの間における意思疎通を円滑に進めることができない場合がある。

そこで、送信端末のユーザと受信端末のユーザとの間において意思疎通を円滑に進めることができる通信制御システムが要請されている。

本発明の一側面に係る端末は、音声信号及び映像信号の少なくとも一方を含む送信信号を他の端末に送信する信号送信部と、送信信号を該送信信号の各部分を示す情報と関連付けて記憶部に格納する格納部と、送信信号のうち他の端末において受信された到達部分を示す応答情報を該他の端末から取得する取得部と、送信信号の各部分を示す情報と応答情報とに基づいて、送信信号のうち他の端末において受信されなかった欠落部分を識別可能な態様で、送信信号により伝達される情報を時系列に沿って表示する表示部と、を備える。

この端末では、送信信号の各部分を示す情報と応答情報とに基づいて、送信信号のうち他の端末において受信されなかった欠落部分を識別可能な態様で、送信信号により伝達される情報を時系列に沿って表示する。このため、送信した音声信号又は映像信号がどのように他の端末のユーザに伝わったかを把握することができる。したがって、本端末によれば、他の端末のユーザとの間において意思疎通を円滑に進めることができる。

一形態では、送信信号に音声信号が含まれる場合に、表示部は、音声信号から生成される文字列を表示してもよい。

一形態では、送信信号に映像信号が含まれる場合に、表示部は、映像信号から生成されるフレーム画像を時系列に沿って表示してもよい。

一形態では、端末のユーザにより時刻が指定された場合に、表示部は、時刻に対応する映像信号のフレーム画像を表示してもよい。

一形態では、信号送信部は、欠落部分の信号を他の端末に再送してもよい。

一形態では、欠落部分の信号により伝達される情報の量及び内容の少なくとも一方に基づいて欠落部分の重要度を算出する重要度算出部を更に備え、重要度が基準値よりも低い場合に、信号送信部は、欠落部分の信号を他の端末に再送しないようにしてもよい。

一形態では、信号送信部は、欠落部分を含む所定の区間内の信号を他の端末に再送してもよい。

一形態では、送信信号に音声信号が含まれる場合に、欠落部分の音声信号から生成される文字列を他の端末に送信してもよい。

一形態では、端末のユーザにより要求された場合に、信号送信部は、欠落部分の信号を他の端末に再送してもよい。

一側面に係る通信制御方法は、他の端末との間で通信を行う端末による通信制御方法であって、音声信号及び映像信号の少なくとも一方を含む送信信号を他の端末に送信する信号送信ステップと、送信信号を該送信信号の各部分を示す情報と関連付けて記憶部に格納する格納ステップと、送信信号のうち他の端末において受信された到達部分を示す応答情報を該他の端末から取得する取得ステップと、送信信号の各部分を示す情報と応答情報とに基づいて、送信信号のうち他の端末において受信されなかった欠落部分を識別可能な態様で、送信信号により伝達される情報を時系列に沿って表示する表示ステップと、を含む。

一側面に係る端末用プログラムは、端末を、音声信号及び映像信号の少なくとも一方を含む送信信号を他の端末に送信する信号送信部と、前記送信信号を該送信信号の各部分を示す情報と関連付けて記憶部に格納する格納部と、前記送信信号のうち前記他の端末において受信された到達部分を示す応答情報を該他の端末から取得する取得部と、前記送信信号の各部分を示す情報と前記応答情報とに基づいて、前記送信信号のうち前記他の端末において受信されなかった欠落部分を識別可能な態様で、前記送信信号により伝達される情報を時系列に沿って表示する表示部と、として機能させる。

本発明の一側面によれば、送信端末のユーザと受信端末のユーザとの間において意思疎通を円滑に進めることができる。

実施形態に係る通信制御システムの全体構成を示す図である。 実施形態に係る端末のハードウェア構成を示す図である。 実施形態に係る通信制御システムの機能構成を示すブロック図である。 端末の表示部に表示される画面の一例を示す図である。 端末の表示部に表示される画面の別の一例を示す図である。 端末の表示部に表示される画面の別の一例を示す図である。 実施形態に係る通信制御システムの動作を示すシーケンス図である。 実施形態に係る通信制御プログラム及び端末用プログラムの構成を示す図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

一般的に通信回線を介した複数の端末間における映像通話では、各端末の表示部に通話相手の端末のユーザの映像が表示されると共に、各端末のスピーカーから通話相手の端末ユーザが発した音声が出力される。この際に、通信回線の不具合等により送信端末から受信端末に送信される音声信号又は映像信号が欠落すると、受信端末において映像又は音声が途切れることがある。この場合には、送信端末のユーザは、自分の映像又は音声が受信端末にどこまで届いているかを把握することができないので、場合によっては受信端末に到達した部分も含めて映像又は音声を再送信する必要がある。

このような課題を解決するために、通信制御システム１は、送信端末からの音声信号又は映像信号の受信端末における受信状況を、送信端末の表示部に表示する。以下に、このような機能を実現する通信制御システム１について詳細に説明する。

通信制御システム１は、通信回線を介して送信端末と受信端末との間の通信を実現するためのコンピュータシステムである。例えば、この通信制御システム１は、通信回線を介した音声通話又は映像通話に用いることができる。

図１は、一実施形態に係る通信制御システムの全体構成を示す図である。通信制御システム１は、端末（送信端末）１０ａと端末（受信端末）１０ｂがネットワークＮを介して互いに接続されて構成されている。以下では、端末１０ａと端末１０ｂを区別する必要がない場合には、端末１０ａと端末１０ｂをまとめて端末１０という。ネットワークＮは、例えば有線または無線の汎用回線または専用回線等である。図１においては、ネットワークＮには２つの端末１０が接続されているが、複数の端末１０が接続されている限り、端末の数は限定されない。

次に、一実施形態に係る端末１０について説明しつつ、一実施形態に係るシステム１の構成について説明する。端末１０ａ及び端末１０ｂは、それぞれのユーザから入力された音声又は動作に基づいて生成された音声信号又は映像信号を互いに送受信する通信端末である。以下では、音声信号又は映像信号を送信する端末を送信端末とし、送信端末から音声信号又は映像信号を受信する端末を受信端末として説明する。なお、端末１０ａ、１０ｂは、同一の機能的構成を備えており、受信端末及び送信端末のいずれとしても機能しうる。端末１０は、例えば携帯型又は据置型のパーソナルコンピュータや各種の携帯端末等であるが、通信端末の種類は何ら限定されない。

この端末１０は、図２に示すように、オペレーティングシステムやアプリケーションプログラムなどを実行するＣＰＵ１０１、ＲＯＭ及びＲＡＭで構成される主記憶部１０２、メモリなどで構成される補助記憶部１０３、ネットワークＮを介してデータ通信を行う通信制御部１０４、文字・数字入力や実行指示を行うためのキーで構成される操作部１０５及び液晶表示装置などで構成されるモニタ１０６で構成される。端末１０の各機能は、ＣＰＵ１０１及び主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４を動作させるとともに、主記憶部１０２や補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。

図３は、一実施形態に係る端末１０の機能的構成を示すブロック図である。図１に示すように、端末１０は、入力部１２、信号送信部１４、格納部１６、記憶部１８、受信部２０、応答部２２、応答情報取得部２４、比較部（特定部）２５、表示部２６、及び音声出力部２８を備えている。

入力部１２は、端末１０ａのユーザが入力した音声又は動作から音声信号又は映像信号を生成する機能要素である。入力部１２は、例えばマイク、カメラ等であり、収集した音声又は動作を音声信号又は映像信号に変換する。ここで、音声信号は、例えばマイクにより収集したユーザの音声を表す音声波形である。映像信号は、例えばカメラにより撮像された時間的に連続したフレーム画像により構成される映像データである。以下では、音声信号又は映像信号をまとめて送信信号と称する。一実施形態においては、入力部１２は、送信信号を符号化した上で信号送信部１４に出力してもよい。

信号送信部１４は、入力部１２から送信信号を受け取ると、当該送信信号を他の端末、即ち受信端末に送信する。また、信号送信部１４は、受信端末に向けて送信した送信信号を格納部１６に出力する。格納部１６は、受信端末に向けて送信した送信信号を記憶部１８に格納する。一実施形態においては、格納部１６は、音声認識処理部を含んで構成され、信号送信部１４からの音声信号を音声認識処理により文字列に変換し、音声信号と文字列を関連付けて記憶してもよい。記憶部１８は、信号送信部１４から他の端末に向けて送信した送信信号を記憶する。一実施形態においては、記憶部１８は、送信信号に送信先端末及び送信開始時刻を関連付けて記憶してもよい。

受信部２０は、他の端末、即ち送信端末から送信された送信信号を受信する機能要素である。受信部２０は、送信端末から受信した送信信号のうち、映像信号を表示部２６に出力し、音声信号を音声出力部２８に出力する。一実施形態においては、受信部２０は、送信端末からの音声信号又は映像信号を復号化した上で、それぞれ表示部２６及び音声出力部２８に出力してもよい。表示部２６は、例えばディスプレイであり、受信部２０からの映像信号に応じた映像を表示する。音声出力部２８は、例えばスピーカーであり、受信部２０で受信した音声信号に応じた音声を出力する。

また、受信部２０は、送信端末から送信信号を受信すると、この送信信号を応答部２２に出力する。応答部２２は、送信端末から送信され、受信端末において受信された信号である到達信号を特定する応答情報を送信端末に送信する機能要素である。即ち、応答情報は、送信端末から送信された送信信号の受信端末における受信状況を示す情報であるともいえる。一実施形態においては、応答部２２は、受信した音声信号又は映像信号をそのまま送信端末に返送してもよい。この場合には、返送した音声信号又は映像信号が応答情報となる。

また、応答部２２は、音声信号又は映像信号をそのまま返送せずに、受信端末が受信した音声信号又は映像信号を特定しうる情報を送信してもよい。例えば応答部２２は、映像信号に含まれるフレーム画像のうち、受信端末が受信したフレーム画像のフレーム番号を送信してもよい。この場合には、このフレーム番号が応答情報となる。応答情報としてフレーム番号を送信することにより、映像信号そのものを返送する場合と比較して送信する応答情報のデータサイズを小さくすることが可能となる。さらには、応答部２２は、音声信号又は映像信号に含まれるパケット番号を送信してもよい。この場合には、このパケット番号が応答情報となる。この場合にも、音声信号又は映像信号そのものを返送する場合と比較して、送信する応答情報のデータサイズを小さくすることが可能となる。なお、応答情報は、受信した送信信号の送信開始時刻を含むものであってもよい。

応答情報取得部２４は、受信端末からの応答情報を取得する機能要素である。応答情報取得部２４は、受信端末から取得した応答情報を比較部２５に出力する。

比較部２５は、送信信号と応答情報とに基づいて到達信号又は送信信号のうち受信端末において受信されなかった信号である欠落信号を特定する機能要素であり、請求の範囲の特定部に相当する機能要素の一例である。比較部２５は、応答情報取得部２４から応答情報を受け取ると、例えば送信信号の送信先端末及び送信開始時刻を参照して、応答情報に対応する送信信号を記憶部１８から抽出する。そして、比較部２５は、抽出した送信信号と応答情報を比較することにより、送信端末から送信され、受信端末に到達しなかった部分の送信信号を欠落信号として抽出する。比較部２５は、到達信号又は欠落信号を識別可能な受信状況情報を生成し、表示部２６に出力する。表示部２６は、受信部２０からの映像信号に応じた映像と共に、受信状況識別情報を表示する。なお、比較部２５は、送信信号と応答情報を比較せずに、応答情報のみに基づいて到達信号を特定してもよい。また、比較部２５は、送信信号と応答情報との差分に基づいて到達信号又は欠落信号を特定してもよい。

図４〜６を参照して、比較部２５の機能及び表示部２６の表示画面について詳細に説明する。図４は、送信端末である端末１０の表示部２６に表示される画面の一例を示す図である。表示部２６に表示される画面４０内には、映像表示領域４２、音声受信状況表示領域４４、映像受信状況表示領域４６、及び再送ボタン４８が含まれている。映像表示領域４２には、受信部２０が受信した相手側の端末１０からの映像信号に応じた映像が表示される。例えば映像表示領域４２には、通話相手となる他の端末１０のユーザの映像が表示される。

音声受信状況表示領域４４には、受信端末の音声信号の受信状況を表す音声受信状況識別情報が表示される。音声受信状況識別情報は、音声に関する受信状況識別情報である。音声受信状況識別情報には、送信信号に対応する音声波形及び認識文字列が含まれている。以下、比較部２５による音声受信状況識別情報の生成方法について説明する。ここでは、送信側端末の記憶部１８には、音声波形が格納されており、送信端末の応答情報取得部２４は、受信端末から音声波形を応答情報として取得しているものとする。

比較部２５は、記憶部１８に格納された音声波形と、応答情報取得部２４により取得された音声波形を比較し、両者の一致部分及び不一致部分を特定する。この一致部分は欠落のない部分であり、不一致部分は送信信号が欠落した欠落部分である。そして、比較部２５は、欠落部分は振幅を有さず、欠落部分を除く部分は送信信号に対応する波形を有する音声波形を生成し、この音声波形を音声受信状況表示領域４４内に表示する。一実施形態においては、比較部２５は、記憶部１８に格納された文字列を取得し、この文字列を音声受信状況表示領域４４内に表示してもよい。図４に示す画面表示の例では、認識文字列が音声波形に対応付けられて音声受信状況表示領域４４内に表示されている。この例では、「こんにちはおげんきですか」という認識文字列のうち「は」と「で」の部分に相当する信号は受信端末に受信されなかった欠落信号であることを表している。このような音声受信状況識別情報は、送信信号の欠落のない部分に相当する到達信号と送信信号の欠落部分に相当する欠落信号とを識別可能な受信状況識別情報である。この受信状況識別情報により、送信端末のユーザは、入力した音声がどこまで受信端末において受信されているかを把握することができる。

なお、比較部２５は、欠落部分を細線で表し、欠落部分を除く部分を太線表した音声波形を生成してもよいし、欠落部分と欠落部分を除く部分とで色が異なる音声波形を生成してもよい。

また、音声受信状況表示領域４４には、音声波形ではなく、図５に示すように受信端末に到達した音声信号の音量を表示してもよい。図５に示す例では、音声信号の音量のうち、振幅のない部分が欠落信号に相当することを表している。

映像受信状況表示領域４６には、受信端末における映像信号の受信状況を示す情報が表示される。一実施形態においては、映像受信状況表示領域４６には、受信端末に到達した映像（到達映像信号）のフレーム画像が時系列に沿って順に表示される。この映像受信状況表示領域４６に表示されるフレーム画像は、送信信号の欠落のない部分に相当する到達信号と送信信号の欠落部分に相当する欠落信号とを識別可能な受信状況識別情報である。この受信状況識別情報により、送信端末のユーザは、入力した動作がどこまで受信端末において受信されているかを把握することができる。

また、再送ボタン４８は、比較部２５により抽出された送信信号の欠落部分に相当する欠落信号を再送するためのボタンである。ユーザが、マウスやタッチパネル等の操作手段により再送ボタン４８を選択すると、比較部２５は欠落信号を信号送信部１４に出力し、信号送信部１４が欠落信号を受信端末に送信する。この場合、信号送信部１４は送信端末のユーザの要求に応じて、欠落信号を受信端末に再送する再送部に相当する。

図６は、送信端末である端末１０の表示部２６に表示される画面の別の一例を示す図である。表示部２６に表示される画面５０内には、映像表示領域５２、音声受信状況表示領域５４、映像受信状況表示バー５６、及び映像受信状況表示領域６０が含まれている。映像表示領域５２及び音声受信状況表示領域５４の表示内容は、図４の映像表示領域４２及び音声受信状況表示領域４４とそれぞれ同じである。

映像受信状況表示バー５６は、映像信号の時間軸を表す情報である。映像受信状況表示バー５６は、例えば欠落部分を除く部分と欠落部分とが異なる色調で表され、欠落部分を認識できるように表されている。ユーザはカーソル５８を映像受信状況表示バー５６上の所定の位置を指定することにより、その位置に対応する時刻を指定することが可能である。映像受信状況表示バー５６は、ユーザが指定する時刻を取得する時刻取得部として機能する。一実施形態においては、ユーザが映像受信状況表示バー５６の欠落部分を除く部分にカーソルを合わせた場合には、その時刻に対応するフレーム画像が映像受信状況表示領域６０に表示される。一方、ユーザが映像受信状況表示バー５６の欠落部分にカーソルを合わせた場合には、受信状況表示領域６０にフレーム画像が表示されないようにしてもよい。これにより、送信側の端末１０のユーザは、受信側の端末１０に到達しなかったフレーム画像を容易に把握することができる。

次に、図７を用いて、図１に示す通信制御システム１の動作を説明すると共に、一実施形態に係る通信制御方法について説明する。図７は通信制御システム１の動作を示すシーケンス図である。以下では、端末１０ａを送信信号を送信する送信端末とし、端末１０ｂを送信信号を受信する受信端末として説明する。

まず、端末１０ａの入力部１２は、端末１０ａのユーザから音声又は動作を入力し（ステップＳ１）、入力した音声又は動作に応じた送信信号を生成する（ステップＳ２）。その後、信号送信部１４は、格納部１６を介して送信信号を記憶部１８に記憶した上で（ステップＳ３）、送信信号を端末１０ｂに送信する（ステップＳ４）。

端末１０ｂは、端末１０ａからの送信信号を受信して、音声信号に応じた音声を音声出力部２８から出力し、映像信号に応じた映像を表示部２６に表示する（ステップＳ５）。その後、端末１０ｂの応答部２２は、端末１０ａから受信した送信信号を特定する応答情報を生成し（ステップＳ６）、応答情報を端末１０ａに送信する（ステップＳ７）。

その後、端末１０ａの比較部２５は、記憶部１８に格納された送信信号と応答情報とを比較し（ステップＳ８）、その比較結果である受信状況識別情報を表示部２６に表示する（ステップＳ９）。一実施形態においては、端末１０ａの比較部２５は記憶部１８に格納された欠落部分と応答情報とを比較して、送信信号の欠落部分に相当する欠落信号を抽出し（ステップＳ１０）、欠落信号を端末１０ｂに送信する（ステップＳ１１）。端末１０ｂは、欠落信号に応じた音声を音声出力部２８から出力し、欠落信号に応じた映像を表示部２６に表示する（ステップＳ１２）。

ここで、一実施形態においては、端末１０ａは、ステップＳ１０において、欠落信号の重要度を算出し、この重要度が基準値よりも低い場合には、欠落信号を受信端末に再送しないようにしてもよい。欠落信号の重要度とは、欠落信号に相当する情報が通話の中で重要な情報であるか否かという観点から定まる値である。例えば端末１０ａは、欠落部分に相当する音声の文字数が所定の数（例えば５文字）以下である場合には、欠落信号を再送せず、欠落部分に相当する音声の文字数が所定の数（例えば５文字）よりも多い場合には、欠落信号を再送してもよい。欠落した音声の文字数が少ない場合には、欠落信号を送付しなくても端末１０ｂのユーザは送信された音声の内容を理解できると推測されるためである。また、一実施形態においては、欠落部分に相当する音声の文字数が所定の数（例えば５文字）以下であっても、その文字列が数値や場所に関する内容である場合には欠落部分に相当する欠落信号を送信することとしてもよい。数値や場所は重要度の高い情報であると考えられるためである。なお、文字列が数値や場所に関する内容であるか否かは、文字列の構文を解析することによりなされてもよい。

また、一実施形態においては、端末１０ａは欠落部分に相当する音声又は映像の時間が所定の時間以下である場合には欠落信号を再送せず、欠落部分に相当する音声又は映像の時間が所定の時間よりも長い場合には欠落信号を再送してもよい。

別の一実施形態においては、端末１０ａは欠落部分に相当する音声の音量が、所定の音量以下である場合には欠落信号を再送せず、欠落部分に相当する音声の音量が所定の音量よりも大きい場合には欠落信号を再送してもよい。更に、別の一実施形態においては、端末１０ａは欠落信号の送信先端末に応じて欠落信号を再送するか否かを決定してもよい。

また、端末１０ａは、欠落信号又は送信信号に基づいて送信信号に欠落信号を含む所定の区間を設定し、この所定の区間内の信号を前記受信端末に再送してもよい。例えば、欠落信号により欠落した情報が単語である場合には、端末１０ａは欠落した単語を含む文章全体や文節を再送の区間として設定し、この区間を再送してもよい。端末１０ｂに単語のみが送信されたとしても、端末１０ｂのユーザは、再送された情報が何を意味するかを理解することが困難な場合があるためである。具体的な一例として、送信信号に対応する音声が「次回の会議は３月８日です。場所はＡ会議室です。」であり、このうち「８日です。」及び「場所はＡ」という音声が欠落した場合には、端末１０ａは、「次回の会議は３月８日です。場所はＡ会議室です。」という文章全体を再送してもよい。別の一実施形態においては、端末１０ａは、欠落信号を含む音声波形の振幅が連続した部分を再送の区間として設定し、この区間を再送してもよい。また、端末１０ａは、欠落信号を音声認識処理により文字列に変換し、この文字列を端末１０ｂに送信してもよい。これによれば、受信端末のユーザは欠落部分の内容を容易に把握することができる。

次に、図８を用いて、上述した一連の処理をコンピュータ（例えば端末）に実行させるための通信制御プログラム及び端末用プログラムを説明する。図８は、実施形態に係る通信制御プログラムの構成を示す図である。なお、このプログラムを端末用に適用することにより端末を上記機能を有する端末１０として動作させることができる。

通信制御プログラムＰ１は、メインモジュールＰ２、入力モジュールＰ３、信号送信モジュールＰ４、格納モジュールＰ５、記憶モジュールＰ６、受信モジュールＰ７、応答モジュールＰ８、応答情報取得モジュールＰ９、比較モジュールＰ１０、表示モジュールＰ１１、音声表示モジュールＰ１２を備えている。

メインモジュールＰ２は、通信を統括的に制御する部分である。メインモジュールＰ２、入力モジュールＰ３、信号送信モジュールＰ４、格納モジュールＰ５、記憶モジュールＰ６、受信モジュールＰ７、応答モジュールＰ８、応答情報取得モジュールＰ９、比較モジュールＰ１０、表示モジュールＰ１１、音声表示モジュールＰ１２を実行することにより実現される機能はそれぞれ、上記の入力部１２、信号送信部１４、格納部１６、記憶部１８、受信部２０、応答部２２、応答情報取得部２４、比較部２５、表示部２６、及び音声出力部２８の機能と同様である。

通信制御プログラムＰ１は、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、半導体メモリ等の有形の記録媒体に記録された上で提供される。また、情報提供プログラムＰ１は、搬送波に重畳されたデータ信号としてネットワークＮを介して提供されてもよい。

以上説明したように、一実施形態に係る通信制御システム１では、端末１０ａから送信された送信信号と端末１０ｂから送信された応答情報とが比較され、その比較結果が端末１０ａの表示部に表示される。このため、端末１０ａのユーザは、送信した音声信号又は映像信号がどのように端末１０ｂのユーザに伝わったかを把握することができる。したがって、本通信制御システムによれば、端末１０ａのユーザと端末１０ｂのユーザとの間において意思疎通を円滑に進めることができる。

また、通信制御システム１では、音声認識処理による文字列を音声波形と対応付けて表示しているので、送信側の端末１０から送信した音声のうち、欠落した音声を容易に把握することができる。また、通信制御システム１では、送信端末から送信されて、受信端末により受信されなかった欠落信号を受信端末に送信しているので、複数の端末のユーザとの間において意思疎通を円滑に進めることができる。

加えて、通信制御システム１では、欠落部分の重要度に応じて欠落信号を受信端末に送信するか否かを決定しているので、重要度の低い欠落信号が送信されることが防止される。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

例えば、上述の通り、端末１０ａは、入力部１２、信号送信部１４、格納部１６、記憶部１８、受信部２０、応答部２２、応答情報取得部２４、比較部２５、表示部２６、及び音声出力部２８を備えているが、これらの各機能要素の一部は、端末１０とは別に設けられたサーバが備えていてもよい。

また、上記実施形態では、通信制御システム１は２台の端末１０ａ、１０ｂとの間で映像通話を行っているが、３以上の端末間で多者間映像通話を行ってもよい。この場合には、送信側の端末１０の表示部２６には、２以上の端末からの受信状況識別情報が表示されることになる。この際、例えば回線品質が悪く、送信信号に多くの欠落が発生している端末の受信状況識別情報を優先的に表示するようにしてもよい。

また、欠落信号を再送する場合には、一旦音声通話又は映像通話を停止する旨を表示部に表示し、欠落信号の再送が終了した後に音声通話又は映像通話を再開するようにしてもよい。なお、主に上記実施形態では、送信端末である端末１０ａから受信端末である端末１０ｂに音声信号又は映像信号を送信する一方向通信について説明したが、端末１０ａと端末１０ｂ間において音声信号又は映像信号を送受信しあう双方向通信にも適用することが可能である。

１…通信制御システム、１０，１０ａ，１０ｂ…端末、１２…入力部、１４…信号送信部、１６…格納部、１８…記憶部、２０…受信部、２２…応答部、２４…応答情報取得部、２５…比較部、２６…表示部、２８…音声出力部、Ｎ…ネットワーク、Ｐ１…情報提供プログラム、Ｐ１…通信制御プログラム、Ｐ１０…比較モジュール、Ｐ１１…表示モジュール、Ｐ１２…音声表示モジュール、Ｐ２…メインモジュール、Ｐ３…入力モジュール、Ｐ４…信号送信モジュール、Ｐ５…格納モジュール、Ｐ６…記憶モジュール、Ｐ７…受信モジュール、Ｐ８…応答モジュール、Ｐ９…応答情報取得モジュール。

Claims (11)

1. 音声信号及び映像信号の少なくとも一方を含む送信信号を他の端末に送信する信号送信部と、
   前記送信信号を該送信信号の各部分を示す情報と関連付けて記憶部に格納する格納部と、
   前記送信信号のうち前記他の端末において受信された到達部分を示す応答情報を該他の端末から取得する取得部と、
   前記送信信号の各部分を示す情報と前記応答情報とに基づいて、前記送信信号のうち前記他の端末において受信されなかった欠落部分を識別可能な態様で、前記送信信号により伝達される情報を時系列に沿って表示する表示部と、
   を備える端末。
2. 前記送信信号に音声信号が含まれる場合に、前記表示部は、前記音声信号から生成される文字列を表示する、
   請求項１に記載の端末。
3. 前記送信信号に映像信号が含まれる場合に、前記表示部は、前記映像信号から生成されるフレーム画像を時系列に沿って表示する、
   請求項１に記載の端末。
4. 前記端末のユーザにより時刻が指定された場合に、前記表示部は、前記時刻に対応する映像信号のフレーム画像を表示する、
   請求項３に記載の端末。
5. 前記信号送信部は、前記欠落部分の信号を前記他の端末に再送する、
   請求項１〜４の何れか一項に記載の端末。
6. 前記欠落部分の信号により伝達される情報の量及び内容の少なくとも一方に基づいて前記欠落部分の重要度を算出する重要度算出部を更に備え、
   前記重要度が基準値よりも低い場合に、前記信号送信部は、前記欠落部分の信号を前記他の端末に再送しない、
   請求項５に記載の端末。
7. 前記信号送信部は、前記欠落部分を含む所定の区間内の信号を前記他の端末に再送する、
   請求項５又は６に記載の端末。
8. 前記送信信号に音声信号が含まれる場合に、前記欠落部分の音声信号から生成される文字列を前記他の端末に送信する、
   請求項５〜７の何れか一項に記載の端末。
9. 前記端末のユーザにより要求された場合に、前記信号送信部は、前記欠落部分の信号を前記他の端末に再送する、
   請求項５に記載の端末。
10. 他の端末との間で通信を行う端末による通信制御方法であって、
    音声信号及び映像信号の少なくとも一方を含む送信信号を他の端末に送信する信号送信ステップと、
    前記送信信号を該送信信号の各部分を示す情報と関連付けて記憶部に格納する格納ステップと、
    前記送信信号のうち前記他の端末において受信された到達部分を示す応答情報を該他の端末から取得する取得ステップと、
    前記送信信号の各部分を示す情報と前記応答情報とに基づいて、前記送信信号のうち前記他の端末において受信されなかった欠落部分を識別可能な態様で、前記送信信号により伝達される情報を時系列に沿って表示する表示ステップと、
    を含む通信制御方法。
11. 端末を、
    音声信号及び映像信号の少なくとも一方を含む送信信号を他の端末に送信する信号送信部と、
    前記送信信号を該送信信号の各部分を示す情報と関連付けて記憶部に格納する格納部と、
    前記送信信号のうち前記他の端末において受信された到達部分を示す応答情報を該他の端末から取得する取得部と、
    前記送信信号の各部分を示す情報と前記応答情報とに基づいて、前記送信信号のうち前記他の端末において受信されなかった欠落部分を識別可能な態様で、前記送信信号により伝達される情報を時系列に沿って表示する表示部と、
    として機能させるための端末用プログラム。

Images