JP3568424B2 - 音声伝送方法、データ送信処理方法及びデータ送信処理プログラムを記録した記録媒体、並びにデータ受信処理方法及びデータ受信処理プログラムを記録した記録媒体 - Google Patents

音声伝送方法、データ送信処理方法及びデータ送信処理プログラムを記録した記録媒体、並びにデータ受信処理方法及びデータ受信処理プログラムを記録した記録媒体 Download PDF

Info

Publication number
JP3568424B2
JP3568424B2 JP20453399A JP20453399A JP3568424B2 JP 3568424 B2 JP3568424 B2 JP 3568424B2 JP 20453399 A JP20453399 A JP 20453399A JP 20453399 A JP20453399 A JP 20453399A JP 3568424 B2 JP3568424 B2 JP 3568424B2
Authority
JP
Japan
Prior art keywords
data
voice
utterance
transmitting
audio data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP20453399A
Other languages
English (en)
Other versions
JP2001036576A (ja
Inventor
悌之 清末
万知夫 森内
茂樹 正木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP20453399A priority Critical patent/JP3568424B2/ja
Priority to US09/610,613 priority patent/US7308080B1/en
Publication of JP2001036576A publication Critical patent/JP2001036576A/ja
Application granted granted Critical
Publication of JP3568424B2 publication Critical patent/JP3568424B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)
  • Bidirectional Digital Transmission (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、音声伝送方法、データ送信処理方法及びデータ送信処理プログラムを記録した記録媒体、並びにデータ受信処理方法及びデータ受信処理プログラムを記録した記録媒体に関するものである。
【0002】
本発明は、インターネットなどのコンピュータネットワークを介し、これに接続したパソコンなどの端末を用いて、音声による送受信を行うことで会話を行う装置に関わるものであり、特に、コンピュータネットワークの伝送遅延時間が比較的大きく、遅延が音声による会話に支障を来たす可能性がある場合に大きく関係する。また、コンピュータネットワークに接続されているサーバに一旦送信しミキシングなどの処理を施した後に、音声データを必要とする端末に送信する、多人数参加型の環境における音声送受信にも大きく関わる。
【0003】
【従来の技術】
従来は、音声データを送付することで、発話されたことを直接伝えていたので、バッファリングやネットワークトラフィックの変動などで音声データの到着が遅延した場合、発話しようとしたときに相手の音声データが到着するなど、使用感の点で使いやすいというわけではなかった。また、遅延を予め予測して会話することは、人間に多大なストレスを与えるため、使いやすいとは言えなかった。この原因になっているのは、音声データが比較的大きなデータであり、かつリアルタイム性を要求するために、非常に厳しい条件で送信しなければならないからであった。
【0004】
【発明が解決しようとする課題】
本発明は上記の事情に鑑みてなされたもので、音声データが届く前に発話するという行き違いがなくなり、会話をスムースに進めることができる音声伝送方法、データ送信処理方法及びデータ送信処理プログラムを記録した記録媒体、並びにデータ受信処理方法及びデータ受信処理プログラムを記録した記録媒体を提供することを目的とする。
【0005】
【課題を解決するための手段】
上記目的を達成するために本発明は、音声情報をリアルタイムに送受信して会話コミュニケーションを行う装置を用いた音声伝送方法において、送信装置が、音声データを送信する前に、発話されたことを示す音声データよりも短い発話データを送信し、その後に音声データを送信するとともに、受信装置が、前記発話データを受信すると、ブラウザ上の表示を変化させることにより、利用者に前記音声データの到着予測通知を行うことを特徴とする。
【0007】
また本発明は、前記音声伝送方法において、前記受信装置は、ブラウザ上で表示している対話者のアバタを、受信した前記発話データをもとに画像的に変化させることを特徴とする。
【0008】
また本発明のデータ送信処理方法は、音声データが入力されると発話データを生成し、発話データを発話データサーバへ送信する発話データ送信処理ステップと、発話データを発話データサーバへ送信して後、音声データの送信処理を行い、音声データを音声データサーバへ送信する音声データ送信処理ステップとを具備することを特徴とする。
【0009】
また本発明のデータ送信処理プログラムを記録した記録媒体は、音声データが入力されると発話データを生成し、発話データを発話データサーバへ送信する発話データ送信処理手順、発話データを発話データサーバへ送信して後、音声データの送信処理を行い、音声データを音声データサーバへ送信する音声データ送信処理手順をコンピュータに実行させるためのものである。
【0010】
また本発明のデータ受信処理方法は、音声データの送信より前に送信され、該音声データの送信を予告するデータである発話データを受信すると、前記音声データの到着予測通知を表示するブラウザ上の表示変化処理を行う発話データ受信処理ステップと、前記音声データを受信すると再生処理を行う音声データ受信処理ステップとを具備することを特徴とする。
【0011】
また本発明のデータ受信処理プログラムを記録した記録媒体は、音声データの送信より前に送信され、該音声データの送信を予告するデータである発話データを受信すると、前記音声データの到着予測通知を表示するブラウザ上の表示変化処理を行う発話データ受信処理手順、前記音声データを受信すると再生処理を行う音声データ受信処理手順をコンピュータに実行させるためのものである。
【0012】
尚、前記発話データは、音声データの送信を予告するデータ(信号)である。
【0013】
本発明では、コンピュータネットワークの伝送レートをあげることなく、また、特別なプロトコルを開発することなく、さらに、送受信装置のバッファリング機構を改造することなく、音声データの入力が開始されたことを、音声データの入力が終了するまで待つのではなく、入力開始時に、音声データの送信開始前の事前情報として、受信側の装置に送信する手段を提供するものである。
【0014】
本発明を用いることにより、発話データが事前に届くため、音声データが届く前に発話する、という行き違いがなくなり、会話をスムースに進めることができる。
【0015】
【発明の実施の形態】
以下図面を参照して本発明の実施形態例を詳細に説明する。
【0016】
サーバに複数台のクライアントが接続されている構成上で実現される場合の実施形態例について述べる。サーバと各クライアントはコンピュータネットワークで接続されている。サーバとクライアント間は電文(メッセージ)で情報をやり取りする。クライアントが送信するデータは一旦サーバに蓄積され、必要とするクライアントに送信される。例えば、発話する側と聞く側が別のチャネルにいる場合は、サーバは音声データを送信する必要はない。また、送信するクライアントが複数台存在する場合は、サーバで一旦受信した音声データをミキシングして、これを必要とする端末へ送信する。
【0017】
このような構成の場合、一旦サーバに蓄積することや、コンピュータネットワーク自体の遅延、サーバ上の処理によって、音声データの到着には遅延が生じる。この遅延による会話のスムーズな進行の妨害を避けるため、本発明を用いる。
【0018】
また、サーバを置かず、クライアント間でピアツーピア通信を行う場合でも、中間のコンピュータネットワークによる遅延がネグリジブルでないとき、本発明が効を奏することは言うまでもない。
【0019】
図1は本発明の実施形態例に係る電文シーケンスを示す説明図である。
【0020】
発話者が使用している送信側クライアントは、発話者が発話を開始したときにこれいをトリガとして、(1)ごく短い発話データをサーバに送信する。サーバは発話者のアバタと同じ仮想空間に存在する受信側クライアント(複数台)へ(2)発話データを送信する。受信側のクライアントは、これを受けてブラウザプログラム上で表示する。
【0021】
これらの処理を行っている間、送信側クライアントは(3)音声データをサーバに送信し、サーバは同一仮想空間内に存在する他の受信側クライアントに(4)音声データを送信する。受信側クライアントは受信した音声データをスピーカから出力する。
【0022】
受信側クライアントでは、到着した発話データをパソコンの画面上で表示する/しないを選択することができるようにする。表示する選択を行ったときは、画面上のブラウザウインドウのタスクバーなどに、音声データの到着予測通知を表示する。これによって、受信側クライアントを使用しているユーザは音声データの到着を待つ準備ができ、相手の音声データの到着前に発話(音声データ送信)をしてしまって、発話がぶつかってしまうことを避けることができる。
【0023】
受信側クライアント上で相手の発話データが到着したことを表示する方法としては、タスクバー上の表示以外にも、3次元仮想空間内の相手ユーザのアバタの形状を変化させて表示することがある。
【0024】
図2は本発明の実施形態例に係る発話データ到着時のアバタ変化を示し、(a)は発話データを受信していないとき、(b)は発話データを受信し、音声データを待っているとき、(c)は音声データを受信しおわったとき(元に戻る)を示している。
【0025】
ここでは、発話データを受信したときに、その発話データを送信した相手のアバタの形状を、挙手している状態に変化させ、これを全音声データの受信が終了するまで継続する。音声データが到着しおわったら、相手のアバタを元に戻す。受信が終了した時点で音声データは出力し終わっていない(鳴り終わっていない)ので、このタイミングでこちらから次の発話を行うことができる。
【0026】
送信側クライアントとサーバの間のデータのやりとりの実施形態例を、図3を用いてより詳細に説明する。
【0027】
サーバを機能別に分割し、発話データの集配信は、専用の発話データサーバが行い、音声データの集配信は音声データサーバが行う。この構成によって従来から音声データの集配信の機能が実現されている場合でも容易に機能追加ができる。
【0028】
図3のシーケンスにおいて、図2のように発話者のアバタ画像を変更して受信者に通知する場合、発話者は発話データに自己の識別情報をつけて送信する必要がある。
【0029】
尚、発話データ、音声データの集配信を1つのサーバで行う実現形態もあることはいうまでもない。
【0030】
以下、発話データの集配信を行う発話データサーバ、音声データの集配信を行う音声データサーバが、独立して設けられているときの送受信各々のクライアント上の処理について説明する。
【0031】
図4に送信側の処理のフローチャートを示す。
【0032】
送信側は、プログラム起動後に、常に音声データの入力を待つ状態に入る。音声データが入力されると、発話データを生成し、発話データサーバへ送信する。その後、音声データの送信処理を行う。音声データは音声データサーバへ送信する。
【0033】
音声データの送信処理とは、マイク等の入力装置から入力された音声(アナログデータ)の標本化、量子化、符号化、バッファへの格納を途切れずに行うことである。
【0034】
送信側クライアントで音声が入力され続ける限り送信処理は続けられる。入力が途切れたら、再び音声データ入力待ちの状態に戻る。
【0035】
次に、図5(a),(b)に受信側の処理のフローチャートを示す。
【0036】
図5(a)は発話データサーバから送られてくる発話データ受信処理のフローチャートである。
【0037】
図5(b)は音声データサーバから送られてくる音声データ受信処理のフローチャートである。
【0038】
発話データ受信処理と、音声データ受信処理は各々独立して待ちうけ状態を保持している。
【0039】
発話データ受信処理では、常に発話データ受信待ち状態になっており、発話データを受信したら、タスクバー上で表示を行うことや、3次元表示エリア上のアバタの形状を変化させたりするブラウザ上の表示変化処理を行う。表示が終了した後は、再び発話データ受信待ち状態に戻る。
【0040】
音声データ受信処理は、発話データ受信処理とは独立して行われ、常に音声データ受信待ち状態になっており、音声データを受信したら受信バッファへの格納とD/A(ディジタル/アナログ)変換による受信端末のスピーカ等への出力による再生処理が行われる。
【0041】
尚、データ送信処理方法及びデータ受信処理方法は、具体的にはパーソナルコンピュータ(PC)等のコンピュータにより、予め所定の記録媒体に記録されたデータ送信処理プログラム及びデータ受信処理プログラムに基づいて実行される。
【0042】
すなわち、データ送信処理プログラムを記録した記録媒体は、音声データが入力されると発話データを生成し、発話データを発話データサーバへ送信する発話データ送信処理手順、発話データを発話データサーバへ送信して後、音声データの送信処理を行い、音声データを音声データサーバへ送信する音声データ送信処理手順をコンピュータに実行させる。
【0043】
また、データ受信処理プログラムを記録した記録媒体は、発話データを受信するとブラウザ上の表示変化処理を行う発話データ受信処理手順、音声データを受信すると再生処理を行う音声データ受信処理手順をコンピュータに実行させる。
【0044】
【発明の効果】
以上述べたように本発明によれば、様々な要因で生じる音声データの遅延が、コンピュータネットワークを介した音声会話に与える影響を少なくし、装置を使用する人間に発話のタイミング与え、予測しやすくする効果がある。
【図面の簡単な説明】
【図1】本発明の実施形態例に係る電文シーケンスの一例を示す説明図である。
【図2】本発明の実施形態例に係る発話データ到着時のアバタ変化を示す説明図である。
【図3】本発明の実施形態例に係る電文シーケンスの他の例を示す説明図である。
【図4】本発明の実施形態例に係る送信側の処理フローチャートを示す。
【図5】本発明の実施形態例に係る受信側の処理フローチャートを示す。
【符号の説明】
(1) 発話データ送信
(2) 発話データ送信
(3) 音声データ
(4) 音声データ

Claims (6)

  1. 音声情報をリアルタイムに送受信して会話コミュニケーションを行う装置を用いた音声伝送方法において、
    送信装置が、音声データを送信する前に、発話されたことを示す音声データよりも短い発話データを送信し、その後に音声データを送信するとともに、
    受信装置が、前記発話データを受信すると、ブラウザ上の表示を変化させることにより、利用者に前記音声データの到着予測通知を行うことを特徴とする音声伝送方法。
  2. 請求項1記載の音声伝送方法において、
    前記受信装置は、ブラウザ上で表示している対話者のアバタを、受信した前記発話データをもとに画像的に変化させることを特徴とする音声伝送方法。
  3. 音声データが入力されると発話データを生成し、発話データを発話データサーバへ送信する発話データ送信処理ステップと、
    発話データを発話データサーバへ送信して後、音声データの送信処理を行い、音声データを音声データサーバへ送信する音声データ送信処理ステップと
    を具備することを特徴とするデータ送信処理方法。
  4. 音声データが入力されると発話データを生成し、発話データを発話データサーバへ送信する発話データ送信処理手順、
    発話データを発話データサーバへ送信して後、音声データの送信処理を行い、音声データを音声データサーバへ送信する音声データ送信処理手順
    をコンピュータに実行させるためのデータ送信処理プログラムを記録した記録媒体。
  5. 音声データの送信より前に送信され、該音声データの送信を予告するデータである発話データを受信すると、前記音声データの到着予測通知を表示するブラウザ上の表示変化処理を行う発話データ受信処理ステップと、
    前記音声データを受信すると再生処理を行う音声データ受信処理ステップと
    を具備することを特徴とするデータ受信処理方法。
  6. 音声データの送信より前に送信され、該音声データの送信を予告するデータである発話データを受信すると、前記音声データの到着予測通知を表示するブラウザ上の表示変化処理を行う発話データ受信処理手順、
    前記音声データを受信すると再生処理を行う音声データ受信処理手順
    をコンピュータに実行させるためのデータ受信処理プログラムを記録した記録媒体。
JP20453399A 1999-07-06 1999-07-19 音声伝送方法、データ送信処理方法及びデータ送信処理プログラムを記録した記録媒体、並びにデータ受信処理方法及びデータ受信処理プログラムを記録した記録媒体 Expired - Lifetime JP3568424B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP20453399A JP3568424B2 (ja) 1999-07-19 1999-07-19 音声伝送方法、データ送信処理方法及びデータ送信処理プログラムを記録した記録媒体、並びにデータ受信処理方法及びデータ受信処理プログラムを記録した記録媒体
US09/610,613 US7308080B1 (en) 1999-07-06 2000-07-05 Voice communications method, voice communications system and recording medium therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20453399A JP3568424B2 (ja) 1999-07-19 1999-07-19 音声伝送方法、データ送信処理方法及びデータ送信処理プログラムを記録した記録媒体、並びにデータ受信処理方法及びデータ受信処理プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2001036576A JP2001036576A (ja) 2001-02-09
JP3568424B2 true JP3568424B2 (ja) 2004-09-22

Family

ID=16492126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20453399A Expired - Lifetime JP3568424B2 (ja) 1999-07-06 1999-07-19 音声伝送方法、データ送信処理方法及びデータ送信処理プログラムを記録した記録媒体、並びにデータ受信処理方法及びデータ受信処理プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP3568424B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5846649B2 (ja) * 2013-04-08 2016-01-20 Necソリューションイノベータ株式会社 要約筆記支援システム、配信装置、要約筆記支援方法、及びプログラム
JP2016225869A (ja) * 2015-06-01 2016-12-28 株式会社リコー 情報処理装置、情報処理システム及びプログラム

Also Published As

Publication number Publication date
JP2001036576A (ja) 2001-02-09

Similar Documents

Publication Publication Date Title
JP4787328B2 (ja) 電話会議中に音声をキャプチャする方法および装置
JPH0983655A (ja) 音声対話システム
JP2008537669A (ja) 多モード音声及びウェブ・サービスのための方法及び装置
US5815553A (en) Apparatus for voice communication over local area networks
EP1465423A1 (en) Videophone device and data transmitting/receiving method applied thereto
WO2020214828A1 (en) Centrally controlling communication at a venue
JP2012257116A (ja) テキスト・電話会議システム及びテキスト・電話会議方法
JP4802370B2 (ja) 通信制御装置および方法、記録媒体、並びにプログラム
CN112887194A (zh) 实现听障人士通话的交互方法、装置、终端及存储介质
US20090170504A1 (en) Communication terminal, communication method, and communication program
WO2022169534A1 (en) Systems and methods of handling speech audio stream interruptions
JP3568424B2 (ja) 音声伝送方法、データ送信処理方法及びデータ送信処理プログラムを記録した記録媒体、並びにデータ受信処理方法及びデータ受信処理プログラムを記録した記録媒体
JP2020113150A (ja) 音声翻訳対話システム
JP2007201906A (ja) 携帯端末装置及び画像表示方法
JP2009021923A (ja) 音声通信装置
US6501751B1 (en) Voice communication with simulated speech data
JP2009118316A (ja) 音声通信装置
JP2007259293A (ja) 多者間通話システム、通話機能付き端末装置、多者間通話方法、プログラム及び記録媒体
JP6065768B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2002169764A (ja) 情報処理装置および方法、並びに記録媒体
JP2019176375A (ja) 動画出力装置、動画出力方法および動画出力プログラム
KR100945162B1 (ko) 링백톤제공시스템 및 그 방법
JP7087779B2 (ja) 端末装置、会議システム、端末装置の制御方法、及びプログラム
JP4531013B2 (ja) 映像音声会議システムおよび端末装置
JP5136823B2 (ja) 定型メッセージ機能付きPoCシステム、通信方法、通信プログラム、端末、PoCサーバ

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040615

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090625

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090625

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100625

Year of fee payment: 6