WO2005122575A1

WO2005122575A1 - 通信装置

Info

Publication number: WO2005122575A1
Application number: PCT/JP2004/008305
Authority: WO
Inventors: Masayuki Baba; Fuminobu Ogawa
Original assignee: Mitsubishi Denki Kabushiki Kaisha
Priority date: 2004-06-08
Filing date: 2004-06-08
Publication date: 2005-12-22
Also published as: JPWO2005122575A1

Abstract

送信音声データは音声符号化部２で符号化され、送信部３によって送信される。受信された符号化音声データは音声復号部５によって復号される。蓄積部７は、音声符号化部２で符号化される前の送信音声データと、受信部４で受信された符号化受信音声データを蓄積する。送受音声データを再生する場合、蓄積部７に蓄積された符号化受信音声データを音声復号部５で復号する。合成部８は、音声復号部５から出力された受信音声データと、蓄積部７に蓄積されている送信音声データとを合成し、再生データとして出力する。

Description

通信装置

技術分野

本発明は、例えば音声データ等の送受信メァィァデータを蓄積する通信装置に関する。明田

背景技術

従来、無線電話機といった通信装置では、たとえば特開平 1 0— 2 7

1 0 6 1号公報等に示されるよに、符号化前の送信データと復号後の受信データをミキシングすることによって、非符号化デ一夕の形式で送受の音声を合成音声として蓄積していた。

また、従来の通信装置として、符号化したつ夕を蓄積するようにしたものがあるが、これは受信した符号化デー夕のみを蓄積するだけであつ。

従来の通信装置は以上のように構成されているため、送受信の音声を符号化データとして蓄積し、これらの送受信首尸を再生しょうとした場合、例えば、送信デ一夕用の符号化器と蓄積用の符号化器の二つが必要になる等、装置構成が大きくなるという問題点があつた。

この発明は上記のような課題を解決するためになされたもので、送受信データを再生する場合でも、最小限の装置構成で実現することのできる通信装置を得ることを目的とする。

発明の開示

この発明に係る通信装置は、符号化前の送信メディアデータと、受信した符号化受信メディアデ一夕とを蓄積部で蓄積し、この蓄積された符号化受信メディアデ一夕を復号したデータと、蓄積部で蓄積された送信メディアデータを合成し、再生デ一夕として出力するようにしたものである。

このことによって、送受信データを再生する場合でも、符号化部ゃ復号部およびデータ蓄積部といった装置構成を最小限の数で実現することができる効果がある。図面の簡単な説明

第 1図はこの発明の実施の形態 1による通信装置を示す構成図である第 2図はこの発明の実施の形態 2における通信装置を示す構成図である。

第 3図はこの発明の実施の形態 3における通信装置を示す構成図である。

第 4図はこの発明の実施の形態 4における通信装置を示す構成図である。 ·

第 5図は、この発明の実施の形態 4における通信装置の無音データの最初のタイミングで次のデ一夕を出力するようにした場合の動作説明図である。発明を実施するための最良の形態

以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。

実施の形態 1 .

第 1図は、この発明の実施の形態 1 による通信装置を示す構成図である。

通信装置 1 0 1 aは網 2 0 0 を介して通信装置 1 0 1 b と接続されている。通信装置 1 0 1 a， 1 0 1 bは、いわゆるテレビ電話といった画像と音声を送受信する端末である。また、図中、通信装置 1 0 1 bの構成は、通信装置 1 0 1 aと同様であるため、通信装置 1 0 1 aの内部構成のみを示している。尚、通信装置 1 0 1 bは、通信装置 1 0 1 aの通信相手装置であるとする。

通信装置 1 0 l aは、ビデオ符号化部 1、音声符号化部 2、送信部 3 、受信部 4、音声復号部 5、ビデオ復号部 6、蓄積部 7、合成部 8 を備えている。

ビデオ符号化部 1 は、カメラ 1 1 1などの映像入力装置からのビデオ信号の符号化を行う機能部である。音声符号化部 2は、マイク 1 1 2などの音声入力装置からの音声信号の符号化を行う機能部である。また、これらビデオ符号化部 1および音声符号化部 2 により、符号化部が実現されている。送信部 3は、ビデオ符号化部 1および音声符号化部 2からの符号化データを通信プロ卜コルに則り、網 2 0 0に出力するための機能部である。

受信部 4は、網 2 0 0 を介して通信装置 1 0 1 a宛のデータを受信する機能部であり、ビデオデータと音声データに分離する機能を有している。音声復号部 5は、受信部 4から出力された符号化受信音声データを復号し、スピーカ 1 1 3などの音声出力装置に出力するための機能部である。ビデオ復号部 6は、受信部 4からの符号化ビデオデータを復号し、モニタ 1 1 4などの映像出力装置に出力する機能部である。また、これら音声復号部 5およびビデオ復号部 6は、蓄積部 7 に蓄積された符号化受信音声デ一夕や符号化受信ビデオデータを復号するよう構成されている。そして、これら音声復号部 5およびビデオ復号部 6 により、復号部が実現されている。

蓄積部 7は、受信部 4からの符号化受信デ一夕やマイク 1 1 2からの符号化前の送信音声データを蓄積する機能部であり、必要に応じて蓄積データを出力するよう構成されている。合成部 8は、音声復号部 5からの復号音声データと蓄積部 7からの送信音声データとを合成し、スピー力 1 1 3等の音声出力装置に出力する機能を有している。

尚、上記のビデオ符号化部 1〜合成部 8の各構成は、専用のハードウエアあるいはそれぞれの機能に対応したソフトウェアとこれを実行する C P Uやメモリ等のハードウェアによって実現されている。

次に、このように構成された通信装置の動作について説明する。

先ず、通信装置 1 0 l a , 1 0 l bの通信中の動作について説明する今、通信装置 1 0 1 a と通信装置 1 0 1 bとは網 2 0 0 を介して音声やビデオなどのメディアデータを用いた通信を行っているとする。

カメラ 1 1 1からのビデオ信号は、ビデオ符号化部 1で符号化され送信部 3 に送られる。マイク 1 1 2からの音声信号は音声符号化部 2で符号化され送信部 3 に送られると同時に蓄積部 7に送られ、符号化されない音声信号のまま蓄積される。

送信部 3では、ビデオと音声の符号化データを通信プロトコルに則り送信する。

一方、通信装置 1 0 l bから網 2 0 0を介して送信されたビデオと音声の符号化データは、通信プロトコルに則り受信部 4で受信され、ビデォデ一夕と音声データに分けられ、それぞれビデオ復号部 6および音声復号部 5 に渡される。このとき、符号化されたビデオ、音声データは同時に蓄積部 7 に渡され、蓄積部 7で符号化データとして蓄積される。

ビデオ復号部 6では受信部 4からの符号化ビデオデ一夕を復号し、ビデォ信号としてモニタ 1 1 4に出力する。同様に、音声復号部 5では受信部 4からの符号化音声デ一夕を復号し、合成部 8を通過して音声信号としてスピーカ 1 1 3に出力される。

以上は、通信中の動作であるが、次に通信中に蓄積したデータを非通信中に再生する場合の動作について説明する。

蓄積部 7において、受信部 4からの出力を蓄積した符号化データは、その符号化音声デ一夕が音声復号部 5へ、符号化ビデオデータがビデオ復号部 6へ出力される。ビデオ復号部 6では符号化ビデオデータを復号し、モニタ 1 1 4にビデオ信号として出力し、モニタ 1 1 4において受信したビデオが再生される。一方、音声復号部 5でも符号化音声データを復号し、音声信号として合成部 8に出力する。

蓄積部 7では、通信中に受信データと共に送信データも蓄積していたので、その送信データである音声信号を同時に合成部に出力する。合成部 8では、音声復号部 5からの音声信号と蓄積部 7からの音声信号のミキシングを行い、合成音声信号としてスピーカ 1 1 3に出力し、スピー力 1 1 3において送受信音声が再生される。

以上のように、実施の形態 1 によれば、送信メディアデータを符号化して符号化送信メディアデータとする符号化部と、受信した符号化受信メディアデータを復号する復号部と、符号化受信メディアデ一夕と送信メディアデ一夕を蓄積する蓄積部と、蓄積部で蓄積された符号化受信メディアデ一夕を復号部で復号したデータと、蓄積部で蓄積された送信メディアデ一夕を合成し、再生データとして出力する合成部とを備えたので、最小限の装置構成で送受信データを再生することのできる通信装置を得ることができる。即ち、送受音声データを非符号化デ一夕として蓄積する場合より、符号化の効果により蓄積データサイズを小さくすることができる。また、一つの復号部で送受信データの再生が可能であるため、別途に復号部を必要とせず、最小限の装置構成でこのような再生を実現することができる。

また、実施の形態 1では、蓄積部は、蓄積した符号化受信メディアデ —夕または送信メディアデータのうち、いずれか一方または両方を出力するようにしたので、再生時にどちらか片方のみを再生することが可能となる。即ち、従来のようにミキシングを行った後に蓄積する場合に比ベて、所望のデ一夕のみを再生することができるため、利便性を向上させることができる。これにより、利用者は、送信デ一夕のみ、または受信デ一夕のみ、あるいは送受信データを同時といったように、様々な再生方法を選択することができる。実施の形態 2 .

実施の形態 1は、送受別々の蓄積データを同時に再生するようにしたものであるが、実施の形態 2では、一つの合成したデータを再生するようにした場合の実施形態である。

第 2図は、実施の形態 2の通信装置の構成図である。

通信装置 1 0 2 aは網 2 0 0を介して通信装置 1 0 2 と接続されており、これらの接続関係は、実施の形態 1 と同様である。また、実施の形態 2においても、通信装置 1 0 2 aと通信装置 1 0 2 bは同様の構成であるため、その内部構成は通信装置 1 0 2 aのみ示している。

通信装置 1 0 2 aは、ビデオ符号化部 1、音声符号化部 2、送信部 3 、受信部 4、音声復号部 5、ビデオ復号部 6、蓄積部 7、編集部 9を備えている。ここで編集部 9以外の構成は、実施の形態 1 と同様であるため、対応する部分に同一符号を付してその説明は省略する。

編集部 9は、蓄積部 7で蓄積された符号化受信音声データを復号した受信音声データと、送信音声データとを合成し、この合成したデータを符号化して、再度、蓄積部 7に蓄積させるよう処理を行う機能を有している。

尚、上記のビデオ符号化部 1〜編集部 9の各構成は、専用のハードウエアあるいはそれぞれの機能に対応したソフトウェアとこれを実行する C P Uやメモリ等のハードウエアによって実現されている。

次に、実施の形態 2の動作について説明する。

通信中の動作については、実施の形態 1 と同様であり、ビデオと音声のデータの送受信を行いながら、符号化前の送信音声データと復号前のビデオと音声の符号化デ一夕を蓄積部 7で蓄積する。

通信終了後、蓄積部 7は通信中に蓄積した符号化前の送信音声データと復号前の符号化受信音声データを編集部 9 に転送する。

編集部 9では、復号前の符号化受信音声データの復号を行う。尚、この復号処理は音声復号部 5 を用いて行うよう構成してもよい。次に、編集部 9 は、復号された受信音声データと蓄積部 7 に蓄積されている符号化前の送信音声データを合成して、送受合成音声データを生成する。更に、編集部 9は、生成した送受合成音声データを符号化し、符号化送受合成音声デ一タを得る。尚、この符号化処理は音声符号化部 2 を用いて編集部 9が指示するよう構成してもよい。

編集部 9は、このようにして得た符号化送受合成音声データを蓄積部 7 に転送する。蓄積部 7では、編集部 9から送られてきた符号化送受合成音声データとビデオの受信符号化データを合わせて蓄積する。再生時は、蓄積部 7から音声とビデオの符号化データをそれぞれ音声復号部 5 とビデオ復号部 6 に送出し、これら復号部によって受信ビデオの復号と送受信音声の復号が行われる。

また、蓄積部 7では、編集部 9から送られてきた符号化送受合成音声デ一夕とビデオの受信符号化デ一夕とを合わせて蓄積する際に、合成前の受信音声データおよび送信音声データを削除することで、所望の蓄積データのみを残すことができる。または、受信した符号化音声，ビデオデータを残したまま、受信ビデオデ一夕をコピーし、それに編集部 9から送られてきた符号化送受合成音声データを合わせて蓄積することで、受信のみの音声 · ビデオデータと、合成音声 · ビデオデータの 2種類が生成でき、用途に応じて再生することも可能となる。

以上のように、実施の形態 2 によれば、送信メディアデ一夕を符号化して符号化送信メディアデ一夕とする符号化部と、受信した符号化受信メディアデ一夕を復号する復号部と、符号化受信メディアデータを復号した受信メディアデータと、送信メディアデータとを合成し、合成したデ一夕を符号化した符号化合成データを生成する編集部と、編集部から出力された符号化合成データを蓄積する蓄積部とを備え、蓄積した符号化合成データを復号し再生デ一夕として出力するようにしたので、最小限の装置構成で送受信データを再生することができる。

また、実施の形態 2では、通信後に仮に蓄積したデータを編集して、送受合成データを生成しているので、通信中には合成処理のための負荷がかかることがない。このため、符号化部や復号部は通信時に必要な数量でこのような送受信データの再生を実現することができる。実施の形態 3 .

実施の形態 3 は、符号化部から出力された符号化送信音声デ一夕を蓄積するようにしたものである。

第 3図は、実施の形態 3の通信装置の構成図である。

通信装置 1 0 3 aは網 2 0 0 を介して通信装置 1 0 3 bと接続されており、これらの接続関係は、実施の形態 1 、 2 と同様である。また、実施の形態 3 においても、通信装置 1 0 3 a と通信装置 1 0 3 bは同様の構成であるため、その内部構成は通信装置 1 0 3 aのみ示している。通信装置 1 0 3 aは、ビデオ符号化部 1 、音声符号化部 2、送信部 3 、受信部 4、音声復号部 5、ビデオ復号部 6、蓄積部 7、編集部 1 0 を備えている。ここで、蓄積部 7 に入力されるのが、ビデオ符号化部 1および音声符号化部 2の出力データである点と、編集部 1 0以外の構成は実施の形態 1 と同様であるため、これら以外の構成に対する説明は省略する。

蓄積部 7 には、ビデオ符号化部 1 の出力データである符号化送信ビデォデータと、音声符号化部 2の出力データである符号化送信音声データとが入力されるよう構成されており、蓄積部 7は、これらの符号化デー夕を蓄積する。また、編集部 1 0は、蓄積部 7 に蓄積されている符号化送信音声データと符号化受信音声データとを取り出し、これら音声デー夕を復号した音声データをミキシングして合成音声データを生成し、この合成音声デ一夕を蓄積部 7 に出力する機能を有している。

尚、上記のビデオ符号化部 1〜編集部 1 0の各構成は、専用の八ードウェアあるいはそれぞれの機能に対応したソフトウエアとこれを実行する C P Uやメモリ等のハードウェアによって実現されている。

次に、実施の形態 3の動作について説明する。

通信中の動作については、ビデオと音声のデータの送受信を行いながら、音声符号化部 2の出力である符号化送信音声データと、受信部 4の出力である復号前のビデオと音声の符号化データを蓄積部 7で蓄積する通信終了後、蓄積部 7は通信中に蓄積した符号化送信音声データと復号前の符号化受信音声データを編集部 1 0 に転送する。

編集部 1 0では、これら符号化音声データの復号を行い、復号された受信音声データを得る。尚、この復号処理は音声復号部 5 を用いて行うよう構成してもよい。次に、編集部 1 0は、復号された受信音声データと送信音声データとを合成して、送受合成音声データを生成する。更に

、編集部 1 0は、生成した送受合成音声データを符号化し、符号化送受合成音声デ一夕を得る。尚、この符号化処理は音声符号化部 2を用いて行うよう構成してもよい。

編集部 1 0は、このようにして得た符号化送受合成音声デ一夕を蓄積部 7に転送する。蓄積部 7では、編集部 1 0から送られてきた符号化送受合成音声データを蓄積する。

また、蓄積部 7に蓄積されている符号化送信ビデオデータと受信された符号化受信ビデオデータについても、編集部 1 0によって音声と同様の処理が行われ、例えば送信画像と受信画像とを同時に表示するような合成ビデオデータが生成される。そして、この合成ビデオデータを符号化した符号化送受合成ビデオデータが生成され、これが蓄積部 7で蓄積される。但し、特に合成ビデオを必要としない場合は、この機能を省くことができる。

尚、編集部 1 0で行うこれら一連の処理はリアルタイムで行う必要がないため、例えば、符号化送信音声データの復号を行った後に符号化受信音声データの復号を行う、といったように復号処理を順番に行うことで、装置としての必要な機能数を最小限に抑えることができる。

また、本実施の形態では、音声とビデオデータのみを扱っているが、他の様々なメディアデータに関しても合成等の処理を行う必要があれば

、編集部 1 0によって行うことができる。

尚、蓄積部 7が蓄積する編集部 1 0からの符号化合成データが音声デ一夕のみであれば、符号化受信ビデオデータをコピーしそれと合わせて蓄積することも可能である。このようにして、送受信用の符号化データと同様のフォーマツ卜の符号化合成データを蓄積部 7で保存することとする。

また、蓄積データの再生時、蓄積部 7では送信、受信、合成のいずれかの符号化データを音声復号部 5およびビデオ復号部 6 に対して出力し、それぞれ音声信号、ビデオ信号が出力される。

以上のように実施の形態 3 によれば、送信メディアデータを符号化して符号化送信メディアデータとする符号化部と、受信した符号化受信メディアデ一夕を復号する復号部と、符号化受信メディアデータと、符号化送信メディアデータとを復号した受信メディアデータと送信メディアデータとを合成し、合成したデータを符号化した符号化合成データを生成する編集部と、編集部から出力された符号化合成データを蓄積する蓄積部とを備え、蓄積した符号化合成デ一タを復号し再生データとして出力するようにしたので、最小限の装置構成で送受信デ一夕を再生することができる。

また、実施の形態 3では、符号化送信データ、符号化受信データを蓄積し、それらを通信後に編集を行い、送受合成データを生成しているので、通信中に合成処理のための負荷がかからず、送信、受信、合成の符号化データを生成することができる。実施の形態 4 .

実施の形態 4は、時分割に送信音声データと受信音声データとを蓄積するようにしたものである。

第 4図は、実施の形態 4の通信装置の構成図である。

通信装置 1 0 4 aは網 2 0 0 を介して通信装置 1 0 4 bと接続されており、これらの接続関係は、実施の形態 1〜 3 と同様である。また、実施の形態 4においても、通信装置 1 0 4 a と通信装置 1 0 4 bは同様の構成であるため、その内部構成は通信装置 1 0 4 aのみ示している。通信装置 1 0 4 aは、ビデオ符号化部 1、音声符号化部 2、送信部 3 、受信部 4、音声復号部 5、ビデオ復号部 6、蓄積部 7、選択部 1 1 を備えている。ここで、選択部 1 1以外の構成は、実施の形態 1 と同様であるため、対応する部分に同一符号を付してその説明は省略する。選択部 1 1は、音声符号化部 2からの出力である符号化送信音声デ一夕と、受信部 4からの出力である符号化受信音声データとをその有音無音状態に基づいて選択し、その選択データを蓄積部 7に出力する機能部である。

尚、上記のビデオ符号化部 1〜選択部 1 1の各構成は、専用のハードウェアあるいはそれぞれの機能に対応したソフトウェアとこれを実行する C P Uやメモリ等のハードウェアによって実現されている。

次に、実施の形態 4の動作について説明する。

通信中では、選択部 1 1は音声符号化部 2の出力（符号化送信音声デ —夕）、および受信部 4からの音声出力（符号化受信音声データ）を入カデ一夕として、それらデ一夕.の有音 Z無音検出を行う。そして、受信音声データの無音部分を送信音声データの有音部分と入れ替えて、一つ分の音声データを生成し、これを蓄積部 7に出力する。

一般に通話中でも音声の無音区間はかなりあるため、送信と受信の有音部分の符号化データを集めて切り貼りし、片方向分の音声符号化デー夕よりデータ量を小さくすることは可能である。但し、通常蓄積するような一方向分のデ一夕量と同じにするために、選択部 1 1では、基本的に符号化受信データを選択し、符号化送信データが有音になった場合にのみ無音部分の符号化受信データに代えて符号化送信データを蓄積部 7 に転送する。

蓄積部 7では、選択部 1 1で選択された符号化音声データと受信部 4 からの符号化ビデオデ一夕とを蓄積する。尚、必要に応じて受信部 4からの符号化音声データを直接蓄積する機能を設けても良い。他の動作は実施の形態 3 と同様であるためその説明は省略する。

蓄積したデータを再生するときは蓄積部 7から符号化音声データを音声復号部 5 へ、符号化ビデオデータをビデオ復号部 6へそれぞれ出力し、音声の送受データの再生と受信ビデオデ一夕の再生を行う。

以上のように、実施の形態 4では、送信メディアデータを符号化して符号化送信メディアデ一夕とする符号化部と、受信した符号化受信メディアデ一夕を復号する復号部と、符号化受信メディアデータと、符号化送信メディアデータを、これらメディアデータが有効デ一夕か否かによつていずれか一方を選択する選択部と、選択部の出力データを蓄積する蓄積部とを備え、蓄積したデータを復号部で復号し再生データとして出力するようにしたので、最小限の装置構成で送受信データを再生することができると共に、片方向分のデータ量で両方の音声データの有効な部分のみを蓄積できる効果がある。

また、選択部 1 1 において、符号化送信音声データと符号化受信音声データが共に有音部分であった場合、どちらかを選択するだけでなく、選択されなかった方の符号化音声データを一時的に遅延させ、選択された方の符号化音声データが無音になった時に、その遅延させた符号化音声データを後続の蓄積部 7に転送するようにしても良い。

このように構成すれば、本来のタイミングより遅延して蓄積部 7へ送られた符号化音声デ一夕は、蓄積部 7に送られたタイミングで蓄積される。そのため、再生時、実際よりわずかに遅延して音声が出力されることになるが、送受音声データの有音部分がかけることなく全て出力可能となる。

以上のように、実施の形態 4では、符号化送信音声データと符号化受信音声デ一夕が同時に有音となった場合にどちらかを遅延させて蓄積するようにしているので、送受データの有音部分全て.を蓄積することがでさる。

更に、選択部 1 1において、符号化送信音声データと符号化受信音声データを切り替える際に、被切替対象の符号化データに無音区間が一定期間以上存在したら切り替えるようにしてもよい。こうすることで、例えば音声データに含まれる会話の途中で切り替わることを防ぐことがでさる。

以上のように、実施の形態 4では、送信音声符号化データと受信音声符号化データを切り替える際に、切り替える前の音声データに一定期間以上の無音区間が存在した時に切り替えるようにしたので、符号化音声デ一タ中の会話が途中で途切れないようにすることができる。

ところで、切替の判定のために一定期間以上の無音が存在した後に切替を行うと、必ず切替ポイントで一定期間以上の無音が存在する。もし、送受データ共に有音の場合、どちらか一方の音声データは遅延させられており、更に切替判定のための一定期間以上の無音データ分だけ更に遅延することになる。つまり、送受音声間での相対遅延は無音データ分だけ更に大きくなる。

そこで、一定期間以上の無音データを検出したら、その無音データの最初のタイミングで切り替えられるようにすれば、切替後のデータの遅延が減少する。そのために、選択部 1 1では蓄積部 7に出力するデータに一定期間以上の遅延をかけて出力する。そして一定期間以上の無音デ —夕を検出した時、つまり切替タイミングで、次に出力すべきデータが既に一定期間以上待たされている場合、そのデータを即座に出力すれば、切替検出のための無音データは蓄積部 7に出力されずにすむ。

第 5図は、無音デ一夕の最初のタイミングで次のデ一夕を出力するようにした場合の動作説明図である。選択部 1 1は、基本的に受信部 4からの受信データを選択しており、この受信データを一定期間 T , より大きい遅延時間 T ₂ だけ遅延させて蓄積部 7に出力する。今、時刻 t i で音声符号化部 2から送信データが有音となったとすると、時刻 t iでは受信データが有音であるため、選択部 1 1は送信データを一時的に蓄積する。そして、受信データは遅延時間 T ₂ だけ遅延して出力されるため、その終端（時刻 t ₂ ) は、時刻 t ₃ ( = t ₂ + T ₂ ) に出力される。ここで、遅延した受信デ一夕（選択部 1 1 の出力データ）は時刻 t ₃以降は無音部分となるため、時刻 t ₃ において即座に送信データを出力する。即ち、このような処理を行わない場合は'、受信データと送信データとの間には一定期間 1 の無音時間が存在することになるが、有音データの最初のタイミングで即座に送信データを出力することによって、切替後の送信データの遅延を減少させることができる。

以上のように、実施の形態 4によれば、選択部は、切り替え判定を行うための一定期間以上の時間分、選択するデータに遅延をかけて出力し、選択するデータを切り替える際に、次に選択すべきデータが既に一定期間以上遅延している場合に、そのデ一夕を即座に出力するようにしたので、切替ポイントにおける無音部分をなくすことができ、従って、送受音声の相対的な遅延を小さくすることができる。

尚、上記実施の形態 4において、メディアデ一夕が有効か否かの判定を音声デ一夕の有音か無音かで行うようにしたが、これに限定されるものではなく、メディアデ一夕の種類等によって、任意に選択してもよいまた、上記各実施の形態では、再生する送受信メディアデータとして、音声データやビデオデータであるとしたが、これらのデータに限定されるものではなく、種々のデータに適用可能である。産業上の利用可能性

以上のように、この発明に係る通信装置は、例えばテレビ電話に適用され、通信後のビデオデータや音声デ一夕を再生するのに適している。

Claims

1 . 送信メディアデータを符号化して符号化送信メディアデータとする符号化部と、

受信した符号化受信メディアデ一夕を復号する復号部と、

前記符号化受信メディア請デ一夕と前記送信メディアデ一夕を蓄積する蓄積部と、

前記蓄積部で蓄積された符号化受の信メディアデ一夕を前記復号部で復号したデータと、前記蓄積部で蓄積された送信メディアデ一夕を合成し、再生データとして出力する合成部とを備えた通信装置。

囲

2 . 蓄積部は、蓄積した符号化受信メディアデータまたは送信メディアデ一夕のうち、いずれか一方または両方を出力することを特徴とする請求の範囲第 1項記載の通信装置。

3 . 送信メディアデ一夕を符号化して符号化送信メディァデータとする符号化部と、

受信した符号化受信メディアデ一夕を復号する復号部と、

前記符号化受信メディアデータを復号した受信メディアデータと、前記送信メディアデータとを合成し、当該合成したデータを符号化した符号化合成データを生成する編集部と、

前記編集部から出力された符号化合成データを蓄積する蓄積部とを備え、当該蓄積した符号化合成データを前記復号部で復号し再生データとして出力するようにした通信装置。

4 送信メディアデ一夕を符号化して符号化送信メディアデータとする符号化部と、

受信した符号化受信メディアデ一夕を復号する復号部と、

前記符号化受信メディアデータと、前記符号化送信メディアデータとを復号した受信メディアデータと送信メディアデータとを合成し、当該合成したデータを符号化した符号化合成データを生成する編集部と、前記編集部から出力された符号化合成データを蓄積する蓄積部とを備え、当該蓄積した符号化合成データを前記復号部で復号し再生データとして出力するようにした通信装置。

5 . 送信メディアデータを符号化して符号化送信メディアデ一夕とする符号化部と、

受信した符号化受信メディアデ一夕を復号する復号部と、

前記符号化受信メディアデ一夕と、前記符号化送信メディアデータを

、これらメディアデータが有効データか否かによっていずれか一方を選択する選択部と、

前記選択部の出力データを蓄積する蓄積部とを備え、当該蓄積したデ —夕を前記復号部で復号し再生データとして出力するようにした通信装置。

6 . 選択部は、符号化受信メディアデ一夕と符号化送信メディアデー夕の両方が有効デ一夕であった場合、いずれか一方のデータを出力するタイミングを遅らせることを特徴とする請求の範囲第 5項記載の通信装置。

7 . 選択部は、符号化受信メディアデ一夕と符号化送信メディアデー夕とを切り替える場合、切り替える前のデータの状態が有効データではない時間が一定期間以上存在した場合に行うことを特徴とする請求の範囲第 5項記載の通信装置。

8 . 選択部は、切り替え判定を行うための一定期間以上の時間分、選択するデータに遅延をかけて出力し、選択するデータを切り替える際に、次に選択すべきデ一夕が既に一定期間以上遅延している場合に、そのデータを即座に出力することを特徴とする請求の範囲第 7項記載の通信装置。