JPH07307933A - マルチメディア通信端末 - Google Patents

Abstract

(57)【要約】 【目的】 リアルタイム通信、非リアルタイム通信のい
ずれにおいても、受信画像情報と受信音声情報との出力
時の同期制御を最適化する。 【構成】 リアルタイム通信時に分離多重化手段により
分離された受信画像情報と受信音声情報とを遅延させる
ことなく出力し、非リアルタイム通信に係る蓄積された
受信画像情報を遅延せることなく出力し、蓄積された受
信音声情報を遅延させて出力することにより、リアルタ
イム通信においては音声情報の遅延制御による相手の応
答の遅れという弊害が生じないようにし、非リアルタイ
ム通信による再生においては画像情報と音声情報との同
期を確立する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、マルチメディア通信端
末に関し、特にマルチメディア通信端末における動画像
情報と音声情報との同期制御に関する。

【０００２】

【従来の技術】近年、画像圧縮符号化技術の発達とディ
ジタル通信回線の普及はめざましく、ＴＶ会議システム
等のＡＶ（Ａｕｄｉｏ Ｖｉｓｕａｌ）サービス用のサ
ービス規定やプロトコル規定、マルチメディア多重化フ
レーム構成規定などの勧告が整備されるとともに、ＴＶ
電話装置やＴＶ会議システムなどをはじめとする様々な
マルチメディア通信端末が提案されている。

【０００３】ここで、一般に、音声情報の符号化および
復号化その他の処理に要する時間は比較的短いため、音
声通信については通信者間で違和感のない程度のディレ
イで済む。一方、画像情報については、符号化／復号化
に要する時間が長く、さらにフォーマット変換や画質改
善のためのフィルタリング処理などの符号化前処理・復
号化後処理、表示処理などに要する時間も長いため、全
体として生じるディレイは非常に大きく、音声情報のそ
れに比べて無視できない程度になってしまう。この画像
情報の音声情報に対する処理遅延時間差が原因となり、
受信側においてモニタに見える受信画像とスピーカから
聞こえる受信音声との間にはっきり認識できる程度の時
間的なズレが生じることになる。このズレは、静止画像
情報の場合よりも動画像情報の場合においてより認識さ
れやすい。

【０００４】この音声情報と画像情報の時間的なズレを
抑制する手法として、受信側において画像情報と音声情
報との上記時間差分だけ音声情報を故意に遅延させるこ
とにより、画像情報と音声情報との同期をとるように制
御する、いわゆるリップ・シンクが知られている。

【０００５】一方、上述のようなマルチメディア通信端
末において、例えば留守番機能などをはじめとする動画
像情報や音声情報などを蓄積する様々なアプリケーショ
ンが提案されている。受信画像情報と受信音声情報を蓄
積する場合は、受信した圧縮データのまま蓄積するのが
一般的であり、タイム・スタンプと呼ばれる受信時間情
報を付加して蓄積する。これにより、受信時と同一タイ
ミングで再生処理を開始することを可能にしている。

【０００６】

【発明が解決しようとする課題】しかし、上記の「リッ
プ・シンク」は受信音声情報を遅延させるために、リア
ルタイム通信においては、結果的に相手の応答が非常に
遅れることとなり、通信者に大きな違和感を与えるだけ
でなく、スムーズな通信を妨げる場合があるといった欠
点がある。この現象は、音声情報と画像情報の時間的な
ズレよりもその弊害は大きいため、実際にはリップ・シ
ンク（音声の遅延制御）はあまり採用されておらず、画
像情報と音声情報のズレについては、我慢を余儀なくさ
れている。なお、画像情報と音声情報のズレは、上記の
ように、静止画像情報の場合よりも動画像情報の場合に
より顕著にあらわれるので、動画像情報の場合は、一般
に静止画像情報の場合より遅延時間を長くするので、相
手の応答もより遅れることとなる。

【０００７】一方、ビデオ・メールなどの非リアルタイ
ム通信においては、たとえリップ・シンクを行ったとし
ても、上述のような相手からの応答の遅れによる不自然
さといった問題は生じ得ない。

【０００８】しかしながら、従来のマルチメディア通信
端末においては、リアルタイム通信においても蓄積など
による非リアルタイム通信においても、同一の音声遅延
制御がなされるのが一般的である。また、蓄積時に画像
情報と音声情報との同期情報を付加する際に、一定の遅
延差を考慮した同期情報を付加することも可能である
が、この場合、符号化側端末の処理ディレイの長短によ
らず一定の音声遅延を与えることになるため、最適な画
像情報と音声情報との同期が実現できないといった欠点
があった。

【０００９】本発明は、このような背景の下になされた
ものであり、その目的は、リアルタイム通信、非リアル
タイム通信のいずれにおいても、受信画像情報と受信音
声情報との出力時の同期制御を最適化し得るマルチメデ
ィア通信端末を提供することにある。

【００１０】

【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の発明は、少なくとも画像情報と音声
情報とを分離多重化手段より多重化すると共に符号化し
て通信するマルチメディア通信端末において、前記分離
多重化手段により分離された受信画像情報を蓄積する画
像蓄積手段と、前記分離多重化手段により分離された受
信音声情報を蓄積する音声蓄積手段と、リアルタイム通
信時に前記分離多重化手段により分離された受信画像情
報と受信音声情報とを遅延させることなく出力する第１
の出力制御手段と、非リアルタイム通信に係る前記画像
蓄積手段に蓄積された受信画像情報を遅延させることな
く出力し、前記音声蓄積手段に蓄積された受信音声情報
を遅延させて出力する第１の出力制御手段とを備えてい
る。

【００１１】上記目的を達成するため、請求項２記載の
発明では、請求項１における前記画像情報は動画像情報
となっている。

【００１２】上記目的を達成するため、請求項３記載の
発明では、請求項１における前記第２の出力制御手段
は、前記音声蓄積手段に蓄積された受信音声情報を遅延
させて出力する場合の遅延時間を任意に設定する遅延時
間設定手段を有している。

【００１３】上記目的を達成するため、請求項４記載の
発明は、少なくとも画像情報と音声情報とを分離多重化
手段より多重化すると共に符号化して通信するマルチメ
ディア通信端末において、前記分離多重化手段により分
離された受信画像情報を蓄積する画像蓄積手段と、前記
分離多重化手段により分離された受信音声情報を蓄積す
る音声蓄積手段と、リアルタイム通信時に前記分離多重
化手段により分離された受信画像情報を遅延せることな
く出力し、前記音声蓄積手段に蓄積された受信音声情報
を第１の遅延時間だけ遅延させて出力する第１の出力制
御手段と、非リアルタイム通信に係る前記画像蓄積手段
に蓄積された受信画像情報を遅延せることなく出力し、
前記音声蓄積手段に蓄積された受信音声情報を前記第１
の延時時間より長い第２の延時時間だけ遅延させて出力
する第２の出力制御手段とを備えている。

【００１４】上記目的を達成するため、請求項５記載の
発明では、請求項４における前記画像情報は動画像情報
となっている。

【００１５】上記目的を達成するため、請求項６記載の
発明では、請求項４における前記第１、第２の遅延時間
を任意に設定する遅延時間設定手段を有している。

【００１６】

【作用】請求項１記載の発明において、前記第１の出力
制御手段は、リアルタイム通信時に前記分離多重化手段
により分離された受信画像情報と受信音声情報とを遅延
させることなく出力し、前記第２の出力制御手段は、非
リアルタイム通信に係る前記画像蓄積手段に蓄積された
受信画像情報を遅延せることなく出力し、前記音声蓄積
手段に蓄積された受信音声情報を遅延させて出力するこ
とにより、リアルタイム通信においては音声情報の遅延
制御による相手の応答の遅れという弊害が生じないよう
にし、非リアルタイム通信による再生においては画像情
報と音声情報との同期を確立し、リアルタイム通信、非
リアルタイム通信のいずれにおいても、受信画像情報と
受信音声情報との出力時の同期制御を最適化する。

【００１７】請求項２記載の発明では、前記画像情報は
動画像情報となっているので、請求項１記載の発明にお
ける上記作用がより有効に機能することとなる。

【００１８】請求項３記載の発明では、前記第２の出力
制御手段は、前記音声蓄積手段に蓄積された受信音声情
報を遅延させて出力する場合の遅延時間を任意に設定す
る遅延時間設定手段を有しているので、請求項１記載の
発明よりも、受信画像情報と受信音声情報との出力時の
同期制御をより最適化することができる。

【００１９】請求項４記載の発明において、前記第１の
出力制御手段は、リアルタイム通信時に前記分離多重化
手段により分離された受信画像情報を遅延せることなく
出力し、前記音声蓄積手段に蓄積された受信音声情報を
第１の遅延時間だけ遅延させて出力し、前記第２の出力
制御手段は、非リアルタイム通信に係る前記画像蓄積手
段に蓄積された受信画像情報を遅延せることなく出力
し、前記音声蓄積手段に蓄積された受信音声情報を前記
第１の延時時間より長い第２の延時時間だけ遅延させて
出力することにより、リアルタイム通信においては受信
画像情報と受信音声情報とズレ、および音声情報の遅延
制御による相手の応答の遅れを抑制し、非リアルタイム
通信による再生においては画像情報と音声情報との同期
を確立し、リアルタイム通信、非リアルタイム通信のい
ずれにおいても、受信画像情報と受信音声情報との出力
時の同期制御を最適化する。

【００２０】請求項５記載の発明では、前記画像情報は
動画像情報となっているので、請求項４記載の発明にお
ける上記作用がより有効に機能することとなる。

【００２１】請求項６記載の発明では、前記第１、第２
の遅延時間を任意に設定する遅延時間設定手段を有して
いるので、請求項４記載の発明よりも、受信画像情報と
受信音声情報との出力時の同期制御をより最適化するこ
とができる。

【００２２】

【実施例】以下、図１〜図４を参照しながら本発明の一
実施例を詳細に説明する。

【００２３】図１は、本発明の一実施例によるマルチメ
ディア通信端末の全体の概略構成を示すブロック図であ
る。本マルチメディア通信端末は、画像情報と音声情報
とを多重化すると共に符号化して通信するものであり、
リアルタイム通信、非リアルタイム通信のいずれにおい
ても、受信画像情報と受信音声情報との出力時の同期制
御をより最適化するように構成されている。

【００２４】すなわち、図１において、２０１は本端末
の画像入力手段の１つであり、自画像等の動画像情報を
入力するためのカメラ部である。２０２は本端末の画像
入力手段の１つであり、図面や地図、文書等の静止画像
情報を入力する書画カメラ部である。２０３はカメラ部
２０１あるいは書画カメラ部２０２からの入力画像や、
通信相手からの受信画像情報、操作画面情報等を表示す
る表示部である。２０４はシステム制御部２１５の指示
により画像入力手段の切り換え処理等を行う画像入力イ
ンタフェース部である。２０５は画像出力手段の切り換
え処理等を行う画像出力インタフェース部である。２０
６はシステム制御部２１５の指示によりピクチャー・イ
ン・ピクチャー処理や画像フリーズ処理、表示画像選択
／合成処理等を行うための画像編集部である。

【００２５】２０７は送信画像情報（信号）の符号化処
理、および受信画像情報（信号）の復号化処理を行う画
像符号化／復号化部であり、２０７ａは画像符号化／復
号化部２０７内の画像符号化部、２０７ｂは画像符号化
／復号化部２０７内の画像復号化部である。２０８は本
装置の音声入出力手段の一つであるハンドセット部であ
る。２０９は本端末の音声入力手段の一つであるマイク
部である。２１０は本装置の音声出力手段の一つである
スピーカ部である。２１１はシステム制御部２１５の指
示により、エコーキャンセル処理や、ダイヤルトーン、
呼出音、ビジートーン、着信音等のトーンの生成処理、
あるいは音声入出力手段の切り換え処理や音声合成処理
等を行う音声入出力インタフェース部である。

【００２６】２１２はシステム制御部２１５の指示によ
り送信音声信号の符号化処理、および受信音声信号の復
号化処理を行う音声符号化／復号化部であり、２１２ａ
は音声符号化／復号化部２１２内の音声符号化部、２１
２ｂは音声符号化／復号化部２１２内の音声復号化部で
ある。２１３は本端末の制御全般を行うための制御情報
を入力するためのキーボード、タッチパネル等の操作部
である。２１４は画像信号と音声信号と制御信号を送信
フレーム単位に多重化すると共に、受信フレームを画像
信号と音声信号と制御信号に分離し各部に受け渡す分離
多重化部である。

【００２７】２１５はＣＰＵ、ＲＯＭ、ＲＡＭ、補助記
憶装置等を備え、各部の状態を監視し、本端末全体の制
御、状態に応じた操作・表示画面の作成、アプリケーシ
ョンプログラムの実行等を行うシステム制御部である。
２１６はＩＳＤＮユーザ網インタフェースに従って回線
を制御する回線インタフェース部である。２１７は通信
回線である。２１８は圧縮符号化された画像情報（デー
タ）の蓄積とこれに伴う制御を実行する画像蓄積部であ
る。２１９は圧縮符号化された音声情報（データ）の蓄
積とこれに伴う制御を実行する音声蓄積部である（詳細
は後述する）。２２０はシステム制御部２１５の指示に
より音声蓄積部２１９に蓄積された音声データの出力を
遅延させる音声遅延部である（詳細は後述する）。

【００２８】次に、以上の構成におけるマルチメディア
通信端末のリアルタイム通信動作について説明する。

【００２９】カメラ入力部２０１あるいは書画カメラ入
力部２０２からの入力画像情報は、画像入力インタフェ
ース部２０４、画像編集部２０６を経て画像符号化部２
０７ａに入力される。ハンドセット部２０８あるいはマ
イク部２０９からの入力音声は、音声入出力インタフェ
ース部２１１を経て音声符号化部２１２ａに入力され
る。画像符号化部２０７ａで符号化された入力画像情報
と、音声符号化部２１２ａで符号化された入力音声情報
は、分離多重化部２１４で多重化され、回線インタフェ
ース部２１６を経て通信回線２１７へ送出される。

【００３０】一方、通信回線２１７からの受信情報（信
号）は、回線インタフェース部２１６を経て分離多重化
部２１４で画像信号と音声信号に分離され、各々各復号
化部２０７ｂに入力される。画像復号化部２０７ｂで復
号化された受信画像情報は、画像編集部２０６、画像出
力インタフェース部２０５を経て表示部２０３に表示さ
れ、音声復号化部２１２ｂで復号された受信音声情報
は、音声入出力インタフェース部２１１を経てハンドセ
ット部２０８あるいはスピーカ部２１０に出力される。

【００３１】次に、画像及び音声データの蓄積機能につ
いて説明する。

【００３２】画像（または音声）データの蓄積について
は、自端末内の画像符号化部２０７ａ（または音声符号
化部２１２ａ）から出力された自端末内符号化画像（ま
たは音声）データと、分離多重化部２１４にて分離され
て出力された受信画像（または音声）データとを選択し
て画像蓄積部２１８（または音声蓄積部２１９）に蓄積
することができる（詳細は後述する）。これにより、自
端末内部で圧縮符号化した画像（または音声）の蓄積
と、相手端末から受信した受信画像（または音声）の蓄
積が可能である。

【００３３】また、蓄積画像（または音声）の再生の際
には、分離多重化部２１４にて分離されて出力された受
信画像（または音声）データの復号化、出力処理を停止
し、代わりに画像蓄積部２１８（または音声蓄積部２１
９）の蓄積画像（または音声）データを画像復号化部２
０７ｂ（または音声復号化部２１２ｂ）へ入力し、復号
化、出力処理を実行する。

【００３４】上述の画像（または音声）の蓄積あるいは
再生における入出力画像（または音声）の切替えは、シ
ステム制御部２１５により指示され、画像蓄積部２１８
（または音声蓄積部２１９）内部で切替えがなされる。
ユーザの設定などにより、自端末内符号化データを蓄積
するか受信データを蓄積するか、または、蓄積データを
復号化して出力するか受信データを復号化して出力する
かが選択制御される。

【００３５】図２は、音声蓄積部２１９の入出力音声の
切替えに関する構成を示すブロック図である。

【００３６】図２において、３０１は圧縮符号化された
音声データを格納する音声メモリ部である。３０２は音
声蓄積部２１９の入力切替えを行う入力音声選択部であ
る。３０３は音声蓄積部２１９の出力切替えを行う出力
音声選択部である。３０４は出力音声選択部３０３の切
替動作を監視しており、音声蓄積部２１９の出力（音声
復号化２１２ｂへの入力）としてどちらが選択されてい
るかを認識して音声遅延部２２０に通知する出力音声監
視部である。３０５はシステム制御部２１５の制御によ
り、音声蓄積部２１９内の各部の監視・制御を行う音声
蓄積制御部である。

【００３７】以上のように構成された音声蓄積部２１９
の動作について説明する。

【００３８】音声蓄積制御部３０５は、システム制御部
２１５からの指示に基づいて、入力音声選択部３０２に
対して入力選択を指示する。入力音声選択部３０２にお
いて、音声蓄積制御部３０５からの選択指示に応じて２
つの入力（音声符号化部２１２ａから出力された自端末
内符号化音声データと分離多重化部２１４から出力され
た受信符号化音声データ）のうち一方が選択され、音声
蓄積制御部３０５の蓄積制御により音声メモリ部３０１
に圧縮符号化された選択に係る音声データが格納され
る。

【００３９】また、音声蓄積制御部３０５は、システム
制御部２１５からの指示に基づき、出力音声選択部３０
３に対して出力選択を指示する。出力音声選択部３０３
において、音声蓄積制御部３０５からの選択指示に応じ
て２つの入力（音声メモリ部３０１から出力された蓄積
符号化音声データと分離多重化部２１４から出力された
受信符号化音声データ）のうち一方が選択され、音声遅
延部２２０を介して音声復号化部２１２ｂへ出力され
る。ここで、出力音声監視部３０４は、常に音声復号化
部２１２ｂ（音声遅延部２２０）への出力内容を監視し
ており、音声メモリ部３０１の出力である蓄積符号化音
声データと分離多重化部２１４の出力である受信符号化
音声データの何れが選択されているかを認識し、音声遅
延部２２０に通知する。

【００４０】次に、本発明において特徴的な音声情報の
遅延制御について説明する。図３は、音声遅延部２２０
の構成を示すブロック図である。

【００４１】図３において、１０１は音声情報の遅延処
理を行う遅延処理部である。１０２は遅延処理部１０１
における遅延量を選択制御する遅延量制御部である。１
０３は音声復号化部２１２への入力が相手端末から送信
されてきた受信音声データか、或いは音声蓄積部２１９
からの蓄積音声データかを識別する処理音声識別部であ
る。１０４はシステム制御部３１５の制御に従い音声遅
延部２２０の各部の動作を監視・制御する遅延制御部で
ある。

【００４２】次に、以上のように構成された音声遅延部
２２０の音声遅延動作について説明する。

【００４３】遅延処理部１０１には、音声蓄積部２１９
内の出力音声選択部３０３の選択により、音声メモリ部
３０１から出力された蓄積符号化音声データ、或いは相
手端末から受信して音分離多重化部２１４から出力され
た受信符号化音声データが入力される。ここで、この入
力データ種別、すなわち蓄積符号化音声データか受信符
号化音声データかを示す識別情報が、音声蓄積部２１９
内の出力音声監視部３０４から処理音声識別部１０３へ
通知される。

【００４４】音声遅延制御部１０４においては、システ
ム制御部２１５からの制御情報が入力され、各部の遅延
関連動作を制御するとともに、音声データの遅延量を遅
延量制御部１０２に設定する。遅延量制御部１０２にお
いては、処理音声識別部１０３からの音声種別を示す識
別情報が入力されており、音声遅延制御部１０４により
設定された設定遅延量と遅延量ゼロとを切り替えて、遅
延処理部１０１に対して遅延時間量を指示する。すなわ
ち、受信符号化音声データを処理する場合には遅延時間
量「０」とし、蓄積符号化音声データを処理する場合に
は遅延時間量をシステム制御部２１５の制御による設定
値とする。

【００４５】遅延処理部１０１は、遅延量制御部１０２
により選択された遅延時間量に応じて、音声データの遅
延処理を実行する。音声遅延量の調整は、ユーザ設定な
どに応じて、システム制御部２１５より音声遅延制御部
１０４を介して随時行われる。なお、画像情報について
は、その種類を問わず遅延処理は一切行われない。

【００４６】次に、出力音声の遅延制御動作を図４のフ
ローチャートを参照しながら説明する。

【００４７】音声復号化部２１２ｂにより復号化処理し
てハンドセット部２０８、或いはスピーカ部２１０より
出力する音声情報に対して、出力対象の音声情報が、リ
アルタイム通信における相手端末からの受信音声情報で
あるか、或いは非リアルタイム通信に係る自端末内の音
声蓄積部２１９の音声メモリ３０１に蓄積された蓄積音
声情報であるかを識別し（ステップＳ１）、識別結果に
応じて遅延処理を切り替える（ステップＳ２）。

【００４８】すなわち、非リアルタイム通信に係る自端
末内に一旦蓄積された蓄積音声情報（蓄積符号化音声デ
ータ）である場合は、遅延量としてシステム制御部２１
５の遅延量制御に基づく設定遅延時間が選択され（ステ
ップＳ３）、設定遅延時間だけ蓄積符号化音声データを
遅延処理することにより（ステップＳ４）、蓄積画像情
報との同期制御を行い、蓄積画像情報と蓄積音声情報と
を同期して出力する。

【００４９】一方、リアルタイム通信における相手端末
からの受信音声情報である場合は、システム制御部２１
５の遅延量制御に基づく設定遅延量によらず、遅延量と
して「０」が選択され（ステップＳ５）、リアルタイム
通信においては応答遅れによる違和感を招く遅延制御は
実行しないよう動作する。

【００５０】以上の動作により、画像情報と音声情報に
対する符号化／復号化等の処理遅延差による画像情報の
音声情報に対する遅れに対して、処理する画像情報及び
音声情報がリアルタイム通信における受信情報であるか
否かに応じて音声情報の遅延制御の実行の可否を決定
し、非リアルタイム通信に係る蓄積情報の再生における
蓄積音声情報などに対しては、音声情報の遅延を制御す
ることにより画像情報と音声情報の同期を確立し、リア
ルタイム通信における受信音声情報に対しては、音声情
報の遅延制御を行わないことにより、相手側からの応答
遅延といった障害を回避している。

【００５１】なお、上記実施例においては、リアルタイ
ム通信においては全く音声情報の遅延制御を行わない場
合について説明したが、リアルタイム通信時の遅延量と
非リアルタイムな通信時の遅延時間とを別々に設定制御
することにより、リアルタイム通信、非リアルタイム通
信のいずれにおいても、受信画像情報と受信音声情報と
の出力時の同期制御をより最適化することも可能であ
る。

【００５２】この場合、非リアルタイム通信における遅
延時間は、リアルタイム通信時の遅延時間より長い遅延
時間を設定するのが望ましい。また、本発明は、システ
ム、あるいは装置にプログラムを供給してソフトウェア
により画像情報と音声情報の同期制御を行うことも可能
である。

【００５３】

【発明の効果】以上詳細に説明したように、請求項１記
載の発明によれば、前記第１の出力制御手段は、リアル
タイム通信時に前記分離多重化手段により分離された受
信画像情報と受信音声情報とを遅延させることなく出力
し、前記第２の出力制御手段は、非リアルタイム通信に
係る前記画像蓄積手段に蓄積された受信画像情報を遅延
せることなく出力し、前記音声蓄積手段に蓄積された受
信音声情報を遅延させて出力することにより、リアルタ
イム通信においては音声情報の遅延制御による相手の応
答の遅れという弊害が生じないようにし、非リアルタイ
ム通信による再生においては画像情報と音声情報との同
期を確立するので、リアルタイム通信、非リアルタイム
通信のいずれにおいても、受信画像情報と受信音声情報
との出力時の同期制御を最適化することが可能となる。

【００５４】請求項２記載の発明によれば、前記画像情
報は動画像情報となっているので、請求項１記載の発明
における上記効果をより顕著に奏することができる。

【００５５】請求項３記載の発明によれば、前記第２の
出力制御手段は、前記音声蓄積手段に蓄積された受信音
声情報を遅延させて出力する場合の遅延時間を任意に設
定する遅延時間設定手段を有しているので、請求項１記
載の発明よりも、受信画像情報と受信音声情報との出力
時の同期制御をより最適化することができる。

【００５６】請求項４記載の発明によれば、前記第１の
出力制御手段は、リアルタイム通信時に前記分離多重化
手段により分離された受信画像情報を遅延せることなく
出力し、前記音声蓄積手段に蓄積された受信音声情報を
第１の遅延時間だけ遅延させて出力し、前記第２の出力
制御手段は、非リアルタイム通信に係る前記画像蓄積手
段に蓄積された受信画像情報を遅延せることなく出力
し、前記音声蓄積手段に蓄積された受信音声情報を前記
第１の延時時間より長い第２の延時時間だけ遅延させて
出力することにより、リアルタイム通信においては受信
画像情報と受信音声情報とズレ、および音声情報の遅延
制御による相手の応答の遅れを抑制し、非リアルタイム
通信による再生においては画像情報と音声情報との同期
を確立するので、リアルタイム通信、非リアルタイム通
信のいずれにおいても、受信画像情報と受信音声情報と
の出力時の同期制御を最適化することが可能となる。

【００５７】請求項５記載の発明によれば、前記画像情
報は動画像情報となっているので、請求項４記載の発明
における上記効果をより顕著に奏することができる。

【００５８】請求項６記載の発明によれば、前記第１、
第２の遅延時間を任意に設定する遅延時間設定手段を有
しているので、請求項４記載の発明よりも、受信画像情
報と受信音声情報との出力時の同期制御をより最適化す
ることができる。

【図面の簡単な説明】

【図１】本発明の一実施例におけるマルチメディア通信
端末の全体の概略構成を示すブロック図である。

【図２】図１における音声蓄積部の概略構成を示すブロ
ック図である。

【図３】図１における音声遅延部の概略構成を示すブロ
ック図である。

【図４】音声遅延制御の動作を示すフローチャートであ
る。

【符号の説明】

１０１…遅延処理部 １０２…遅延量制御部 １０３…処理音声識別部 １０４…音声遅延制御部 ２０１…カメラ部 ２０２…書画カメラ部 ２０３…表示部 ２０７…画像符号化／復号化部 ２０７ａ…画像符号化部 ２０７ｂ…画像復号化部 ２０８…ハンドセット ２１０…スピーカ部 ２１２…音声符号化／復号化部 ２１２ａ…音声符号化部 ２１２ｂ…音声復号化部 ２１４…分離多重化部 ２１５…システム制御部 ２１８…画像蓄積部 ２１９…音声蓄積部 ２２０…音声遅延部 ３０１…音声メモリ部 ３０２…入力音声選択部 ３０３…出力音声選択部 ３０４…出力音声監視部 ３０５…音声蓄積制御部

Claims (6)

【特許請求の範囲】
1. 【請求項１】 少なくとも画像情報と音声情報とを分離
   多重化手段より多重化すると共に符号化して通信するマ
   ルチメディア通信端末において、 前記分離多重化手段により分離された受信画像情報を蓄
   積する画像蓄積手段と、 前記分離多重化手段により分離された受信音声情報を蓄
   積する音声蓄積手段と、 リアルタイム通信時に前記分離多重化手段により分離さ
   れた受信画像情報と受信音声情報とを遅延させることな
   く出力する第１の出力制御手段と、 非リアルタイム通信に係る前記画像蓄積手段に蓄積され
   た受信画像情報を遅延させることなく出力し、前記音声
   蓄積手段に蓄積された受信音声情報を遅延させて出力す
   る第１の出力制御手段と、 を備えることを特徴とするマルチメディア通信端末。
2. 【請求項２】 前記画像情報は、動画像情報であること
   を特徴とする請求項１記載のマルチメディア通信端末。
3. 【請求項３】 前記第２の出力制御手段は、前記音声蓄
   積手段に蓄積された受信音声情報を遅延させて出力する
   場合の遅延時間を任意に設定する遅延時間設定手段を有
   することを特徴とする請求項１記載のマルチメディア通
   信端末。
4. 【請求項４】 少なくとも画像情報と音声情報とを分離
   多重化手段より多重化すると共に符号化して通信するマ
   ルチメディア通信端末において、 前記分離多重化手段により分離された受信画像情報を蓄
   積する画像蓄積手段と、 前記分離多重化手段により分離された受信音声情報を蓄
   積する音声蓄積手段と、 リアルタイム通信時に前記分離多重化手段により分離さ
   れた受信画像情報を遅延せることなく出力し、前記音声
   蓄積手段に蓄積された受信音声情報を第１の遅延時間だ
   け遅延させて出力する第１の出力制御手段と、 非リアルタイム通信に係る前記画像蓄積手段に蓄積され
   た受信画像情報を遅延せることなく出力し、前記音声蓄
   積手段に蓄積された受信音声情報を前記第１の延時時間
   より長い第２の延時時間だけ遅延させて出力する第２の
   出力制御手段と、 を備えることを特徴とするマルチメディア通信端末。
5. 【請求項５】 前記画像情報は、動画像情報であること
   を特徴とする請求項４記載のマルチメディア通信端末。
6. 【請求項６】 前記第１、第２の遅延時間を任意に設定
   する遅延時間設定手段を有することを特徴とする請求項
   ４記載のマルチメディア通信端末。