JP3707369B2 - テレビ電話装置 - Google Patents
テレビ電話装置 Download PDFInfo
- Publication number
- JP3707369B2 JP3707369B2 JP2000247943A JP2000247943A JP3707369B2 JP 3707369 B2 JP3707369 B2 JP 3707369B2 JP 2000247943 A JP2000247943 A JP 2000247943A JP 2000247943 A JP2000247943 A JP 2000247943A JP 3707369 B2 JP3707369 B2 JP 3707369B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- videophone
- image data
- jitter
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Communication Control (AREA)
- Telephonic Communication Services (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ＩＰ（internet protocol ）ネットワークを利用したテレビ電話装置に関し、特に、ネットワークにジッタが発生した後に連続してパケットデータが到達した場合であっても受信バッファがオーバーフローしにくく、このように通常のタイミングよりも遅れて到達したパケットデータを表示することで生じる表示画像の遅延を防止し、またジッタにより受信バッファが空となった後に受信した動画像データを破棄することなく正常に表示可能なテレビ電話装置に関する。
【０００２】
【従来の技術】
近年、ＩＰネットワークを利用するテレビ電話装置（システム）が普及してきている。
しかし、ＩＰネットワークにジッタが発生し、パケットデータがネットワークに滞留すると、ジッタ解消後、ネットワークにたまっていたパケットデータは、受信側テレビ電話装置の受信バッファに通常のタイミングよりも遅れて入力される。すなわち、ネットワークにジッタ（ゆらぎ）が発生したことで、ジッタが発生していた期間中に正常（通常）のタイミングで到達するはずであったパケットデータがジッタ解消後にまとめて、通常の受信タイミングよりも短い間隔で到達してしまう。
【０００３】
このようにジッタ解消後にパケットが連続して到達するため、従来のテレビ電話装置では、受信バッファがオーバーフローをおこしてしまうということが指摘されている。
【０００４】
また、受信側テレビ電話装置の動画像データの表示間隔時間と送信側テレビ電話装置の動画像データの取込時間とが同じである場合、ジッタ発生により一旦受信バッファの容量が空となり、正常なタイミングで画像表示装置での動画像（表示）データの更新がされない期間があると、ジッタが解消してパケットデータが到達して動画像データの表示を再開しても、この表示がされなかった期間分の表示遅延、すなわちジッタ遅延による動画像データの表示遅延が解消されなくなってしまう。これについて、図６、図２（ａ）〜（ｃ）を参照しながら説明する。
【０００５】
以下の説明においては、テレビ電話装置６００は、ネットワークに接続された他のテレビ電話装置と呼接続が正常に行われ、音声データ、および動画像データの通信を開始したものとする。上記他のテレビ電話装置の構成は、テレビ電話装置６００と同様のものとする。
【０００６】
ここでは、フロー制御装置１１４は、呼接続の際に、各端末が使用する音声データおよび動画像データの符号化方式、および復号化方式の情報を取得したものとする。
また、送信側テレビ電話装置６００の動画像データを取り込む間隔と、受信側テレビ電話装置６００の動画像データを表示する間隔とが同じであり、かつ、動画データ１フレームを１パケットデータとして送信しているものとする。例えば、送信側の動画像入力装置１０３が３０フレーム毎秒の動画像取り込み能力を有し、１パケットに１フレームのデータをパケット化して送信し、受信側の動画像表示装置も３０フレーム毎秒の動画像表示能力を有している場合等である。
【０００７】
図６は、従来のテレビ電話装置の内部構成図である。図６によれば、テレビ電話装置６００は、音声入力装置１０２と、動画像入力装置１０３と、符号化装置１０６と、パケット化装置１０８と、送信バッファ１１１と、通信制御装置１１３と、受信バッファ１１２と、ストリーム化装置１０９と、復号化装置１０７と、音声出力装置１０４と、動画像バッファ１０５と、を有し、通信回線１１６を介して上記他のテレビ電話装置と接続する。
【０００８】
送信側テレビ電話装置６００の送信バッファ１１１には、動画像入力装置１０２から入力され符号化装置１０６で符号化されパケット化装置１０８でパケット化された動画像データが格納される。このパケットデータは、通信制御装置１１３を介して通信回線１１６に送出され、受信側テレビ電話装置６００に入力される。受信側テレビ電話装置６００の通信制御装置１１３を介して受信バッファ１１２に格納されたパケットデータは、ストリーム化装置１０９で上記パケット化の際に付加されたデータが削除され動画像データとなり、復号化装置１０７で復号化され、動画像バッファ１０５に出力される。この動画像データは、画像表示装置に送出され、画像が表示される。
【０００９】
図２（ａ）は、送信側のテレビ電話装置６００の送信バッファ１１１が通信制御装置１１３を介して通信回線１１６へパケットデータを送出するタイミングの一例を示す図である。図２（ａ）に示すように、送信バッファ１１１は、一定のタイミングでパケットデータを送出する。
図２（ｂ）は、受信側のテレビ電話装置６００の受信バッファ１１２が通信制御装置１１３を介して受信したパケットデータを示す。
なお、図２は、左側から右側へ時間軸がとられている。
【００１０】
図２（ａ）、および（ｂ）に示すパケットに付された数字が同じ数である場合、これらのパケットは、同一のものであることを示す。すなわち、図２（ａ）に「１」と付されたパケットは、図２（ｂ）に「１」と付されたパケットと同一である。
つまり、図２（ａ）、および（ｂ）は、送信側のテレビ電話装置６００の送信バッファ１１１から通信制御装置１１３を介して通信回線１１６へ送出されたパケット「１」が受信側のテレビ電話装置６００の通信制御装置１１３を介して受信バッファ１１２に格納されたことを示している。この際、送信バッファ１１１から送信されてから受信バッファ１１２に受信されるまでには時間を要するため、図２（ｂ）における「１」と付されたパケットデータは、図２（ａ）に「１」と付されたパケットデータよりも右側に記されている。
【００１１】
図２に示す例では、（ｂ）に「Ｊ１」と示す期間中、通信回線１１６上でジッタが発生していたものとする。すなわち、ＩＰネットワーク上でジッタが発生していたものとする。そのため、パケットデータ「２」以降のパケットデータは、送信側のテレビ電話装置６００の送信バッファ１１１から出力されているにも関わらず、この「Ｊ１」期間中には、受信側のテレビ電話装置６００の受信バッファ１１２には入力されない。このようにジッタが発生すると、受信側テレビ電話装置の受信バッファ１１２には送信側テレビ電話装置の送信バッファ１１１から出力されたパケットが到達しない期間が生じてしまう。
【００１２】
そして、このジッタが解消すると、図２（ｂ）に「Ｊ２」と示す期間にあるように、パケットが連続して到達する。すなわち、ネットワークにたまっていたパケットデータは、送信バッファ１１１による送信間隔、すなわち正常なパケット受信間隔よりもよりも短い間隔で連続して受信バッファ１１２に到達する。
図２（ｂ）に示すように、パケットデータ「８」の到達以降、上記ジッタによるパケットデータ到達の遅れは解消し、通常のタイミングによりパケットデータが到達するものとする。
【００１３】
図２（ｃ）には、画像バッファ１０５の動画像データの更新状況の一例を示す。なお、受信側のテレビ電話装置６００の画像バッファ１０５が画像表示装置に表示する表示データ（動画像データ）を更新する間隔は、前記したように、送信側のテレビ電話装置６００が動画像入力装置１０３から動画像データを取り込む間隔と同じとしている。図２（ｃ）は、（ｂ）に示す受信バッファ１１２で受信したパケットデータが復号された動画像データの更新を示す。また、図２（ｃ）も、図２（ａ）、（ｂ）と同様に時間軸が左側から右側にとられ、「１」と付された動画像データは、「１」と付されたパケットデータと同じデータ（動画像データ）を含むものとする。すなわち、受信バッファ１１２に入力されたパケットデータ「１」は、ストリーム化装置１０９でストリーム化され復号化装置１０７で復号された動画像データ「１」となり動画像バッファ１０５に入力されたものとする。
【００１４】
図２（ｂ）の「Ｊ１」期間では、ネットワークにおいてジッタが発生しているため、画像バッファ１０５は、データが更新されない。すなわち、受信バッファ１１２には、パケットデータ「２」以降のパケットデータがないため、画像バッファ１０５を更新することができない。従って、この間、画像表示装置にはジッタが発生する前の動画像データ、すなわちパケット番号「１」の動画像データが表示される。
【００１５】
図２（ｂ）の「Ｊ２」期間では、受信バッファ１１２は、連続してパケットデータを受信する。従って、画像バッファ１０５は、動画像データが順次更新される。すなわち、パケット番号「２」の動画像データは、ジッタ解消後の正常ではないタイミングで画像表示装置に表示される。
【００１６】
前記したように、受信側テレビ電話装置６００は、画像表示装置に表示する表示データ（動画像データ）を更新する間隔が、送信側テレビ電話装置６００が動画像入力装置１０３から動画像データを取り込む間隔が同じである。そのため、「Ｊ１」期間において一度ジッタが生じると、画像表示装置に表示される表示データが更新される間隔は、正常なタイミングに戻ることがなくなってしまう。すなわち、連続して到達したパケットデータを復号し画像バッファ１０５を更新しても、受信バッファ１１２が一度空になってしまった場合、図２（ｃ）に示す「２」と付した表示データ以降の表示データのように、表示画像に遅延が発生してしまう。
【００１７】
言い換えれば、前記したように送信側テレビ電話装置６００の動画像入力装置の動画像取り込み能力と受信側テレビ電話装置６００の動画像表示能力とが同じである場合、受信側テレビ電話装置の画像表示が１コマでも遅れると、この後の画像表示もすべて遅延してしまうのである。
この表示画像の遅延は、ネットワークでパケットロスが発生し送信された動画像データがなくなるか、または受信バッファ１１２が正常なタイミングに戻るように動画像データを破棄しない限り、解消されずに蓄積されてしまう。
このように、ネットワークにジッタが発生した場合、表示遅延が蓄積してしまうということが指摘されている。
【００１８】
さらに、受信側テレビ電話装置６００は、動画像データの表示間隔時間が送信側テレビ電話装置の動画像データの取込時間よりも短い場合には、ジッタ発生により一旦受信バッファ１１２の容量が空になると、ジッタが解消してパケットが到達し始めてから動画像データが正常（通常）のタイミングで表示されるようになるまでに長い時間を必要としてしまうということが指摘されている。以下、これについて、図１、図２（ａ）、（ｂ）、（ｄ）を参照しながら説明する。
なお、図２（ｄ）も、図２（ａ）、（ｂ）と同様に時間軸が左側から右側にとられ、図２（ｃ）と同様に「１」と付された動画像データは、「１」と付されたパケットデータと同じデータを含むものとする。
【００１９】
図２（ｄ）は、受信側テレビ電話装置６００が画像表示装置に表示データを表示する更新間隔が送信側テレビ電話装置６００が動画像入力装置１０３から動画像データを取り込む間隔よりも短い場合であることを除き、図２（ｃ）と同じ条件である。例えば、送信側の動画像入力装置１０３が１０フレーム毎秒の動画像取込能力を有し、１パケットに１フレームのデータをパケット化し送信するのに対し、受信側の動画像表示装置は、３０フレーム毎秒の動画像表示能力を有し、受信するパケット間隔より短い間隔で表示することができる場合である。
【００２０】
図２（ｄ）に示すように、ジッタが発生している期間「Ｊ１」に対応する期間においては、表示画像が「１」と付された表示データのまま更新されない。「Ｊ２」に対応する期間においては受信バッファ１１２に連続して入力されたパケットデータが、送信側の動画像入力装置１０３の動画像取込能力よりも短い間隔で動画像を表示している。「８」と付された動画像データは、通常のタイミングで画像バッファ１０５に格納されるようになる。このように、正常のタイミングで動画像データが表示されるようになるまで、すなわち画像バッファ１０５の更新間隔が送信側のテレビ電話装置の送出間隔と同じになるまで、ある程度の時間（図２の場合、動画像データ「８」が表示されるまでの期間）を要してしまうということが指摘されている。
【００２１】
これに対し、特許第２９４７３０２号には、入力信号の符号化データを階層化して、画質に与える影響の大きい成分から先にパケットに伝送するか、または、入力信号を帯域分割し、帯域に応じた符号化を行い、低域成分の符号化データから先にパケット伝送する第１の従来技術が開示されている。
【００２２】
また、特開平１１−１７７６２３号公報には、受信側装置がジッタを監視し、このジッタと受信データのバッファリング量とを制御して、再生データを再生するための調整を行う第２の従来技術が開示されている。より詳しくは、この第２の従来技術は、送信パケットを受信するためのバッファリング量をできる限り小さくして頭出しを早くすることと、再生の途切れをなくすためにバッファリング量を増やすという両課題を解決すべく、会話における無音部分をカットしたり、捨てていいデータを捨てる等、ネットワーク状態の長期的な変化を示す伝送ジッタ算出部からの出力に対しては受信側のバッファリング量を緩やかに変化させ、短期的な変化に対しては受信側のバッファリング量を急激に変化させ、短期的な劣化状態が解消されたら元のバッファリング量に戻し、遅延量の時間的推移に対してバッファリング量を最適に設定するよう制御する。
【００２３】
【発明が解決しようとする課題】
しかしながら、上記第１の従来技術によれば、高速パケット網にジッタ遅延が生じた場合に、受信局がもつ映像フレーム同期内に受信したパケットから得られるデータを用いて画像の復号を行っても、画像形成に影響の大きいデータの欠落がなく、リアルタイム性を損なうことなく、乱れのない画像を復号することを可能とするが、ジッタ発生後に連続して到達するパケットにより受信バッファがオーバーフローすることや、表示遅延が蓄積されてしまうこと、正常な表示タイミングに戻るまで時間を要してしまうということ等については何ら対応策を示しているとはいえない。
【００２４】
また、上記第２の従来技術によれば、通常の大きさのパケットデータが送られてくるため、ジッタ解消後パケットデータを通常のタイミングで受信するまでには非常に多くの時間を要してしまう。従って、表示遅延が蓄積されてしまうことや、正常な表示タイミングに戻るまで時間を要してしまうということ等について、有効な対応策を示しているとはいえない。
【００２５】
本発明は、上記問題点に鑑みなされたものであり、ネットワークにジッタが発生した場合、送信側テレビ電話装置が動画像データの符号化ビットレートを下げることにより、受信側テレビ電話装置の受信バッファの見かけ上の容量を増やし、ジッタ発生後に連続して到達するパケットによる受信バッファのオーバーフローを防止するテレビ電話装置を提供することを目的とする。
【００２６】
本発明の他の目的は、受信側テレビ電話装置の動画像データの表示間隔時間と送信側テレビ電話装置の動画像データの取込時間とが同じで、ネットワーク上にバッファ発生が発生した場合に、受信側テレビ電話装置がパケットを正常のタイミングで受信するまで動画像データの表示を更新せず、正常なタイミングで受信した後に表示を更新することにより、動画像データの表示遅延が蓄積してしまうことを防止するテレビ電話装置を提供することである。
【００２７】
本発明の他の目的は、受信側テレビ電話装置の動画像データの表示間隔時間よりも送信側テレビ電話装置の動画像データの取込時間の方が長く、ネットワーク上にバッファ発生した場合に、送信側テレビ電話装置が動画像データの符号化ビットレートを下げることで、受信側テレビ電話装置がパケットを正常のタイミングで表示し始めるまでに要する時間を短くするテレビ電話装置を提供することである。
【００２８】
本発明の他の目的は、ジッタが発生した後、動画像データを正常なタイミングで表示可能となるまでの間に、フレームデータである符号化データを表示することにより、表示を再開するまでの時間を短縮し、かつ高品質な画像を表示することが可能となるテレビ電話装置を提供することである。
【００２９】
本発明の他の目的は、ジッタが発生した後、動画像データを正常なタイミングで表示可能となるまでの間に、特にジッタが発生している最中に到達した動画像データの表示を更新することを可能とするテレビ電話装置を提供することである。
【００３０】
【課題を解決するための手段】
かかる目的を達成するために、請求項１記載のテレビ電話装置の発明によれば、 複数のテレビ電話装置間でデータ通信を行うネットワークのテレビ電話システムに使用され、ジッタが発生しているか判定するジッタ判定手段を有するテレビ電話装置において、該テレビ電話装置は、動画像データの符号化ビットレートを下げるビットレート制御手段と、該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにする動画像データ出力制御手段と、を有し、前記動画像データ出力制御手段は、第１の動作として、該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにし、前記ジッタ判定手段により、入力されるパケットデータのタイミングに基づいて該ネットワークにジッタが発生していると判定された場合に、前記動画像データ出力制御手段は、第２の動作として、動画像データを画像表示装置へ出力する間隔が送信側テレビ電話装置の動画像取り込み間隔よりも短い間隔である場合には、前記ネットワークにジッタが発生していると判定しても、動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力することを特徴とする。
【００３１】
請求項２記載の発明によれば、複数のテレビ電話装置間でデータ通信を行うネットワークのテレビ電話システムに使用され、ジッタが発生しているか判定するジッタ判定手段を有するテレビ電話装置において、該テレビ電話装置は、動画像データの符号化ビットレートを下げるビットレート制御手段と、該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにする動画像データ出力制御手段と、を有し、前記動画像データ出力制御手段は、第１の動作として、該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにし、前記ジッタ判定手段により、入力されるパケットデータのタイミングに基づいて該ネットワークにジッタが発生していると判定された場合に、前記動画像データ出力手段は、第２の動作として、動画像データがフレーム内符号化されたデータである場合には、ネットワークにジッタが発生していると判定しても、動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力する、ことを特徴とする。
【００３２】
請求項３記載の発明によれば、複数のテレビ電話装置間でデータ通信を行うネットワークのテレビ電話システムに使用され、ジッタが発生しているか判定するジッタ判定手段を有するテレビ電話装置において、該テレビ電話装置は、動画像データの符号化ビットレートを下げるビットレート制御手段と、該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにする動画像データ出力制御手段と、を有し、更に、該ネットワークに接続されたテレビ電話から入力されたパケットデータから作製した動画像データを記憶する動画像復号データバッファと、を有し、前記動画像データ出力制御手段は、第１の動作として、該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにし、前記ジッタ判定手段により、該ネットワークにジッタが発生している場合に、前記動画像データ出力制御手段は、第２の動作として、前記動画像復号データバッファに記憶された動画像データよりも後である最新の動画像データが作成されていない場合、該動画像復号データバッファに記憶された動画像データを画像表示装置に出力する、ことを特徴とするとする。
【００３３】
請求項４記載の発明によれば、複数のテレビ電話装置間でデータ通信を行うネットワークのテレビ電話システムに使用され、ジッタが発生しているか判定するジッタ判定手段を有するテレビ電話装置において、該テレビ電話装置は、動画像データの符号化ビットレートを下げるビットレート制御手段と、該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにする動画像データ出力制御手段と、を有し、更に、該ネットワークに接続されたテレビ電話から入力されたパケットデータから作製した動画像データを記憶する動画像復号データバッファと、を有し、前記動画像データ出力制御手段は、第１の動作として、該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにし、前記ジッタ判定手段により、該ネットワークにジッタが発生していると判定された場合に、前記動画像データ出力制御手段は、第２の動作として、動画像データがフレーム内符号化されたデータである場合には、ネットワークにジッタが発生していると判定しても、動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力し、前記動画像復号データバッファに記憶された動画像データよりも後である最新の動画像データが作成されていない場合、該動画像復号データバッファに記憶された動画像データを画像表示装置に出力する、ことを特徴とする。
【００３４】
請求項５記載の発明によれば、請求項１〜４のいずれか１項に記載の発明において、前記ジッタ判定手段により、該ネットワークにジッタが発生していると判定された場合に、該ジッタ判定を行ったテレビ電話装置から該ネットワークに接続されたテレビ電話装置に対して、動画像データの符号化ビットレートを所定のレートに下げるよう変更指示を出すビットレート変更指示手段と、前記変更指示を受けたテレビ電話装置にて、動画像データの符号化ビットレートを下げるビットレート変更手段と、を有することを特徴としている。
【００３５】
請求項６記載の発明によれば、請求項１〜５のいずれか１項に記載の発明において、前記第１の動作及び第２の動作のいずれかを行う判断を、画像表示装置の表示能力と、呼接続時に決定した使用する符号化方式をもとに計算した受信バッファのパケットデータ受信間隔と、を比較することにより、前記表示能力が前記パケットデータ受信間隔よりも小さい場合には前記第２の動作を行うことを特徴とする。
【００４５】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面を参照しながら詳細に説明する。
【００４６】
以下には、本発明によるテレビ電話装置について説明する。また、本発明によるテレビ電話装置を複数有するテレビ電話システムは、このテレビ電話装置が複数、ＩＰネットワークに接続されたものである。
このテレビ電話装置は、ネットワークにジッタが発生しているか判定し、ネットワークにジッタが発生している場合、符号化ビットレートを所定のレートに下げる。また、ネットワークにジッタが発生している場合、入力されたパケットデータから作製した動画像データの出力を行わない。
なお、動画像データを画像表示装置へ出力する間隔が送信側テレビ電話装置の動画像取り込み間隔よりも短い間隔である場合にはネットワークにジッタが発生しても動画像データの出力を行うようにしてもよい。また、動画像データがフレーム内符号化されたデータである場合にはネットワークにジッタが発生しても動画像データの出力を行うようにしてもよい。また、ネットワークがジッタに発生している場合、入力されたパケットデータから作製した動画像データを記憶する動画像復号データバッファをさらに有し、動画像符号データバッファに記憶された動画像データよりも最新の動画像データが作製されていない場合、動画像符号データバッファに記憶された動画像データを出力するようにしてもよい。
以下に詳述する。
【００４７】
＜第１のテレビ電話装置の構成＞
図１は、本発明による第１のテレビ電話装置の構成を示す構成図である。テレビ電話装置１０１は、通信回線１１６を介してネットワークに接続された図示しないテレビ電話装置と接続し、このテレビ電話装置と音声データ、および動画像データ等の通信を行う回路装置である。
【００４８】
音声入力装置１０２は、音声の入力、すなわち音声を音声信号（データ）に変換し装置に入力するもので、例えばマイクロフォン等を用いることができる。
動画像入力装置１０３は、テレビ電話装置に取り込む動画像キャプチャ装置等の動画像を動画像データに変換し装置に入力するもので、例えばＣＣＤ（charge coupled device ）カメラやＮＴＳＣ（national television system committee）カメラ等を用いることができる。
【００４９】
符号化装置１０６は、音声入力装置１０２、および動画像入力装置１０３と接続し、入力された音声データ、および動画像データの符号化を行い符号化データを作製し、この符号化データをパケット化装置１０８へ出力する。
パケット化装置１０８は、上記符号化データを通信制御装置１１３を介して通信回線１１６で通信を行うためのデータ形式である所定のパケットに変換し、パケットデータを作製する。
【００５０】
送信バッファ１１１は、パケット化装置１０８から入力されたパケットデータを格納するバッファメモリである。このパケットデータは、通信制御装置１１３からの指示により通信制御装置１１３、通信回線１１６を介して相手方のテレビ電話装置へ送出される。
通信制御装置１１３は、通信回線１１６を介し、送信バッファ１１１に蓄えられたパケットデータを相手方のテレビ電話装置へ送信する。また、相手方のテレビ電話装置から通信回線１１６を介し送信されてきた（音声データ、動画像データが符号化され、パケット化された）パケットデータを受信し、これを受信バッファ１１２に入力する。
受信バッファ１１２は、通信制御装置１１３を介して通信回線１１６から受信したパケットデータを一時的に格納するバッファメモリである。
【００５１】
ストリーム化装置１０９は、パケット化時に付加されたパケットヘッダ情報等を削除し、受信バッファ１１２に蓄えられたパケットデータを音声データ、および動画像データに分割し、ストリーム形式のデータとする。
復号化装置１０７は、ストリーム化装置１０９から入力されたデータを復号し、音声データ、および動画像データを作製する。この音声データは、音声出力装置１０４へ出力され、動画像データは、動画像バッファ１０５へ出力される。
【００５２】
音声出力装置１０４は、音声の出力、すなわち音声信号を音声に変換し出力するもので、例えばスピーカやヘッドフォン等を用いることができる。
動画像バッファ１０５は、図示しない画像表示装置（ＬＣＤ（liquid crystal display）装置、ディスプレイ等）で再生される動画像データを格納するバッファであり、この動画像データを上記画像表示装置へ送出する。なお、画像表示装置は、テレビ電話装置１０１の内部にあってもよく、また外部にあってもよい。
【００５３】
データ制御装置１１０は、相手方のテレビ電話装置との呼接続や、ストリーム通信中における符号化装置１０６、復号化装置１０７等の制御等の各種制御を行う。
フロー制御装置１１４は、通信制御装置１１３を介して通信相手から送られてくるネットワークのジッタ情報、パケットロス情報、ラウンドトリップタイム情報等のネットワーク状況の情報、自端末のＣＰＵ性能、および通信開始時の相手端末の音声・動画像の符号化・復号化能力等に基づき、符号化装置１０６、および通信制御装置１１３の制御を行う（符号化制御、送出制御）。
【００５４】
データ入出力装置１１５は、ユーザからテレビ電話装置１０１への指示が入力され、この指示をデータ制御装置１１０へ通知する。また、ユーザへ相手端末からの着信を示す情報、自端末の情報、データ制御装置１１０から入力された情報等の所定の情報が報知する。例えば、テンキーやキーボタン等の入力手段を有し、通信先番号が入力され、またＬＥＤ（light emitting diode）ランプやＬＣＤ等の報知手段を有し、自端末の状態をユーザに報知したり、データ制御装置１１０から入力された情報を表示する。
【００５５】
＜第１の動作＞
以下、本発明による送信側テレビ電話装置の動画像取り込み間隔と同じ間隔で動画像データを画像表示装置へ出力するテレビ電話装置のネットワークにジッタが発生した場合の動作（第１の動作）を、図１、および図３を参照しながら説明する。
なお、この説明では、送信側テレビ電話装置１０１の動画像データの取込間隔と、受信側テレビ電話装置１０１の動画像データの表示間隔とが同じものとする。すなわち、図２（ｃ）に示す従来技術の説明と同様の条件である。
また、この送信側と受信側テレビ電話装置１０１のそれぞれのパケットデータ送信間隔は同じものとする。
【００５６】
テレビ電話装置１０１は、受信バッファ１１２に入力されるパケットデータのタイミングに基づき、ネットワークにジッタが発生しているか判断し、ネットワークにジッタが発生している場合、動画像データの符号化のビットレートを下げ、小さな符号化データを作製するようにする。
以下に詳述する。
【００５７】
図３は、図２と同様に左側から右側へ時間軸をとる。
また、図３（ａ）には、送信側テレビ電話装置１０１の受信バッファ１１２に入力されたパケットデータを示す。図３（ｂ）には、送信側テレビ電話装置１０１の送信バッファ１１１から送信されたパケットデータを示し、（ｃ）には、受信側テレビ電話装置１０１の受信バッファ１１２に入力されたパケットデータ、（ｄ）には、このパケットデータから受信側テレビ電話装置１０１の動画像バッファ１０５に展開された動画像データを示す。図３（ｂ）〜（ｄ）に付された番号は、すべて同一の動画像データを有していることを示す。すなわち、図３（ａ）におけるパケットデータと、図３（ｂ）〜（ｄ）のパケットデータ・動画像データとは、同一の番号が付されていても異なるものである。
【００５８】
テレビ電話装置１０１は、通信相手先のテレビ電話装置１０１への呼接続時に、パケットデータを受信するタイミングを取得する。これは、例えば、各端末が使用する音声データ・動画像データの符号化・復号化方式の情報を交換しあった後に決定した動画像データの符号化・復号化方式から計算することができる。この計算により得られた（パケット）データの受信間隔は、データ制御装置１１０に登録されるようにしてもよい。
【００５９】
図３（ａ）は、送信側テレビ電話装置１０１における受信バッファ１１２に入力されるパケットデータの説明のための一例を示す。図３（ａ）に示すように、パケットデータ「１」が入力された後、ネットワークにジッタが発生し、パケットデータ「２」は、所定（正常、通常）のタイミングに入力されていない。また、ジッタ解消後、パケットデータ「２」からパケットデータ「７」までのパケットデータは、受信バッファ１１２に連続して入力される。パケットデータ「８」以降のパケットデータは、所定（正常、通常）のタイミングで入力される。
【００６０】
受信バッファ１１２は、常時、受信バッファ１１２におけるパケットデータの受信タイミングを監視する。この受信タイミングの監視は、前記したようなあらかじめ決定されている（パケット）データの受信間隔通りにパケットデータが受信されているか監視することにより行うようにしてもよい。すなわち、パケットデータには、送信時、順次インクリメントされたシーケンス番号が付加されているため、上記呼接続時に決定したパケットデータの受信タイミングとロスした（到達していない）パケットデータとを比較することで、ロスしたパケットデータ（通常のタイミングに入力されなかったパケットデータ）を把握することが可能となる。すなわち、受信バッファ１１２は、呼接続時に決定した受信タイミングから計算した判断時点で到達しているはずのパケット数と入力されたパケットデータに付加されたシーケンス番号との一致を見ることでパケットロスの発生状況を監視する。
なお、動画像データに付加されているタイムスタンプ情報等を用いて、上記受信間隔通りにパケットデータが受信されているか判断するようにしてもよい。また、音声パケット（音声データ）に付加されたタイムスタンプ情報等を用いて、正常なタイミングにパケットデータが入力されているか把握するようにしてもよい。
【００６１】
このようにパケットデータが所定のタイミングに到達しなかった場合、受信バッファ１１２は、ネットワークにジッタが発生したと判断し、これをフロー制御装置１１４へ通知する。この通知を受けたフロー制御装置１１４は、動画像データの符号化における（符号化）ビットレートを下げるようにデータ制御装置１１０を介して符号化装置１０６に指示する。
【００６２】
図３（ａ）に示すように、送信側テレビ電話装置１０１の受信バッファ１１２は、パケットデータ「２」が所定のタイミングで入力されていない。従って、受信バッファ１１２は、ネットワーク（通信回線１１６）にジッタが発生したものと判断し、これをフロー制御装置１１４へ通知する。
フロー制御装置１１４は、前記したように、符号化装置１０６に符号化ビットレートを下げるように通知する。
【００６３】
上記通知をうけた送信側テレビ電話装置１０１の符号化装置１０６は、（符号化）ビットレートを下げる。これにより、符号化装置１０６は、符号化する際に符号量制御を行い、通常の符号化データに比べ、小さいデータ量の符号化データを作製し、パケット化装置１０８を介して送信バッファ１１１に格納する。従って、ビットレートが下げられた後に送信バッファ１１１に格納されるパケットデータは、通常のパケットデータ（図３（ｂ）に示すパケットデータ「１」〜「３」）のデータ量と比べ、小さなデータ量（図３（ｂ）に示すパケットデータ「４」以降）となる。
なお、このビットレートは、所定のレートとしてもよく、ジッタの状況により任意のレートとしてもよい。
【００６４】
通信制御装置１１３は、ネットワークにジッタが発生しているか否かに関わらず、送信バッファ１１１に格納されているパケットデータを、通常のタイミングで通信回線１１６へ送信する。すなわち、ビットレートが下がる前の（「１」〜「３」と付された）パケットデータも、ビットレートが下がった後の（「４」と付されたもの以降の）パケットデータも、順番通り、所定のタイミングで通信回線１１６に送出される。
【００６５】
図３（ｃ）は、受信側テレビ電話装置１０１の受信バッファ１１２に入力されたパケットデータの受信タイミングを示す。図３（ｃ）に示すように、「Ｊ１」と示す期間には、前記したようにジッタが発生しているため、パケットデータは到達しない。次いで、「Ｊ２」と示す期間には、ジッタが解消し、ネットワークにたまっていたパケットデータが連続して到達する。「７」と記すパケットデータ以降は、通常のタイミングにパケットデータが到達している。なお、「４」と付されたパケットデータ以降のパケットデータは、前記したようにビットレートが下げられて符号化されているため、図３（ｃ）には、小さく描かれている。
【００６６】
受信側テレビ電話装置１０１の受信バッファ１１２は、前記した送信側テレビ電話装置１０１と同様に、パケットデータの受信タイミングを監視し、ジッタが発生したか、ジッタにより生じたパケットデータの受信タイミングの遅延が解消され、正常のタイミングにパケットを受信しているか監視する。この監視方法としては、どのような方法を用いてもよいが、前記したようにパケットデータに付加されたシーケンス番号と呼接続時に決定された情報に基づき計算したパケットデータの受信タイミングとを比較することで行うようにしてもよい。また、動画像データに含まれるタイムスタンプ情報に基づき正常な受信タイミングであるか判断するようにしてもよく、音声パケットに含まれるタイムスタンプ情報に基づき正常な受信タイミングであるか判断するようにしてもよい。
【００６７】
受信バッファ１１２は、ネットワーク（通信回線１１６）にジッタが発生したことを検知した場合、これをフロー制御装置１１４に通知する。この通知をうけたフロー制御装置１１４は、動画像データを動画像バッファ１０５へ出力しないよう、データ制御装置を介して復号化装置１０７に指示する。この指示を受けた復号化装置１０７は、作製した動画像データを動画像バッファ１０５へ出力しない。すなわち、図３（ｃ）の「Ｊ２」期間に示すように、パケットデータ（「２」〜「６」のパケットデータ）が受信バッファ１１２に到達していても、動画像バッファ１０５には、この指示が出されている間、動画像データが入力されない。従って、この間の（「２」〜「６」の）動画像データは、画像表示部に表示されない。
【００６８】
受信バッファ１１２にパケットデータが到達するタイミングが正常に戻ると、受信バッファ１１２は、フロー制御装置１１４にこれを通知する。フロー制御装置１１４は、復号化装置１０７に、復号化した動画像データを動画像バッファ１０５へ出力するようにデータ制御装置１１０を介して通知する。この通知を受けた復号化装置１０７は、復号化を行った動画像データを動画像バッファ１０５へ出力する。すなわち、動画像バッファ１０５は、図３（ｄ）に示すように（「７」と示す）動画像データが入力され、これを画像表示部に出力する。なお、パケットデータが受信バッファ１１２に入力されるタイミングが正常なタイミングであるか判断する方法としては、例えば、前記したようにパケットデータに付加されたシーケンス番号に基づき判断するようにしてもよく、動画像データに含まれるタイムスタンプ情報に基づき判断するようにしてもよく、音声データに含まれるタイムスタンプ情報に基づき判断するようにしてもよい。
【００６９】
すなわち、画像バッファ１０５は、ネットワーク（通信回線１１６）にジッタが発生した後、ジッタによる（パケットデータの）到達遅延が発生している間、到達遅延発生前のデータを画像表示装置に表示し続ける。図３（ｄ）に示す場合、ジッタによる到達遅延が発生している間、到達遅延発生前のデータである「１」と付された動画像データが表示され続ける。
画像表示装置の表示が更新されるのは、受信バッファ１１２にパケットデータが通常のタイミングで到達し始めてからとなる。従って、図３（ｄ）に示す場合、「７」と示す動画像データが復号化装置１０７で復号化され、動画像バッファ１０５に格納された後、画像表示装置の表示が更新される。
このように、ネットワークにジッタが発生した場合であっても、画像表示装置の表示遅延を防止することを可能としている。
【００７０】
通信側テレビ電話装置１０１は、符号化装置１０６において下げた符号化のビットレートを所定のタイミングにもとのビットレートに戻す。例えば、この所定のタイミングは、受信バッファ１１２にパケットデータが連続して到着したパケット数と到着しなかったパケット数とを比較して、両者が一致していると判断した場合としてもよい。すなわち、通信側テレビ電話装置１０１の受信バッファ１１２に入力されるパケットデータのタイミングが正常に戻った後に符号化ビットレートをもとに戻すようにする。
また、ジッタ発生後、受信バッファにパケットデータが到達した後としてもよく、受信バッファに入力されるパケットデータのタイミングと上記通常時のタイミングとのずれが所定の差以下になった場合、もとに戻すようにしてもよい。
【００７１】
なお、パケットデータが入力されるタイミングが上記所定のタイミングであるか否かは、上述のごとくタイムスタンプ情報等に基づき行うようにしてもよく、また音声パケットを用いて行うようにしてもよい。
このように、この所定のタイミングは、受信側テレビ電話装置１０１の受信バッファ１１２にパケットデータが格納されるタイミングとは無関係のタイミングとしてもよい。
【００７２】
上記実施の形態によれば、ネットワークにジッタが発生した場合に、送信側のテレビ電話装置が符号化ビットレートを下げることで、受信側テレビ電話装置におけるパケット遅延の蓄積を防止することが可能となる。
また、ジッタ解消後に連続してパケットデータが到達した場合であっても、受信側テレビ電話装置の受信バッファのオーバーフローを符号化ビットレートが下げられていない場合に比して遅らせることが可能となる。すなわち、ビットレートを下げたことにより、この受信バッファの見かけ上の容量、つまり格納可能なパケット数が多くなる。そのため、ネットワークのジッタ解消後に連続してパケットデータが到達しても、多くのパケットデータを格納することが可能となる。
【００７３】
なお、前記したように復号化装置１０７は、復号化した動画像データを動画像バッファ１０５へ出力するのを中止してから再開するまでの間、所定のデータのみ動画像バッファ１０５に出力するようにしてもよい。これにより、ジッタ遅延解消まで、動画像（表示）データの更新が一切行われないということはなくなる。
例えば、上記所定のデータは、フレーム内符号化されたデータとすると、フレーム間で差分がとられ符号化されたデータ（Intra Frame/Intra Block ）は、動画像バッファ１０５に出力されず、画像表示装置に表示されなくなる。これにより、表示遅延を防止しながらも、表示データの更新が一切行われないということがなくなる。
【００７４】
また、上記ビットレートの変更は、受信バッファ１１２の容量に基づき変更するようにしてもよい。すなわち、受信バッファ１１２の容量が第１のしきい値以下になった場合にビットレートを下げ、受信バッファ１１２の容量が第２のしきい値（第１のしきい値と同じ値としてもよい）を超えた場合にビットレートをもとに戻すようにしてもよい。すなわち、パケットロスやジッタが発生した場合、受信バッファ１１２に入力されるパケットデータが少なくなるため、受信バッファ１１２に格納されたデータの量（容量）が上記しきい値以下になった場合、ネットワークにジッタが発生したものと判断するようにしてもよい。
【００７５】
＜第２の動作＞
以下、図４を参照しながら、受信側テレビ電話装置１０１が画像表示装置に動画像（表示）データを表示する間隔が、送信側テレビ電話装置１０１の動画像入力装置１０３が動画像データを取り込む間隔よりも短い場合におけるテレビ電話装置の動作（第２の動作）を説明する。
図４（ａ）〜（ｄ）は、図３（ａ）〜（ｄ）と上記条件のみ異なる場合を示す。すなわち、受信側テレビ電話装置１０１の画像表示装置に動画像（表示）データを表示する間隔が図３の条件よりも短い点のみ異なることから、図３（ａ）〜（ｃ）と図４（ａ）〜（ｃ）は同一であり、図３（ｄ）と図４（ｄ）のみが異なっている。
【００７６】
前記したように送信側テレビ電話装置１０１の符号化装置１０６のビットレートが下げられた場合、受信側テレビ電話装置１０１の受信バッファ１１２には、図４（ｃ）に示すように、ネットワークにジッタが発生した「Ｊ１」期間後、ジッタが解消した「Ｊ２」期間において通常のビットレートで符号化されたパケットデータ「２」「３」が到着し、次いでビットレートが下げられ符号化されたパケットデータ「４」以降のパケットデータが到達する。
【００７７】
ここで、ビットレートの設定は、上記第１の動作と同様に行うものとする。すなわち、送信側テレビ電話装置１０１の受信バッファ１１２の受信タイミング、または格納されているデータ量を監視することでジッタの発生、および解消を確認し、符号化ビットレートを変更するものとする。
【００７８】
この場合、前記した第１の動作とは異なり、フロー制御装置１１４は、復号化装置１０７にて復号化した動画像データを動画像バッファ１０５に出力する。すなわち、図４（ｄ）に示すように、動画像データ「２」以降の動画像データは、動画像バッファ１０５に出力され、画像表示装置に表示される。そして、「７」と付された動画像データからは、通常のタイミングで画像バッファ１０５に格納され、画像表示装置に表示される。
【００７９】
このように、ネットワークにジッタが発生した場合、ビットレートを下げることにより、動画像（表示）データが画像表示装置に表示されるタイミングが、より早く正常に戻ることとなる。
また、前記したように、符号化ビットレートが下げられていることにより、受信バッファのオーバーフローを防止することが可能となる。
【００８０】
なお、テレビ電話装置１０１は、上記第１の動作を行うか上記第２の動作を行うかの判断を、画像表示装置の表示能力と、呼接続時に決定した使用する符号化方式をもとに計算した受信バッファ１１２のパケットデータ受信間隔と、を比較することで行うようにしてもよい。すなわち、この比較の結果が前記した第１の動作における条件を満たす場合、動画像データを画像バッファ１０５へ出力しない上記第１の動作を行い、上記第２の動作における条件を満たす場合、動画像データを画像バッファ１０５へ出力するよう制御可能なようにしてよい。
【００８１】
＜第２のテレビ電話装置の構成＞
以下、本発明による第２のテレビ電話装置について説明する。図５は、本発明による第２のテレビ電話装置の内部構成を示す構成図である。図５に示すテレビ電話装置５０１は、動画像復号データバッファ５１７をさらに有する点が、図１に示すテレビ電話装置１０１と異なる。
【００８２】
復号化装置５０７から出力された動画像データは、ネットワークにおいてジッタが発生する前には、上記第１のテレビ電話装置と同様に動画像バッファ５０５に格納される。
この第２のテレビ電話装置は、ネットワークにおいてジッタが発生し、受信バッファ５１２の容量が空になった場合、またはあらかじめ設定されたしきい値以下の容量になった場合、復号化装置５０７で作製した動画像データを動画像復号データバッファ５１７に格納する。この動作を受信バッファ５１２が正常（通常）のタイミングでパケットデータを受信するまで行う。パケットデータが通常のタイミングで入力されたか否かは、前記したように判断することができる。
【００８３】
動画像復号データバッファ５１７は、例えば１フレーム等の表示単位毎に動画像データを格納することができるものとする。このように表示単位毎に動画像データが格納されると、動画像復号データバッファ５１７は、受信バッファ５１２にこのデータの次の表示単位分の動画像データが格納されていない場合、この動画像データを動画像バッファ５０５に出力する。
【００８４】
このように、ネットワークにおけるジッタが大きく、受信バッファ５１２に正常なタイミングでパケットデータが到達するまでに長い時間を要した場合であっても、動画像データの表示を更新することが可能となる。
【００８５】
なお、受信バッファ５１２は、前記したような方法によりネットワークにジッタが発生したことを検知した場合、通信制御装置５１３を介して相手方（送信側）テレビ電話装置に符号化ビットレートを下げるように通知し、この通知を受信した送信側テレビ電話装置が符号化ビットレートを下げるようにしてもよい。
【００８６】
【発明の効果】
以上の説明から明らかなように、本発明によれば、ＩＰネットワークを使ったテレビ電話装置において、パケットの到着時間が変化するネットワークのジッタ（ゆらぎ）が発生した場合に、送信側装置の受信したパケットデータを格納する受信バッファの受信タイミングを監視し、受信するタイミングにパケットを受信しなかった場合や、あらかじめ定めたしきい値より受信バッファの容量が下がった場合をトリガにして送信する動画像データのビットレートを下げて符号化したパケットデータを送信することで、受信側装置でジッタが発生した後に連続してデータが到着しても受信バッファのオーバーフローを防ぐことが可能となる。
【００８７】
また、受信側装置で動画像データの受信中にジッタが発生し動画像データを格納している受信バッファが空になった後に受信した動画像データを破棄することなく正常に表示を再開することが可能となる。
【００８８】
また、速度優先・画質優先等の通常の制御パラメータの他にジッタ情報を制御パラメータとして有し、これにより符号量制御を行う動画像符号化装置を有することで、ネットワークにジッタが発生したことをトリガとして送信側の符号化ビットレートを下げることが可能となり、その結果、受信側テレビ電話装置の受信バッファにより多くのパケットを格納することが可能となり、オーバーフローがおこりにくくなる。
【００８９】
また、動画像データの受信バッファの受信タイミングを監視し、受信するタイミングにパケットデータを受信できなかった場合にビットレートを下げて動画像データの符号化を行うことで、パケットデータの到達タイミングをチェックするという単純な動作を行い、正常なタイミングで到着しなかったことを検知した場合、これをトリガとして送信側テレビ電話装置は、符号化ビットレートを下げることが可能となる。従って、受信側テレビ電話装置は、見かけ上の容量が大きくなるため、ジッタ解消後に連続してパケットデータが入力されても、オーバーフローしにくくなる。
【００９０】
また、あらかじめ動画像データの受信バッファにしきい値を設定し、この値以下のバッファ容量となった場合にビットレートを下げて動画像データの復号化を行うことで、受信バッファに格納されたパケットデータの量をチェックするという単純な動作でネットワークにジッタが発生したか判断することが可能となり、パケットデータが所定値以下の格納量となったことをトリガにして符号化ビットレートを下げることが可能となる。従って、受信側テレビ電話装置は、より多くのパケットデータを格納可能となり、ジッタ解消後に連続してパケットデータが入力されてもオーバーフローしにくくなる。
【００９１】
また、音声パケットの受信バッファの受信タイミングを監視し、受信するタイミングにパケットを受信できなかった場合にビットレートを下げて動画像データの符号化を行うことで、受信側のテレビ電話装置は、ネットワークのジッタ解消後に連続してパケットデータが入力されてもオーバーフローをおこしにくくなる。
【００９２】
また、あらかじめ音声データを受信する受信バッファにしきい値を設定し、設定したバッファ容量以下になった場合にビットレートを下げて動画像データの符号化を行うことで、受信側のテレビ電話装置は、ネットワークのジッタ解消後に連続してパケットデータが入力されてもオーバーフローをおこしにくくなる。
【００９３】
また、ジッタが発生しパケット受信が遅れた場合にビットレートを下げて符号化した動画像データを送信することで、受信側テレビ電話装置の受信バッファの見かけ上の容量を増やし、ジッタ解消後のオーバーフローを防止することが可能となる。
【００９４】
また、ジッタが発生しパケット受信が遅れた場合に相手端末に対し動画像データの符号化ビットレートを下げるように要求することで、ジッタ解消後に通常のビットレートで作製されたパケットが入力される場合に比し、受信バッファのオーバーフローをおこしにくくすることを可能とする。
【００９５】
また、ジッタが発生した際にビットレートを下げて動画像データの符号化を行い、動画像データの受信バッファにデータが到着するとビットレートをもとに戻して動画像データの符号化を行うことで、ジッタ解消後に連続して到達する動画像データをすべて再生する場合に生じる動画像データの表示遅延を防止する。
【００９６】
また、ジッタが発生した際にビットレートを下げて動画像データの符号化を行っている最中に、音声データの受信バッファにデータが到着するとビットレートをもとに戻すことで、ネットワークにジッタが発生した場合のみ符号化ビットレートを下げることが可能となる。
【００９７】
ジッタが発生した際にビットレートを下げて符号化を行っている最中に、ジッタが発生した後に受け取る動画像データのジッタの影響がなくなり正常なタイミングで受信し始めるとビットレートをもとに戻すことで、ネットワーク上にジッタが発生した場合のみ符号化ビットレートを下げることが可能となる。
【００９８】
ジッタが発生した際にビットレートを下げて動画像データの符号化を行っている最中に、ジッタが発生した後に受け取る音声データがジッタの影響がなくなり正常なタイミングで受信し始めるとビットレートを元に戻すことで、ネットワーク上にジッタが発生した場合のみ符号化ビットレートを下げることを可能とする。
【００９９】
ジッタが発生し動画像データの受信バッファが空になった後は、受信した動画像データを復号しても表示を行うための画像バッファに出力しないことで、ジッタ発生後に生じる表示遅延を防止することが可能となる。
【０１００】
ジッタが発生し動画像データの受信バッファが空になった後、受信した動画像データを復号し、フレーム復号化で復号化されたデータを復号したデータだけを画像バッファに出力し表示を行うことで、ジッタ発生後に生じる表示遅延を防止するとともに、この表示遅延防止のために動画像データの表示が一切行われなくなってしまうということを防止することが可能となる。
【０１０１】
ジッタが発生し動画像データの受信バッファが空になった後に、受信した動画像データを復号しバッファに蓄え、受信データを格納する受信バッファの受信状態を判定し、バッファに蓄えられた復号データを画像バッファに出力し表示を行うことで、ジッタ発生後に生じる表示遅延を防止するとともに、この表示遅延防止のために動画像データの表示が一切行われなくなってしまうということを防止することが可能となる。
【図面の簡単な説明】
【図１】本発明によるテレビ電話装置の内部構成を示す第１の内部構成図である。
【図２】従来技術によるテレビ電話装置のパケットデータ送受信、および動画像データ表示タイミングを説明するタイミング図である。
【図３】本発明によるテレビ電話装置のパケットデータ送受信、および動画像データ表示タイミングを説明するための第１のタイミング図である。
【図４】本発明によるテレビ電話装置のパケットデータ送受信、および動画像データ表示タイミングを説明するための第２のタイミング図である。
【図５】本発明によるテレビ電話装置の内部構成を示す第２の内部構成図である。
【図６】従来技術によるテレビ電話装置の内部構成図である。
【符号の説明】
１０１ テレビ電話装置
１０２ 音声入力装置
１０３ 動画像入力装置
１０４ 音声出力装置
１０５ 動画像バッファ
１０６ 符号化装置
１０７ 復号化装置
１０８ パケット化装置
１０９ ストリーム化装置
１１０ データ制御装置
１１１ 送信バッファ
１１２ 受信バッファ
１１３ 通信制御装置
１１４ フロー制御装置
１１５ データ入出力装置
１１６ 通信装置
５０１ テレビ電話装置
５０２ 音声入力装置
５０３ 動画像入力装置
５０４ 音声出力装置
５０５ 動画像バッファ
５０６ 符号化装置
５０７ 復号化装置
５０８ パケット化装置
５０９ ストリーム化装置
５１０ データ制御装置
５１１ 送信バッファ
５１２ 受信バッファ
５１３ 通信制御装置
５１４ フロー制御装置
５１５ データ入出力装置
５１６ 通信回線
５１７ 動画像復号データバッファ
６００ テレビ電話装置
【発明の属する技術分野】
本発明は、ＩＰ（internet protocol ）ネットワークを利用したテレビ電話装置に関し、特に、ネットワークにジッタが発生した後に連続してパケットデータが到達した場合であっても受信バッファがオーバーフローしにくく、このように通常のタイミングよりも遅れて到達したパケットデータを表示することで生じる表示画像の遅延を防止し、またジッタにより受信バッファが空となった後に受信した動画像データを破棄することなく正常に表示可能なテレビ電話装置に関する。
【０００２】
【従来の技術】
近年、ＩＰネットワークを利用するテレビ電話装置（システム）が普及してきている。
しかし、ＩＰネットワークにジッタが発生し、パケットデータがネットワークに滞留すると、ジッタ解消後、ネットワークにたまっていたパケットデータは、受信側テレビ電話装置の受信バッファに通常のタイミングよりも遅れて入力される。すなわち、ネットワークにジッタ（ゆらぎ）が発生したことで、ジッタが発生していた期間中に正常（通常）のタイミングで到達するはずであったパケットデータがジッタ解消後にまとめて、通常の受信タイミングよりも短い間隔で到達してしまう。
【０００３】
このようにジッタ解消後にパケットが連続して到達するため、従来のテレビ電話装置では、受信バッファがオーバーフローをおこしてしまうということが指摘されている。
【０００４】
また、受信側テレビ電話装置の動画像データの表示間隔時間と送信側テレビ電話装置の動画像データの取込時間とが同じである場合、ジッタ発生により一旦受信バッファの容量が空となり、正常なタイミングで画像表示装置での動画像（表示）データの更新がされない期間があると、ジッタが解消してパケットデータが到達して動画像データの表示を再開しても、この表示がされなかった期間分の表示遅延、すなわちジッタ遅延による動画像データの表示遅延が解消されなくなってしまう。これについて、図６、図２（ａ）〜（ｃ）を参照しながら説明する。
【０００５】
以下の説明においては、テレビ電話装置６００は、ネットワークに接続された他のテレビ電話装置と呼接続が正常に行われ、音声データ、および動画像データの通信を開始したものとする。上記他のテレビ電話装置の構成は、テレビ電話装置６００と同様のものとする。
【０００６】
ここでは、フロー制御装置１１４は、呼接続の際に、各端末が使用する音声データおよび動画像データの符号化方式、および復号化方式の情報を取得したものとする。
また、送信側テレビ電話装置６００の動画像データを取り込む間隔と、受信側テレビ電話装置６００の動画像データを表示する間隔とが同じであり、かつ、動画データ１フレームを１パケットデータとして送信しているものとする。例えば、送信側の動画像入力装置１０３が３０フレーム毎秒の動画像取り込み能力を有し、１パケットに１フレームのデータをパケット化して送信し、受信側の動画像表示装置も３０フレーム毎秒の動画像表示能力を有している場合等である。
【０００７】
図６は、従来のテレビ電話装置の内部構成図である。図６によれば、テレビ電話装置６００は、音声入力装置１０２と、動画像入力装置１０３と、符号化装置１０６と、パケット化装置１０８と、送信バッファ１１１と、通信制御装置１１３と、受信バッファ１１２と、ストリーム化装置１０９と、復号化装置１０７と、音声出力装置１０４と、動画像バッファ１０５と、を有し、通信回線１１６を介して上記他のテレビ電話装置と接続する。
【０００８】
送信側テレビ電話装置６００の送信バッファ１１１には、動画像入力装置１０２から入力され符号化装置１０６で符号化されパケット化装置１０８でパケット化された動画像データが格納される。このパケットデータは、通信制御装置１１３を介して通信回線１１６に送出され、受信側テレビ電話装置６００に入力される。受信側テレビ電話装置６００の通信制御装置１１３を介して受信バッファ１１２に格納されたパケットデータは、ストリーム化装置１０９で上記パケット化の際に付加されたデータが削除され動画像データとなり、復号化装置１０７で復号化され、動画像バッファ１０５に出力される。この動画像データは、画像表示装置に送出され、画像が表示される。
【０００９】
図２（ａ）は、送信側のテレビ電話装置６００の送信バッファ１１１が通信制御装置１１３を介して通信回線１１６へパケットデータを送出するタイミングの一例を示す図である。図２（ａ）に示すように、送信バッファ１１１は、一定のタイミングでパケットデータを送出する。
図２（ｂ）は、受信側のテレビ電話装置６００の受信バッファ１１２が通信制御装置１１３を介して受信したパケットデータを示す。
なお、図２は、左側から右側へ時間軸がとられている。
【００１０】
図２（ａ）、および（ｂ）に示すパケットに付された数字が同じ数である場合、これらのパケットは、同一のものであることを示す。すなわち、図２（ａ）に「１」と付されたパケットは、図２（ｂ）に「１」と付されたパケットと同一である。
つまり、図２（ａ）、および（ｂ）は、送信側のテレビ電話装置６００の送信バッファ１１１から通信制御装置１１３を介して通信回線１１６へ送出されたパケット「１」が受信側のテレビ電話装置６００の通信制御装置１１３を介して受信バッファ１１２に格納されたことを示している。この際、送信バッファ１１１から送信されてから受信バッファ１１２に受信されるまでには時間を要するため、図２（ｂ）における「１」と付されたパケットデータは、図２（ａ）に「１」と付されたパケットデータよりも右側に記されている。
【００１１】
図２に示す例では、（ｂ）に「Ｊ１」と示す期間中、通信回線１１６上でジッタが発生していたものとする。すなわち、ＩＰネットワーク上でジッタが発生していたものとする。そのため、パケットデータ「２」以降のパケットデータは、送信側のテレビ電話装置６００の送信バッファ１１１から出力されているにも関わらず、この「Ｊ１」期間中には、受信側のテレビ電話装置６００の受信バッファ１１２には入力されない。このようにジッタが発生すると、受信側テレビ電話装置の受信バッファ１１２には送信側テレビ電話装置の送信バッファ１１１から出力されたパケットが到達しない期間が生じてしまう。
【００１２】
そして、このジッタが解消すると、図２（ｂ）に「Ｊ２」と示す期間にあるように、パケットが連続して到達する。すなわち、ネットワークにたまっていたパケットデータは、送信バッファ１１１による送信間隔、すなわち正常なパケット受信間隔よりもよりも短い間隔で連続して受信バッファ１１２に到達する。
図２（ｂ）に示すように、パケットデータ「８」の到達以降、上記ジッタによるパケットデータ到達の遅れは解消し、通常のタイミングによりパケットデータが到達するものとする。
【００１３】
図２（ｃ）には、画像バッファ１０５の動画像データの更新状況の一例を示す。なお、受信側のテレビ電話装置６００の画像バッファ１０５が画像表示装置に表示する表示データ（動画像データ）を更新する間隔は、前記したように、送信側のテレビ電話装置６００が動画像入力装置１０３から動画像データを取り込む間隔と同じとしている。図２（ｃ）は、（ｂ）に示す受信バッファ１１２で受信したパケットデータが復号された動画像データの更新を示す。また、図２（ｃ）も、図２（ａ）、（ｂ）と同様に時間軸が左側から右側にとられ、「１」と付された動画像データは、「１」と付されたパケットデータと同じデータ（動画像データ）を含むものとする。すなわち、受信バッファ１１２に入力されたパケットデータ「１」は、ストリーム化装置１０９でストリーム化され復号化装置１０７で復号された動画像データ「１」となり動画像バッファ１０５に入力されたものとする。
【００１４】
図２（ｂ）の「Ｊ１」期間では、ネットワークにおいてジッタが発生しているため、画像バッファ１０５は、データが更新されない。すなわち、受信バッファ１１２には、パケットデータ「２」以降のパケットデータがないため、画像バッファ１０５を更新することができない。従って、この間、画像表示装置にはジッタが発生する前の動画像データ、すなわちパケット番号「１」の動画像データが表示される。
【００１５】
図２（ｂ）の「Ｊ２」期間では、受信バッファ１１２は、連続してパケットデータを受信する。従って、画像バッファ１０５は、動画像データが順次更新される。すなわち、パケット番号「２」の動画像データは、ジッタ解消後の正常ではないタイミングで画像表示装置に表示される。
【００１６】
前記したように、受信側テレビ電話装置６００は、画像表示装置に表示する表示データ（動画像データ）を更新する間隔が、送信側テレビ電話装置６００が動画像入力装置１０３から動画像データを取り込む間隔が同じである。そのため、「Ｊ１」期間において一度ジッタが生じると、画像表示装置に表示される表示データが更新される間隔は、正常なタイミングに戻ることがなくなってしまう。すなわち、連続して到達したパケットデータを復号し画像バッファ１０５を更新しても、受信バッファ１１２が一度空になってしまった場合、図２（ｃ）に示す「２」と付した表示データ以降の表示データのように、表示画像に遅延が発生してしまう。
【００１７】
言い換えれば、前記したように送信側テレビ電話装置６００の動画像入力装置の動画像取り込み能力と受信側テレビ電話装置６００の動画像表示能力とが同じである場合、受信側テレビ電話装置の画像表示が１コマでも遅れると、この後の画像表示もすべて遅延してしまうのである。
この表示画像の遅延は、ネットワークでパケットロスが発生し送信された動画像データがなくなるか、または受信バッファ１１２が正常なタイミングに戻るように動画像データを破棄しない限り、解消されずに蓄積されてしまう。
このように、ネットワークにジッタが発生した場合、表示遅延が蓄積してしまうということが指摘されている。
【００１８】
さらに、受信側テレビ電話装置６００は、動画像データの表示間隔時間が送信側テレビ電話装置の動画像データの取込時間よりも短い場合には、ジッタ発生により一旦受信バッファ１１２の容量が空になると、ジッタが解消してパケットが到達し始めてから動画像データが正常（通常）のタイミングで表示されるようになるまでに長い時間を必要としてしまうということが指摘されている。以下、これについて、図１、図２（ａ）、（ｂ）、（ｄ）を参照しながら説明する。
なお、図２（ｄ）も、図２（ａ）、（ｂ）と同様に時間軸が左側から右側にとられ、図２（ｃ）と同様に「１」と付された動画像データは、「１」と付されたパケットデータと同じデータを含むものとする。
【００１９】
図２（ｄ）は、受信側テレビ電話装置６００が画像表示装置に表示データを表示する更新間隔が送信側テレビ電話装置６００が動画像入力装置１０３から動画像データを取り込む間隔よりも短い場合であることを除き、図２（ｃ）と同じ条件である。例えば、送信側の動画像入力装置１０３が１０フレーム毎秒の動画像取込能力を有し、１パケットに１フレームのデータをパケット化し送信するのに対し、受信側の動画像表示装置は、３０フレーム毎秒の動画像表示能力を有し、受信するパケット間隔より短い間隔で表示することができる場合である。
【００２０】
図２（ｄ）に示すように、ジッタが発生している期間「Ｊ１」に対応する期間においては、表示画像が「１」と付された表示データのまま更新されない。「Ｊ２」に対応する期間においては受信バッファ１１２に連続して入力されたパケットデータが、送信側の動画像入力装置１０３の動画像取込能力よりも短い間隔で動画像を表示している。「８」と付された動画像データは、通常のタイミングで画像バッファ１０５に格納されるようになる。このように、正常のタイミングで動画像データが表示されるようになるまで、すなわち画像バッファ１０５の更新間隔が送信側のテレビ電話装置の送出間隔と同じになるまで、ある程度の時間（図２の場合、動画像データ「８」が表示されるまでの期間）を要してしまうということが指摘されている。
【００２１】
これに対し、特許第２９４７３０２号には、入力信号の符号化データを階層化して、画質に与える影響の大きい成分から先にパケットに伝送するか、または、入力信号を帯域分割し、帯域に応じた符号化を行い、低域成分の符号化データから先にパケット伝送する第１の従来技術が開示されている。
【００２２】
また、特開平１１−１７７６２３号公報には、受信側装置がジッタを監視し、このジッタと受信データのバッファリング量とを制御して、再生データを再生するための調整を行う第２の従来技術が開示されている。より詳しくは、この第２の従来技術は、送信パケットを受信するためのバッファリング量をできる限り小さくして頭出しを早くすることと、再生の途切れをなくすためにバッファリング量を増やすという両課題を解決すべく、会話における無音部分をカットしたり、捨てていいデータを捨てる等、ネットワーク状態の長期的な変化を示す伝送ジッタ算出部からの出力に対しては受信側のバッファリング量を緩やかに変化させ、短期的な変化に対しては受信側のバッファリング量を急激に変化させ、短期的な劣化状態が解消されたら元のバッファリング量に戻し、遅延量の時間的推移に対してバッファリング量を最適に設定するよう制御する。
【００２３】
【発明が解決しようとする課題】
しかしながら、上記第１の従来技術によれば、高速パケット網にジッタ遅延が生じた場合に、受信局がもつ映像フレーム同期内に受信したパケットから得られるデータを用いて画像の復号を行っても、画像形成に影響の大きいデータの欠落がなく、リアルタイム性を損なうことなく、乱れのない画像を復号することを可能とするが、ジッタ発生後に連続して到達するパケットにより受信バッファがオーバーフローすることや、表示遅延が蓄積されてしまうこと、正常な表示タイミングに戻るまで時間を要してしまうということ等については何ら対応策を示しているとはいえない。
【００２４】
また、上記第２の従来技術によれば、通常の大きさのパケットデータが送られてくるため、ジッタ解消後パケットデータを通常のタイミングで受信するまでには非常に多くの時間を要してしまう。従って、表示遅延が蓄積されてしまうことや、正常な表示タイミングに戻るまで時間を要してしまうということ等について、有効な対応策を示しているとはいえない。
【００２５】
本発明は、上記問題点に鑑みなされたものであり、ネットワークにジッタが発生した場合、送信側テレビ電話装置が動画像データの符号化ビットレートを下げることにより、受信側テレビ電話装置の受信バッファの見かけ上の容量を増やし、ジッタ発生後に連続して到達するパケットによる受信バッファのオーバーフローを防止するテレビ電話装置を提供することを目的とする。
【００２６】
本発明の他の目的は、受信側テレビ電話装置の動画像データの表示間隔時間と送信側テレビ電話装置の動画像データの取込時間とが同じで、ネットワーク上にバッファ発生が発生した場合に、受信側テレビ電話装置がパケットを正常のタイミングで受信するまで動画像データの表示を更新せず、正常なタイミングで受信した後に表示を更新することにより、動画像データの表示遅延が蓄積してしまうことを防止するテレビ電話装置を提供することである。
【００２７】
本発明の他の目的は、受信側テレビ電話装置の動画像データの表示間隔時間よりも送信側テレビ電話装置の動画像データの取込時間の方が長く、ネットワーク上にバッファ発生した場合に、送信側テレビ電話装置が動画像データの符号化ビットレートを下げることで、受信側テレビ電話装置がパケットを正常のタイミングで表示し始めるまでに要する時間を短くするテレビ電話装置を提供することである。
【００２８】
本発明の他の目的は、ジッタが発生した後、動画像データを正常なタイミングで表示可能となるまでの間に、フレームデータである符号化データを表示することにより、表示を再開するまでの時間を短縮し、かつ高品質な画像を表示することが可能となるテレビ電話装置を提供することである。
【００２９】
本発明の他の目的は、ジッタが発生した後、動画像データを正常なタイミングで表示可能となるまでの間に、特にジッタが発生している最中に到達した動画像データの表示を更新することを可能とするテレビ電話装置を提供することである。
【００３０】
【課題を解決するための手段】
かかる目的を達成するために、請求項１記載のテレビ電話装置の発明によれば、 複数のテレビ電話装置間でデータ通信を行うネットワークのテレビ電話システムに使用され、ジッタが発生しているか判定するジッタ判定手段を有するテレビ電話装置において、該テレビ電話装置は、動画像データの符号化ビットレートを下げるビットレート制御手段と、該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにする動画像データ出力制御手段と、を有し、前記動画像データ出力制御手段は、第１の動作として、該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにし、前記ジッタ判定手段により、入力されるパケットデータのタイミングに基づいて該ネットワークにジッタが発生していると判定された場合に、前記動画像データ出力制御手段は、第２の動作として、動画像データを画像表示装置へ出力する間隔が送信側テレビ電話装置の動画像取り込み間隔よりも短い間隔である場合には、前記ネットワークにジッタが発生していると判定しても、動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力することを特徴とする。
【００３１】
請求項２記載の発明によれば、複数のテレビ電話装置間でデータ通信を行うネットワークのテレビ電話システムに使用され、ジッタが発生しているか判定するジッタ判定手段を有するテレビ電話装置において、該テレビ電話装置は、動画像データの符号化ビットレートを下げるビットレート制御手段と、該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにする動画像データ出力制御手段と、を有し、前記動画像データ出力制御手段は、第１の動作として、該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにし、前記ジッタ判定手段により、入力されるパケットデータのタイミングに基づいて該ネットワークにジッタが発生していると判定された場合に、前記動画像データ出力手段は、第２の動作として、動画像データがフレーム内符号化されたデータである場合には、ネットワークにジッタが発生していると判定しても、動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力する、ことを特徴とする。
【００３２】
請求項３記載の発明によれば、複数のテレビ電話装置間でデータ通信を行うネットワークのテレビ電話システムに使用され、ジッタが発生しているか判定するジッタ判定手段を有するテレビ電話装置において、該テレビ電話装置は、動画像データの符号化ビットレートを下げるビットレート制御手段と、該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにする動画像データ出力制御手段と、を有し、更に、該ネットワークに接続されたテレビ電話から入力されたパケットデータから作製した動画像データを記憶する動画像復号データバッファと、を有し、前記動画像データ出力制御手段は、第１の動作として、該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにし、前記ジッタ判定手段により、該ネットワークにジッタが発生している場合に、前記動画像データ出力制御手段は、第２の動作として、前記動画像復号データバッファに記憶された動画像データよりも後である最新の動画像データが作成されていない場合、該動画像復号データバッファに記憶された動画像データを画像表示装置に出力する、ことを特徴とするとする。
【００３３】
請求項４記載の発明によれば、複数のテレビ電話装置間でデータ通信を行うネットワークのテレビ電話システムに使用され、ジッタが発生しているか判定するジッタ判定手段を有するテレビ電話装置において、該テレビ電話装置は、動画像データの符号化ビットレートを下げるビットレート制御手段と、該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにする動画像データ出力制御手段と、を有し、更に、該ネットワークに接続されたテレビ電話から入力されたパケットデータから作製した動画像データを記憶する動画像復号データバッファと、を有し、前記動画像データ出力制御手段は、第１の動作として、該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにし、前記ジッタ判定手段により、該ネットワークにジッタが発生していると判定された場合に、前記動画像データ出力制御手段は、第２の動作として、動画像データがフレーム内符号化されたデータである場合には、ネットワークにジッタが発生していると判定しても、動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力し、前記動画像復号データバッファに記憶された動画像データよりも後である最新の動画像データが作成されていない場合、該動画像復号データバッファに記憶された動画像データを画像表示装置に出力する、ことを特徴とする。
【００３４】
請求項５記載の発明によれば、請求項１〜４のいずれか１項に記載の発明において、前記ジッタ判定手段により、該ネットワークにジッタが発生していると判定された場合に、該ジッタ判定を行ったテレビ電話装置から該ネットワークに接続されたテレビ電話装置に対して、動画像データの符号化ビットレートを所定のレートに下げるよう変更指示を出すビットレート変更指示手段と、前記変更指示を受けたテレビ電話装置にて、動画像データの符号化ビットレートを下げるビットレート変更手段と、を有することを特徴としている。
【００３５】
請求項６記載の発明によれば、請求項１〜５のいずれか１項に記載の発明において、前記第１の動作及び第２の動作のいずれかを行う判断を、画像表示装置の表示能力と、呼接続時に決定した使用する符号化方式をもとに計算した受信バッファのパケットデータ受信間隔と、を比較することにより、前記表示能力が前記パケットデータ受信間隔よりも小さい場合には前記第２の動作を行うことを特徴とする。
【００４５】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面を参照しながら詳細に説明する。
【００４６】
以下には、本発明によるテレビ電話装置について説明する。また、本発明によるテレビ電話装置を複数有するテレビ電話システムは、このテレビ電話装置が複数、ＩＰネットワークに接続されたものである。
このテレビ電話装置は、ネットワークにジッタが発生しているか判定し、ネットワークにジッタが発生している場合、符号化ビットレートを所定のレートに下げる。また、ネットワークにジッタが発生している場合、入力されたパケットデータから作製した動画像データの出力を行わない。
なお、動画像データを画像表示装置へ出力する間隔が送信側テレビ電話装置の動画像取り込み間隔よりも短い間隔である場合にはネットワークにジッタが発生しても動画像データの出力を行うようにしてもよい。また、動画像データがフレーム内符号化されたデータである場合にはネットワークにジッタが発生しても動画像データの出力を行うようにしてもよい。また、ネットワークがジッタに発生している場合、入力されたパケットデータから作製した動画像データを記憶する動画像復号データバッファをさらに有し、動画像符号データバッファに記憶された動画像データよりも最新の動画像データが作製されていない場合、動画像符号データバッファに記憶された動画像データを出力するようにしてもよい。
以下に詳述する。
【００４７】
＜第１のテレビ電話装置の構成＞
図１は、本発明による第１のテレビ電話装置の構成を示す構成図である。テレビ電話装置１０１は、通信回線１１６を介してネットワークに接続された図示しないテレビ電話装置と接続し、このテレビ電話装置と音声データ、および動画像データ等の通信を行う回路装置である。
【００４８】
音声入力装置１０２は、音声の入力、すなわち音声を音声信号（データ）に変換し装置に入力するもので、例えばマイクロフォン等を用いることができる。
動画像入力装置１０３は、テレビ電話装置に取り込む動画像キャプチャ装置等の動画像を動画像データに変換し装置に入力するもので、例えばＣＣＤ（charge coupled device ）カメラやＮＴＳＣ（national television system committee）カメラ等を用いることができる。
【００４９】
符号化装置１０６は、音声入力装置１０２、および動画像入力装置１０３と接続し、入力された音声データ、および動画像データの符号化を行い符号化データを作製し、この符号化データをパケット化装置１０８へ出力する。
パケット化装置１０８は、上記符号化データを通信制御装置１１３を介して通信回線１１６で通信を行うためのデータ形式である所定のパケットに変換し、パケットデータを作製する。
【００５０】
送信バッファ１１１は、パケット化装置１０８から入力されたパケットデータを格納するバッファメモリである。このパケットデータは、通信制御装置１１３からの指示により通信制御装置１１３、通信回線１１６を介して相手方のテレビ電話装置へ送出される。
通信制御装置１１３は、通信回線１１６を介し、送信バッファ１１１に蓄えられたパケットデータを相手方のテレビ電話装置へ送信する。また、相手方のテレビ電話装置から通信回線１１６を介し送信されてきた（音声データ、動画像データが符号化され、パケット化された）パケットデータを受信し、これを受信バッファ１１２に入力する。
受信バッファ１１２は、通信制御装置１１３を介して通信回線１１６から受信したパケットデータを一時的に格納するバッファメモリである。
【００５１】
ストリーム化装置１０９は、パケット化時に付加されたパケットヘッダ情報等を削除し、受信バッファ１１２に蓄えられたパケットデータを音声データ、および動画像データに分割し、ストリーム形式のデータとする。
復号化装置１０７は、ストリーム化装置１０９から入力されたデータを復号し、音声データ、および動画像データを作製する。この音声データは、音声出力装置１０４へ出力され、動画像データは、動画像バッファ１０５へ出力される。
【００５２】
音声出力装置１０４は、音声の出力、すなわち音声信号を音声に変換し出力するもので、例えばスピーカやヘッドフォン等を用いることができる。
動画像バッファ１０５は、図示しない画像表示装置（ＬＣＤ（liquid crystal display）装置、ディスプレイ等）で再生される動画像データを格納するバッファであり、この動画像データを上記画像表示装置へ送出する。なお、画像表示装置は、テレビ電話装置１０１の内部にあってもよく、また外部にあってもよい。
【００５３】
データ制御装置１１０は、相手方のテレビ電話装置との呼接続や、ストリーム通信中における符号化装置１０６、復号化装置１０７等の制御等の各種制御を行う。
フロー制御装置１１４は、通信制御装置１１３を介して通信相手から送られてくるネットワークのジッタ情報、パケットロス情報、ラウンドトリップタイム情報等のネットワーク状況の情報、自端末のＣＰＵ性能、および通信開始時の相手端末の音声・動画像の符号化・復号化能力等に基づき、符号化装置１０６、および通信制御装置１１３の制御を行う（符号化制御、送出制御）。
【００５４】
データ入出力装置１１５は、ユーザからテレビ電話装置１０１への指示が入力され、この指示をデータ制御装置１１０へ通知する。また、ユーザへ相手端末からの着信を示す情報、自端末の情報、データ制御装置１１０から入力された情報等の所定の情報が報知する。例えば、テンキーやキーボタン等の入力手段を有し、通信先番号が入力され、またＬＥＤ（light emitting diode）ランプやＬＣＤ等の報知手段を有し、自端末の状態をユーザに報知したり、データ制御装置１１０から入力された情報を表示する。
【００５５】
＜第１の動作＞
以下、本発明による送信側テレビ電話装置の動画像取り込み間隔と同じ間隔で動画像データを画像表示装置へ出力するテレビ電話装置のネットワークにジッタが発生した場合の動作（第１の動作）を、図１、および図３を参照しながら説明する。
なお、この説明では、送信側テレビ電話装置１０１の動画像データの取込間隔と、受信側テレビ電話装置１０１の動画像データの表示間隔とが同じものとする。すなわち、図２（ｃ）に示す従来技術の説明と同様の条件である。
また、この送信側と受信側テレビ電話装置１０１のそれぞれのパケットデータ送信間隔は同じものとする。
【００５６】
テレビ電話装置１０１は、受信バッファ１１２に入力されるパケットデータのタイミングに基づき、ネットワークにジッタが発生しているか判断し、ネットワークにジッタが発生している場合、動画像データの符号化のビットレートを下げ、小さな符号化データを作製するようにする。
以下に詳述する。
【００５７】
図３は、図２と同様に左側から右側へ時間軸をとる。
また、図３（ａ）には、送信側テレビ電話装置１０１の受信バッファ１１２に入力されたパケットデータを示す。図３（ｂ）には、送信側テレビ電話装置１０１の送信バッファ１１１から送信されたパケットデータを示し、（ｃ）には、受信側テレビ電話装置１０１の受信バッファ１１２に入力されたパケットデータ、（ｄ）には、このパケットデータから受信側テレビ電話装置１０１の動画像バッファ１０５に展開された動画像データを示す。図３（ｂ）〜（ｄ）に付された番号は、すべて同一の動画像データを有していることを示す。すなわち、図３（ａ）におけるパケットデータと、図３（ｂ）〜（ｄ）のパケットデータ・動画像データとは、同一の番号が付されていても異なるものである。
【００５８】
テレビ電話装置１０１は、通信相手先のテレビ電話装置１０１への呼接続時に、パケットデータを受信するタイミングを取得する。これは、例えば、各端末が使用する音声データ・動画像データの符号化・復号化方式の情報を交換しあった後に決定した動画像データの符号化・復号化方式から計算することができる。この計算により得られた（パケット）データの受信間隔は、データ制御装置１１０に登録されるようにしてもよい。
【００５９】
図３（ａ）は、送信側テレビ電話装置１０１における受信バッファ１１２に入力されるパケットデータの説明のための一例を示す。図３（ａ）に示すように、パケットデータ「１」が入力された後、ネットワークにジッタが発生し、パケットデータ「２」は、所定（正常、通常）のタイミングに入力されていない。また、ジッタ解消後、パケットデータ「２」からパケットデータ「７」までのパケットデータは、受信バッファ１１２に連続して入力される。パケットデータ「８」以降のパケットデータは、所定（正常、通常）のタイミングで入力される。
【００６０】
受信バッファ１１２は、常時、受信バッファ１１２におけるパケットデータの受信タイミングを監視する。この受信タイミングの監視は、前記したようなあらかじめ決定されている（パケット）データの受信間隔通りにパケットデータが受信されているか監視することにより行うようにしてもよい。すなわち、パケットデータには、送信時、順次インクリメントされたシーケンス番号が付加されているため、上記呼接続時に決定したパケットデータの受信タイミングとロスした（到達していない）パケットデータとを比較することで、ロスしたパケットデータ（通常のタイミングに入力されなかったパケットデータ）を把握することが可能となる。すなわち、受信バッファ１１２は、呼接続時に決定した受信タイミングから計算した判断時点で到達しているはずのパケット数と入力されたパケットデータに付加されたシーケンス番号との一致を見ることでパケットロスの発生状況を監視する。
なお、動画像データに付加されているタイムスタンプ情報等を用いて、上記受信間隔通りにパケットデータが受信されているか判断するようにしてもよい。また、音声パケット（音声データ）に付加されたタイムスタンプ情報等を用いて、正常なタイミングにパケットデータが入力されているか把握するようにしてもよい。
【００６１】
このようにパケットデータが所定のタイミングに到達しなかった場合、受信バッファ１１２は、ネットワークにジッタが発生したと判断し、これをフロー制御装置１１４へ通知する。この通知を受けたフロー制御装置１１４は、動画像データの符号化における（符号化）ビットレートを下げるようにデータ制御装置１１０を介して符号化装置１０６に指示する。
【００６２】
図３（ａ）に示すように、送信側テレビ電話装置１０１の受信バッファ１１２は、パケットデータ「２」が所定のタイミングで入力されていない。従って、受信バッファ１１２は、ネットワーク（通信回線１１６）にジッタが発生したものと判断し、これをフロー制御装置１１４へ通知する。
フロー制御装置１１４は、前記したように、符号化装置１０６に符号化ビットレートを下げるように通知する。
【００６３】
上記通知をうけた送信側テレビ電話装置１０１の符号化装置１０６は、（符号化）ビットレートを下げる。これにより、符号化装置１０６は、符号化する際に符号量制御を行い、通常の符号化データに比べ、小さいデータ量の符号化データを作製し、パケット化装置１０８を介して送信バッファ１１１に格納する。従って、ビットレートが下げられた後に送信バッファ１１１に格納されるパケットデータは、通常のパケットデータ（図３（ｂ）に示すパケットデータ「１」〜「３」）のデータ量と比べ、小さなデータ量（図３（ｂ）に示すパケットデータ「４」以降）となる。
なお、このビットレートは、所定のレートとしてもよく、ジッタの状況により任意のレートとしてもよい。
【００６４】
通信制御装置１１３は、ネットワークにジッタが発生しているか否かに関わらず、送信バッファ１１１に格納されているパケットデータを、通常のタイミングで通信回線１１６へ送信する。すなわち、ビットレートが下がる前の（「１」〜「３」と付された）パケットデータも、ビットレートが下がった後の（「４」と付されたもの以降の）パケットデータも、順番通り、所定のタイミングで通信回線１１６に送出される。
【００６５】
図３（ｃ）は、受信側テレビ電話装置１０１の受信バッファ１１２に入力されたパケットデータの受信タイミングを示す。図３（ｃ）に示すように、「Ｊ１」と示す期間には、前記したようにジッタが発生しているため、パケットデータは到達しない。次いで、「Ｊ２」と示す期間には、ジッタが解消し、ネットワークにたまっていたパケットデータが連続して到達する。「７」と記すパケットデータ以降は、通常のタイミングにパケットデータが到達している。なお、「４」と付されたパケットデータ以降のパケットデータは、前記したようにビットレートが下げられて符号化されているため、図３（ｃ）には、小さく描かれている。
【００６６】
受信側テレビ電話装置１０１の受信バッファ１１２は、前記した送信側テレビ電話装置１０１と同様に、パケットデータの受信タイミングを監視し、ジッタが発生したか、ジッタにより生じたパケットデータの受信タイミングの遅延が解消され、正常のタイミングにパケットを受信しているか監視する。この監視方法としては、どのような方法を用いてもよいが、前記したようにパケットデータに付加されたシーケンス番号と呼接続時に決定された情報に基づき計算したパケットデータの受信タイミングとを比較することで行うようにしてもよい。また、動画像データに含まれるタイムスタンプ情報に基づき正常な受信タイミングであるか判断するようにしてもよく、音声パケットに含まれるタイムスタンプ情報に基づき正常な受信タイミングであるか判断するようにしてもよい。
【００６７】
受信バッファ１１２は、ネットワーク（通信回線１１６）にジッタが発生したことを検知した場合、これをフロー制御装置１１４に通知する。この通知をうけたフロー制御装置１１４は、動画像データを動画像バッファ１０５へ出力しないよう、データ制御装置を介して復号化装置１０７に指示する。この指示を受けた復号化装置１０７は、作製した動画像データを動画像バッファ１０５へ出力しない。すなわち、図３（ｃ）の「Ｊ２」期間に示すように、パケットデータ（「２」〜「６」のパケットデータ）が受信バッファ１１２に到達していても、動画像バッファ１０５には、この指示が出されている間、動画像データが入力されない。従って、この間の（「２」〜「６」の）動画像データは、画像表示部に表示されない。
【００６８】
受信バッファ１１２にパケットデータが到達するタイミングが正常に戻ると、受信バッファ１１２は、フロー制御装置１１４にこれを通知する。フロー制御装置１１４は、復号化装置１０７に、復号化した動画像データを動画像バッファ１０５へ出力するようにデータ制御装置１１０を介して通知する。この通知を受けた復号化装置１０７は、復号化を行った動画像データを動画像バッファ１０５へ出力する。すなわち、動画像バッファ１０５は、図３（ｄ）に示すように（「７」と示す）動画像データが入力され、これを画像表示部に出力する。なお、パケットデータが受信バッファ１１２に入力されるタイミングが正常なタイミングであるか判断する方法としては、例えば、前記したようにパケットデータに付加されたシーケンス番号に基づき判断するようにしてもよく、動画像データに含まれるタイムスタンプ情報に基づき判断するようにしてもよく、音声データに含まれるタイムスタンプ情報に基づき判断するようにしてもよい。
【００６９】
すなわち、画像バッファ１０５は、ネットワーク（通信回線１１６）にジッタが発生した後、ジッタによる（パケットデータの）到達遅延が発生している間、到達遅延発生前のデータを画像表示装置に表示し続ける。図３（ｄ）に示す場合、ジッタによる到達遅延が発生している間、到達遅延発生前のデータである「１」と付された動画像データが表示され続ける。
画像表示装置の表示が更新されるのは、受信バッファ１１２にパケットデータが通常のタイミングで到達し始めてからとなる。従って、図３（ｄ）に示す場合、「７」と示す動画像データが復号化装置１０７で復号化され、動画像バッファ１０５に格納された後、画像表示装置の表示が更新される。
このように、ネットワークにジッタが発生した場合であっても、画像表示装置の表示遅延を防止することを可能としている。
【００７０】
通信側テレビ電話装置１０１は、符号化装置１０６において下げた符号化のビットレートを所定のタイミングにもとのビットレートに戻す。例えば、この所定のタイミングは、受信バッファ１１２にパケットデータが連続して到着したパケット数と到着しなかったパケット数とを比較して、両者が一致していると判断した場合としてもよい。すなわち、通信側テレビ電話装置１０１の受信バッファ１１２に入力されるパケットデータのタイミングが正常に戻った後に符号化ビットレートをもとに戻すようにする。
また、ジッタ発生後、受信バッファにパケットデータが到達した後としてもよく、受信バッファに入力されるパケットデータのタイミングと上記通常時のタイミングとのずれが所定の差以下になった場合、もとに戻すようにしてもよい。
【００７１】
なお、パケットデータが入力されるタイミングが上記所定のタイミングであるか否かは、上述のごとくタイムスタンプ情報等に基づき行うようにしてもよく、また音声パケットを用いて行うようにしてもよい。
このように、この所定のタイミングは、受信側テレビ電話装置１０１の受信バッファ１１２にパケットデータが格納されるタイミングとは無関係のタイミングとしてもよい。
【００７２】
上記実施の形態によれば、ネットワークにジッタが発生した場合に、送信側のテレビ電話装置が符号化ビットレートを下げることで、受信側テレビ電話装置におけるパケット遅延の蓄積を防止することが可能となる。
また、ジッタ解消後に連続してパケットデータが到達した場合であっても、受信側テレビ電話装置の受信バッファのオーバーフローを符号化ビットレートが下げられていない場合に比して遅らせることが可能となる。すなわち、ビットレートを下げたことにより、この受信バッファの見かけ上の容量、つまり格納可能なパケット数が多くなる。そのため、ネットワークのジッタ解消後に連続してパケットデータが到達しても、多くのパケットデータを格納することが可能となる。
【００７３】
なお、前記したように復号化装置１０７は、復号化した動画像データを動画像バッファ１０５へ出力するのを中止してから再開するまでの間、所定のデータのみ動画像バッファ１０５に出力するようにしてもよい。これにより、ジッタ遅延解消まで、動画像（表示）データの更新が一切行われないということはなくなる。
例えば、上記所定のデータは、フレーム内符号化されたデータとすると、フレーム間で差分がとられ符号化されたデータ（Intra Frame/Intra Block ）は、動画像バッファ１０５に出力されず、画像表示装置に表示されなくなる。これにより、表示遅延を防止しながらも、表示データの更新が一切行われないということがなくなる。
【００７４】
また、上記ビットレートの変更は、受信バッファ１１２の容量に基づき変更するようにしてもよい。すなわち、受信バッファ１１２の容量が第１のしきい値以下になった場合にビットレートを下げ、受信バッファ１１２の容量が第２のしきい値（第１のしきい値と同じ値としてもよい）を超えた場合にビットレートをもとに戻すようにしてもよい。すなわち、パケットロスやジッタが発生した場合、受信バッファ１１２に入力されるパケットデータが少なくなるため、受信バッファ１１２に格納されたデータの量（容量）が上記しきい値以下になった場合、ネットワークにジッタが発生したものと判断するようにしてもよい。
【００７５】
＜第２の動作＞
以下、図４を参照しながら、受信側テレビ電話装置１０１が画像表示装置に動画像（表示）データを表示する間隔が、送信側テレビ電話装置１０１の動画像入力装置１０３が動画像データを取り込む間隔よりも短い場合におけるテレビ電話装置の動作（第２の動作）を説明する。
図４（ａ）〜（ｄ）は、図３（ａ）〜（ｄ）と上記条件のみ異なる場合を示す。すなわち、受信側テレビ電話装置１０１の画像表示装置に動画像（表示）データを表示する間隔が図３の条件よりも短い点のみ異なることから、図３（ａ）〜（ｃ）と図４（ａ）〜（ｃ）は同一であり、図３（ｄ）と図４（ｄ）のみが異なっている。
【００７６】
前記したように送信側テレビ電話装置１０１の符号化装置１０６のビットレートが下げられた場合、受信側テレビ電話装置１０１の受信バッファ１１２には、図４（ｃ）に示すように、ネットワークにジッタが発生した「Ｊ１」期間後、ジッタが解消した「Ｊ２」期間において通常のビットレートで符号化されたパケットデータ「２」「３」が到着し、次いでビットレートが下げられ符号化されたパケットデータ「４」以降のパケットデータが到達する。
【００７７】
ここで、ビットレートの設定は、上記第１の動作と同様に行うものとする。すなわち、送信側テレビ電話装置１０１の受信バッファ１１２の受信タイミング、または格納されているデータ量を監視することでジッタの発生、および解消を確認し、符号化ビットレートを変更するものとする。
【００７８】
この場合、前記した第１の動作とは異なり、フロー制御装置１１４は、復号化装置１０７にて復号化した動画像データを動画像バッファ１０５に出力する。すなわち、図４（ｄ）に示すように、動画像データ「２」以降の動画像データは、動画像バッファ１０５に出力され、画像表示装置に表示される。そして、「７」と付された動画像データからは、通常のタイミングで画像バッファ１０５に格納され、画像表示装置に表示される。
【００７９】
このように、ネットワークにジッタが発生した場合、ビットレートを下げることにより、動画像（表示）データが画像表示装置に表示されるタイミングが、より早く正常に戻ることとなる。
また、前記したように、符号化ビットレートが下げられていることにより、受信バッファのオーバーフローを防止することが可能となる。
【００８０】
なお、テレビ電話装置１０１は、上記第１の動作を行うか上記第２の動作を行うかの判断を、画像表示装置の表示能力と、呼接続時に決定した使用する符号化方式をもとに計算した受信バッファ１１２のパケットデータ受信間隔と、を比較することで行うようにしてもよい。すなわち、この比較の結果が前記した第１の動作における条件を満たす場合、動画像データを画像バッファ１０５へ出力しない上記第１の動作を行い、上記第２の動作における条件を満たす場合、動画像データを画像バッファ１０５へ出力するよう制御可能なようにしてよい。
【００８１】
＜第２のテレビ電話装置の構成＞
以下、本発明による第２のテレビ電話装置について説明する。図５は、本発明による第２のテレビ電話装置の内部構成を示す構成図である。図５に示すテレビ電話装置５０１は、動画像復号データバッファ５１７をさらに有する点が、図１に示すテレビ電話装置１０１と異なる。
【００８２】
復号化装置５０７から出力された動画像データは、ネットワークにおいてジッタが発生する前には、上記第１のテレビ電話装置と同様に動画像バッファ５０５に格納される。
この第２のテレビ電話装置は、ネットワークにおいてジッタが発生し、受信バッファ５１２の容量が空になった場合、またはあらかじめ設定されたしきい値以下の容量になった場合、復号化装置５０７で作製した動画像データを動画像復号データバッファ５１７に格納する。この動作を受信バッファ５１２が正常（通常）のタイミングでパケットデータを受信するまで行う。パケットデータが通常のタイミングで入力されたか否かは、前記したように判断することができる。
【００８３】
動画像復号データバッファ５１７は、例えば１フレーム等の表示単位毎に動画像データを格納することができるものとする。このように表示単位毎に動画像データが格納されると、動画像復号データバッファ５１７は、受信バッファ５１２にこのデータの次の表示単位分の動画像データが格納されていない場合、この動画像データを動画像バッファ５０５に出力する。
【００８４】
このように、ネットワークにおけるジッタが大きく、受信バッファ５１２に正常なタイミングでパケットデータが到達するまでに長い時間を要した場合であっても、動画像データの表示を更新することが可能となる。
【００８５】
なお、受信バッファ５１２は、前記したような方法によりネットワークにジッタが発生したことを検知した場合、通信制御装置５１３を介して相手方（送信側）テレビ電話装置に符号化ビットレートを下げるように通知し、この通知を受信した送信側テレビ電話装置が符号化ビットレートを下げるようにしてもよい。
【００８６】
【発明の効果】
以上の説明から明らかなように、本発明によれば、ＩＰネットワークを使ったテレビ電話装置において、パケットの到着時間が変化するネットワークのジッタ（ゆらぎ）が発生した場合に、送信側装置の受信したパケットデータを格納する受信バッファの受信タイミングを監視し、受信するタイミングにパケットを受信しなかった場合や、あらかじめ定めたしきい値より受信バッファの容量が下がった場合をトリガにして送信する動画像データのビットレートを下げて符号化したパケットデータを送信することで、受信側装置でジッタが発生した後に連続してデータが到着しても受信バッファのオーバーフローを防ぐことが可能となる。
【００８７】
また、受信側装置で動画像データの受信中にジッタが発生し動画像データを格納している受信バッファが空になった後に受信した動画像データを破棄することなく正常に表示を再開することが可能となる。
【００８８】
また、速度優先・画質優先等の通常の制御パラメータの他にジッタ情報を制御パラメータとして有し、これにより符号量制御を行う動画像符号化装置を有することで、ネットワークにジッタが発生したことをトリガとして送信側の符号化ビットレートを下げることが可能となり、その結果、受信側テレビ電話装置の受信バッファにより多くのパケットを格納することが可能となり、オーバーフローがおこりにくくなる。
【００８９】
また、動画像データの受信バッファの受信タイミングを監視し、受信するタイミングにパケットデータを受信できなかった場合にビットレートを下げて動画像データの符号化を行うことで、パケットデータの到達タイミングをチェックするという単純な動作を行い、正常なタイミングで到着しなかったことを検知した場合、これをトリガとして送信側テレビ電話装置は、符号化ビットレートを下げることが可能となる。従って、受信側テレビ電話装置は、見かけ上の容量が大きくなるため、ジッタ解消後に連続してパケットデータが入力されても、オーバーフローしにくくなる。
【００９０】
また、あらかじめ動画像データの受信バッファにしきい値を設定し、この値以下のバッファ容量となった場合にビットレートを下げて動画像データの復号化を行うことで、受信バッファに格納されたパケットデータの量をチェックするという単純な動作でネットワークにジッタが発生したか判断することが可能となり、パケットデータが所定値以下の格納量となったことをトリガにして符号化ビットレートを下げることが可能となる。従って、受信側テレビ電話装置は、より多くのパケットデータを格納可能となり、ジッタ解消後に連続してパケットデータが入力されてもオーバーフローしにくくなる。
【００９１】
また、音声パケットの受信バッファの受信タイミングを監視し、受信するタイミングにパケットを受信できなかった場合にビットレートを下げて動画像データの符号化を行うことで、受信側のテレビ電話装置は、ネットワークのジッタ解消後に連続してパケットデータが入力されてもオーバーフローをおこしにくくなる。
【００９２】
また、あらかじめ音声データを受信する受信バッファにしきい値を設定し、設定したバッファ容量以下になった場合にビットレートを下げて動画像データの符号化を行うことで、受信側のテレビ電話装置は、ネットワークのジッタ解消後に連続してパケットデータが入力されてもオーバーフローをおこしにくくなる。
【００９３】
また、ジッタが発生しパケット受信が遅れた場合にビットレートを下げて符号化した動画像データを送信することで、受信側テレビ電話装置の受信バッファの見かけ上の容量を増やし、ジッタ解消後のオーバーフローを防止することが可能となる。
【００９４】
また、ジッタが発生しパケット受信が遅れた場合に相手端末に対し動画像データの符号化ビットレートを下げるように要求することで、ジッタ解消後に通常のビットレートで作製されたパケットが入力される場合に比し、受信バッファのオーバーフローをおこしにくくすることを可能とする。
【００９５】
また、ジッタが発生した際にビットレートを下げて動画像データの符号化を行い、動画像データの受信バッファにデータが到着するとビットレートをもとに戻して動画像データの符号化を行うことで、ジッタ解消後に連続して到達する動画像データをすべて再生する場合に生じる動画像データの表示遅延を防止する。
【００９６】
また、ジッタが発生した際にビットレートを下げて動画像データの符号化を行っている最中に、音声データの受信バッファにデータが到着するとビットレートをもとに戻すことで、ネットワークにジッタが発生した場合のみ符号化ビットレートを下げることが可能となる。
【００９７】
ジッタが発生した際にビットレートを下げて符号化を行っている最中に、ジッタが発生した後に受け取る動画像データのジッタの影響がなくなり正常なタイミングで受信し始めるとビットレートをもとに戻すことで、ネットワーク上にジッタが発生した場合のみ符号化ビットレートを下げることが可能となる。
【００９８】
ジッタが発生した際にビットレートを下げて動画像データの符号化を行っている最中に、ジッタが発生した後に受け取る音声データがジッタの影響がなくなり正常なタイミングで受信し始めるとビットレートを元に戻すことで、ネットワーク上にジッタが発生した場合のみ符号化ビットレートを下げることを可能とする。
【００９９】
ジッタが発生し動画像データの受信バッファが空になった後は、受信した動画像データを復号しても表示を行うための画像バッファに出力しないことで、ジッタ発生後に生じる表示遅延を防止することが可能となる。
【０１００】
ジッタが発生し動画像データの受信バッファが空になった後、受信した動画像データを復号し、フレーム復号化で復号化されたデータを復号したデータだけを画像バッファに出力し表示を行うことで、ジッタ発生後に生じる表示遅延を防止するとともに、この表示遅延防止のために動画像データの表示が一切行われなくなってしまうということを防止することが可能となる。
【０１０１】
ジッタが発生し動画像データの受信バッファが空になった後に、受信した動画像データを復号しバッファに蓄え、受信データを格納する受信バッファの受信状態を判定し、バッファに蓄えられた復号データを画像バッファに出力し表示を行うことで、ジッタ発生後に生じる表示遅延を防止するとともに、この表示遅延防止のために動画像データの表示が一切行われなくなってしまうということを防止することが可能となる。
【図面の簡単な説明】
【図１】本発明によるテレビ電話装置の内部構成を示す第１の内部構成図である。
【図２】従来技術によるテレビ電話装置のパケットデータ送受信、および動画像データ表示タイミングを説明するタイミング図である。
【図３】本発明によるテレビ電話装置のパケットデータ送受信、および動画像データ表示タイミングを説明するための第１のタイミング図である。
【図４】本発明によるテレビ電話装置のパケットデータ送受信、および動画像データ表示タイミングを説明するための第２のタイミング図である。
【図５】本発明によるテレビ電話装置の内部構成を示す第２の内部構成図である。
【図６】従来技術によるテレビ電話装置の内部構成図である。
【符号の説明】
１０１ テレビ電話装置
１０２ 音声入力装置
１０３ 動画像入力装置
１０４ 音声出力装置
１０５ 動画像バッファ
１０６ 符号化装置
１０７ 復号化装置
１０８ パケット化装置
１０９ ストリーム化装置
１１０ データ制御装置
１１１ 送信バッファ
１１２ 受信バッファ
１１３ 通信制御装置
１１４ フロー制御装置
１１５ データ入出力装置
１１６ 通信装置
５０１ テレビ電話装置
５０２ 音声入力装置
５０３ 動画像入力装置
５０４ 音声出力装置
５０５ 動画像バッファ
５０６ 符号化装置
５０７ 復号化装置
５０８ パケット化装置
５０９ ストリーム化装置
５１０ データ制御装置
５１１ 送信バッファ
５１２ 受信バッファ
５１３ 通信制御装置
５１４ フロー制御装置
５１５ データ入出力装置
５１６ 通信回線
５１７ 動画像復号データバッファ
６００ テレビ電話装置
Claims (6)
- 複数のテレビ電話装置間でデータ通信を行うネットワークのテレビ電話システムに使用され、ジッタが発生しているか判定するジッタ判定手段を有するテレビ電話装置において、
該テレビ電話装置は、
動画像データの符号化ビットレートを下げるビットレート制御手段と、
該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにする動画像データ出力制御手段と、を有し、
前記動画像データ出力制御手段は、第１の動作として、該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにし、
前記ジッタ判定手段により、入力されるパケットデータのタイミングに基づいて該ネットワークにジッタが発生していると判定された場合に、
前記動画像データ出力制御手段は、第２の動作として、動画像データを画像表示装置へ出力する間隔が送信側テレビ電話装置の動画像取り込み間隔よりも短い間隔である場合には、前記ネットワークにジッタが発生していると判定しても、動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力する、ことを特徴とするテレビ電話装置。 - 複数のテレビ電話装置間でデータ通信を行うネットワークのテレビ電話システムに使用され、ジッタが発生しているか判定するジッタ判定手段を有するテレビ電話装置において、
該テレビ電話装置は、
動画像データの符号化ビットレートを下げるビットレート制御手段と、
該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにする動画像データ出力制御手段と、を有し、
前記動画像データ出力制御手段は、第１の動作として、該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにし、
前記ジッタ判定手段により、入力されるパケットデータのタイミングに基づいて該ネットワークにジッタが発生していると判定された場合に、
前記動画像データ出力手段は、第２の動作として、動画像データがフレーム内符号化されたデータである場合には、ネットワークにジッタが発生していると判定しても、動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力する、ことを特徴とするテレビ電話装置。 - 複数のテレビ電話装置間でデータ通信を行うネットワークのテレビ電話システムに使用され、ジッタが発生しているか判定するジッタ判定手段を有するテレビ電話装置において、
該テレビ電話装置は、
動画像データの符号化ビットレートを下げるビットレート制御手段と、
該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにする動画像データ出力制御手段と、を有し、
更に、該ネットワークに接続されたテレビ電話から入力されたパケットデータから作製した動画像データを記憶する動画像復号データバッファと、を有し、
前記動画像データ出力制御手段は、第１の動作として、該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにし、
前記ジッタ判定手段により、該ネットワークにジッタが発生している場合に、
前記動画像データ出力制御手段は、第２の動作として、前記動画像復号データバッファに記憶された動画像データよりも後である最新の動画像データが作成されていない場合、該動画像復号データバッファに記憶された動画像データを画像表示装置に出力する、ことを特徴とするテレビ電話装置。 - 複数のテレビ電話装置間でデータ通信を行うネットワークのテレビ電話システムに使用され、ジッタが発生しているか判定するジッタ判定手段を有するテレビ電話装置において、
該テレビ電話装置は、
動画像データの符号化ビットレートを下げるビットレート制御手段と、
該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにする動画像データ出力制御手段と、を有し、
更に、該ネットワークに接続されたテレビ電話から入力されたパケットデータから作製した動画像データを記憶する動画像復号データバッファと、を有し、
前記ジッタ判定手段により、該ネットワークにジッタが発生していると判定された場合に、
前記動画像データ出力制御手段は、第１の動作として、該ネットワークに接続されたテレビ電話装置から入力されたパケットデータから作製した動画像データを、該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力しないようにし、
第２の動作として、前記動画像データがフレーム内符号化されたデータである場合には、ネットワークにジッタが発生していると判定しても、前記動画像データ出力制御手段は動画像データの準備が間に合えば、前記該ジッタ判定を行ったテレビ電話装置に備えられた画像表示装置に出力し、前記準備が間に合わない場合には前記動画像復号データバッファに記憶された動画像データを画像表示装置に出力する、ことを特徴とするテレビ電話装置。 - 前記ジッタ判定手段により、該ネットワークにジッタが発生していると判定された場合に、該ジッタ判定を行ったテレビ電話装置から該ネットワークに接続されたテレビ電話装置に対して、動画像データの符号化ビットレートを所定のレートに下げるよう変更指示を出すビットレート変更指示手段と、
前記変更指示を受けたテレビ電話装置にて、動画像データの符号化ビットレートを下げるビットレート変更手段と、を有することを特徴とする請求項１〜４のいずれか１項に記載のテレビ電話装置。 - 前記第１の動作及び第２の動作のいずれかを行う判断を、画像表示装置の表示能力と、呼接続時に決定した使用する符号化方式をもとに計算した受信バッファのパケットデータ受信間隔と、を比較することにより、
前記表示能力が前記パケットデータ受信間隔よりも小さい場合には前記第２の動作を行うことを特徴とする請求項１〜５のいずれか１項に記載のテレビ電話装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000247943A JP3707369B2 (ja) | 2000-08-10 | 2000-08-10 | テレビ電話装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000247943A JP3707369B2 (ja) | 2000-08-10 | 2000-08-10 | テレビ電話装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002058002A JP2002058002A (ja) | 2002-02-22 |
| JP3707369B2 true JP3707369B2 (ja) | 2005-10-19 |
Family
ID=18737940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000247943A Expired - Fee Related JP3707369B2 (ja) | 2000-08-10 | 2000-08-10 | テレビ電話装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3707369B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4524996B2 (ja) * | 2003-04-03 | 2010-08-18 | パナソニック株式会社 | テレビ電話機 |
| US7274740B2 (en) | 2003-06-25 | 2007-09-25 | Sharp Laboratories Of America, Inc. | Wireless video transmission system |
| US9325998B2 (en) | 2003-09-30 | 2016-04-26 | Sharp Laboratories Of America, Inc. | Wireless video transmission system |
| US8018850B2 (en) | 2004-02-23 | 2011-09-13 | Sharp Laboratories Of America, Inc. | Wireless video transmission system |
| US7797723B2 (en) | 2004-10-30 | 2010-09-14 | Sharp Laboratories Of America, Inc. | Packet scheduling for video transmission with sender queue control |
| US7784076B2 (en) | 2004-10-30 | 2010-08-24 | Sharp Laboratories Of America, Inc. | Sender-side bandwidth estimation for video transmission with receiver packet buffer |
| JP2006217167A (ja) * | 2005-02-02 | 2006-08-17 | Sharp Corp | Ｉｐ電話装置およびｉｐアダプタ装置 |
| US9544602B2 (en) | 2005-12-30 | 2017-01-10 | Sharp Laboratories Of America, Inc. | Wireless video transmission system |
| US7652994B2 (en) | 2006-03-31 | 2010-01-26 | Sharp Laboratories Of America, Inc. | Accelerated media coding for robust low-delay video streaming over time-varying and bandwidth limited channels |
| US8861597B2 (en) | 2006-09-18 | 2014-10-14 | Sharp Laboratories Of America, Inc. | Distributed channel time allocation for video streaming over wireless networks |
| KR100880179B1 (ko) | 2007-04-09 | 2009-01-28 | (주)디티브이인터랙티브 | Ｉｐｔｖ 네트워크 품질 측정방법 및 장치, 그리고,ｉｐｔｖ 네트워크 품질측정시스템 |
| JP2012119784A (ja) * | 2010-11-29 | 2012-06-21 | Sony Corp | 映像表示装置、映像表示システム、映像表示方法およびプログラム |
| US20140344392A1 (en) * | 2011-09-21 | 2014-11-20 | Nec Corporation | Content delivery system, cache server, and content delivery method |
| JP6574113B2 (ja) * | 2015-07-28 | 2019-09-11 | 株式会社日立システムズ | 音声品質劣化防止システム及び音声品質劣化防止方法 |
| JP6604256B2 (ja) * | 2016-04-07 | 2019-11-13 | 富士通株式会社 | 情報処理端末、情報処理方法、及びプログラム |
-
2000
- 2000-08-10 JP JP2000247943A patent/JP3707369B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002058002A (ja) | 2002-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3707369B2 (ja) | テレビ電話装置 | |
| JP4661373B2 (ja) | 特定メディアデータの破棄を制御する送信装置及び送信プログラム | |
| KR20030095995A (ko) | 미디어 전송방법 및 그 송신장치 및 수신장치 | |
| WO2010051618A1 (en) | Stable video rate adaptation for congestion control | |
| JPWO2006054442A1 (ja) | 送信装置、受信装置及び通信システム | |
| JP2007535875A (ja) | 適応映像電話システム | |
| KR20060111036A (ko) | 약전계 상황을 고려한 이동 통신 단말기에서의 화상 통화서비스 제공 방법 | |
| WO2001011832A1 (fr) | Appareil de traitement des paquets et programme de traitement de memorisation par paquets | |
| WO2011022977A1 (zh) | 可视电话的视频数据接收和发送系统、视频数据处理方法 | |
| CN110996103A (zh) | 一种根据网络情况对视频编码码率进行调节的方法 | |
| US9398256B2 (en) | Telecommunication end-point device data transmission controller | |
| JPWO2005039180A1 (ja) | メディア信号の送信方法と受信方法ならびに送受信方法及び装置 | |
| JP4699947B2 (ja) | 通信端末装置 | |
| KR20080032088A (ko) | 실시간 콘텐츠 분배의 클라이언트 입력 버퍼의 충전율 추정 장치 및 방법 | |
| CN102348095A (zh) | 一种用于移动设备视频通信中、保持图像稳定传输的方法 | |
| WO2007080788A1 (ja) | Ｔｖ会議制御装置およびｔｖ会議制御方法 | |
| JP2008005392A (ja) | 通信端末装置およびバッファ制御方法 | |
| CN109862400B (zh) | 一种流媒体传输方法、装置及其系统 | |
| JP3838511B2 (ja) | 動画像圧縮符号化送受信装置 | |
| JP3821740B2 (ja) | 音声データ送受信装置 | |
| US8446823B2 (en) | Method of managing the flow of time-sensitive data over packet networks | |
| CN114979080B (zh) | 一种融合局域网和广域网的sip对讲方法、系统、存储装置 | |
| EP2043372B1 (en) | Method for audio and video synchronization, receiving and transmitting device | |
| JP2005210160A (ja) | 通信状態表示を有する映像受信端末 | |
| GB2529455A (en) | A telecommunication network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040810 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041012 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050712 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050725 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080812 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090812 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090812 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100812 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110812 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110812 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120812 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120812 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120812 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120812 Year of fee payment: 7 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120812 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120812 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120812 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130812 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |