JP4373088B2

JP4373088B2 - マルチメディア通信端末

Info

Publication number: JP4373088B2
Application number: JP2002508838A
Authority: JP
Inventors: 雄一郎中屋
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2000-07-10
Filing date: 2000-07-10
Publication date: 2009-11-25
Anticipated expiration: 2020-07-10
Also published as: CN1454429A; KR20030018044A; CN100385944C; EP1301038A4; US7712119B1; WO2002005558A1; KR100716093B1; EP1301038A1

Description

技術分野
本発明は、通信路の伝送誤りの影響を受けるマルチメディア通信システムに関するものである。
背景技術
無線携帯端末を用いた動画像通信を行うための環境が整いつつある。かつては、低い回線容量（伝送ビットレート）、高い伝送誤り率、低い電池容量（低い演算能力と等価）の３項目の技術的制約から、このような通信端末の開発は困難と言われていた。しかし、ＩＭＴ−２０００方式に代表される高ビットレート携帯電話システム、ＭＰＥＧ−４に代表される高情報圧縮率・高誤り耐性画像符号化方式の登場や、高性能電池、低消費電力プロセッサの開発により、上記３項目の技術的制約は克服されつつある。
図１に国際標準ＭＰＥＧ−４に準拠する符号化器１００の構成例を示す。ＭＰＥＧ−４は、符号化方式として、ブロックマッチングとＤＣＴ（離散コサイン変換）を組み合わせたハイブリッド符号化方式（フレーム間／フレーム内適応符号化方式）を採用している。減算器１０２は入力画像信号（現フレームの原画像信号）１０１とフレーム間／フレーム内符号化切り換えスイッチ１１９の出力画像信号１１３（後述）との差を計算し、誤差画像信号１０３を出力する。この誤差画像信号は、ＤＣＴ変換器１０４でＤＣＴ係数に変換された後に量子化器１０５で量子化され、量子化ＤＣＴ係数１０６となる。この量子化ＤＣＴ計数は伝送情報として通信路に出力されると同時に、符号化器内でもフレーム間予測画像信号を合成するために使用される。
次に予測画像信号合成の手順を説明する。予測画像信号合成は符号化器１００の内、一点鎖線で囲って示すブロック１０７内で行われる。上述の量子化ＤＣＴ係数１０６は、逆量子化器１０８と逆ＤＣＴ変換器１０９を経て復号誤差画像信号１１０（受信側で再生される誤差画像信号と同じ画像信号）となる。これに、加算器１１１においてフレーム間／フレーム内符号化切り換えスイッチ１１９の出力画像信号１１３（後述）が加えられ、現フレームの復号画像信号１１２（受信側で再生される現フレームの復号画像信号と同じ画像信号）を得る。この画像信号は一旦フレームメモリ１１４に蓄えられ、１フレーム分の時間だけ遅延される。したがって、現時点では、フレームメモリ１１４は前フレームの復号画像信号１１５を出力している。この前フレームの復号画像信号と現フレームの入力画像信号１０１がブロックマッチング部１１６に入力され、ブロックマッチングの処理が行われる。ブロックマッチングでは、画像信号を複数のブロックに分割し、各ブロックごとに現フレームの原画像信号に最も似た部分を前フレームの復号画像信号から取り出すことにより、現フレームの予測画像信号１１７が合成される。このときに、各ブロックが前フレームと現フレームの間でどれだけ移動したかを検出する処理（動き推定処理）を行う必要がある。動き推定処理によって検出された各ブロックごとの動きベクトルは、動きベクトル情報１２０として受信側へ伝送される。受信側は、この動きベクトル情報と前フレームの復号画像信号から、独自に送信側で得られるものと同じ予測画像信号を合成することができる。予測画像信号１１７は、「０」信号１１８と共にフレーム間／フレーム内符号化切り換えスイッチ１１９に入力される。このスイッチは、両入力のいずれかを選択することにより、フレーム間符号化とフレーム内符号化を切り換える。予測画像信号１１７が選択された場合（図２はこの場合を表している）には、フレーム間符号化が行われる。一方、「０」信号が選択された場合には、入力画像信号がそのままＤＣＴ符号化されて通信路に出力されるため、フレーム内符号化が行われることになる。受信側が正しく復号化画像信号を得るためには、送信側でフレーム間符号化が行われたかフレーム内符号化が行われたかを知る必要がある。このため、フレーム間／フレーム内識別フラグ１２１が通信路へ出力される。最終的なＨ．２６３符号化ビットストリーム１２３は多重化器１２２で量子化ＤＣＴ係数、動きベクトル、フレーム内／フレーム間識別フラグの情報を多重化することによって得られる。
図２に、図１の符号化器１００が出力した符号化ビットストリーム１２３を受信する復号化器２００の構成例を示す。受信したＭＰＥＧ−４ビットストリーム２１７は、分離器２１６で量子化ＤＣＴ係数２０１、動きベクトル情報２０２、フレーム内／フレーム間識別フラグ２０３に分離される。量子化ＤＣＴ係数２０１は逆量子化器２０４と逆ＤＣＴ変換器２０５を経て復号化された誤差画像信号２０６となる。この誤差画像信号は加算器２０７でフレーム間／フレーム内符号化切り換えスイッチ２１４の出力画像信号２１５を加算され、復号化画像信号２０８として出力される。フレーム間／フレーム内符号化切り換えスイッチ２１４はフレーム間／フレーム内符号化識別フラグ２０３に従って、出力を切り換える。フレーム間符号化を行う場合に用いる予測画像信号２１２は、予測画像信号合成部２１１において合成される。ここでは、フレームメモリ２０９に蓄えられている前フレームの復号画像信号２１０に対して、受信した動きベクトル情報２０２に従ってブロックごとに位置を移動させる処理が行われる。一方フレーム内符号化の場合、フレーム間／フレーム内符号化切り換えスイッチは、「０」信号２１３をそのまま出力する。
ＭＰＥＧ−４が符号化する画像信号は、輝度情報を持つ１枚の輝度プレーン（Ｙプレーン）と色情報（色差情報とも言う）を持つ２枚の色差プレーン（ＵプレーンとＶプレーン）で構成されている。このとき、画像信号が水平方向に２ｍ画素、垂直方向に２ｎ画素持っている場合に（ｍとｎは正の整数とする）、Ｙプレーンは水平方向に２ｍ、垂直方向に２ｎ個の画素を持ち、ＵおよびＶプレーンは水平方向にｍ、素直方向にｎ個の画素を持つことを特徴としている。このように色差プレーンの解像度が低いのは、人間の視覚が色差の空間的な変化に比較的鈍感であるという特徴を持つためである。このような画像信号を入力として、ＭＰＥＧ−４ではマクロブロックと呼ばれるブロックを単位として符号化・復号化の処理が行われる。
図３にマクロブロックの構成を示す。マクロブロックはＹブロック、Ｕブロック、Ｖブロックの３個のブロックで構成され、輝度値情報を持つＹブロック３０１の大きさは１６×１６画素、色差情報をもつＵブロック３０２およびＶブロック３０３の大きさは８×８画素となっている。ＭＰＥＧ−４では、フレーム内符号化とフレーム間符号化の切り換えは、このマクロブロックを単位として行われる。また、ブロックマッチングの処理において、マクログロックごとに動きベクトルを伝送することが可能となっている。
無線通信においては、通信路における伝送誤りの発生を防ぐことは不可能に近い。その一方で、情報圧縮技術により圧縮された符号化データは、ビット誤り（データ中のビットの反転）に弱く、数ビットの反転が復号化器の暴走（再生処理が停止した状態、利用者からの入力情報を受け付けない状態など）や、再生情報の著しい劣化を発生させる性質を持っている。一般的に、データ通信においては、リードソロモン符号などの誤り訂正符号や、伝送誤りが発生したパケットを送信側が再送する再送型プロトコルを活用して、伝送されるデータに誤りが発生していないか、発生しているとしてもきわめて低いビット誤り率（データに含まれるビットが反転している確率）が達成されていることを仮定する場合が多い。しかし、誤り訂正符号や再送型プロトコルの使用は、伝送されるデータの実質的なビットレートの低下と伝送遅延の増加を招き、低レートのリアルタイム通信においては必ずしも適切な解決策にはならない。
そこで、無線環境において、低ビットレート画像通信を行う場合には、受信側で得られる符号化ビットストリームにビット誤りが発生しているという仮定の元で、このビットストリームを復号化することによって得られる再生画像の劣化を最小限に止めるための技術（誤り耐性符号化技術）が必要となる。誤り耐性符号化技術の最も簡単な例は、フレーム内符号化を行うマクロブロックの割合を上げることである。フレーム間符号化を行った場合、前フレームの再生画像は現フレームの復号化に使用されるため、あるフレームで発生した劣化が、そのまま以後のフレームに残る現象が発生する。この現象の発生を防ぐためには、フレーム内符号化を行うマクログロックの割合を上げ、過去のフレームで発生した劣化が以後のフレームに継承しにくい状態を作れば良い。しかし、一般的にフレーム内符号化を行うマクロブロックの割合を上げることは符号化性能（ビットレートを固定した場合の画質）の低下につながる。つまり、上で述べた方法を用いて符号化ビットストリームの誤り耐性を向上させた場合には、逆に伝送誤りが発生しなかったときの再生画像の品質は劣化する。
国際標準ＭＰＥＧ−４で規定されている画像符号化方式では、さらに以下の３種類の誤り耐性符号化技術が採用されている。
（１）同期回復マーカ：
ＭＰＥＧ−４の符号化符号化ビットストリームにおいては、特殊な符号語が発生した場合を除いて連続して１６個以上の０が並ばないようになっている。この特殊な符号語とは、ＶＯＰ（ＶｉｄｅｏＯｂｊｅｃｔｐｌａｎｅ−−−ＭＰＥＧ−４では動画像のフレームのことをこのように呼ぶ）の先頭を表すＶＯＰスタートコードと、同期回復マーカの２種類である。この中で同期回復マーカは、符号化ビットストリームの誤り耐性を向上させるために、送信側の符号化装置によって意図的に伝送される符号語である。同期回復マーカは、ＶＯＰの最初のマクロブロックを除くすべてのマクロブロックに関する符号化情報の直前に入れることができるようになっている。復号化装置が符号化ビットストリームに誤りがあることを発見した場合には、次の同期回復マーカを探し、その直後のデータから復号化を開始すれば、少なくとも同期回復マーカ以後のデータを正しく復号化することができる。送信側の符号化装置は、独自の判断により符号化ビットストリームの中に同期回復マーカを入れる頻度を調整できるようになっている。同期回復マーカを入れる頻度を上げれば当然ながら誤り耐性は向上する。しかし、逆の効果として、冗長な情報の伝送に伴い符号化性能が低下するため、伝送誤りが無い場合の画質は劣化する。
（２）データ分割：
伝送誤りの影響で、マクロブロックの動きベクトルが誤って復号化された場合には、ＤＣＴ係数に関する情報に誤りが発生した場合と比較して、再生画像においてより大きな劣化が発生することが知られている。この点に着目し、２個の同期回復マーカによって挟まれている複数のマクロブロックに対して、重要な情報だけ先にまとめて伝送してしまうというのがデータ分割の考え方である。これは、同期回復マーカの直後に伝送される情報の方が、直前に伝送される情報より伝送誤りの影響を受ける確率が低いためである。
データ分割において優先的に伝送されるのは、マクロブロックの属性情報、マクロブロックの動きベクトル（フレーム間符号化の場合のみ）、マクロブロックの直流ＤＣＴ係数（フレーム内符号化の場合のみ）の３種類の情報である。例えば５個のフレーム間符号化を行うマクロブロックに関する情報が同期回復マーカによって挟まれた状態にあるときには、まずは５個のマクロブロックに関する属性情報が伝送された後に５個の動きベクトルが伝送され、最後に５個のマクロブロックに関するＤＣＴ係数がまとめて伝送される。このデータ分割による誤り耐性の向上は、同期回復マーカの伝送頻度が高い場合の方が顕著である。したがって、誤り耐性を向上させようとした場合には、符号化性能が低下する現象が発生する。
（３）逆復号可能型可変長符号：
ＭＰＥＧ−４では、発生する情報に応じて符号長が変化する可変長符号が使用されている。しかし、一般的に可変長符号によって符号化されたデータは、一方向にしか復号化できない。つまり、符号化データの先頭を正しく発見した上で、先に伝送されたビットから順番に復号化の処理を進める必要がある。しかし、符号語の設計において特殊な工夫をすると、逆方向からも復号化できる可変長符号（逆復号可能型可変長符号）を設計することができる。逆復号可能型可変長符号を使用することにより、伝送誤りの影響で順方向からの復号化が困難であるビットストリームに対しても、最後尾から逆方向に復号化を行うことが可能となり、失われる情報を最小限に止めることができる。
ＭＰＥＧ−４では、ＤＣＴ係数の符号化において、逆復号可能型可変長符号を使用することができるようになっている。なお、逆復号可能型可変長符号を使用した場合でも、データの先頭（最後尾）を正しく発見しなければならない点に変わりはない。また、動きベクトルやマクロブロックの属性に関する情報の符号化には逆復号可能型可変長符号は使用されない。したがって、誤り耐性を向上させるためには、同期回復マーカの伝送頻度を上げる必要があり、これは符号化性能の低下を招く。
これらの誤り耐性技術を用いることにより、ビット誤りが発生している符号化ビットストリームを復号化した場合の画質劣化を飛躍的に低減することが可能となる。しかし、これらの誤り耐性技術は、誤り耐性を向上させると符号化性能が低下する共通の性質を持っている点に注意する必要がある。つまり、必要以上に誤り耐性を向上させることは、逆に受信側の再生画像の品質を落とす結果につながりかねないのである。また、ビット誤りによって発生する品質劣化（原画像に無いパターンの発生等）と、符号化性能の低下により発生する品質劣化（全体的なぼけの発生等）は、一般的に性質の異なるものである。これらの劣化によって再生画像の観察者が感じる妨害の相対的強度には個人差があり、ビット誤り率の条件が同じでも観察者の好みによって最適な誤り耐性の強度が異なる場合が多い。
発明の開示
符号化ビットストリームの誤り耐性と符号化性能はトレードオフの関係にある。本発明の目的は、利用者の好みや通信路の状態などの条件に応じて最適な誤り耐性の強度を選択するマルチメディア通信システムを構築することにある。
利用者の好みに応じて利用者自身が自己の使用している端末を操作し、あるいは、通信路の状態などの条件に応じて、送信される符号化ビットストリームに付与する誤り耐性の最適な強度を選択する。
発明を実施するための最良の形態
本発明で扱う通信システムの形態を図４Ａ−図４Ｃに示す。図４Ａに示す送信端末４０１ではカメラ４０２による画像信号入力と画像符号化装置４０３による実時間の画像符号化が行われ、ここで符号化されたビットストリームが送信装置４０４を用いて送信され、受信側の端末４０５がこれを再生するシステムである。図４Ｂに示す送信端末４０６ではデータとして蓄積媒体４０７に記録されているのは高いビットレートで符号化されたビットストリームであり、このデータに対してトランスコーダ４０８において実時間トランスコーディング（ビットレートの変換）を行って、通信路を用いた伝送が可能となるレベルまでビットレートを低くする処理が行われる。実時間のトランスコーディングを行うことにより、そのときの状況に応じたビットストリームを生成することが可能となる。このようにして生成されたビットストリームは、送信装置４０９を用いて送信され、受信側の端末４１０がこれを受信再生する。これに対して図４Ｃに示す送信端末４１１では、伝送用の符号化ビットストリームは蓄積媒体４１２に用意されており、選択されたビットストリームがそのまま送信装置４１３を用いて送信され、受信側の端末４１４がこれを受信する。
伝送される情報に画像情報と音響情報が含まれると仮定した場合、伝送されるビットストリームの誤り耐性を変化させる方法の例としては、以下の項目を考えることができる。
▲１▼フレーム内符号化を行うマクロブロックの発生頻度：
頻度を上げた場合には誤り耐性は向上するが、符号化性能は低下する。
▲２▼同期回復マーカの発生頻度：
頻度を上げた場合には誤り耐性は向上するが、符号化性能は低下する。
▲３▼音響情報の伝送停止：
音響情報の伝送を停止した場合には、その分だけ画像情報の誤り耐性を強化することができる。しかし、利用者は音響情報が伝送されないことによる妨害を感じる。
▲４▼画像情報の伝送停止：
画像情報の伝送を停止した場合には、その分だけ音響情報の誤り耐性を強化することができる。しかし、利用者は画像情報が伝送されないことによる妨害を感じる。
これらの項目を組み合わせた誤り耐性制御の例を以下に示す。
第１段階：
・フレーム内符号化を行うマクロブロックは１ＶＯＰあたり最低２個とする。
・直前の同期回復マーカから数えて４８０ビットを超えた直後のマクロブロック境界に次の同期回復マーカを伝送する。
・画像と音響の両情報を伝送する。
第２段階：
・フレーム内符号化を行うマクロブロックは１ＶＯＰあたり最低２個とする。
・直前の同期回復マーカから数えて６４０ビットを超えた直後のマクロブロック境界に次の同期回復マーカを伝送する。
・画像と音響の両情報を伝送する。
第３段階：
・フレーム内符号化を行うマクロブロックは１ＶＯＰあたり最低４個とする。
・直前の同期回復マーカから数えて６４０ビットを超えた直後のマクロブロック境界に次の同期回復マーカを伝送する。
・画像と音響の両情報を伝送する。
第４段階
・フレーム内符号化を行うマクロブロックは１ＶＯＰあたり最低４個とする。
・直前の同期回復マーカから数えて６４０ビットを超えた直後のマクロブロック境界に次の同期回復マーカを伝送する。
・画像情報のみ伝送する。
第５段階
・音響情報のみ伝送する。
この例では、第１段階の誤り耐性が最も低く、第５段階に至るまで、番号が増えるに従って誤り耐性が高くなる。しかし、伝送路で誤りが発生しなかった場合の再生情報の品質は、逆に段階に関する番号が増えるに従って低くなる。
さらに、利用者による誤り耐性に関する認識には種々の形態があり得る。例えば、同じ再生画像を観察した場合でも、利用者によっては、画像の乱れが相対的に多く且つ動画像のフレームレートが相対的に高い状態と認識する場合と、画像の乱れが相対的に少なく且つ動画像のフレームレートが相対的に低い状態と認識する場合とがある。本発明による誤り耐性に関する要求はこのような認識の個人差にこたえるものであることも必要である。
図５に利用者の要求に応じて送信側が送信するビットストリームの誤り耐性を変化させる受信端末５００の構成例を示す。この端末は、動画像情報と音響情報を符号化したビットストリームを受信・再生する機能を持っている。通信路からの受信信号５１５は通信路復号化器５１４を経て分離部５１３へ供給され、画像符号化ビットストリーム、音響符号化ビットストリームに分離される。画像符号化ビットストリームは画像信号復号化器５０９において復号化される。このディジタル復号画像信号は、ディジタル／アナログ変換器５０８を経てディスプレイ５０７で表示される。同様に音声符号化ビットストリームは音響復号化器５１２において復号化され、ディジタル化された復号音声となった後にディジタル／アナログ変換器５１１を経てスピーカ５１０で出力される。一方、利用者は誤り耐性に関する利用者の要求５０１を入力し、この入力に応じて誤り耐性変更要求情報発生部５０２において発生した誤り耐性変更要求情報５１６が多重化部５０４および通信路符号化回路５０５を経て送信情報５０６として送信側に向けて伝送される。ここでの利用者の要求５０１は、相対的なもの（誤り耐性を現状より一段階向上／低下させる）であっても、絶対的なもの（例えば、音響のみ伝送などの誤り耐性の段階を直接指定する）であっても良い。なお、この受信端末が他に送信する情報５０３がある場合（例えば、この端末が双方向通信端末で、画像と音響情報を送信する場合等）には、この情報を誤り耐性変更要求情報５１６と多重化して伝送すれば良い。この端末のように、利用者の要求に応じて直接送信側から送信されるビットストリームの誤り耐性を調整することが可能となれば、利用者個人の好みに合った最適な再生情報を得ることが可能となる。なお、５０２において発生される誤り耐性変更要求情報５１６は、例えば２ビットの情報で、「００」であれば「変更要求なし」、「０１」であれば「誤り耐性を上げることを要求」、「１０」であれば「誤り耐性を下げることを要求」を意味するように定義すれば良い。また、誤り耐性のレベルを絶対的な数値で指定する場合には、さらにビット数を増やして対応すれば良い。例えば、誤り耐性変更要求信号を３ビットとして、「０００」を「変更要求なし」と定義すれば、７段階の誤り耐性レベルを要求することができる。
図５の端末を用いて、端末の利用者が誤り耐性の変更を要求する際のユーザインタフェースには様々な方法が考えられる。例えば、誤り耐性を上げることを要求するボタンと、逆に下げることを要求するボタンを独立に設けても良いし、既存の電話番号入力用のボタンを利用して、特定の番号入力をするものとしても良い。また、「モードボタン」または「メニューボタン」を用意し、特定の回数だけこのボタンを押すと端末が誤り耐性変更要求の入力を受け付ける状態となり、例えば「０」のボタンを押せば誤り耐性を上げることを要求し、「１」であればその逆といったようにそれぞれのボタンの持つ意味を定義しても良い。
図６は、伝送誤り率などの通信路の状態を観測し、自動的に送信側から送信されるビットストリームの誤り耐性強度を調整する受信端末６００の構成例である。図５と同じ構成要素には、同じ参照番号が付与されている。この端末の通信路復号化部６０４は、通信路を経て受信したビットストリームにおけるビット誤りの発生状況に関する情報６０３が出力される。このように、ビット誤りの発生状況を調べることは、通信路符号化において使用されている誤り検出または誤り訂正符号の機能を用いて行うことができる。このビット誤りの発生状況に関する情報は誤り耐性変更要求情報発生部６０２に入力され、ビット誤りの発生状況に応じて、送信側に対して送る誤り耐性変更要求情報６０５を変更する。
この誤り耐性変更要求情報発生部６０２における処理のフローチャートの例を図７に示す。ステップ７０１で処理が開始され、続いてステップ７０２において受信したビットストリームにおけるビット誤りの発生状況に関する情報（図６の６０３）が入力される。ステップ７０３においてビット誤り率が１０^−６以下であれば、ステップ７０８において第１段階の誤り耐性を要求する信号が送信される。これと同様に、ステップ７０４、ステップ７０５およびステップ７０６においてビット誤り率がそれぞれ１０^−５、１０^−４および１０^−３以下である場合には、それぞれステップ７０９、ステップ７１０およびステップ７１１において、それぞれ第２段階、第３段階および第４段階の誤り耐性を要求する信号が送信される。一方、ビット誤り率が１０^−３を超える場合には、ステップ７０７において第５段階の誤り耐性を要求する信号が送信される。
図６の端末６００では、利用者の設定６０１により、ビット誤り率に対応して要求される誤り耐性の段階を変更することが可能となっている。この機能を活用することにより、利用者の好みに応じて例えば、ビット誤り率が１０^−４以下では第１段階の誤り耐性、１０^−４を超える場合には第５段階の誤り耐性を要求するように端末の設定を変更することが可能となる。このように、利用者が独自に誤り耐性の設定を端末に入力する際のユーザインタフェースには様々な方法が考えられる。例えば、「モードボタン」または「メニューボタン」を用意し、特定の回数だけこのボタンを押すと、端末が誤り耐性の自動変更に関する利用者の設定を受け付ける状態とする方法などが考えられる。利用者による設定の変更は、通信開始前に行っても、通信中に行っても良い。また、この利用者設定を端末に内蔵されているフラッシュメモリに記録しておき、この端末が他の端末との通信を行う際には、通信開始直後に必ずフラッシュメモリに記憶された利用者設定を相手端末に送信するようにする構成も考えられる。
さらに、図６で説明した耐性の自動変更に加えて、必要な場合には図５で説明した手動による耐性の変更要求を選択的に使用できるものとすることもできる。この場合は、通常の設定としては、使用者が予め耐性変更要求情報発生部６０２に希望する誤り耐性を設定してシステムが自動的に対応するものとしておき、利用者が手動による耐性の変更をしたいときのみ、通常の設定を解除して手動による耐性の変更をするものとするれば良い。この設定のためのユーザインタフェースも、図５と同様に、例えば、誤り耐性を上げることを設定するボタンと、逆に下げることを設定するボタンを独立に設けて、このボタンを所定の約束にしたがって操作することで通常の設定を解除して手動による耐性の変更を可能にするものとしても良いし、既存の電話番号入力用のボタンを利用して特定の番号入力をするものとしても良い。また、「モードボタン」または「メニューボタン」を用意し、特定の回数だけこのボタンを押すと端末が誤り耐性設定の入力を受け付ける状態となり、例えば「０」のボタンを押せば誤り耐性を上げることを設定し、「１」であればその逆といったようにそれぞれのボタンの持つ意味を定義しても良い。
ここで、利用者の好みに応じて誤り耐性を設定することを許すと、利用者が自己の設定を忘れて、受信状態に関する不満を持つ可能性があり得る。このため、利用者の好みに応じて誤り耐性を設定したときは、受信端末の画面に自己が設定した誤り耐性を表すメッセージを表示するのが良い。
図８に、図５および図６の端末に対応する送信端末８００の構成例を示す。受信側端末から送信された情報８１０は、通信路復号化部８０９と分離部８０８を経て誤り耐性変更要求情報８０６および他の受信情報８０７に分離される。誤り耐性変更要求情報は画像符号化ビットストリーム発生部８０１と、音響符号化ビットストリーム発生部８０２の両者に入力され、それぞれにおいて要求に応じて出力される画像符号化ビットストリーム８１１および音響符号化ビットストリーム８１２の誤り耐性を変更する。これらのビットストリームは多重化部８０３で多重化され、通信路符号化部８０４を経て送信情報８０５として通信路に出力される。
図９Ａに、図４Ａに示す送信端末４０１で、実時間で画像信号の符号化を行う場合における図８の画像符号化ビットストリーム発生部８０１の構成例を示す。図８と同じ構成要素には、同じ参照番号が付与されている。カメラ９０１から入力された画像情報はＡ／Ｄ変換器９０２を通じて画像符号化器９０３に入力される。この画像符号化器は誤り耐性変更要求情報８０６に応じて、出力される画像符号化ビットストリーム８１１の誤り耐性を変更する。
図９Ｂに、図４Ｂに示す送信端末４０６で、実時間で画像信号のトランスコーディングを行う場合における図８の画像符号化ビットストリーム発生部８０１の構成例を示す。図８と同じ構成要素には、同じ参照番号が付与されている。ハードディスクなどの蓄積媒体１００１に記録された画像情報は、トランスコーダ１００２に入力される。このトランスコーダは誤り耐性変更要求情報８０６に応じて、出力される画像符号化ビットストリーム８１１の誤り耐性を変更する。
図９Ｃに、図４Ｃに示す送信端末４１１で、蓄積されたビットストリームをそのまま伝送する場合における図８の画像符号化ビットストリーム発生部８０１の構成例を示す。この場合は蓄積媒体１１０１に、各段階の誤り耐性を持たせた符号化ビットストリームがあらかじめ蓄積されている。したがって、誤り耐性変更要求情報８０６に応じて、該当する符号化ビットストリームを選択して出力するだけで処理を実現することができる。
本発明は、図５、図６および図８に示されている従来型の専用回路・専用チップを用いる端末の他に、汎用プロセッサを用いるソフトウェア端末にも適用することができる。
図１０に、図５および図６に示す受信端末を、汎用プロセッサを用いて実装した場合の受信端末１２００の構成例を示す。受信端末１２００では、通信路から受信された情報１２１５は、一旦、通信路入力バッファ１２１４に蓄えられた後に汎用プロセッサ１２０８に読み込まれる。汎用プロセッサはハードディスクやフロッピーディスクなどによる蓄積デバイス１２０５および処理用メモリ１２０４を活用して通信路復号化、分離、画像信号復号化、音響復号化処理を行う。この結果得られた復号化画像信号は一旦画像信号出力バッファ１２０３に蓄えられた後に、Ｄ／Ａコンバータ１２０２を経て出力画像信号としてディスプレイ１２０１に出力される。同様に音響情報も一旦音響出力バッファ１２１１に蓄えられた後にＤ／Ａコンバータ１２１０を経て出力画像信号としてスピーカ１２０９に出力される。一方で、利用者からの入力１２１２は、利用者入力バッファ１２１３を経て汎用プロセッサ１２０８で処理され、多重化、通信路符号化を経て送信情報１２０７として通信路に送信される。この利用者からの入力１２１２は、受信端末１２００が図５に示す受信端末５００の役割を果たす場合には、誤り耐性に関する利用者による要求５０１に相当する。一方で、受信端末１２００が図６に示す受信端末６００の役割を果たす場合には、利用者からの入力１２１２は、利用者による設定６０１に相当する。
図１２に、図１０に示す受信端末１２００が、図５に示す受信端末５００の役割を果たす場合のフローチャートの例を示す。ステップ１４０１で処理が開始され、ステップ１４０２で画像信号を１フレーム復号化して表示する。次いでステップ１４０３で利用者から誤り耐性を上げる要求があるか否かを調べ、要求がある場合にはステップ１４０５で、通信相手である送信端末に対して誤り耐性を上げることを要求する信号を出力する。同様に、ステップ１４０４では利用者から誤り耐性を下げる要求があるか否かが調べられ、要求がある場合には、ステップ１４０６で誤り耐性を下げることを要求する信号を出力する。そしてステップ１４０２に戻り、次のフレームが復号化、表示され、同様の処理が繰り返される。
図１１に、図８の送信端末を、汎用プロセッサを用いて実装した場合の送信端末１３００の構成例を示す。この図では、図９Ａの例に従い、画像情報はカメラから取り込まれ、実時間で符号化されることを仮定している。カメラ１３０１から、Ａ／Ｄ変換器１３０２を経て取りこまれた入力画像信号は画像信号入力バッファ１３０３に蓄えられ、汎用プロセッサ１３０８はここから情報を読み込んで画像符号化の処理を行う。一方で、音響情報に関しても、マイク１３０９、Ａ／Ｄ変換器１３１０を経て音響信号入力バッファ１３１１に取りこまれ、画像信号と同様に汎用プロセッサ１３０８において符号化の処理が加えられる。汎用プロセッサは、蓄積デバイス１３０５および処理用メモリ１３０５を活用して符号化、多重化、通信路符号化の処理を行う。汎用プロセッサが出力する情報は一旦通信路出力バッファ１３０７に蓄えられた後に伝送情報１３０７として出力される。一方、受信端末から送信された情報１３１４は通信路入力バッファ１３１３を経て汎用プロセッサ１３０８において通信路復号化、分離の処理が施される。ここで受信された誤り耐性変更要求情報（図８の８０６が対応）が抽出され、符号化処理において符号化ビットストリームに付与される誤り耐性の強度が変更される。なお、送信端末１３００が図９Ｂや図９Ｃに示した実装例の役割を果たす場合は、一点鎖線で囲って示す画像・音響取り込み部１３１２は不必要である。
図１３に、図１１に示す送信端末１３００における処理のフローチャートの例を示す。ステップ１５０１で処理が開始され、ステップ１５０２で誤り耐性のレベルＥが初期値である２に設定される。次にステップ１５０３で受信端末から誤り耐性を上げる要求が受信されているか否かが調べられ、受信されている場合にはステップ１５０６でＥの値に１が加えられる。ただし、既にＥの値が最大値の５である場合には、Ｅの値は変更されない。誤り耐性を上げる要求が受信されていない場合には、ステップ１５０４において、誤り耐性を下げる要求が受信されているか否かが調べられ、ステップ１５０７においてＥの値から１が引かれる。ただし、Ｅの値が最小値の１である場合には、Ｅの値は変更されない。ステップ１５０４において、誤り耐性を下げる要求が受信されていないか、ステップ１５０６またはステップ１５０７の処理が終了した後には、ステップ１５０５において誤り耐性を第Ｅ段階にセットした上で画像信号１フレームが符号化され、その符号化情報は通信路に出力される。この処理が修了した後、再び処理はステップ１５０３に戻る。
産業上の利用可能性
本発明により、伝送誤りが発生しやすい通信路を利用したマルチメディア通信を行う場合に、伝送される符号化ビットストリームに付与される誤り耐性の強度を通信路の状況や利用者の要求に応じて制御することが可能となる。
【図面の簡単な説明】
図１はＭＰＥＧ−４の画像符号化器の構成例を示した図である。
図２はＭＰＥＧ−４の画像信号復号化器の構成例を示した図である。
図３はＭＰＥＧ−４におけるマクロブロックの構成を示した図である。
図４Ａ−図４Ｃは本発発明で扱うシステムの構成例を示した図である。
図５は利用者の要求に応じて送信側が送信するビットストリームの誤り耐性を変化させる受信端末の構成例を示した図である。
図６は伝送誤り率などの通信路の状態を観測し、自動的に送信側から送信されるビットストリームの誤り耐性強度を調整する受信端末の構成例を示した図である。
図７は、図６に示した端末の誤り耐性変更要求情報発生部における処理のフローチャートの例を示した図である。
図８は図５および６に示した受信端末に対応する送信端末の構成例を示した図である。
図９Ａは、図４Ａに示したシステムの構成例で、実時間で画像信号の符号化を行う場合における図８の画像符号化ビットストリーム発生部の構成例を示した図である。
図９Ｂは、図４Ｂに示したシステムの構成例で、実時間で画像信号のトランスコーディングを行う場合における図８の画像符号化ビットストリーム発生部の構成例を示した図である。
図９Ｃは、図４Ｃに示したシステムの構成例で、蓄積されたビットストリームをそのまま伝送する場合における図８の画像符号化ビットストリーム発生部の構成例を示した図である。
図１０は、図５および６の受信端末を汎用プロセッサを用いて実装した場合の構成例を示した図である。
図１１は、図８の送信端末を、汎用プロセッサを用いて実装した場合の構成例を示した図である。
図１２は、図１０の汎用プロセッサを用いて実装した受信端末における処理の例を示したフローチャートである。
図１３は、図１１の汎用プロセッサを用いて実装した送信端末における処理の例を示したフローチャートである。

Claims

送信端末から、画像情報または音声情報の伝送の有無の条件、フレーム内符号化マクロブロックの出現頻度の条件、または同期回復マーカの位置の条件のいずれか、またはこれらの条件の組み合わせの異なる複数の段階の誤り耐性制御状態のうち、所定の段階の誤り耐性制御状態とされて伝送される符号化ビットストリームを受信する受信部と、受信した前記ビットストリームを復号化および表示する表示部を有するマルチメディア受信端末であって、
利用者から入力される、前記ビットストリームの前記誤り耐性制御状態の段階を変更する誤り耐性制御状態変更要求を入力する入力部と、
前記誤り耐性制御状態変更要求を前記送信端末に送信する送信部とを備えることを特徴とするマルチメディア受信端末。
送信端末から、画像情報または音声情報の伝送の有無の条件、フレーム内符号化マクロブロックの出現頻度の条件、または同期回復マーカの位置の条件のいずれか、またはこれらの条件の組み合わせの異なる複数の段階の誤り耐性制御状態のうち、所定の段階の誤り耐性制御状態とされて伝送される符号化ビットストリームを受信する受信部と、受信した前記ビットストリームを復号化および表示する表示部を有するマルチメディア受信端末であって、
前記ビットストリームのビット誤り率を検出して該検出したビット誤り率と予め設定されたビット誤り率の閾値とを比較し、該比較結果に基づいて前記送信端末が送信するビットストリームの誤り耐性制御状態の段階を変更する誤り耐性制御状態変更要求を生成する誤り耐性制御状態変更要求生成部と、
前記生成した誤り耐性制御状態変更要求を前記送信端末に送信する送信部と、
利用者の入力により前記ビット誤り率の閾値の変更設定を行う入力部とを備えることを特徴とするマルチメディア受信端末。
受信端末に対し、画像情報または音声情報の伝送の有無の条件、フレーム内符号化マクロブロックの出現頻度の条件、または同期回復マーカの位置の条件のいずれか、またはこれらの条件の組み合わせの異なる複数の段階の誤り耐性制御状態のうち、所定の段階の誤り耐性制御状態として符号化ビットストリームを伝送するマルチメディア送信端末であって、
同一のコンテンツについて前記誤り耐性制御状態の段階の異なる複数の符号化したビットストリームを蓄積するサーバと、
利用者からの入力に基づき前記受信端末から受信した、前記ビットストリームの前記誤り耐性制御状態の段階を変更する誤り耐性制御状態変更要求に応じて、所定の段階の誤り耐性制御状態のビットストリームを選択して送出する送出部とを備えることを特徴とするマルチメディア送信端末。
前記誤り耐性制御状態変更要求は、前記送信端末が画像情報および音響情報を伝送する条件の誤り耐性制御状態の段階への変更に関するものと、音響情報のみを伝送する条件の誤り耐性制御状態の段階への変更に関するものとが含まれる請求項１または２に記載のマルチメディア受信端末。
前記誤り耐性制御状態変更要求が前記送信端末に送信されたときは、該要求内容に関するメッセージが前記表示部の画面に表示される請求項１または２に記載のマルチメディア受信端末。
前記利用者が入力する誤り耐性制御状態変更要求の選択肢の中に、画像と音声の情報を含むビットストリームを送信する条件の誤り耐性制御状態の段階へ変更することを要求する選択肢と、音響のみあるいは画像のみの情報を含むビットストリームを送信する条件の誤り耐性制御状態の段階へ変更することを要求する選択肢が含まれる請求項１に記載のマルチメディア受信端末。
前記誤り耐性制御状態変更要求は、前記送信端末が画像情報および音響情報を伝送する条件の誤り耐性制御状態の段階への変更に関するものと、音響情報のみを伝送する条件の誤り耐性制御状態の段階への変更に関するものとが含まれる請求項３に記載のマルチメディア送信端末。
前記誤り耐性制御状態変更要求が前記送信端末に送信されたときは、該要求内容に関するメッセージが受信端末の画面に表示される請求項３に記載のマルチメディア送信端末。
前記利用者が入力する誤り耐性制御状態変更要求の選択肢の中に、画像と音声の情報を含むビットストリームを送信する条件の誤り耐性制御状態の段階へ変更することを要求する選択肢と、音響のみあるいは画像のみの情報を含むビットストリームを送信する条件の誤り耐性制御状態の段階へ変更することを要求する選択肢が含まれる請求項３に記載のマルチメディア送信端末。