JP3948597B2

JP3948597B2 - 動画像圧縮符号化送信装置、受信装置および送受信装置

Info

Publication number: JP3948597B2
Application number: JP2000063438A
Authority: JP
Inventors: 悟史宮地; 修一松本
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2000-03-08
Filing date: 2000-03-08
Publication date: 2007-07-25
Anticipated expiration: 2020-03-08
Also published as: JP2001251621A

Description

【０００１】
【発明の属する技術分野】
この発明は、動画像圧縮符号化送信装置、受信装置および送受信装置に関し、特に、動画像を圧縮符号化し、圧縮ビットストリームをリアルタイムに伝送する圧縮符号化装置、受信した圧縮ビットストリームをリアルタイムに復号し、表示する受信装置およびこれらの両機能を備えた送受信装置に関する。
【０００２】
【従来の技術】
送信側である従来の動画像圧縮符号化送信装置では、一般的に、送信すべき映像信号を所定のビットレートで圧縮し、圧縮されたビットストリームを送出する。ＩＳＯのＭＰＥＧ−１、２、４やＩＴＵ−ＴのＨ．２６１、Ｈ．２６３に代表される動き補償符号化では、符号化時に行う処理として、画面内の局所領域の動きを捉える動きベクトル検出処理、前フレームに動きベクトルを適用し現フレームを予測する動き補償、動き補償画像と現フレームとの差分に対して施すＤＣＴ、ＤＣＴされた信号に対して施す量子化、量子化された信号値、動きベクトルおよびその他制御情報を符号出力する可変長符号化、可変長符号を一時蓄積するバッファ、ビットレートを一定に保つレート制御等から構成されている。
【０００３】
その際、圧縮時の情報発生量や入力画像の性質に基づき、量子化の精度を変え画像品質を制御し、あるいはフレームスキップ数（フレームレート）を変えることで、所定のビットレートに収まるよう符号量制御を行っている。発生符号量を減らす場合は、画質を犠牲にして量子化精度を下げるか、あるいは動きを犠牲にしてフレームスキップ数を大きく（フレームレートを低く）する。逆に、発生符号量を増やす場合には、量子化精度を上げて画質を向上させるか、あるいはフレームスキップ数を小さく（フレームレートを高く）する。
【０００４】
一方、受信側においては、伝送されたビットストリームを逐次復号し、符号化時の逆の処理を行って画像フレームを構成し、これを表示する。
【０００５】
【発明が解決しようとする課題】
ところで、従来装置では、処理能力の大きく異なる送信装置および受信装置、あるいは送受信装置同士が通信を行った場合、次のような問題が発生する。
【０００６】
片方向通信の場合であって、送信側の処理能力が受信側に比べて大幅に高い場合には、送信側では多くのフレームの符号化処理が可能になる。このため、送信側がフレームレートの高い符号化ビットストリームを送出した場合には、受信側は処理能力が低く、受信された符号化ビットストリームのフレームレートで復号処理が行えないため、表示遅延の蓄積やその他の受信機能の破綻を来たすおそれがある。
【０００７】
また、特に不特定多数の計算機上で実行されるソフトウェアの場合には、設定された符号化フレームレートよりも計算機の処理能力が低い場合が存在し得るが、この場合、符号化処理が計算機ＣＰＵ処理を１００％占有してしまい、リアルタイム処理が行えないばかりか、その他のシステム維持のための処理が一切行えなくなり、装置の動作が不安定になるなどの問題を生じる。
【０００８】
一方、双方向通信の場合には、双方が符号化処理、復号化処理を同時に行う必要があるため、処理能力に差がある場合は、上記した現象が発生する可能性が一層高くなる。
【０００９】
処理量が多すぎる場合、リアルタイム処理に破綻を来たさないよう処理量を軽減させるためには、フレームの処理数（フレームレート）を減らす手立てが考えられるが、従来の装置において、処理の遅い側で受信ビットストリーム上からフレームを間引くことは、フレーム間予測が行われているため一般的には不可能である。一方、送信フレームを間引くことは有効であるが、例えば双方向通信において、処理の遅い側が一方的に送信フレームを間引いてしまうと、相互端末間のフレームレートに大きな差が出てしまうことが考えられ、性能のバランスを大きく欠くという問題がある。
【００１０】
本発明の目的は、従来技術の問題点を除去し、処理能力が異なる端末間においても安定した動画像通信を可能とする動画像圧縮符号化送信装置、受信装置および送受信装置を提供することにある。
【００１５】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、通信動作中に動画像フレームの符号化処理時間および復号化処理時間から復号化処理可能最大フレームレートを算出する算出手段と、通信相手側の復号化処理可能最大フレームレートを受信ビットストリームから多重分離受信する受信手段と、前記算出手段により算出された復号化処理可能最大フレームレートと前記受信手段により受信された通信相手側の復号化処理可能最大フレームレートとを比較し小さい方を取得する取得手段と、前記取得手段により取得したフレームレートを最大のフレームレートとして符号化制御を行う符号化制御手段とを具備した点に特徴がある。
【００１６】
この特徴によれば、符号化処理に必要な時間と復号化処理に必要な時間とから最大の復号化可能フレームレートを算出し、この算出値と、通信相手側から通知される最大の復号化可能フレームレートとを比較し、小さいほうのフレームレートを最大のフレームレートとして符号化制御を行うことができる。このため、双方の端末間で処理能力が異なる場合においても、処理能力を超えることなく、安定した通信が行えるようになる。
【００１７】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の動画像圧縮符号化送信装置の一実施形態の構成を示すブロック図である。
【００１８】
本実施形態の圧縮符号化送信装置は、公知の画像符号化部１、最大符号化処理フレームレート算出部２、比較部３、および多重化部４で構成される。
【００１９】
前記画像符号化部１としては、ＩＳＯのＭＰＥＧ−４や、ＩＴＵ−ＴのＨ．２６１、Ｈ．２６３に代表される動き補償符号化装置を用いることができる。その一具体例の構成と動作を、図２を参照して説明する。
【００２０】
入力画像信号は、フレームスキップ部１０１でバッファメモリ１１３から得られる制御信号に従ってフレームを間引かれ、現フレームメモリ１０２に蓄積される。動き検出部１０３は、現フレームメモリ１０２から読み出された画像信号と、フレームメモリ１０４から読み出された前フレームの画像信号とから画像の信号の動き検出を行い、動きベクトルｍｖを動き補償部１０５と可変長符号化部１０６に出力する。動き補償部１０５は該動きベクトルｍｖを用いて、前記前フレームの画像信号を動き補償し、動き補償された画像信号を減算器１０７と加算器１０８に出力する。
【００２１】
符号化モード判定部１０９は、現フレーム画像信号と減算器１０７から出力された差分誤差信号とから、符号化モードを判定し、イントラモードであれば、スイッチ手段１１０をIntra 側に、一方インターモードであればInter 側に接続する。また、スイッチ手段１１４も、該スイッチ手段１１０と同期して同様に切替えられる。ＤＣＴ部１１１は高い符号化効率を得るために入力してきた画像信号あるいは差分誤差信号をＤＣＴし、量子化部１１２は該ＤＣＴされた信号を量子化する。該量子化部１１２から出力された量子化係数と前記動きベクトルは可変長符号化部１０６でハフマン符号等の可変長符号に変換されて、バッファメモリ１１３で一時蓄積され、次いで所定の伝送レートでビットストリームとして出力される。該ビットストリームは、図１の多重化部４で、前記最大符号化処理フレームレート算出部２からの符号化処理可能最大フレームレートＦＲmax と多重化され、ネットワーク等に出力される。
【００２２】
また、逆量子化部１１５は量子化部１１２から出力された量子化係数を逆量子化し、逆量子化により得られたＤＣＴ係数は逆ＤＣＴ部１１６で画像信号に復元される。復元された画像信号は、符号化モードがイントラの場合にはそのまま、一方インターの場合には加算器１０８で動き補償された画像信号に加算されて、フレームメモリ１０４に蓄積される。フレーム符号化時間測定部１１７は、前記現フレームメモリ１０２から計測開始トリガ信号ａ、フレームメモリ１０４から計測終了トリガ信号ｂを得て、フレーム符号化時間ＴＥを測定し、図１の最大符号化処理フレームレート算出部２に出力する。
【００２３】
次に、本実施形態の要部の動作を、図１を参照して説明する。
【００２４】
最大符号化処理フレームレート算出部２は、画像符号化部１からフレーム符号化時間ＴＥを取得し、リアルタイム符号処理可能な最大フレームレートＦＲmaxを算出する。該最大フレームレートＦＲmax は、下記の(1) 〜(3) 式のいずれかから求めることができる。
ＦＲmax ＝ｂ／ＴE …(1)
ＦＲmax ＝ｂ／ave ＴE …(2)
ＦＲmax ＝ｂ／max ＴE …(3)
【００２５】
ここに、ｂはマージン係数（＝０．０〜１．０）であり、ave ＴE およびmaxＴE は、それぞれ、フレーム符号化時間ＴＥの平均および最大時間を示す。
【００２６】
最大符号化処理フレームレート算出部２で求められた最大フレームレートＦＲmax は比較部３で、受信側装置から送られてきた最大復号化処理フレームレートＦＲmax'と比較され、小さい方のフレームレートｃが前記画像符号化部１のフレームスキップ部１０１に送られる。フレームスキップ部１０１は、該フレームレートｃに従って、入力画像信号をフレームスキップする。また、前記最大フレームレートＦＲmax は、多重化部４に送られ、前記ビットストリームと多重化される。
【００２７】
以上の説明から明らかなように、本実施形態によれば、符号化処理に必要な時間から最大の符号化可能フレームレートを算出し、この算出値と受信側から通知される最大の復号化可能フレームレートとを比較し、小さいほうのフレームレートを最大のフレームレートとして符号化制御を行うことで、送受信間で処理能力が異なる場合においても処理能力を超えることなく安定した通信が行えるようになる。したがって、例えば、送信側の処理能力が受信側に比べて大幅に高い場合であっても、送信側の符号化処理は、受信側の最大復号化処理能力により抑制されるので、受信側装置は受信した符号化ビットストリームの復号処理に自己の処理能力を使い果たして、表示遅延の蓄積やその他の受信機能の破綻を来たすおそれはなくなる。
【００２８】
次に、本発明の第２実施形態を、図３を参照して説明する。この実施形態は、片方向通信の動画像圧縮符号化受信装置を示すものであり、画像復号化部１１と最大復号化処理フレームレート算出部１２とから構成される。
【００２９】
図４は、前記画像復号化部１１の一例を示すブロック図である。可変長復号化部２０１は、入力してきたビットストリームを可変長復号化する。該可変長復号化により得られた画像情報ｐは逆量子化部２０２に送られ、制御情報ｑはスイッチ手段２０４に送られ、動きベクトルｒは動き補償部２０６に送られる。スイッチ手段２０４は、前記制御信号ｑがイントラを示す場合にはIntra 側に、インターを示す場合にはInter 側に接続される。逆量子化部２０２は逆量子化によりＤＣＴ係数を出力し、該ＤＣＴ係数は逆ＤＣＴ部で画像信号に復号される。
【００３０】
復号された画像信号は画面出力として出力されると共に、フレームメモリ２０７に蓄積される。該フレームメモリ２０７から読み出された画像信号は、前記動きベクトルｒにより、動き補償部２０６で動き補償され、加算器２０５に送られる。加算器２０５は、インターモード時に、該動き補償された画像信号と、逆ＤＣＴ部から出力された差分誤差信号の復号信号とを加算して復号画像信号を生成する。フレーム復号化時間測定部２０８は、可変長復号化部２０１からの計測開始トリガ信号ｓによりフレーム復号化時間の計測を開始し、計測終了トリガ信号ｔにより該計測を終了し、フレーム復号時間ＴＤを出力する。
【００３１】
次に、本実施形態の要部の動作を、図３を参照して説明する。
【００３２】
最大復号化処理フレームレート算出部１２は、画像復号化部１１のフレーム復号化時間測定部２０８からフレーム復号化時間ＴＤを取得し、下記の(4) 〜(6)式のいずれかから、最大復号化処理フレームレートＦＲmax'を求める。
ＦＲmax'＝ｂ／ＴD …(1)
ＦＲmax'＝ｂ／ave ＴD …(2)
ＦＲmax'＝ｂ／max ＴD …(3)
【００３３】
ここに、ｂはマージン係数（＝０．０〜１．０）であり、ave ＴD およびmaxＴD は、それぞれ、フレーム復号化時間ＴＤの平均および最大時間を示す。最大復号化処理フレームレート算出部１２で求められた最大復号化処理フレームレートＦＲmax'は、前記第１の実施形態で説明した圧縮符号化送信装置に送られる。
【００３４】
以上のように、本実施形態によれば、動画像圧縮符号化受信装置は自身のフレーム復号化能力を送信側装置に連絡し、該自身のフレーム復号化能力に応じたフレームレートのビットストリームを受信できるので、受信した符号化ビットストリームの復号処理に自己の処理能力を使い果たすおそれはなくなる。
【００３５】
次に、本発明の第３実施形態を、図５を参照して説明する。この実施形態は、双方向通信の動画像圧縮符号化送受信装置を示すものであり、画像符号化部１、最大復号化処理フレームレート算出部５、比較部３、多重化部４、画像復号化部１１、および多重分離部１３から構成されている。なお、図５中の図１、図３と同一符号は、同一または同等物を示す。
【００３６】
最大復号化処理フレームレート算出部５には、画像符号化部１から得られるフレーム符号化処理時間ＴＥと、画像復号化部１１から得られるフレーム復号化処理時間ＴＤが入力する。最大復号化フレームレート算出部５では、これらの値からリアルタイム復号処理可能な最大フレームレートＦＲmax を算出する。最大復号化処理フレームレートＦＲmax は、ａを符号化処理優先係数（０．０〜１．０、通常０．５）、ｂをマージン係数（０．０〜１．０）とすると、次の(7) 〜(9)式のいずれかで算出される。
ＦＲmax ＝ｂ（１−ａ）／｛ａ・ＴE ＋（１−ａ）・ＴD ｝ …(7)
ＦＲmax ＝ｂ（１−ａ）／｛ａ・ave ＴE ＋（１−ａ）・ave ＴD ｝ …(8)
ＦＲmax ＝ｂ（１−ａ）／｛ａ・max ＴE ＋（１−ａ）・max ＴD ｝ …(9)
【００３７】
(7) 〜(9) 式の符号化処理優先係数ａは通常０．５とし、符号化処理フレームレートと復号化処理フレームレートの最大数は同数と設定するのが好適である。ａを０．５より大きくすれば符号化処理フレーム数が優先され、０．５より小さくすると復号化処理フレーム数が優先されることとなる。一方、マージン係数ｂは最大１．０とし、符号化復号化処理の他に、処理余力を残したい場合に、必要とする処理余力に応じてその値を１より小さい値に設定する。
【００３８】
ここで得られた最大復号化処理フレームレートＦＲmax は、多重化部４にて伝送路に多重送出される。一方多重分離部１３により受信されたＦＲmax'は、比較部３で前記ＦＲmax と比較され、小さい方の値が画像符号化部１へと入力される。画像符号化部１ではこの入力値を最大のフレームレートとしてフレームスキップを行い、符号化制御を行う。
【００３９】
次に、前記(7) 〜(9) 式以外にも、下記の(10)〜(12)式のいずれかも用いることができる。すなわち、システムの１秒あたりの総クロック数をＣｌｋCPU 、１フレームの符号化処理の所要クロック数をＣｌｋE 、復号化処理の所要クロック数をＣｌｋD 、希望符号化フレームレートをＦＲE とすると、最大フレームレートＦＲmax は、次の(10)〜(12)式のいずれかからも算出することができる。
ＦＲmax ＝（ｂ・ＣｌｋCPU −ＦＲE ・ＣｌｋE ）／ＣｌｋD …(10)
ＦＲmax ＝（ｂ・ＣｌｋCPU −ＦＲE ・ave ＣｌｋE ）／ave ＣｌｋD …(11)
ＦＲmax ＝（ｂ・ＣｌｋCPU −ＦＲE ・max ＣｌｋE ）／max ＣｌｋD …(12)
ここに、ave ＣｌｋE およびave ＣｌｋD は、それぞれ、ＣｌｋE およびＣｌｋD の平均を表し、max ＣｌｋE およびmax ＣｌｋD は、それぞれ、ＣｌｋE およびＣｌｋD の最大値を表す。
【００４０】
(10)〜(12)式において、最大復号化処理フレームレートＦＲmax は、通常はＦＲｍａｘ＝ＦＲＥとして算出する（ａ＝０．５に相当）。なお、片方向通信の場合には、片方向受信側ではＣｌｋＥ＝０として、最大復号化処理フレームレートＦＲmax'を算出し、片方向送信側ではＦＲｍａｘ＝０としてＦＲE を解き、この算出値を、希望符号化フレームレートとする。マージン係数ｂは最大１．０とし、符号化復号化処理の他に処理余力を残したい場合に、残したい処理余力に応じてｂの値を設定する。
【００４１】
この実施形態によれば、符号化処理に必要な時間と復号化処理に必要な時間とから最大の復号化可能フレームレートを算出し、この算出値と、通信相手側から通知される最大の復号化可能フレームレートとを比較し、小さいほうのフレームレートを最大のフレームレートとして符号化制御を行うことで、双方の端末間で処理能力が異なる場合においても処理能力を超えることなく安定した通信が行えるようになる。
【００４２】
【発明の効果】
以上の説明から明らかなように、本発明によれば、動画像圧縮符号化送信装置は、自身の符号化処理可能最大フレームレートと受信側から通知される最大の復号化可能フレームレートとを比較し、小さいほうのフレームレートを最大のフレームレートとして符号化制御を行うようにしたので、送受信間で処理能力が異なる場合においても、処理能力を超えることなく、安定した通信が行えるようになる。
【００４３】
また、本発明によれば、動画像圧縮符号化受信装置は、自身のフレーム復号化能力を送信側装置に連絡し、自身のフレーム復号化能力に応じたフレームレートのビットストリームを受信できるので、受信した符号化ビットストリームの復号処理に自己の処理能力を使い果たすおそれはなくなる。
【００４４】
また、本発明によれば、動画像圧縮符号化送受信装置は、符号化処理に必要な時間と復号化処理に必要な時間とから最大の復号化可能フレームレートを算出し、この算出値と、通信相手側から通知される最大の復号化可能フレームレートとを比較し、小さいほうのフレームレートを最大のフレームレートとして符号化制御を行うことができるようになる。このため、双方の端末間で処理能力が異なる場合においても、処理能力を超えることなく、両端末間で、安定した通信が行えるようになる。
【図面の簡単な説明】
【図１】本発明の第１実施形態の構成を示すブロック図である。
【図２】図１の画像符号化部の一具体例の構成を示すブロック図である。
【図３】本発明の第２実施形態の構成を示すブロック図である。
【図４】図３の画像復号化部の一具体例の構成を示すブロック図である。
【図５】本発明の第３実施形態の構成を示すブロック図である。
【符号の説明】
１…画像符号化部、２…最大符号化処理フレームレート算出部、３…比較部、４…多重化部、５…最大復号化処理フレームレート算出部、１１…画像復号化部、１２…最大復号化処理フレームレート算出部、１３…多重分離部。

Claims

通信動作中に動画像フレームの符号化処理時間および復号化処理時間から復号化処理可能最大フレームレートを算出する算出手段と、
通信相手側の復号化処理可能最大フレームレートを受信ビットストリームから多重分離受信する受信手段と、
前記算出手段により算出された復号化処理可能最大フレームレートと前記受信手段により受信された通信相手側の復号化処理可能最大フレームレートとを比較し小さい方を取得する取得手段と、
前記取得手段により取得したフレームレートを最大のフレームレートとして符号化制御を行う符号化制御手段とを具備したことを特徴とする動画像圧縮符号化送受信装置。
請求項１に記載の動画像圧縮符号化送受信装置において、
前記算出手段により算出された復号化処理可能最大フレームレートを送信ビットストリームに多重し通信相手に通知する手段を、さらに具備したことを特徴とする動画像圧縮符号化送受信装置。