JP3807193B2

JP3807193B2 - 多重化方法及び多重化装置

Info

Publication number: JP3807193B2
Application number: JP2000154483A
Authority: JP
Inventors: 一郎安藤
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2000-05-25
Filing date: 2000-05-25
Publication date: 2006-08-09
Anticipated expiration: 2020-05-25
Also published as: JP2001339718A

Description

【０００１】
【発明の属する技術分野】
本発明は多重化方法及び多重化装置に係り、特に可変ビットレート符号化した音声データ、映像データ等の符号化データの多重化を行う多重化方法及び多重化装置に関する。
【０００２】
【従来の技術】
音声信号や映像信号のもつ時間的冗長性、空間的冗長性、及び聴覚特性や視覚特性上重要度の低い情報を削減する符号化方法が従来より知られている。例えば、音声信号、映像信号の符号化方式としてＩＳＯ／ＩＥＣ１１１７２（通称ＭＰＥＧ−１）やＩＳＯ／ＩＥＣ１３８１８（通称ＭＰＥＧ−２）に準拠する方式が知られている。
【０００３】
一般に、音声信号や映像信号の時間的冗長性、空間的冗長性、及び聴覚特性や視覚特性上重要度の低い情報の量は、時間経過と共に変化する。このため、可変ビットレート符号化を行うことで、固定ビットレート符号化に比べて統計的に平均符号量を削減できることが知られている。この可変ビットレート符号化と多重化制御において、従来からビットレート情報により多重化比率を制御する方法がある。
【０００４】
この多重化比率を制御する方法では、音声データや映像データの発生符号量の増減に応じて、ビットレート情報を設定し、その設定したビットレート情報に応じて以降の符号化を行うと共に、ビットレート情報に応じた比率で多重化を制御する。
【０００５】
【発明が解決しようとする課題】
しかるに、音声データや映像データの発生符号量の増減に基づくビットレート情報で符号化処理しても、一般にデータ情報量と発生符号量とは完全な一対一対応で管理できないため、厳密にビットレートに応じた符号化量のデータを発生することは困難であり、誤差を生じる。また、データの情報量の評価を過去に符号化したデータの情報量や発生符号量に基づき増減した場合、ビットレートと実際に符号化するデータが持つ情報量に時間差が生じて、ビットレートに応じた符号化量に対して誤差を生じる。
【０００６】
上記従来例のＭＰＥＧ−１やＭＰＥＧ−２ではデコーダモデルを規定し、このデコーダモデルのバッファが、オーバーフローやアンダーフローによる破綻を起こさないように、音声や映像の符号化データを伝送するよう、複数種類の符号化データを多重化するようにしている。上記のバッファは、符号化条件に応じてその大きさが規定されている。これにより、多重化データを受信して再生するデコーダバッファの破綻を防止している。
【０００７】
しかるに、可変ビットレート符号化した符号化データの多重化において、従来からのビットレート情報に基づく多重化比率による制御では、このデコーダモデルのバッファについて考慮がなく、デコーダバッファが破綻するという問題がある。
【０００８】
例えば、動きが少なく、細かな絵柄部分の少ない映像信号を符号化した場合、発生符号量は少なくなる。このとき、設定が不適切のためにビットレートを高く設定した場合、符号化で発生する符号量が小さいにもかかわらず、高く設定したビットレートに応じて多重化を行うために、デコーダバッファがオーバーフローを起こす可能性がある。また、発生符号量と多重化出力符号量の不一致により、エンコーダバッファがアンダーフローを起こす可能性がある。
【０００９】
この問題を解決する方法として、設定したビットレートに基づきデコーダモデルのバッファ量をフレーム毎に求めて、デコーダモデルのバッファがオーバーフローを起こす場合は、ダミーデータを付加する方法がある。しかし、この方法では可変ビットレート符号化を使用して統計的に平均ビットレートを削減する目的に反し、符号化効率を低下させてしまう。
【００１０】
本発明は、以上の点に鑑みなされたもので、符号化効率を低下させることなく、バッファ破綻の問題を解決し得る多重化方法及び多重化装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記の目的を達成するため、本発明方法は、フレーム単位で伝送される入力映像信号をデコーダモデルに従って可変ビットレート符号化して得た映像信号符号化データを、フレーム単位で設定される多重化比率に応じて音声信号符号化データと多重化する多重化方法において、各フレームの入力映像信号を可変ビットレート符号化する毎に、その各フレームの符号量からデコーダモデルに従った各フレーム処理時間毎のバッファ推移を求め、求めたバッファ推移から得られる各フレーム処理時間毎のデコーダモデルバッファ増分量に基づき、各フレーム処理時間毎にデコーダモデルバッファ増分量毎の映像信号符号化データを、順次に音声信号符号化データと多重化することにより、デコーダモデルバッファ増分量によって制御される多重化比率に応じた多重化を行うことを特徴とする。
【００１４】
また、上記の目的を達成するため、本発明装置は、フレーム単位で伝送される入力映像信号をデコーダモデルに従って可変ビットレート符号化して得た映像信号符号化データを、フレーム単位で設定される多重化比率に応じて音声信号符号化データと多重化する多重化装置において、フレーム単位で伝送される入力映像信号を、最大ビットレート入力とデコーダモデルバッファ量とに応じて、フレーム毎に可変ビットレート符号化して映像信号符号化データを得る符号化器と、符号化器からの映像信号符号化データを一時蓄積するバッファと、符号化器により入力映像信号の各フレームを符号化する毎に、そのフレームの符号量を符号化器より受け、フレーム毎の符号量からデコーダモデルに従って求めたデコーダモデルバッファ量を符号化器へ出力すると共に、各フレーム処理時間毎のデコーダモデルバッファ増分量をデコーダモデルに従ってデコーダモデルバッファ量から求める検証器と、検証器からの各フレーム処理時間毎のデコーダモデルバッファ増分量に基づき、各フレーム処理時間毎にデコーダモデルバッファ増分量分毎の映像信号符号化データを、バッファから読み出して、その読み出した映像信号符号化データを音声信号符号化データと順次に多重化することにより、デコーダモデルバッファ増分量によって制御される多重化比率に応じた多重化を行う多重化器とを設けた構成としたものである。
【００１６】
本発明方法及び装置では、デコーダバッファモデルのバッファ推移におけるバッファ増分量に基づき多重化比率を制御する。すなわち、本発明では、オーディオ、ビデオ等のデータのフレーム単位の入力信号の符号化において、デコーダモデルのバッファ推移をフレーム毎に検証し、この検証において各フレームデコード時間毎に、デコーダモデルのバッファから各フレームの符号化データ量を減じて、設定ビットレートに応じたバッファ量を増分する。このとき、デコーダモデルのバッファがオーバーフローする場合は、オーバーフローしないようにバッファ増分量を設定ビットレートに応じた量より少なくする。そして、符号化データの多重化では、バッファ増分量に基づき多重化比率を制御する。
【００１７】
これにより、不適切のためにビットレートを高く設定した場合に発生するデコーダバッファ、及び、エンコーダバッファが破綻する問題、及び、これを解決するためにダミーデータを付加して符号化効率を低下させてしまう問題を解決する。
【００１８】
【発明の実施の形態】
次に、本発明の実施の形態について、図面と共に説明する。図１は本発明になる多重化装置の第１の実施の形態のブロック図を示す。同図において、多重化装置は、ビデオ符号化器１１、ビデオバッファ１２、ビデオデコーダモデルバッファ検証器１３及び多重化器１４から構成されている。
【００１９】
ビデオ符号化器１１は、ビデオ入力端子１から入力されるビデオ信号（映像信号）を符号化する。この入力ビデオ信号はフレーム単位で伝送される信号である。ビデオ符号化器１１では、例えば、ＭＰＥＧ−２標準に従った方法で入力したビデオ信号を、最大ビットレート設定入力端子２からのビットレートと、ビデオデコーダモデルバッファ検証器１３からのビデオデコーダモデルバッファ量に応じて、フレーム毎に可変ビットレート符号化してビデオバッファ１２へ出力する。また、各フレームを符号化する毎に、そのフレームの符号量をビデオデコーダモデルバッファ検証器１３に出力する。
【００２０】
ビデオデコーダモデルバッファ検証器１３は、ビデオ符号化器１１から入力されるフレーム毎の符号量からビデオデコーダモデルのバッファ推移を、例えば、ＭＰＥＧ−２標準記載のビデオ・バッファリング・ベリフィケーション・モデル（Video Buffering Verification Model：ＶＢＶモデル）に従い検証する。
【００２１】
図２は可変ビットレート符号化に対するＭＰＥＧ-２標準記載のＶＢＶモデルに従ったバッファ推移の例を示す。図２において、Ｔｉは各フレーム処理時間、Ｐｉは各符号化フレーム、ｆｉは各符号化フレームの符号量、ｂｉは各符号化フレーム抜き取り直前のバッファ量、ｚｉはバッファ増分量、バッファ最大値はＶＢＶバッファのバッファ最大値である。
【００２２】
このＶＢＶモデルは、ビデオデコーダモデルのバッファ推移を以下のように検証する。ここで、検証は、フレーム処理時間を単位として行う。また、ＶＢＶバッファに入力する符号化データのビットレートは、最大ビットレート設定入力端子２からのビットレートで一定である。
【００２３】
まず、空のバッファに対してデコード開始前に、各フレーム処理時間毎に前記ビットレートで、バッファが最大量になるまで増分する。バッファが最大量になった直後の次のフレーム処理時間でデコードを開始する。デコード開始後はフレーム処理時間毎に、ビデオ符号化器１１からのビデオフレーム符号量ｆｉをバッファ量ｂｉから減じる。また、次のフレーム処理時間までの期間に、前記ビットレートでバッファを増分する。このとき、バッファ最大量まで達したら、増分を停止する。
【００２４】
すなわち、図２に示すように、各フレーム処理時間で、バッファ入力する符号化データの時間長が変化することで、可変ビットレート符号化となる。ここで、図２の各フレーム処理時間におけるバッファの増分量ｚｉが、ビデオデコーダモデルバッファ増分量である。
【００２５】
ビットレートにより多重化比率を制御した場合、このデコーダモデルにおいてバッファが最大量になった時点でバッファ増分を停止しているにもかかわらず、設定したビットレートに基づき多重化を制御することにより、バッファの破綻が発生する。
【００２６】
ビデオデコーダモデルバッファ検証器１３では、バッファ推移を検証した結果に基づき、次のフレームを符号化するためのビデオデコーダモデルバッファ量をビデオ符号化器１１に出力する。また、バッファ推移検証でのデコード開始前を含めたビデオデコーダモデルバッファ増分量を多重化器１４に出力する。
【００２７】
多重化器１４は、各フレーム処理時間毎のビデオデコーダモデルのＶＢＶバッファ増分量に基づき、ビデオバッファ１２からフレーム処理時間毎にバッファ増分量の符号化データを順次読み出して多重化して出力する。なお、多重化は、ビデオに付随するオーディオやディジタル放送における別プログラムのビデオ、オーディオの符号化データで行われる。
【００２８】
多重化開始は、ビデオデコーダモデルバッファ検証器１３でバッファ推移を検証したバッファ最大量を、ビデオバッファ１２の充足量が超えた直後のフレーム処理時間以降から開始する。これは、ビデオバッファ１２のアンダーフローによる多重化効率低下を防ぐためである。システムの構成により、多重化開始を遅らせる場合はビデオバッファ１２の最大量を大きくする必要がある。
【００２９】
このように、この実施の形態では、符号化において用いたのと同じビットレートに基づき多重化を制御するのではなく、デコーダバッファモデルのバッファ推移におけるバッファ増分量に基づき制御することで、実際に符号化した結果に応じ、かつ、ビデオデコーダモデルバッファ検証器１３においてＭＰＥＧ−２標準のＶＢＶモデルに従った方法でバッファ推移を検証し、バッファ増分の停止をバッファ最大量で制御する。しかし、ＭＰＥＧ−２標準の多重化データに対するバッファモデル（System Target Decoder）では、バッファ増分の停止はバッファ最大量以下でもよく、また、符号化途中で変更してもよい。
【００３０】
図３は本発明になる多重化装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。上記実施の形態では、バッファ増分量を多重化器１４に出力したが、図３の実施の形態の多重化装置における多重化器２１は、バッファ推移検証におけるビデオフレーム符号量をビデオ符号化器１１から、また、バッファ推移検証におけるビデオデコーダモデルバッファ量を、ビデオデコーダモデルバッファ検証器１３から入力として受け、これらの情報と既知であるバッファ推移検証方法に基づき、バッファ増分量を算出して多重化制御に使用する。
【００３１】
なお、以上の実施の形態では、ビデオ符号化について説明したが、本発明はこれに限定されるものではなく、所定期間のサンプルでフレームを構成し、符号化するオーディオ符号化にも適用可能であり、同様構成で符号化するその他の信号にも適用可能である。
【００３２】
【発明の効果】
以上説明したように、本発明によれば、可変ビットレート符号化した符号化データの多重化において、符号化において用いたのと同じビットレート情報に基づき、多重化を制御するのではなく、デコーダバッファモデルのバッファ推移におけるバッファ増分量に基づき多重化比率を制御するようにしたため、実際に符号化した結果に応じ、かつ、ＭＰＥＧ−１標準やＭＰＥＧ−２標準で規定しているバッファモデルを満足し、バッファ破綻の問題を解決することができる。
【００３３】
また、本発明によれば、情報量の増減に基づくビットレートより低いレートで符号化して不足分を調整するために用いるダミーデータを用いていないので、ダミーデータによる符号化効率の低下を防止することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示すブロック図である。
【図２】可変ビットレート符号化に対するＭＰＥＧ−２標準記載のＶＢＶモデルに従ったバッファ推移の例を示す図である。
【図３】本発明の第２の実施の形態を示すブロック図である。
【符号の説明】
１１ビデオ符号化器
１２ビデオバッファ
１３ビデオデコーダモデルバッファ検証器
１４、２１多重化器

Claims

フレーム単位で伝送される入力映像信号をデコーダモデルに従って可変ビットレート符号化して得た映像信号符号化データを、フレーム単位で設定される多重化比率に応じて音声信号符号化データと多重化する多重化方法において、
各フレームの前記入力映像信号を可変ビットレート符号化する毎に、その各フレームの符号量から前記デコーダモデルに従った各フレーム処理時間毎のバッファ推移を求め、求めたバッファ推移から得られる各フレーム処理時間毎のデコーダモデルバッファ増分量に基づき、前記各フレーム処理時間毎に前記デコーダモデルバッファ増分量毎の前記映像信号符号化データを、順次に前記音声信号符号化データと多重化することにより、前記デコーダモデルバッファ増分量によって制御される多重化比率に応じた多重化を行うことを特徴とする多重化方法。
フレーム単位で伝送される入力映像信号をデコーダモデルに従って可変ビットレート符号化して得た映像信号符号化データを、フレーム単位で設定される多重化比率に応じて音声信号符号化データと多重化する多重化装置において、
フレーム単位で伝送される前記入力映像信号を、最大ビットレート入力とデコーダモデルバッファ量とに応じて、フレーム毎に可変ビットレート符号化して映像信号符号化データを得る符号化器と、
前記符号化器からの映像信号符号化データを一時蓄積するバッファと、
前記符号化器により前記入力映像信号の各フレームを符号化する毎に、そのフレームの符号量を前記符号化器より受け、前記フレーム毎の符号量から前記デコーダモデルに従って求めた前記デコーダモデルバッファ量を前記符号化器へ出力すると共に、各フレーム処理時間毎のデコーダモデルバッファ増分量を前記デコーダモデルに従って前記デコーダモデルバッファ量から求める検証器と、
前記検証器からの前記各フレーム処理時間毎のデコーダモデルバッファ増分量に基づき、前記各フレーム処理時間毎に前記デコーダモデルバッファ増分量分毎の前記映像信号符号化データを、前記バッファから読み出して、その読み出した前記映像信号符号化データを前記音声信号符号化データと順次に多重化することにより、前記デコーダモデルバッファ増分量によって制御される多重化比率に応じた多重化を行う多重化器と
を設けたことを特徴とする多重化装置。