JP4104066B2 - Video information multiple simultaneous encoding device - Google Patents
Video information multiple simultaneous encoding device Download PDFInfo
- Publication number
- JP4104066B2 JP4104066B2 JP2003206482A JP2003206482A JP4104066B2 JP 4104066 B2 JP4104066 B2 JP 4104066B2 JP 2003206482 A JP2003206482 A JP 2003206482A JP 2003206482 A JP2003206482 A JP 2003206482A JP 4104066 B2 JP4104066 B2 JP 4104066B2
- Authority
- JP
- Japan
- Prior art keywords
- rate
- video information
- encoding
- value
- multiple simultaneous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明はビデオ情報複数同時符号化装置に関し、特に、様々なネットワークや再生環境への映像配信を行う場合に必要となる複数ストリームの同時符号化を、従来の方法より高速かつ画質劣化を抑えて行うことができるビデオ情報複数同時符号化装置に関する。
【０００２】
【従来の技術】
映像コンテンツを生成する場合、各種ネットワークや再生環境に応じたビットレートの異なる複数のコンテンツを生成する必要があるが、ビデオ情報を個々に符号化したのでは多くの時間や手間がかかる。そこで、同時に複数のストリームを高速に生成するトランスコード方式がいくつか考案されている。
【０００３】
その一例を、図２０のブロック図を参照して簡単に説明する。図は、周知のＭＰＥＧ２をベースとするビデオ情報複数同時符号化装置であるので、詳細な動作説明は省略し、要点のみを説明する。この従来装置は、低ビットレートと高ビットレートの２種類のストリームを生成して出力するものであり、低および高ビットレートそれぞれのループ、すなわちＤＣＴ−量子化部（Ｑ）−逆量子化部（ＩＱ）−逆ＤＣＴ（ＩＤＣＴ）−フレームメモリ−動き補償部（ＭＣ）からなるループを有し、かつ前記量子化部Ｑ，Ｑ’をレート制御する２つのレート制御部１１，１２を有している。この従来装置では、動き探索処理部４を共通化することにより、処理を軽減している。
【０００４】
また、他の従来装置としては、例えば、情報研報、ＡＶＭ３３−５（２００１）の「マルチレート出力機能実現のためのＭＰＥＧ２トランスコーダ量子化制御方式の検討」に記されているような、量子化処理を部分的に共通化する方式がある。
【０００５】
【発明が解決しようとする課題】
上記の従来技術は、それぞれ、低および高ビットレートにおける動きベクトルの探索を共通化する方式、量子化処理を部分的に共通化する方式により処理量を軽減して高速化を図るものであるが、各ビットレートのストリームを符号化する際に必要となるレート制御処理はレート制御部１１，１２により独立に行っていた。そして、該レート制御処理の処理量を軽減する配慮は何らなされていなかった。
【０００６】
本発明は前記従来技術に鑑みてなされたものであり、その目的は、レート制御の処理量を軽減して、高速かつ画質劣化を抑えて符号化処理を行うことができるビデオ情報複数同時符号化装置を提供することにある。
【０００７】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、ビデオ情報を複数同時に符号化するビデオ情報複数同時符号化装置において、複数の異なるビットレートで量子化する複数の量子化器と、該複数の量子化器の符号化パラメータを求めるレート制御部とを具備し、該レート制御部は、マスタレートで符号化された符号化パラメータを利用して、派生レートの映像を符号化し、マスタレートで符号化された映像のＶＢＶバッファ占有量を初期バッファ占有量で正規化したバッファ占有率と、派生レートでの符号化時のバッファ占有率とが等しくなるようにレート制御処理を行うようにした点に第１の特徴がある。
【０００８】
この特徴によれば、前記他のビットレートのレート制御に対しては、通常のレート制御のステップ１〜３を行わなくて済むので、レート制御の処理量を大きく低減することができ、符号化処理を高速化できる。
【００１１】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。まず、通常のレート制御（MPEG-2 ISO/IEC13396-2 Test Model 5）処理を説明する。該通常のレート制御では、下記のステップ１〜ステップ３の処理が行われる。
(ステップ １)
【００１２】
まず、各フレームの符号化に先立ち、次式で定義したI、P、Bピクチャの復雑さ指標Xi、Xp、Xbを更新する。Si、Sp、Sbを発生ビット数、Qi(ave)、Qp(ave)、Qb(ave)を平均的な量子化パラメータ（以下QP）（1フレーム中のすべてのMBのmquantの平均値、ただし1〜31の範囲に正規化されている）とする。この復雑さ指標は、符号化情報量が多く発生するような画像に対して大きくなり、高い圧縮率が得られる画像に対しては小さくなる。該指標は、これから符号化しようとする画像のタイプによってどの程度情報量が必要かを、ある数値で規格化して、相対的に見積もったものである。
【００１３】
Xi=SiQi(ave) 、 Xp=SpQp(ave) 、 Xb=SbQb(ave)
初期値Xi(init)、Xp(init)、Xb(init)は、次のように与えられる。
Xi(init) = 160×Bit-rate /115
Xp(init) = 60×Bit-rate /115
Xb(init) = 42×Bit-rate /115
ここに、Bit-rateはビットレート（ビット／秒）である。
【００１４】
GOPの中の次の画面の目標ビット数Ti、Tp、Tbは、次のようにGOPの残りのビット数を、I、P、Bの残りの枚数の自分のピクチャタイプに換算したもので割ることで得られる。これはGOP中のまだ符号化していない画像のすべてが、これから符号化しようとする画像タイプであるとみなしたとき、1フレームあたり何ビット与えることができるかの目安を与えるものである。
【００１５】
Ti = R/(1+NpXp/(XiKp)+NbXb/(XiKb))
Tp = R/(Np+NbKpXb/(KbXp))
Tb = R/(Nb+NpKbXp/(KpXb))
Kp、Kbは量子化マトリクスに依存する恒常な定数であり、Kp=1.0、Kb=1.4である。Np、NbはGOPの中の符号化順でP、Bピクチャの残った枚数、RはGOPに与えられた残りのビット数であり、画像の符号化の後では、R = R−Si あるいは R = R−Sp あるいは R = R−Sbである。
【００１６】
GOPの最初の画面では、次のように設定する。
R = G + R
G = Bit-rate × N /Picture-rate
N：GOPの中のピクチャの数
(ステップ２)
【００１７】
各フレームに含まれるMBを順次符号化しながら、量子化ステップを求める段階である。符号化しようとしているフレームに対する割り当て情報量と実際に発生した情報量の差をMBごとにフィードバックする。実際の発生情報量が、計画量より大きいと、発生情報量を減らすために量子化ステップは大きくなり、逆の場合には量子化ステップが小さくなる。
【００１８】
まず、j番目のMBの符号化の前にI、P、Bフレームに対する仮想的なバッファ（このバッファは量子化ステップの計算だけに用いるもので、後述する仮想バッファ検証器とは異なる）の充満度を計算する。初期バッファ状態をdi(0)、dp(0)、db(0)とする。
di(j) = di(0) + B(j−1)−Ti×(j−1)/MB-cnt
dp(j) = dp(0) + B(j−1)−Tp×(j−1)/MB-cnt
db(j) = db(0) + B(j−1)−Tb×(j−1)/MB-cnt
B(j)はjを含んでそれまでのすべてのMBの符号化発生ビット数、MB-cntはピクチャ内のMB数である。ピクチャ内の最後の充満度は次の同タイプのピクチャのdi(0)、dp(0)、db(0)とみなされる。マクロブロックjの仮の量子化ステップQ(j)は次のように与えられる。
【００１９】
Q(j) = d(j)×31 / r
r = 2×Bit-rate /Picture-rate
初期値は、次の通りである。
di(0) = 10×r/31
dp(0) = Kp×di(0)
db(0) = Kb×di(0)
(ステップＳ３)
【００２０】
QPの平均値を、MBごとのアクティビティによって変化させる。マクロブロックjの空間的アクティビティ測定act(j)として、入力画像の輝度ブロック（MB中に4個含まれる）の画素値を使って次式を計算する。sblkは輝度ブロックの番号を示す。
【数１】
【数２】
（Pk：8×8ブロックの画素値）
アクティビティact(j)を、平均的なアクティビティの値からの偏りによって[2,1/2]の範囲に正規化した係数N-act(j)を計算する。
N-act(j)＝（２×act(j)＋avg-act）/（act(j)＋２×avg-act）・・・（２）
avg-actは前の時刻の画像のact(j)の平均値、初期値は400である。この正規化した係数を用いて変調した量子化ステップは次式で得られる。
Mq(j)＝Ｑ(j)×N-act(j)
Mq(j)は[1,31]の範囲の整数にクリップされる。この変調により、視覚特性上ノイズに敏感なアクティビティの低い部分には細かな量子化ステップが割り当てされる。逆に、ノイズの目立ちにくい、変化の激しい部分には粗い量子化ステップが割り当てられる。
このように、通常のレート制御は、大きな処理量を必要とする。
【００２２】
次に、本発明の原理を説明する。本発明者は、ビットレートを制御するには、量子化処理における量子化パラメータ（以下、ＱＰ値）の設定と、その値により変動するＶＢＶ（Video Buffering Verifier）バッファの占有量の大きさが重要になることに着目し、次のような予備実験を行った。なお、前記ＶＢＶバッファは、仮想的なバッファ検証器を意味する。符号化により生成されるビットストリームは、該ＶＢＶが要求する条件を満たすことが義務付けられており、一定レートで符号化されたビットストリームは、ＶＢＶによって課せられた拘束条件に合っていなければならないという決まりがあるが、これは周知であるので説明を省略する。
【００２３】
さて、前記予備実験として、ＭＰＥＧ−４エンコーダで通常のレート制御（例えば、ＴＭ５符号化方式）を行ったとき、各フレーム毎のＶＢＶバッファ占有量の推移と、フレーム単位での平均ＱＰ値の推移と、マクロブロック（以下、ＭＢ）単位でのＱＰ値の推移が、各ビットレート（例えば、４Ｍｂｐｓ，３Ｍｂｐｓおよび２Ｍｂｐｓ）においてどのようになっているかを検証した。実験に使用した入力および出力シーケンスの符号化条件を、図４(a)および(b)に示す。
【００２４】
また、前記実験により得た結果であるＶＢＶバッファの占有量のフレーム数による推移を図５に、フレーム単位での平均ＱＰ値の推移の結果を図６に示す。また、第０フレームのＩピクチャでのＭＢ単位のＱＰ値の推移を図７に、第１フレームのＰピクチャでのＭＢ単位のＱＰ値の推移を図８に示す。
【００２５】
図５を見ると、各ビットレート（４Ｍｂｐｓ，３Ｍｂｐｓおよび２Ｍｂｐｓ）におけるＶＢＶバッファの推移特性が類似している、すなわち相関があることがわかる。また、図６を見ると、各ビットレートにおけるフレーム単位での平均ＱＰ値が類似していることがわかる。また、図７、図８を見ると、各ビットレートにおけるＭＢ単位でのＱＰ値の推移特性も類似していることがわかる。
【００２６】
つまり、この実験により、本発明者は、サイマルエンコーダを構築する際に、最高ビットレート（例えば、４Ｍｂｐｓ）のＱＰ値を低ビットレート（例えば、３Ｍｂｐｓ，２Ｍｂｐｓ）のＱＰ値の算出に利用することにより、ビデオ情報複数同時符号化装置のレート制御のＱＰ値の算出処理を削減し、処理の高速化を図ることができることを着想した。
【００２７】
本発明の原理は、最高ビットレートでのコンテンツ符号化には通常のエンコード処理、すなわち前記ステップ１〜３の処理を行い、低ビットレートのコンテンツには該最高ビットレートでのエンコード処理結果のＶＢＶバッファ推移を参照して、低ビットレートのＶＢＶバッファ推移をこの推移に追随させる制御をすることにある。なお、後述するように、上記の文中の「最高ビットレート」を「最低ビットレート」と、また「低ビットレート」を「高ビットレート」と置き換えても良いので、以降では、これらを総称するために、場合によっては、通常のエンコード処理を行うビットレートを「マスタレート」、該マスタレートのＶＢＶバッファ推移を参照してエンコード処理を行うビットレートを「派生レート」と呼ぶことにする。
【００２８】
以下に、本発明の一実施形態を詳細に説明する。まず、マスタレートである高ビットレートのＶＢＶバッファ占有量を初期バッファ占有量で正規化した参照バッファ占有率を、ｎ枚目の画像のデコード時刻ｔｎを用いて、ｂｈｒ（ｔｎ）とする。しかし、高ビットレートと派生レートである低ビットレートでは、バッファサイズ指定やビットレート指定の違いにより、バッファ占有量を同一とすることはできない。このため、低ビットレートのシーケンスは、高ビットレートのバッファ推移を低ビットレートの理想推移に修正することで得るものとする。
【００２９】
この理想推移の修正法を以下に説明する。イントラ符号化ＶＯＰ（以下、Ｉ−ＶＯＰ）符号化時のＶＢＶバッファ占有率の変動幅は、各エンコードビットレート、初期バッファ占有量、バッファサイズにより異なる。低ビットレート用理想バッファ占有率ｂｈｒ’（ｔｎ）に該ｂｈｒ（ｔｎ）をそのまま利用すると、この変動を考慮していないため、制御時の誤差量が定期的に増大する。そこで、Ｉ−ＶＯＰの出現位置に応じた、下記の式（３）による理想バッファ占有率の生成を行った。
【００３０】
ｂｈｒ’（ｔｎ）＝ｂｈｒ（ｔｎ）＋ｒＩ×（ｔ−ｉｎ−ｇｏｐ／ｔ−ｇｏｐ）×ｐ１ ・・・（３）
ただし、ｒＩは、高ビットレートと低ビットレートでのＩ−ＶＯＰでの使用ビット量のＶＢＶバッファに対する占有比率であり、事前実験により取得した。該ｒＩとしては、例えばｒＩ＝１とすることができる。また、ｔ−ｉｎ−ｇｏｐは、直前のＩ−ＶＯＰの出現後の経過時間、ｔ−ｇｏｐは、１ＧＯＰ占有時間であり、ｐ１は、ＶＢＶバッファ占有率の変動幅の調整パラメータである。
【００３１】
ここで、前記ｐ１は、下記のような予備実験を行うことにより決定した。すなわち、出力シーケンスのビットレートを同一にし、通常符号化した時のバッファ占有率ｎｍｌ（ｔｎ）と、高ビットレートのｂｈｒ（ｔｎ）から上記式（３）により得られるｂｈｒ’（ｔｎ）との差分値の平均値と標準偏差から、最適なｐ１を決定した。なお、該ｐ１の最適値は、前記平均値と標準偏差のうち標準偏差に重点をおいた方が良いことが分かったので、特に標準偏差を用いた。この予備実験の入力、出力の符号化条件を、図９(a)、(b)に示す。
【００３２】
該予備実験の結果を、図１０、図１１、図１２および図１３に示す。図１０、図１１は、使用シーケンス“ｂｕｓ”についての、１．５Ｍｂｐｓ、２．５Ｍｂｐｓの｛ｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）｝の平均値と標準偏差の特性を示す。また、図１２、図１３は、使用シーケンス“ｍｏｂｉｌｅ＆ｃａｌｅｎｄａｒ”についての、１．５Ｍｂｐｓ、２．５Ｍｂｐｓの｛ｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）｝の平均値と標準偏差の特性を示す。図１０〜図１３において、縦軸は｛ｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）｝値、横軸はｐ１を示す。
【００３３】
ＶＢＶバッファ占有率の変動幅は小さい方が良いから、図１０〜図１３の標準偏差が最小になるｐ１を最適値とする。この結果、高ビットレートを３Ｍｂｐｓにしたときの各レートにおける最適なｐ１の値は図１４のようになり、シーケンスに依存しない値となることがわかった。本実施形態では、ｐ１の値として図１４のもの、すなわち１．５Ｍｂｐｓではｐ１＝０．０２５、２．５Ｍｂｐｓではｐ１＝０を使用する。
【００３４】
次に、マスタレートである最高ビットレートで通常のエンコード処理した際の量子化値ＱＰを参照値Ｑとし、派生レートである低ビットレートコンテンツ生成に利用するＱＰをｑとすると、該ｑはｑ＝Ｑ×ｒで求めるものとし、このｒの値により低ビットレートの発生ビット量を制御する。このｒは量子化パラメータの重み付け係数であり、フレーム単位で動的に変化させるものとし、以下のようにして決定する。
【００３５】
低ビットレートのバッファ占有率ｂｌｒ（ｔｎ）がｂｈｒ’（ｔｎ）となるように、ｒの初期値ｒ０を下記の式（４）により求め、下記の式（５）により、フレーム単位でｒの更新を行う。
【００３６】
実際のｑの算出に際して、ＭＰＥＧ−４規格での隣接ＭＢ間の変動制限±２以内を付加する。そして、前記（４）、（５）式で求められるｒを用いて、低ビットレートを、ｑ＝Ｑ×ｒでエンコードする。この時、ｑが小数の時は、小数第１位で四捨五入し、必ず整数になるようにする。
【００３７】
図１に、本発明の一実施形態の符号化器の概略の構成を示す。
本実施形態は、図示されているように、マスタレート用、例えば高ビットレート用のレート制御部１と、派生レート用、例えば低ビットレート用のレート制御部２を設け、該レート制御部１は前記ステップ１〜３の通常の処理を行い、レート制御部２は該レート制御部の処理結果を利用して、低処理負荷のレート制御を行うようにした点に特徴がある。なお、高ビットレートの量子化器Ｑは前記レート制御部１により、低ビットレートの量子化器Ｑ’は前記レート制御部２により制御される。本実施形態によれば、後述の説明から分かるように、レート制御の処理量を大きく低減することができる。前記仮想的なバッファ検証器であるＶＢＶバッファは、該レート制御部１、２内に存在すると想定できる。
【００３８】
次に、該レート制御部２の動作を、図２を参照して説明する。ステップＳ１では、マスタレートである高ビットレートのコンテンツを前記した通常の方法で符号化する。ステップＳ２では、ステップＳ１の符号化結果から、派生レートである低ビットレートのコンテンツ用に、量子化パラメータＱＰ（Ｑ）とバッファ占有率ｂｈｒ（ｔｎ）とを取得する。ステップＳ３は、前記式（３）よりｂｈｒ’（ｔｎ）を算出する。ステップＳ４では、最初のフレームか、またはＧＯＰの最初のフレームか否かの判断がなされ、この判断が肯定の場合にはステップＳ５に進んで前記式（４）によりｒ０を算出する。次にステップＳ６において、低ビットレートの量子化器Ｑ’を量子化パラメータｑ（＝Ｑ×ｒ０）でエンコードする。次いでステップＳ７に進んでｎ枚目の画像のデコード時刻ｔｎを更新する。そして、ステップＳ２に戻って、ステップＳ１の符号化結果から、デコード時刻ｔｎの量子化パラメータＱＰ（Ｑ）とバッファ占有率ｂｈｒ（ｔｎ）とを取得する。ステップＳ３では、前記と同様に、式（３）よりｂｈｒ’（ｔｎ）を算出する。
【００３９】
次に、ステップＳ４の判断が否定になると、ステップＳ８に進み、前記式（５）より、ｒｔｎ（＝ｒｎ）を算出する。ステップＳ９では、低ビットレートの量子化器Ｑ’を量子化パラメータｑ（＝Ｑ×ｒｔｎ）でエンコードする。ステップＳ１０では、入力映像が終了したか否かの判断がなされ、この判断が否定の時にはステップＳ７に進んでｔｎが更新され、前記した処理が続行される。一方、ステップＳ１０が肯定になると、低ビットレートの符号化処理は終了する。
【００４０】
次に、前記実施形態を用いた実験結果の一例を、図１５〜図１９に示す。図１５はＶＢＶバッファの推移を、図１６はＶＢＶバッファ占有率の推移を、図１７はＶＢＶバッファ占有率の平均絶対誤差を、図１８はフレーム単位でのＰＳＮＲの推移を、さらに図１９は処理時間を示す。また、図中のnormalは通常の符号化を示し、proposalは本実施形態による符号化を示す。
【００４１】
図１５からは、２．５ＭｂｐｓのＶＢＶバッファの推移（proposal）が、normalのそれとほぼ同じであることが分かる。また、図１６、図１７から、低ビットレート用理想バッファ占有率ｂｈｒ’（ｔｎ）がnormalのバッファ占有率ｎｍｌ（ｔｎ）と近似し、また｜ｎｍｌ（ｔｎ）−ｂｌｒ（ｔｎ）｜が小さいことが分かる。また、図１８から、本実施形態により符号化した場合の平均ＰＳＮＲが、通常の符号化による場合の平均ＰＳＮＲより向上していることが分かる。さらに、図１９から、本実施形態を用いると、レート制御処理時間が３．７５ｍ秒となり、本実施形態を用いない場合の１３８．８８９ｍ秒に比べて、大きく短縮できることが分かる。
【００４２】
なお、前記実施形態では、最高ビットレートでのエンコード処理結果のＶＢＶバッファ推移を参照したが、本発明はこれに限定されず、最低ビットレートでのエンコード処理結果のＶＢＶバッファ推移を参照して、高ビットレートのＶＢＶバッファ推移をこの推移に追随させる制御をするようにしてもよい。
【００４３】
次に、本発明の第２実施形態を説明する。この実施形態は、前記第１実施形態では、符号化ストリームにおいて、量子化パラメータの重み付け係数の初期値ｒ０を、前記（４）式のように、マスタレートと派生レートの単純な比から求めたのに対して、マスタレートで符号化した際のフレーム内平均ＱＰ値と、派生レートで符号化した際のフレーム内平均ｑｐ値の比率、または該比率の全フレームにおける平均値から求めるようにした点にある。
【００４４】
まず、本発明者は図９に示したのと同じ条件で、平均QP値の比の推移を測定した。その測定結果を、図２１、図２２及び図２３に示す。これらの図において、横軸はフレーム番号、縦軸はマスタレートの平均QPと派生レートの平均ｑｐの比を示す。
【００４５】
図２１は、マスタレートを２Mｂｐｓ、派生レートを１Mｂｐｓとした場合の測定結果であり、この測定結果により、（派生レートの平均ｑｐ）／（マスタレートの平均QP）はフレーム番号に関係なくほぼ一定（全フレームの平均値：１．６７）であることを本発明者は発見した。また、図２２はマスタレートを３Mｂｐｓ、派生レートを１．５Mｂｐｓとした場合、図２３はマスタレートを４Mｂｐｓ、派生レートを２Mｂｐｓとした場合の、図２１と同様の測定結果であり、いずれの測定結果からも、（派生レートの平均ｑｐ）／（マスタレートの平均QP）はフレーム番号に関係なくほぼ一定であることを発見した。なお、図２２及び図２３の全フレームの平均値は、それぞれ１．８１，１．９３となった。
【００４６】
これらの実験結果から、量子化パラメータの重み付け係数の初期値ｒ０を、マスタレートで符号化した際のフレーム内平均ＱＰ値と、派生レートで符号化した際のフレーム内平均ｑｐ値の比率、または該比率の全フレームにおける平均値から求めることができ、また、（４）式の初期値ｒ０を改善できることを見い出した。
【００４７】
この初期値ｒ０と（５）式で求められるｒを用いてシミュレーション実験を行ったところ、図１６に相当するＶＢＶバッファ占有率の推移は、第１実施例の場合よりも改善された。また、この初期値ｒ０と（５）式で求められるｒを用いて、派生レートを、ｑ＝Ｑ×ｒでエンコードすると、最初のフレームから量子化パラメータｑが良好になり、また、後続するフレームの目標ビットレートへの追随性が向上した。
【００４８】
次に、本発明の第３実施形態を説明する。この実施形態は、下記の実験により得られた測定結果から、量子化パラメータの重み付け係数の初期値ｒ０をマスタレート値と派生レート値の比率を変数とする関数から求めるようにした点にある。
この実験では、図２４に示されているように、マスタレートと派生レートを設定した。例えば、実験１では、マスタレート２Mbps、派生レート１．５Mbps、１Mbps、５００Kbpsと設定した。
【００４９】
図２５、図２６および図２７は、それぞれマスタレートを２Mbps、３Mbps、４Mbpsとした時の図２４の実験１，２および３に対応する測定結果を示し、横軸はレート比（マスタレート／派生レート）、縦軸は平均QP比、すなわち（派生レートの平均ｑｐ）／（マスタレートの平均QP）を示す。
【００５０】
図２５、図２６および図２７のグラフから、平均QP比は、レート比を変数とする直線またはそれに近い曲線に近似できることが分かった。
【００５１】
そこで、本実施形態では、前記（４）式に代えて、レート比を変数とする下記（６）式を使用する。
ｒ０＝ｆ（レート比） ・・・（６）
上記のｆは関数を表す。
【００５２】
さらに、前述の説明から明らかなように、該初期値ｒ０は変数レート比の１次関数に近似できるので、下記の（７）式が好適であることが分かったが、本発明はこれに限定されるものではない。
ｒ０＝Ａ×（レート比）＋Ｂ ・・・(7)
（７）式のＡとＢは定数であり、一例として、Ａ＝０．８、Ｂ＝０．２とすることができる。
【００５３】
（７）式を用いて、シミュレーション実験を行ったところ、図１６に相当するＶＢＶバッファ占有率の推移は、第１実施例の場合よりも、改善された。すなわち、派生レートのバッファ占有率ｂｌｒ（ｔｎ）は、通常符号化時のバッファ占有率ｎｍｌ（ｔｎ）により近似し、｜ｎｍｌ（ｔｎ）−ｂｌｒ（ｔｎ）｜は、０．０１１になった。特に、エンコード前半部のバッファ占有率の追随精度が向上した。
【００５４】
また、処理時間の改善は、図１９と同程度であるが、図１８に相当する画質の改善度（PSNR)は、第１実施例のものに比べて、０．１ｄB 程度向上した。
【００５５】
次に、本発明の第４実施形態を図３を参照して説明する。この実施形態は、高ビットレート用のレート制御部１と低ビットレート用のレート制御部３のアクティビティ計算処理を共通化した点に特徴がある。
【００５６】
該制御部１と３は、前記した通常のレート制御におけるステップ１〜３の処理を行うが、前記ステップ３中のアクティビティの計算（式１と式２）を共通化する。該アクティビティの計算は、符号化ビットレートに依らない計算処理であるため、共通化することができる。該アクティビティの計算は処理負荷の高い処理であるが、本実施形態のように共通化することにより、処理負荷の低減が可能になる。
【００５７】
また、本発明の第１〜４実施形態では、図１、図３に示されているように、前記動き探索処理部４を共通化しているので、前記レート制御による処理量の低減に、該動き探索処理による処理量低減が加えられるので、符号化処理の低減を大きくすることができる。
【００５８】
【発明の効果】
以上の説明から明らかなように、請求項１〜８の発明によれば、マスタレートの符号化に対しては通常のレート制御を行い、派生レートでの映像の符号化に対しては、前記マスタレートの符号化で得られた符号化パラメータを利用してレート制御するようにしているので、該レート制御に要する処理量を低減でき、ひいては複数同時符号化装置の処理を高速化することができるようになる。
【００５９】
また、請求項５〜８の発明によれば、これらの請求項で求められた初期値ｒ０と前記（５）式で求められるｒを用いて、派生レートを、ｑ＝Ｑ×ｒでエンコードすると、最初のフレームから量子化パラメータｑが良好になり、また、後続するフレームの目標ビットレートへの追随性が向上した。
【図面の簡単な説明】
【図１】 本発明の一実施形態の構成を示すブロック図である。
【図２】 本実施形態の要部の動作を示すフローチャートである。
【図３】 本発明の第４実施形態の構成を示すブロック図である。
【図４】 予備実験の入力シーケンス条件と出力シーケンス条件とを示す図である。
【図５】 高ビットレートと低ビットレートのＶＢＶバッファ占有量の推移を示す図である。
【図６】 高ビットレートと低ビットレートのフレーム単位における平均ＱＰ値の推移を示す図である。
【図７】 ＩピクチャのＭＢ単位のＱＰ値の推移を示す図である。
【図８】 ＰピクチャのＭＢ単位のＱＰ値の推移を示す図である。
【図９】 （３）式のｒＩとｐ１を求める場合の予備実験の入力シーケンス条件と出力シーケンス条件とを示す図である。
【図１０】 busにおけるｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）の各種特性（１．５Ｍｂｐｓ）を示す図である。
【図１１】 busにおけるｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）の各種特性（２．５Ｍｂｐｓ）を示す図である。
【図１２】 mobile&calendarにおけるｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）の各種特性（１．５Ｍｂｐｓ）を示す図である。
【図１３】 mobile&calendarにおけるｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）の各種特性（２．５Ｍｂｐｓ）を示す図である。
【図１４】 各レートにおける最適なｐ１を示す図である。
【図１５】 実験結果であるＶＢＶバッファの推移を示す図である。
【図１６】 実験結果であるＶＢＶバッファ占有率の推移を示す図である。
【図１７】 ＶＢＶバッファ占有率の平均絶対誤差を示す図である。
【図１８】 実験結果であるフレーム単位でのＰＳＮＲの推移を示す図である。
【図１９】 処理時間の低減を示す図である。
【図２０】 従来技術の一例の構成を示すブロック図である。
【図２１】 マスタレート２Mbps ,派生レート１Mbpsにおける平均QP値の推移を示す図である。
【図２２】 マスタレート３Mbps ,派生レート１．５Mbpsにおける平均QP値の推移を示す図である。
【図２３】 マスタレート４Mbps ,派生レート２Mbpsにおける平均QP値の推移を示す図である。
【図２４】 第３実施形態のマスタレートと派生レートの設定の説明図である。
【図２５】 レート比と平均QP値の比（実験１）の関係を示す図である。
【図２６】 レート比と平均QP値の比（実験２）の関係を示す図である。
【図２７】 レート比と平均QP値の比（実験３）の関係を示す図である。
【符号の説明】
１・・・レート制御部、２・・・低処理負荷レート制御部、３・・・レート制御部、４・・・動き探索処理部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a plurality of video information simultaneous encoding apparatuses, and more particularly to simultaneous encoding of a plurality of streams required for video distribution to various networks and playback environments at a higher speed than conventional methods and with reduced image quality degradation. The present invention relates to a plurality of video information simultaneous encoding devices that can be performed.
[0002]
[Prior art]
When generating video content, it is necessary to generate a plurality of contents having different bit rates according to various networks and playback environments. However, encoding video information individually takes a lot of time and effort. Accordingly, several transcoding schemes have been devised that simultaneously generate a plurality of streams at high speed.
[0003]
An example of this will be briefly described with reference to the block diagram of FIG. The figure is a well-known MPEG2 multiple simultaneous encoding apparatus for video information, so detailed description of the operation will be omitted, and only the main points will be described. This conventional apparatus generates and outputs two types of streams of a low bit rate and a high bit rate, and each loop of low and high bit rates, that is, a DCT-quantization unit (Q) -inverse quantization unit (IQ) -inverse DCT (IDCT) -frame memory-motion compensation unit (MC), and two
[0004]
As another conventional apparatus, for example, as described in “Research of MPEG2 transcoder quantization control system for realizing multi-rate output function” of Information Research Bulletin, AVM33-5 (2001). There is a method of partially sharing the processing.
[0005]
[Problems to be solved by the invention]
The above-described conventional techniques reduce the amount of processing and increase the speed by using a method for sharing motion vector searches at low and high bit rates and a method for partially sharing quantization processing, respectively. The rate control processing required when encoding the stream of each bit rate is performed independently by the
[0006]
The present invention has been made in view of the prior art, and an object of the present invention is to simultaneously encode a plurality of pieces of video information capable of performing encoding processing at a high speed while suppressing deterioration in image quality by reducing the amount of rate control processing. To provide an apparatus.
[0007]
[Means for Solving the Problems]
In order to achieve the above-described object, the present invention provides a video information multiple simultaneous encoding apparatus that simultaneously encodes a plurality of video information, a plurality of quantizers that perform quantization at a plurality of different bit rates, and the plurality of quantum information. A rate control unit for determining encoding parameters of the encoder, and the rate control unit encodes the video of the derived rate using the encoding parameter encoded at the master rate. The rate control process is performed so that the buffer occupancy obtained by normalizing the VBV buffer occupancy of the video encoded at the master rate with the initial buffer occupancy equals the buffer occupancy at the time of encoding at the derived rate. There is a first feature in the point made like this.
[0008]
According to this feature, since the normal
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings. First, normal rate control (MPEG-2 ISO / IEC13396-2 Test Model 5) processing will be described. In the normal rate control, the
(Step 1)
[0012]
First, prior to encoding of each frame, the complexity indicators Xi, Xp, and Xb of I, P, and B pictures defined by the following equations are updated. Si, Sp, Sb is generated bit number, Qi (ave), Qp (ave), Qb (ave) is an average quantization parameter (hereinafter referred to as QP) (average value of mquant of all MBs in one frame, however Normalized to the range of 1 to 31). The complexity index is large for an image in which a large amount of encoded information is generated, and is small for an image with a high compression rate. The index is a relative estimate of how much information is required depending on the type of image to be encoded, normalized by a certain numerical value.
[0013]
Xi = SiQi (ave), Xp = SpQp (ave), Xb = SbQb (ave)
The initial values Xi (init), Xp (init), and Xb (init) are given as follows.
Xi (init) = 160 × Bit-rate / 115
Xp (init) = 60 × Bit-rate / 115
Xb (init) = 42 × Bit-rate / 115
Here, Bit-rate is a bit rate (bits / second).
[0014]
Divide the target number of bits Ti, Tp, and Tb of the next screen in the GOP by converting the remaining number of bits of the GOP into the number of remaining pictures of I, P, and B as follows: Can be obtained. This gives an indication of how many bits can be given per frame when all the unencoded images in the GOP are considered to be the image type to be encoded.
[0015]
Ti = R / (1 + NpXp / (XiKp) + NbXb / (XiKb))
Tp = R / (Np + NbKpXb / (KbXp))
Tb = R / (Nb + NpKbXp / (KpXb))
Kp and Kb are constants that depend on the quantization matrix, and Kp = 1.0 and Kb = 1.4. Np and Nb are the remaining number of P and B pictures in the encoding order in the GOP, R is the remaining number of bits given to the GOP, and after encoding the image, R = R−Si or R = R-Sp or R = R-Sb.
[0016]
On the first screen of GOP, set as follows.
R = G + R
G = Bit-rate × N / Picture-rate
N: Number of pictures in the GOP
(Step 2)
[0017]
This is a step of obtaining a quantization step while sequentially encoding MBs included in each frame. The difference between the allocated information amount for the frame to be encoded and the actually generated information amount is fed back for each MB. If the actual amount of generated information is larger than the planned amount, the quantization step is increased in order to reduce the amount of generated information, and vice versa.
[0018]
First, before the j-th MB is encoded, the virtual buffer for I, P, and B frames (this buffer is used only for the quantization step calculation and is different from the virtual buffer verifier described later). Calculate the degree. Assume that the initial buffer state is di (0), dp (0), and db (0).
di (j) = di (0) + B (j−1) −Ti × (j−1) / MB-cnt
dp (j) = dp (0) + B (j−1) −Tp × (j−1) / MB-cnt
db (j) = db (0) + B (j−1) −Tb × (j−1) / MB-cnt
B (j) is the number of encoding bits of all MBs including j so far, and MB-cnt is the number of MBs in the picture. The last fullness in a picture is regarded as di (0), dp (0), db (0) of the next picture of the same type. The provisional quantization step Q (j) of the macroblock j is given as follows.
[0019]
Q (j) = d (j) x 31 / r
r = 2 x Bit-rate / Picture-rate
The initial values are as follows.
di (0) = 10 × r / 31
dp (0) = Kp × di (0)
db (0) = Kb × di (0)
(Step S3)
[0020]
The average value of QP is changed according to the activity for each MB. As the spatial activity measurement act (j) of the macroblock j, the following expression is calculated using the pixel values of the luminance block (4 included in MB) of the input image. sblk indicates the number of the luminance block.
[Expression 1]
[Expression 2]
(Pk: Pixel value of 8 × 8 block)
A coefficient N-act (j) obtained by normalizing the activity act (j) to a range of [2,1 / 2] by the deviation from the average activity value is calculated.
N-act (j) = (2 × act (j) + avg-act) / (act (j) + 2 × avg-act) (2)
avg-act is the average value of act (j) of the image at the previous time, and the initial value is 400. A quantization step modulated using the normalized coefficient is obtained by the following equation.
Mq (j) = Q (j) × N-act (j)
Mq (j) is clipped to an integer in the range [1,31]. Due to this modulation, fine quantization steps are assigned to low-activity parts that are sensitive to noise in terms of visual characteristics. On the contrary, a coarse quantization step is assigned to a portion where noise is not noticeable and changes rapidly.
Thus, normal rate control requires a large amount of processing.
[0022]
Next, the principle of the present invention will be described. In order to control the bit rate, the present inventor needs to set a quantization parameter (hereinafter referred to as a QP value) in the quantization process and a size of a VBV (Video Buffering Verifier) buffer that varies depending on the value. The following preliminary experiment was conducted. The VBV buffer means a virtual buffer verifier. The bitstream generated by the encoding is obliged to satisfy the conditions required by the VBV, and the bitstream encoded at a constant rate must meet the constraints imposed by the VBV. Although there is a rule, this is well known and will not be described.
[0023]
As a preliminary experiment, when normal rate control (for example, TM5 encoding method) is performed with an MPEG-4 encoder, the transition of the VBV buffer occupancy for each frame and the transition of the average QP value for each frame. Then, it was verified how the transition of the QP value in units of macroblocks (hereinafter referred to as MB) is at each bit rate (for example, 4 Mbps, 3 Mbps, and 2 Mbps). The encoding conditions of the input and output sequences used in the experiment are shown in FIGS. 4 (a) and 4 (b).
[0024]
FIG. 5 shows the transition of the VBV buffer occupancy, which is the result obtained from the experiment, according to the number of frames, and FIG. 6 shows the transition of the average QP value for each frame. FIG. 7 shows the transition of the QP value in the MB unit in the I picture of the 0th frame, and FIG. 8 shows the transition of the QP value in the MB unit in the P picture of the first frame.
[0025]
Referring to FIG. 5, it can be seen that the transition characteristics of the VBV buffer at each bit rate (4 Mbps, 3 Mbps, and 2 Mbps) are similar, that is, there is a correlation. Moreover, when FIG. 6 is seen, it turns out that the average QP value per frame in each bit rate is similar. 7 and 8, it can be seen that the transition characteristics of QP values in MB units at the respective bit rates are similar.
[0026]
That is, according to this experiment, the present inventor uses the QP value of the highest bit rate (for example, 4 Mbps) to calculate the QP value of the low bit rate (for example, 3 Mbps, 2 Mbps) when constructing the simultaneous encoder. Thus, the idea was to reduce the processing for calculating the QP value for rate control of the video information multiple simultaneous encoding device, and to increase the processing speed.
[0027]
The principle of the present invention is that the normal encoding process for content encoding at the highest bit rate, that is, the processing of
[0028]
Hereinafter, an embodiment of the present invention will be described in detail. First, the reference buffer occupancy obtained by normalizing the VBV buffer occupancy of the high bit rate, which is the master rate, with the initial buffer occupancy is set as the decoding time t of the nth image. n And bhr (t n ). However, at the high bit rate and the low bit rate, which is the derivative rate, the buffer occupancy cannot be made the same due to differences in buffer size designation and bit rate designation. For this reason, the low bit rate sequence is obtained by correcting the high bit rate buffer transition to the low bit rate ideal transition.
[0029]
A method for correcting this ideal transition will be described below. The fluctuation range of the VBV buffer occupancy during intra-encoded VOP (hereinafter I-VOP) encoding varies depending on each encoding bit rate, initial buffer occupancy, and buffer size. Low bit rate ideal buffer occupancy bhr '(t n ) In the bhr (t n If this is used as it is, this variation is not taken into account, so that the amount of error during control periodically increases. Therefore, an ideal buffer occupancy rate is generated by the following equation (3) according to the appearance position of the I-VOP.
[0030]
bhr ′ (t n ) = Bhr (t n ) + RI × ( t-in-gop / t-gop ) × p 1 ... (3)
However, rI is the occupation ratio of the used bit amount in the I-VOP at the high bit rate and the low bit rate to the VBV buffer, and was obtained by a preliminary experiment. The rI can be rI = 1, for example. Also, t-in-gop Is the elapsed time after the appearance of the previous I-VOP, t-gop Is the 1 GOP occupation time, p 1 Is an adjustment parameter for the fluctuation range of the VBV buffer occupancy rate.
[0031]
Where p 1 Was determined by conducting the following preliminary experiment. That is, the buffer occupation rate nml (t n ) And high bit rate bhr (t n ) To bhr ′ (t n ) From the average value and standard deviation of the difference value from 1 It was determined. The p 1 Since it has been found that it is better to focus on the standard deviation among the average value and the standard deviation, the standard deviation is used in particular. The input and output encoding conditions of this preliminary experiment are shown in FIGS. 9 (a) and 9 (b).
[0032]
The results of the preliminary experiment are shown in FIG. 10, FIG. 11, FIG. 12, and FIG. FIG. 10 and FIG. 11 are diagrams for the usage sequence “bus” of 1.5 Mbps and 2.5 Mbps {nml (t n ) -Bhr ′ (t n )} Average and standard deviation characteristics. FIGS. 12 and 13 show 1.5 Mbps and 2.5 Mbps {nml (t for the use sequence “mobile & calendar”). n ) -Bhr ′ (t n )} Average and standard deviation characteristics. 10 to 13, the vertical axis represents {nml (t n ) -Bhr ′ (t n )} Value, horizontal axis is p 1 Indicates.
[0033]
Since it is better that the fluctuation range of the VBV buffer occupancy is small, the standard deviation in FIGS. 10 to 13 is minimized. 1 Is the optimum value. As a result, the optimum p at each rate when the high bit rate is 3 Mbps. 1 The value of is as shown in FIG. 14 and was found to be a value independent of the sequence. In this embodiment, p 1 For the value of FIG. 14, i.e. 1.5 Mbps, p 1 = 0.025, p at 2.5 Mbps 1 Use = 0.
[0034]
Next, assuming that the quantized value QP at the time of normal encoding at the highest bit rate that is the master rate is the reference value Q and the QP that is used to generate the low bit rate content that is the derived rate is q, the q is q = Q × r, and the amount of bits generated at a low bit rate is controlled by the value of r. This r is a quantization parameter weighting coefficient, which is dynamically changed in units of frames, and is determined as follows.
[0035]
Low bit rate buffer occupancy blr (t n ) Is bhr ′ (t n ) So that the initial value r of r 0 Is obtained by the following equation (4), and r is updated in units of frames by the following equation (5).
[0036]
In the actual calculation of q, a variation limit within ± 2 between adjacent MBs in the MPEG-4 standard is added. Then, the low bit rate is encoded by q = Q × r using r obtained by the equations (4) and (5). At this time, when q is a decimal number, it is rounded off to the first decimal place so that it always becomes an integer.
[0037]
FIG. 1 shows a schematic configuration of an encoder according to an embodiment of the present invention.
In the present embodiment, as shown in the figure, a
[0038]
Next, the operation of the
[0039]
Next, when the determination in step S4 is negative, the process proceeds to step S8, where r tn (= R n ) Is calculated. In step S9, the low bit rate quantizer Q ′ is changed to a quantization parameter q (= Q × r). tn ). In step S10, it is determined whether or not the input video has ended. If this determination is negative, the process proceeds to step S7 and t n Is updated and the processing described above is continued. On the other hand, when step S10 becomes affirmative, the low bit rate encoding process ends.
[0040]
Next, examples of experimental results using the above embodiment are shown in FIGS. 15 shows the transition of the VBV buffer, FIG. 16 shows the transition of the VBV buffer occupancy, FIG. 17 shows the average absolute error of the VBV buffer occupancy, FIG. 18 shows the transition of PSNR in units of frames, and FIG. Show time. In the figure, normal indicates normal encoding, and proper indicates encoding according to the present embodiment.
[0041]
FIG. 15 shows that the transition (proposal) of the 2.5 Mbps VBV buffer is almost the same as that of normal. Also, from FIGS. 16 and 17, the ideal buffer occupancy bhr ′ (t n ) Is normal buffer occupancy rate nml (t n ) And | nml (t n ) -Blr (t n ) | Is small. In addition, it can be seen from FIG. 18 that the average PSNR in the case of encoding according to the present embodiment is improved from the average PSNR in the case of normal encoding. Furthermore, it can be seen from FIG. 19 that when this embodiment is used, the rate control processing time is 3.75 msec, which can be greatly shortened compared to 138.889 msec when this embodiment is not used.
[0042]
In the above embodiment, the VBV buffer transition of the encoding process result at the highest bit rate is referred to. However, the present invention is not limited to this, and the VBV buffer transition of the encoding process result at the lowest bit rate is referred to. You may make it control the VBV buffer transition of a high bit rate to track this transition.
[0043]
Next, a second embodiment of the present invention will be described. In this embodiment, in the first embodiment, the initial value r of the weighting coefficient of the quantization parameter in the encoded stream. 0 Is obtained from a simple ratio of the master rate and the derived rate as in the above equation (4), whereas the intra-frame average QP value when coded at the master rate and the coded rate at the derived rate The average qp value within the frame is determined from the ratio or the average value of all the frames in the ratio.
[0044]
First, the present inventor measured the transition of the ratio of average QP values under the same conditions as shown in FIG. The measurement results are shown in FIG. 21, FIG. 22, and FIG. In these figures, the horizontal axis represents the frame number, and the vertical axis represents the ratio between the average QP of the master rate and the average qp of the derived rate.
[0045]
FIG. 21 shows the measurement results when the master rate is 2 Mbps and the derived rate is 1 Mbps. According to this measurement result, (average derivation rate qp) / (average QP of master rate) is almost constant regardless of the frame number. The present inventor has found that (the average value of all frames: 1.67). FIG. 22 shows the same measurement results as FIG. 21 when the master rate is 3 Mbps and the derived rate is 1.5 Mbps, and FIG. 23 shows the same measurement results as FIG. 21 when the master rate is 4 Mbps and the derived rate is 2 Mbps. From the results, it was found that (average derivation rate qp) / (average QP of master rate) is almost constant regardless of the frame number. The average values of all the frames in FIGS. 22 and 23 were 1.81 and 1.93, respectively.
[0046]
From these experimental results, the initial value r of the weighting coefficient of the quantization parameter 0 Can be obtained from the ratio between the average QP value in the frame when encoded at the master rate and the average qp value in the frame when encoded at the derived rate, or the average value in all frames of the ratio, Initial value r of equation (4) 0 I found that I can improve.
[0047]
This initial value r 0 As a result of the simulation experiment using r obtained by the equation (5), the transition of the VBV buffer occupancy corresponding to FIG. 16 was improved as compared with the case of the first example. Also, this initial value r 0 And r obtained from Equation (5), the encoding rate is encoded with q = Q × r, the quantization parameter q becomes good from the first frame, and the target bit rate of the subsequent frame is changed to the target bit rate. Followability improved.
[0048]
Next, a third embodiment of the present invention will be described. In this embodiment, the initial value r of the weighting coefficient of the quantization parameter is obtained from the measurement result obtained by the following experiment. 0 Is obtained from a function having the ratio between the master rate value and the derived rate value as a variable.
In this experiment, a master rate and a derivative rate were set as shown in FIG. For example, in
[0049]
25, 26, and 27 show the measurement results corresponding to
[0050]
From the graphs of FIGS. 25, 26 and 27, it was found that the average QP ratio can be approximated to a straight line having a rate ratio as a variable or a curve close thereto.
[0051]
Therefore, in the present embodiment, the following formula (6) using the rate ratio as a variable is used instead of the formula (4).
r 0 = F (rate ratio) (6)
The above f represents a function.
[0052]
Further, as apparent from the above description, the initial value r 0 Since it can be approximated to a linear function of the variable rate ratio, it has been found that the following expression (7) is suitable, but the present invention is not limited to this.
r 0 = A x (Rate ratio) + B (7)
In formula (7), A and B are constants. For example, A = 0.8 and B = 0.2 can be set.
[0053]
When a simulation experiment was performed using equation (7), the transition of the VBV buffer occupancy corresponding to FIG. 16 was improved as compared with the case of the first example. That is, the buffer occupancy rate blr (t n ) Is the buffer occupancy ratio nml (t n ) And approximate | nml (t n ) -Blr (t n ) | Became 0.011. In particular, the tracking accuracy of the buffer occupancy ratio in the first half of the encoding has been improved.
[0054]
Further, although the improvement of the processing time is about the same as that in FIG. 19, the image quality improvement degree (PSNR) corresponding to FIG. 18 is improved by about 0.1 dB compared to that of the first embodiment.
[0055]
Next, a fourth embodiment of the present invention will be described with reference to FIG. This embodiment is characterized in that the activity calculation processing of the
[0056]
The
[0057]
In the first to fourth embodiments of the present invention, as shown in FIGS. 1 and 3, the motion
[0058]
【The invention's effect】
As is clear from the above description, claims 1 to 8 According to the invention, the normal rate control is performed for the master rate encoding, and the encoding parameter obtained by the master rate encoding is used for the video encoding at the derived rate. Since the rate control is performed, the amount of processing required for the rate control can be reduced, and as a result, the processing of a plurality of simultaneous encoding devices can be speeded up.
[0059]
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of the present invention.
FIG. 2 is a flowchart showing an operation of a main part of the present embodiment.
FIG. 3 is a block diagram showing a configuration of a fourth embodiment of the present invention.
FIG. 4 is a diagram showing input sequence conditions and output sequence conditions in a preliminary experiment.
FIG. 5 is a diagram showing transition of VBV buffer occupancy at high bit rate and low bit rate.
FIG. 6 is a diagram showing transition of an average QP value in a frame unit of a high bit rate and a low bit rate.
FIG. 7 is a diagram illustrating a transition of a QP value in MB units of an I picture.
FIG. 8 is a diagram illustrating a transition of a QP value in MB units of a P picture.
FIG. 9 shows rI and p in equation (3). 1 It is a figure which shows the input sequence conditions and output sequence conditions of the preliminary experiment when calculating | requiring.
FIG. 10 shows nml (t n ) -Bhr ′ (t n Is a diagram showing various characteristics (1.5 Mbps).
FIG. 11 shows nml (t n ) -Bhr ′ (t n Is a diagram showing various characteristics (2.5 Mbps).
[Fig. 12] nml (t in mobile & calendar n ) -Bhr ′ (t n Is a diagram showing various characteristics (1.5 Mbps).
[Fig. 13] nml (t in mobile & calendar n ) -Bhr ′ (t n Is a diagram showing various characteristics (2.5 Mbps).
FIG. 14: Optimal p at each rate 1 FIG.
FIG. 15 is a diagram illustrating a transition of a VBV buffer as an experimental result.
FIG. 16 is a diagram showing the transition of the VBV buffer occupancy that is the experimental result.
FIG. 17 is a diagram showing an average absolute error of VBV buffer occupancy.
FIG. 18 is a diagram illustrating the transition of PSNR in units of frames, which is an experimental result.
FIG. 19 is a diagram showing a reduction in processing time.
FIG. 20 is a block diagram showing a configuration of an example of a conventional technique.
FIG. 21 is a diagram showing a transition of an average QP value at a master rate of 2 Mbps and a derivative rate of 1 Mbps.
FIG. 22 is a diagram showing a transition of an average QP value at a master rate of 3 Mbps and a derived rate of 1.5 Mbps.
FIG. 23 is a diagram showing a transition of an average QP value at a master rate of 4 Mbps and a derivative rate of 2 Mbps.
FIG. 24 is an explanatory diagram of setting of a master rate and a derived rate according to the third embodiment.
FIG. 25 is a diagram illustrating a relationship between a rate ratio and a ratio of an average QP value (Experiment 1);
FIG. 26 is a diagram illustrating a relationship between a rate ratio and a ratio of an average QP value (Experiment 2).
FIG. 27 is a diagram illustrating a relationship between a rate ratio and a ratio of an average QP value (Experiment 3).
[Explanation of symbols]
DESCRIPTION OF
Claims (8)
複数の異なるビットレートで量子化する複数の量子化器と、
該複数の量子化器の符号化パラメータを求めるレート制御部とを具備し、
該レート制御部は、マスタレートで符号化された符号化パラメータを利用して、派生レートの映像を符号化し、マスタレートで符号化された映像のＶＢＶバッファ占有量を初期バッファ占有量で正規化したバッファ占有率と、派生レートでの符号化時のバッファ占有率とが等しくなるようにレート制御処理を行うことを特徴とするビデオ情報複数同時符号化装置。In a video information multiple simultaneous encoding device for simultaneously encoding a plurality of video information,
A plurality of quantizers that quantize at a plurality of different bit rates;
A rate control unit for obtaining encoding parameters of the plurality of quantizers,
The rate controller uses a coding parameter encoded at a master rate to encode a derived rate video, and normalizes the VBV buffer occupancy of the video encoded at the master rate with an initial buffer occupancy A video information multiple simultaneous encoding apparatus characterized by performing rate control processing so that the buffer occupancy and the buffer occupancy at the time of encoding at a derived rate are equal.
マスタレートのＶＢＶバッファ占有量を初期バッファ占有量で正規化した参照バッファ占有率をｂｈｒ（ｔｎ）とする時（ここに、ｔｎはｎ枚目の画像のデコード時刻）、派生レート用バッファ占有率ｂｈｒ’（ｔｎ）を下記の式により算出することを特徴とするビデオ情報複数同時符号化装置。
ｂｈｒ’（ｔｎ）＝ｂｈｒ（ｔｎ）＋ｒＩ×（ｔ−ｉｎ−ｇｏｐ／ｔ−ｇｏｐ）×ｐ１
ただし、ｒＩは、マスタレートと派生レートでのＩ−ＶＯＰでの使用ビット量のＶＢＶバッファに対する占有率比、ｔ−ｉｎ−ｇｏｐは直前のＩ−ＶＯＰの出現後の経過時間、ｔ−ｇｏｐは１ＧＯＰ占有時間、ｐ１はＶＢＶバッファ占有率の変動幅の調整パラメータである。In the video information multiple simultaneous encoding device according to claim 1,
When the reference buffer occupancy rate obtained by normalizing the VBV buffer occupancy of the master rate with the initial buffer occupancy is bhr (t n ) (where t n is the decoding time of the nth image), the derivative rate buffer An apparatus for simultaneously encoding a plurality of video information, wherein an occupation rate bhr ′ (t n ) is calculated by the following equation.
bhr ′ (t n ) = bhr (t n ) + rI × ( t-in-gop / t-gop ) × p 1
Where rI is the occupation ratio of the used bit amount in the I-VOP at the master rate and the derived rate to the VBV buffer, t-in-gop is the elapsed time after the appearance of the immediately preceding I-VOP, and t-gop is 1 GOP occupation time, p 1 is an adjustment parameter of the fluctuation range of the VBV buffer occupation rate.
前記レート制御に用いる量子化パラメータは、マスタレート符号化時の量子化パラメータＱと、前記バッファ占有率を基に算出された重み付け係数ｒとの積で求められることを特徴とするビデオ情報複数同時符号化装置。In the video information multiple simultaneous encoding device according to claim 1 or 2,
The quantization parameter used for the rate control is obtained as a product of a quantization parameter Q at the time of master rate encoding and a weighting factor r calculated based on the buffer occupancy rate. Encoding device.
前記重み付け係数ｒ（初期値ｒ０）は、下記の式により求められることを特徴とするビデオ情報複数同時符号化装置。
ｒ０＝high-bitrate(bps)／low-bitrate(bps)
ｒｎ＋１＝ｒｎ×［１＋｛（ｂｈｒ’（ｔｎ）−ｂｌｒ（ｔｎ））／ｂｌｒ（ｔｎ）｝
×ｐ２］ （ｎ≧０の整数）
ここに、ｐ２は、ｒの変動量のパラメータである。The video information multiple simultaneous encoding device according to claim 3,
The weighting coefficient r (initial value r 0 ) is obtained by the following equation, and a plurality of video information simultaneous encoding apparatuses.
r 0 = high-bitrate (bps) / low-bitrate (bps)
r n + 1 = r n × [1 + {(bhr ′ (t n ) −blr (t n )) / blr (t n )}
× p 2 ] (n ≧ 0 integer)
Here, p 2 is the variation of parameters of r.
前記重み付け係数の初期値ｒ０を、マスタレートで符号化した際のフレーム内平均QP値と、派生レートで符号化した際のフレーム内平均ｑｐ値との比率に設定することを特徴とするビデオ情報複数同時符号化装置。The video information multiple simultaneous encoding device according to claim 4,
The video characterized in that the initial value r 0 of the weighting coefficient is set to a ratio between an intra-frame average QP value when encoded at a master rate and an intra-frame average qp value when encoded at a derived rate. Information multiple simultaneous encoding device.
、
前記重み付け係数の初期値ｒ０を、マスタレートで符号化した際のフレーム内平均QP値と、派生レートで符号化した際のフレーム内平均ｑｐ値との比率の全フレームにおける平均値に設定することを特徴とするビデオ情報複数同時符号化装置。The video information multiple simultaneous encoding device according to claim 4 or 5,
The initial value r 0 of the weighting coefficient is set to the average value of all frames in the ratio between the intra-frame average QP value when encoded at the master rate and the intra-frame average qp value when encoded at the derived rate. An apparatus for simultaneously encoding a plurality of video information.
前記重み付け係数の初期値ｒ０を、マスタレートと派生レートの比率を変数とする関数で求めるようにしたことを特徴とするビデオ情報複数同時符号化装置。The video information multiple simultaneous encoding device according to claim 4,
Wherein the initial value r 0 of the weighting coefficients, video information multiple simultaneous encoding apparatus is characterized in that so as to determine the ratio of master rate and derived rate function whose variable.
前記重み付け係数の初期値ｒ０を、マスタレートと派生レートの比率（以下、レート比）を変数とする、下記の式で求めるようにしたことを特徴とするビデオ情報複数同時符号化装置。
ｒ０＝Ａ×（レート比）＋Ｂ
ここで、ＡとＢは定数である。The video information multiple simultaneous encoding device according to claim 4 or 7,
An apparatus for simultaneously encoding a plurality of video information, wherein the initial value r 0 of the weighting coefficient is obtained by the following equation using a ratio between a master rate and a derived rate (hereinafter, rate ratio) as a variable.
r 0 = A × (rate ratio) + B
Here, A and B are constants.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003206482A JP4104066B2 (en) | 2003-02-26 | 2003-08-07 | Video information multiple simultaneous encoding device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003049752 | 2003-02-26 | ||
| JP2003206482A JP4104066B2 (en) | 2003-02-26 | 2003-08-07 | Video information multiple simultaneous encoding device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004320707A JP2004320707A (en) | 2004-11-11 |
| JP4104066B2 true JP4104066B2 (en) | 2008-06-18 |
Family
ID=33478039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003206482A Expired - Fee Related JP4104066B2 (en) | 2003-02-26 | 2003-08-07 | Video information multiple simultaneous encoding device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4104066B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4790669B2 (en) * | 2007-07-05 | 2011-10-12 | 株式会社メガチップス | Transcoder |
| JP2012074844A (en) * | 2010-09-28 | 2012-04-12 | Panasonic Corp | Multi-stream encoding controller and camera system |
| WO2013033458A2 (en) | 2011-08-30 | 2013-03-07 | Divx, Llc | Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels |
| US9532080B2 (en) | 2012-05-31 | 2016-12-27 | Sonic Ip, Inc. | Systems and methods for the reuse of encoding information in encoding alternative streams of video data |
| US9357210B2 (en) | 2013-02-28 | 2016-05-31 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams for adaptive bitrate streaming |
| CN105359511A (en) * | 2013-05-24 | 2016-02-24 | 索尼克Ip股份有限公司 | Systems and methods of encoding multiple video streams with adaptive quantization for adaptive bitrate streaming |
| US10148989B2 (en) | 2016-06-15 | 2018-12-04 | Divx, Llc | Systems and methods for encoding video content |
| JP6977422B2 (en) * | 2017-09-13 | 2021-12-08 | 株式会社Ｊｖｃケンウッド | Transcoding device, transcoding method and transcoding program |
-
2003
- 2003-08-07 JP JP2003206482A patent/JP4104066B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004320707A (en) | 2004-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7593462B2 (en) | Moving picture encoding system | |
| KR20040011100A (en) | Advanced method for rate control and apparatus thereof | |
| WO2009121234A1 (en) | A video compression code rate control method | |
| WO1999063760A1 (en) | Sequence adaptive bit allocation for pictures encoding | |
| Si et al. | Adaptive rate control for high efficiency video coding | |
| JP2000197049A (en) | Dynamic image variable bit rate encoding device and method therefor | |
| JP4104066B2 (en) | Video information multiple simultaneous encoding device | |
| Lei et al. | Accurate bit allocation and rate control for DCT domain video transcoding | |
| JP4249672B2 (en) | Video information multiple simultaneous encoding device | |
| Yi et al. | Improved H. 264 rate control by enhanced MAD-based frame complexity prediction | |
| JP2001028753A (en) | Dynamic image coder and its method | |
| US9426474B2 (en) | Transcoder | |
| CN111416978B (en) | Video encoding and decoding method and system, and computer readable storage medium | |
| JP2001526850A (en) | Method and apparatus for optimizing a quantization value in an image encoder | |
| JP3812269B2 (en) | Video encoding apparatus and method | |
| Yi et al. | Rate control using enhanced frame complexity measure for H. 264 video | |
| KR101069254B1 (en) | Method of Rate Control in Frame-level for H.264/AVC | |
| KR20010064266A (en) | Rate Control Apparatus and Method Using Spatial Prediction Error Model for Moving Picture Coding | |
| KR100930485B1 (en) | Adaptive Bitrate Control Scheme for Video Encoder Using Generated Bitrate | |
| KR20100004009A (en) | Method of adaptive rate control in frame-layer for real-time h.264/avc | |
| KR100228549B1 (en) | Video control method with variable bit rate using channel rate | |
| Chen et al. | Accurate rate control method in transcoding | |
| JP2002534864A (en) | Adaptive buffer and quantization adjustment scheme for bandwidth scalability of video data | |
| Kwon et al. | Improved initial QP prediction method in H. 264/AVC | |
| Pietrasiewicz et al. | Rate Control for Multi-Sequence H. 264/AVC Compression |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050831 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071226 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080221 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080225 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080319 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080321 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140404 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |