JP3879134B2 - Encoding apparatus and method thereof - Google Patents

Description

【００３７】
但し、式１において、Ｄ_j は映像データＳ１２の第ｊ番目のピクチャーの実難度データであり、Ｒ’_j は、映像データＳ１２，Ｓ１６の第ｊ番目〜第（ｊ＋Ｌ−１）番目のピクチャーに割り当てることができる目標データ量の平均であり、Ｒ’_j の初期値（Ｒ’₁ ）は、圧縮映像データの各ピクチャーに平均して割り当て可能な目標データ量であり、下に示す式２で表され、エンコーダ１８が圧縮映像データを１ピクチャー分生成する度に、式３に示すように更新される。
【００３８】
【数２】

【００３９】
【数３】

【００４０】
なお、式３中の数値ビットレート(Bit rate)は、通信回線の伝送容量や、記録媒体の記録容量に基づいて決められる１秒当たりのデータ量（ビット量）を示し、ピクチャーレート(Picture rate)は、映像データに含まれる１秒当たりのピクチャーの数（３０枚／秒（ＮＴＳＣ），２５枚／秒（ＰＡＬ））を示し、数値Ｆ_j+L は、ピクチャータイプに応じて定められるピクチャー当たりの平均データ量を示す。
エンコーダ１８のＤＣＴ回路１６６は、入力される遅延映像データＳ１６の第ｊ番目のピクチャーをＤＣＴ処理し、量子化回路１６８に対して出力する。
量子化回路１６８は、ＤＣＴ回路１６６から入力された第ｊ番目のピクチャーの周波数領域のデータを、量子化制御回路１８０が目標データ量Ｔ_j に基づいて調節する量子化値Ｑ_j により量子化し、量子化データとして可変長符号化回路１７０に対して出力する。
可変長符号化回路１７０は、量子化回路１６８から入力された第ｊ番目のピクチャーの量子化データを可変長符号化して、ほぼ、目標データ量Ｔ_j に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
【００４１】
同様に、図４（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャー（図４（Ｃ）のピクチャーａ’）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第（ｊ＋１）番目〜第（ｊ＋Ｌ）番目のピクチャー（図４（Ｃ）の範囲ｃ’）の圧縮符号化を完了し、これらのピクチャーの実難度データＤ_j+1 ，Ｄ_j+2 ，Ｄ_j+3 ，・・・，Ｄ_j+L は、ホストコンピュータ２０により既に算出されている。
【００４２】
ホストコンピュータ２０は、式１により、エンコーダ１８が遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーを圧縮符号化して得られる圧縮映像データに割り当てる目標データ量Ｔ_j+1 を算出し、エンコーダ１８の量子化制御回路１８０に設定する。
【００４３】
エンコーダ１８は、ホストコンピュータ２０から量子化制御回路１８０に設定された目量データ量Ｔ_j に基づいて第（ｊ＋１）番目のピクチャーを圧縮符号化し、目標データ量Ｔ_j+1 に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
さらに以下、同様に、映像データ圧縮装置１は、遅延映像データＳ１６の第ｋ番目のピクチャーを、量子化値Ｑ_k （ｋ＝ｊ＋２，ｊ＋３，…）をピクチャーごとに変更して順次、圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
【００４４】
以上説明したように、第１の実施形態に示した映像データ圧縮装置１によれば、短時間で非圧縮映像データＶＩＮの絵柄の難度を算出し、算出した難度に応じた圧縮率で適応的に非圧縮映像データＶＩＮを圧縮符号化することができる。つまり、第１の実施形態に示した映像データ圧縮装置１によれば、２パスエンコード方式と異なり、ほぼ実時間的に、非圧縮映像データＶＩＮの絵柄の難度に基づいて適応的に非圧縮映像データＶＩＮを圧縮符号化をすることができ、実況放送といった実時間性を要求される用途に応用可能である。
なお、第１の実施形態に示した他、本発明に係るデータ多重化装置１は、エンコーダ１６２が圧縮符号化した圧縮映像データのデータ量を、そのまま難度データとして用い、ホストコンピュータ２０の処理の簡略化を図る等、種々の構成を採ることができる。
【００４５】
第２実施形態
第１の実施形態に示した簡易２パスエンコード方式によれば、実時間かつ、絵柄の難度に応じた適応的な非圧縮映像データに対する圧縮符号化処理が可能である。しかしながら、第１の実施形態に示した簡易２パスエンコード方式を用いた場合、実時間性が厳しく要求される場合には、ＦＩＦＯメモリ１６０の遅延時間を大きくすることができず、真に適切な目標データ量Ｔ_j の算出が難しく、圧縮映像データＶＯＵＴを伸長復号して得られる映像の品質が低下してしまう可能性がある。
【００４６】
第２の実施形態においては、第１の実施形態に示した映像データ圧縮装置１（図１）を用い、ホストコンピュータ２０の処理内容を変更して、ＦＩＦＯメモリ１６０の遅延時間を長くしなくても適切な目標データ量Ｔ_j の値を得ることができるように、非圧縮映像データをＬピクチャー分、予備的に圧縮符号化して得られた圧縮映像データの第ｊ番目のピクチャー〜第（ｊ＋Ｌ−１）番目のピクチャーの実難度データＤ_j 〜Ｄ_j+L-1 から、圧縮映像データの第（ｊ＋Ｌ）番目のピクチャー〜第（ｊ＋Ｌ＋Ｂ）番目のピクチャー（Ｂは整数）の難度データ（予測難度データ）Ｄ_j+L 〜Ｄ_j+L+B を算出し、実際に得られた難度データＤ_j 〜Ｄ_j+L-1 （実難度データ）および予測によって得られた難度データＤ’_j+L 〜Ｄ’_j+L+B に基づいて、第１の実施形態に示した簡易２パスエンコード方式よりも適切な目標データ量Ｔ_j の値を得ることができる圧縮符号化方式（予測簡易２パスエンコード方式）を説明する。
【００４７】
まず、第２の実施形態で説明する予測簡易２パスエンコード方式を概念的に説明する。
予測簡易２パスエンコード方式は、徐々に絵柄が難しくなってゆく、つまり、徐々に圧縮符号化時のＤＣＴ処理後の高い周波数成分が多くなり、動きが速くなってゆく非圧縮映像データの絵柄は、さらに難しくなってゆき、逆に、徐々に絵柄が難しくなくなって（簡単になって）ゆく非圧縮映像データの絵柄は、さらに簡単になってゆくであろうと予測可能であることを前提する。
【００４８】
つまり、予測簡易２パスエンコード方式は、ホストコンピュータ２０が、この前提に基づいて、さらに絵柄が難しくなってゆくと予測される場合には、さらに絵柄が難しいピクチャーに備えて、その時点で圧縮符号化しているピクチャーに割り当てる目標データ量を節約し、逆に、さらに絵柄が簡単になってゆくと予測される場合には、その時点で圧縮符号化しているピクチャーに割り当てる目標データ量を増やすようにエンコーダ１８に対する圧縮率の制御を行う。
【００４９】
さらに、予測簡易２パスエンコード方式の概念的な説明を続ける。
映像データは、一般的に、時間方向および空間方向について相関性が高く、映像データの圧縮符号化は、これらの相関性に着目し、冗長性を除くことにより行われる。
時間方向について相関性が高いということは、現時点の非圧縮映像データのピクチャーの難度とそれ以降の非圧縮映像データのピクチャーの難度とが近いということを意味する。また、難度の増減の傾向も、現時点までの難度の増減の傾向がそれ以降も続くことが多い。
【００５０】
具体例を挙げると、カメラが静止状態からゆっくりとカメラを水平方向に回し初め、最後に一定の回転速度で回転しながら、静止している物体を撮影する場合の非圧縮映像データの絵柄を考える。最初はカメラが停止状態であるため、静止映像が撮影され、絵柄の難度は低くなる。次に、カメラを回し始めて１〜２秒後に一定の回転速度になると仮定すると、カメラを回し始めて１〜２秒間は絵柄の難度は高くなる傾向を示す。この状態を、映像データ圧縮装置１側から見ると、数ＧＯＰ分の圧縮映像データを生成する間、入力される非圧縮映像データの絵柄の難度が高くなる傾向が続くことになる。
【００５１】
従って、この具体例に示したような場合には、非圧縮映像データの絵柄の難度が増大傾向を示した場合に、それ以降の絵柄の難度が増大傾向を示すと予測するのは妥当である。以下に説明する予測簡易２パスエンコード方式は、このような難度および難度の増減傾向の時間的相関性を積極的に利用して、圧縮映像データの各ピクチャーに対して、第１の実施形態に示した簡易２パスエンコード方式においてよりも適切な目標データ量の割り当てを行おうとするものである。
【００５２】
以下、第２の実施形態における映像データ圧縮装置１の予測簡易２パスエンコードの動作を説明する。
図５（Ａ）〜（Ｃ）は、第２の実施形態における映像データ圧縮装置１の予測簡易２パスエンコードの動作を示す図である。
エンコーダ制御部１２は、第１の実施形態においてと同様に、映像データ圧縮装置１に入力された非圧縮映像データＶＩＮに対して、エンコーダ制御部１２により符号化順にピクチャーを並べ替える等の前処理を行い、図５（Ａ）に示すように映像データＳ１２としてＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
【００５３】
ＦＩＦＯメモリ１６０は、第１の実施形態においてと同様に、入力された映像データＳ１２の各ピクチャーをＬピクチャー分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、第１の実施形態においてと同様に、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第ｊ（ｊは整数）番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。ホストコンピュータ２０は、エンコーダ１６２から入力されたこれらの値に基づいて、実難度データＤ_j を順次、算出する。
【００５４】
例えば、エンコーダ１８に入力される遅延映像データＳ１６は、ＦＩＦＯメモリ１６０によりＬピクチャーだけ遅延されているので、図５（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第ｊ番目のピクチャー（図５（Ｂ）のピクチャーａ）を圧縮符号化している際には、エンコーダ１６２は、第１の実施形態においてと同様に、映像データＳ１２の第ｊ番目のピクチャーからＬピクチャー分先の第（ｊ＋Ｌ）番目のピクチャー（図５（Ｂ）のピクチャーｂ）を圧縮符号化していることになる。
【００５５】
従って、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化を開始する際には、エンコーダ１６２は映像データＳ１２の第（ｊ−Ａ）番目〜第（ｊ＋Ｌ−１）番目のピクチャー（図５（Ｂ）の範囲ｃ、但し、図５はＡ＝０の場合を示す）の圧縮符号化を完了し、これらのピクチャーの圧縮符号化後のデータ量、および、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力している。ホストコンピュータ２０は、エンコーダ１６２から入力されたこれらの値に基づいて、難度データ（実難度データ、図５（Ｂ）の範囲ｄ）Ｄ_j-A ，Ｄ_j-A+1 ，…，Ｄ_j ，Ｄ_j+1 ，Ｄ_j+2 ，…，Ｄ_j+L-1 の算出を既に終了している。なお、Ａは整数であり、正負を問わない。
【００５６】
ホストコンピュータ２０は、実難度データＤ_j-A ，Ｄ_j-a+1 ，…，Ｄ_j ，Ｄ_j+1 ，Ｄ_j+2 ，…，Ｄ_j+L-1 に基づいて、映像データＳ１２の第（ｊ＋Ｌ）番目〜第（ｊ＋Ｌ＋Ｂ）番目のピクチャーの圧縮符号化後の難度データ（予測難度データ、図５（Ｂ）の範囲ｅ）Ｄ’_j+L ，Ｄ’_j+L+1 ，Ｄ’_j+L+2 ，…，Ｄ’_j+L+B を予測し、下に示す式４により、遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化後の目標データ量Ｔ_j を算出する。従って、遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化後の目標データ量Ｔ_j を算出するために、実難度データと予測難度データとを含めて、図５（Ｂ）の範囲ｃの（Ａ＋Ｌ＋Ｂ＋１）ピクチャー分の難度データを用いることになる。なお、実難度データに基づいて予測難度データを算出する方法は、第５の実施形態以降に詳述する。
【００５７】
【数４】

【００５８】
なお、式４の各記号は、式１の各記号に同じである。
エンコーダ１８は、第１の実施形態と同様に、ホストコンピュータ２０により量子化制御回路１８０に設定された目標データ量Ｔ_j に基づいて、目標データ量Ｔ_j に近いデータ量の圧縮映像データＶＯＵＴを生成して出力する。
さらに、ホストコンピュータ２０は、図５（Ｂ）に示した動作と同様に、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャー（図５（Ｃ）のピクチャーａ’）に対しても、映像データＳ１２の第（ｊ＋Ｌ＋１）番目のピクチャー（図５（Ｃ）のピクチャーｂ’）以前の図５（Ｃ）の範囲ｄ’の実難度データＤ_j-A+1 ，Ｄ_j-A+2 ，…，Ｄ_j ，Ｄ_j+1 ，Ｄ_j+2 ，…，Ｄ_j+L 、および、図５（Ｃ）の範囲ｅ’に示す予測難度データ、Ｄ’_j+L+1 ，Ｄ’_j+L+2 ，Ｄ’_j+L+3 ，…，Ｄ’_j+L+B+1 、つまり、図５（Ｃ）の範囲ｃ’に示す実難度データと予測難度データとに基づいて、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーの圧縮符号化後の目標データ量Ｔ_j+1 を算出する。エンコーダ１８は、ホストコンピュータ２０が算出した目量データ量Ｔ_j+1 に基づいて、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーを圧縮符号化し、目標データ量Ｔ_j+1 に近いデータ量の圧縮符号化データＶＯＵＴを生成する。
なお、以上の映像データ圧縮装置１の予測簡易２パスエンコード動作は、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーに対しても同様である。
【００５９】
以下、図６を参照して、第２の実施形態における映像データ圧縮装置１の動作を整理して説明する。
図６は、第２の実施形態における映像データ圧縮装置１（図１）の動作を示すフローチャートである。
図６に示すように、ステップ１０２（Ｓ１０２）において、ホストコンピュータ２０は、式１等に用いられる数値ｊ，Ｒ’₁ を、ｊ＝−（Ｌ−１），Ｒ’₁ ＝(Bit rate ×(L+B))/Picture rate として初期化する。
【００６０】
ステップ１０４（Ｓ１０４）において、ホストコンピュータ２０は、数値ｊが０より大きいか否かを判断する。数値ｊが０より大きい場合にはＳ１０６の処理に進み、小さい場合にはＳ１１０の処理に進む。
ステップ１０６（Ｓ１０６）において、エンコーダ１６２は、映像データＳ１２の第（ｊ＋Ｌ）番目のピクチャーを圧縮符号化し、実難度データＤ_j+L を生成する。
【００６１】
ステップ１０８（Ｓ１０８）において、ホストコンピュータ２０は数値ｊをインクリメントする（ｊ＝ｊ＋１）。
ステップ１１０（Ｓ１１０）において、ホストコンピュータ２０は、遅延映像データＳ１６に第ｊ番目のピクチャーが存在するか否かを判断する。第ｊ番目のピクチャーが存在する場合にはＳ１１２の処理に進み、存在しない場合には圧縮符号化処理を終了する。
【００６２】
ステップ１１２（Ｓ１１２）において、ホストコンピュータ２０は、数値ｊが数値Ａよりも大きいか否かを判断する。数値ｊが数値Ａよりも大きい場合にはＳ１１４の処理に進み、小さい場合にはＳ１１６の処理に進む。
ステップ１１４（Ｓ１１４）において、ホストコンピュータ２０は、実難度データＤ_j-A 〜Ｄ_j+L-1 に基づいて、予測難度データＤ’_j+L 〜Ｄ’_j+L+B を算出する。
ステップ１１６（Ｓ１１６）において、ホストコンピュータ２０は実難度データＤ₁ 〜Ｄ_j+L-1 から、予測難度データＤ’_j+L 〜Ｄ’_j+L+B を算出する。
【００６３】
ステップ１１８（Ｓ１１８）において、ホストコンピュータ２０は、式４を用いて目標データ量Ｔ_j を算出し、エンコーダ１８の量子化制御回路１８０に設定する。さらに、エンコーダ１８は、量子化制御回路１８０に設定された目標データ量Ｔ_j に基づいて遅延映像データＳ１６の第ｊ番目のピクチャーを圧縮符号化し、第ｊ番目のピクチャーから実際に得られた圧縮映像データのデータ量Ｓ_j をホストコンピュータ２０に対して出力する。
ステップ１２０（Ｓ１２０）において、ホストコンピュータ２０は、エンコーダ１８からのデータ量Ｓ_j を記憶し、さらに、映像データＳ１２の第（ｊ＋Ｌ）番目のピクチャーの実難度データＤ_j+L を出力する。
【００６４】
ステップ１２２（Ｓ１２２）において、エンコーダ１８は、遅延映像データＳ１６の第ｊ番目を圧縮符号化して得られた圧縮映像データＶＯＵＴを外部に出力する。
ステップ１２４（Ｓ１２４）において、ホストコンピュータ２０は、ピクチャータイプに応じて、式３中に用いられる数値Ｆ_j+L を算出する。
ステップ１２６（Ｓ１２６）において、ホストコンピュータ２０は、式３に示した演算（Ｒ’_j+1 ＝Ｒ’_j −Ｓ_j ＋Ｆ_j+L ）を行う。
【００６５】
以上説明したように、第２の実施形態に示した映像データ圧縮装置１による予測簡易２パスエンコードによれば、短時間で非圧縮映像データＶＩＮの絵柄の難度を算出し、算出した難度に基づいて予測した難度をさらに用いて適応的に非圧縮映像データＶＩＮを圧縮符号化することができ、簡易２パスエンコード方式に比べて、より適切な目標データ量を圧縮映像データの各ピクチャーに割り当てることが可能である。従って、予測簡易２パスエンコード方式による圧縮映像データを伸長復号した場合、簡易２パスエンコード方式による圧縮映像データを伸長復号した場合に比べて、より高品質な映像を得ることができる。
【００６６】
第３実施形態
以下、本発明の第３の実施形態を説明する。
エンコーダ１６２およびエンコーダ１８（図１）は、ＭＰＥＧ方式等により、非圧縮映像データを、複数のＩピクチャー(intra coded picture) 、Ｂピクチャー(bi-directionaly coded picture) およびＰピクチャー(predictive coded picture)またはこれらの組み合わせから構成されるＧＯＰ(group of pictures) 単位に圧縮符号化する。このため、第１の実施形態に示した簡易２パスエンコード方式も、ＧＯＰの枠内に区切って行うのが便利である。第３の実施形態においては、映像データ圧縮装置１（図１）を用い、ＧＯＰの枠内で行う簡易２パスエンコード方式を説明する。
【００６７】
図７（Ａ）〜（Ｃ）は、第３の実施形態において、本発明に係る映像データ圧縮装置１がＧＯＰの枠内で行う簡易２パスエンコード方式を示す図である。なお、図７においては、最初のＧＯＰの最初のピクチャーを１番目のピクチャーとして示している。
【００６８】
図７（Ａ）に示すように、エンコーダ制御部１２は、第１の実施形態と同様に、入力される非圧縮映像データＶＩＮに含まれるピクチャーの順番を並び替え、ＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
ＦＩＦＯメモリ１６０は、入力された映像データＳ１２の各ピクチャーをＮピクチャー分（Ｌ＝Ｎ、Ｎは整数）つまり、１ＧＯＰ分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第ｊ（ｊは整数）番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ後の映像データのＤＣ成分の値およびＡＣ成分の電力値を順次、ホストコンピュータ２０に対して出力する。
【００６９】
例えば、エンコーダ１８に入力される遅延映像データＳ１６は、ＦＩＦＯメモリ１６０によりＮピクチャーだけ遅延されているので、図７（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第ｊ番目のピクチャー（図７（Ｂ）のピクチャーａ）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第ｊ番目のピクチャーからＮピクチャー分先の第（ｊ＋Ｎ）番目のピクチャー（図７（Ｂ）のピクチャーｂ）を圧縮符号化していることになる。
【００７０】
しかし、第３の実施形態においては、映像データ圧縮装置１はＧＯＰの枠内で簡易２パスエンコードを行うので、ホストコンピュータ２０は、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化を開始する際に、エンコーダ１６２が圧縮符号化を完了している映像データＳ１２の第ｊ番目のピクチャー〜第（ｊ＋Ｎ−１）番目のピクチャーの内、第ｊ番目〜第Ｎ番目のピクチャー（図７（Ｂ）の範囲ｃ）の圧縮符号化後の実難度データ（図７（Ｂ）の範囲ｄ）Ｄ_j ，Ｄ_j+1 ，…，Ｄ_N を用いて目標データ量Ｔ_j を、下に示す式５により算出し、エンコーダ１８の量子化制御回路１８０に設定する。
【００７１】
【数５】

【００７２】
ただし、式５中のＲ”_j は、ＧＯＰに割り当てられた目標データ量から、遅延映像データＳ１６の同一ＧＯＰ内の第１番目のピクチャー〜第（ｊ−１）番目のピクチャーに対する圧縮符号化で既に実際に使用されたデータ量を減算した値、つまり、同一ＧＯＰの残りのピクチャーの圧縮映像データに割り当てられるべき目標データ量である。従って、Ｒ”_j は、下に示す式６により求められる。
【００７３】
【数６】

【００７４】
従って、ＧＯＰの最初のピクチャーを圧縮符号化する場合のＲ”₁ （ｊ＝１）は、下に示す式７により、求められる。
【００７５】
【数７】

【００７６】
ただし、式７において、Ｇは１つのＧＯＰに割り当てられる固定データ量（Ｇ＝(Bit rate ×N)/Picture rate ）であり、Ｒ_N （ｊ＝Ｎ）の初期値は０である。
【００７７】
エンコーダ１８は、第１の実施形態と同様に、量子化制御回路１８０にホストコンピュータ２０から設定された目標データ量Ｔ_j に基づいて、データ量が目量データ量Ｔ_j に近い圧縮映像データＶＯＵＴを生成して出力する。
さらに、ホストコンピュータ２０は、図７（Ｂ）に示した動作と同様に、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャー（図７（Ｃ）のピクチャーａ’）に対しても、映像データＳ１２の第Ｎ番目のピクチャー以前の図７（Ｃ）の範囲ｄ’の実難度データＤ_j+1 ，Ｄ_j+2 ，…，Ｄ_N 、つまり、図７（Ｃ）の範囲ｃ’に示す難度データに基づいて、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーの圧縮符号化後の目標データ量Ｔ_j+1 を算出する。エンコーダ１８は、ホストコンピュータ２０が算出した目標データ量Ｔ_j+1 に基づいて、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーを圧縮符号化し、目標データ量Ｔ_j+1 の圧縮符号化データＶＯＵＴを生成する。
なお、以上の映像データ圧縮装置１の簡易２パスエンコード動作は、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーに対しても同様である。
【００７８】
以上説明したように、第３の実施形態に示した映像データ圧縮装置１による簡易２パスエンコードによれば、ＧＯＰの枠内で簡易２パスエンコードを行うことができるので、処理内容が簡単で、処理時間が短くてすむ。従って、実時間性を要求される実況中継の非圧縮映像データを圧縮符号化するために適しており、しかも、映像データ圧縮装置１の構成を簡単かつ安価に構成することができる。
【００７９】
第４実施形態
以下、本発明の第４の実施形態を説明する。
第４の実施形態においては、映像データ圧縮装置１（図１）によるＧＯＰの枠内に区切って行う予測簡易２パスエンコード、つまり、同じエンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化を行う際に、同一のＧＯＰの各ピクチャーの実難易データ、および、次のＧＯＰについて予測した予測難易データを用いて目標データ量Ｔ_j を算出し、エンコーダ１８の量子化制御回路１８０に設定して圧縮符号化を行う方法を説明する。
【００８０】
図８（Ａ）〜（Ｃ）は、第４の実施形態において、本発明に係る映像データ圧縮装置１がＧＯＰの枠内で行う予測簡易２パスエンコード方式を示す図である。なお、図８においては、ＧＯＰの最初のピクチャーを１番目のピクチャーとして示している。
【００８１】
図８（Ａ）に示すように、エンコーダ制御部１２は、第１の実施形態と同様に、入力される非圧縮映像データＶＩＮに含まれるピクチャーの順番を並び替え、ＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
ＦＩＦＯメモリ１６０は、入力された映像データＳ１２の各ピクチャーをＮピクチャー分つまり、１ＧＯＰ分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第ｊ（ｊは整数）番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ後の映像データのＤＣ成分の値およびＡＣ成分の電力値を順次、ホストコンピュータ２０に対して出力する。ホストコンピュータ２０は、これらの値から実難度データＤ_j を算出する。
【００８２】
例えば、エンコーダ１８に入力される遅延映像データＳ１６は、ＦＩＦＯメモリ１６０によりＮピクチャーだけ遅延されているので、図８（Ｂ）に示すように、エンコーダ１８が、遅延映像データＳ１６の第ｊ番目のピクチャー（図８（Ｂ）のピクチャーａ）を圧縮符号化している際には、エンコーダ１６２は、映像データＳ１２の第ｊ番目のピクチャーからＮピクチャー分先の第（ｊ＋Ｎ）番目のピクチャー（図８（Ｂ）のピクチャーｂ）を圧縮符号化していることになる。
【００８３】
しかし、第４の実施形態においては、映像データ圧縮装置１はＧＯＰの枠内で簡易２パスエンコードを行うので、ホストコンピュータ２０は、エンコーダ１８が遅延映像データＳ１６の第ｊ番目のピクチャーの圧縮符号化を開始する際に、エンコーダ１６２が圧縮符号化を完了している映像データＳ１２の第ｊ番目のピクチャー〜第（ｊ＋Ｎ−１）番目のピクチャーの内、第ｊ番目〜第（ｊ＋Ｎ−１）番目のピクチャー（図８（Ｂ）の範囲ｃ）の圧縮符号化後の難度データ（図８（Ｂ）の範囲ｄ）を実難度データＤ_j ，Ｄ_j+1 ，…，Ｄ_j+N-1 として用い、さらに、同じＧＯＰの第（ｊ＋１）番目のピクチャー〜次のＧＯＰの最後のピクチャー（第２Ｎ番目のピクチャー）までの予測難度データＤ’_j+N ，Ｄ’_j+N+1 ，…，Ｄ’_2Nを算出し、実難度データおよび予測難度データに基づいて目標データ量Ｔ_j を、下に示す式８により算出し、エンコーダ１８の量子化制御回路１８０に設定する。
【００８４】
【数８】

【００８５】
ただし、式８中において、ｊ＝１，２，…，Ｎであり、Ｒ" _j は、２個のＧＯＰに割り当てられた目標データ量から、２個のＧＯＰ内の遅延映像データＳ１６の第１番目のピクチャー〜第（ｊ−１）番目のピクチャーに対する圧縮符号化で既に実際に使用されたデータ量を減算した値、つまり、２個のＧＯＰの残りのピクチャーの圧縮映像データに割り当てられるべき目標データ量である。従って、Ｒ”_j は、下に示す式９により求められる。
【００８６】
【数９】

【００８７】
従って、図８の最初のＧＯＰの最初のピクチャーを圧縮符号化する場合のＲ”₁ （ｊ＝１）は、下に示す式１０により、求められる。
【００８８】
【数１０】

【００８９】
ただし、式１０のＲ”_N の初期値はＧである。
【００９０】
エンコーダ１８は、第２の実施形態と同様に、量子化制御回路１８０にホストコンピュータ２０から設定された目標データ量Ｔ_j に基づいて、データ量が目標データ量Ｔ_j に近い圧縮映像データＶＯＵＴを生成して出力する。
さらに、ホストコンピュータ２０は、図８（Ｂ）に示した動作と同様に、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャー（図８（Ｃ）のピクチャーａ’）に対しても、映像データＳ１２の第（ｊ＋Ｎ）番目のピクチャー以前の図８（Ｃ）の範囲ｄ’の実難度データＤ_j+2 ，Ｄ_j+3 ，…，Ｄ_N+1 つまり、図８（Ｃ）の範囲ｃ’に示す実難度データ、および、映像データＳ１２の第（ｊ＋Ｎ＋１）番目のピクチャー〜第２Ｎ番目のピクチャーの予測難度データに基づいて、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーの圧縮符号化後の目標データ量Ｔ_j+1 を算出する。
【００９１】
エンコーダ１８は、ホストコンピュータ２０が算出した目量データ量Ｔ_j+1 に基づいて、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーを圧縮符号化し、目標データ量Ｔ_j+1 の圧縮符号化データＶＯＵＴを生成する。
なお、以上の映像データ圧縮装置１の簡易２パスエンコード動作は、遅延映像データＳ１６の第（ｊ＋１）番目のピクチャーに対しても同様である。
【００９２】
以下、図９を参照して、第４の実施形態における映像データ圧縮装置１の動作を説明する。
図９は、第４の実施形態における映像データ圧縮装置１の動作を示すフローチャートである。
【００９３】
図９に示すように、ステップ２０２（Ｓ２０２）において、ホストコンピュータ２０は、数値ＧＯＰ_count ，Ｒ_N を０クリアする（ＧＯＰ_count ，Ｒ_N ＝０）。
ステップ２０４（Ｓ２０４）において、ホストコンピュータ２０は、数値ＧＯＰ_count が０であるか否かを判断する。数値ＧＯＰ_count が０である場合には、ホストコンピュータ２０はＳ２０６の処理に進み、０でない場合にはＳ２１０の処理に進む。
【００９４】
ステップ２０６（Ｓ２０６）において、映像データＳ１２の第（ｊ＋Ｎ）番目のピクチャーを圧縮符号化し、結果として得られた圧縮映像データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。
ステップ２０８（Ｓ２０８）において、ホストコンピュータ２０は、数値ｊがＮであって、ｊ＝１である場合に、数値ＧＯＰ_count をインクリメントし、数値Ｒ”₁ をＧ＋Ｒ”_N （Ｒ”₁ ＝Ｇ＋Ｒ”_N ；式７）とし、これ以外の場合には数値ｊをインクリメントし、数値Ｒ”_j をＲ”_j-1 −Ｓ_j （Ｒ”_j ＝Ｒ”_j-1 −Ｓ_j ；式６）とする。
【００９５】
ステップ２１０（Ｓ２１０）において、ホストコンピュータ２０は、遅延映像データＳ１６に第ｊ番目のピクチャーが存在するか否かを判断する。第ｊ番目のピクチャーが存在する場合にはＳ２１２の処理に進み、存在しない場合には圧縮符号化処理を終了する。
ステップ２１２（Ｓ２１２）において、ホストコンピュータ２０は、実難度データＤ_j 〜Ｄ_j+N-1 から予測難度データＤ’_j+N 〜Ｄ’_2Nを算出する。
ステップ２１４（Ｓ１２４）において、ホストコンピュータ２０は、実難度データＤ_j 〜Ｄ_j+N-1 および予測難度データＤ’_j+N 〜Ｄ’_2Nを用いて目標データ量Ｔ_j を算出し、エンコーダ１８の量子化制御回路１８０に設定する。エンコーダ１８は、設定された目標データ量Ｔ_j を用いて遅延映像データＳ１６の第ｊ番目のピクチャーを圧縮符号化する。
【００９６】
ステップ２１６（Ｓ２１６）において、エンコーダ１８は、遅延映像データＳ１６の第ｊ番目のピクチャーを圧縮符号化して得られた圧縮映像データのデータ量Ｓ_j をホストコンピュータ２０に対して出力し、ホストコンピュータ２０はデータ量Ｓ_j を記憶する。エンコーダ１６２は、映像データＳ１２の第（ｊ＋Ｎ）番目のピクチャーを圧縮符号化し、結果として得られた映像データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。ホストコンピュータ２０は、これらの値に基づいて、実難度データＤ_j+N を算出する。
ステップ２１８（Ｓ２１８）において、エンコーダ１８は、遅延映像データＳ１６の第ｊ番目の圧縮映像データＶＯＵＴを外部に出力する。
【００９７】
以上説明したように、第４の実施形態に示した映像データ圧縮装置１によるＧＯＰの枠内での予測簡易２パスエンコードは、第３の実施形態に示したＧＯＰの枠内での簡易２パスエンコードに比べ、より適切な目標データ量Ｔ_j を算出することができるので、圧縮符号化の結果として得られる圧縮映像データＶＯＵＴを伸長復号した映像の品質を高めることができる。しかも、第２の実施形態に示したＧＯＰの枠に納まらない予測簡易２パスエンコードに比べて処理内容が簡単で、処理時間が短くてすみ、実時間性を要求される実況中継の非圧縮映像データを圧縮符号化するために適しており、しかも、映像データ圧縮装置１の構成を簡単かつ安価に構成することができる。
【００９８】
第５実施形態
以下、本発明の第５の実施形態として、実難度データに基づいて予測難度データを、単純な直線予測により算出する方法を説明する。なお、同一ＧＯＰに複数の種類のピクチャータイプが混在していると、難度データの予測が複雑化する。従って、説明の便宜上、第５の実施形態においては、ＧＯＰに含まれるピクチャーが全てＩピクチャーであり、実難度データと予測難度データがそれぞれ１５（Ｌ＋Ａ，Ｂ＝１５）である場合を例に説明する。
【００９９】
図１０は、第５の実施形態において、直線予測により実難度データから予測難度データを算出する方法を例示する図である。なお、図１０には、上述のように、実難度データと、実難度データから算出される予測難度データがそれぞれ１５（Ｌ＋Ａ，Ｂ＝１５）である場合を示してある。
【０１００】
エンコーダ制御部１２は、第１の実施形態と同様に、入力される非圧縮映像データＶＩＮに含まれるピクチャーの順番を並び替え、ＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
ＦＩＦＯメモリ１６０は、入力された映像データＳ１２の各ピクチャーを１５ピクチャー分（Ｌ＋Ａ＝１５）つまり、１ＧＯＰ分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、まず、図１０中に○印を付して示すように、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第１番目のピクチャー〜第１５番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して順次、出力する。ホストコンピュータ２０は、これらの値に基づいて、実難度データＤ₁ 〜Ｄ₁₅を順次、算出する。
【０１０１】
ホストコンピュータ２０は、算出した実難度データＤ₁ 〜Ｄ₁₅の平均値Ｄ”を、下に示す式１１により算出する。
【０１０２】
【数１１】

【０１０３】
つぎに、ホストコンピュータ２０は、下に示す式１２により、１５個の実難度データＤ₁ 〜Ｄ₁₅の中心のデータ、つまり、実難度データＤ₈ が平均値Ｄ”で、傾きがａの、下に示す式１３により仮の予測難度データＤ₁ ’〜Ｄ’₁₅を算出し、式１３により誤差関数Ｅ（ａ）を求める。
【０１０４】
【数１２】

【０１０５】
【数１３】

【０１０６】
さらに、ホストコンピュータ２０は、式１３に示した誤差関数Ｅ（ａ）を最小にする傾きａを求める。ホストコンピュータ２０は、このように求めた傾きａを式１２に代入し、図１０中に×印で示す予測難度データＤ’₁₆〜Ｄ’₃₀を算出する。
以上のようにホストコンピュータ２０は、予測難度データＤ’₁₆〜Ｄ’₃₀を算出し、第２の実施形態および第３の実施形態に示したように、算出した予測難度データＤ₁₆’〜Ｄ₃₀’を用いて目標データ量Ｔ₁ を算出する。
【０１０７】
さらに、ホストコンピュータ２０は、エンコーダ１８が第１のピクチャーから生成する圧縮映像データのデータ量を目標データ量Ｔ₁ とするための量子化値Ｑ₁ を算出し、エンコーダ１８の量子化回路１６６に設定する。エンコーダ１８は、ホストコンピュータ２０から設定された量子化値Ｑ₁ を用いて遅延映像データＳ１６の第１のピクチャーを圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
以上のように、ホストコンピュータ２０は、各ピクチャーに対する目標データ量を算出し、各ピクチャーを順次、圧縮符号化する。
【０１０８】
なお、式１３には、ホストコンピュータ２０が、式１２に示した直線と実難度データＤ₁ 〜Ｄ₁₅との２乗誤差に基づいて誤差関数Ｅ（ａ）を算出する場合を示したが、ホストコンピュータ２０の計算量を少なくするためには、式１３の代わりに、下に示す式１４により、式１２に示した直線と実難度データＤ₁ 〜Ｄ₁₅との絶対値に基づいて誤差関数Ｅ（ａ）を算出してもよい。
【０１０９】
【数１４】

【０１１０】
なお、本実施形態の直線予測は、実難度データ数および予測難度数が１５以外の場合にも適用できるのはいうまでもない。
【０１１１】
第６実施形態
以下、本発明の第６の実施形態として、実難度データに基づいて予測難度データを、実難度データに重み付けをして算出する方法（重み付け直線予測）を説明する。なお、同一ＧＯＰに複数の種類のピクチャータイプが混在していると、難度データの予測が複雑化する。従って、説明の便宜上、第６の実施形態においても、第５の実施形態と同様に、ＧＯＰに含まれるピクチャーが全てＩピクチャーであり、実難度データと予測難度データがそれぞれ１５（Ｌ＋Ａ，Ｂ＝１５）である場合を例に説明する。
【０１１２】
映像データのピクチャー間の時間的な相関性は、時間間隔が長くなるほど薄れてゆくと考えられる。従って、圧縮符号化中のピクチャーの目標データ量を算出するためには、時間的に近いピクチャーの難度ほど、圧縮符号化中のピクチャーの難度と大きな相関性があると考えられる。しかしながら、第５の実施形態に示した単純な直線予測により予測難度データを算出した場合、このような、時間経過に伴う難度の相関性は考慮されない。第６の実施形態で説明する重み付け直線予測による予測難度データの算出は、圧縮符号化中のピクチャーと近いピクチャーの難度ほど誤差関数に大きな影響を与えるようにして、予測難度データの制度を向上させることも目的にしている。
【０１１３】
図１１は、第６の実施形態において、重み付け直線予測により実難度データから予測難度データを算出する方法を例示する図である。なお、図１１には、上述のように、実難度データと、実難度データから算出される予測難度データがそれぞれ１５（Ｌ＋Ａ，Ｂ＝１５）である場合を示してある。
【０１１４】
エンコーダ制御部１２は、第１の実施形態と同様に、入力される非圧縮映像データＶＩＮに含まれるピクチャーの順番を並び替え、ＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
ＦＩＦＯメモリ１６０は、入力された映像データＳ１２の各ピクチャーを１５ピクチャー分（Ｌ＋Ａ＝１５）つまり、１ＧＯＰ分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、まず、図１１中に○印を付して示すように、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、圧縮映像データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。ホストコンピュータ２０は、これらの値に基づいて、第１番目のピクチャー〜第１５番目のピクチャーの圧縮符号化データの実難度データＤ₁ 〜Ｄ₁₅を順次、算出する。
【０１１５】
ホストコンピュータ２０は、算出した実難度データＤ₁ 〜Ｄ₁₅の平均値Ｄ”を、下に示す式１５により、係数ｋの重み付け平均値ｋ”を算出し、また、式１６により、実難度データＤ₁ 〜Ｄ₁₅それぞれに重み付け係数ω（１＞ω＞０）の巾乗を乗算して重み付けし、実難度データＤ₁ 〜Ｄ₁₅の重み付け平均値Ｄ”を算出する。
【０１１６】
【数１５】

【０１１７】
【数１６】

【０１１８】
つぎに、ホストコンピュータ２０は、算出した係数ｋの重み付け平均値ｋ”および実難度データＤ₁ 〜Ｄ₁₅の重み付け平均値Ｄ”を用い、下に示す式１７で表される直線を定める。
【０１１９】
【数１７】

【０１２０】
さらに、式１７から仮の予測難度データＤ₁ ’〜Ｄ’₁₅を算出し、式１８により誤差関数Ｅ（ａ）を求める。
【０１２１】
【数１８】

【０１２２】
さらに、ホストコンピュータ２０は、式１３に示した誤差関数Ｅ（ａ）を最小にする傾きａを求める。ホストコンピュータ２０は、このように求めた傾きａを式１２に代入し、図１１中に×印で示す予測難度データＤ’₁₆〜Ｄ’₃₀を算出する。
以上のようにホストコンピュータ２０は、予測難度データＤ’₁₆〜Ｄ’₃₀を算出し、第２の実施形態および第３の実施形態に示したように、算出した予測難度データＤ’₁₆〜Ｄ’₃₀を用いて目標データ量Ｔ₁ を算出する。
【０１２３】
さらに、ホストコンピュータ２０は、エンコーダ１８が第１のピクチャーから生成する圧縮映像データのデータ量を目標データ量Ｔ₁ とするための量子化値Ｑ₁ を算出し、エンコーダ１８の量子化回路１６６に設定する。エンコーダ１８は、ホストコンピュータ２０から設定された量子化値Ｑ₁ を用いて遅延映像データＳ１６の第１のピクチャーを圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
以上のように、ホストコンピュータ２０は、各ピクチャーに対する目標データ量を算出し、各ピクチャーを順次、圧縮符号化する。
【０１２４】
なお、式１８には、ホストコンピュータ２０が、式１６に示した直線と実難度データＤ₁ 〜Ｄ₁₅との２乗誤差に基づいて誤差関数Ｅ（ａ）を算出する場合を示したが、ホストコンピュータ２０の計算量を少なくするためには、式１８の代わりに、下に示す式１９により、式１６に示した直線と実難度データＤ₁ 〜Ｄ₁₅との絶対値に基づいて誤差関数Ｅ（ａ）を算出してもよい。
【０１２５】
【数１９】

【０１２６】
なお、本実施形態の直線予測は、実難度データ数および予測難度数が１５以外の場合にも適用できるのはいうまでもない。
【０１２７】
第７実施形態
以下、本発明の第７の実施形態として、実難度データに基づいて予測難度データを、隣接する実難度データ間の差分の変化を考慮して算出する方法（差分予測）を説明する。なお、同一ＧＯＰに複数の種類のピクチャータイプが混在していると、難度データの予測が複雑化する。従って、説明の便宜上、第７の実施形態においても、これまで説明した第５の実施形態および第６の実施形態と同様に、ＧＯＰに含まれるピクチャーが全てＩピクチャーであり、実難度データと予測難度データがそれぞれ１５（Ｌ＋Ａ，Ｂ＝１５）である場合を例に説明する。
【０１２８】
図１２は、第７の実施形態において、差分予測により実難度データから予測難度データを算出する方法を例示する図である。なお、図１２には、上述のように、実難度データと、実難度データから算出される予測難度データがそれぞれ１５（Ｌ＋Ａ，Ｂ＝１５）である場合を示してある。
【０１２９】
例えば、図１２中に、○印で示すように、徐々に実難度データの値の増加が鈍っている絵柄の映像データにおいては、その後（第１６番目のピクチャー以降）も、映像データの難度の増加が鈍くなり、さらに、難度が減少してゆくことが予想される。このような場合、隣接する実難度データ間の値の差分を予測難度データに反映させることにより、予測難度データの精度をさらに向上させることができると考えられる。第７の実施形態に示す差分予測は、かかる観点から、予測難度データの精度を向上させようとするものである。なお、隣接する実難度データ間の値の差分を予測難度データに反映させる方法は、何種類も考えられ、いくらでも複雑化できるが、第７の実施形態においては、最も単純な、差分の値を直線近似する場合について説明する。
【０１３０】
エンコーダ制御部１２は、第１の実施形態と同様に、入力される非圧縮映像データＶＩＮに含まれるピクチャーの順番を並び替え、ＦＩＦＯメモリ１６０およびエンコーダ１６２に対して出力する。
ＦＩＦＯメモリ１６０は、入力された映像データＳ１２の各ピクチャーを１５ピクチャー分（Ｌ＋Ａ＝１５）つまり、１ＧＯＰ分だけ遅延し、エンコーダ１８に対して出力する。
エンコーダ１６２は、まず、図１２中に○印を付して示すように、入力された映像データＳ１２のピクチャーを予備的に順次、圧縮符号化し、第１番目のピクチャー〜第１５番目のピクチャーを圧縮符号化して得られた圧縮符号化データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。ホストコンピュータ２０は、これらの値から実難度データＤ₁ 〜Ｄ₁₅を順次、算出する。
【０１３１】
ホストコンピュータ２０は、エンコーダ１６２から入力された圧縮映像データのデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の電力値から実難度データＤ₁ 〜Ｄ₁₅を算出し、さらに、隣接する実難度データ間の差分値Δ_k （Δ_k ＝Ｄ_k −Ｄ_k-1 ；ｋ＝０，２，…，１４）を算出する。
さらに、ホストコンピュータ２０は、第５の実施形態に示した式１０〜式１３または第６の実施形態に示した式１４〜式１８を用いて直線近似を行い、予測差分値Δ₁₆〜Δ₃₀を算出する。
【０１３２】
さらに、ホストコンピュータ２０は、算出した予測差分値Δ₁₆〜Δ₃₀について、第５の実施形態に示した式１１または第６の実施形態に示した式１６を適用し、予測難度データＤ’₁₆を算出し、下に示す式２０を用いて、予測難度データＤ’₁₇〜Ｄ’₃₀を算出する。
【０１３３】
【数２０】

【０１３４】
ホストコンピュータ２０は、実難度データＤ₁ 〜Ｄ₁₅、および、以上説明したように算出した予測難度データＤ’₁₆〜Ｄ’₃₀を用いて目標データ量Ｔ₁ を算出する。
なお、第７の実施形態においては、ホストコンピュータ２０が隣接するピクチャー間の差分値Δ_k を直線（１次関数）で近似する。従って、ホストコンピュータ２０が算出する予測難度データＤ’₁₆〜Ｄ’₃₀は、図１２に×印を付して示すように１次関数を積分した放物線（２次関数）上の値に近似される。
【０１３５】
さらに、ホストコンピュータ２０は、エンコーダ１８が第１のピクチャーから生成する圧縮映像データのデータ量を目標データ量Ｔ₁ とするための量子化値Ｑ₁ を算出し、エンコーダ１８の量子化回路１６６に設定する。エンコーダ１８は、ホストコンピュータ２０から設定された量子化値Ｑ₁ を用いて遅延映像データＳ１６の第１のピクチャーを圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
以上のように、ホストコンピュータ２０は、各ピクチャーに対する目標データ量を算出し、各ピクチャーを順次、圧縮符号化する。
なお、本実施形態の直線予測は、実難度データ数および予測難度数が１５以外の場合にも適用できるのはいうまでもない。
【０１３６】
第８実施形態
以下、本発明の第８の実施形態として、ＧＯＰが複数の種類のピクチャーから構成されている場合に予測難度データを算出する方法を説明する。なお、第８の実施形態においは、１ＧＯＰがＩ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂの順に１５のピクチャーから構成され、実難度データと予測難度データがそれぞれ１５（Ｌ＋Ａ，Ｂ＝１５）である場合を例示する。
【０１３７】
第５の実施形態〜第７の実施形態においては、便宜上、ＧＯＰがＩピクチャーのみから構成されている場合を例に本発明の説明を行った。しかしながら、実際には、ＧＯＰはＩピクチャー、ＰピクチャーおよびＢピクチャーから構成され、ピクチャータイプに対応した方法で予測難度データを算出する必要がある。第８の実施形態における予測難度データの算出方法は、かかる実情を考慮したものである。
【０１３８】
ピクチャータイプ別の予測
まず、第１にピクチャータイプ別に予測難度データを算出し、予測簡易２パスエンコードを行う方法が考えられる。
つまり、エンコーダ１６２（図１）がＧＯＰの各ピクチャーを圧縮符号化して得たデータ量、ＤＣＴ処理後の映像データのＤＣ成分の値およびＡＣ成分の値をホストコンピュータ２０に対して出力し、ホストコンピュータ２０がこれらの値から算出した実難度データを、ホストコンピュータ２０が第４の実施形態〜第７の実施形態に示した単純な直線予測、重み付け直線予測または差分予測によりピクチャータイプ別に独立して処理し、Ｉピクチャー、ＰピクチャーおよびＢピクチャーそれぞれの予測難度データを算出し、目標データ量Ｔ_j を算出する。
エンコーダ１８は、第２の実施形態および第４の実施形態〜第７の実施形態に示したように、ピクチャータイプ別にホストコンピュータ２０が算出した目標データ量Ｔ_j に基づいて遅延映像データＳ１６を圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
【０１３９】
正規化予測
次に、ＧＯＰに含まれる各ピクチャーの実難度データの値に応じて実難度データを正規化し、正規化した実難度データから予測難度データを算出し、予測簡易２パスエンコードを行う方法が考えられる。
【０１４０】
正規化予測を行う場合、まず、ホストコンピュータ２０は、エンコーダ１６２がＧＯＰの各ピクチャーから生成したＩピクチャー、ＢピクチャーおよびＰピクチャーそれぞれのデータ量、ＤＣＴ処理後のＤＣ成分の値およびＡＣ成分の電力値から実難度データを算出し、さらに、Ｉピクチャー、ＢピクチャーおよびＰピクチャーそれぞれの実難度データの値の比率（Ｉ：Ｐ：Ｂ）を算出する。
【０１４１】
次に、ホストコンピュータ２０は、算出した実難度データの値の比率でＩピクチャー、ＢピクチャーおよびＰピクチャーの実難度データを正規化し、正規化した実難度データを用いて仮の予測難度データを算出する。さらに、ホストコンピュータ２０は、仮の予測難度データにＩピクチャー、ＢピクチャーおよびＰピクチャーそれぞれの比率を乗算して予測難度データを算出する。
【０１４２】
以下、図１３を参照して正規化予測方法をさらに具体的に説明する。
図１３は、第８の実施形態において、ＧＯＰが複数のタイプのピクチャーから構成される場合に、実難度データから予測難度データを算出する方法を示す図である。なお、図１３には、上述のように、実難度データと、実難度データから算出される予測難度データがそれぞれ１５（Ｌ＋Ａ，Ｂ＝１５）である場合を示してある。
【０１４３】
エンコーダ１６２は、映像データＳ１２のＧＯＰにＩ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂの順に含まれるピクチャーのデータ量、ＤＣＴ処理後のＤＣ成分の値およびＡＣ成分の電力値をホストコンピュータ２０に対して出力する。ホストコンピュータ２０は、これらの値から、それぞれ図１３中に○印で示す実難度データＤ₁ 〜Ｄ₁₅を算出する。
さらに、ホストコンピュータ２０は、生成した実難度データＤ₁ 〜Ｄ₁₅を正規化する。つまり、例えば、実難度データＤ₁ 〜Ｄ₁₅の内、Ｉピクチャーの難度データＤ₁ の値、Ｐピクチャーの難度データＤ₄ ，Ｄ₇ ，Ｄ₁₀，Ｄ₁₃それぞれの値、および、Ｂピクチャーの難度データＤ₂ ，Ｄ₃ ，Ｄ₅ ，Ｄ₆ ，Ｄ₈ ，Ｄ₉ ，Ｄ₁₁，Ｄ₁₂，Ｄ₁₄，Ｄ₁₅それぞれの値の比率、つまり、１つのＩピクチャーのデータ量、１つのＰピクチャーのデータ量および１つのＢピクチャーのデータ量の比率が、例えばほぼ４：２：１である場合に、ホストコンピュータ２０は、Ｉピクチャーの実難度データＤ₁ を４で除算し、Ｐピクチャーの実難度データＤ₄ ，Ｄ₇ ，Ｄ₁₀，Ｄ₁₃それぞれの値を２で除算し、さらに、Ｂピクチャーの実難度データＤ₂ ，Ｄ₃ ，Ｄ₅ ，Ｄ₆ ，Ｄ₈ ，Ｄ₉ ，Ｄ₁₁，Ｄ₁₂，Ｄ₁₄，Ｄ₁₅それぞれの値を１で除算して正規化を行い、図１３中に●印で示す正規化した実難度データを生成する。
【０１４４】
次に、ホストコンピュータ２０は、例えば、第５の実施形態に示した単純な直線予測により、図１３中に×印で示す仮の予測難度データを生成する。
さらに、図１３中に×印で示す仮難度データの内、Ｉピクチャーの仮難度データには４を乗算し、Ｐピクチャーの仮難度データには２を乗算し、Ｂピクチャーの仮難度データには１を乗算して、図１３中に□印で示す予測難度データＤ’₁₆〜Ｄ’₃₀を生成する。
【０１４５】
第５の実施形態においてと同様に、ホストコンピュータ２０は、実難度データＤ₁ 〜Ｄ₁₅および予測難度データＤ’₁₆〜Ｄ’₃₀を用いて目標データ量Ｔ_j を生成する。
エンコーダ１８は、ホストコンピュータ２０が生成した目標データ量Ｔ_j に基づいて、遅延映像データＳ１６を圧縮符号化し、圧縮映像データＶＯＵＴとして出力する。
【０１４６】
【発明の効果】
以上説明したように、本発明に係る符号化装置およびその方法によれば、２パスエンコードによらずに非圧縮映像データを所定のデータ量以下に圧縮符号化できる。
また、本発明に係る映像データ圧縮装置およびその方法によれば２パスエンコードによらずに所定のデータ量以下に圧縮符号化した圧縮映像データを伸長復号した場合に、高品質な映像を得ることができる。
【０１４７】
また、本発明に係る符号化装置およびその方法によれば、２パスエンコードによらずに、圧縮符号化後の圧縮映像データのデータ量を見積もり、見積もった圧縮映像データのデータ量に基づいて圧縮率を調節して非圧縮映像データを圧縮符号化することができる。
また、本発明に係る映像データ圧縮装置およびその方法によれば、２パスエンコードによらずに、高精度に圧縮符号化後の圧縮映像データのデータ量を見積もりながら、非圧縮映像データを圧縮符号化することができる。
【図面の簡単な説明】
【図１】本発明に係る映像データ圧縮装置の構成を示す図である。
【図２】図１に示した簡易２パス処理部のエンコーダの構成を示す図である。
【図３】図１に示したエンコーダの構成を示す図である。
【図４】（Ａ）〜（Ｃ）は、第１の実施形態における映像データ圧縮装置の簡易２パスエンコードの動作を示す図である。
【図５】（Ａ）〜（Ｃ）は、第２の実施形態における映像データ圧縮装置の予測簡易２パスエンコードの動作を示す図である。
【図６】第２の実施形態における映像データ圧縮装置（図１）の動作を示すフローチャートである。
【図７】（Ａ）〜（Ｃ）は、第３の実施形態において、本発明に係る映像データ圧縮装置１がＧＯＰの枠内で行う簡易２パスエンコード方式を示す図である。
【図８】（Ａ）〜（Ｃ）は、第４の実施形態において、本発明に係る映像データ圧縮装置がＧＯＰの枠内で行う予測簡易２パスエンコード方式を示す図である。
【図９】第４の実施形態における映像データ圧縮装置の動作を示すフローチャートである。
【図１０】第５の実施形態において、直線予測により実難度データから予測難度データを算出する方法を例示する図である。
【図１１】第６の実施形態において、重み付け直線予測により実難度データから予測難度データを算出する方法を例示する図である。
【図１２】第７の実施形態において、差分予測により実難度データから予測難度データを算出する方法を例示する図である。
【図１３】第８の実施形態において、ＧＯＰが複数のタイプのピクチャーから構成される場合に、実難度データから予測難度データを算出する方法を示す図である。
【符号の説明】
１…映像データ圧縮装置、１０…圧縮符号化部、１２…エンコーダ制御部、１４…モーションエスティメータ、１６…簡易２パス処理部、１６０…ＦＩＦＯメモリ、１６２，１８…エンコーダ、２０…ホストコンピュータ[0001]
BACKGROUND OF THE INVENTION
  The present invention compresses and encodes uncompressed video data.EncoderAnd its method.
[0002]
[Background Art and Problems to be Solved by the Invention]
When uncompressed digital video data is compressed and encoded by a method such as MPEG (moving picture experts group) and recorded on a recording medium such as a magneto-optical disc (MO disc), The data amount (bit amount) of the compressed video data needs to be less than the recording capacity of the recording medium while making the quality of the video after decompression decoding as high as possible.
To meet this need, first, pre-compress the non-compressed video data, estimate the amount of data after compression encoding (first pass), and then adjust the compression rate based on the estimated amount of data Then, a compression encoding (second pass) method is employed so that the data amount after compression encoding is equal to or less than the recording capacity of the recording medium (hereinafter, such a compression encoding method is also referred to as “two-pass encoding”). Write down).
[0003]
However, if compression encoding is performed by two-pass encoding, it is necessary to perform similar compression encoding processing twice on the same uncompressed video data, which takes time. Further, since the final compressed video data cannot be generated by a single compression encoding process, the captured video data cannot be compressed and recorded in real time (real time) as it is.
[0004]
The present invention has been made in view of the above-described problems of the prior art, and a high-quality video is obtained when compressed video data compression-encoded to a predetermined data amount or less is decompressed and decoded without using two-pass encoding. It is an object of the present invention to provide a video data compression apparatus and method capable of obtaining the above.
[0005]
  Further, the present invention estimates the amount of compressed video data after compression encoding without using two-pass encoding, and adjusts the compression rate based on the estimated amount of compressed video data to convert uncompressed video data. Can be compression encodedEncoderAnd an object thereof.
  Further, the present invention can compress and encode uncompressed video data while estimating the data amount of compressed video data after compression encoding with high accuracy, without using two-pass encoding.EncoderAnd an object thereof.
[0006]
[Means for Solving the Problems]
  In order to achieve the above object, an encoding apparatus according to the present invention is an encoding apparatus that encodes the video data using difficulty level data that indicates a difficulty level of a picture of the video data, and encodes the video data. Encoding means for processing, and for the video data, the video dataThe first coding interval ofEncoding processAnd the amount of data after encodingActual difficulty dataAsActual difficulty level data calculating means for calculating, and the actual difficulty level data calculated by the actual difficulty level data calculating meansFrom the approximation difficulty data that approximates the actual difficulty data of the second encoding section of the video data,Predictive difficulty dataAsThe video data based on the prediction difficulty data calculation means to calculate, the actual difficulty data calculated by the actual difficulty data calculation means, and the prediction difficulty data calculated by the prediction difficulty data calculation meansPicture to be encodedTarget code amount calculating means for calculating a target code amount for the target code amount, and the target code amount calculated by the target code amount calculating meansSo that the picture to be encoded isAnd encoding control means for controlling the encoding process of the encoding means so as to perform the encoding process.
[0007]
  Preferably,The actual difficulty level data calculating unit calculates the actual difficulty level data in units of pictures, the prediction difficulty level data calculating unit calculates the prediction difficulty level data in units of pictures, and the target code amount calculating unit is configured to calculate the target code amount in units of pictures. A target code amount is calculated.
[0009]
  Preferably,The encoding device further includes delay means for delaying the video data by L pictures (L is a positive integer),The actual difficulty level data calculating means calculates A, B, j.Positiveinteger, The encoding target picture is the (j) th picture of the video dataIn this case, the (j-A) th picture to the (j + L-1) th picture of the video dataAs the first coding intervalActual difficulty dataAnd the predictive difficulty calculating means(J + L) th picture to (j + L + B) th picture of the video dataAs the second coding intervalThe prediction difficulty level data is calculated.
[0010]
  Preferably, saidThe prediction difficulty level data calculating means calculates the prediction difficulty level data by approximating the actual difficulty level data and a predetermined function.
[0011]
  Preferably, saidThe predetermined function is a linear function represented by a straight line, and the prediction difficulty level data calculation means calculates the prediction difficulty level data by performing linear prediction using the linear function.
[0012]
  Preferably, the prediction difficulty data calculation means includes:In the first coding intervalAn average actual difficulty level data that is an average value of the actual difficulty level data is calculated, and an error of the actual difficulty level data with respect to the calculated average actual difficulty level data is indicated based on a square error between the straight line and the actual difficulty level data. An error function is calculated, and the calculated error function isMinimize the linear functionAnd calculating the prediction difficulty data.
[0013]
  Preferably, the prediction difficulty data calculation means includes:In the first coding intervalAn average actual difficulty level data that is an average value of the actual difficulty level data is calculated, and the straight line and the actual difficulty level data are calculated.DifferenceBased on the absolute value, an error function indicating an error of the actual difficulty data with respect to the calculated average actual difficulty data is calculated, and the calculated error function isMinimize the linear functionAnd calculating the prediction difficulty data.
[0014]
  The prediction difficulty level data calculating means includes:The encoding targetBy calculating a weighting coefficient that has a greater influence on the error function as the actual difficulty data of a picture closer to a picture, and performing weighted linear prediction using the calculated weighting coefficient,predictionCalculate difficulty data.
[0015]
  Preferably, the prediction difficulty data calculation means calculates a difference value between the actual difficulty data adjacent in the encoding processing order, and integrates the linear function using the calculated difference value. 2 The prediction difficulty level data is calculated by performing difference prediction that approximates the prediction difficulty level data as a value on a next function.
[0016]
  The predictive difficulty data calculating means is for the picture included in the GOP of the video data.For each picture typeBy calculating a ratio of values of actual difficulty data and normalizing and predicting the actual difficulty data with the calculated ratio, temporary prediction difficulty data of each picture included in the GOP of the video data is calculated and calculated. The prediction difficulty data is calculated by multiplying the provisional prediction difficulty by the ratio.
[0017]
  The encoding method of the present invention is an encoding method for encoding the video data using difficulty level data indicating a difficulty level of a picture of the video data, wherein the video data is encoded with respect to the video data.The first coding interval ofEncoding processAnd the amount of data after encodingActual difficulty dataAsActual difficulty level data calculating step to calculate, and the actual difficulty level data calculated by the actual difficulty level data calculating stepFrom the approximation difficulty data that approximates the actual difficulty data of the second encoding section of the video data,Predictive difficulty dataAsBased on the prediction difficulty level data calculation step to be calculated, the actual difficulty level data calculated by the actual difficulty level data calculation step, and the prediction difficulty level data calculated by the prediction difficulty level data calculation step, the video dataPicture to be encodedTarget code amount calculation step for calculating a target code amount for the target code amount, and the target code amount calculated by the target code amount calculation stepSo that the picture to be encoded isAn encoding process for performing an encoding process.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
First embodiment
Hereinafter, a first embodiment of the present invention will be described.
When compression coding of video data such as MPEG, images with many high frequency components or graphics with high difficulty, such as graphics with a lot of movement, are generally susceptible to distortion caused by compression. Become. For this reason, video data with a high degree of difficulty must be compression-encoded at a low compression rate. For compressed video data obtained by compression-encoding data with a high degree of difficulty, compressed video of video data with a low degree of difficulty is used. It is necessary to allocate a larger amount of target data than data.
[0021]
Thus, in order to adaptively allocate the target data amount to the difficulty level of the video data, the two-pass encoding method shown as the prior art is effective. However, the two-pass encoding method is not suitable for real-time compression encoding.
The simple two-pass encoding method shown as the first embodiment is made to solve the problems of the two-pass encoding method, and is compressed video data obtained by preliminarily compressing and encoding uncompressed video data. The difficulty level of the uncompressed video data is calculated from the difficulty level data, and the compression rate of the uncompressed video data delayed by a predetermined time by the FIFO memory is adaptively controlled based on the difficulty level calculated by the preliminary compression encoding. can do.
[0022]
FIG. 1 is a diagram showing a configuration of a video data compression apparatus 1 according to the present invention.
As shown in FIG. 1, the video data compression apparatus 1 includes a compression encoding unit 10 and a host computer 20. The compression encoding unit 10 includes an encoder control unit 12, a motion estimator 14, a simple 2 The path processing unit 16 and the second encoder 18 are included, and the simple two-pass processing unit 16 includes a FIFO memory 160 and a first encoder 162.
With these components, the video data compression apparatus 1 realizes the above-described simple two-pass encoding for uncompressed video data VIN input from an external device (not shown) such as an editing device and a video tape recorder device. To do.
[0023]
In the video data compression apparatus 1, the host computer 20 controls the operation of each component of the video data compression apparatus 1. In addition, the host computer 20 determines the amount of compressed video data generated by pre-compressing the uncompressed video data VIN by the encoder 162 of the simple two-pass processing unit 16 and the direct current component (DC) of the video data after DCT processing. The component value and the DC component (AC component) power value are received via the control signal C16, and based on the received values, the degree of difficulty of the pattern of the compressed video data is calculated. Further, the host computer 20 determines the target data amount T of the compressed video data generated by the encoder 18 based on the calculated difficulty level._jIs assigned to each picture via the control signal C18, set in the quantization circuit 166 of the encoder 18 (FIG. 3), and the compression rate of the encoder 18 is adaptively controlled on a picture-by-picture basis.
[0024]
The encoder control unit 12 notifies the host computer 20 of the presence or absence of a picture of the uncompressed video data VIN, and further performs preprocessing for compression encoding for each picture of the uncompressed video data VIN. That is, the encoder control unit 12 rearranges the input uncompressed video data in the order of encoding, performs picture field conversion, and performs 3: 2 pull-down processing (movie) when the uncompressed video data VIN is movie video data. The video data of 24 frames / second is converted into video data of 30 frames / second and the redundancy is removed before compression encoding), and the like, and the FIFO memory 160 of the simple two-pass processing unit 16 is used as the video data S12. And output to the encoder 162.
The motion detector 14 detects a motion vector of uncompressed video data, and outputs it to the encoder control unit 12 and the encoders 162 and 18.
[0025]
In the simple 2-pass processing unit 16, the FIFO memory 160 delays the video data S12 input from the encoder control unit 12 by, for example, a time during which L (L is an integer) picture input of the uncompressed video data VIN, The delayed video data S16 is output to the encoder 18.
[0026]
FIG. 2 is a diagram illustrating a configuration of the encoder 162 of the simple two-pass processing unit 16 illustrated in FIG.
For example, as shown in FIG. 2, the encoder 162 includes an adder circuit 164, a DCT circuit 166, a quantization circuit (Q) 168, a variable length coding circuit (VLC) 170, an inverse quantization circuit (IQ) 172, and an inverse DCT. (IDCT) A general video data compression encoder composed of an (IDCT) circuit 174, an adder circuit 176, and a motion compensation circuit 178, wherein the input video data S12 is compressed and encoded by the MPEG method, etc. The amount of data for each picture is output to the video encoder 20.
[0027]
The adder circuit 164 subtracts the output data of the adder circuit 176 from the video data S12 and outputs it to the DCT circuit 166.
The DCT circuit 166 performs discrete cosine transform (DCT) processing on the video data input from the adder circuit 164, for example, in units of macroblocks of 16 pixels × 16 pixels, and converts from time domain data to frequency domain data. It outputs to the quantization circuit 168. The DCT circuit 166 outputs the DC component value and the AC component power value of the video data after DCT to the video encoder 20.
[0028]
The quantization circuit 168 quantizes the frequency domain data input from the DCT circuit 166 with a fixed quantization value Q, and outputs the quantized data to the variable length encoding circuit 170 and the inverse quantization circuit 172. .
The variable-length coding circuit 170 performs variable-length coding on the quantized data input from the quantization circuit 168, and the amount of compressed video data obtained as a result of the variable-length coding is hosted via the control signal C16. Output to the computer 20.
The inverse quantization circuit 172 inversely quantizes the quantized data input from the variable length encoding circuit 168 and outputs the inverse quantized data to the inverse DCT circuit 174.
[0029]
The inverse DCT circuit 174 performs inverse DCT processing on the inversely quantized data input from the inverse quantization circuit 172 and outputs the result to the adder circuit 176.
The adder circuit 176 adds the output data of the motion compensation circuit 178 and the output data of the inverse DCT circuit 174 and outputs the result to the adder circuit 164 and the motion compensation circuit 178.
The motion compensation circuit 178 performs motion compensation processing on the output data of the addition circuit 176 based on the motion vector input from the motion detector 14 and outputs the result to the addition circuit 176.
[0030]
FIG. 3 is a diagram showing a configuration of the encoder 18 shown in FIG.
As shown in FIG. 3, the encoder 18 has a configuration in which a quantization control circuit 180 is added to the encoder 162 shown in FIG. The encoder 18 has a target data amount T set from the video encoder 20 by these components._jBased on the above, motion compensation processing, DCT processing, quantization processing, and variable length coding processing are performed on the delayed video data S16 delayed by L pictures by the FIFO memory 160, and the compressed video data VOUT such as MPEG format is obtained. Generate and output to an external device (not shown).
[0031]
In the encoder 18, the quantization control circuit 180 sequentially monitors the data amount of the compressed video data VOUT output from the variable length quantization circuit 170, and is finally generated from the j-th picture of the delayed video data S16. The data amount of the compressed video data is equal to the target data amount T set by the video encoder 20._jThe quantization value Q set in the quantization circuit 168 sequentially so as to approach_jAdjust.
In addition to outputting the compressed video data VOUT to the outside, the variable length quantization circuit 170 also outputs the actual data amount S of the compressed video data VOUT obtained by compression encoding the delayed video data S16._jIs output to the host computer 20 via the control signal C18.
[0032]
Hereinafter, a simple two-pass encoding operation of the video data compression apparatus 1 in the first embodiment will be described.
4A to 4C are diagrams illustrating a simple two-pass encoding operation of the video data compression apparatus 1 according to the first embodiment.
The encoder control unit 12 performs pre-processing such as rearranging pictures in the encoding order by the encoder control unit 12 with respect to the uncompressed video data VIN input to the video data compression device 1, and is shown in FIG. As described above, the video data S12 is output to the FIFO memory 160 and the encoder 162.
It should be noted that the picture order rearrangement by the encoder control unit 12 causes the picture coding order shown in FIG. 4 and the like to be different from the display order after decompression decoding.
[0033]
The FIFO memory 160 delays each picture of the input video data S12 by L pictures and outputs it to the encoder 18.
The encoder 162 preliminarily sequentially compresses and encodes the pictures of the input video data S12, and compresses and encodes the jth (j is an integer) picture, and the DCT process The DC component value and AC component power value of the subsequent video data are output to the host computer 20.
[0034]
For example, since the delayed video data S16 input to the encoder 18 is delayed by L pictures by the FIFO memory 160, as shown in FIG. 4B, the encoder 18 performs the j-th (j) of the delayed video data S16. Is an integer) -th picture (picture a in FIG. 4B), the encoder 162 encodes the (j + L) -th picture ahead of the j-th picture in the video data S12. The picture (picture b in FIG. 4B) is compression-encoded. Therefore, when the encoder 18 starts compression encoding of the jth picture of the delayed video data S16, the encoder 162 uses the jth to (j + L-1) th pictures (FIG. 4 (FIG. 4)). The compression encoding of the range c) of B) has been completed, and the actual difficulty data D after the compression encoding of these pictures_j, D_{j + 1}, D_{j + 2}, ..., D_{j + L-1}Has already been calculated by the host computer 20.
[0035]
The host computer 20 calculates the target data amount T allocated to the compressed video data obtained by compressing and encoding the j-th picture of the delayed video data S16 by the encoder 18 according to Equation 1 shown below._jAnd the calculated target data amount T_jIs set in the quantization control circuit 180.
[0036]
[Expression 1]

[0037]
However, in Formula 1, D_jIs the actual difficulty level data of the j-th picture of the video data S12, and R '_jIs the average of the target data amount that can be assigned to the jth to (j + L−1) th pictures of the video data S12, S16, and R ′_jInitial value (R ′₁) Is a target data amount that can be allocated to each picture of the compressed video data on the average, and is expressed by Equation 2 shown below, and is expressed by Equation 3 whenever the encoder 18 generates one picture of compressed video data. As updated.
[0038]
[Expression 2]

[0039]
[Equation 3]

[0040]
The numerical bit rate in Equation 3 indicates the data amount (bit amount) per second determined based on the transmission capacity of the communication line and the recording capacity of the recording medium. ) Indicates the number of pictures per second (30 pictures / second (NTSC), 25 pictures / second (PAL)) included in the video data._{j + L}Indicates an average data amount per picture determined according to the picture type.
The DCT circuit 166 of the encoder 18 performs DCT processing on the j-th picture of the input delayed video data S16 and outputs it to the quantization circuit 168.
The quantization circuit 168 receives the frequency domain data of the j-th picture input from the DCT circuit 166, and the quantization control circuit 180 uses the target data amount T_jQuantization value Q to adjust based on_jIs quantized and output to the variable length coding circuit 170 as quantized data.
The variable length coding circuit 170 performs variable length coding on the quantized data of the j-th picture input from the quantization circuit 168, so that the target data amount T_jCompressed video data VOUT having a data amount close to is generated and output.
[0041]
Similarly, as shown in FIG. 4B, when the encoder 18 compresses and encodes the (j + 1) -th picture (picture a ′ in FIG. 4C) of the delayed video data S16, The encoder 162 completes the compression encoding of the (j + 1) th to (j + L) th pictures (the range c ′ in FIG. 4C) of the video data S12, and the actual difficulty data D of these pictures._{j + 1}, D_{j + 2}, D_{j + 3}, ..., D_{j + L}Has already been calculated by the host computer 20.
[0042]
The host computer 20 calculates the target data amount T to be assigned to the compressed video data obtained by compressing and encoding the (j + 1) th picture of the delayed video data S16 by the encoder 18 according to Equation 1._{j + 1}Is calculated and set in the quantization control circuit 180 of the encoder 18.
[0043]
The encoder 18 receives the scale data amount T set in the quantization control circuit 180 from the host computer 20._jThe (j + 1) th picture is compression-encoded based on the target data amount T_{j + 1}Compressed video data VOUT having a data amount close to is generated and output.
In the following, similarly, the video data compression apparatus 1 converts the kth picture of the delayed video data S16 into a quantized value Q._k(K = j + 2, j + 3,...) Is changed for each picture and sequentially compressed and output as compressed video data VOUT.
[0044]
As described above, according to the video data compression apparatus 1 shown in the first embodiment, the difficulty level of the pattern of the uncompressed video data VIN is calculated in a short time, and adaptively at a compression rate corresponding to the calculated difficulty level. The uncompressed video data VIN can be compressed and encoded. That is, according to the video data compression apparatus 1 shown in the first embodiment, unlike the two-pass encoding method, the non-compressed video is adaptively based on the difficulty of the pattern of the non-compressed video data VIN almost in real time. The data VIN can be compressed and encoded, and can be applied to applications requiring real-time performance such as live broadcasting.
In addition to the one shown in the first embodiment, the data multiplexing apparatus 1 according to the present invention uses the amount of compressed video data compression-encoded by the encoder 162 as difficulty data as it is, and performs processing of the host computer 20. Various configurations such as simplification can be adopted.
[0045]
Second embodiment
According to the simple two-pass encoding method shown in the first embodiment, it is possible to perform compression encoding processing on uncompressed video data that is adaptive in real time and in accordance with the difficulty of a picture. However, when the simple two-pass encoding method shown in the first embodiment is used, the delay time of the FIFO memory 160 cannot be increased when the real-time property is strictly required, which is truly appropriate. Target data amount T_jIs difficult to calculate, and the quality of the video obtained by decompressing and decoding the compressed video data VOUT may deteriorate.
[0046]
In the second embodiment, the video data compression apparatus 1 (FIG. 1) shown in the first embodiment is used, the processing contents of the host computer 20 are changed, and the delay time of the FIFO memory 160 is not increased. Is the appropriate target data amount T_jOf the jth picture to the (j + L-1) th picture of the compressed video data obtained by preliminarily compressing and encoding the uncompressed video data for L pictures. Difficulty data D_j~ D_{j + L-1}To (j + L) -th picture to (j + L + B) -th picture (B is an integer) difficulty data (prediction difficulty data) D of the compressed video data._{j + L}~ D_{j + L + B}And the actual difficulty data D obtained_j~ D_{j + L-1}(Actual difficulty data) and difficulty data D 'obtained by prediction_{j + L}~ D '_{j + L + B}Based on the above, the target data amount T more appropriate than the simple two-pass encoding method shown in the first embodiment_jA compression encoding method (predictive simple two-pass encoding method) capable of obtaining the above value will be described.
[0047]
First, the predictive simple two-pass encoding method described in the second embodiment will be conceptually described.
In the predictive simple 2-pass encoding method, the pattern gradually becomes difficult, that is, the pattern of uncompressed video data that gradually increases in high frequency components after DCT processing at the time of compression encoding and the movement becomes faster is On the contrary, it is assumed that the pattern of uncompressed video data, which becomes more difficult and, on the other hand, gradually becomes less difficult (becomes simple), can be predicted that it will become even easier.
[0048]
In other words, in the predictive simple two-pass encoding method, if the host computer 20 predicts that the picture will become more difficult on the basis of this assumption, the host computer 20 prepares for a picture with a more difficult picture, and at that time the compression code Save the target data amount allocated to the picture being converted, and conversely, if the picture is predicted to become simpler, increase the target data amount allocated to the picture that is compression-coded at that time Control of the compression rate for the encoder 18 is performed.
[0049]
Further, the conceptual description of the predictive simple two-pass encoding method will be continued.
Video data generally has high correlation in the time direction and the spatial direction, and compression encoding of video data is performed by paying attention to these correlations and removing redundancy.
A high correlation in the time direction means that the difficulty level of the current uncompressed video data picture is close to the difficulty level of the subsequent uncompressed video data picture. In addition, the tendency of increase / decrease in difficulty often continues to increase / decrease until now.
[0050]
As a specific example, consider a picture of uncompressed video data when shooting a stationary object while slowly turning the camera horizontally from the stationary state and finally rotating at a constant rotation speed. . At first, since the camera is in a stopped state, a still image is taken and the difficulty of the pattern is reduced. Next, assuming that the rotation speed is constant after 1 to 2 seconds from the start of turning the camera, the degree of difficulty of the pattern tends to increase for 1 to 2 seconds after starting to turn the camera. When this state is viewed from the video data compression apparatus 1 side, the tendency of the difficulty of the pattern of the input non-compressed video data to continue increases while the compressed video data for several GOPs is generated.
[0051]
Therefore, in the case shown in this specific example, it is reasonable to predict that the difficulty level of the subsequent pattern shows an increasing tendency when the difficulty level of the pattern of the uncompressed video data shows an increasing tendency. . The predictive simple two-pass encoding method described below uses the temporal correlation between the difficulty level and the increase / decrease tendency of the difficulty level, and applies the first embodiment to each picture of the compressed video data. The target data amount is more appropriately assigned than in the simple two-pass encoding method shown.
[0052]
Hereinafter, the operation of the predictive simple two-pass encoding of the video data compression apparatus 1 in the second embodiment will be described.
FIGS. 5A to 5C are diagrams illustrating the operation of the predictive simple two-pass encoding of the video data compression apparatus 1 according to the second embodiment.
As in the first embodiment, the encoder control unit 12 performs preprocessing such as rearranging pictures in the encoding order by the encoder control unit 12 for the uncompressed video data VIN input to the video data compression apparatus 1. And output to the FIFO memory 160 and the encoder 162 as video data S12 as shown in FIG.
[0053]
As in the first embodiment, the FIFO memory 160 delays each picture of the input video data S12 by L pictures and outputs it to the encoder 18.
As in the first embodiment, the encoder 162 is obtained by preliminarily sequentially compressing and encoding pictures of the input video data S12 and compressing and encoding the jth (j is an integer) picture. The amount of compressed encoded data, the DC component value of the DCT-processed video data, and the AC component power value are output to the host computer 20. Based on these values input from the encoder 162, the host computer 20 determines the actual difficulty data D._jAre calculated sequentially.
[0054]
For example, since the delayed video data S16 input to the encoder 18 is delayed by L pictures by the FIFO memory 160, as shown in FIG. 5B, the encoder 18 performs the j-th delay of the delayed video data S16. When the picture (picture a in FIG. 5B) is compression-encoded, the encoder 162 is L pictures ahead from the j-th picture of the video data S12, as in the first embodiment. The (j + L) -th picture (picture b in FIG. 5B) is compression-coded.
[0055]
Accordingly, when the encoder 18 starts compression encoding of the jth picture of the delayed video data S16, the encoder 162 selects the (j−A) th to (j + L−1) th picture of the video data S12. Completion of compression coding in the range c of FIG. 5B (where FIG. 5 shows the case of A = 0), the amount of data after compression coding of these pictures, and the video after DCT processing The DC component value and AC component power value of the data are output to the host computer 20. Based on these values input from the encoder 162, the host computer 20 determines the difficulty data (actual difficulty data, range d in FIG. 5B) D_jA, D_{j-A + 1}, ..., D_j, D_{j + 1}, D_{j + 2}, ..., D_{j + L-1}Has already been calculated. A is an integer and may be positive or negative.
[0056]
The host computer 20 stores the actual difficulty data D_jA, D_{j-a + 1}, ..., D_j, D_{j + 1}, D_{j + 2}, ..., D_{j + L-1}Based on the difficulty data (compression difficulty data, range e) D 'of the video data S12 after compression coding of the (j + L) -th to (j + L + B) -th pictures_{j + L}, D '_{j + L + 1}, D '_{j + L + 2}, ..., D '_{j + L + B}And the target data amount T after compression encoding of the j-th picture of the delayed video data S16 according to Equation 4 shown below._jIs calculated. Therefore, the target data amount T after compression encoding of the j-th picture of the delayed video data S16_jIn order to calculate the difficulty level data, the difficulty level data for (A + L + B + 1) pictures in the range c in FIG. 5B including the actual difficulty level data and the prediction difficulty level data is used. A method for calculating the prediction difficulty level data based on the actual difficulty level data will be described in detail in the fifth embodiment and thereafter.
[0057]
[Expression 4]

[0058]
In addition, each symbol of Formula 4 is the same as each symbol of Formula 1.
As in the first embodiment, the encoder 18 uses the target data amount T set in the quantization control circuit 180 by the host computer 20._jBased on the target data amount T_jCompressed video data VOUT having a data amount close to is generated and output.
Further, the host computer 20 also applies video data to the (j + 1) th picture (picture a ′ in FIG. 5C) of the delayed video data S16 in the same manner as the operation shown in FIG. Actual difficulty level data D in the range d ′ in FIG. 5C before the (j + L + 1) -th picture in S12 (picture b ′ in FIG. 5C)._{j-A + 1}, D_{j-A + 2}, ..., D_j, D_{j + 1}, D_{j + 2}, ..., D_{j + L}, And the prediction difficulty level data D ′ shown in the range e ′ of FIG._{j + L + 1}, D '_{j + L + 2}, D '_{j + L + 3}, ..., D '_{j + L + B + 1}That is, based on the actual difficulty data and the prediction difficulty data shown in the range c ′ in FIG. 5C, the target data amount T after compression encoding of the (j + 1) th picture of the delayed video data S16._{j + 1}Is calculated. The encoder 18 receives the scale data amount T calculated by the host computer 20._{j + 1}Based on the above, the (j + 1) -th picture of the delayed video data S16 is compression-encoded, and the target data amount T_{j + 1}Compressed encoded data VOUT having a data amount close to.
Note that the predictive simple two-pass encoding operation of the video data compression apparatus 1 described above is the same for the (j + 1) th picture of the delayed video data S16.
[0059]
Hereinafter, the operation of the video data compression apparatus 1 according to the second embodiment will be described with reference to FIG.
FIG. 6 is a flowchart showing the operation of the video data compression apparatus 1 (FIG. 1) in the second embodiment.
As shown in FIG. 6, in step 102 (S102), the host computer 20 uses the numerical values j, R 'used in Equation 1 and the like.₁J = − (L−1), R ′₁= Initialize as (Bit rate × (L + B)) / Picture rate.
[0060]
In step 104 (S104), the host computer 20 determines whether or not the numerical value j is greater than zero. When the numerical value j is larger than 0, the process proceeds to S106, and when it is smaller, the process proceeds to S110.
In step 106 (S106), the encoder 162 compresses and encodes the (j + L) th picture of the video data S12, and the actual difficulty data D_{j + L}Is generated.
[0061]
In step 108 (S108), the host computer 20 increments the numerical value j (j = j + 1).
In step 110 (S110), the host computer 20 determines whether or not the jth picture exists in the delayed video data S16. When the j-th picture exists, the process proceeds to S112, and when it does not exist, the compression encoding process ends.
[0062]
In step 112 (S112), the host computer 20 determines whether or not the numerical value j is larger than the numerical value A. When the numerical value j is larger than the numerical value A, the process proceeds to S114, and when it is smaller, the process proceeds to S116.
In step 114 (S114), the host computer 20 determines the actual difficulty level data D._jA~ D_{j + L-1}Based on the prediction difficulty data D '_{j + L}~ D '_{j + L + B}Is calculated.
In step 116 (S116), the host computer 20 determines the actual difficulty level data D.₁~ D_{j + L-1}From the prediction difficulty data D ′_{j + L}~ D '_{j + L + B}Is calculated.
[0063]
In step 118 (S118), the host computer 20 uses equation 4 to calculate the target data amount T._jIs calculated and set in the quantization control circuit 180 of the encoder 18. Further, the encoder 18 uses the target data amount T set in the quantization control circuit 180._jThe compressed image data amount S actually obtained from the jth picture is compression-encoded based on the jth picture of the delayed image data S16._jIs output to the host computer 20.
In step 120 (S120), the host computer 20 determines the data amount S from the encoder 18._jAnd the actual difficulty level data D of the (j + L) -th picture of the video data S12._{j + L}Is output.
[0064]
In step 122 (S122), the encoder 18 outputs compressed video data VOUT obtained by compressing and encoding the j-th delayed video data S16 to the outside.
In step 124 (S124), the host computer 20 determines the numerical value F used in Equation 3 according to the picture type._{j + L}Is calculated.
In step 126 (S126), the host computer 20 calculates the operation (R ′ shown in Equation 3)._{j + 1}= R ’_j-S_j+ F_{j + L})I do.
[0065]
As described above, according to the predictive simple two-pass encoding by the video data compression apparatus 1 shown in the second embodiment, the difficulty level of the pattern of the uncompressed video data VIN is calculated in a short time, and based on the calculated difficulty level. In addition, the uncompressed video data VIN can be adaptively compressed and encoded using the predicted difficulty level, and a more appropriate target data amount can be assigned to each picture of the compressed video data compared to the simple two-pass encoding method. Is possible. Therefore, when decompressed and decoded compressed video data by the predictive simple two-pass encoding method, higher quality video can be obtained compared to when decompressed and decoded compressed video data by the simple two-pass encoding method.
[0066]
Third embodiment
Hereinafter, a third embodiment of the present invention will be described.
The encoder 162 and the encoder 18 (FIG. 1) convert uncompressed video data into a plurality of I pictures (intra coded pictures), B pictures (bi-directionally coded pictures) and P pictures (predictive coded pictures) or Compression encoding is performed in GOP (group of pictures) units composed of these combinations. For this reason, it is convenient to perform the simple two-pass encoding method shown in the first embodiment within the GOP frame. In the third embodiment, a simple two-pass encoding method performed within the GOP frame using the video data compression apparatus 1 (FIG. 1) will be described.
[0067]
FIGS. 7A to 7C are diagrams showing a simple two-pass encoding method performed within the GOP frame by the video data compression apparatus 1 according to the present invention in the third embodiment. In FIG. 7, the first picture of the first GOP is shown as the first picture.
[0068]
As shown in FIG. 7A, the encoder control unit 12 rearranges the order of the pictures included in the input uncompressed video data VIN, as in the first embodiment, and stores them in the FIFO memory 160 and the encoder 162. Output.
The FIFO memory 160 delays each picture of the input video data S12 by N pictures (L = N, N is an integer), that is, 1 GOP, and outputs the delayed picture to the encoder 18.
The encoder 162 preliminarily and sequentially compresses and encodes the pictures of the input video data S12, and compresses and encodes the jth (j is an integer) picture, after DCT. The DC component value and AC component power value of the video data are sequentially output to the host computer 20.
[0069]
For example, since the delayed video data S16 input to the encoder 18 is delayed by N pictures by the FIFO memory 160, as shown in FIG. 7B, the encoder 18 performs the j-th delay of the delayed video data S16. When the picture (picture a in FIG. 7B) is compression-encoded, the encoder 162 is the (j + N) -th picture (FIG. 7) N pictures ahead of the j-th picture in the video data S12. The picture b) in (B) is compression-encoded.
[0070]
However, in the third embodiment, since the video data compression apparatus 1 performs simple two-pass encoding within the GOP, the host computer 20 uses the encoder 18 to compress the jth picture of the delayed video data S16. When the encoding is started, the j-th to N-th pictures (from the j-th picture to the (j + N−1) -th picture of the video data S12 for which the encoder 162 has completed compression encoding ( Actual difficulty level data after compression encoding in the range c) of FIG. 7B (range d) D of FIG. 7B_j, D_{j + 1}, ..., D_NTarget data amount T_jIs calculated by Equation 5 below and set in the quantization control circuit 180 of the encoder 18.
[0071]
[Equation 5]

[0072]
However, R "in Formula 5_jIndicates the data amount actually used in the compression encoding for the first picture to the (j−1) th picture in the same GOP of the delayed video data S16 from the target data quantity allocated to the GOP. The value obtained by subtraction, that is, the target data amount to be allocated to the compressed video data of the remaining pictures of the same GOP. Therefore, R "_jIs obtained by Equation 6 shown below.
[0073]
[Formula 6]

[0074]
Therefore, R "when compression encoding the first picture of the GOP.₁(J = 1) is obtained by Expression 7 shown below.
[0075]
[Expression 7]

[0076]
However, in Expression 7, G is a fixed data amount (G = (Bit rate × N) / Picture rate) assigned to one GOP, and R_NThe initial value of (j = N) is 0.
[0077]
As in the first embodiment, the encoder 18 uses the target data amount T set in the quantization control circuit 180 from the host computer 20._jThe data amount is based on the scale data amount T_jCompressed video data VOUT close to is generated and output.
Further, the host computer 20 also applies the video data to the (j + 1) th picture (picture a ′ in FIG. 7C) of the delayed video data S16 in the same manner as the operation shown in FIG. Actual difficulty data D in the range d ′ in FIG. 7C before the Nth picture in S12_{j + 1}, D_{j + 2}, ..., D_NThat is, based on the difficulty data shown in the range c ′ in FIG. 7C, the target data amount T after compression encoding of the (j + 1) th picture of the delayed video data S16._{j + 1}Is calculated. The encoder 18 receives the target data amount T calculated by the host computer 20._{j + 1}Based on the above, the (j + 1) -th picture of the delayed video data S16 is compression-encoded, and the target data amount T_{j + 1}Compression-encoded data VOUT is generated.
Note that the simple two-pass encoding operation of the video data compression apparatus 1 described above is the same for the (j + 1) th picture of the delayed video data S16.
[0078]
As described above, according to the simple two-pass encoding by the video data compression apparatus 1 shown in the third embodiment, the simple two-pass encoding can be performed within the frame of the GOP. Processing time is short. Therefore, it is suitable for compressing and encoding live-compressed uncompressed video data requiring real-time performance, and the configuration of the video data compression device 1 can be configured easily and inexpensively.
[0079]
Fourth embodiment
The fourth embodiment of the present invention will be described below.
In the fourth embodiment, predictive simple two-pass encoding performed by the video data compression apparatus 1 (FIG. 1) within the GOP frame, that is, the same encoder 18 compresses the jth picture of the delayed video data S16. When encoding, the target data amount T using the actual difficulty data of each picture of the same GOP and the prediction difficulty data predicted for the next GOP._jIs calculated and set in the quantization control circuit 180 of the encoder 18 to perform compression encoding.
[0080]
FIGS. 8A to 8C are diagrams showing a simple predictive two-pass encoding method performed within the GOP frame by the video data compression apparatus 1 according to the present invention in the fourth embodiment. In FIG. 8, the first picture of the GOP is shown as the first picture.
[0081]
As shown in FIG. 8A, the encoder control unit 12 rearranges the order of the pictures included in the input non-compressed video data VIN, in the FIFO memory 160 and the encoder 162, as in the first embodiment. Output.
The FIFO memory 160 delays each picture of the input video data S12 by N pictures, that is, 1 GOP, and outputs it to the encoder 18.
The encoder 162 preliminarily and sequentially compresses and encodes the picture of the input video data S12, and compresses and encodes the jth (j is an integer) picture, after DCT. The DC component value and AC component power value of the video data are sequentially output to the host computer 20. The host computer 20 calculates the actual difficulty data D from these values._jIs calculated.
[0082]
For example, since the delayed video data S16 input to the encoder 18 is delayed by N pictures by the FIFO memory 160, as shown in FIG. 8B, the encoder 18 performs the j-th delay of the delayed video data S16. When the picture (picture a in FIG. 8B) is compression-encoded, the encoder 162 is the (j + N) -th picture (FIG. 8) N pictures ahead of the j-th picture in the video data S12. The picture b) in (B) is compression-encoded.
[0083]
However, in the fourth embodiment, since the video data compression apparatus 1 performs simple two-pass encoding within the GOP, the host computer 20 uses the encoder 18 to compress the jth picture of the delayed video data S16. When the encoding is started, the j-th to (j + N−1) of the j-th to (j + N−1) -th pictures of the video data S12 for which the encoder 162 has completed compression encoding. The difficulty data (range d in FIG. 8B) after compression coding of the first picture (range c in FIG. 8B) is represented as actual difficulty data D._j, D_{j + 1}, ..., D_{j + N-1}And the prediction difficulty data D ′ from the (j + 1) th picture of the same GOP to the last picture (2Nth picture) of the next GOP._{j + N}, D '_{j + N + 1}, ..., D '_2NAnd the target data amount T based on the actual difficulty data and the prediction difficulty data_jIs calculated by Expression 8 shown below and set in the quantization control circuit 180 of the encoder 18.
[0084]
[Equation 8]

[0085]
In Equation 8, j = 1, 2,..., N, and R ″_jIs already used in the compression coding for the first picture to the (j−1) th picture of the delayed video data S16 in the two GOPs from the target data amount allocated to the two GOPs. This is a value obtained by subtracting the data amount, that is, the target data amount to be allocated to the compressed video data of the remaining pictures of the two GOPs. Therefore, R "_jIs obtained by Equation 9 shown below.
[0086]
[Equation 9]

[0087]
Therefore, R ″ when the first picture of the first GOP in FIG. 8 is compression encoded.₁(J = 1) is obtained by Expression 10 shown below.
[0088]
[Expression 10]

[0089]
Where R ″ in Equation 10_NThe initial value of G is G.
[0090]
As in the second embodiment, the encoder 18 uses the target data amount T set in the quantization control circuit 180 from the host computer 20._jThe data amount is based on the target data amount T_jCompressed video data VOUT close to is generated and output.
Further, the host computer 20 also applies the video data to the (j + 1) th picture (picture a ′ in FIG. 8C) of the delayed video data S16 in the same manner as the operation shown in FIG. Actual difficulty data D in the range d ′ in FIG. 8C before the (j + N) th picture in S12_{j + 2}, D_{j + 3}, ..., D_{N + 1}That is, based on the actual difficulty level data shown in the range c ′ in FIG. 8C and the prediction difficulty level data of the (j + N + 1) th picture to the 2Nth picture of the video data S12, the first of the delayed video data S16. Target data amount T after compression encoding of the (j + 1) th picture_{j + 1}Is calculated.
[0091]
The encoder 18 receives the scale data amount T calculated by the host computer 20._{j + 1}Based on the above, the (j + 1) -th picture of the delayed video data S16 is compression-encoded, and the target data amount T_{j + 1}Compression-encoded data VOUT is generated.
Note that the simple two-pass encoding operation of the video data compression apparatus 1 described above is the same for the (j + 1) th picture of the delayed video data S16.
[0092]
The operation of the video data compression apparatus 1 in the fourth embodiment will be described below with reference to FIG.
FIG. 9 is a flowchart showing the operation of the video data compression apparatus 1 in the fourth embodiment.
[0093]
As shown in FIG. 9, in step 202 (S202), the host computer 20 determines that the numerical value GOP_count, R_NIs cleared to 0 (GOP_count, R_N= 0).
In step 204 (S204), the host computer 20 determines the numerical value GOP._countWhether or not is 0 is determined. Numerical GOP_countWhen is 0, the host computer 20 proceeds to the process of S206, and when it is not 0, the process proceeds to the process of S210.
[0094]
In step 206 (S206), the (j + N) -th picture of the video data S12 is compression-encoded, and the data amount of the resulting compressed video data, the DC component value of the video data after DCT processing, and the AC component The power value is output to the host computer 20.
In step 208 (S208), the host computer 20 determines that the numerical value GOP is obtained when the numerical value j is N and j = 1._countIncrement the value R ”₁G + R "_N(R "₁= G + R "_N; Equation 7), otherwise, the numerical value j is incremented and the numerical value R "_jR ”_j-1-S_j(R "_j= R "_j-1-S_jFormula 6).
[0095]
In step 210 (S210), the host computer 20 determines whether or not the jth picture exists in the delayed video data S16. When the j-th picture exists, the process proceeds to S212, and when it does not exist, the compression encoding process ends.
In step 212 (S212), the host computer 20 determines the actual difficulty level data D._j~ D_{j + N-1}Predictive difficulty data D '_{j + N}~ D '_2NIs calculated.
In step 214 (S124), the host computer 20 determines the actual difficulty level data D._j~ D_{j + N-1}And prediction difficulty data D ′_{j + N}~ D '_2NTarget data amount T_jIs calculated and set in the quantization control circuit 180 of the encoder 18. The encoder 18 sets the set target data amount T_jIs used to compress and encode the jth picture of the delayed video data S16.
[0096]
In step 216 (S216), the encoder 18 compresses the jth picture of the delayed video data S16, and the compressed video data data amount S is obtained by compression encoding._jIs output to the host computer 20, and the host computer 20_jRemember. The encoder 162 compresses and encodes the (j + N) -th picture of the video data S12, and the resulting video data amount, the DC component value of the video data after DCT processing, and the AC component power value are hosted. Output to the computer 20. Based on these values, the host computer 20 determines the actual difficulty data D._{j + N}Is calculated.
In step 218 (S218), the encoder 18 outputs the j-th compressed video data VOUT of the delayed video data S16 to the outside.
[0097]
As described above, the predictive simple two-pass encoding within the GOP frame by the video data compression apparatus 1 shown in the fourth embodiment is the simple two-pass encoding within the GOP frame shown in the third embodiment. More appropriate target data amount T than encoding_jTherefore, the quality of the video obtained by decompressing and decoding the compressed video data VOUT obtained as a result of compression encoding can be improved. In addition, the processing content is simpler, the processing time is shorter, and the uncompressed video of the live broadcast that requires real-time capability compared to the predicted simple two-pass encoding that does not fit in the GOP frame shown in the second embodiment. It is suitable for compressing and encoding data, and the configuration of the video data compression apparatus 1 can be configured easily and inexpensively.
[0098]
Fifth embodiment
Hereinafter, as a fifth embodiment of the present invention, a method for calculating prediction difficulty data based on actual difficulty data by simple linear prediction will be described. Note that when a plurality of types of picture types are mixed in the same GOP, prediction of difficulty level data becomes complicated. Therefore, for convenience of explanation, in the fifth embodiment, the case where all the pictures included in the GOP are I pictures and the actual difficulty level data and the prediction difficulty level data are 15 (L + A, B = 15) respectively is described as an example. To do.
[0099]
FIG. 10 is a diagram illustrating a method for calculating prediction difficulty data from actual difficulty data by linear prediction in the fifth embodiment. FIG. 10 shows a case where the actual difficulty data and the prediction difficulty data calculated from the actual difficulty data are 15 (L + A, B = 15), respectively, as described above.
[0100]
As in the first embodiment, the encoder control unit 12 rearranges the order of the pictures included in the input uncompressed video data VIN and outputs it to the FIFO memory 160 and the encoder 162.
The FIFO memory 160 delays each picture of the input video data S12 by 15 pictures (L + A = 15), that is, 1 GOP, and outputs it to the encoder 18.
First, the encoder 162 preliminarily sequentially compresses and encodes the pictures of the input video data S12 as indicated by the circles in FIG. 10, and the first to fifteenth pictures are encoded. The amount of compressed encoded data obtained by compression encoding, the DC component value of the video data after DCT processing, and the AC component power value are sequentially output to the host computer 20. Based on these values, the host computer 20 determines the actual difficulty data D.₁~ D₁₅Are calculated sequentially.
[0101]
The host computer 20 calculates the calculated actual difficulty data D₁~ D₁₅The average value D ″ is calculated according to Equation 11 below.
[0102]
## EQU11 ##

[0103]
Next, the host computer 20 calculates 15 actual difficulty data D according to the following expression 12.₁~ D₁₅Data, that is, actual difficulty data D₈Is the average value D ″, the slope is a, and the provisional prediction difficulty data D according to the following equation 13₁‘~ D’₁₅And an error function E (a) is obtained by Equation 13.
[0104]
[Expression 12]

[0105]
[Formula 13]

[0106]
Further, the host computer 20 obtains the slope a that minimizes the error function E (a) shown in Expression 13. The host computer 20 substitutes the slope a obtained in this way into Equation 12, and predictive difficulty data D 'indicated by x in FIG.₁₆~ D '₃₀Is calculated.
As described above, the host computer 20 determines the prediction difficulty level data D ′.₁₆~ D '₃₀And, as shown in the second and third embodiments, the calculated prediction difficulty data D₁₆'~ D₃₀'Is used to set the target data amount T₁Is calculated.
[0107]
Further, the host computer 20 determines the data amount of the compressed video data generated by the encoder 18 from the first picture as the target data amount T.₁Quantization value Q for₁Is calculated and set in the quantization circuit 166 of the encoder 18. The encoder 18 receives the quantization value Q set from the host computer 20.₁Is used to compress and encode the first picture of the delayed video data S16 and output as compressed video data VOUT.
As described above, the host computer 20 calculates the target data amount for each picture, and sequentially compresses and encodes each picture.
[0108]
In Expression 13, the host computer 20 uses the straight line and the actual difficulty data D shown in Expression 12.₁~ D₁₅Although the case where the error function E (a) is calculated based on the square error with the above is shown, in order to reduce the calculation amount of the host computer 20, the following equation 14 is used instead of the equation 13 to obtain the equation 12 and actual difficulty data D shown in FIG.₁~ D₁₅The error function E (a) may be calculated based on the absolute value of.
[0109]
[Expression 14]

[0110]
In addition, it cannot be overemphasized that the linear prediction of this embodiment is applicable also when the actual difficulty level data number and the prediction difficulty number are other than 15.
[0111]
Sixth embodiment
Hereinafter, as a sixth embodiment of the present invention, a method (weighted linear prediction) of calculating prediction difficulty data by weighting the actual difficulty data based on the actual difficulty data will be described. Note that when a plurality of types of picture types are mixed in the same GOP, prediction of difficulty level data becomes complicated. Therefore, for convenience of explanation, in the sixth embodiment, as in the fifth embodiment, all the pictures included in the GOP are I pictures, and the actual difficulty level data and the prediction difficulty level data are 15 (L + A, B = The case of 15) will be described as an example.
[0112]
It is considered that the temporal correlation between pictures of video data becomes thinner as the time interval becomes longer. Therefore, in order to calculate the target data amount of a picture being compressed and encoded, it is considered that the difficulty level of a picture that is closer in time has a greater correlation with the difficulty level of a picture that is being compressed and encoded. However, when the prediction difficulty level data is calculated by the simple linear prediction shown in the fifth embodiment, the correlation of the difficulty level with the passage of time is not considered. The calculation of prediction difficulty data by weighted linear prediction described in the sixth embodiment improves the prediction difficulty data system so that the difficulty of a picture closer to the picture being compression-encoded has a greater influence on the error function. It also has a purpose.
[0113]
FIG. 11 is a diagram illustrating a method of calculating prediction difficulty data from actual difficulty data by weighted linear prediction in the sixth embodiment. FIG. 11 shows the case where the actual difficulty data and the prediction difficulty data calculated from the actual difficulty data are 15 (L + A, B = 15), respectively, as described above.
[0114]
As in the first embodiment, the encoder control unit 12 rearranges the order of the pictures included in the input uncompressed video data VIN and outputs it to the FIFO memory 160 and the encoder 162.
The FIFO memory 160 delays each picture of the input video data S12 by 15 pictures (L + A = 15), that is, 1 GOP, and outputs it to the encoder 18.
First, the encoder 162 preliminarily sequentially compresses and encodes the picture of the input video data S12 as indicated by a circle in FIG. 11, and the amount of compressed video data, the video after DCT processing, The DC component value and AC component power value of the data are output to the host computer 20. Based on these values, the host computer 20 determines the actual difficulty data D of the compression encoded data of the first picture to the fifteenth picture.₁~ D₁₅Are calculated sequentially.
[0115]
The host computer 20 calculates the calculated actual difficulty data D₁~ D₁₅The weighted average value k ″ of the coefficient k is calculated by the following equation 15 and the actual difficulty data D is calculated by the equation 16.₁~ D₁₅Each is multiplied by a power of a weighting coefficient ω (1> ω> 0) and weighted, and actual difficulty data D₁~ D₁₅The weighted average value D ″ is calculated.
[0116]
[Expression 15]

[0117]
[Expression 16]

[0118]
Next, the host computer 20 calculates the weighted average value k ″ of the calculated coefficient k and the actual difficulty data D.₁~ D₁₅Is used to determine a straight line represented by Expression 17 shown below.
[0119]
[Expression 17]

[0120]
Further, the provisional prediction difficulty data D from Expression 17₁‘~ D’₁₅And an error function E (a) is obtained by Equation 18.
[0121]
[Expression 18]

[0122]
Further, the host computer 20 obtains the slope a that minimizes the error function E (a) shown in Expression 13. The host computer 20 substitutes the slope a obtained in this way into Equation 12, and predictive difficulty data D 'indicated by x in FIG.₁₆~ D '₃₀Is calculated.
As described above, the host computer 20 determines the prediction difficulty level data D ′.₁₆~ D '₃₀, And as shown in the second and third embodiments, the calculated prediction difficulty data D ′₁₆~ D '₃₀Target data amount T₁Is calculated.
[0123]
Further, the host computer 20 determines the data amount of the compressed video data generated by the encoder 18 from the first picture as the target data amount T.₁Quantization value Q for₁Is calculated and set in the quantization circuit 166 of the encoder 18. The encoder 18 receives the quantization value Q set from the host computer 20.₁Is used to compress and encode the first picture of the delayed video data S16 and output as compressed video data VOUT.
As described above, the host computer 20 calculates the target data amount for each picture, and sequentially compresses and encodes each picture.
[0124]
In Expression 18, the host computer 20 uses the straight line and the actual difficulty data D shown in Expression 16.₁~ D₁₅Although the case where the error function E (a) is calculated based on the square error of ## EQU3 ## is shown, in order to reduce the calculation amount of the host computer 20, the following equation 19 is used instead of the equation 18 to obtain the equation The straight line and actual difficulty data D shown in FIG.₁~ D₁₅The error function E (a) may be calculated based on the absolute value of.
[0125]
[Equation 19]

[0126]
In addition, it cannot be overemphasized that the linear prediction of this embodiment is applicable also when the actual difficulty level data number and the prediction difficulty number are other than 15.
[0127]
Seventh embodiment
Hereinafter, as a seventh embodiment of the present invention, a method (difference prediction) for calculating prediction difficulty data based on actual difficulty data in consideration of a change in difference between adjacent actual difficulty data will be described. Note that when a plurality of types of picture types are mixed in the same GOP, prediction of difficulty level data becomes complicated. Therefore, for convenience of explanation, also in the seventh embodiment, as in the fifth and sixth embodiments described so far, all the pictures included in the GOP are I pictures, and the actual difficulty level data and the prediction A case where the difficulty data is 15 (L + A, B = 15) will be described as an example.
[0128]
FIG. 12 is a diagram illustrating a method for calculating prediction difficulty data from actual difficulty data by difference prediction in the seventh embodiment. FIG. 12 shows a case where the actual difficulty level data and the prediction difficulty level data calculated from the actual difficulty level data are 15 (L + A, B = 15), respectively, as described above.
[0129]
For example, as shown by a circle in FIG. 12, in the video data of the pattern in which the increase in the value of the actual difficulty data is gradually slowing, the difficulty of the video data is thereafter (after the 16th picture). It is expected that the increase will slow and the difficulty will decrease. In such a case, it is considered that the accuracy of the prediction difficulty data can be further improved by reflecting the difference in values between adjacent actual difficulty data in the prediction difficulty data. The difference prediction shown in the seventh embodiment is intended to improve the accuracy of the prediction difficulty level data from this viewpoint. It should be noted that there are various methods for reflecting the difference in value between adjacent actual difficulty data in the prediction difficulty data, which can be complicated as much as possible, but in the seventh embodiment, the simplest difference value is used. A case of linear approximation will be described.
[0130]
As in the first embodiment, the encoder control unit 12 rearranges the order of the pictures included in the input uncompressed video data VIN and outputs it to the FIFO memory 160 and the encoder 162.
The FIFO memory 160 delays each picture of the input video data S12 by 15 pictures (L + A = 15), that is, 1 GOP, and outputs it to the encoder 18.
First, the encoder 162 preliminarily sequentially compresses and encodes the pictures of the input video data S12 as indicated by the circles in FIG. 12, and the first to fifteenth pictures are encoded. The amount of compressed encoded data obtained by compression encoding, the DC component value of the video data after DCT processing, and the AC component power value are output to the host computer 20. The host computer 20 calculates the actual difficulty data D from these values.₁~ D₁₅Are calculated sequentially.
[0131]
The host computer 20 calculates the actual difficulty level data D from the data amount of the compressed video data input from the encoder 162, the DC component value of the DCT processed video data, and the AC component power value.₁~ D₁₅And the difference value Δ between adjacent actual difficulty data_k(Δ_k= D_k-D_k-1K = 0, 2,..., 14) is calculated.
Further, the host computer 20 performs linear approximation using the equations 10 to 13 shown in the fifth embodiment or the equations 14 to 18 shown in the sixth embodiment, and the predicted difference value Δ₁₆~ Δ₃₀Is calculated.
[0132]
Further, the host computer 20 calculates the calculated difference difference Δ₁₆~ Δ₃₀Is applied to the prediction difficulty level data D ′ by applying the formula 11 shown in the fifth embodiment or the formula 16 shown in the sixth embodiment.₁₆And the prediction difficulty data D ′ is calculated using the equation 20 shown below.₁₇~ D '₃₀Is calculated.
[0133]
[Expression 20]

[0134]
The host computer 20 stores the actual difficulty data D₁~ D₁₅And the prediction difficulty level data D ′ calculated as described above.₁₆~ D '₃₀Target data amount T₁Is calculated.
In the seventh embodiment, the difference value Δ between pictures adjacent to the host computer 20 is Δ._kIs approximated by a straight line (linear function). Therefore, the prediction difficulty data D ′ calculated by the host computer 20₁₆~ D '₃₀Is approximated to a value on a parabola (quadratic function) obtained by integrating a linear function, as indicated by a cross in FIG.
[0135]
Further, the host computer 20 determines the data amount of the compressed video data generated by the encoder 18 from the first picture as the target data amount T.₁Quantization value Q for₁Is calculated and set in the quantization circuit 166 of the encoder 18. The encoder 18 receives the quantization value Q set from the host computer 20.₁Is used to compress and encode the first picture of the delayed video data S16 and output as compressed video data VOUT.
As described above, the host computer 20 calculates the target data amount for each picture, and sequentially compresses and encodes each picture.
In addition, it cannot be overemphasized that the linear prediction of this embodiment is applicable also when the actual difficulty level data number and the prediction difficulty number are other than 15.
[0136]
Eighth embodiment
Hereinafter, as an eighth embodiment of the present invention, a method of calculating prediction difficulty level data when a GOP is composed of a plurality of types of pictures will be described. In the eighth embodiment, 1 GOP is composed of 15 pictures in the order of I, B, B, P, B, B, P, B, B, P, B, B, P, B, B, The case where the actual difficulty level data and the prediction difficulty level data are 15 (L + A, B = 15), respectively, will be exemplified.
[0137]
In the fifth to seventh embodiments, for the sake of convenience, the present invention has been described by taking as an example the case where the GOP is composed of only I pictures. However, in practice, the GOP is composed of an I picture, a P picture, and a B picture, and it is necessary to calculate the prediction difficulty level data by a method corresponding to the picture type. The calculation method of the prediction difficulty level data in the eighth embodiment takes this situation into consideration.
[0138]
Forecasting by picture type
First, a method of calculating prediction difficulty data for each picture type and performing prediction simple two-pass encoding is conceivable.
That is, the encoder 162 (FIG. 1) outputs the data amount obtained by compressing and coding each picture of the GOP, the DC component value and the AC component value of the video data after DCT processing to the host computer 20, The actual difficulty level data calculated from these values by the computer 20 is obtained by the host computer 20 independently for each picture type by the simple linear prediction, weighted linear prediction or difference prediction shown in the fourth to seventh embodiments. Processing, calculating prediction difficulty level data for each of the I picture, P picture and B picture, and the target data amount T_jIs calculated.
As shown in the second embodiment and the fourth to seventh embodiments, the encoder 18 uses the target data amount T calculated by the host computer 20 for each picture type._jThe delayed video data S16 is compression-encoded based on the above and output as compressed video data VOUT.
[0139]
Normalized prediction
Next, there is a method of normalizing the actual difficulty data according to the value of the actual difficulty data of each picture included in the GOP, calculating the prediction difficulty data from the normalized actual difficulty data, and performing the prediction simple two-pass encoding. .
[0140]
When performing normalization prediction, first, the host computer 20 uses the data amount of each of the I picture, B picture, and P picture generated by the encoder 162 from each picture of the GOP, the value of the DC component after DCT processing, and the power of the AC component. The actual difficulty level data is calculated from the values, and the ratio (I: P: B) of the actual difficulty level data values of the I picture, the B picture, and the P picture is calculated.
[0141]
Next, the host computer 20 normalizes the actual difficulty data of the I picture, the B picture, and the P picture by using the ratio of the calculated actual difficulty data, and calculates temporary prediction difficulty data using the normalized actual difficulty data. To do. Further, the host computer 20 calculates the prediction difficulty data by multiplying the provisional prediction difficulty data by the ratio of each of the I picture, the B picture, and the P picture.
[0142]
Hereinafter, the normalized prediction method will be described more specifically with reference to FIG.
FIG. 13 is a diagram illustrating a method of calculating prediction difficulty level data from actual difficulty level data when a GOP is composed of a plurality of types of pictures in the eighth embodiment. FIG. 13 shows a case where the actual difficulty level data and the prediction difficulty level data calculated from the actual difficulty level data are 15 (L + A, B = 15), respectively, as described above.
[0143]
The encoder 162 includes the data amount of pictures included in the GOP of the video data S12 in the order of I, B, B, P, B, B, P, B, B, P, B, B, P, B, B, and DCT processing. The subsequent DC component value and AC component power value are output to the host computer 20. From these values, the host computer 20 determines the actual difficulty data D indicated by a circle in FIG.₁~ D₁₅Is calculated.
Further, the host computer 20 generates the actual difficulty data D generated.₁~ D₁₅Is normalized. That is, for example, actual difficulty data D₁~ D₁₅Of which, I picture difficulty data D₁Value, P picture difficulty data D_Four, D₇, D_Ten, D₁₃Each value and B picture difficulty data D₂, D_Three, D_Five, D₆, D₈, D₉, D₁₁, D₁₂, D₁₄, D₁₅When the ratio of the respective values, that is, the ratio of the data amount of one I picture, the data amount of one P picture, and the data amount of one B picture is approximately 4: 2: 1, for example, the host computer 20 Is the I picture actual difficulty data D₁Is divided by 4 and P picture actual difficulty data D_Four, D₇, D_Ten, D₁₃Each value is divided by 2, and the actual difficulty data D of the B picture₂, D_Three, D_Five, D₆, D₈, D₉, D₁₁, D₁₂, D₁₄, D₁₅Each value is divided by 1 and normalized to generate normalized actual difficulty data indicated by ● in FIG.
[0144]
Next, the host computer 20 generates provisional prediction difficulty data indicated by x in FIG. 13 by, for example, the simple linear prediction shown in the fifth embodiment.
Further, among the temporary difficulty data indicated by the crosses in FIG. 13, the temporary difficulty data of I picture is multiplied by 4, the temporary difficulty data of P picture is multiplied by 2, and the temporary difficulty data of B picture is Prediction difficulty data D ′ indicated by □ in FIG.₁₆~ D '₃₀Is generated.
[0145]
As in the fifth embodiment, the host computer 20 uses the actual difficulty data D₁~ D₁₅And prediction difficulty data D ′₁₆~ D '₃₀Target data amount T_jIs generated.
The encoder 18 generates a target data amount T generated by the host computer 20._jBased on the above, the delayed video data S16 is compression encoded and output as compressed video data VOUT.
[0146]
【The invention's effect】
  As described above, according to the present inventionEncoderAccording to the method, uncompressed video data can be compressed and encoded to a predetermined data amount or less without using two-pass encoding.
  In addition, according to the video data compression apparatus and method of the present invention, high-quality video can be obtained when compressed video data compression-encoded to a predetermined data amount or less is decompressed and decoded without using two-pass encoding. Can do.
[0147]
  Further, according to the present inventionEncoderAccording to the method, the amount of compressed video data after compression encoding is estimated without using two-pass encoding, and the compression rate is adjusted based on the estimated amount of compressed video data to obtain uncompressed video data. Can be compression-encoded.
  According to the video data compression apparatus and method of the present invention, the non-compressed video data is compressed and encoded while estimating the data amount of the compressed video data after the compression encoding with high accuracy without using the two-pass encoding. Can be
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a video data compression apparatus according to the present invention.
FIG. 2 is a diagram illustrating a configuration of an encoder of a simple two-pass processing unit illustrated in FIG.
FIG. 3 is a diagram showing a configuration of the encoder shown in FIG. 1;
FIGS. 4A to 4C are diagrams illustrating a simple two-pass encoding operation of the video data compression apparatus according to the first embodiment. FIGS.
FIGS. 5A to 5C are diagrams illustrating a simple predictive two-pass encoding operation of the video data compression apparatus according to the second embodiment.
FIG. 6 is a flowchart showing the operation of the video data compression apparatus (FIG. 1) in the second embodiment.
FIGS. 7A to 7C are diagrams illustrating a simple two-pass encoding method performed within the GOP frame by the video data compression apparatus 1 according to the present invention in the third embodiment.
FIGS. 8A to 8C are diagrams showing a simple predictive two-pass encoding method performed within the GOP frame by the video data compression apparatus according to the present invention in the fourth embodiment.
FIG. 9 is a flowchart showing the operation of the video data compression apparatus in the fourth embodiment.
FIG. 10 is a diagram illustrating a method of calculating prediction difficulty data from actual difficulty data by linear prediction in the fifth embodiment.
FIG. 11 is a diagram illustrating a method of calculating prediction difficulty data from actual difficulty data by weighted linear prediction in the sixth embodiment.
FIG. 12 is a diagram illustrating a method of calculating prediction difficulty data from actual difficulty data by difference prediction in the seventh embodiment.
FIG. 13 is a diagram illustrating a method for calculating prediction difficulty level data from actual difficulty level data when a GOP is composed of a plurality of types of pictures in the eighth embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Video data compression apparatus, 10 ... Compression encoding part, 12 ... Encoder control part, 14 ... Motion estimator, 16 ... Simple 2 pass processing part, 160 ... FIFO memory, 162, 18 ... Encoder, 20 ... Host computer

Claims (13)

In the encoding device that encodes the video data using the difficulty data indicating the difficulty of the pattern of the video data,
Encoding means for encoding the video data;
An actual difficulty level data calculating means for encoding the first encoding section of the video data with respect to the video data, and calculating the amount of data after the encoding process as actual difficulty level data;
Prediction difficulty data calculation means for calculating approximate difficulty data that approximates the actual difficulty data of the second encoding section of the video data from the actual difficulty data calculated by the actual difficulty data calculation means as prediction difficulty data; ,
A target code for calculating a target code amount for the picture to be encoded of the video data based on the actual difficulty data calculated by the actual difficulty data calculation means and the prediction difficulty data calculated by the prediction difficulty data calculation means A quantity calculating means;
Encoding control means for controlling the encoding process of the encoding means so that the encoding target picture is encoded so as to be the target code quantity calculated by the target code quantity calculating means;
An encoding device. The actual difficulty level data calculating means calculates the actual difficulty level data in units of pictures,
The prediction difficulty data calculating means calculates the prediction difficulty data in units of pictures,
The encoding apparatus according to claim 1, wherein the target code amount calculation means calculates the target code amount in units of pictures. The encoding device further includes delay means for delaying the video data by L pictures (L is a positive integer),
The actual difficulty level data calculation means, when A, B, j are positive integers and the encoding target picture is the (j) th picture of the video data, the (j−A) th of the video data. The actual difficulty level data is calculated using the (j + L-1) th picture of the first picture to the first coding section ,
The encoding according to claim 2, wherein the prediction difficulty level calculation means calculates the prediction difficulty level data from the (j + L) th picture to the (j + L + B) th picture of the video data as the second encoding section . apparatus. The encoding apparatus according to claim 1, wherein the prediction difficulty data calculation means calculates the prediction difficulty data by approximating the actual difficulty data and a predetermined function. The predetermined function is a linear function represented by a straight line,
The encoding apparatus according to claim 4 , wherein the prediction difficulty level data calculation unit calculates the prediction difficulty level data by performing linear prediction using the linear function. The prediction difficulty level data calculating means calculates average actual difficulty level data that is an average value of the actual difficulty level data in the first encoding section , and calculates based on a square error between the straight line and the actual difficulty level data. has been calculated the average error function indicating an error of the real difficulty data for the real difficulty data, wherein said error function calculated in claim 5 for calculating the predictive difficulty data using the linear function that minimizes Encoding device. The prediction difficulty data calculation means calculates average actual difficulty data that is an average value of the actual difficulty data in the first encoding section , and based on an absolute value of a difference between the straight line and the actual difficulty data, the relative calculated the average real difficulty data calculating an error function that indicates an error of the real difficulty data, said error function calculated in claim 5 for calculating the predictive difficulty data using the linear function that minimizes The encoding device described. The prediction difficulty level data calculating means calculates a weighting coefficient that has a greater influence on the error function as the actual difficulty level data of a picture closer to the encoding target picture, and performs weighted linear prediction using the calculated weighting coefficient. The encoding apparatus according to claim 7 , wherein the prediction difficulty level data is calculated by: The prediction difficulty data calculation means calculates a difference value between the actual difficulty data adjacent in the encoding processing order, and uses the calculated difference value as a value on a quadratic function obtained by integrating the linear function. The encoding apparatus according to claim 5 , wherein the prediction difficulty data is calculated by performing difference prediction that approximates the difficulty data. The predictive difficulty data calculating means calculates a ratio of values of actual difficulty data for each picture type of a picture included in the GOP of the video data, normalizes the actual difficulty data with the calculated ratio, and predicts The prediction difficulty data is calculated by calculating provisional prediction difficulty data of each picture included in the GOP of the video data, and multiplying the calculated provisional prediction difficulty by the ratio. Encoding device. In the encoding method for encoding the video data using the difficulty data indicating the difficulty of the pattern of the video data,
An actual difficulty level data calculating step of encoding the first encoding section of the video data with respect to the video data, and calculating the amount of data after the encoding process as actual difficulty level data;
Wherein the real difficulty data calculated in real difficulty data calculating step, an approximate difficulty data that approximates the real difficulty data of the second encoding section of the video data, and the predictive difficulty data calculating step of calculating a prediction difficulty data ,
Wherein based on said predictive difficulty data calculated in the real difficulty data and the predictive difficulty data calculating step calculated in real difficulty data calculating step, the target code for calculating a target code amount for the encoding target picture of the video data A quantity calculation step;
An encoding step of encoding the encoding target picture so as to be the target code amount calculated in the target code amount calculation step;
An encoding method comprising: In an encoding control apparatus for controlling an encoding process for encoding the video data using difficulty data indicating the difficulty of a picture of the video data,
An actual difficulty level data calculating means for encoding the first encoding section of the video data with respect to the video data, and calculating the amount of data after the encoding process as actual difficulty level data;
Prediction difficulty data calculation means for calculating approximate difficulty data that approximates the actual difficulty data of the second encoding section of the video data from the actual difficulty data calculated by the actual difficulty data calculation means as prediction difficulty data; ,
A target code for calculating a target code amount for the picture to be encoded of the video data based on the actual difficulty data calculated by the actual difficulty data calculation means and the prediction difficulty data calculated by the prediction difficulty data calculation means A quantity calculating means;
Encoding control means for controlling an encoding process for encoding the encoding target picture so as to be the target code quantity calculated by the target code quantity calculating means;
An encoding control apparatus having In an encoding control method for controlling an encoding process for encoding the video data using difficulty data indicating the difficulty of a picture of the video data,
An actual difficulty level data calculating step of encoding the first encoding section of the video data with respect to the video data, and calculating the amount of data after the encoding process as actual difficulty level data;
Wherein the real difficulty data calculated in real difficulty data calculating step, an approximate difficulty data that approximates the real difficulty data of the second encoding section of the video data, and the predictive difficulty data calculating step of calculating a prediction difficulty data ,
Wherein based on said predictive difficulty data calculated in the real difficulty data and the predictive difficulty data calculating step calculated in real difficulty data calculating step, the target code for calculating a target code amount for the encoding target picture of the video data A quantity calculation step;
Such that the target code amount calculated in the target code amount calculation step, the coding control step of controlling an encoding process of encoding the encoding target picture,
An encoding control method comprising:

Images