WO2002080572A1

WO2002080572A1 - Image processing apparatus, image processing method, image processing program, and recording medium

Info

Publication number: WO2002080572A1
Application number: PCT/JP2002/003060
Authority: WO
Inventors: Akira Sugiyama; Haruo Togashi
Original assignee: Sony Corporation
Priority date: 2001-03-29
Filing date: 2002-03-28
Publication date: 2002-10-10
Also published as: JPWO2002080575A1; US20040131116A1; WO2002080575A1; JPWO2002080572A1; US7289676B2; US20040114816A1

Description

明細画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体技術分野

この発明は、画像信号をブロック単位で量子化して画像信号の圧縮符号化を行い、その際に、フレーム毎の符号量が一定量以下になるように発生符号量を制御する画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体に関する。背景技術

従来から、画像データの圧縮符号化方式として、画像データを所定画素数から成るブロック単位で量子化を行うことで圧縮符号化するものが知られている。例えば M P E G 2 (Moving Pictures Experts Group 2) では、このような圧縮符号化方式が採用されている。 MP EG 2では、画像データを所定画素数から成るブロック単位で D C T (Discrete Cosi ne Transform)し、得られた D C T係数に対して量子化を行うことで、画像データを圧縮符号化する。 MP E G 2では、量子化の際の量子化ステツプが量子化スケールにより指定されて、 D CT係数の圧縮符号化が行われる。

従来より、例えばこの MP E G 2の圧縮符号化において、圧縮する画像の複雑さや滑らかさを示すァクティビティ（Activity)という指数を算出し、このアクティビティに基づく適応量子化を用いて画質の最適化を図る方法が知られている。

これは、圧縮処理による画質劣化が視覚的に目立ちやすい、画像が単調で滑らかな領域（以下、平坦領域という）では、量子化ステップの細かい量子化スケールを用いて細かく量子化し、これと反対に、画質劣化の目立ちにくい画像が複雑な領域では、量子化ステップの粗い量子化スケ一ルを用いて粗く量子化を行なう手法であり、限られた符号量の中で画質の最適化を図る有効な手法である。

ところで、画像データの圧縮を行なう場合、上述したように、各画像の領域を所定サイズの画素ブロックに分割し、各プロック毎に量子化や D C Tを行なうことになる。 M P E G 2による規格では、 8画素 x 8ラィンのブロックが最小処理単位として規定される。この 8画素 X 8ラインのブロックで D C Tを行ない、この D C Tにより得られた D C T係数を、 1 6画素 X 1 6ラインのマクロブロック単位で量子化するように規定されている。

一方、上述したアクティビティの算出を行なう単位としては、明確な規定はないものの、 M P E G 2の T M 5 (Tes t Mode l 5)においては、 D C Tブロックと同様の 8画素 X 8ラインのサブブロックで処理することが提案されている。

以下、 M P E G 2の T M 5で採用された「視覚特性を考慮した適応量子化」におけるァクティビティの算出方法について説明する。

先ず、適応量子化とは、例えば 1フレーム単体での発生符号量を制御するために、画像の状態によって異なる量子化スケール Q j を用いて量子化を行うように、量子化スケール Q j を各マクロブロック毎のァクテイビティにより変化させて、高画質を達成するものである。例えば、視覚的に画質劣化の目立ちやすい画像の平坦領域では、より細かい量子化ステップを有する量子化スケール Q j を用いて量子化を行い、画質劣化の比較的目立ちにくい絵柄の複雑な画像領域で、より粗い量子化ステツプを有する量子化スケール Q j を用いて量子化を行うように、ァクティビティにより量子化スケール Q j を変化させる。アクティビティは、予測誤差でなく、原画における輝度信号の画素値を用い、フレーム D C T符号化モードにおける 4個のブロックと、フィ —ルド D C T符号化モードにおける 4個のブロックとの合計 8個のブロックの画素値を用いて算出される。例えば、 j番目のマクロブロックについて、以下の式（ 1 ) 〜式（3) で与えられる演算を、式（3) 、式 ( 2) 、式（ 1 ) の順に行なうことにより、アクティビティ act)が求められる。

act) = 1 + min[sblk=l, 8] (var_sblk) · · · ( 1 )

var_sblk = 1/64 ∑ [k=l, 64] (Pk ― Pavg)² - · · ( 2)

Pavg = 1/64 ∑ [k=l, 64] P_k · · · ( 3 )

ここで、 P_kは、原画の輝度信号ブロック内の画素値であり、式（ 3) では 8x8のブロック内の 6 4個の画素値を合計し、これを 6 4で割ることにより、ブロック内の画素値 P_kの平均値 Pavgを求めている。次に、式（ 2) では、平均値 Pavgと画素値 P_kそれぞれとの差分をとり、 8x8 のブロック内の平均差分値 var_sblkを算出している。さらに、式（ 1 ) において、平均差分値 var— sblkの最小値を採用し、 j番目のマクロプロックのアクティビティ actjを求める。なお、ここで最小値を採用するのは、マクロブロック内の一部だけでも平坦な部分のある場合には、このマクロプロックに対する量子化を細かくする必要があるからである。そして、 MP E G 2の TM 5では、以上のようにして求めた各マクロブロックのアクティビティ act)から、「2. 0」〜「0. 5」の範囲の値をとる正規化アクティビティ Nactj を、次の式（4) より求める。 Nac t j = (2xac t j + avg_ac t)/(ac tj + 2xavg_ac t) · · · (4)

ここで、「avg_act」は、現在処理中のフレーム（ピクチャ）の 1つ前に符号化したフレームにおけるアクティビティ actjの平均値（平均ァクテイビティ）である。そして、視覚特性を考慮した量子化スケール niQuantj は、 1フレームの発生符号量を制御するために別途求められた量子化スケール Qi に基づいて、次の（5 ) 式で与えられる。

5 )

このような量子化スケール mquantjを用いて各マクロブロックの量子化を行なうことにより、 1フレームの全体の符号量を所定の範囲内に保ちながら、そのフレームにおける画像の平坦度や複雑度に応じた最適な量子化を行ない、限られた符号量を有効に用いて画像の品位をできるだけ劣化させることなく効率的な画像圧縮を行なう。

ところで、フレーム間でシーンチェンジがあった場合には、シーンチェンジの前後で画像の状態が大きく変化することになり、フレーム間の相関性が損なわれることになる。

第 1図 A、第 1図 B、第 1図 Cおよび第 1図 Dは、従来技術により正規化ァクティビティ Nactjを求める場合の一例の処理を示す。第 1図 A は、フレーム信号であり、一組の口一およびハイで 1フレームが示される。第 1図 Bは、入力されるピクチャを示す。 1 ピクチャが 1フレームに対応する。インタレース走査では、 1フレームが前半の第 1フィールドおよび後半の第 2フィールドの 2フィールドからなる。

このような入力ピクチャに対して正規化ァクティビティ Nactjを求める場合について説明する。上述したように、 MP E G 2では、ブロック単位で処理を行うため、ライン毎に入力された画像信号をブロックデー夕に変換し、所定画素サイズのブロックを形成する必要がある。 1 6画素 X 1 6ラインでブロックを形成する場合、あるフレームの第 2フィ一ルドの最初の 8ラインのデ一夕が入力されて、当該フレームの最初のブロックが形成可能となる。したがって、入力ピクチャに対する正規化ァクティビティ Nactjが求められるまでには、第 1図 Cに示されるように, 入力ピクチャに対して、少なくとも 1フィールド（ 0. 5フレーム） + 8ライン分のディレイが発生する。

入力ピクチャに対する 0 · 5フィールド + 8ライン分のディレイ後に、第（N— 1 ) ピクチャの平均アクティビティ avg_actが、第（N— 1 ) ピクチャの 1フレームすなわち第 1および第 2フィールドを用いて計算される。この第（N— 1 ) ピクチャの平均アクティビティ avg_actを用いて求められた正規化アクティビティ Nactjに基づき上述の式（ 5 ) で求められた量子化スケール mquantjが算出される。この量子化スケール m quan により次の第 Nピクチヤの量子化が行われ、出力ピクチャが生成される（第 1図 D) 。

ここで、入力ピクチャにおいて、第 Nピクチヤから第（N+ 1 ) ピクチヤに移行する際にシーンチェンジが発生した場合について考える。この場合、第 1図 Dに示されるように、シーンチェンジ後の入力ピクチャである第（N+ 1 ) ピクチャは、シーンチェンジ前の出力ピクチャ（第 Nピクチャ）の平均アクティビティ avg_actにより求められた正規化ァクティビティ Nactjに基づき得られた量子化スケール mquantjを用いて量子化され、出力ピクチャとされる。

このように、上述の従来技術による方法では、正規化アクティビティ Nactjを得る際に、 1つ前に符号化したフレームの平均ァクティビティ a vg— actを用いている。フレーム間でのシーンチェンジなどのように、フレーム間の相関性が損なわれた場合に、シーンチェンジ前のフレームから求めた平均ァクティビティ avg_actを用いてシーンチェンジ後のフレームのアクティビティを正規化すると、シーンチェンジ後のフレームを正規化するために用いられた平均ァクティビティ avg_actは、シーンチェンジ後のフレームの平均ァクティビティ avg_actとしては間違った値となってしまう。そのため、シーンチェンジ後のフレームでは、ァクティビティの正規化を最適に行えず、却って画質の劣化を生じてしまうという問題点があった。

したがって、この発明の目的は、 1フレーム内の発生符号量を制御する際に、適応量子化を用いて画質の最適化を行う場合に、フレーム間でシーンチェンジが発生しても正確に適応量子化を行うことができる画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体を提供することにある。発明の開示

この発明は、上述した課題を解決するために、画像データの第 1フィールドから平均アクティビティを算出する平均ァクティビティ算出手段と、平均ァクティビティ算出手段により第 1フィールドから算出された平均アクティビティを、第 1フィールドと、第 1フレームと同一フレームの第 2フィールドとに適用して正規化ァクティビティを算出する正規化アクティビティ算出手段と、正規化アクティビティ算出手段により算出された正規化ァクティビティを用いて第 1フィールドおよび第 2フィ —ルドを量子化する量子化手段とを有することを特徴とする画像処理装置である。

また、この発明は、画像デ一夕の第 1フィールドから平均ァクテイビティを算出する平均アクティビティ算出のステップと、平均ァクテイビティ算出のステップにより第 1フィールドから算出された平均ァクティビティを、第 1フィールドと、第 1フレームと同一フレームの第 2フィ一ルドとに適用して正規化ァクティビティを算出する正規化ァクティビティ算出のステップと、正規化ァクティビティ算出のステップにより算出された正規化ァクティビティを用いて第 1フィールドおよび第 2フィールドを量子化する量子化のステツプとを有することを特徴とする画像処理方法である。

また、この発明は、画像データを量子化する画像処理方法をコンビュ一夕装置に実行させる画像処理プログラムにおいて、画像処理方法は、画像デ一夕の第 1フィールドから平均ァクティビティを算出する平均ァクテイビティ算出のステップと、平均アクティビティ算出のステップにより第 1フィールドから算出された平均アクティビティを、第 1フィールドと、第 1フレームと同一フレームの第 2フィールドとに適用して正規化ァクティビティを算出する正規化ァクティビティ算出のステップと、正規化ァクティビティ算出のステップにより算出された正規化ァクティビティを用いて第 1フィールドおよび第 2フィールドを量子化する量子化のステップとを有することを特徴とする画像処理プログラムである。

また、この発明は、画像データを量子化する画像処理方法をコンビュ一夕装置に実行させる画像処理プログラムが記録された記録媒体において、画像処理方法は、入力された画像データの第 1フィールドから平均アクティビティを算出する平均アクティビティ算出のステップと、平均アクティビティ算出のステップにより第 1フィールドから算出された平均アクティビティを、第 1フィールドと、第 1フレームと同一フレームの第 2フィールドとに適用して正規化ァクティビティを算出する正規化アクティビティ算出のステップと、正規化ァクティビティ算出のステツプにより算出された正規化ァクティビティを用いて第 1フィールドおよび第 2フィールドを量子化する量子化のステップとを有することを特徴とする記録媒体である。

上述したように、この発明は、画像データの第 1フィールドから算出された平均ァクティビティが第 1フィールドと、第 1フレームと同一フレームの第 2フィールドとに適用されて算出された正規化ァクティビティを用いて第 1フィールドおよび第 2フィールドを量子化するようにしているため、 1フレームの画像データの量子化を、自分自身の画像デ一夕に基づく正規化ァクティビティを用いて、小さいシステムディレイで行うことができる。図面の簡単な説明

第 1図 A、第 1図 B、第 1図 Cおよび第 1図 Dは、従来技術により正規化ァクティビティ Nac を求める場合の一例の処理を示すタイムチヤート、第 2図 A、第 2図 B、第 2図（：、第 2図 D、第 2図 Eおよび第 2 図 Fは、この発明の実施の第 1の形態により正規化ァクティビティ Nac t )を求める場合の一例の処理を示すタイムチャート、第 3図 A、第 3図 B、第 3図 C、第 3図 D、第 3図 Eおよび第 3図 Fは、正規化を行なうフレームの平均ァクティビティ avg_ac tを予め算出して当該フレームのアクティビティを正規化する場合の一例の処理を示すタイムチャート、第 4図 Aおよび第 4図 Bは、この発明の実施の一形態が適用されたディジタル V T Rの一例の構成を示すブロック図、第 5図 A、第 5図 Bおよび第 5図 Cは、 M P E Gエンコーダの一例の構成をより具体的に示すブロック図、第 6図 A、第 6図 Bおよび第 6図 Cは、 M P E Gエンコーダの各部において転送されるストリ一ムの構成例を示す略線図、第 7図 A，第 7図 Bおよび第 7図 Cは、 M P E Gエンコーダの各部において転送されるストリームの構成例を示す略線図、第 8図 Aおよび第 8図 Bは、 M P E Gエンコーダの各部において転送されるストリームの構成例を示す略線図、第 9図 Aおよび第 9図 Bは、 M P E Gエンコーダの各部において転送されるストリームの構成例を示す略線図、第 1 0図 A、第 1 0図 Bおよび第 1 0図 Cは、 M P E Gエンコーダの各部において転送されるストリームの構成例を示す略線図、第 1 1図 A、第 1 1図 Bおよび第 1 1図 Cは、 M P E Gエンコーダの各部において転送されるストリームの構成例を示す略線図、第 1 2図は、 M P E Gエンコーダの各部において転送されるストリームの構成例を示す略線図、第 1 3図は、 M P E Gェンコーダの処理をソフトウエアで行う場合の一例のフローチヤ一ト、第 1 4図は、この発明の実施の一形態でァクティビティを算出する場合のブロック化を説明するための図である。発明を実施するための最良の形態

以下、この発明について、図面を参照しながら説明する。この発明では、あるフレームの正規化アクティビティ Nac t jを、当該フレームの第 1フィールドの画像デ一夕から求めた平均ァクティビティ avg_ac tを用いて算出するようにしている。なお、この発明の実施の一形態においても、平均ァクティビティ avg_ac tおよび正規化ァクティビティ Nac t jは、従来の技術で式（ 1 ) 〜式（5 ) を用いて既に説明した方法に基づき算出することができる。

第 2図 A、第 2図 B、第 2図 C、第 2図 D、第 2図 Eおよび第 2図 F は、この発明の実施の第 1の形態により正規化ァクティビティ Nac t jを求める場合の一例の処理を示す。第 2図 Aは、フレーム信号であり、一組のローおよびハイで 1フレームが示される。第 2図 Bは、入力されるピクチャを示す。 1ピクチャが 1フレームに対応する。イン夕レース走査では、 1フレームが前半の第 1フィールドおよび後半の第 2フィ一ルドの 2フィールドからなる。ここでは、第 Nピクチヤに対する処理について考える。また、 1 6画素 X 1 6ラインのマクロブロック単位で、平均アクティビティ avg_ac tが算出されるものとする。

第 1フィールドのデータだけを用いて計算を行うため、第 1フィ一ルドの最初の 8ラインが入力されバッファに溜め込まれた時点でマクロブロックの第 1フィ一ルド分の最初のデータが得られ、平均ァクティビティ avg— actの計算を開始することができる。したがって、第 Nピクチヤが入力されてから計算開始までのディレイは、第 2図 Cに示されるように、最小で 8ライン分となる。

第 Nピクチャの第 1フィールドのデータが全て入力され、当該第 1フィ一ルドの平均アクティビティ avg_actが算出されると、算出結果が第 1および第 2フィールドに適用され、第 Nピクチャの正規化ァクティビティ Nactjが求められる（第 2図 E) 。この正規化アクティビティ Nactj と、後述する方法により別途に求められた量子化スケール Qjにより上述した式（ 5) の演算が行われ、視覚特性を考慮した量子化スケール mq auntjが算出される。この量子化スケール mqauntjにより、当該第 Nピクチヤが量子化される。

第 Nピクチヤの正規化ァクティビティ Nactjが第 Nピクチヤの第 1 フィールドの平均ァクティビティ avg_actだけから求められているので、第 Nピクチヤが入力されてから、視覚特性を考慮した量子化スケール mq auntjにより第 Nピクチヤの適応量子化が行われるまでのディレイは、第 2図 Fに示されるように、 0. 5フレーム + αとなる。

ここで、入力ピクチャにおいて、第 Νピクチヤから第（N+ 1 ) ピクチャに移行する際にシーンチェンジが発生したことを考える。この発明によれば、上述のように、第 Νピクチヤ自身の第 1フィールドから算出された平均アクティビティ avg_actを用いて、第 Nピクチヤの正規化ァクテイビティ Nactjが求められる。つまり、この発明では、従来技術で説明したように、正規化ァクティビティ Nactjを求める際に前のフレームの平均ァクティビティを用いないため、フレーム間でシーンチェンジがあった場合にも、適正に正規化ァクティビティ Nactjを算出することができる。これにより、シーンチェンジ直後の画質の劣化を防止できる < したがって、例えばフレーム単位で編集を行なうような場合にも、良好な画質を得ることができる。

なお、正規化を行なうフレームの平均ァクティビティ avg_ac tを予め算出し、これに基づいて当該フレームのァクティビティを正規化するという方法も考えられる。この方法によれば、フレーム間のシーンチェンジにかかわらず、最適な平均アクティビティ avg— ac tを用いてァクティビティの正規化を行なうことが可能となる。

第 3図 A、第 3図 B、第 3図 C、第 3図 D、第 3図 Eおよび第 3図 F は、この正規化を行なうフレームの平均ァクティビティ avg— ac tを予め算出して当該フレームのアクティビティを正規化する場合の一例の処理を示す。ここで、第 3図 Aおよび第 3図 Bは、上述の第 1図 Aおよび第 1図 Bと同一である。この第 3図の例では、第 3図 Dに示されるように. 量子化を行うピクチャ（例えば第 Nピクチヤ）のデータ全てが、すなわち、第 Nピクチヤの第 1および第 2フィールドがバッファに格納されたら、バッファに格納されたデータを用いて当該ピクチャの平均ァクティビティ avg_ac tを算出している。

この場合でも、当該ピクチャ（第 Nピクチャ）が入力されてから少なくとも 0 . 5フィールド + 8ライン分のディレイの後に、平均ァクティビティ avg— ac tの計算が行われる（第 3図 Cおよび第 3図 D ) 。そして, 求められた当該ピクチヤの平均ァクティビティ avg— ac tを用いて自分自身の正規化アクティビティ Nac t jを求めている。

自分自身のデータに基づき計算された平均ァクティビティ avg_ac tを用いて該ピクチャの正規化ァクティビティ Nac t jを求めるため、例えば第 Nピクチヤの直後にシーンチェンジが発生ししても、適正な正規化ァクテイビティ Nac t jを算出できる（第 3図 E ) 。

しかしながら、この場合には、当該ピクチャの第 1および第 2フィールド全てのデータを用いて平均ァクティビティ avg_ac tを計算した後、当該ピクチャのアクティビティの正規化を開始することになるため、平均ァクティビティ avgjc tの計算から正規化までのディレイ（システムディレイ）が大きくなつてしまう。

第 3図 A、第 3図 B、第 3図（：、第 3図 D、第 3図 Eおよび第 3図 F の例では、第 Nピクチヤが入力されてから 0 . 5フレーム + 8ラインのディレイの後に平均ァクティビティ avg_ac tの計算が開始される。さらに、第 Nピクチヤの第 1および第 2フィールド全ての平均ァクティビティ avg_ac tが計算された後に、アクティビティの正規化が行われるので，少なくとも 1フレーム分のディレイが加算される。すなわち、全体のディレイ量（システムディレイ）は、第 3図 Fに示されるように、少なくとも 1 . 5フレーム + ひとなってしまう。

このようにシステムディレイが大きくなると、例えばリアルタイム編集などの用途には向いていないといえ、特に放送局用の映像機器として使用するには問題があると思われる。また、 1ピクチャ分の平均ァクテイビティ avg— ac tが計算された後に、当該ピクチャの正規化が行われるので、当該ピクチャの第 1および第 2フィールドのデ一夕を保持するためのバッファメモリも必要となり、必要なバッファメモリの容量が増加してしまう。

これに対し、上述の第 2図 A、第 2図 B、第 2図 C、第 2図 D、第 2 図 Eおよび第 2図 Fを用いて説明したこの発明による方法では、平均ァクテイビティを第 1フィールドだけから求めているので、正規化ァクテイビティを算出するフレーム（2フィールド）全体から平均ァクテイビティを算出する場合に比べて、短い演算時間で実現でき、システムディレイを短縮できる。したがって、画像圧縮処理の時間を短縮でき、 V T Rやエンコーダなどの各種動作処理に対する時間的制約を軽減することが可能となる。なお、 VTR等におけるシーンチェンジは、特別な編集処理を行なわない限り、通常はフレーム単位で生じるものであるので、各フレームの第 1フィールドを用いて当該フレームを処理することで、シーンチェンジの影響を受けないようにし得るものである。

次に、この発明の実施の一形態について説明する。なお、以下に説明する実施の一形態は、この発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、この発明の範囲は、以下の説明において、特に本発明を限定する旨の記載がない限り、これらの態様に限定されないものとする。

第 4図 Aおよび第 4図 Bは、この発明の実施の一形態が適用されたデイジタル VTRの一例の構成を示す。このディジタル VTRは、 MP E G方式により圧縮符号化されたディジ夕ルビデオ信号を記録媒体に直接的に記録することができるようにしたものである。

先ず、このディジ夕ル VTRにおける記録系の構成および処理動作について説明する。この記録系に外部より入力される信号は、 S D I (Ser ial Data Inter face)信号および S D T I (Serial Data Transport Inte rface)信号の 2種類のシリアルディジ夕ルイン夕ーフェイス信号、アナ口グインターフェイス信号および制御信号である外部基準信号 R E Fである。

なお、 S D Iは、（4 ： 2 ： 2 ) コンポーネントビデオ信号とデイジ夕ルオーディォ信号と付加的データとを伝送するために、 SMP TEによって規定されたインターフェイスである。また、 S DT Iは、デイジタルビデオ信号が MP E G方式で圧縮符号化されたストリームである M P E Gエレメン夕リストリーム（以下、 MP E G E Sと称する）が伝送されるイン夕一フェイスである。 E Sは、 4 : 2 : 2のコンポーネントであり、また、上述したように、全て I ピクチャのストリームであり, 1 GO P = 1ピクチャの関係を有する。 S D T I — C P (Content Packa ge)のフォーマットでは、 MP EG E Sがアクセスユニットへ分離され、また、フレーム単位のパケットにパッキングされている。 S DT I 一 C Pでは、十分な伝送帯域（クロックレートで 2 7 MHzまたは 3 6 M Hz、ストリームビットレートで 2 7 0M bpsまたは 3 6 0 M bps) を使用しており、 1フレーム期間で、バースト的に E Sを送ることが可能である。

S D Iにより伝送される S D I信号は、 S D I入力部 1 0 1に入力される。また、アナログビデオ信号からなるアナログ入力信号がアナログ入力部 1 20に入力される。アナログ入力部 1 2 0では、入力されたァナログ入力信号をディジ夕ル信号に変換し、例えば上述の SD I フォーマットにマッピングして出力する。アナログ入力信号が変換され S D I フォーマットにマッピングされたこの S D I信号は、 S D I入力部 1 0 1に供給される。

S D I入力部 1 0 1では、供給された S D I信号をシリアル信号からパラレル信号に変換して出力すると共に、 S D I信号に含まれる入力の位相基準である入力同期信号を抽出し、タイミングジェネレータ TG 1 0 2に出力する。

また、 SD I入力部 1 0 1は、変換したパラレル信号からビデオ信号とオーディオ信号とを分離する。分離されたビデオ入力信号とオーディォ入力信号は、それぞれ MP EGエンコーダ 1 0 3とディレイ回路 1 0 4に出力される。

タイミングジェネレータ TG 1 02は、入力された外部基準信号 R E Fから基準同期信号を抽出する。タイミングジェネレータ TGでは、この基準同期信号と S D I入力部 1 0 1から供給された入力同期信号とのうち、所定に指定された基準信号に同期して、このディジタル VTRで必要なタイミング信号を生成し、タイミングパルスとして各ブロックに供給する。

MP EGエンコーダ 1 0 3は、入力されたビデオ入力信号を、 DCT 変換して係数データに変換し、係数データを量子化した後、可変長符号化する。 MP E Gエンコーダ 1 0 3から出力される可変長符号化（VL C) データは、 MP E G 2に準拠したエレメンタリストリーム（E S) である。この出力は、記録側のマルチフォーマットコンバータ（以下、記録側 MF Cと称する） 1 0 6の一方の入力端に供給される。

ディレイ回路 1 04は、入力されたオーディオ入力信号を、非圧縮デ一夕のままで、 MP E Gエンコーダ 1 0 3でのビデオ信号に対する処理のディレイに合わせるためのディレイラインの働きをするものである。このディレイ回路 1 04で所定に遅延されたオーディォ信号は、 E C C エンコーダ 1 0 7に出力される。これは、この実施の一形態によるディジ夕ル VTRにおいて、オーディォ信号が非圧縮信号として扱われるためである。

外部から SDT Iにより伝送され供給された S DT I信号は、 S DT I入力部 1 0 5に入力される。 S DT I信号は、 S DT I入力部 1 0 5 で同期検出される。そして、バッファに一旦溜め込まれ、エレメンタリストリームが抜き出される。抜き出されたエレメン夕リストリームは、記録側 MF C 1 0 6の他方の入力端に供給される。同期検出されて得られた同期信号は、上述したタイミングジェネレータ TG 1 02に供給される（図示しない）。

なお、 SDT I入力部 1 0 5では、さらに、入力された SDT I信号からディジ夕ルオーディォ信号を抽出する。抽出されたディジ夕ルオーディォ信号は、 E C Cエンコーダ 1 0 7に供給される。

このように、この実施の一形態によるディジタル VTRは、 SD I入力部 1 0 1から入力されるベースバンドのビデオ信号と独立して、 MP EG E Sを直接的に入力することができる。

記録側 MF C回路 1 0 6は、ストリームコンバータとセレクタとを有し、 SD I入力部 1 0 1および SDT I入力部 1 0 5から供給された M P EG E Sのうち、何れかが選択され、選択された MP EG E Sの D C T係数を、 1マクロブロックを構成する複数の D C Τプロックを通して周波数成分毎にまとめ、まとめた周波数成分を低周波数成分から順に並び替える。 MP EG E Sの係数が並べ替えられたストリームを、以下、変換エレメンタリス卜リームと称する。このように MP EG E Sを再配置することにより、サーチ再生時にもなるベく多くの D C係数と低次の AC係数を拾い、サーチ画の品位向上に貢献している。変換ェレメン夕リストリームは、 ECCエンコーダ 1 07に供給される。

E C Cエンコーダ 1 0 7は、大容量のメインメモリが接続され（図示しない）、パッキングおよびシャフリング部、オーディオ用外符号ェンコーダ、ビデオ用外符号エンコーダ、内符号エンコーダ、オーディオ用シャフリング部およびビデオ用シャフリング部などを内蔵する。また、 E C Cエンコーダ 1 0 9は、シンクブロック単位で I Dを付加する回路や、同期信号を付加する回路を含む。なお、実施の第 1の形態では、ビデォ信号およびオーディォ信号に対するエラー訂正符号としては、積符号が使用される。積符号は、ビデオ信号またはオーディオ信号の 2次元配列の縦方向に外符号の符号化を行い、その横方向に内符号の符号化を行い、データシンポルを 2重に符号化するものである。外符号および内符号としては、リードソロモンコード（Reed-Solomon code) を使用できる。

E C Cエンコーダ 1 0 7には、 MF C回路 1 06から出力された変換エレメンタリストリ一ムが供給されると共に、 0丁 1入カ部 1 0 5ぉよびディレイ回路 1 0 4から出力されたオーディォ信号が供給される。 E C Cエンコーダ 1 0 7では、供給された変換エレメンタリストリーム及びオーディォ信号に対してシャフリング及びエラ一訂正符号化を施し. シンクブロック毎に I Dおよび同期信号を付加し記録データとして出力する。

E C Cエンコーダ 1 0 7から出力された記録データは、記録アンプを含むイコライザ E Q 1 0 8で記録 R F信号に変換される。記録 R F信号は、回転ヘッドが所定に設けられた回転ドラム 1 0 9に供給され、磁気テープ 1 1 0上に記録される。回転ドラム 1 0 9には、実際には、隣接するトラックを形成するへッドのアジマスが互いに異なる複数の磁気へッドが取り付けられている。

記録デ一夕に対して必要に応じてスクランブル処理を行っても良い。また、記録時にディジタル変調を行っても良く、さらに、パーシャル，レスポンスクラス 4とビ夕ビ符号を使用しても良い。なお、イコライザ 1 0 8は、記録側の構成と再生側の構成とを共に含む。

次に、このディジタル V T Rにおける再生系の構成および処理動作について説明する。再生時には、磁気テープ 1 1 0から回転ドラム 1 0 9 で再生された再生信号が再生アンプなどを含むィコライザ 1 0 8の再生側の構成に供給される。イコライザ 1 0 8では、再生信号に対して、等化や波形整形などがなされる。また、ディジタル変調の復調、ビ夕ビ復号等が必要に応じてなされる。イコライザ 1 0 8の出力は、 E C Cデコ —ダ 1 1 1に供給される。

E C Cデコーダ 1 1 1は、上述した E C Cエンコーダ 1 0 7と逆の処理を行うもので、大容量のメインメモリと、内符号デコーダ、オーディォ用およびビデオ用それぞれのデシャフリング部ならびに外符号デコ一ダを含む。さらに、 E C Cデコーダ 1 1 1は、ビデオ用として、デシャフリングおよびデパッキング部、データ補間部を含む。同様に、オーディォ用として、オーディォ A U X分離部とデ一夕補間部を含む。

E C Cデコーダ 1 1 1では、再生データに対して同期検出を行い、シンクブロックの先頭に付加されている同期信号を検出してシンクブロックを切り出す。再生データは、シンクブロック毎の内符号のエラー訂正がなされ、その後、シンクブロックに対して I D補間処理がなされる。 I Dが補間された再生デ一夕は、ビデオデータとオーディォデ一夕とに分離される。ビデオデータおよびオーディオデータは、それぞれデシャフリング処理され、記録時にシャフリングされたデータ順が元に戻される。デシャフリングされたデータは、それぞれ外符号のエラー訂正が行われる。

E C Cデコーダ 1 1 1において、エラ一訂正能力を超え、訂正できないエラーがあるデ一夕に関しては、エラーフラグがセットされる。ここで、ビデオデータのエラ一に関しては、エラ一を含むデータを指し示す信号 E R Rが出力される。

エラー訂正された再生オーディォデ一夕は、 S D T I出力部 1 1 5に供給されると共に、ディレイ回路 1 1 4で所定の遅延を与えられて S D I出力部 1 1 6に供給される。ディレイ回路 1 1 4は、後述する M P E Gデコーダ 1 1 3でのビデオデータの処理による遅延を吸収するために設けられる。

一方、エラ一訂正されたビデオデータは、再生変換エレメン夕リストリームとして再生側 M F C回路 1 1 2に供給される。上述した信号 E R Rも、再生側 M F C回路 1 1 2に供給される。再生側 M F C 1 1 2は、上述した記録側 M F C 1 0 6と逆の処理を行うものであって、ストリ一ムコンバータを含む。ストリームコンバータでは、記録側のストリームコンバータと逆の処理がなされる。すなわち、 D C Tブロックに跨がつて周波数成分毎に並べられていた D C T係数を、 D CTブロック毎に並び替える。これにより、再生信号が MP E G 2に準拠したエレメンタリストリームに変換される。このとき、 E C Cデコーダ 1 1 1から信号 E RRが供給された場合は、対応するデータを MP EG 2に完全に準拠する信号に置き換えて出力する。

再生側 MF C回路 1 1 2から出力された MP E G E Sは、 MP E G デコーダ 1 1 3および S DT I出力部 1 1 5に供給される。 MP E Gデコーダ 1 1 3は、供給された MP E G E Sを復号し、非圧縮の元のビデォ信号に戻す。すなわち、 MP E Gデコーダ 1 1 3は、供給された M P E G E Sに対して逆量子化処理と、逆 D CT処理とを施す。復号されたビデオ信号は、 S D I出力部 1 1 6に供給される。

上述したように、 50 1出カ部 1 1 6には、 E C Cデコーダ 1 1 1でビデオデータと分離されたオーディオデータがディレイ 1 1 4を介して供給されている。 30 1出カ部 1 1 6では、供給されたビデオデータとオーディオデータとを、 S D Iのフォーマットにマッピングし、 S D I フォーマツトのデータ構造を有する S D I信号へ変換される。この S D I信号が外部に出力される。

一方、 S DT I出力部 1 1 5には、上述したように、 E C Cデコーダ 1 1 1でビデオデータと分離されたオーディオデータが供給されている' S DT I出力部 1 1 5では、供給された、エレメン夕リストリームとしてのビデオデータと、オーディオデータとを S D T I のフォーマツ卜にマッピングし、 S DT I フォーマツ卜のデータ構造を有する S DT I信号へ変換されるこの S DT I信号が外部に出力される。

なお、システムコントローラ 1 1 7 (第 4図 Aおよび第 4図 B中では, シスコン 1 1 7と略記）は、例えばマイクロコンピュータからなり、信号 S Y I〇により各ブロックと通信を行うことにより、このディジ夕ル VT Rの全体の動作を制御する。サーポ 1 1 8は、信号 SY— S Vによりシステムコントローラ 1 1 7と互いに通信を行いながら、信号 S V — I〇により、磁気テープ 1 1 0の走行制御や回転ドラム 1 0 9の駆動制御などを行う。

第 5図 A、第 5図 Bおよび第 5図 Cは、上述した MP E Gエンコーダ 1 0 3の一例の構成を、より具体的に示す。また、第 5図 A、第 5図 B および第 5図 Cの各部において転送されるストリームの構成例を、第 6 図 A、第 6図 Bおよび第 6図 C、第 7図 A、第 7図 Bおよび第 7図 C、第 8図 Aおよび第 8図 B、第 9図 Aおよび第 9図 B、第 1 0図 A、第 1 0図 Bおよび第 1 0図 C、第 1 1図 A、第 1 1図 Bおよび第 1 1図 C、ならびに、第 1 2図にそれぞれ示す。

MP EGエンコーダ 1 0 3は、入カフィ一ルドアクティビティ平均化処理部 1 0 3 A、プリエンコード処理部 1 0 3 Bおよびェンコ一ド部 1 0 3 Cからなる。入力フィールドァクティビティ平均化処理部 1 0 3 A では、入力されたビデオデータのアクティビティの平均値が求められてプリェンコ一ド処理部 1 03 Bに渡される。プリェンコ一ド処理部 1 0 3 Bでは、このアクティビティの平均値を用いて入力ビデオデ一夕の量子化による発生符号量が見積もられる。この見積もり結果に基づき、ェンコード部 1 0 3 Cにおいて、符号量制御しながら入力ビデオデータに対する実際の量子化が行われ、量子化されたビデオデータに対しさらに可変長符号化がなされ、 MP EG E Sとされて出力される。

なお、タイミングジェネレータ TG 2 2 0は、例えば第 4図 Aおよび第 4図 Bのタイミングジェネレータ TG 1 0 3から供給された水平同期信号 HD、垂直同期信号 VDおよびフィールド同期信号 F LDに基づき， MP EGエンコーダ 1 0 3内で必要とされるタイミング信号を生成し出力する。また、 C PU I /Fブロック 2 2 1は、第 4図 Aおよび第 4 図 Bのシステムコントローラ 1 1 7とのインターフェイスであり、 C P U I Z Fブロック 2 2 1を介してやりとりされた制御信号やデータにより、 M P E Gエンコーダ 1 0 3における動作が制御される。

先ず、入力フィールドァクティビティ平均化処理部 1 0 3 Aの処理について説明する。 S D I入力部 1 0 1から出力され M P E Gエンコーダ 1 0 3に入力されたビデオデータは、入力部 2 0 1に供給され、メインメモリ 2 0 3に格納するのに適したィン夕一フェイスに変換されると共に、パリティチェックがなされる。入力部 2 0 1から出力されたビデオデータは、ヘッダ作成部 2 0 2に供給され、垂直ブランキング区間などを禾 ij用して M P E Gにける、 s equence—heade r 、 quan t i zer— ma t r i x' gop_header などの各ヘッダが抽出される。抽出された各ヘッダは、メインメモリ 2 0 3に格納される。これらのヘッダは、主に、 C P U I Fブロック 2 2 1から指定される。また、ヘッダ作成部 2 0 2において、垂直ブランキング区間以外では、入力部 2 0 1から供給されたビデォデータがメインメモリ 2 0 3に格納される。

メインメモリ 2 0 3は、画像のフレームメモリであり、ビデオデータの再配列やシステムディレイの吸収などが行われる。ビデオデータの再配列は、例えば図示されないァドレスコントローラによりメインメモリ 2 0 3からの読み出しァドレスを制御されることによりなされる。なお, 図中、メインメモリ 2 0 3のブロック中に記載される 8ライン、 0 . 5 フレームおよび 1 フレームは、ディレイ値であり、メインメモリ 2 0 3 からのリードタイミングが示される。これらは、タイミングジエネレー夕 T G 2 2 0の指令に基づき適切に制御される。

ラス夕スキャンノブロックスキャン変換部 2 0 4は、ライン毎にメインメモリ 2 0 3に格納されたビデオデータを、 M P E Gで扱うマクロブロック毎に切り出して後段のァクティビティ部 2 0 5に送る。この実施の一形態では、上述したように、第 1フィールドだけを用いてァクティビティの計算を行うため、ラス夕スキャンノブロックスキヤン変換部 2 0 4から出力されるマクロブロックは、第 1フィールド分のビデオデータにより構成される。

ラスタスキャン Zブロックスキャン変換部 2 0 4から出力データとして出力されたストリームは、第 6図 Aに一例が示されるように、垂直および水平方向のマクロプロックのァドレス情報が先頭に配され、所定サィズの空き領域の後ろに、 1マクロブロック分の画像データが格納される。

なお、ストリームは、例えば 8ビットを 1ワードとして、 5 7 6ヮードのデ一夕長を有し、後半の 5 1 2ワード（デ一夕部と称する）が 1マクロブロック分の画像データを格納する領域に割り当てられている。前半の 6 4ワード（ヘッダ部と称する）は、先頭に上述のマクロブロックのアドレス情報が格納され、その他の部分は、後段の各部にて埋め込まれるデ一夕やフラグなどのため空き領域とされる。

M P E Gで扱うマクロブロックは、 1 6画素 X 1 6ラインのマトリクスである。一方、この M P E Gエンコーダ 1 0 3では、第 3図 A、第 3 図 B、第 3図 C、第 3図 D、第 3図 Eおよび第 3図 Fを用いて上述したように、第 1フィールドだけによるアクティビティを求める処理を行う < そのため、第 1フィールドの 8ラインまでがメインメモリ 2 0 3に格納された時点で処理を開始することができる。なお、実際には、タイミングジェネレータ T G 2 2 0からの指令にて処理が適切に開始される。

アクティビティ部 2 0 5は、マクロブロック毎のアクティビティを計算する。この M P E Gエンコーダ 1 0 3においては、第 1フィールドだけからアクティビティが計算され、その計算結果がフィールドァクティビティ信号 f i e l d ac tとして出力される。信号 f i e l d ac tは、平均化部 2 0 6に供給され、 1フィールド分が積算され、その平均値 avg_ac tが求められる。平均値 avg_ac tは、後述するプリエンコード処理部 1 0 3 B のアクティビティ部 2 0 9に供給される。アクティビティ部 2 0 9では, 第 1および第 2フィ一ルドの平均値 avg— ac tを共に用いてプリェンコ一ド処理が行われる。

したがって、第 1フィ一ルドにおけるァクティビティの平均値 avg_ac tが判明した後、その平均値を用いて、適応量子化を考慮したプリェンコード処理を行うことが可能となる。

次に、プリエンコード処理部 1 0 3 Bについて説明する。ラスタスキヤンブロックスキャン変換部 2 0 7 Aは、上述したラスタスキャンノブロックスキャン変換部 2 0 4と基本的には同様の処理を行う。但し、このラスタスキャン Zブロックスキャン変換部 2 0 7 Aは、符号量の見積もりを行うプリェンコ一ド処理のために行われるため、第 1フィールドおよび第 2フィールドのビデオデ一夕が共に必要とされる。そのため. ラス夕スキャン Zブロックスキャン変換部 2 0 7 Aでは、第 2フィールドの 8ラインまでがメインメモリ 2 0 3に格納された時点で、 M P E G で扱う 1 6画素 x l 6ラインのサイズのマクロブロックを構成することが可能となり、この時点で処理を開始することができる。なお、実際には、タイミングジェネレータ T G 2 2 0からの指令によって、処理が適切に開始される。

ラス夕スキャンノブロックスキャン変換部 2 0 7 Aから出力されたビデォデ一夕は、 D C Tモード部 2 0 8に供給される。 D C Tモード部 2 0 8は、フィールド D C T符号化モードおよびフレーム D C T符号化モ一ドの何れを用いて符号化するかを決める。

ここでは、実際に符号化するのではなく、垂直方向に隣接した画素間差分値の絶対値和をフィールド D C T符号化モードで計算したものと、フレーム D C T符号化モードで計算したものとが比較され、その値が小さい符号化モードが選択される。選択結果は、 D CTモードタイプデー夕 dct_typとしてス卜リーム中に一時的にフラグとして挿入され、後段に伝えられる。 D C Tモードタイプデータ dct— typは、第 6図 Bに示されるように、ヘッダ部中の空き領域の後端側に格納される。

アクティビティ部 2 0 9は、上述したアクティビティ部 2 0 5と、基本的には同様の処理を行う。ただし、このアクティビティ部 2 0 9では、上述のように、プリエンコード処理を行うためのもので、第 1フィールドおよび第 2フィールドのデータが共に用いられて、マクロブロック毎のアクティビティが計算される。アクティビティ部 2 0 9により、先ず，アクティビティ actが求められ、第 6図 Cに示されるように、ヘッダ部のマクロブロックアドレスに続けて格納される。次に、このァクテイビティ actと上述した平均化部 2 0 6から得られるフィールドアクテイビティの平均値 avg_actとを用いて、正規化ァクティビティ Nactが求められる。

正規化ァクティビティ Nactは、正規化ァクティビティデータ norm— act として、第 7図 Aに示されるように、ストリーム中のヘッダ部に一時的にフラグとして挿入され、後段に伝えられる。なお、上述のァクテイビティ actは、ストリーム中で、正規化アクティビティデータ norm— actに上書きされる。

アクティビティ部 2 0 9の出力は、 D CT部 2 1 0 Aに供給される。 D C T部 2 1 0 Aでは、供給されたマクロブロックを 8画素 X 8画素からなる D C Tブロックに分割し、 D C Tブロックに対して 2次元 D C T が行われ、 D CT係数が生成される。 D CT係数は、第 7図 Bに示されるように、ストリームのデ一夕部に格納され、量子化テーブル部 2 1 1 Aに供給される。量子化テーブル部 2 1 1 Aでは、 DCT部 2 1 O Aで変換された DC T係数に対して量子化マトリクス（quantizer— matrix)による量子化が行われる。量子化テーブル部 2 1 1 Aで量子化された DC T係数は、第 7 図 Cに示されるように、ストリームのデータ部に格納され、出力される _c 量子化テーブル部 2 1 1 Aの出力は、複数の Q— n (量子化）部 2 1 2, 2 1 2、 · · · 、 VL C部 2 1 3、 2 1 3、 · · ·、積算部∑ 2 14、 2 1 4、 · · ·、ならびに、積算部∑ 2 1 5、 2 1 5、 · · · とからなる多段階の量子化部に供給される。量子化テーブル部 2 1 1 Aで量子化された D CT係数は、この多段階ステップの量子化部で多段階に量子化される。

DCT係数は、 Q— n部 2 1 2、 2 1 2、 · · · において、それぞれ異なった量子化スケール（quant izer_scale) Qを用いて量子化される。なお、量子化スケール Qの値は、例えば MP E G 2の規格によって予め決められており、 Q— n部 2 1 2、 2 1 2、 · · · は、この規格に基づき、例えば 3 1個の量子化器で構成される。このとき、 n = 3 1であつて、 Q— n部 2 1 2、 2 1 2、 · · ' は、 Q— 1部、 Q— 2部、 · · ·， Q— 3 1部である。そして、各量子化器がそれぞれに割り振られた量子化スケール Qnを用いて、 D CT係数の量子化が合計で 3 1ステップ、行われる。以下では、 Q_n部 2 1 2、 2 1 2、 · · · のそれぞれに対応する量子化スケール値を量子化スケール Qn値とする。

Q— n部 2 1 2、 2 1 2、 · · · において、それぞれの量子化スケール Q n値により量子化が行われる。このとき、上述のアクティビティ部 2 0 9で得られた正規化ァクティビティデータ norm— actを用いて次の式 (6) により求めた、視覚特性を考慮した量子化スケールである mqaunt により適応量子化が行われる。

mqaunt = Q n xnorm act · · · ( 6 Q— n部 2 1 2、 2 1 2、 · · · において適応量子化された、量子化スケール Q n毎の D C T係数は、それぞれ第 8図 Aに示されるようにストリーム中のデータ部に格納され、 VL C部 2 1 3、 2 1 3、 · · · にそれぞれ供給される。量子化スケール Qn毎の DCT係数は、 VL C部 2 1 3、 2 1 3、 · · ' において、ジグザグスキャンなどのスキヤニングが施され、 2次元ハフマンコードなどに基づく VL Cテーブルが参照されてそれぞれ可変長符号化される。

VL C部 2 1 3、 2 1 3、 · · ·で可変長符号化されたデータは、第 8図 Bに示されるようにストリーム中のデータ部に格納され、それぞれ出力される。 VL C部 2 1 3、 2 1 3、 · · · の出力は、それぞれ対応する積算部∑ 2 1 4、 2 1 4、 · · · に供給される。

積算部∑ 2 14、 2 14、 · · ·では、それぞれマクロブロック毎に発生符号量が積算される。上述のように 3 1種類の量子化器を用いる場合には、それぞれに対応する 3 1種類の発生符号量がマクロブロック毎に得られることになる。マクロブロック毎の発生符号量は、第 9図 Aに示されるように、積算部∑ 2 14、 2 1 4、 · · · において積算された発生符号量がストリーム中のヘッダ部に、各々格納される。すなわち、 Q_ 1部 2 1 2〜Q— n部 2 1 2のそれぞれの量子化による発生符号量が、マクロブロック毎に、ストリームのヘッダ部に格納される。なお、ストリームのデータ部は、削除される。このマクロブロック毎のストリームは、メインメモリ 20 3に供給される。

また、積算部∑ 2 14、 2 14、 · · ·から出力されたマクロブロック毎の発生符号量は、それぞれ積算部∑ 2 1 5、 2 1 5、 · · · に供給される。積算部∑ 2 1 5、 2 1 5、 · · · は、上述した視覚特性を考慮した quantizer_scale ( = mquant) で量子化した場合のマクロブロック毎の発生符号量に対応する符号量を、積算部∑ 2 14で求めたマクロブロック毎の発生符号量の中から選択し、それを 1フレーム分積算する。積算部∑ 2 1 5、 2 1 5、 · · ·で量子化スケール Q n毎にそれぞれ

1フレーム分積算された値は、そのフレームにおける発生符号量（フレームデ一夕レート）とされて、第 9図 Bに示されるように、 nワードのストリームとして後述するレートコントロール部 2 1 7に供給される。なお、上述のように 3 1種類の量子化器を用いる場合には、それぞれに対応する 3 1種類の発生符号量がフレーム毎に得られることになる。

発生符号量を求める方法を、より具体的に説明する。例えば、「Q—

4部 2 1 2による発生符号量」は、次のようにして求められる。

例えば、

norm_ac t [1」 =1.3

norm— ac t [2] =1.5

norm— act [3] =0· 8

norm— act [4] =1.0 である場合、

mqaunt [l]=4xl.3 = 5.2

： Q— 5部 2 1 2による発生符号量を、第 9図 Aのヘッダ部から求める, mqaunt [2]=4xl.5=6.0

： Q— 6部 2 1 2による発生符号量を、第 9図 Aのヘッダ部から求める, mqaunt [3]=4x0.8=3.2

： Q— 3部 2 1 2による発生符号量を、第 9図 Aのヘッダ部から求める < mqaunt [4]=4xl.0=4.0

： Q— 4部 2 1 2による発生符号量を、第 9図 Aのヘッダ部から求める, 以上を、 1フレーム分、積算する。これを、 Q— 1部 2 1 2〜Q n部 2 1 2に対してそれぞれ行い、 1フレーム分の発生符号量を求める。

次に、エンコード処理部 1 0 3 Cについて説明する。エンコード処理部 1 0 3 Cでは、最終的なエンコード処理が行われる。上述したように、プリエンコード処理部 1 0 3 Bにおいて、様々な量子化を行った場合の 1フレーム分の発生符号量が見積もられる。エンコード処理部 1 0 3 C では、この 1フレーム分で見積もられた発生符号量に基づき、予め設定された目標発生符号量を絶対に超えないようにエンコードが行われ、 M P E G E Sが出力される。

エンコード処理部 1 0 3 Cで用いられるデータは、既にメインメモリ 2 0 3に格納されているが、上述したように、プリエンコード処理部 1 0 3 Bにより様々な量子化を行った場合の 1フレームにおける発生符号量が見積もられた時点で処理を開始することができる。エンコード処理部 1 0 3 Cの各部における処理は、上述と同様に、タイミングジエネレ一夕 T G 2 2 0からの指令に基づき適切に開始される。

メインメモリ 2 0 3から読み出されたビデオデータは、ラスタスキヤンノブロックスキャン変換部 2 0 7 Bにおいて、上述のラス夕スキャンノブロックスキヤン変換部 2 0 7 Aと同様の処理をされて 1 6画素 X 1 6ラインのマクロブロックが切り出される。切り出されたマクロブロックは、第 1 0図 Aに示されるように、上述した第 9図 Aに示されるへッダ部に対応するデータ部に格納され、 D C Tモード部 2 1 6に供給される。

D C Tモード部 2 1 6では、上述の D C Tモード部 2 0 8と同様に、フィールド D C T符号化モードおよびフレーム D C T符号化モードのうち何れを用いて符号化するかが決められる。このとき、既に D C Tモード部 2 0 8において符号化モードが決められ、その結果が D C Tタイプデータ dc t t ypとしてストリーム中に一時的に挿入されている（第 1 0 図 A参照）。 D C Tモード部 2 1 6では、ストリームからこの D C Τ夕ィプデータ dct— typを検出し、検出された D C Tタイプデータ dct— typに基づきフィールド符号化モードおよびフレーム符号化モードを切り換える。 D C Tモード部 2 1 6の出力を第 1 0図 Bに示す。

D CTモード部 2 1 6から出力されたマクロブロックは、 DCT部 2

1 0 Bに供給され、上述の D C T部 2 1 O Aと同様にして 8画素 X 8画素の DCTブロック単位で 2次元 D CTされる。 2次元 DCTされた D

CT係数は、第 1 0図 Cに示されるように、ストリ一ム中のデータ部に格納されて、 D C T部 2 1 0 Bから出力される。

量子化テーブル部 2 1 1 Bは、上述の量子化テーブル部 2 1 1 Aと同様に構成することができ、 DCT部 2 1 0 Bで変換された DC T係数に対して量子化マトリクスによる量子化が行われる。量子化テーブル部 2

1 1 Bで量子化された DC T係数は、第 1 1図 Aに示されるように、ストリーム中のデ一夕部に格納されてレートコントロール部 2 1 7に供給される。

レートコントロール部 2 1 7では、上述したプリエンコード処理部 1 03 Bにおいて積算部∑ 2 1 5、 2 1 5、 · · ·で得られた、各量子化スケール Q n毎のフレームデータレー卜の中から、システムコント口一ラ 1 1 7により設定される 1フレーム当たりの最大発生符号量を超えないもので、且つ、最も設定値に近いものが選択される。そして、選択されたフレームデータレートに対応する量子化器において用いられたマクロブロック毎の量子化スケール（mquant)が、ストリーム中に挿入された正規化ァクティビティデータ norm_actから再度求められ、量子化部 2 1 8に供給される。

マクロブロック毎の量子化スケールは、第 1 1図 Bに示されるように. ストリーム中のへッダ部の後端側に qauntiser sea 1 eとして格納され、量子化部 2 1 8に伝えられる。

なお、 1フレーム当たりの最大発生符号量は、例えばシステムコントローラ 1 1 7により設定され、 C PU I ZF 2 2 1を介してレートコントロール部 2 1 7に伝えられる。

また、この際、システムコントローラ 1 1 7で設定され C P U I / F 2 2 1を介して伝えられる、 1フレームあたりの最大発生符号量と、上述したストリーム中に挿入された正規化ァクティビテイデー夕 norm_a ctから求められたマクロブロック毎の量子化スケール（mqaunt)による発生符号量との差分を超えない範囲で、マクロブロック毎に量子化スケール（mquant)の値を 1サイズ小さくするようにできる。これにより、システムコントローラ 1 1 7で設定され C P U I 2 2 1を介して伝えられる 1フレーム当たりの最大発生符号量に近付け、高画質を実現することが可能である。

量子化部 2 1 8では、レートコントロール部 2 1 7により上述のようにして指定される量子化スケール（Quantizes_scale)をストリーム中から取り出し、取り出された量子化スケールに基づき量子化テーブル部 2 1 1 Bで量子化された D C T係数の量子化が行われる。このとき、レートコントロール部 2 1 7から与えられる量子化スケールは、正規化ァクティビティデータ norm— actから求められた量子化スケール（mquant)の値であるため、視覚特性が考慮された適応量子化が行われることになる。量子化部 2 1 8で量子化された D C T係数は、第 1 1図 Cに示されるようにストリーム中のデータ部に格納され、 VL C部 2 1 9に供給される。量子化され VL C部 2 1 9に供給された D CT係数は、ジグザグスキャンなどのスキャンエングが施され、 2次元ハフマンコードに基づく VL Cテーブルが参照されてそれぞれ可変長符号化される。さらに、可変長符号に対して、バイト単位で整列するようにビットシフ卜が施され， MP EG E Sとされて出力される。

このとき、 ¥1 (：部2 1 9までストリームの前半部を構成していたへッダ部が第 1 2図に示されるようにスライス層以下の MP EGのヘッダ情報が格納される MP EGのヘッダ部にすげ替えられて出力される。可変長符号は、ストリームの後半側のデータ部に格納される。

なお、上述では、 MP E Gエンコーダ 1 0 3における処理がハードウエアにより行われるように説明したが、これはこの例に限定されない。 MP EGエンコーダ 1 0 3の処理は、ソフトウエアによっても同様に実現可能なものである。例えば、コンピュータ装置にビデオ信号のアナ口グおよびディジタルの入力インタ一フェイスを設け、コンピュータ上に搭載されたソフトウエアにより C PUおよびメモリなどを利用して実行することができる。また、上述のディジタル VTRの構成において、 M P EGエンコーダ 1 0 3を C PUおよびメモリに置き換えたような構成としてもよい。

このソフトウェアは、例えば C D _ R〇M (Compact Disc-Read Only Memory)といった記録媒体にプログラムデ一夕として記録されて提供される。このソフトウエアが記録された記録媒体をコンピュータ装置に装填し、所定の操作を行うことで当該ソフトウェアがコンピュータ装置にインストールされ、当該ソフトウエアによる処理を実行することが可能な状態とされる。なお、コンピュータ装置の構成は、極めて周知であるため、ここでは説明を省略する。

第 1 3図は、 MP EGエンコーダ 1 0 3の処理をソフトウエアで行う場合の一例のフローチヤ一トである。このフローチャートによる処理は. 上述したハードウエアによる処理と同様なものであるので、以下では、上述したハードウェアにおける処理を考慮しながら、概略的に説明する, ステップ S 1〜S 7は、上述の入力フィールドァクティビティ平均化処理部 1 0 3 Aによる処理に対応する。ステップ S 1 1〜 S 2 1は、上述のプリエンコード処理部 1 0 3 Bに対応する。また、ステップ S 3 1〜 S 3 8は、上述のエンコード処理部 1 0 3 Cに対応する。

最初のステップ S 1で、ビデオデ一夕が取り込まれる。次のステップ S 2で、取り込まれたビデオデータから、垂直ブランキング区間で MP EGにおける各ヘッダが抽出されメモリに格納される。垂直ブランキング区間以外では、取り込まれたビデオデータがメモリに格納される。ステップ S 3では、ビデオデ一夕がラス夕スキャンからブロックスキヤンへと変換され、マクロブロックが切り出される。これは、例えばメモリに格納されたビデオデータを読み出す際の読み出しァドレスを制御することでなされる。ステップ S 4で、マクロブロックに切り出されたビデオデータに対して第 1フィールドによるァクティビティ計算がなされ、計算結果のァクティビティ (^11) (&(^)がステップ S 5で積算され、積算値 sumとしてメモリに格納される。これらステップ S 3〜S 5 までの処理は、ステップ S 6において第 1フィールドの最終マクロブロックの処理が終了したと判断されるまで繰り返される。すなわち、積算値 sumは、 1フィールド分のマクロブロックのアクティビティの合計となる。

ステツプ S 6において 1フィールドの最終マクロブロックまで処理が終了したと判断されたら、ステップ S 7で、メモリに格納された積算値 sumが 1フィ一ルド分のマクロブロック数で除され、 1フィ一ルド分のァクティビティが平均化されたフィールドアクティビティの平均値 Act i bity(avg_act)が求められ、メモリに格納される。

フィールドァクティビティの平均値 Actibity(avg— act)が求められると、処理はステップ S 1 1に移行する。ステップ S 1 1では、上述のステツプ S 3と同様に、メモリに格納されたビデオデータがラスタスキヤンからブロックスキャンへと変換され、マクロブロックが切り出される c 次のステップ S 1 2で、 D CTをフィールド DC T符号化モードおよびフレーム D C T符号化モードの何れで行うかが選択され、選択結果が D CTモードタイプデータ dcし typとしてメモリに格納される。ステツプ S 1 3では、第 1および第 2フィールドが共に用いられて、マクロブロック毎のァクティビティが計算され、上述のステップ S 7で求められメモリに格納されたフィ一ルドアクティビティの平均値 Actibity(avg— a ct)を用いて正規化ァクティビティ Actibi ty(norm_act)が求められる。求められた正規化ァクティビティ Actibity(norm_act)は、メモリに格納される。

次のステツプ S 1 4で、上述のステツプ S 1 1でビデオデータから切り出されたマクロブロックが 8画素 X 8画素からなる D C Tブロックに分割され、この D C Tブロックに対して 2次元 D C Tが行われる。 2次元 D CTにより D CTブロックが変換された D C T係数は、ステップ S 1 5で量子化テーブル（quantizer— table)による量子化がなされ、処理はステップ S 1 6に移行される。

ステップ S 1 6〜S 2 0の処理を、量子化スケール（quant izer_scal e)Q n値それぞれについて行うように繰り返すことで、上述の Q— n部 2 1 2、 2 1 2、 • • • i VL C部 2 1 3、 2 1 3、 · · · 、積算部∑ 2 1 4、 2 1 4、 · · · 、ならびに、積算部∑ 2 1 5、 2 1 5、 · · · に相当する処理が行われる。すなわち、ステップ S 1 6で、 D C T係数に対して量子化スケール Q= 1での量子化が行われ、ステツプ S 1 7で. VL Cテーブルが参照されて量子化された D CT係数が可変長符号化される。そして、ステップ S 1 8で可変長符号化によるマクロブロックにおける発生符号量が計算され、ステップ S 1 9で、ステップ S 1 8で求められたマクロブロック毎の発生符号量が 1フレーム分、積算される。ステップ S 2 0で次の量子化スケール Q nがあるか否かが判断され、次の量子化スケール Q nがあると判断されたら、処理はステップ S 1 6に戻され、次の量子化スケール Q nに基づく処理が行われる。量子化スケール Q n毎の 1 フレーム分の発生符号量は、それぞれメモリに格納される。

ステップ S 2 0で、全ての量子化スケール Q nの値についてフレームにおける発生符号量の積算値が求められたとされれば、ステップ S 2 1 で、 1フレームの最終マクロブロック（M B ) まで処理が終了したかどうかが判断され、最終マクロプロックまでの処理が終了していなければ，処理がステップ S 1 1に戻される。最終マクロブロックまでの処理が終了され 1フレーム分の発生符号量が見積もられれば、ステップ S 3 1に移行され、実際のエンコード処理が行われる。

ステップ S 3 1では、上述のステツプ S 1 1 と同様に、メモリに格納されたビデオデータがラス夕スキャンからプロックスキャンへと変換され、マクロブロックが切り出される。次のステップ S 3 2では、上述のステップ S 1 2でメモリに格納された D C Tモードタイプデータ dc t— ty pに基づき D C T符号化モードが設定される。

ステップ S 3 3では、ステップ S 3 1でビデオデータから切り出されたマクロブロックが 8画素 X 8画素からなる D C Tブロックに分割され，この D C Tブロックに対して次元 D C Tが行われる。 2次元 D C Tにより D C Tブロックが変換された D C T係数は、ステップ S 3 4で量子化テーブル（quan t i ze r_t ab l e)による量子化がなされ、処理はステツプ S

3 5に移行される。

ステップ S 3 5では、上述したステツプ S 1 1〜S 2 1において見積もられた、量子化スケール Q n毎の 1フレーム分の発生符号量に基づき. 実際のェンコ一ド処理において発生される符号量の制御を行うために、後述するステップ S 3 6で用いられる量子化スケール Q nがマクロブロック毎に設定される。

そして、処理はステップ S 3 6に移行され、ステップ S 3 5で設定された量子化スケール Q nを用いて、ステップ S 3 4で量子化テーブルを用いて量子化された D C T係数の量子化が行われる。ステップ S 3 6で量子化された D C T係数は、次のステツプ S 3 7で V L Cテーブルが参照され可変長符号化される。そして、ステップ S 3 8で 1フレームの最終マクロブロックまで処理が行われたか否かが判断され、 1フレームの最終マクロブロックまで処理されていないと判断されれば、処理がステップ S 3 1に戻され、次のマクロブロックに対する量子化処理および可変長符号化処理が行われる。一方、ステップ S 3 7で、 1フレームの最終マクロプロックまで処理が行われたと判断されれば、 1フレーム分のエンコード処理が終了したとされる。

なお、上述では、ステツプ S 1 1〜 S 2 1までのプリェンコ一ド処理と、ステップ S 3 1〜S 3 8までのェンコ一ド処理とを別々の処理として説明したが、これはこの例に限定されない。例えば、ステップ S 1 1 〜S 2 1において発生符号量の見積もりにより得られたデータをメモリに格納し、そこから実際のエンコード処理により得られるデータを選択して取り出すようにする。これにより、ステップ S 3 1〜 S 3 8の処理をステップ S 1 1〜 S 2 1による処理に含まれるループとして組み込むことができる。

第 1 4図は、この発明の実施の一形態でァクティビティを算出する場合のブロック化を説明するための図である。この実施の一形態では、第 1フィールドだけのアクティビティを算出する場合、 8画素 x 4ラインのサブブロック単位で演算を行なう。

第 1 4図の左側は、 1 6画素 X 1 6ラインからなる 1マクロブ口ックを示す。第 1 4図の左側は、 1フレームにおいて構成されるマクロプロックを示し、例えば斜線が付されているラインが第 2フィールドのラインであり、他が第 1フィールドのラインである。このマクロブロックが 8画素 x8ライン D CTブロックに 4分割される。さらに、第 1 4図の右側に一例が示されるように、第 1フィールドを構成する成分（ライン）が取り出され、 8画素 x4ラインからなる 4つのサブブロックを得る。この第 1フィールドのデータからなるサブブロックについて、以下に示す演算によってフィ一ルドアクティビティ field_actが算出されるなお、この実施の一形態では、上述したように、メインメモリ 2 0 3 に第 1フィールドの 8ライン分が格納された時点で処理が開始される。したがって、実際には、 1 6画素 xl 6ラインのマクロブロックから第 1フィ一ルドのデ一夕からなる 8画素 x4ラインのサブブロックが取り出されるわけではなく、第 1フィールドの 8ライン分がメインメモリ 2 0 3に格納された時点で、ラス夕スキャンノブロックスキャン変換部 2 04によりブロックデータに変換された 8画素 x4ラインからなる 4つのサブブロックが得られることになる。

先ず、 8画素 x4ラインのサブブロック毎に、各画素の輝度レベル値 (Y k) の平均値（P) が次式（7) により求められる。

P = 1/32Σ [k=l, 32]Yk · · · ( 7 )

すなわち、サブブロック内の 8画素 x4ライン = 3 2個の輝度レベル値（Y k) を合計し、それを「3 2」で割ることにより、平均値（P) が求められる。

次に、 8画素 x4ラインのサブブロック毎に輝度レベル値（Y k) と平均値（P) との差分値が二乗され、さらにその二乗された差分値の平均差分値（var— sblk) が次式（8) により求められる。

var sblk = 1/32 ∑ [k-1, 32] (Yk - P)² · · · (7) 1マクロブロックは、 4個のサブブロックから構成されるので、 4個の平均差分値（var_sblk) の中から最小値が求められる。この最小値が当該マクロブロックにおけるフィールドアクティビティ Π e 1 d—ac tとして採用される（式（8) ) 。

field— act = 1 +min [sblk=l, 4] (var_sblk) · · · (8)

以上のような演算処理が各マクロブロック毎に繰り返される。このようにして、第 1フィールドにおけるフィールドアクティビティ field_ac t の平均値（f ield_avg_act ) が求められる。（式（9) )

f i e 1 d_avg_ac t = 1/MBnum ∑ [m=l , MBnumj f i e 1 d_ac t [m] · · · (9)

なお、ここで値 MBnum は、 1フレームにおけるマクロブロックの総数を示している。

この後、従来技術で既に説明した式（ 1 ) 〜式（5) に基づく計算を行い、アクティビティの正規化を行い、マクロブロック毎のァクテイビティを考慮した適応量子化を行なう。

なお、上述したフィールドアクティビティ f ield_actの演算方法は一例であり、他の方法を用いて算出してもよい。

なお、この発明が適用された MP E Gエンコーダ 1 0 3は、放送業務用 VTRに適したものとするため、イントラピクチャのみに対応し、さらに、 1フレーム当たりのデータ量が設定された値を絶対に超えないように符号量制御されている。そのため、上述したプリエンコード処理部 1 0 3 Bによるプリェンコ一ド処理が行われているため、上述の第 3図 Fに示したシステムディレイに対してさらに 1フレーム分のディレイが追加される。しかしながら、この 1フレーム分のディレイは、プリェンコード処理での符号量制御によるものであって、この発明の、当該ピクチヤの第 1フィールドから求めた平均ァクティビティを用いて、マクロブロック毎のアクティビティを考慮した適応量子化を行う、という主旨に関わるものではない。すなわち、プリエンコード処理を行った場合には、この発明による第 2図 A、第 2図 B、第 2図（：、第 2図 D、第 2図 Eおよび第 2図 Fのタイミングのみならず、従来技術で説明した第 1図 A、第 1図 B、第 1図 Cおよび第 1図 D、ならびに、フレーム間のシ一ンチェンジに対応可能な他の方法である第 3図 A、第 3図 B、第 3図 C，第 3図 D、第 3図 Eおよび第 3図 Fのタイミングに対して、それぞれ 1 フレームのディレイがなされることになり、この実施の形態の利点を覆すものではない。

なお、上述では、画像デ一夕の符号化方式として画像をブロック単位で D C Tして符号化する M P E G 2方式を採用しているが、これはこの例に限定されない。画像データをブロック単位で符号化する符号化方式であれば、他の符号化方式を用いることも可能である。

また、上述では、この発明の適用される例として、ディジタル V T R を説明しているが、これはこの例に限定されない。この発明は、画像デ一夕をブロック符号化を用いて圧縮符号化する他の画像処理装置、例えば伝送のために画像データを圧縮符号化する画像伝送装置にも適用することが可能である。

以上説明したように、この実施の形態では、あるフレームの正規化ァクテイビティを算出する場合、そのフレームの第 1フィールドの画像デ一夕から求めた平均ァクティビティを用いて正規化ァクティビティを算出するようにしている。このように、この実施の形態では、正規化ァクテイビティの算出の際に前のフレームの平均ァクティビティを用いないため、フレーム間でシーンチェンジがあった場合にも適正に正規化ァクテイビティを算出することができ、画質の劣化を生じない。

また、フレーム（2フィールド）全体から平均アクティビティを算出して正規化ァクティビティを求める方法に比べて、演算時間を短くすることができ、システムディレイを短縮できる。

さらに、正規化ァクティビティを求めるための 1フレーム分のバッファが不要なため、メモリ容量が節約できる。

またそのため、システムディレイの制約がある編集用の V T Rにこの発明を適用することで、視覚特性を考慮した画質の最適化を行うことが可能となる。

Claims

請求の範囲

1 . 画像データの第 1フィールドから平均アクティビティを算出する平均ァクティビティ算出手段と、

上記平均ァクティビティ算出手段により上記第 1フィールドから算出された上記平均アクティビティを、該第 1フィールドと、該第 1フレームと同一フレームの第 2フィールドとに適用して正規化ァクティビティを算出する正規化ァクティビティ算出手段と、

上記正規化ァクティビティ算出手段により算出された上記正規化ァクティビティを用いて上記第 1フィールドおよび上記第 2フィールドを量子化する量子化手段と

を有することを特徴とする画像処理装置。

2 . 請求の範囲第 1項に記載の画像処理装置において、

上記平均ァクティビティ算出手段は、上記画像データを複数の領域に分割して形成されるブロックが構成されるための最小限の上記画像デー夕が入力されたら上記ァクティビティの算出を開始し、上記ァクティビティを上記第 1フィールドで積算して上記平均ァクティビティを算出するようにしたことを特徴とする画像処理装置。

3 . 請求の範囲第 1項に記載の画像処理装置において、

上記アクティビティ算出手段は、 M P E Gで扱われるマクロブロックの上記第 1フィ一ルドに対応するデータだけを用いて上記ァクティビティを算出することを特徴とする画像処理装置。

4 . 画像デ一夕の第 1フィールドから平均アクティビティを算出する平均アクティビティ算出のステップと、

上記平均ァクティビティ算出のステップにより上記第 1フィールドから算出された上記平均アクティビティを、該第 1フィールドと、該第 1 フレームと同一フレームの第 2フィールドとに適用して正規化ァクティビティを算出する正規化ァクティビティ算出のステップと、

上記正規化ァクティビティ算出のステツプにより算出された上記正規化ァクティビティを用いて上記第 1フィ一ルドおよび上記第 2フィールドを量子化する量子化のステップと

を有することを特徴とする画像処理方法。

5 . 画像データを量子化する画像処理方法をコンピュータ装置に実行させる画像処理プログラムにおいて、

上記画像処理方法は、

画像データの第 1フィールドから平均アクティビティを算出する平均アクティビティ算出のステップと、

上記平均ァクティビティ算出のステップにより上記第 1 フィールドから算出された上記平均アクティビティを、該第 1フィールドと、該第 1 フレームと同一フレームの第 2フィールドとに適用して正規化ァクティビティを算出する正規化ァクティビティ算出のステップと、

上記正規化ァクティビティ算出のステップにより算出された上記正規化ァクティビティを用いて上記第 1フィールドおよび上記第 2フィールドを量子化する量子化のステップと

を有することを特徴とする画像処理プログラム。

6 . 画像データを量子化する画像処理方法をコンピュータ装置に実行させる画像処理プログラムが記録された記録媒体において、

上記画像処理方法は、

入力された画像データの第 1フィールドから平均アクティビティを算出する平均アクティビティ算出のステップと、

上記正規化ァクティビティ算出のステップにより算出された上記正規化ァクティビティを用いて上記第 1フィールドおよび上記第 2フィ一ルドを量子化する量子化のステップと

を有することを特徴とする記録媒体。