JP4114210B2 - 映像データ圧縮装置およびその方法 - Google Patents
映像データ圧縮装置およびその方法 Download PDFInfo
- Publication number
- JP4114210B2 JP4114210B2 JP33208196A JP33208196A JP4114210B2 JP 4114210 B2 JP4114210 B2 JP 4114210B2 JP 33208196 A JP33208196 A JP 33208196A JP 33208196 A JP33208196 A JP 33208196A JP 4114210 B2 JP4114210 B2 JP 4114210B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- video data
- compression
- quantization step
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、ＭＰＥＧ方式等により圧縮符号化した映像データを記録し、再生した映像データを伸長復号して出力するビデオテープレコーダ（ＶＴＲ装置）を直列（タンデム）接続して映像データの複写（ダビング）を行う場合に、伸長復号した映像データの各ピクチャーを、前回の圧縮符号化の際と同じ種類のピクチャーに圧縮符号化する映像データ圧縮装置およびその方法に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
近年、映像データ圧縮の分野においては、動き補償（ＭＣ;motion compensation）処理と離散余弦変換（ＤＣＴ;discrete cosine transfer ）等の直交変換による冗長度低減処理との組合せによって符号化効率を高めた、いわゆるＭＣ−ＤＣＴ方式として、ＭＰＥＧ２(moving picture experts group 2)方式が盛んに用いられている。
【０００３】
このＭＰＥＧ２方式は通常、非圧縮映像データを、他のピクチャーの画素データを用いずに伸長復号が可能な１枚のＩピクチャー(intra coded picture) 、および、前のピクチャーの画素データを用いて伸長復号するＰピクチャー(predictive coded picture)と、前後のピクチャーの画素データを用いて伸長復号するＢピクチャー(bi-directionally predictive coded picture) とを所定数ずつ含むＧＯＰ(group of picture)単位に圧縮符号化する。
【０００４】
ここで、例えば、テレビジョン放送局間で映像データの伝送を行う際、あるいは、複数のビデオテープレコーダ（ＶＴＲ装置）を用いて映像データの複写（ダビング）を行う際には、既にＭＰＥＧ２方式により圧縮符号化してある映像データを伸長復号し、再度、圧縮符号化するために、圧縮符号化装置（エンコーダ）と伸長復号装置（デコーダ）とを直列に接続（タンデム接続）する必要が生じることがある。
【０００５】
このように、エンコーダとデコーダとをタンデム接続して映像データの圧縮符号化と伸長復号を繰り返した場合、映像の品質が劣化する。特に、テレビジョン放送局設備等の業務用システムにおいては高い映像品質が要求されるので、タンデム接続したエンコーダおよびデコーダによる圧縮符号化および伸長復号に伴う映像品質の劣化防止が厳しく要求される。
【０００６】
タンデム接続したエンコーダおよびデコーダにおいて生じる映像品質の劣化を最小にするためには、圧縮符号化および伸長復号において用いられる量子化ステップを同じにする必要があり、量子化ステップを圧縮映像データとともに保持しておかねばならない。
【０００７】
動き補償処理を行わずに圧縮符号化する場合には、例えば、特開平５−２８４４５８号公報および特開平６−３１９１１２号公報に開示されているように、以前の圧縮符号化で使用された量子化ステップ、あるいは、その倍数関係にある量子化ステップを用いると、ＤＣＴ係数の剰余総和が極小になるという性質を利用し、最小の極小値を示す量子化ステップを最適な量子化ステップとして求めるバックサーチという優れた方式を用いることにより、圧縮符号化時と伸長復号時とで量子化ステップを等しくし、映像品質の劣化を防ぐことができる。
【０００８】
しかしながら、ＧＯＰがＩピクチャーとＢピクチャーをそれぞれ１枚ずつ含む２フレーム構成をとる場合や、ＧＯＰが１５フレーム構成をとる場合においては、タンデム接続時の映像品質の劣化を抑えるために、量子化ステップを合わせるよりも、まず、毎回、同じピクチャーを同じ種類のピクチャー（ピクチャータイプ）に圧縮符号化すること、つまり、圧縮符号化のたびにＧＯＰの位相を合わせることが重要である。
【０００９】
ＧＯＰの位相が崩れると、上述したバックサーチ方式を用いることができなくなる上に、ＢピクチャーあるいはＰピクチャーから伸長復号したピクチャーを、Ｉピクチャーに圧縮符号化するというように、同じピクチャーを異なったピクチャータイプに圧縮符号化してしまい、圧縮符号化のたびに映像の情報量を大きく失い、大幅に映像の品質を大きく劣化させてしまう。
【００１０】
このような不具合に対処するためには、例えば、特開平６−２８４４１４号公報に開示されているように、伸長復号時にピクチャータイプと復号された映像データとを多重化して出力し、エンコーダは、多重化されたピクチャータイプを参照してＧＯＰの位相を合わせて圧縮符号化を行う方法が考えられている。
【００１１】
しかしながら、特開平６−２８４４１４号公報に開示された方法によると、ピクチャータイプの情報を、映像データの有効画素以外の部分に多重することになり、例えばテレビジョン放送局の操作卓（スイッチャー）あるいは方式が異なるデジタルＶＴＲ装置等がタンデム接続されたエンコーダおよびデコーダの間に入ったときに、ピクチャータイプの情報がブランキングされる等して失われてしまう可能性がある。
【００１２】
このように、ピクチャータイプの情報が失われてしまったり、ピクチャータイプの情報が別の情報やランダムデータに置換された場合には、次のエンコーダーがランダムデータ等をピクチャータイプの情報であると誤って検出し、でたらめなピクチャータイプでエンコードしてしまい、却って映像の品質の劣化が大きくなってしまう可能性がある。
【００１３】
本発明は、上述した不具合を解決するべくなされたものであり、ピクチャータイプの情報を特別に有効画素データと多重化しなくても、前回の圧縮符号化時のピクチャータイプをエンコーダ側で自動検出し、ＧＯＰ位相を正確に合わせて圧縮符号化することができる映像データ圧縮装置およびその方法を提供することを目的とする。
また、本発明は、圧縮符号化を経た映像データに対してのみ上記処理を行い、圧縮符号化を経ていないオリジナルの映像データに対しては不要な上記処理を行なわず、映像の品質を高く保って圧縮符号化を行うことができる映像データ圧縮装置およびその方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記目的を達成するために、本発明にかかる映像データ圧縮装置は、入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる除算結果の剰余の総和を算出する剰余総和算出手段と、前記剰余総和算出手段により算出された前記剰余の総和と所定閾値とを比較することにより、前記入力される映像データが過去の圧縮処理において、Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれかのピクチャタイプで圧縮処理されたかを識別する圧縮処理識別手段と、Ｐピクチャ又はＢピクチャに対する前記閾値を、Ｉピクチャに対する前記閾値に比べて小さくなるように調節する閾値調節手段と、前記剰余総和算出手段により算出された前記剰余の総和の極小値を示す量子化ステップを第１の量子化ステップとして生成する量子化ステップ生成手段と、前記圧縮処理識別手段により識別されたピクチャタイプと同じピクチャタイプで圧縮処理する場合に、前記量子化ステップ生成手段により生成された前記第１の量子化ステップを用いて、前記映像データを圧縮処理する圧縮手段と、を有する。
【００１５】
好適には、前記量子化ステップ生成手段は、前記圧縮処理識別手段により識別されたピクチャタイプと異なるピクチャタイプで圧縮処理する場合に、第２の量子化ステップを生成し、前記圧縮手段は、前記圧縮処理識別手段により識別されたピクチャタイプと異なるピクチャタイプで圧縮処理する場合に、前記量子化ステップ生成手段により生成された前記第１の量子化ステップ又は前記第２の量子化ステップを用いて、前記映像データを圧縮処理する。
【００１６】
好適には、前記量子化ステップ生成手段は、前記圧縮処理における前記映像データのピクチャタイプの順番が所定条件を満たす場合にのみ、前記第２の量子化ステップを生成する。
【００１７】
また好適には、前記直交変換データは、前記映像データのピクチャの全てのマクロブロックを直交変換することによって生成される。
【００１８】
また好適には、前記直交変換データは、前記映像データのピクチャの一部のマクロブロックを直交変換することによって生成される。
【００１９】
また、本発明にかかる映像データ圧縮方法は、入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる除算結果の剰余の総和を算出する剰余総和算出工程と、前記剰余総和算出工程において算出された前記剰余の総和と所定閾値とを比較することにより、前記入力される映像データが過去の圧縮処理において、Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれかのピクチャタイプで圧縮処理されたかを識別する圧縮処理識別工程と、Ｐピクチャ又はＢピクチャに対する前記閾値を、Ｉピクチャに対する前記閾値に比べて小さくなるように調節する閾値調節工程と、前記剰余総和算出工程において算出された前記剰余の総和の極小値を示す量子化ステップを第１の量子化ステップとして生成する量子化ステップ生成工程と、前記圧縮処理識別工程において識別されたピクチャタイプと同じピクチャタイプで圧縮処理する場合に、前記量子化ステップ生成工程において生成された前記第１の量子化ステップを用いて、前記映像データを圧縮処理する圧縮工程と、を含む。
【００２０】
また、本発明にかかる映像データ圧縮装置は、入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる除算結果の剰余の総和を算出する剰余総和算出手段と、前記剰余総和算出手段により算出された前記剰余の総和とＩピクチャに対する閾値に比べてＰピクチャ又はＢピクチャに対する閾値が小さくなるように調節された閾値とを比較することにより、前記入力される映像データが過去の圧縮処理において、Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれのピクチャタイプで圧縮処理されたかを識別する圧縮処理識別手段と、前記剰余総和算出手段により算出された前記剰余の総和の極小値を示す量子化ステップを第１の量子化ステップとして生成する量子化ステップ生成手段と、前記圧縮処理識別手段により識別されたピクチャタイプと同じピクチャタイプで圧縮処理する場合に、前記量子化ステップ生成手段により生成された前記第１の量子化ステップを用いて、前記映像データを圧縮処理する圧縮手段と、を有する。
【００２１】
また、本発明にかかる映像データ圧縮方法は、入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる除算結果の剰余の総和を算出する剰余総和算出工程と、前記剰余総和算出工程において算出された前記剰余の総和とＩピクチャに対する閾値に比べてＰピクチャ又はＢピクチャに対する閾値が小さくなるように調節された閾値とを比較することにより、前記入力される映像データが過去の圧縮処理において、Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれのピクチャタイプで圧縮処理されたかを識別する圧縮処理識別工程と、前記剰余総和算出工程において算出された前記剰余の総和の極小値を示す量子化ステップを第１の量子化ステップとして生成する量子化ステップ生成工程と、前記圧縮処理識別工程において識別されたピクチャタイプと同じピクチャタイプで圧縮処理する場合に、前記量子化ステップ生成工程において生成された前記第１の量子化ステップを用いて、前記映像データを圧縮処理する圧縮工程と、を含む。
【００２２】
また、本発明にかかる映像データ圧縮装置は、入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる除算結果の剰余の総和とＩピクチャに対する閾値に比べてＰピクチャ又はＢピクチャに対する閾値が小さくなるように調整された閾値とを比較することにより、前記入力される映像データが過去の圧縮処理において、Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれのピクチャタイプで圧縮処理されたかを識別する圧縮処理識別手段と、前記剰余の総和の極小値を示す量子化ステップを第１の量子化ステップとして生成する量子化ステップ生成手段と、前記圧縮処理識別手段により識別されたピクチャタイプと同じピクチャタイプで圧縮処理する場合に、前記量子化ステップ生成手段により生成された前記第１の量子化ステップを用いて、前記映像データを圧縮処理する圧縮手段と、を有する。
【００２３】
また、本発明にかかる映像データ圧縮方法は、入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる除算結果の剰余の総和とＩピクチャに対する閾値に比べてＰピクチャ又はＢピクチャに対する閾値が小さくなるように調節された閾値とを比較することにより、前記入力される映像データが過去の圧縮処理において、Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれのピクチャタイプで圧縮処理されたかを識別する圧縮処理識別工程と、前記前記剰余の総和の極小値を示す量子化ステップを第１の量子化ステップとして生成する量子化ステップ生成工程と、前記圧縮処理識別工程において識別されたピクチャタイプと同じピクチャタイプで圧縮処理する場合に、前記量子化ステップ生成工程において生成された前記第１の量子化ステップを用いて、前記映像データを圧縮処理する圧縮工程と、を含む。
【００２８】
【発明の実施の形態】
第１実施形態
以下、本発明の第１の実施形態を説明する。
【００２９】
第１実施形態の背景
例えば、テレビジョン放送局間で複数のＶＴＲ装置を用いて映像データのダビングを行う際には、既にＭＰＥＧ２方式により圧縮符号化してある映像データを伸長復号し、再度、圧縮符号化するために、エンコーダとデコーダとをタンデム接続する必要が生じることがある。このように、映像データの圧縮符号化と伸長復号を繰り返した場合、映像の品質が劣化してしまう。
【００３０】
映像データの圧縮符号化と伸長復号を繰り返した場合の映像品質の劣化を最小にするためには、上述したバックサーチ等により圧縮符号化および伸長復号において用いられる量子化ステップを同じにし、さらに、圧縮符号化のたびにＧＯＰの位相を合わせることが重要である。
【００３１】
ＧＯＰの位相が崩れると、上述したバックサーチ方式を用いることができなくなる上に、ＢピクチャーあるいはＰピクチャーから伸長復号したピクチャーを、Ｉピクチャーに圧縮符号化するというように、同じピクチャーを異なったピクチャータイプに圧縮符号化してしまい、圧縮符号化のたびに映像の情報量を大きく失い、大幅に映像の品質を大きく劣化させてしまう。
【００３２】
第１の実施形態に示すエンコーダ２（２ａ，２ｂ）は、上述した不具合を解決するべくなされたものであり、ピクチャータイプの情報を特別に有効画素データと多重化しなくても、前回の圧縮符号化時のピクチャータイプをエンコーダ側で自動検出し、ＧＯＰ位相を合わせて圧縮符号化することができるように構成されている。
【００３３】
映像データ処理システム１
以下、映像データ用のエンコーダおよびデコーダがタンデム接続された映像データ処理システム１を説明する。本発明に係るエンコーダは、映像データ処理システム１において用いられる。
【００３４】
図１は、本発明に係るエンコーダ２が用いられる映像データ処理システム１の構成を示す図である。
図１に示すように、映像データ処理システム１は、ＶＴＲ装置あるいはハードディスク装置等の記録装置、または、通信回線あるいは伝送路等の記録・伝送装置(brr channel) ３ａ〜３ｃを介して、エンコーダ(encoder1, encoder2)２ａ，２ｂとデコーダ(decoder1, decoder2)４ａ，４ｂとが直列に接続（タンデム接続）された構成を採る。
【００３５】
なお、明確に映像データ処理システム１の構成を採らない場合であっても、例えば、入力される非圧縮映像データをＭＰＥＧ２方式等により圧縮符号化してＶＴＲテープに記録し、再生時に伸長複合化して出力するＶＴＲ装置を複数、接続して映像データの複写を行う場合にも、映像データが通る経路は、実質的に映像データ処理システム１と同じになる。また、エンコーダ２（２ａ，２ｂ）は、複数の種類のピクチャーを含むＧＯＰに非圧縮映像データを圧縮符号化する場合に本発明に特徴的な効果を奏する。
【００３６】
映像データ処理システム１において、エンコーダ２ａは、例えば、ＭＰＥＧ２方式といったＭＣ−ＤＣＴ方式により、外部から入力される非圧縮映像データ（入力映像データ）を複数の種類のピクチャーを含むＧＯＰの単位に圧縮符号化して圧縮映像データ（圧縮符号化されたビットストリーム）を生成し、記録・伝送装置３（３ａ）を介してデコーダ４ａに伝送する。
【００３７】
デコーダ４ａは、記録・伝送装置３ａを介してエンコーダ２ａから入力された圧縮映像データを伸長復号して、例えば、編集処理等に適したＤ−１ディジタルＶＴＲ用の非圧縮（フルビット）の映像データに戻し、記録・伝送装置３（３ｂ）を介してエンコーダ２ｂに伝送する。
【００３８】
エンコーダ２ｂは、エンコーダ２ａと同じ方式により、記録・伝送装置３ｂを介してデコーダ４ａから入力されたフルビットの映像データを圧縮符号化し、記録・伝送装置３（３ｃ）を介してデコーダ４ｂに伝送する。
デコーダ４ｂは、デコーダ４ａと同様に、記録・伝送装置３ｃを介してエンコーダ２ｂから入力された圧縮映像データを伸長復号して出力映像データとして出力する。
【００３９】
なお、映像データ処理システム１においては、タンデム接続された、エンコーダ２、記録・伝送装置３およびデコーダ４が、必要に応じて３段以上、含まれることがあり、３段目以降の各構成部分は、２段目以前と同様に映像データの圧縮符号化、伝送および伸長復号を行う。
【００４０】
また、図１においては、フルビットチャネル(full bit channel ）と記載された記録・伝送装置３ｂとしては、単に、伸長復号したフルビットの映像データを伝送あるいは記録・再生する装置のほかに、例えば、伸長復号した映像データをディジタル／アナログ（Ｄ／Ａ）変換してアナログＶＴＲ装置に記録し、再びアナログ／ディジタル（Ａ／Ｄ）変換してデジタル映像データに戻す装置、あるいは、スイッチャーや特殊効果装置を介して映像データに対して編集、加工を加える装置も含まれる。このような装置においても、映像データとともに記録したピクチャータイプの情報が失われるので、エンコーダ２（２ａ，２ｂ）は、本発明に特徴的な効果を奏する。
【００４１】
エンコーダ２（２ａ，２ｂ）
図２は、図１に示した第１の実施形態における本発明に係るエンコーダ２（２ａ，２ｂ）の構成を示す図である。
図２に示すように、エンコーダ２は、圧縮符号化部２０および圧縮制御部２４から構成される。
【００４２】
圧縮符号化部２０は、ピクチャー並べ替え部２００、走査変換ブロック化部２０２、動き検出部２０４、ＦＩＦＯ２０６，２２０、減算回路２０７、ＤＣＴ部２０８、量子化部２１０、可変長符号化部（ＶＬＣ）２１２、逆量子化部２１４、逆ＤＣＴ（ＩＤＣＴ）部２１６、加算回路２１８および動き補償部２２２から構成される。
圧縮制御部２４は、動き補償部２４０、減算回路２４２、ＤＣＴ部２４４、予測部２４６、バックサーチ(back search) 部２４８およびピクチャータイプ制御部２５０から構成される。
【００４３】
エンコーダ２は、これらの構成部分により、既にＭＰＥＧ２方式等による圧縮符号化および伸長復号を１回以上経た入力映像データ(video in)から、前回の圧縮符号化におけるＧＯＰ位相を検出するとともに、前回の圧縮符号化における量子化ステップをバックサーチ方式により再生し、前回と同じ量子化ステップおよびＧＯＰ位相で再び入力映像データを圧縮符号化し、エンコーダとデコーダをタンデム接続して映像データの圧縮符号化および伸長復号を繰り返した場合の映像の品質の劣化を防止する。
【００４４】
エンコーダ２の各構成部分
以下、エンコーダ２の各構成部分を説明する。
【００４５】
圧縮符号化部２０
圧縮符号化部２０は、一般的なＭＰＥＧ２方式のエンコーダと同様に、入力映像データに対して動き補償処理、ＤＣＴ処理および可変長符号化処理を行って圧縮符号化する。
圧縮符号化部２０において、ピクチャー並べ替え部２００は、ピクチャータイプ制御部２５０の制御に従って、入力映像データのピクチャーが圧縮符号化後にいずれのピクチャータイプとなるかに応じて圧縮符号化に適した順番に入力映像データのピクチャーを並び替え、走査変換ブロック化部２０２に対して出力する。
【００４６】
走査変換ブロック化部２０２は、ピクチャー並べ替え部２００から入力された映像データをフィールド／フレーム変換し、さらにマクロブロック化して動き検出部２０４および圧縮制御部２４の動き補償部２４０に対して出力する。
動き検出部２０４は、走査変換ブロック化部２０２から入力される映像データをＦＩＦＯ２０６および圧縮制御部２４の減算回路２４２に対して出力するとともに、走査変換ブロック化部２０２から入力される映像データをマクロブロック単位に処理してその動きを検出し、映像の動きを示す動きベクトルを生成して動き補償部２４０およびＦＩＦＯ２２０に対して出力する。
【００４７】
ＦＩＦＯ２０６は、動き検出部２０４から入力された映像データをバッファリングし、圧縮制御部２４のＤＣＴ部２４４、予測部２４６およびバックサーチ部２４８における処理（予備符号化処理）に要する時間だけ遅延を与えて減算回路２０７に対して出力する。
【００４８】
減算回路２０７は、ＦＩＦＯ２０６から入力される映像データに含まれるピクチャーの内、圧縮符号化後にＩピクチャーとなるピクチャーの映像データをそのままＤＣＴ部２０８に対して出力する。
また、減算回路２０７は、ＦＩＦＯ２０６から入力される映像データに含まれるピクチャーの内、圧縮符号化後にＰピクチャーまたはＢピクチャーとなるピクチャーの映像データから動き補償部２２２の出力映像データを減算し、予測誤差データを生成してＤＣＴ部２０８に対して出力する。
【００４９】
ＤＣＴ部２０８は、減算回路２０７から入力される圧縮符号化後にＩピクチャーとなる映像データ、および、圧縮符号化後にＰピクチャーまたはＢピクチャーとなる映像データの予測誤差データをＤＣＴ処理し、ＤＣＴ処理の結果として得られたＤＣＴ係数を量子化部２１０に対して出力する。
量子化部２１０は、圧縮制御部２４のバックサーチ部２４８から入力される量子化インデックスが示す量子化ステップで、ＤＣＴ部２０８から入力されたＤＣＴ係数を量子化し、量子化データとして可変長符号化部２１２および逆量子化部２１４に対して出力する。
【００５０】
可変長符号化部２１２は、量子化部２１０から入力される量子化データを、例えばランレングス符号化方式により可変長符号化し、出力映像データ(stream out)として出力する。
逆量子化部２１４は、入力される量子化データに対して、量子化部２１０と逆の処理を行ってＤＣＴ係数を再生し、逆ＤＣＴ部２１６に対して出力する。
【００５１】
逆ＤＣＴ部２１６は、入力されるＤＣＴ係数に対してＤＣＴ部２０８と逆の処理を行って映像データを再生し、加算回路２１８に対して出力する。
加算回路２１８は、逆ＤＣＴ部２１６から入力される映像データと、動き補償部２２２から入力される映像データとを加算して映像データを再生し、動き補償部２２２に対して出力する。
【００５２】
ＦＩＦＯ２２０は、動き検出部２０４から入力される動きベクトルをバッファリングし、ＦＩＦＯ２０６〜加算回路２１８の処理に要する時間だけ遅延して動き補償部２２２に対して出力する。
動き補償部２２２は、加算回路２１８から入力される映像データに対して、ＦＩＦＯ２２０から入力される動きベクトルを用いた動き補償処理を行い、減算回路２０７およびＤＣＴ部２０８に対して出力する。
【００５３】
圧縮制御部２４
圧縮制御部２４は、入力映像データの前回の圧縮符号化における量子化ステップおよびＧＯＰ位相を検出し、これらが一致するように圧縮符号化部２０を制御する。また、圧縮制御部２４は、入力映像データの絵柄の複雑さおよび動きの速さ〔絵柄の難しさ（難度）；difficulty〕に基づいて、可変長符号化部２１２から出力される出力映像データの総量（データレート）が、１〜数ＧＯＰ分の圧縮映像データを生成する時間（単位期間）ごとの出力映像データの許容値〔例えば伝送路の伝送容量等〕以下であって、この許容値にほぼ等しくする量子化ステップを算出し、量子化インデックスの形式で量子化部２１０に設定する。
【００５４】
圧縮制御部２４において、動き補償部２４０は、圧縮符号化部２０の動き補償部２２２と同様に、走査変換ブロック化部２０２から入力される映像データに対して、動き検出部２０４から入力される動きベクトルを用いて動き補償処理を行い、減算回路２４２に対して出力する。
減算回路２４２は、圧縮符号化部２０の減算回路２０７と同様に、動き検出部２０４から入力される映像データから、動き補償部２４０から入力される動き補償された映像データを減算し、Ｉピクチャーの映像データ、および、ＰピクチャーまたはＢピクチャーの予測誤差データを生成し、ＤＣＴ部２４４に対して出力する。
【００５５】
ＤＣＴ部２４４は、圧縮符号化部２０のＤＣＴ部２０８と同様に、減算回路２４２から入力されたＩピクチャーの映像データ、および、ＰピクチャーまたはＢピクチャーの予測誤差データをＤＣＴ変換し、ＤＣＴ処理の結果として得られたＤＣＴ係数を生成して予測部２４６に対して出力する。
【００５６】
予測部２４６は、ＤＣＴ部２４４から入力されたＤＣＴ係数をバックサーチ部２４８に対して出力する。
また、予測部２４６は、例えば、１〜数ＧＯＰ分の圧縮映像データを生成する時間を単位期間として、この単位期間ごとに固定値の量子化ステップ(fix-q) でＤＣＴ部２４４から入力されたＤＣＴ係数を量子化して量子化データを生成する。
【００５７】
また、予測部２４６は、映像データ処理システム１（エンコーダ２）の使用者等によって外部から設定され、上記許容値を示す目標データ量、および、生成した量子化データのデータ量（発生符号量）に基づいて、入力映像データの絵柄の難しさ（難度）を単位期間ごとに見積もる。
【００５８】
また、予測部２４６は、見積もった入力映像データの絵柄の難しさに応じて、入力映像データの絵柄が難しい部分に多くのデータ量（データレート）を割り当て、入力映像データの絵柄が簡単な部分に少ないデータ量（データレート）を割り当てて出力映像データの品質を全体として高く保ち、しかも、出力映像データの総量が上記許容値を超えないようにするために実際に用いるべき量子化ステップを示す量子化インデックスを単位期間ごとに算出し、バックサーチ部２４８に対して出力する。
【００５９】
なお、予測部２４６においては、上述した固定値の量子化ステップでＤＣＴ係数を量子化して量子化インデックスを予測する方法の他に、例えば、ＤＣＴ部２４４から入力されるＤＣＴ係数をいくつかの仮の量子化値を用いて量子化して量子化データを生成し、生成した量子化データのデータ量（発生符号量）と目標データ量（許容値）とを比較して、これらのいずれが多いかに応じて二分木検索により最適な量子化ステップを予測する方法〔バイナリサーチ(binary search) 〕を採ることも可能である。
【００６０】
バックサーチ部２４８の処理の概要
バックサーチ部２４８は、予測部２４６から入力される量子化インデックス、および、ＤＣＴ部２４４から予測部２４６を介して入力されるＤＣＴ係数に基づいて、前回の圧縮符号化においてイントラ符号化されたピクチャーを検出し、検出結果をピクチャータイプ制御部２５０に対して出力する。
【００６１】
また、バックサーチ部２４８は、バックサーチにより入力映像データが１度以上の圧縮符号化を経ているか否かを判断し、前回の圧縮符号化において用いられた量子化ステップを示す量子化インデックスを生成し、圧縮符号化部２０の量子化部２１０に設定する。
【００６２】
つまり、バックサーチ部２４８は、予測部２４６が予測した量子化インデックスが示す量子化ステップおよびその近傍の値で、ＤＣＴ部２４４から予測部２４６を介して入力されるＤＣＴ係数を除算し、除算結果の剰余の総和が著しく小さい値を示す量子化ステップが存在する場合には、この著しく小さい値を示す量子化ステップを前回の圧縮符号化において用いられた量子化ステップと判定し、この量子化ステップを示す量子化インデックスを量子化部２１０に対して出力する。
【００６３】
バックサーチ部２４８の処理の詳細
さらに、バックサーチ部２４８の入力映像データのＩピクチャーの検出処理の内容を詳細に説明する。
バックサーチ部２４８におけるＧＯＰ位相の検出処理は、入力映像データに含まれるＩピクチャーから伸長復号されたピクチャー（単に「入力映像データのＩピクチャー」とも記す）を、次の圧縮符号化においても再びＩピクチャーに圧縮符号化（イントラ符号化）した場合にのみ、バックサーチにより求められるＤＣＴ係数の剰余総和が顕著な極小を示すという性質に着目して行われる。
【００６４】
この理由は、ＰピクチャーまたはＢピクチャーは、動き補償処理により算出した予測誤差データをＤＣＴ処理し、量子化することにより圧縮符号化されているために、ＰピクチャーまたはＢピクチャーを逆ＤＣＴ処理、逆量子化および動き補償して伸長復号しても、伸長復号の結果として得られる映像データの値は量子化ステップの整数倍にはなりえないからである。
従って、ＰピクチャーまたはＢピクチャーを伸長復号して得られたピクチャー（単に「入力映像データのＰピクチャー，Ｂピクチャー」とも記す）をイントラ符号化し、バックサーチ処理した場合には、ＤＣＴ係数の剰余の総和に極小点は存在せず、見つけることはできない。
【００６５】
また、同様に、入力映像データのＢピクチャー（Ｐピクチャー）を再度同じＢピクチャー（Ｐピクチャー）に圧縮符号化し、バックサーチ処理した場合にも、前回の圧縮符号化で求められた動きベクトルと、次回の圧縮符号化により歪んだ映像から求められた動きベクトルとは同一にはならず、また、前回の圧縮符号化および伸長復号による映像の歪みのために、次回の圧縮符号化において得られる予測誤差データは、前回の圧縮符号化の際に得られた予測誤差データと同一にはならない。従って、次回、入力映像データのＢピクチャーまたはＰピクチャーを前回と同じピクチャータイプに圧縮符号化しても、バックサーチ処理において、ＤＣＴ係数の剰余の総和が顕著に小さい値になる極小点が見つかる確率は非常に低い。
【００６６】
以上説明したピクチャータイプごとのバックサーチ処理における性質を利用すると、入力映像データのピクチャーが、前回、イントラ符号化されたものであるか否かを、バックサーチ処理においてＤＣＴ係数の顕著な極小値を生じるか否かに基づいて自動的に検出することができる。
【００６７】
バックサーチ部２４８は、ＤＣＴ係数の剰余の総和に顕著な極小値が存在するか否か、例えば、予測部２４６から入力された量子化インデックスが示す量子化ステップでＤＣＴ係数を除算した場合の剰余の総和に対して、バックサーチ部２４８におけるバックサーチ処理により求められたＤＣＴ係数の剰余の総和の比率が、ある一定の閾値以下になるか否かを判断することにより、エンコーダ２が入力映像データのＩピクチャーをイントラ符号化したか否かを判断することができる。
【００６８】
このように、バックサーチ部２４８は、入力映像データのＩピクチャーの位置を検出することにより、入力映像データのＩピクチャーの間隔（ＧＯＰに含まれるピクチャーの数Ｎ）を判定することができ、判定結果をピクチャータイプ制御部２５０に通知する。
【００６９】
ピクチャータイプ制御部２５０は、求めたＩピクチャーの間隔と、映像データ処理システム１のエンコーダ２ａ，２ｂおよびデコーダ４ａ，４ｂが用いるＧＯＰの構成（ＧＯＰ内にいずれのピクチャータイプがどのような順番で含まれるか；ＧＯＰシーケンス）とに基づいて、ＧＯＰ内のＰピクチャーの間隔（Ｍ）を判定することができ、さらに、入力映像データの各ピクチャーが、前回、いずれのピクチャータイプに圧縮符号化されたかを判定することができる。
【００７０】
ピクチャータイプ制御部２５０は、以上説明したように判定した入力映像データが前回の圧縮符号化においていずれのピクチャータイプに圧縮符号化されたかを示す情報に基づいて、入力映像データの各ピクチャーが前回と同じピクチャータイプに圧縮符号化され、前回の圧縮符号化と次回の圧縮符号化におけるＧＯＰ位相が保たれるようにピクチャー並べ替え部２００を制御し、ピクチャーの並び替えを行わせる。
【００７１】
エンコーダ２の動作
以下、図３をさらに参照して図１および図２に示したエンコーダ２（図１，図２）の動作を説明する。
圧縮制御部２４の動き補償部２４０は、圧縮符号化部２０のピクチャー並べ替え部２００および走査変換ブロック化部２０２が処理した映像データを動き補償する。
減算回路２４２は、Ｉピクチャーの映像データ、および、ＰピクチャーまたはＢピクチャーの予測誤差データを生成する。
ＤＣＴ部２４４は、Ｉピクチャーの映像データ、および、ＰピクチャーまたはＢピクチャーの予測誤差データをＤＣＴ変換し、ＤＣＴ係数を生成する。
【００７２】
予測部２４６は、例えば、１ＧＯＰ分の圧縮映像データを生成する時間を単位期間として、この単位期間ごとに固定値の量子化ステップ(fix-q) でＤＣＴ部２４４から入力されたＤＣＴ係数を量子化して量子化データを生成し、その発生符号量に基づいて、入力映像データの難度を見積もり、さらに、量子化インデックスを単位期間ごとに算出する。
【００７３】
バックサーチ部２４８は、予測部２４６が生成した量子化インデックスと、ＤＣＴ部２４４が生成したＤＣＴ係数とに基づいて、前回の圧縮符号化においてイントラ符号化されたピクチャーを検出し、さらに、バックサーチにより前回の圧縮符号化において用いられた量子化ステップを示す量子化インデックスを生成する。
図３は、図１および図２に示したエンコーダ２（２ａ，２ｂ）のバックサーチ部２４８およびピクチャータイプ制御部２５０の処理内容、つまり、いかにイントラ符号化する入力映像データのピクチャーを指定するかを例示するフローチャート図である。
【００７４】
図３に示すように、ステップ１００（Ｓ１００）において、バックサーチ部２４８は、変数ｊを初期値１とする。
ステップ１０２（Ｓ１０２）において、バックサーチ部２４８は、圧縮符号化部２０の動き補償部２４０、減算回路２４２およびＤＣＴ部２４４が入力映像データの第ｊ番目のピクチャーを圧縮処理した結果として得られたＤＣＴ係数に対してバックサーチ処理を行い、ＤＣＴ係数の剰余の総和Ｒmin,j と、予測部２４６が得た量子化ステップ（その前の量子化ステップ）によるＤＣＴ係数の剰余の総和Ｒj とを記憶する。
【００７５】
ステップ１０４（Ｓ１０４）において、バックサーチ部２４８は、変数ｊと、それまでに求めたＧＯＰのピクチャー数Ｎとを比較し、変数ｊがピクチャー数Ｎより大きい場合にはＳ１０８の処理に進み、変数ｊがピクチャー数Ｎ以下である場合にはＳ１０６の処理に進む。
ステップ１０６（Ｓ１０６）において、バックサーチ部２４８は、変数ｊに１を加算（インクリメント）する。
【００７６】
Ｓ１００〜Ｓ１０６の処理が構成するループ処理において、バックサーチ部２４８は、Ｎ枚（１ＧＯＰ分）のピクチャーについて、バックサーチ処理により得られるＤＣＴ係数の剰余の総和Ｒsub,j と、予測部２４６が固定値の量子化ステップでＤＣＴ係数を量子化することにより、あるいは、バイナリサーチにより得た量子化ステップで量子化したときの剰余総和Ｒj とを保存する処理を行う。
【００７７】
ステップ１０８（Ｓ１０８）において、バックサーチ部２４８は、予測部２４６が得た量子化ステップにより得られる剰余総和Ｒj に対する、Ｓ１００〜Ｓ１０６の処理が構成するループ処理により得られたＮ個の剰余総和Ｒsub,j の比率（Ｒmin,j ／Ｒj ）の最小値〔ｍｉｎ（Ｒmin,j ／Ｒj ）〕と、所定の閾値Ｔｈとを比較する。
【００７８】
バックサーチ部２４８は、最小値〔ｍｉｎ（Ｒmin,j ／Ｒj ）〕が閾値Ｔｈ以上である場合には、入力映像データが１度も圧縮符号化を経ていないオリジナルの映像データであると判断してＳ１００の処理に進み、最小値〔ｍｉｎ（Ｒmin,j ／Ｒj ）〕が閾値Ｔｈ未満である場合には、入力映像データが既に圧縮符号化を経ている（ダビング後の）映像データであると判断してＳ１１０の処理に進む。
【００７９】
ステップ１１０（Ｓ１１０）において、バックサーチ部２４８は、Ｓ１０８の処理において、最小値〔ｍｉｎ（Ｒmin,j ／Ｒj ）〕を与える第ｊmin 番目のピクチャーを入力映像データのＩピクチャーと判断し、ピクチャータイプ制御部２５０に対して通知する。
ステップ１１２（Ｓ１１２）において、ピクチャータイプ制御部２５０は、第ｊmin 番目のピクチャーが、ＧＯＰの第１番目のピクチャーであるか否かを判断し、第ｊmin 番目のピクチャーがＧＯＰの第１番目のピクチャーである場合にはＳ１００の処理に進み、第ｊmin 番目のピクチャーがＧＯＰの第１番目のピクチャーでない場合にはＳ１１４の処理に進む。
【００８０】
Ｓ１１２の処理において、第ｊmin 番目のピクチャーがＧＯＰの第１番目のピクチャーであるということは、現在のバックサーチ処理の対象となっているＧＯＰの位相
（構成）が、の前回のバックサーチ処理の対象となっていたＧＯＰの位相
（構成）と同じであることを意味するので、ピクチャータイプ制御部２５０は、ＧＯＰの位相の変更を要さない。
【００８１】
反対に、Ｓ１１２の処理において、第ｊmin 番目のピクチャーがＧＯＰの第１番目のピクチャーでないということは、バックサーチ部２４８の現在の処理の対象となっているＧＯＰの位相
（構成）が、バックサーチ部２４８の前回の処理の対象となっていたＧＯＰの位相
（構成）と異なっていることを意味するので、ピクチャータイプ制御部２５０は、ＧＯＰの位相の変更を要する。
【００８２】
ステップ１１４（Ｓ１１４）において、ピクチャータイプ制御部２５０は、第Ｎ＋ｊmin 番目の入力映像データのピクチャーをイントラ符号化するように、ピクチャーの並び替えの順番を変更するようにピクチャー並べ替え部２００を制御する。
ステップ１１６（Ｓ１１６）において、ピクチャータイプ制御部２５０は、変数ｊに数値ｊmin を代入し、Ｓ１０２の処理に進む。
【００８３】
圧縮符号化部２０のピクチャー並べ替え部２００は、以上説明したピクチャータイプ制御部２５０の制御に従って、入力映像データのピクチャーの順番を並び替える。
走査変換ブロック化部２０２は、映像データをフィールド／フレーム変換し、さらにマクロブロック化する。
【００８４】
動き検出部２０４は、映像データをマクロブロック単位に処理してその動きを検出し、映像の動きを示す動きベクトルを生成する。
ＦＩＦＯ２０６は、映像データをバッファリングし、所定の時間遅延を与える。
減算回路２０７は、圧縮符号化後にＰピクチャーまたはＢピクチャーとなるピクチャーの予測誤差データを生成する。
【００８５】
ＤＣＴ部２０８は、圧縮符号化後にＩピクチャーとなる映像データ、および、ＰピクチャーまたはＢピクチャーとなる映像データの予測誤差データをＤＣＴ処理し、ＤＣＴ係数を生成する。
量子化部２１０は、圧縮制御部２４のバックサーチ部２４８が生成した量子化インデックスが示す量子化ステップで、ＤＣＴ部２０８から入力されたＤＣＴ係数を量子化し、量子化データを生成する。
可変長符号化部２１２は、量子化部２１０から入力される量子化データを可変長符号化し、出力映像データ(stream out)として出力する。
【００８６】
逆量子化部２１４は、量子化データを逆量子化処理してＤＣＴ係数を再生する。
逆ＤＣＴ部２１６は、再生されたＤＣＴ係数を逆ＤＣＴ処理して映像データを再生する。
加算回路２１８は、逆ＤＣＴ部２１６から入力される映像データと、動き補償部２２２から入力される映像データとを加算する。
【００８７】
ＦＩＦＯ２２０は、動き検出部２０４から入力される動きベクトルをバッファリングし、所定の時間遅延を与える。
動き補償部２２２は、加算回路２１８から入力される映像データに対して、ＦＩＦＯ２２０から入力される動きベクトルを用いた動き補償処理を行う。
【００８８】
変形例
以下、図４を参照して、第１の実施形態の変形例を説明する。
エンコーダ２（図１，図２）は、圧縮符号化部２０の量子化部２１０に設定する量子化インデックスを求めるバックサーチ処理を行う際に、前回の圧縮符号化の際のピクチャータイプを検出し、ピクチャー並べ替え部２００のピクチャーの並び替え処理を制御するように構成されているので、遅延量が多く、しかも、ピクチャー並べ替え部２００におけるピクチャーの並び替えの順番を迅速に変更することができない。
【００８９】
しかしながら、バックサーチ処理により、ＤＣＴ係数の剰余総和の極小点を見つけるためには、必ずしもピクチャーの全てのＤＣＴ係数の剰余総和を算出する必要はなく、ピクチャー中のいくつかのマクロブロックを抽出して、剰余総和の極小点が存在するか否かを調べれば充分である。
【００９０】
以下に説明する第１の実施形態に示したエンコーダ２の変形例（エンコーダ５）は、このような点に着目し、エンコーダ２の処理速度を改善するのためになされたものであり、量子化インデックスを生成する機能と、ＧＯＰの位相を検出する機能とを分離し、予めＧＯＰ位相を検出してから入力映像データを圧縮符号化するように構成されている。
【００９１】
図４は、第１の実施形態の変形例のエンコーダ５の構成を示す図である。なお、図４においては、エンコーダ５の構成部分の内、エンコーダ２と同一のものには図２と同じ符号が付してある。
図４に示すように、エンコーダ５は、圧縮符号化部２０と圧縮制御部２６から構成される。
圧縮制御部２６は、圧縮制御部２４（図２）にＧＯＰ位相制御部２８を付加した構成を採る。
ＧＯＰ位相制御部２８は、ブロック抽出部２８０、ＤＣＴ部２８２、予測部２８４およびバックサーチ部２８６から構成される。
【００９２】
圧縮制御部２６のＧＯＰ位相制御部２８において、ブロック抽出部２８０は、入力映像データの各ピクチャーから数ブロック分の映像データを抽出し、ＤＣＴ部２８２に対して出力する。
ＤＣＴ部２８２は、ブロック抽出部２８０から入力された数ブロック分の映像データをＤＣＴ処理し、ＤＣＴ処理により得られたＤＣＴ係数を予測部２８４に対して出力する。
【００９３】
予測部２８４は、圧縮制御部２４の予測部２４６と同様に、単位期間ごとに固定値の量子化ステップ(fix-q) またはバイナリサーチにより入力映像データの絵柄の難しさを見積もり、実際に用いるべき量子化ステップを示す量子化インデックスを単位期間ごとに算出してバックサーチ部２８６に対して出力する。
【００９４】
バックサーチ部２８６は、エンコーダ２における圧縮制御部２４のバックサーチ部２４８と同様に、予測部２８４から入力される量子化インデックス、および、ＤＣＴ部２８２から予測部２８４を介して入力されるＤＣＴ係数を用いてバックサーチ処理を行い、入力映像データのＧＯＰ位相（Ｉピクチャー）を検出し、ピクチャータイプ制御部２５０に通知する。
ピクチャータイプ制御部２５０は、エンコーダ２においてと同様に、バックサーチ部２８６から入力されるＩピクチャーの位置を示す情報に従って、圧縮符号化部２０のピクチャー並べ替え部２００の処理を制御する。
【００９５】
なお、エンコーダ２と異なり、エンコーダ５においては、ＧＯＰ位相の検出（Ｉピクチャーの検出）に先立つ動き補償は行なわれないので、ＧＯＰ位相制御部２８のバックサーチ部２８６は、入力映像データの全てのピクチャーに対してイントラ符号化して得られたＤＣＴ係数に対してバックサーチ処理を行うことになる。従って、結果的に、ＧＯＰ位相制御部２８による入力映像データが既に圧縮符号化を経ているか否かの判定は非常に簡単になる。
【００９６】
また、図１および図２に示したエンコーダ２（２ａ，２ｂ）の各構成部分は、同一の機能および性能を実現可能である限り、ソフトウェア的に構成されるかハードウェア的に構成されるかを問わない。
また、エンコーダ２の各構成部分は、同一の機能および性能を実現可能な他の装置に置換可能である。
また、エンコーダ２は、適切な変形を加えることにより、映像データの他、例えば、音声データといった冗長性を有する他の種類のデータの圧縮符号化に応用することができる。
【００９７】
効果
以上説明したように、エンコーダ２，５によれば、前回の圧縮符号化と同じＧＯＰ位相を保って次回の圧縮符号化を行うことができ、図１に示した映像データ処理システム１における映像の品質の劣化を防ぐことができる。
また、エンコーダ２，５においては、ピクチャータイプ情報が失われた場合、あるいは、１度も圧縮符号化を経ていないオリジナルの映像データが入力された場合に、圧縮映像データとピクチャータイプを示す情報とを多重化し、ピクチャータイプ情報に基づいて次回の圧縮符号化を行う従来の方法において生じていた誤動作等の不具合は発生しない。
【００９８】
また、エンコーダ２，５においては、例えば、圧縮映像データをアナログ映像信号に戻し、再度、ディジタル圧縮映像データとして記録等を行う場合にも、アナログ映像データに戻す前の圧縮映像データと同じＧＯＰ位相で圧縮符号化を行うことができ、映像の品質の劣化を防ぐことができる。
また、エンコーダ５は、ピクチャーの一部のマクロブロックを用いてＧＯＰ位相を検出するので、エンコーダ２に比べて大幅に装置規模が増大することがない。
また、エンコーダ５によると、ＧＯＰ位相を検出するために要する処理時間が短縮されるので、エンコーダ２に比べて遅延時間を短縮することができる。
【００９９】
第２実施形態
以下、本発明の第２の実施形態を説明する。
【０１００】
第２の実施形態の背景
ＭＰＥＧ２方式等のＭＣ−ＤＣＴ方式等の圧縮符号化技術を、映像データの放送、通信あるいは伝送に用いる場合には、圧縮符号化して得られる圧縮映像データのデータ量（発生符号量）を伝送路の伝送容量以下に押さえ込むためには、ＭＰＥＧ方式のＴＭ５等に代表されるように、通常、フィードバックによる量子化ステップの制御が行なわれる。
【０１０１】
このフィードバックによる量子化ステップの制御は、過去の量子化ステップ（量子化インデックス）と、この量子化ステップに対応する発生符号量との関係により、その時点のバッファ残量に適合する量子化ステップ（量子化インデックス）を動的（ダイナミック）に調節することにより行われる。
【０１０２】
しかしながら、このフィードバック制御方式は、長い時間で見たときは所望のデータレートに符号発生量を抑え込むことができるものの、瞬間的に見ると、発生符号量の増大を招くことがある。
従って、テレビジョン放送業務用デジタルＶＴＲ装置あるいは録再型ディスク装置への応用を考えると、例えばインサート編集、可変速再生あるいは記録エラーのコンシール(conceal) に対応できるように、ある単位期間ごとに、発生符号量が必ず目標符号量となるように発生符号量を制御し、ＶＴＲテープあるいはＭＯディスク等のディスク記録媒体の特定の場所に記録するという制御がさらに必要になる。
【０１０３】
また、高い映像の品質が要求されるテレビジョン放送局用においては、タンデム接続したエンコーダおよびデコーダ（コーデック）により圧縮符号化および伸長復号を繰り返した場合の映像の品質の劣化防止も厳しく要求される。
【０１０４】
従って、映像データ処理システム１（図１）等において圧縮符号化および伸長復号を繰り返す場合には、各圧縮符号化処理における量子化ステップを同じにするために、例えば、エンコーダ２，５（図１，図２，図４）のバックサーチ部２４８によるバックサーチ処理が用いられる。
【０１０５】
しかしながら、エンコーダ２，５のバックサーチ部２４８のバックサーチ処理においては、ＤＣＴ係数の剰余総和の中に、所定の閾値を超える割合の著しい極小点が存在するか否かに基づいて、前回の圧縮符号化において用いられた量子化ステップを検出する方法が採られるため、この閾値を小さく設定しすぎると、本来、ＤＣＴ係数の剰余総和の極小点が存在しない、一度の圧縮符号化も経ていないオリジナル映像データのピクチャーのいくつかのマクロブロックから、ＤＣＴ係数の剰余総和の極小点が誤って検出される可能性がある。
【０１０６】
バックサーチ部２４８がＤＣＴ係数の剰余総和を誤って検出し、誤って生成した量子化ステップ（量子化インデックス）に基づいて圧縮符号化部２０の量子化部２１０が量子化を行うと、最適な量子化ステップよりも大きい値でＤＣＴ係数を量子化してしまい、結果として映像の品質が大きく劣化してしまう可能性がある。
【０１０７】
また逆に、ＤＣＴ係数の剰余総和の検出に用いる閾値を過度に大きく設定すると、既に圧縮符号化を経ている映像データが入力されても、ピクチャー内のいくつかのマクロブロックではＤＣＴ係数の剰余総和の極小点を検出できない可能性がある。本来、検出されるべき極小点が検出できないと、前回の圧縮符号化にいてと異なる量子化ステップで、次回の圧縮符号化における量子化処理が行われ、映像の品質が大きく劣化してしまう。
これらの観点から、ＤＣＴ係数の剰余総和の検出に用いる閾値を適切に選択する必要があるが、以上のような不具合の解決は難しく、さらに、入力映像データの絵柄によっては、以上の不具合が顕著に現れる可能性もある。
【０１０８】
さらに、ＭＰＥＧ ４：２：２ Profile方式を用いる装置には、例えば、ＧＯＰがＩピクチャーおよびＢピクチャーの２フレーム構成となっているものがあり、また、ＭＰ＠ＭＬ方式を用いる装置には、ＧＯＰが１５フレーム構成を採ることが代表的である。
【０１０９】
一方、複数フレーム構成のＧＯＰを用いるＭＣ−ＤＣＴ方式のエンコーダおよびデコーダにおいては、圧縮符号化の際に動き補償処理を行うピクチャータイプにおいて前回と同じ動きベクトルを再現することは不可能であるため、次回の圧縮符号化における動きベクトルおよび予測誤差の再現性が低く、結果として、前回の圧縮符号化においてＢピクチャーおよびＰピクチャーに圧縮符号化されたピクチャーのＤＣＴ係数の剰余総和に顕著な極小点は存在しない。
【０１１０】
従って、バックサーチ部２４８において前回の圧縮符号化においてイントラ符号化されたピクチャーを検出するための閾値を用いてバックサーチ処理を行っても、前回の圧縮符号化においてＢピクチャーおよびＰピクチャーに圧縮符号化されたピクチャーからは、ＤＣＴ係数の極小点を検出できない。
第２の実施形態は、このような不具合を解決し、ピクチャータイプの誤検出を防ぐことができるバックサーチ処理をズムを実現し、例えば、複数のディジタルＶＴＲ装置を接続して映像データを複写する際等の映像の品質劣化を防ぐことを目的としている。
【０１１１】
図５は、第２の実施形態における本発明に係るエンコーダ６の構成を示す図である。なお、図５においては、エンコーダ６の構成部分のうち、図２に示したエンコーダ２および図４に示したエンコーダ５の構成部分と同じものには、同一の符号を付してある。
【０１１２】
図５に示すように、エンコーダ６は、圧縮符号化部２０、圧縮制御部３０およびビデオインデックス（video index;仮称）検出部３２から構成され、圧縮制御部３０は、エンコーダ２，５（図１，図２，図４）の圧縮制御部２４にスイッチ(sw)回路３００を付加した構成を採る。なお、第２の実施形態において示すエンコーダ６は、圧縮符号化において動き補償を行うように構成されているが、動き補償処理は必須ではない。
【０１１３】
エンコーダ６は、例えば、映像データ処理システム１（図１）において、エンコーダ２，５の代わりに用いられ、エンコーダ２，５と同様に、入力映像データに含まれる各ピクチャーが前回、いずれのピクチャータイプに圧縮符号化されたかを検出し、さらに、前回と同じ量子化ステップでＤＣＴ係数を量子化し、圧縮符号化を行う。
【０１１４】
エンコーダ６におけるバックサーチ処理
エンコーダ６におけるバックサーチ処理は、バックサーチアルゴリズムは、一度も圧縮符号化を経ていないオリジナルの映像に対しては使用しないほうがよく、同じ圧縮符号化方式を用いるエンコーダによる圧縮符号化を既に経ている映像データに対してのみ適用することが好ましいという性質に着眼して変更されている。
【０１１５】
つまり、第１の実施形態において示したエンコーダ２，５においては、入力映像データの全てのピクチャーに対してバックサーチ処理を行い、オリジナルの映像データにおいてはＤＣＴ係数の剰余総和に極小点が見つからず、既に圧縮符号化を経た映像データにおいてのみ剰余総和に極小点が見つかってバックサーチ処理が有効となること期待しているが、この期待どおりとならない場合がある。
【０１１６】
そこで、第２の実施形態において示すエンコーダ６は、ビデオインデックスを用いて、入力される映像データのピクチャーが、既に圧縮符号化を経た映像データかオリジナルの映像データかを識別し、オリジナルの映像データ、および、前回、他の方式により圧縮符号化された映像データであると識別された場合には、バックサーチ処理を実行せず、逆に、前回、同じ方式により圧縮符号化され、かつ、前回のＧＯＰ位相が次の圧縮符号化におけるＧＯＰ移動と同じ場合にのみバックサーチ処理を実行するように構成されている。
【０１１７】
前回の圧縮符号化方式の検出方法
次に、前回の圧縮符号化方式が、次回の圧縮符号化方式と同じか否かを検出する方法を説明する。
現在、ＳＭＰＴＥにおいて、ビデオインデックスと呼ばれるエンコード条件を示す情報を、デコーダ側で映像データに多重化することが標準化されつつある。映像データに正しいビデオインデックスが多重化されているか否かを検出することにより、エンコーダ６の入力部分において、入力映像データが前回、同じ方式により圧縮符号化されたか否か、および、次回の圧縮符号化におけるＧＯＰの位相（構造）と前回の圧縮符号化におけるＧＯＰの位相とが一致しているか否かを判定することができる。以下、映像データ処理システム１において、デコーダ４ａ，４ｂがビデオインデックスを映像データに多重化する場合について説明を行う。
【０１１８】
ビデオインデックス検出部３２の動作の概要
以下、ビデオインデックス検出部３２の動作の概要を説明する。
ビデオインデックス検出部３２は、入力映像データに正しいビデオインデックス情報が多重化されているか否かを監視し、入力映像データに正しいビデオインデックス情報が多重化されており、かつ、次回の圧縮符号化におけるＧＯＰの位相（構造）と前回の圧縮符号化におけるＧＯＰの位相とが一致している場合にのみ、次回の圧縮符号化におけるＧＯＰの位相（構造）と前回の圧縮符号化におけるＧＯＰの位相とが一致するようにピクチャータイプ制御部２５０を介してピクチャー並べ替え部２００の動作を制御し、さらに、スイッチ回路３００を制御して入力端子ｂを選択させ、圧縮制御部２４のバックサーチ部２４８の処理により決定された量子化ステップ（量子化インデックス）を量子化部２１０に対して出力させる。
【０１１９】
また、ビデオインデックス検出部３２は、逆に、ビデオインデックスが入力映像データに全く多重化されていなかったり、多重化されていても違う圧縮符号化方式を示していたり、あるいは、同じ圧縮符号化方式を示していても、編集作業等によりＧＯＰ位相が変更されたりといったように、次回の圧縮符号化におけるＧＯＰ位相で圧縮符号化を行わない方がよい場合に、スイッチ回路３００を制御して入力端子ａを選択させ、予測部２４６により固定量子化ステップあるいはバイナリーサーチにより求められた量子化ステップ（インデックス）を量子化部２１０に対して出力させる。
【０１２０】
ビデオインデックス検出部３２の動作の詳細
以下、図７をさらに参照して、ビデオインデックス検出部３２の詳細な動作を説明する。
図７は、図５に示したエンコーダ６のビデオインデックス検出部３２の動作を例示するフローチャート図であって、ビデオインデックス検出部３２が１ピクチャーの映像データを取り込んでから、量子化インデックスを生成するまでが例示されている。
【０１２１】
図７に示すように、ステップ２００（Ｓ２００）において、エンコーダ６のビデオインデックス検出部３２は、次の入力映像データを１ピクチャー分取り込む。
ステップ２０２（Ｓ２０２）において、ビデオインデックス検出部３２は、次の入力映像データが取り込めたか否かを判断し、入力映像データが取り込めなかった場合には処理を終了する。
ステップ２０４（Ｓ２０４）において、ビデオインデックス検出部３２は、入力映像データのビデオインデックスが多重化されているべき位置のデータ（例えば３バイト）の全てを分離し、読み出す。
【０１２２】
ステップ２０６（Ｓ２０６）において、ビデオインデックス検出部３２は、読み出した３バイトのデータに対してＣＲＣチェックを行う。ＣＲＣチェックの結果、３バイトのデータが正しい場合にはＳ２０８の処理に進み、正しくない場合にはＳ２１６の処理に進む。
【０１２３】
ステップ２０８（Ｓ２０８）において、ビデオインデックス検出部３２は、ビデオインデックスに含まれるＧＯＰ構成、Ｐピクチャーの間隔（Ｍ）および量子化方法（Ｑ＿ｔｙｐｅ）を示すピクチャーごとの変更がないデータに基づいて、次回（現在）の圧縮符号化におけるこれらの条件と、前回の圧縮符号化におけるこれらの条件とが一致するか否かを判断する。一致する場合にはＳ２１０の処理に進み、一致しない場合にはＳ２１６の処理に進む。
【０１２４】
ステップ２１０（Ｓ２１０）において、ビデオインデックス検出部３２は、インデックスに含まれているピクチャータイプ(picture type)およびフレーム数（Ｎ；frame number）と、次回（現在）の圧縮符号化において期待されるピクチャータイプおよびフレーム数（Ｎ）とを比較し、これらが一致するか否かを判断する。一致する場合にはＳ２１２の処理に進み、一致しない場合にはＳ２１６の処理に進む。
【０１２５】
つまり、ビデオインデックス検出部３２は、ビデオインデックスに含まれるピクチャータイプを示すデータおよびフレーム番号を示すデータと、期待されているパターンとが一致する否かを調べる。例えば、ＧＯＰがＢピクチャーおよびＩピクチャーそれぞれ１枚ずつの２フレーム構成である場合には、表示順で、ＧＯＰの１枚目はＢピクチャー、２枚目はＩピクチャーとなることが期待される。
【０１２６】
従って、ビデオインデックス検出部３２は、ビデオインデックスデータに含まれるフレーム番号を示すデータ(Frame No.) が１であって、かつ、ビデオインデックスデータに含まれるピクチャータイプを示すデータがＢピクチャーである場合、および、ビデオインデックスデータに含まれるフレーム番号を示すデータ(Frame No.) が２であって、かつ、ビデオインデックスデータに含まれるピクチャータイプを示すデータがＩピクチャーである場合の２つの場合にのみビデオインデックスが正しいと判断する。
【０１２７】
ステップ２１２（Ｓ２１２）において、ビデオインデックス検出部３２は、インデックスに含まれているＧＯＰ位相を示す情報が、次回（現在）の圧縮符号化におけるＧＯＰ位相と一致するか否かを判断する。一致する場合にはＳ２１４の処理に進み、一致しない場合にはＳ２１６の処理に進む。
【０１２８】
つまり、ビデオインデックス検出部３２は、次回（現在）の圧縮符号化におけるＧＯＰ位相と、ビデオインデックスに含まれるＧＯＰ位相を示すデータとが一致している場合にのみ、バックサーチ部２４８が生成した量子化インデックスを有効にする。
【０１２９】
ステップ２１４（Ｓ２１４）において、ビデオインデックス検出部３２は、スイッチ回路３００を制御して入力端子ｂ側を選択させ、圧縮符号化部２０の量子化部２１０にバックサーチ部２４８が生成した量子化インデックスを出力させる。
【０１３０】
つまり、ビデオインデックス検出部３２は、Ｓ２０２，Ｓ２０６〜Ｓ２１２の処理に示した全ての条件が満たされた場合にのみ、バックサーチ部２４８におけるバックサーチ処理を有効化し、Ｓ２１４の処理においてスイッチ回路３００を制御し、バックサーチ部２４８が生成した量子化インデックスを量子化部２１０に対して出力させる。
【０１３１】
ステップ２１６（Ｓ２１６）において、ビデオインデックス検出部３２は、スイッチ回路３００に入力端子ａ側を選択させ、量子化部２１０が、バックサーチ部２４８が生成した量子化インデックスではなく、予測部２４６が生成した量子化インデックスを用いて量子化を行うように制御する〔フリーラン(free run)処理〕。
つまり、ビデオインデックス検出部３２は、Ｓ２０２，Ｓ２０６〜Ｓ２１２の処理に示した条件のいずれかが満たされない場合には、バックサーチ部２４８におけるバックサーチ処理を無効化し、Ｓ２１６においてスイッチ回路３００を制御し、予測部２４６が生成した量子化インデックスを量子化部２１０に対して出力させる。
【０１３２】
デコーダ４（４ａ，４ｂ）
図６は、図１に示したデコーダ４（４ａ，４ｂ）の構成を示す図である。
映像データ処理システム１（図１）において、エンコーダ２，５の代わりにエンコーダ６を用いる場合、デコーダ４ａ，４ｂは、図６に示すように、伸長復号部４０に、ビデオインデックス多重化部４１４を付加した構成を採る。
【０１３３】
伸長復号部４０は、一般的な映像データ用デコーダ装置と同様に、バッファメモリ(buffer)４００、可変長復号部（ＶＬＤ）４０２、逆量子化部４０４、逆ＤＣＴ部４０６、動き補償部４０８、スイッチ回路４１０、ピクチャー並べ替え部４１２およびピクチャータイプ制御部４１６から構成される。
【０１３４】
伸長復号部４０は、エンコーダ２から入力される圧縮映像データを伸長復号し、フルビットの映像データを生成してビデオインデックス多重化部４１４に対して出力する。
ビデオインデックス多重化部４１４は、ピクチャータイプ制御部４１６が検出した圧縮映像データのＧＯＰシーケンスに基づいて、前回の圧縮符号化の方式およびＧＯＰ構成等を示すビデオインデックスを生成し、ピクチャー並べ替え部４１２から入力される映像データにビデオインデックスを付加し、エンコーダ２に対して出力する。
【０１３５】
第２の実施形態における映像データ処理システム１の動作
以下、エンコーダ６（図５）およびデコーダ４（図６）を用いた映像データ処理システム１（図１）の動作を説明する。
エンコーダ６（６ａ）は、入力される映像データを圧縮符号化し、記録・伝送装置３ａを介してデコーダ４（４ａ）に対して伝送する。
デコーダ４ａは、エンコーダ６ａから入力された圧縮映像データを伸長復号してフルビットの映像データを生成し、ビデオインデックスデータを多重化して、記録・伝送装置３ｂを介してエンコーダ６（６ｂ）に伝送する。
【０１３６】
エンコーダ６ｂにおいて、ビデオインデックス検出部３２（図５）は、ピクチャー１枚分の映像データが入力されるたびに、図７に示した処理を行い、入力された映像データに多重化されたビデオインデックスが正しいか否かを判断し、スイッチ回路３００を制御して、圧縮符号化部２０の量子化部２１０に、バックサーチ部２４８が生成した量子化ステップ（量子化インデックス）および予測部２４６が生成した量子化ステップ（量子化インデックス）のいずれかを設定するとともに、ピクチャータイプ制御部２５０を介して圧縮符号化部２０のピクチャー並べ替え部２００を制御し、エンコーダ６ｂにおける圧縮符号化に適した順番に入力映像データのピクチャーを並べ替えさせる。
【０１３７】
圧縮符号化部２０のピクチャー並べ替え部２００以降の各構成部分、および、圧縮制御部３０は、エンコーダ２，５と同様に入力映像データを圧縮符号化し、記録・伝送装置３ｃを介してデコーダ４ｂに伝送する。
【０１３８】
なお、エンコーダ６におけるように、ビデオインデックスに基づいて圧縮符号化部２０のピクチャー並べ替え部２００を制御する場合、次回の圧縮符号化時においても前回の圧縮符号化時のピクチャータイプを把握できるので、前回の圧縮符号化時のピクチャータイプに基づいて、次回以降の圧縮符号化において圧縮制御部３０のバックサーチ部２４８のバックサーチ処理において用いられる閾値を、ピクチャータイプに応じて最適化することが可能である。
【０１３９】
つまり、前回の圧縮符号化時にイントラ符号化されたピクチャーを、次回もイントラ符号化する場合には、バックサーチ処理（図３）においてＤＣＴ係数の剰余総和の顕著な極小点が現れやすい。従って、バックサーチ処理に用いる閾値を大きめに設定することにより、ＤＣＴ係数の剰余総和の極小点の誤検出が防止できる。
【０１４０】
逆に、上述のように、前回の圧縮符号化においてＢピクチャーおよびＰピクチャーに圧縮符号化されたピクチャーを、次回の圧縮符号化においても同じピクチャータイプに圧縮符号化する場合には、動き予測を用いた圧縮符号化であるために、前回の圧縮符号化において求められた動きベクトルと、次回以降の歪んだ映像データから求められた動きベクトルとは一致せず、ＰピクチャーおよびＢピクチャーの予測誤差をＤＣＴ処理して得られたＤＣＴ係数の剰余総和を求めても、極小点がさほど顕著には現れない。
【０１４１】
このため、前回の圧縮符号化においてＢピクチャーおよびＰピクチャーに圧縮符号化されたピクチャーを、次回の圧縮符号化においても同じピクチャータイプに圧縮符号化する場合には、バックサーチ部２４８のバックサー処理において用いる閾値を高めに設定すると、バックサーチ部２４８は、正しい量子化ステップ（量子化インデックス）を求めることができない可能性が生じる。
【０１４２】
従って、前回の圧縮符号化においてＢピクチャーおよびＰピクチャーに圧縮符号化されたピクチャーを、次回の圧縮符号化においても同じピクチャータイプに圧縮符号化する場合には、バックサーチ部２４８のバックサー処理において用いる閾値を、上記イントラ符号化を行う場合に比べて小さい値とすることにより、バックサーチ部２４８は正しい量子化ステップ（量子化インデックス）を求めることができるようになる。
【０１４３】
変形例
なお、図５に示したエンコーダ６においては、ビデオインデックス検出部３２がスイッチ回路３００を制御して量子化ステップ（量子化インデックス）の変更を行うが、ビデオインデックス検出部３２の動作を、バックサーチ部２４８の動作を直接にＯＮ／ＯＦＦするように変更し、バックサーチ部２４８の動作を、ビデオインデックス検出部３２により動作がＯＦＦにされた場合に、予測部２４６から入力された量子化ステップ（量子化インデックス）を量子化部２１０に対して出力し、動作がＯＮにされた場合に、バックサーチ部２４８自体が生成した量子化ステップ（量子化インデックス）を量子化部２１０に対して出力するように変更してもよい。
また、エンコーダ６に対しても、エンコーダ２，５（図１，図２，図４）に対してと同様な変更が可能である。
【０１４４】
効果
以上説明したように、第２の実施形態に示したエンコーダ６によれば、圧縮符号化部３０のビデオインデックス検出部３２が、オリジナルの映像データが入力された場合には、バックサーチ部２４８のバックサーチ処理を無効化するので、オリジナルの映像データを大きい量子化ステップを用いて圧縮符号化するといった誤動作を防止することができ、オリジナルの映像データを圧縮符号化して得られる圧縮映像データの映像の品質が向上する。
【０１４５】
また、エンコーダ６においては、圧縮符号化部３０のビデオインデックス検出部３２が、オリジナルの映像データが入力された場合には、バックサーチ部２４８のバックサーチ処理が無効化されるので、既に圧縮符号化を経た映像データが入力された場合にバックサーチ部２４８が用いる閾値の値を小さく最適化することができ、ＤＣＴ係数の剰余総和の極小点の検出もれを防ぐことができ、バックサーチ処理の制度が向上する。従って結果的に、エンコーダ６によれば、既に圧縮符号化を経た映像データを圧縮符号化して得られる圧縮映像データの品質も向上する。
【０１４６】
第３実施形態
以下、本発明の第３実施形態を説明する。
【０１４７】
第３の実施形態の背景
図８は、映像データ圧縮・多重化装置７の構成例を示す図である。
例えば、テレビジョン放送局間で複数の圧縮映像データを多重化し、通信回線を介して伝送したい場合がある。このような場合、例えば、図８に例示する映像データ圧縮・多重化装置７が用いられる。
【０１４８】
図８に示すように、映像データ圧縮・多重化装置７は、３個のエンコーダ７０ａ〜７０ｃおよび多重化装置７２から構成される。
映像データ圧縮・多重化装置７において、エンコーダ７０ａ〜７０ｃは、それぞれ例えばディジタルＶＴＲ装置から入力される入力映像データＣＨ１〜ＣＨ３を圧縮符号化し、それぞれ固定データレートＦＲ１〜ＦＲ３の圧縮時映像データＣＨ１’〜ＣＨ３’として多重化装置７２に対して出力する。
多重化装置７２は、エンコーダ７０ａ〜７０ｃから入力された圧縮映像データＣＨ１’〜ＣＨ３’を多重化し、出力データレートＴの出力映像データとして通信回線（図示せず）に対して出力する。
【０１４９】
多重化装置７２に接続される通信回線の伝送容量は予め決まっているので、多重化装置７２の出力データレートＴは、この通信回線の伝送容量（許容値）以下に制限される。従って、映像データ圧縮・多重化装置７のユーザーは、エンコーダ７０ａ〜７０ｃそれぞれに対して、多重化装置７２の出力データレートを配分して、圧縮映像データのデータレートＦＲ１〜ＦＲ３（ＦＲ１＋ＦＲ２＋ＦＲ３≦Ｔ）を設定する必要がある。
【０１５０】
このような場合には、単純にエンコーダ７０ａ〜７０ｃそれぞれに出力データレートＴの１／３のデータレートを設定する方法の他に、入力映像データＣＨ１〜ＣＨ３の難度に応じて出力データレートＴを配分する方法が採られることがあり、後者の配分方法は統計多重と呼ばれる。
【０１５１】
例えば、多重化装置７２の出力データレートＴが１０Ｍｂｐｓであり、入力映像データＣＨ１が、難しい絵柄のスポーツ映像の映像データであり、入力映像データＣＨ２が、比較的難しい絵柄のニュース映像の映像データであり、入力映像データＣＨ３が、比較的易しい絵柄の映画の映像データである場合に、ユーザーは、統計多重化方式に従って、エンコーダ７０ａにデータレートＦＲ１として５Ｍｂｐｓを配分し、エンコーダ７０ｂにデータレートＦＲ２として３Ｍｂｐｓを配分し、エンコーダ７０ｃにデータレートＦＲ３として２Ｍｂｐｓを配分し、それぞれに対して設定する。
【０１５２】
しかしながら、映像データの絵柄の難しさは経時的に変化し、入力映像データＣＨ３の絵柄が、入力映像データＣＨ１の絵柄よりも大幅に難しくなる場合がある。このような場合、映像データ圧縮・多重化装置７によれば、エンコーダ７０ａ〜７０ｃに対してデータレートＦＲ１〜ＦＲ３が固定的に設定されているので、圧縮映像データＣＨ３’の映像の品質が大幅に劣化してしまう。第３の実施形態は、このような不具合を解決するためになされたものである。
【０１５３】
映像データ圧縮・多重化装置８の構成
図９は、第３の実施形態における本発明に係る映像データ圧縮・多重化装置８の構成を示す図であって、映像データ圧縮・多重化装置８が３つの入力映像データを圧縮符号化し、多重化する場合を例示する。なお、映像データ圧縮・多重化装置８の構成部分の内、エンコーダ２，５（図１，図２，図４）および映像データ圧縮・多重化装置７（図７）と同じものには同一の符号が付してある。
【０１５４】
図９に示すように、映像データ圧縮・多重化装置８は、エンコーダ２，５，６のいずれかと同じ構成のエンコーダ８０ａ〜８０ｃ、多重化装置７２および制御部（ＣＰＵ）８２から構成される。
映像データ圧縮・多重化装置８において、エンコーダ８０ａ〜８０ｃの圧縮制御部２４（２６，３０、以下、単に圧縮制御部２４と記す）の予測部２４６は、制御部８２に対して、固定値の量子化ステップにより単位期間ごとに求めた入力映像データＣＨ１〜ＣＨ３の発生符号量（難度）を出力し、制御部８２から単位期間ごとに入力される目標データ量に基づいて、量子化部２１０に対する量子化ステップを算出するように動作が変更されており、バックサーチ部２４８は動作していても動作が無効にされていてもよい。
【０１５５】
制御部８２の動作の概要
制御部８２は、エンコーダ８０ａ〜８０ｃからそれぞれ単位期間（例えば１ＧＯＰ分の圧縮映像データを生成する時間）ごとに入力される入力映像データの難度に基づいて、エンコーダ８０ａ〜８０ｃそれぞれに配分するデータレートの値を算出し、エンコーダ８０ａ〜８０ｃの圧縮符号化部２４の予測部２４６に設定して、エンコーダ８０ａ〜８０ｃそれぞれが出力する圧縮映像データＣＨ１’〜ＣＨ３’のデータレートＥ１〜Ｅ３を単位期間ごとに動的に調節する。
【０１５６】
映像データ圧縮・多重化装置８の動作
以下、映像データ圧縮・多重化装置８の動作をさらに説明する。
エンコーダ８０ａ〜８０ｃそれぞれにおいて、圧縮制御部２４の予測部２４６が、単位期間（１ＧＯＰ）分の入力映像データＣＨ１〜ＣＨ３それぞれの難度Ｄ１〜Ｄ３を制御部８２に対して出力する。
【０１５７】
制御部８２は、下の式１−１または式１−２により、単位期間ごとの合計許容発生符号量Ｐを算出する。
【０１５８】
【数１】
ただし、Ｎは単位期間（１ＧＯＰ）に含まれるピクチャー数であり、
Ｔは、映像データ圧縮・多重化装置８に接続される通信回線等が許容するデータレートである。
【０１５９】
さらに、制御部８２は、予測部２４６から入力された入力映像データＣＨ１〜ＣＨ３の難度Ｄ１〜Ｄ３を用いて、下の式２−１〜式２−３，式３−１〜式３−３に示すように、合計許容発生符号量Ｐを例えば比例配分し、目標符号量Ｅ１〜Ｅ３を算出し、圧縮制御部２４の予測部２４６に設定する。
【０１６０】
【数２】
ただし、式２−１〜式２−３は入力映像データがＮＴＳＣ方式の場合に適合し、Ｅ１〜Ｅ３の小数点以下は切り捨てである。
【０１６１】
【数３】
ただし、式３−１〜式３−３は入力映像データがＰＡＬ方式の場合に適合する。
【０１６２】
なお、映像データ圧縮・多重化装置８がｎ個の入力映像データを処理する場合を一般的に示すと、各エンコーダ８０ａ〜８０ｎに配分される目標データ量Ｅｉは、下の式４−１，式４−２により表される。
【０１６３】
【数４】
ただし、ｉ＝１〜ｎ、
Ｅｉの小数点以下は切り捨てである。
【０１６４】
具体例を挙げる。
例えば、入力映像データがＮＴＳＣ方式であり、Ｎ＝３０枚、Ｔ＝１０（Ｍｂｐｓ）、Ｄ１＝１０（Ｍｂｉｔ）、Ｄ２＝２０（Ｍｂｉｔ）、Ｄ３＝３０（Ｍｂｉｔ）である場合には、制御部８２は、入力映像データＣＨ１〜ＣＨ３の難度Ｄ１〜Ｄ３を用いて、目標データ量Ｅ１〜Ｅ３を、下の式５−１〜式５−３に示すように算出する。
【０１６５】
【数５】
【０１６６】
エンコーダ８０ａ〜８０ｃそれぞれの予測部２４６は、バックサーチ部２４８から設定された目標データ量に基づいて量子化ステップ（量子化インデックス）を算出して圧縮符号化部２０の量子化部２１０に設定する。
エンコーダ８０ａ〜８０ｃそれぞれの圧縮符号化部２０は、バックサーチ部２４８が設定した量子化ステップ（量子化インデックス）を用いて圧縮符号化を行い、単位期間ごとに目標データ量Ｅ１〜Ｅ３以下であって、ほぼ目標データ量Ｅ１〜Ｅ３に近いデータ量の圧縮時映像データＣＨ１’〜ＣＨ３’を生成し、多重化装置７２に対して出力する。
多重化装置７２は、エンコーダ８０ａ〜８０ｃからそれぞれ入力される圧縮映像データＣＨ１’〜ＣＨ３’を多重化して出力映像データを生成し、通信回線（図示せず）に対して出力する。
【０１６７】
変形例１
以下、第３の実施形態において説明した映像データ圧縮・多重化装置８の動作の第１の変形例を説明する。
例えは、映像データ圧縮・多重化装置８に入力される映像データの１つが、スポーツプログラム等の絵柄が難しい映像データである場合に、この映像データ全体を通じて、高いデータレートで圧縮符号化を行いたい場合がある。
【０１６８】
このような場合には、エンコーダ８０ａ〜８０ｃそれぞれの予測部２４６から入力される難度Ｄ１〜Ｄ３〔一般化してＤｋ（ｋ＝１〜ｎ）と記す〕に対して重み付け係数Ａｋを乗算してプライオリティ（重み）を付け、下の式６−１，式６−２に示すように目標データ量Ｅｋを算出するように、制御部８２の動作を変形すればよい。
【０１６９】
【数６】
【０１７０】
具体例を挙げる。
入力映像データがＮＴＳＣ方式であり、Ｎ＝３０枚、Ｔ＝１０（Ｍｂｐｓ）、Ｄ１＝１０（Ｍｂｉｔ）、Ｄ２＝２０（Ｍｂｉｔ）、Ｄ３＝３０（Ｍｂｉｔ）であり、入力映像データＣＨ１〜ＣＨ３に対する重み付け係数Ａ１〜Ａ３がそれぞれ１，３，２である場合には、下の式７−１〜式７−３に示すように目標データ量Ｅ１〜Ｅ３を求めることができる。
【０１７１】
【数７】
【０１７２】
変形例２
以下、図１０を参照して、第３の実施形態において示した映像データ圧縮・多重化装置８の第２の変形例を説明する。
図１０は、図９に示した映像データ圧縮・多重化装置８の第２の変形例の動作を示すフローチャート図である。
【０１７３】
エンコーダ８０ａ〜８０ｃそれぞれの圧縮符号化部２０のＦＩＦＯ２０６の容量に応じて、ＧＯＰ単位ではなく、１フレーム分の圧縮映像データを生成する時間から数秒程度をフレキシブルに単位期間とすることが可能である。
【０１７４】
図１０に示すように、ステップ３００（Ｓ３００）において、制御部８２は、エンコーダ８０ａ〜８０ｃそれぞれが算出した入力映像データＣＨ１〜ＣＨ３のフレームごとの難度ｄ１〜ｄ３をフレームごとに取り込む。
ステップ３０２（Ｓ３０２）において、制御部８２は、取り込んだ入力映像データの難度ｄ１〜ｄ３を累加算（Ｄ１＝ｄ１＋＋，Ｄ２＝ｄ２＋＋，Ｄ３＝ｄ３＋＋）する。
【０１７５】
ステップ３０４（Ｓ３０４）において、制御部８２は、計数したフレーム数がＮであるかいなか、つまり、Ｓ３０２の処理において、１単位期間（Ｎフレーム分の圧縮映像データを生成する時間）の難度Ｄ１〜Ｄ３の累加算が終了したか否かを判断する。終了した場合にはＳ３０６の処理に進み、終了していない場合にはＳ３０２の処理に戻る。
【０１７６】
ステップ３０６（Ｓ３０６）において、制御部８２は、式２−１〜式２−３（入力映像データがＮＴＳＣ方式である場合）または式３−１〜式３−３（入力映像データがＰＡＬ方式である場合）により、目標データ量Ｅ１〜Ｅ３を算出する。
【０１７７】
ステップ３０８（Ｓ３０８）において、制御部８２は、エンコーダ８０ａ〜８０ｃそれぞれの圧縮制御部２４の予測部２４６に、算出した目標データ量Ｅ１〜Ｅ３を設定し、圧縮映像データのデータレートＥ１〜Ｅ３を調節する。さらに、エンコーダ８０ａ〜８０ｃそれぞれの圧縮符号化部２０は、設定された目標データ量Ｅ１〜Ｅ３を用いて入力映像データＣＨ１〜ＣＨ３を圧縮符号化し、その単位期間における発生符号量が目標データ量Ｅ１〜Ｅ３以下であって、目標データ量Ｅ１〜Ｅ３とほぼ同じ圧縮映像データＣＨ１’〜ＣＨ３’を発生し、出力する。
【０１７８】
なお、映像データ圧縮・多重化装置８のエンコーダ８０ａ〜８０ｃの数は例示であって、多重化装置７２の入力端子数および制御部８２の処理内容を適切に変形することにより、任意の数とすることができる。
また、映像データ圧縮・多重化装置８に対しても、エンコーダ２，５，６に対してと同様な変形が可能である。
また、映像データ圧縮・多重化装置７，８を、映像データ処理システム１においてエンコーダ２，５，６の代わりに用いることができる。
【０１７９】
効果
以上第３の実施形態において説明したように、本発明に係る映像データ圧縮・多重化装置８によれば、圧縮制御部２４の予測部２４６が求める入力映像データの難度に基づいて、複数の入力映像データそれぞれに配分する出力データレートの値をダイナミックに調節することができ、多重化装置７２の出力データレートを有効利用することができ、しかも、圧縮映像データＣＨ１’〜ＣＨ３’の映像の品質が全体として向上する。
【０１８０】
また、映像データ圧縮・多重化装置８の第１の変形例によれば、入力映像データの難度に重み付けして目標データ量の算出を行うことにより、より効果的な圧縮映像データの多重化が可能となる。
また、映像データ圧縮・多重化装置８の第２の変形例によれば、目標データ量の調節の単位期間を、ＧＯＰ単位にではなく、１フレーム単位にフレキシブルに変更することができる。
【０１８１】
【発明の効果】
以上説明したように、本発明に係るデータ圧縮装置およびその方法によれば、ピクチャータイプの情報を特別に有効画素データと多重化しなくても、前回の圧縮符号化時のピクチャータイプをエンコーダ側で自動検出し、ＧＯＰ位相を合わせて圧縮符号化することができる。
また、本発明に係る映像データ圧縮装置およびその方法によれば、圧縮符号化を経た映像データに対してのみ上記処理を行い、圧縮符号化を経ていないオリジナルの映像データに対しては不要な上記処理を行なわず、映像の品質を高く保って圧縮符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明に係るエンコーダが用いられる映像データ処理システムの構成を示す図である。
【図２】図１に示した第１の実施形態における本発明に係るエンコーダの構成を示す図である。
【図３】図１および図２に示したエンコーダのバックサーチ部およびピクチャータイプ制御部の処理内容を例示するフローチャート図である。
【図４】第１の実施形態の変形例のエンコーダの構成を示す図である。
【図５】第２の実施形態における本発明に係るエンコーダの構成を示す図である。
【図６】図１に示したデコーダの構成を示す図である。
【図７】図５に示したエンコーダのビデオインデックス検出部の動作を例示するフローチャート図である。
【図８】映像データ圧縮・多重化装置の構成例を示す図である。
【図９】第３の実施形態における本発明に係る映像データ圧縮・多重化装置の構成を示す図である。
【図１０】図９に示した映像データ圧縮・多重化装置の第２の変形例の動作を示すフローチャート図である。
【符号の説明】
１…映像データ処理システム、２（２ａ，２ｂ），５，６…エンコーダ、２０…圧縮符号化部、２００…ピクチャー並べ替え部、２０２…走査変換ブロック化部、２０４…動き検出部、２０６…ＦＩＦＯ、２０８…ＤＣＴ部、２１０…量子化部、２１２…可変長符号化部、２１４…逆量子化部、２１６…逆ＤＣＴ部、２１８…加算回路、２２０…ＦＩＦＯ、２２２…動き補償部、２４，２６，３０…圧縮制御部、２４０…動き補償部、２４２…減算回路、２４４…ＤＣＴ部、２４６…予測部、２４８…バックサーチ部、２５０…ピクチャータイプ制御部、２８…ＧＯＰ位相制御部、２８０…ブロック抽出部、２８２…ＤＣＴ部、２８４…予測部、２８６…バックサーチ部、３００…スイッチ回路、３２…ビデオインデックス検出部、３（３ａ〜３ｃ）…記録・伝送装置、４（４ａ，４ｂ）…デコーダ、４０…伸長復号部、４００…バッファメモリ、４０２…可変長復号部、４０４…逆量子化部、４０６…逆ＤＣＴ部、４０８…動き補償部、４１０…スイッチ回路、４１２…ピクチャー並べ替え部、４１４…ビデオインデックス多重化部、４１６…ピクチャータイプ制御部、７，８…映像データ圧縮・多重化装置、７０ａ〜７０ｃ，８０ａ〜８０ｃ…エンコーダ、７２…多重化装置、８２…制御部。
【発明の属する技術分野】
本発明は、例えば、ＭＰＥＧ方式等により圧縮符号化した映像データを記録し、再生した映像データを伸長復号して出力するビデオテープレコーダ（ＶＴＲ装置）を直列（タンデム）接続して映像データの複写（ダビング）を行う場合に、伸長復号した映像データの各ピクチャーを、前回の圧縮符号化の際と同じ種類のピクチャーに圧縮符号化する映像データ圧縮装置およびその方法に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
近年、映像データ圧縮の分野においては、動き補償（ＭＣ;motion compensation）処理と離散余弦変換（ＤＣＴ;discrete cosine transfer ）等の直交変換による冗長度低減処理との組合せによって符号化効率を高めた、いわゆるＭＣ−ＤＣＴ方式として、ＭＰＥＧ２(moving picture experts group 2)方式が盛んに用いられている。
【０００３】
このＭＰＥＧ２方式は通常、非圧縮映像データを、他のピクチャーの画素データを用いずに伸長復号が可能な１枚のＩピクチャー(intra coded picture) 、および、前のピクチャーの画素データを用いて伸長復号するＰピクチャー(predictive coded picture)と、前後のピクチャーの画素データを用いて伸長復号するＢピクチャー(bi-directionally predictive coded picture) とを所定数ずつ含むＧＯＰ(group of picture)単位に圧縮符号化する。
【０００４】
ここで、例えば、テレビジョン放送局間で映像データの伝送を行う際、あるいは、複数のビデオテープレコーダ（ＶＴＲ装置）を用いて映像データの複写（ダビング）を行う際には、既にＭＰＥＧ２方式により圧縮符号化してある映像データを伸長復号し、再度、圧縮符号化するために、圧縮符号化装置（エンコーダ）と伸長復号装置（デコーダ）とを直列に接続（タンデム接続）する必要が生じることがある。
【０００５】
このように、エンコーダとデコーダとをタンデム接続して映像データの圧縮符号化と伸長復号を繰り返した場合、映像の品質が劣化する。特に、テレビジョン放送局設備等の業務用システムにおいては高い映像品質が要求されるので、タンデム接続したエンコーダおよびデコーダによる圧縮符号化および伸長復号に伴う映像品質の劣化防止が厳しく要求される。
【０００６】
タンデム接続したエンコーダおよびデコーダにおいて生じる映像品質の劣化を最小にするためには、圧縮符号化および伸長復号において用いられる量子化ステップを同じにする必要があり、量子化ステップを圧縮映像データとともに保持しておかねばならない。
【０００７】
動き補償処理を行わずに圧縮符号化する場合には、例えば、特開平５−２８４４５８号公報および特開平６−３１９１１２号公報に開示されているように、以前の圧縮符号化で使用された量子化ステップ、あるいは、その倍数関係にある量子化ステップを用いると、ＤＣＴ係数の剰余総和が極小になるという性質を利用し、最小の極小値を示す量子化ステップを最適な量子化ステップとして求めるバックサーチという優れた方式を用いることにより、圧縮符号化時と伸長復号時とで量子化ステップを等しくし、映像品質の劣化を防ぐことができる。
【０００８】
しかしながら、ＧＯＰがＩピクチャーとＢピクチャーをそれぞれ１枚ずつ含む２フレーム構成をとる場合や、ＧＯＰが１５フレーム構成をとる場合においては、タンデム接続時の映像品質の劣化を抑えるために、量子化ステップを合わせるよりも、まず、毎回、同じピクチャーを同じ種類のピクチャー（ピクチャータイプ）に圧縮符号化すること、つまり、圧縮符号化のたびにＧＯＰの位相を合わせることが重要である。
【０００９】
ＧＯＰの位相が崩れると、上述したバックサーチ方式を用いることができなくなる上に、ＢピクチャーあるいはＰピクチャーから伸長復号したピクチャーを、Ｉピクチャーに圧縮符号化するというように、同じピクチャーを異なったピクチャータイプに圧縮符号化してしまい、圧縮符号化のたびに映像の情報量を大きく失い、大幅に映像の品質を大きく劣化させてしまう。
【００１０】
このような不具合に対処するためには、例えば、特開平６−２８４４１４号公報に開示されているように、伸長復号時にピクチャータイプと復号された映像データとを多重化して出力し、エンコーダは、多重化されたピクチャータイプを参照してＧＯＰの位相を合わせて圧縮符号化を行う方法が考えられている。
【００１１】
しかしながら、特開平６−２８４４１４号公報に開示された方法によると、ピクチャータイプの情報を、映像データの有効画素以外の部分に多重することになり、例えばテレビジョン放送局の操作卓（スイッチャー）あるいは方式が異なるデジタルＶＴＲ装置等がタンデム接続されたエンコーダおよびデコーダの間に入ったときに、ピクチャータイプの情報がブランキングされる等して失われてしまう可能性がある。
【００１２】
このように、ピクチャータイプの情報が失われてしまったり、ピクチャータイプの情報が別の情報やランダムデータに置換された場合には、次のエンコーダーがランダムデータ等をピクチャータイプの情報であると誤って検出し、でたらめなピクチャータイプでエンコードしてしまい、却って映像の品質の劣化が大きくなってしまう可能性がある。
【００１３】
本発明は、上述した不具合を解決するべくなされたものであり、ピクチャータイプの情報を特別に有効画素データと多重化しなくても、前回の圧縮符号化時のピクチャータイプをエンコーダ側で自動検出し、ＧＯＰ位相を正確に合わせて圧縮符号化することができる映像データ圧縮装置およびその方法を提供することを目的とする。
また、本発明は、圧縮符号化を経た映像データに対してのみ上記処理を行い、圧縮符号化を経ていないオリジナルの映像データに対しては不要な上記処理を行なわず、映像の品質を高く保って圧縮符号化を行うことができる映像データ圧縮装置およびその方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記目的を達成するために、本発明にかかる映像データ圧縮装置は、入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる除算結果の剰余の総和を算出する剰余総和算出手段と、前記剰余総和算出手段により算出された前記剰余の総和と所定閾値とを比較することにより、前記入力される映像データが過去の圧縮処理において、Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれかのピクチャタイプで圧縮処理されたかを識別する圧縮処理識別手段と、Ｐピクチャ又はＢピクチャに対する前記閾値を、Ｉピクチャに対する前記閾値に比べて小さくなるように調節する閾値調節手段と、前記剰余総和算出手段により算出された前記剰余の総和の極小値を示す量子化ステップを第１の量子化ステップとして生成する量子化ステップ生成手段と、前記圧縮処理識別手段により識別されたピクチャタイプと同じピクチャタイプで圧縮処理する場合に、前記量子化ステップ生成手段により生成された前記第１の量子化ステップを用いて、前記映像データを圧縮処理する圧縮手段と、を有する。
【００１５】
好適には、前記量子化ステップ生成手段は、前記圧縮処理識別手段により識別されたピクチャタイプと異なるピクチャタイプで圧縮処理する場合に、第２の量子化ステップを生成し、前記圧縮手段は、前記圧縮処理識別手段により識別されたピクチャタイプと異なるピクチャタイプで圧縮処理する場合に、前記量子化ステップ生成手段により生成された前記第１の量子化ステップ又は前記第２の量子化ステップを用いて、前記映像データを圧縮処理する。
【００１６】
好適には、前記量子化ステップ生成手段は、前記圧縮処理における前記映像データのピクチャタイプの順番が所定条件を満たす場合にのみ、前記第２の量子化ステップを生成する。
【００１７】
また好適には、前記直交変換データは、前記映像データのピクチャの全てのマクロブロックを直交変換することによって生成される。
【００１８】
また好適には、前記直交変換データは、前記映像データのピクチャの一部のマクロブロックを直交変換することによって生成される。
【００１９】
また、本発明にかかる映像データ圧縮方法は、入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる除算結果の剰余の総和を算出する剰余総和算出工程と、前記剰余総和算出工程において算出された前記剰余の総和と所定閾値とを比較することにより、前記入力される映像データが過去の圧縮処理において、Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれかのピクチャタイプで圧縮処理されたかを識別する圧縮処理識別工程と、Ｐピクチャ又はＢピクチャに対する前記閾値を、Ｉピクチャに対する前記閾値に比べて小さくなるように調節する閾値調節工程と、前記剰余総和算出工程において算出された前記剰余の総和の極小値を示す量子化ステップを第１の量子化ステップとして生成する量子化ステップ生成工程と、前記圧縮処理識別工程において識別されたピクチャタイプと同じピクチャタイプで圧縮処理する場合に、前記量子化ステップ生成工程において生成された前記第１の量子化ステップを用いて、前記映像データを圧縮処理する圧縮工程と、を含む。
【００２０】
また、本発明にかかる映像データ圧縮装置は、入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる除算結果の剰余の総和を算出する剰余総和算出手段と、前記剰余総和算出手段により算出された前記剰余の総和とＩピクチャに対する閾値に比べてＰピクチャ又はＢピクチャに対する閾値が小さくなるように調節された閾値とを比較することにより、前記入力される映像データが過去の圧縮処理において、Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれのピクチャタイプで圧縮処理されたかを識別する圧縮処理識別手段と、前記剰余総和算出手段により算出された前記剰余の総和の極小値を示す量子化ステップを第１の量子化ステップとして生成する量子化ステップ生成手段と、前記圧縮処理識別手段により識別されたピクチャタイプと同じピクチャタイプで圧縮処理する場合に、前記量子化ステップ生成手段により生成された前記第１の量子化ステップを用いて、前記映像データを圧縮処理する圧縮手段と、を有する。
【００２１】
また、本発明にかかる映像データ圧縮方法は、入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる除算結果の剰余の総和を算出する剰余総和算出工程と、前記剰余総和算出工程において算出された前記剰余の総和とＩピクチャに対する閾値に比べてＰピクチャ又はＢピクチャに対する閾値が小さくなるように調節された閾値とを比較することにより、前記入力される映像データが過去の圧縮処理において、Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれのピクチャタイプで圧縮処理されたかを識別する圧縮処理識別工程と、前記剰余総和算出工程において算出された前記剰余の総和の極小値を示す量子化ステップを第１の量子化ステップとして生成する量子化ステップ生成工程と、前記圧縮処理識別工程において識別されたピクチャタイプと同じピクチャタイプで圧縮処理する場合に、前記量子化ステップ生成工程において生成された前記第１の量子化ステップを用いて、前記映像データを圧縮処理する圧縮工程と、を含む。
【００２２】
また、本発明にかかる映像データ圧縮装置は、入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる除算結果の剰余の総和とＩピクチャに対する閾値に比べてＰピクチャ又はＢピクチャに対する閾値が小さくなるように調整された閾値とを比較することにより、前記入力される映像データが過去の圧縮処理において、Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれのピクチャタイプで圧縮処理されたかを識別する圧縮処理識別手段と、前記剰余の総和の極小値を示す量子化ステップを第１の量子化ステップとして生成する量子化ステップ生成手段と、前記圧縮処理識別手段により識別されたピクチャタイプと同じピクチャタイプで圧縮処理する場合に、前記量子化ステップ生成手段により生成された前記第１の量子化ステップを用いて、前記映像データを圧縮処理する圧縮手段と、を有する。
【００２３】
また、本発明にかかる映像データ圧縮方法は、入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる除算結果の剰余の総和とＩピクチャに対する閾値に比べてＰピクチャ又はＢピクチャに対する閾値が小さくなるように調節された閾値とを比較することにより、前記入力される映像データが過去の圧縮処理において、Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれのピクチャタイプで圧縮処理されたかを識別する圧縮処理識別工程と、前記前記剰余の総和の極小値を示す量子化ステップを第１の量子化ステップとして生成する量子化ステップ生成工程と、前記圧縮処理識別工程において識別されたピクチャタイプと同じピクチャタイプで圧縮処理する場合に、前記量子化ステップ生成工程において生成された前記第１の量子化ステップを用いて、前記映像データを圧縮処理する圧縮工程と、を含む。
【００２８】
【発明の実施の形態】
第１実施形態
以下、本発明の第１の実施形態を説明する。
【００２９】
第１実施形態の背景
例えば、テレビジョン放送局間で複数のＶＴＲ装置を用いて映像データのダビングを行う際には、既にＭＰＥＧ２方式により圧縮符号化してある映像データを伸長復号し、再度、圧縮符号化するために、エンコーダとデコーダとをタンデム接続する必要が生じることがある。このように、映像データの圧縮符号化と伸長復号を繰り返した場合、映像の品質が劣化してしまう。
【００３０】
映像データの圧縮符号化と伸長復号を繰り返した場合の映像品質の劣化を最小にするためには、上述したバックサーチ等により圧縮符号化および伸長復号において用いられる量子化ステップを同じにし、さらに、圧縮符号化のたびにＧＯＰの位相を合わせることが重要である。
【００３１】
ＧＯＰの位相が崩れると、上述したバックサーチ方式を用いることができなくなる上に、ＢピクチャーあるいはＰピクチャーから伸長復号したピクチャーを、Ｉピクチャーに圧縮符号化するというように、同じピクチャーを異なったピクチャータイプに圧縮符号化してしまい、圧縮符号化のたびに映像の情報量を大きく失い、大幅に映像の品質を大きく劣化させてしまう。
【００３２】
第１の実施形態に示すエンコーダ２（２ａ，２ｂ）は、上述した不具合を解決するべくなされたものであり、ピクチャータイプの情報を特別に有効画素データと多重化しなくても、前回の圧縮符号化時のピクチャータイプをエンコーダ側で自動検出し、ＧＯＰ位相を合わせて圧縮符号化することができるように構成されている。
【００３３】
映像データ処理システム１
以下、映像データ用のエンコーダおよびデコーダがタンデム接続された映像データ処理システム１を説明する。本発明に係るエンコーダは、映像データ処理システム１において用いられる。
【００３４】
図１は、本発明に係るエンコーダ２が用いられる映像データ処理システム１の構成を示す図である。
図１に示すように、映像データ処理システム１は、ＶＴＲ装置あるいはハードディスク装置等の記録装置、または、通信回線あるいは伝送路等の記録・伝送装置(brr channel) ３ａ〜３ｃを介して、エンコーダ(encoder1, encoder2)２ａ，２ｂとデコーダ(decoder1, decoder2)４ａ，４ｂとが直列に接続（タンデム接続）された構成を採る。
【００３５】
なお、明確に映像データ処理システム１の構成を採らない場合であっても、例えば、入力される非圧縮映像データをＭＰＥＧ２方式等により圧縮符号化してＶＴＲテープに記録し、再生時に伸長複合化して出力するＶＴＲ装置を複数、接続して映像データの複写を行う場合にも、映像データが通る経路は、実質的に映像データ処理システム１と同じになる。また、エンコーダ２（２ａ，２ｂ）は、複数の種類のピクチャーを含むＧＯＰに非圧縮映像データを圧縮符号化する場合に本発明に特徴的な効果を奏する。
【００３６】
映像データ処理システム１において、エンコーダ２ａは、例えば、ＭＰＥＧ２方式といったＭＣ−ＤＣＴ方式により、外部から入力される非圧縮映像データ（入力映像データ）を複数の種類のピクチャーを含むＧＯＰの単位に圧縮符号化して圧縮映像データ（圧縮符号化されたビットストリーム）を生成し、記録・伝送装置３（３ａ）を介してデコーダ４ａに伝送する。
【００３７】
デコーダ４ａは、記録・伝送装置３ａを介してエンコーダ２ａから入力された圧縮映像データを伸長復号して、例えば、編集処理等に適したＤ−１ディジタルＶＴＲ用の非圧縮（フルビット）の映像データに戻し、記録・伝送装置３（３ｂ）を介してエンコーダ２ｂに伝送する。
【００３８】
エンコーダ２ｂは、エンコーダ２ａと同じ方式により、記録・伝送装置３ｂを介してデコーダ４ａから入力されたフルビットの映像データを圧縮符号化し、記録・伝送装置３（３ｃ）を介してデコーダ４ｂに伝送する。
デコーダ４ｂは、デコーダ４ａと同様に、記録・伝送装置３ｃを介してエンコーダ２ｂから入力された圧縮映像データを伸長復号して出力映像データとして出力する。
【００３９】
なお、映像データ処理システム１においては、タンデム接続された、エンコーダ２、記録・伝送装置３およびデコーダ４が、必要に応じて３段以上、含まれることがあり、３段目以降の各構成部分は、２段目以前と同様に映像データの圧縮符号化、伝送および伸長復号を行う。
【００４０】
また、図１においては、フルビットチャネル(full bit channel ）と記載された記録・伝送装置３ｂとしては、単に、伸長復号したフルビットの映像データを伝送あるいは記録・再生する装置のほかに、例えば、伸長復号した映像データをディジタル／アナログ（Ｄ／Ａ）変換してアナログＶＴＲ装置に記録し、再びアナログ／ディジタル（Ａ／Ｄ）変換してデジタル映像データに戻す装置、あるいは、スイッチャーや特殊効果装置を介して映像データに対して編集、加工を加える装置も含まれる。このような装置においても、映像データとともに記録したピクチャータイプの情報が失われるので、エンコーダ２（２ａ，２ｂ）は、本発明に特徴的な効果を奏する。
【００４１】
エンコーダ２（２ａ，２ｂ）
図２は、図１に示した第１の実施形態における本発明に係るエンコーダ２（２ａ，２ｂ）の構成を示す図である。
図２に示すように、エンコーダ２は、圧縮符号化部２０および圧縮制御部２４から構成される。
【００４２】
圧縮符号化部２０は、ピクチャー並べ替え部２００、走査変換ブロック化部２０２、動き検出部２０４、ＦＩＦＯ２０６，２２０、減算回路２０７、ＤＣＴ部２０８、量子化部２１０、可変長符号化部（ＶＬＣ）２１２、逆量子化部２１４、逆ＤＣＴ（ＩＤＣＴ）部２１６、加算回路２１８および動き補償部２２２から構成される。
圧縮制御部２４は、動き補償部２４０、減算回路２４２、ＤＣＴ部２４４、予測部２４６、バックサーチ(back search) 部２４８およびピクチャータイプ制御部２５０から構成される。
【００４３】
エンコーダ２は、これらの構成部分により、既にＭＰＥＧ２方式等による圧縮符号化および伸長復号を１回以上経た入力映像データ(video in)から、前回の圧縮符号化におけるＧＯＰ位相を検出するとともに、前回の圧縮符号化における量子化ステップをバックサーチ方式により再生し、前回と同じ量子化ステップおよびＧＯＰ位相で再び入力映像データを圧縮符号化し、エンコーダとデコーダをタンデム接続して映像データの圧縮符号化および伸長復号を繰り返した場合の映像の品質の劣化を防止する。
【００４４】
エンコーダ２の各構成部分
以下、エンコーダ２の各構成部分を説明する。
【００４５】
圧縮符号化部２０
圧縮符号化部２０は、一般的なＭＰＥＧ２方式のエンコーダと同様に、入力映像データに対して動き補償処理、ＤＣＴ処理および可変長符号化処理を行って圧縮符号化する。
圧縮符号化部２０において、ピクチャー並べ替え部２００は、ピクチャータイプ制御部２５０の制御に従って、入力映像データのピクチャーが圧縮符号化後にいずれのピクチャータイプとなるかに応じて圧縮符号化に適した順番に入力映像データのピクチャーを並び替え、走査変換ブロック化部２０２に対して出力する。
【００４６】
走査変換ブロック化部２０２は、ピクチャー並べ替え部２００から入力された映像データをフィールド／フレーム変換し、さらにマクロブロック化して動き検出部２０４および圧縮制御部２４の動き補償部２４０に対して出力する。
動き検出部２０４は、走査変換ブロック化部２０２から入力される映像データをＦＩＦＯ２０６および圧縮制御部２４の減算回路２４２に対して出力するとともに、走査変換ブロック化部２０２から入力される映像データをマクロブロック単位に処理してその動きを検出し、映像の動きを示す動きベクトルを生成して動き補償部２４０およびＦＩＦＯ２２０に対して出力する。
【００４７】
ＦＩＦＯ２０６は、動き検出部２０４から入力された映像データをバッファリングし、圧縮制御部２４のＤＣＴ部２４４、予測部２４６およびバックサーチ部２４８における処理（予備符号化処理）に要する時間だけ遅延を与えて減算回路２０７に対して出力する。
【００４８】
減算回路２０７は、ＦＩＦＯ２０６から入力される映像データに含まれるピクチャーの内、圧縮符号化後にＩピクチャーとなるピクチャーの映像データをそのままＤＣＴ部２０８に対して出力する。
また、減算回路２０７は、ＦＩＦＯ２０６から入力される映像データに含まれるピクチャーの内、圧縮符号化後にＰピクチャーまたはＢピクチャーとなるピクチャーの映像データから動き補償部２２２の出力映像データを減算し、予測誤差データを生成してＤＣＴ部２０８に対して出力する。
【００４９】
ＤＣＴ部２０８は、減算回路２０７から入力される圧縮符号化後にＩピクチャーとなる映像データ、および、圧縮符号化後にＰピクチャーまたはＢピクチャーとなる映像データの予測誤差データをＤＣＴ処理し、ＤＣＴ処理の結果として得られたＤＣＴ係数を量子化部２１０に対して出力する。
量子化部２１０は、圧縮制御部２４のバックサーチ部２４８から入力される量子化インデックスが示す量子化ステップで、ＤＣＴ部２０８から入力されたＤＣＴ係数を量子化し、量子化データとして可変長符号化部２１２および逆量子化部２１４に対して出力する。
【００５０】
可変長符号化部２１２は、量子化部２１０から入力される量子化データを、例えばランレングス符号化方式により可変長符号化し、出力映像データ(stream out)として出力する。
逆量子化部２１４は、入力される量子化データに対して、量子化部２１０と逆の処理を行ってＤＣＴ係数を再生し、逆ＤＣＴ部２１６に対して出力する。
【００５１】
逆ＤＣＴ部２１６は、入力されるＤＣＴ係数に対してＤＣＴ部２０８と逆の処理を行って映像データを再生し、加算回路２１８に対して出力する。
加算回路２１８は、逆ＤＣＴ部２１６から入力される映像データと、動き補償部２２２から入力される映像データとを加算して映像データを再生し、動き補償部２２２に対して出力する。
【００５２】
ＦＩＦＯ２２０は、動き検出部２０４から入力される動きベクトルをバッファリングし、ＦＩＦＯ２０６〜加算回路２１８の処理に要する時間だけ遅延して動き補償部２２２に対して出力する。
動き補償部２２２は、加算回路２１８から入力される映像データに対して、ＦＩＦＯ２２０から入力される動きベクトルを用いた動き補償処理を行い、減算回路２０７およびＤＣＴ部２０８に対して出力する。
【００５３】
圧縮制御部２４
圧縮制御部２４は、入力映像データの前回の圧縮符号化における量子化ステップおよびＧＯＰ位相を検出し、これらが一致するように圧縮符号化部２０を制御する。また、圧縮制御部２４は、入力映像データの絵柄の複雑さおよび動きの速さ〔絵柄の難しさ（難度）；difficulty〕に基づいて、可変長符号化部２１２から出力される出力映像データの総量（データレート）が、１〜数ＧＯＰ分の圧縮映像データを生成する時間（単位期間）ごとの出力映像データの許容値〔例えば伝送路の伝送容量等〕以下であって、この許容値にほぼ等しくする量子化ステップを算出し、量子化インデックスの形式で量子化部２１０に設定する。
【００５４】
圧縮制御部２４において、動き補償部２４０は、圧縮符号化部２０の動き補償部２２２と同様に、走査変換ブロック化部２０２から入力される映像データに対して、動き検出部２０４から入力される動きベクトルを用いて動き補償処理を行い、減算回路２４２に対して出力する。
減算回路２４２は、圧縮符号化部２０の減算回路２０７と同様に、動き検出部２０４から入力される映像データから、動き補償部２４０から入力される動き補償された映像データを減算し、Ｉピクチャーの映像データ、および、ＰピクチャーまたはＢピクチャーの予測誤差データを生成し、ＤＣＴ部２４４に対して出力する。
【００５５】
ＤＣＴ部２４４は、圧縮符号化部２０のＤＣＴ部２０８と同様に、減算回路２４２から入力されたＩピクチャーの映像データ、および、ＰピクチャーまたはＢピクチャーの予測誤差データをＤＣＴ変換し、ＤＣＴ処理の結果として得られたＤＣＴ係数を生成して予測部２４６に対して出力する。
【００５６】
予測部２４６は、ＤＣＴ部２４４から入力されたＤＣＴ係数をバックサーチ部２４８に対して出力する。
また、予測部２４６は、例えば、１〜数ＧＯＰ分の圧縮映像データを生成する時間を単位期間として、この単位期間ごとに固定値の量子化ステップ(fix-q) でＤＣＴ部２４４から入力されたＤＣＴ係数を量子化して量子化データを生成する。
【００５７】
また、予測部２４６は、映像データ処理システム１（エンコーダ２）の使用者等によって外部から設定され、上記許容値を示す目標データ量、および、生成した量子化データのデータ量（発生符号量）に基づいて、入力映像データの絵柄の難しさ（難度）を単位期間ごとに見積もる。
【００５８】
また、予測部２４６は、見積もった入力映像データの絵柄の難しさに応じて、入力映像データの絵柄が難しい部分に多くのデータ量（データレート）を割り当て、入力映像データの絵柄が簡単な部分に少ないデータ量（データレート）を割り当てて出力映像データの品質を全体として高く保ち、しかも、出力映像データの総量が上記許容値を超えないようにするために実際に用いるべき量子化ステップを示す量子化インデックスを単位期間ごとに算出し、バックサーチ部２４８に対して出力する。
【００５９】
なお、予測部２４６においては、上述した固定値の量子化ステップでＤＣＴ係数を量子化して量子化インデックスを予測する方法の他に、例えば、ＤＣＴ部２４４から入力されるＤＣＴ係数をいくつかの仮の量子化値を用いて量子化して量子化データを生成し、生成した量子化データのデータ量（発生符号量）と目標データ量（許容値）とを比較して、これらのいずれが多いかに応じて二分木検索により最適な量子化ステップを予測する方法〔バイナリサーチ(binary search) 〕を採ることも可能である。
【００６０】
バックサーチ部２４８の処理の概要
バックサーチ部２４８は、予測部２４６から入力される量子化インデックス、および、ＤＣＴ部２４４から予測部２４６を介して入力されるＤＣＴ係数に基づいて、前回の圧縮符号化においてイントラ符号化されたピクチャーを検出し、検出結果をピクチャータイプ制御部２５０に対して出力する。
【００６１】
また、バックサーチ部２４８は、バックサーチにより入力映像データが１度以上の圧縮符号化を経ているか否かを判断し、前回の圧縮符号化において用いられた量子化ステップを示す量子化インデックスを生成し、圧縮符号化部２０の量子化部２１０に設定する。
【００６２】
つまり、バックサーチ部２４８は、予測部２４６が予測した量子化インデックスが示す量子化ステップおよびその近傍の値で、ＤＣＴ部２４４から予測部２４６を介して入力されるＤＣＴ係数を除算し、除算結果の剰余の総和が著しく小さい値を示す量子化ステップが存在する場合には、この著しく小さい値を示す量子化ステップを前回の圧縮符号化において用いられた量子化ステップと判定し、この量子化ステップを示す量子化インデックスを量子化部２１０に対して出力する。
【００６３】
バックサーチ部２４８の処理の詳細
さらに、バックサーチ部２４８の入力映像データのＩピクチャーの検出処理の内容を詳細に説明する。
バックサーチ部２４８におけるＧＯＰ位相の検出処理は、入力映像データに含まれるＩピクチャーから伸長復号されたピクチャー（単に「入力映像データのＩピクチャー」とも記す）を、次の圧縮符号化においても再びＩピクチャーに圧縮符号化（イントラ符号化）した場合にのみ、バックサーチにより求められるＤＣＴ係数の剰余総和が顕著な極小を示すという性質に着目して行われる。
【００６４】
この理由は、ＰピクチャーまたはＢピクチャーは、動き補償処理により算出した予測誤差データをＤＣＴ処理し、量子化することにより圧縮符号化されているために、ＰピクチャーまたはＢピクチャーを逆ＤＣＴ処理、逆量子化および動き補償して伸長復号しても、伸長復号の結果として得られる映像データの値は量子化ステップの整数倍にはなりえないからである。
従って、ＰピクチャーまたはＢピクチャーを伸長復号して得られたピクチャー（単に「入力映像データのＰピクチャー，Ｂピクチャー」とも記す）をイントラ符号化し、バックサーチ処理した場合には、ＤＣＴ係数の剰余の総和に極小点は存在せず、見つけることはできない。
【００６５】
また、同様に、入力映像データのＢピクチャー（Ｐピクチャー）を再度同じＢピクチャー（Ｐピクチャー）に圧縮符号化し、バックサーチ処理した場合にも、前回の圧縮符号化で求められた動きベクトルと、次回の圧縮符号化により歪んだ映像から求められた動きベクトルとは同一にはならず、また、前回の圧縮符号化および伸長復号による映像の歪みのために、次回の圧縮符号化において得られる予測誤差データは、前回の圧縮符号化の際に得られた予測誤差データと同一にはならない。従って、次回、入力映像データのＢピクチャーまたはＰピクチャーを前回と同じピクチャータイプに圧縮符号化しても、バックサーチ処理において、ＤＣＴ係数の剰余の総和が顕著に小さい値になる極小点が見つかる確率は非常に低い。
【００６６】
以上説明したピクチャータイプごとのバックサーチ処理における性質を利用すると、入力映像データのピクチャーが、前回、イントラ符号化されたものであるか否かを、バックサーチ処理においてＤＣＴ係数の顕著な極小値を生じるか否かに基づいて自動的に検出することができる。
【００６７】
バックサーチ部２４８は、ＤＣＴ係数の剰余の総和に顕著な極小値が存在するか否か、例えば、予測部２４６から入力された量子化インデックスが示す量子化ステップでＤＣＴ係数を除算した場合の剰余の総和に対して、バックサーチ部２４８におけるバックサーチ処理により求められたＤＣＴ係数の剰余の総和の比率が、ある一定の閾値以下になるか否かを判断することにより、エンコーダ２が入力映像データのＩピクチャーをイントラ符号化したか否かを判断することができる。
【００６８】
このように、バックサーチ部２４８は、入力映像データのＩピクチャーの位置を検出することにより、入力映像データのＩピクチャーの間隔（ＧＯＰに含まれるピクチャーの数Ｎ）を判定することができ、判定結果をピクチャータイプ制御部２５０に通知する。
【００６９】
ピクチャータイプ制御部２５０は、求めたＩピクチャーの間隔と、映像データ処理システム１のエンコーダ２ａ，２ｂおよびデコーダ４ａ，４ｂが用いるＧＯＰの構成（ＧＯＰ内にいずれのピクチャータイプがどのような順番で含まれるか；ＧＯＰシーケンス）とに基づいて、ＧＯＰ内のＰピクチャーの間隔（Ｍ）を判定することができ、さらに、入力映像データの各ピクチャーが、前回、いずれのピクチャータイプに圧縮符号化されたかを判定することができる。
【００７０】
ピクチャータイプ制御部２５０は、以上説明したように判定した入力映像データが前回の圧縮符号化においていずれのピクチャータイプに圧縮符号化されたかを示す情報に基づいて、入力映像データの各ピクチャーが前回と同じピクチャータイプに圧縮符号化され、前回の圧縮符号化と次回の圧縮符号化におけるＧＯＰ位相が保たれるようにピクチャー並べ替え部２００を制御し、ピクチャーの並び替えを行わせる。
【００７１】
エンコーダ２の動作
以下、図３をさらに参照して図１および図２に示したエンコーダ２（図１，図２）の動作を説明する。
圧縮制御部２４の動き補償部２４０は、圧縮符号化部２０のピクチャー並べ替え部２００および走査変換ブロック化部２０２が処理した映像データを動き補償する。
減算回路２４２は、Ｉピクチャーの映像データ、および、ＰピクチャーまたはＢピクチャーの予測誤差データを生成する。
ＤＣＴ部２４４は、Ｉピクチャーの映像データ、および、ＰピクチャーまたはＢピクチャーの予測誤差データをＤＣＴ変換し、ＤＣＴ係数を生成する。
【００７２】
予測部２４６は、例えば、１ＧＯＰ分の圧縮映像データを生成する時間を単位期間として、この単位期間ごとに固定値の量子化ステップ(fix-q) でＤＣＴ部２４４から入力されたＤＣＴ係数を量子化して量子化データを生成し、その発生符号量に基づいて、入力映像データの難度を見積もり、さらに、量子化インデックスを単位期間ごとに算出する。
【００７３】
バックサーチ部２４８は、予測部２４６が生成した量子化インデックスと、ＤＣＴ部２４４が生成したＤＣＴ係数とに基づいて、前回の圧縮符号化においてイントラ符号化されたピクチャーを検出し、さらに、バックサーチにより前回の圧縮符号化において用いられた量子化ステップを示す量子化インデックスを生成する。
図３は、図１および図２に示したエンコーダ２（２ａ，２ｂ）のバックサーチ部２４８およびピクチャータイプ制御部２５０の処理内容、つまり、いかにイントラ符号化する入力映像データのピクチャーを指定するかを例示するフローチャート図である。
【００７４】
図３に示すように、ステップ１００（Ｓ１００）において、バックサーチ部２４８は、変数ｊを初期値１とする。
ステップ１０２（Ｓ１０２）において、バックサーチ部２４８は、圧縮符号化部２０の動き補償部２４０、減算回路２４２およびＤＣＴ部２４４が入力映像データの第ｊ番目のピクチャーを圧縮処理した結果として得られたＤＣＴ係数に対してバックサーチ処理を行い、ＤＣＴ係数の剰余の総和Ｒmin,j と、予測部２４６が得た量子化ステップ（その前の量子化ステップ）によるＤＣＴ係数の剰余の総和Ｒj とを記憶する。
【００７５】
ステップ１０４（Ｓ１０４）において、バックサーチ部２４８は、変数ｊと、それまでに求めたＧＯＰのピクチャー数Ｎとを比較し、変数ｊがピクチャー数Ｎより大きい場合にはＳ１０８の処理に進み、変数ｊがピクチャー数Ｎ以下である場合にはＳ１０６の処理に進む。
ステップ１０６（Ｓ１０６）において、バックサーチ部２４８は、変数ｊに１を加算（インクリメント）する。
【００７６】
Ｓ１００〜Ｓ１０６の処理が構成するループ処理において、バックサーチ部２４８は、Ｎ枚（１ＧＯＰ分）のピクチャーについて、バックサーチ処理により得られるＤＣＴ係数の剰余の総和Ｒsub,j と、予測部２４６が固定値の量子化ステップでＤＣＴ係数を量子化することにより、あるいは、バイナリサーチにより得た量子化ステップで量子化したときの剰余総和Ｒj とを保存する処理を行う。
【００７７】
ステップ１０８（Ｓ１０８）において、バックサーチ部２４８は、予測部２４６が得た量子化ステップにより得られる剰余総和Ｒj に対する、Ｓ１００〜Ｓ１０６の処理が構成するループ処理により得られたＮ個の剰余総和Ｒsub,j の比率（Ｒmin,j ／Ｒj ）の最小値〔ｍｉｎ（Ｒmin,j ／Ｒj ）〕と、所定の閾値Ｔｈとを比較する。
【００７８】
バックサーチ部２４８は、最小値〔ｍｉｎ（Ｒmin,j ／Ｒj ）〕が閾値Ｔｈ以上である場合には、入力映像データが１度も圧縮符号化を経ていないオリジナルの映像データであると判断してＳ１００の処理に進み、最小値〔ｍｉｎ（Ｒmin,j ／Ｒj ）〕が閾値Ｔｈ未満である場合には、入力映像データが既に圧縮符号化を経ている（ダビング後の）映像データであると判断してＳ１１０の処理に進む。
【００７９】
ステップ１１０（Ｓ１１０）において、バックサーチ部２４８は、Ｓ１０８の処理において、最小値〔ｍｉｎ（Ｒmin,j ／Ｒj ）〕を与える第ｊmin 番目のピクチャーを入力映像データのＩピクチャーと判断し、ピクチャータイプ制御部２５０に対して通知する。
ステップ１１２（Ｓ１１２）において、ピクチャータイプ制御部２５０は、第ｊmin 番目のピクチャーが、ＧＯＰの第１番目のピクチャーであるか否かを判断し、第ｊmin 番目のピクチャーがＧＯＰの第１番目のピクチャーである場合にはＳ１００の処理に進み、第ｊmin 番目のピクチャーがＧＯＰの第１番目のピクチャーでない場合にはＳ１１４の処理に進む。
【００８０】
Ｓ１１２の処理において、第ｊmin 番目のピクチャーがＧＯＰの第１番目のピクチャーであるということは、現在のバックサーチ処理の対象となっているＧＯＰの位相
（構成）が、の前回のバックサーチ処理の対象となっていたＧＯＰの位相
（構成）と同じであることを意味するので、ピクチャータイプ制御部２５０は、ＧＯＰの位相の変更を要さない。
【００８１】
反対に、Ｓ１１２の処理において、第ｊmin 番目のピクチャーがＧＯＰの第１番目のピクチャーでないということは、バックサーチ部２４８の現在の処理の対象となっているＧＯＰの位相
（構成）が、バックサーチ部２４８の前回の処理の対象となっていたＧＯＰの位相
（構成）と異なっていることを意味するので、ピクチャータイプ制御部２５０は、ＧＯＰの位相の変更を要する。
【００８２】
ステップ１１４（Ｓ１１４）において、ピクチャータイプ制御部２５０は、第Ｎ＋ｊmin 番目の入力映像データのピクチャーをイントラ符号化するように、ピクチャーの並び替えの順番を変更するようにピクチャー並べ替え部２００を制御する。
ステップ１１６（Ｓ１１６）において、ピクチャータイプ制御部２５０は、変数ｊに数値ｊmin を代入し、Ｓ１０２の処理に進む。
【００８３】
圧縮符号化部２０のピクチャー並べ替え部２００は、以上説明したピクチャータイプ制御部２５０の制御に従って、入力映像データのピクチャーの順番を並び替える。
走査変換ブロック化部２０２は、映像データをフィールド／フレーム変換し、さらにマクロブロック化する。
【００８４】
動き検出部２０４は、映像データをマクロブロック単位に処理してその動きを検出し、映像の動きを示す動きベクトルを生成する。
ＦＩＦＯ２０６は、映像データをバッファリングし、所定の時間遅延を与える。
減算回路２０７は、圧縮符号化後にＰピクチャーまたはＢピクチャーとなるピクチャーの予測誤差データを生成する。
【００８５】
ＤＣＴ部２０８は、圧縮符号化後にＩピクチャーとなる映像データ、および、ＰピクチャーまたはＢピクチャーとなる映像データの予測誤差データをＤＣＴ処理し、ＤＣＴ係数を生成する。
量子化部２１０は、圧縮制御部２４のバックサーチ部２４８が生成した量子化インデックスが示す量子化ステップで、ＤＣＴ部２０８から入力されたＤＣＴ係数を量子化し、量子化データを生成する。
可変長符号化部２１２は、量子化部２１０から入力される量子化データを可変長符号化し、出力映像データ(stream out)として出力する。
【００８６】
逆量子化部２１４は、量子化データを逆量子化処理してＤＣＴ係数を再生する。
逆ＤＣＴ部２１６は、再生されたＤＣＴ係数を逆ＤＣＴ処理して映像データを再生する。
加算回路２１８は、逆ＤＣＴ部２１６から入力される映像データと、動き補償部２２２から入力される映像データとを加算する。
【００８７】
ＦＩＦＯ２２０は、動き検出部２０４から入力される動きベクトルをバッファリングし、所定の時間遅延を与える。
動き補償部２２２は、加算回路２１８から入力される映像データに対して、ＦＩＦＯ２２０から入力される動きベクトルを用いた動き補償処理を行う。
【００８８】
変形例
以下、図４を参照して、第１の実施形態の変形例を説明する。
エンコーダ２（図１，図２）は、圧縮符号化部２０の量子化部２１０に設定する量子化インデックスを求めるバックサーチ処理を行う際に、前回の圧縮符号化の際のピクチャータイプを検出し、ピクチャー並べ替え部２００のピクチャーの並び替え処理を制御するように構成されているので、遅延量が多く、しかも、ピクチャー並べ替え部２００におけるピクチャーの並び替えの順番を迅速に変更することができない。
【００８９】
しかしながら、バックサーチ処理により、ＤＣＴ係数の剰余総和の極小点を見つけるためには、必ずしもピクチャーの全てのＤＣＴ係数の剰余総和を算出する必要はなく、ピクチャー中のいくつかのマクロブロックを抽出して、剰余総和の極小点が存在するか否かを調べれば充分である。
【００９０】
以下に説明する第１の実施形態に示したエンコーダ２の変形例（エンコーダ５）は、このような点に着目し、エンコーダ２の処理速度を改善するのためになされたものであり、量子化インデックスを生成する機能と、ＧＯＰの位相を検出する機能とを分離し、予めＧＯＰ位相を検出してから入力映像データを圧縮符号化するように構成されている。
【００９１】
図４は、第１の実施形態の変形例のエンコーダ５の構成を示す図である。なお、図４においては、エンコーダ５の構成部分の内、エンコーダ２と同一のものには図２と同じ符号が付してある。
図４に示すように、エンコーダ５は、圧縮符号化部２０と圧縮制御部２６から構成される。
圧縮制御部２６は、圧縮制御部２４（図２）にＧＯＰ位相制御部２８を付加した構成を採る。
ＧＯＰ位相制御部２８は、ブロック抽出部２８０、ＤＣＴ部２８２、予測部２８４およびバックサーチ部２８６から構成される。
【００９２】
圧縮制御部２６のＧＯＰ位相制御部２８において、ブロック抽出部２８０は、入力映像データの各ピクチャーから数ブロック分の映像データを抽出し、ＤＣＴ部２８２に対して出力する。
ＤＣＴ部２８２は、ブロック抽出部２８０から入力された数ブロック分の映像データをＤＣＴ処理し、ＤＣＴ処理により得られたＤＣＴ係数を予測部２８４に対して出力する。
【００９３】
予測部２８４は、圧縮制御部２４の予測部２４６と同様に、単位期間ごとに固定値の量子化ステップ(fix-q) またはバイナリサーチにより入力映像データの絵柄の難しさを見積もり、実際に用いるべき量子化ステップを示す量子化インデックスを単位期間ごとに算出してバックサーチ部２８６に対して出力する。
【００９４】
バックサーチ部２８６は、エンコーダ２における圧縮制御部２４のバックサーチ部２４８と同様に、予測部２８４から入力される量子化インデックス、および、ＤＣＴ部２８２から予測部２８４を介して入力されるＤＣＴ係数を用いてバックサーチ処理を行い、入力映像データのＧＯＰ位相（Ｉピクチャー）を検出し、ピクチャータイプ制御部２５０に通知する。
ピクチャータイプ制御部２５０は、エンコーダ２においてと同様に、バックサーチ部２８６から入力されるＩピクチャーの位置を示す情報に従って、圧縮符号化部２０のピクチャー並べ替え部２００の処理を制御する。
【００９５】
なお、エンコーダ２と異なり、エンコーダ５においては、ＧＯＰ位相の検出（Ｉピクチャーの検出）に先立つ動き補償は行なわれないので、ＧＯＰ位相制御部２８のバックサーチ部２８６は、入力映像データの全てのピクチャーに対してイントラ符号化して得られたＤＣＴ係数に対してバックサーチ処理を行うことになる。従って、結果的に、ＧＯＰ位相制御部２８による入力映像データが既に圧縮符号化を経ているか否かの判定は非常に簡単になる。
【００９６】
また、図１および図２に示したエンコーダ２（２ａ，２ｂ）の各構成部分は、同一の機能および性能を実現可能である限り、ソフトウェア的に構成されるかハードウェア的に構成されるかを問わない。
また、エンコーダ２の各構成部分は、同一の機能および性能を実現可能な他の装置に置換可能である。
また、エンコーダ２は、適切な変形を加えることにより、映像データの他、例えば、音声データといった冗長性を有する他の種類のデータの圧縮符号化に応用することができる。
【００９７】
効果
以上説明したように、エンコーダ２，５によれば、前回の圧縮符号化と同じＧＯＰ位相を保って次回の圧縮符号化を行うことができ、図１に示した映像データ処理システム１における映像の品質の劣化を防ぐことができる。
また、エンコーダ２，５においては、ピクチャータイプ情報が失われた場合、あるいは、１度も圧縮符号化を経ていないオリジナルの映像データが入力された場合に、圧縮映像データとピクチャータイプを示す情報とを多重化し、ピクチャータイプ情報に基づいて次回の圧縮符号化を行う従来の方法において生じていた誤動作等の不具合は発生しない。
【００９８】
また、エンコーダ２，５においては、例えば、圧縮映像データをアナログ映像信号に戻し、再度、ディジタル圧縮映像データとして記録等を行う場合にも、アナログ映像データに戻す前の圧縮映像データと同じＧＯＰ位相で圧縮符号化を行うことができ、映像の品質の劣化を防ぐことができる。
また、エンコーダ５は、ピクチャーの一部のマクロブロックを用いてＧＯＰ位相を検出するので、エンコーダ２に比べて大幅に装置規模が増大することがない。
また、エンコーダ５によると、ＧＯＰ位相を検出するために要する処理時間が短縮されるので、エンコーダ２に比べて遅延時間を短縮することができる。
【００９９】
第２実施形態
以下、本発明の第２の実施形態を説明する。
【０１００】
第２の実施形態の背景
ＭＰＥＧ２方式等のＭＣ−ＤＣＴ方式等の圧縮符号化技術を、映像データの放送、通信あるいは伝送に用いる場合には、圧縮符号化して得られる圧縮映像データのデータ量（発生符号量）を伝送路の伝送容量以下に押さえ込むためには、ＭＰＥＧ方式のＴＭ５等に代表されるように、通常、フィードバックによる量子化ステップの制御が行なわれる。
【０１０１】
このフィードバックによる量子化ステップの制御は、過去の量子化ステップ（量子化インデックス）と、この量子化ステップに対応する発生符号量との関係により、その時点のバッファ残量に適合する量子化ステップ（量子化インデックス）を動的（ダイナミック）に調節することにより行われる。
【０１０２】
しかしながら、このフィードバック制御方式は、長い時間で見たときは所望のデータレートに符号発生量を抑え込むことができるものの、瞬間的に見ると、発生符号量の増大を招くことがある。
従って、テレビジョン放送業務用デジタルＶＴＲ装置あるいは録再型ディスク装置への応用を考えると、例えばインサート編集、可変速再生あるいは記録エラーのコンシール(conceal) に対応できるように、ある単位期間ごとに、発生符号量が必ず目標符号量となるように発生符号量を制御し、ＶＴＲテープあるいはＭＯディスク等のディスク記録媒体の特定の場所に記録するという制御がさらに必要になる。
【０１０３】
また、高い映像の品質が要求されるテレビジョン放送局用においては、タンデム接続したエンコーダおよびデコーダ（コーデック）により圧縮符号化および伸長復号を繰り返した場合の映像の品質の劣化防止も厳しく要求される。
【０１０４】
従って、映像データ処理システム１（図１）等において圧縮符号化および伸長復号を繰り返す場合には、各圧縮符号化処理における量子化ステップを同じにするために、例えば、エンコーダ２，５（図１，図２，図４）のバックサーチ部２４８によるバックサーチ処理が用いられる。
【０１０５】
しかしながら、エンコーダ２，５のバックサーチ部２４８のバックサーチ処理においては、ＤＣＴ係数の剰余総和の中に、所定の閾値を超える割合の著しい極小点が存在するか否かに基づいて、前回の圧縮符号化において用いられた量子化ステップを検出する方法が採られるため、この閾値を小さく設定しすぎると、本来、ＤＣＴ係数の剰余総和の極小点が存在しない、一度の圧縮符号化も経ていないオリジナル映像データのピクチャーのいくつかのマクロブロックから、ＤＣＴ係数の剰余総和の極小点が誤って検出される可能性がある。
【０１０６】
バックサーチ部２４８がＤＣＴ係数の剰余総和を誤って検出し、誤って生成した量子化ステップ（量子化インデックス）に基づいて圧縮符号化部２０の量子化部２１０が量子化を行うと、最適な量子化ステップよりも大きい値でＤＣＴ係数を量子化してしまい、結果として映像の品質が大きく劣化してしまう可能性がある。
【０１０７】
また逆に、ＤＣＴ係数の剰余総和の検出に用いる閾値を過度に大きく設定すると、既に圧縮符号化を経ている映像データが入力されても、ピクチャー内のいくつかのマクロブロックではＤＣＴ係数の剰余総和の極小点を検出できない可能性がある。本来、検出されるべき極小点が検出できないと、前回の圧縮符号化にいてと異なる量子化ステップで、次回の圧縮符号化における量子化処理が行われ、映像の品質が大きく劣化してしまう。
これらの観点から、ＤＣＴ係数の剰余総和の検出に用いる閾値を適切に選択する必要があるが、以上のような不具合の解決は難しく、さらに、入力映像データの絵柄によっては、以上の不具合が顕著に現れる可能性もある。
【０１０８】
さらに、ＭＰＥＧ ４：２：２ Profile方式を用いる装置には、例えば、ＧＯＰがＩピクチャーおよびＢピクチャーの２フレーム構成となっているものがあり、また、ＭＰ＠ＭＬ方式を用いる装置には、ＧＯＰが１５フレーム構成を採ることが代表的である。
【０１０９】
一方、複数フレーム構成のＧＯＰを用いるＭＣ−ＤＣＴ方式のエンコーダおよびデコーダにおいては、圧縮符号化の際に動き補償処理を行うピクチャータイプにおいて前回と同じ動きベクトルを再現することは不可能であるため、次回の圧縮符号化における動きベクトルおよび予測誤差の再現性が低く、結果として、前回の圧縮符号化においてＢピクチャーおよびＰピクチャーに圧縮符号化されたピクチャーのＤＣＴ係数の剰余総和に顕著な極小点は存在しない。
【０１１０】
従って、バックサーチ部２４８において前回の圧縮符号化においてイントラ符号化されたピクチャーを検出するための閾値を用いてバックサーチ処理を行っても、前回の圧縮符号化においてＢピクチャーおよびＰピクチャーに圧縮符号化されたピクチャーからは、ＤＣＴ係数の極小点を検出できない。
第２の実施形態は、このような不具合を解決し、ピクチャータイプの誤検出を防ぐことができるバックサーチ処理をズムを実現し、例えば、複数のディジタルＶＴＲ装置を接続して映像データを複写する際等の映像の品質劣化を防ぐことを目的としている。
【０１１１】
図５は、第２の実施形態における本発明に係るエンコーダ６の構成を示す図である。なお、図５においては、エンコーダ６の構成部分のうち、図２に示したエンコーダ２および図４に示したエンコーダ５の構成部分と同じものには、同一の符号を付してある。
【０１１２】
図５に示すように、エンコーダ６は、圧縮符号化部２０、圧縮制御部３０およびビデオインデックス（video index;仮称）検出部３２から構成され、圧縮制御部３０は、エンコーダ２，５（図１，図２，図４）の圧縮制御部２４にスイッチ(sw)回路３００を付加した構成を採る。なお、第２の実施形態において示すエンコーダ６は、圧縮符号化において動き補償を行うように構成されているが、動き補償処理は必須ではない。
【０１１３】
エンコーダ６は、例えば、映像データ処理システム１（図１）において、エンコーダ２，５の代わりに用いられ、エンコーダ２，５と同様に、入力映像データに含まれる各ピクチャーが前回、いずれのピクチャータイプに圧縮符号化されたかを検出し、さらに、前回と同じ量子化ステップでＤＣＴ係数を量子化し、圧縮符号化を行う。
【０１１４】
エンコーダ６におけるバックサーチ処理
エンコーダ６におけるバックサーチ処理は、バックサーチアルゴリズムは、一度も圧縮符号化を経ていないオリジナルの映像に対しては使用しないほうがよく、同じ圧縮符号化方式を用いるエンコーダによる圧縮符号化を既に経ている映像データに対してのみ適用することが好ましいという性質に着眼して変更されている。
【０１１５】
つまり、第１の実施形態において示したエンコーダ２，５においては、入力映像データの全てのピクチャーに対してバックサーチ処理を行い、オリジナルの映像データにおいてはＤＣＴ係数の剰余総和に極小点が見つからず、既に圧縮符号化を経た映像データにおいてのみ剰余総和に極小点が見つかってバックサーチ処理が有効となること期待しているが、この期待どおりとならない場合がある。
【０１１６】
そこで、第２の実施形態において示すエンコーダ６は、ビデオインデックスを用いて、入力される映像データのピクチャーが、既に圧縮符号化を経た映像データかオリジナルの映像データかを識別し、オリジナルの映像データ、および、前回、他の方式により圧縮符号化された映像データであると識別された場合には、バックサーチ処理を実行せず、逆に、前回、同じ方式により圧縮符号化され、かつ、前回のＧＯＰ位相が次の圧縮符号化におけるＧＯＰ移動と同じ場合にのみバックサーチ処理を実行するように構成されている。
【０１１７】
前回の圧縮符号化方式の検出方法
次に、前回の圧縮符号化方式が、次回の圧縮符号化方式と同じか否かを検出する方法を説明する。
現在、ＳＭＰＴＥにおいて、ビデオインデックスと呼ばれるエンコード条件を示す情報を、デコーダ側で映像データに多重化することが標準化されつつある。映像データに正しいビデオインデックスが多重化されているか否かを検出することにより、エンコーダ６の入力部分において、入力映像データが前回、同じ方式により圧縮符号化されたか否か、および、次回の圧縮符号化におけるＧＯＰの位相（構造）と前回の圧縮符号化におけるＧＯＰの位相とが一致しているか否かを判定することができる。以下、映像データ処理システム１において、デコーダ４ａ，４ｂがビデオインデックスを映像データに多重化する場合について説明を行う。
【０１１８】
ビデオインデックス検出部３２の動作の概要
以下、ビデオインデックス検出部３２の動作の概要を説明する。
ビデオインデックス検出部３２は、入力映像データに正しいビデオインデックス情報が多重化されているか否かを監視し、入力映像データに正しいビデオインデックス情報が多重化されており、かつ、次回の圧縮符号化におけるＧＯＰの位相（構造）と前回の圧縮符号化におけるＧＯＰの位相とが一致している場合にのみ、次回の圧縮符号化におけるＧＯＰの位相（構造）と前回の圧縮符号化におけるＧＯＰの位相とが一致するようにピクチャータイプ制御部２５０を介してピクチャー並べ替え部２００の動作を制御し、さらに、スイッチ回路３００を制御して入力端子ｂを選択させ、圧縮制御部２４のバックサーチ部２４８の処理により決定された量子化ステップ（量子化インデックス）を量子化部２１０に対して出力させる。
【０１１９】
また、ビデオインデックス検出部３２は、逆に、ビデオインデックスが入力映像データに全く多重化されていなかったり、多重化されていても違う圧縮符号化方式を示していたり、あるいは、同じ圧縮符号化方式を示していても、編集作業等によりＧＯＰ位相が変更されたりといったように、次回の圧縮符号化におけるＧＯＰ位相で圧縮符号化を行わない方がよい場合に、スイッチ回路３００を制御して入力端子ａを選択させ、予測部２４６により固定量子化ステップあるいはバイナリーサーチにより求められた量子化ステップ（インデックス）を量子化部２１０に対して出力させる。
【０１２０】
ビデオインデックス検出部３２の動作の詳細
以下、図７をさらに参照して、ビデオインデックス検出部３２の詳細な動作を説明する。
図７は、図５に示したエンコーダ６のビデオインデックス検出部３２の動作を例示するフローチャート図であって、ビデオインデックス検出部３２が１ピクチャーの映像データを取り込んでから、量子化インデックスを生成するまでが例示されている。
【０１２１】
図７に示すように、ステップ２００（Ｓ２００）において、エンコーダ６のビデオインデックス検出部３２は、次の入力映像データを１ピクチャー分取り込む。
ステップ２０２（Ｓ２０２）において、ビデオインデックス検出部３２は、次の入力映像データが取り込めたか否かを判断し、入力映像データが取り込めなかった場合には処理を終了する。
ステップ２０４（Ｓ２０４）において、ビデオインデックス検出部３２は、入力映像データのビデオインデックスが多重化されているべき位置のデータ（例えば３バイト）の全てを分離し、読み出す。
【０１２２】
ステップ２０６（Ｓ２０６）において、ビデオインデックス検出部３２は、読み出した３バイトのデータに対してＣＲＣチェックを行う。ＣＲＣチェックの結果、３バイトのデータが正しい場合にはＳ２０８の処理に進み、正しくない場合にはＳ２１６の処理に進む。
【０１２３】
ステップ２０８（Ｓ２０８）において、ビデオインデックス検出部３２は、ビデオインデックスに含まれるＧＯＰ構成、Ｐピクチャーの間隔（Ｍ）および量子化方法（Ｑ＿ｔｙｐｅ）を示すピクチャーごとの変更がないデータに基づいて、次回（現在）の圧縮符号化におけるこれらの条件と、前回の圧縮符号化におけるこれらの条件とが一致するか否かを判断する。一致する場合にはＳ２１０の処理に進み、一致しない場合にはＳ２１６の処理に進む。
【０１２４】
ステップ２１０（Ｓ２１０）において、ビデオインデックス検出部３２は、インデックスに含まれているピクチャータイプ(picture type)およびフレーム数（Ｎ；frame number）と、次回（現在）の圧縮符号化において期待されるピクチャータイプおよびフレーム数（Ｎ）とを比較し、これらが一致するか否かを判断する。一致する場合にはＳ２１２の処理に進み、一致しない場合にはＳ２１６の処理に進む。
【０１２５】
つまり、ビデオインデックス検出部３２は、ビデオインデックスに含まれるピクチャータイプを示すデータおよびフレーム番号を示すデータと、期待されているパターンとが一致する否かを調べる。例えば、ＧＯＰがＢピクチャーおよびＩピクチャーそれぞれ１枚ずつの２フレーム構成である場合には、表示順で、ＧＯＰの１枚目はＢピクチャー、２枚目はＩピクチャーとなることが期待される。
【０１２６】
従って、ビデオインデックス検出部３２は、ビデオインデックスデータに含まれるフレーム番号を示すデータ(Frame No.) が１であって、かつ、ビデオインデックスデータに含まれるピクチャータイプを示すデータがＢピクチャーである場合、および、ビデオインデックスデータに含まれるフレーム番号を示すデータ(Frame No.) が２であって、かつ、ビデオインデックスデータに含まれるピクチャータイプを示すデータがＩピクチャーである場合の２つの場合にのみビデオインデックスが正しいと判断する。
【０１２７】
ステップ２１２（Ｓ２１２）において、ビデオインデックス検出部３２は、インデックスに含まれているＧＯＰ位相を示す情報が、次回（現在）の圧縮符号化におけるＧＯＰ位相と一致するか否かを判断する。一致する場合にはＳ２１４の処理に進み、一致しない場合にはＳ２１６の処理に進む。
【０１２８】
つまり、ビデオインデックス検出部３２は、次回（現在）の圧縮符号化におけるＧＯＰ位相と、ビデオインデックスに含まれるＧＯＰ位相を示すデータとが一致している場合にのみ、バックサーチ部２４８が生成した量子化インデックスを有効にする。
【０１２９】
ステップ２１４（Ｓ２１４）において、ビデオインデックス検出部３２は、スイッチ回路３００を制御して入力端子ｂ側を選択させ、圧縮符号化部２０の量子化部２１０にバックサーチ部２４８が生成した量子化インデックスを出力させる。
【０１３０】
つまり、ビデオインデックス検出部３２は、Ｓ２０２，Ｓ２０６〜Ｓ２１２の処理に示した全ての条件が満たされた場合にのみ、バックサーチ部２４８におけるバックサーチ処理を有効化し、Ｓ２１４の処理においてスイッチ回路３００を制御し、バックサーチ部２４８が生成した量子化インデックスを量子化部２１０に対して出力させる。
【０１３１】
ステップ２１６（Ｓ２１６）において、ビデオインデックス検出部３２は、スイッチ回路３００に入力端子ａ側を選択させ、量子化部２１０が、バックサーチ部２４８が生成した量子化インデックスではなく、予測部２４６が生成した量子化インデックスを用いて量子化を行うように制御する〔フリーラン(free run)処理〕。
つまり、ビデオインデックス検出部３２は、Ｓ２０２，Ｓ２０６〜Ｓ２１２の処理に示した条件のいずれかが満たされない場合には、バックサーチ部２４８におけるバックサーチ処理を無効化し、Ｓ２１６においてスイッチ回路３００を制御し、予測部２４６が生成した量子化インデックスを量子化部２１０に対して出力させる。
【０１３２】
デコーダ４（４ａ，４ｂ）
図６は、図１に示したデコーダ４（４ａ，４ｂ）の構成を示す図である。
映像データ処理システム１（図１）において、エンコーダ２，５の代わりにエンコーダ６を用いる場合、デコーダ４ａ，４ｂは、図６に示すように、伸長復号部４０に、ビデオインデックス多重化部４１４を付加した構成を採る。
【０１３３】
伸長復号部４０は、一般的な映像データ用デコーダ装置と同様に、バッファメモリ(buffer)４００、可変長復号部（ＶＬＤ）４０２、逆量子化部４０４、逆ＤＣＴ部４０６、動き補償部４０８、スイッチ回路４１０、ピクチャー並べ替え部４１２およびピクチャータイプ制御部４１６から構成される。
【０１３４】
伸長復号部４０は、エンコーダ２から入力される圧縮映像データを伸長復号し、フルビットの映像データを生成してビデオインデックス多重化部４１４に対して出力する。
ビデオインデックス多重化部４１４は、ピクチャータイプ制御部４１６が検出した圧縮映像データのＧＯＰシーケンスに基づいて、前回の圧縮符号化の方式およびＧＯＰ構成等を示すビデオインデックスを生成し、ピクチャー並べ替え部４１２から入力される映像データにビデオインデックスを付加し、エンコーダ２に対して出力する。
【０１３５】
第２の実施形態における映像データ処理システム１の動作
以下、エンコーダ６（図５）およびデコーダ４（図６）を用いた映像データ処理システム１（図１）の動作を説明する。
エンコーダ６（６ａ）は、入力される映像データを圧縮符号化し、記録・伝送装置３ａを介してデコーダ４（４ａ）に対して伝送する。
デコーダ４ａは、エンコーダ６ａから入力された圧縮映像データを伸長復号してフルビットの映像データを生成し、ビデオインデックスデータを多重化して、記録・伝送装置３ｂを介してエンコーダ６（６ｂ）に伝送する。
【０１３６】
エンコーダ６ｂにおいて、ビデオインデックス検出部３２（図５）は、ピクチャー１枚分の映像データが入力されるたびに、図７に示した処理を行い、入力された映像データに多重化されたビデオインデックスが正しいか否かを判断し、スイッチ回路３００を制御して、圧縮符号化部２０の量子化部２１０に、バックサーチ部２４８が生成した量子化ステップ（量子化インデックス）および予測部２４６が生成した量子化ステップ（量子化インデックス）のいずれかを設定するとともに、ピクチャータイプ制御部２５０を介して圧縮符号化部２０のピクチャー並べ替え部２００を制御し、エンコーダ６ｂにおける圧縮符号化に適した順番に入力映像データのピクチャーを並べ替えさせる。
【０１３７】
圧縮符号化部２０のピクチャー並べ替え部２００以降の各構成部分、および、圧縮制御部３０は、エンコーダ２，５と同様に入力映像データを圧縮符号化し、記録・伝送装置３ｃを介してデコーダ４ｂに伝送する。
【０１３８】
なお、エンコーダ６におけるように、ビデオインデックスに基づいて圧縮符号化部２０のピクチャー並べ替え部２００を制御する場合、次回の圧縮符号化時においても前回の圧縮符号化時のピクチャータイプを把握できるので、前回の圧縮符号化時のピクチャータイプに基づいて、次回以降の圧縮符号化において圧縮制御部３０のバックサーチ部２４８のバックサーチ処理において用いられる閾値を、ピクチャータイプに応じて最適化することが可能である。
【０１３９】
つまり、前回の圧縮符号化時にイントラ符号化されたピクチャーを、次回もイントラ符号化する場合には、バックサーチ処理（図３）においてＤＣＴ係数の剰余総和の顕著な極小点が現れやすい。従って、バックサーチ処理に用いる閾値を大きめに設定することにより、ＤＣＴ係数の剰余総和の極小点の誤検出が防止できる。
【０１４０】
逆に、上述のように、前回の圧縮符号化においてＢピクチャーおよびＰピクチャーに圧縮符号化されたピクチャーを、次回の圧縮符号化においても同じピクチャータイプに圧縮符号化する場合には、動き予測を用いた圧縮符号化であるために、前回の圧縮符号化において求められた動きベクトルと、次回以降の歪んだ映像データから求められた動きベクトルとは一致せず、ＰピクチャーおよびＢピクチャーの予測誤差をＤＣＴ処理して得られたＤＣＴ係数の剰余総和を求めても、極小点がさほど顕著には現れない。
【０１４１】
このため、前回の圧縮符号化においてＢピクチャーおよびＰピクチャーに圧縮符号化されたピクチャーを、次回の圧縮符号化においても同じピクチャータイプに圧縮符号化する場合には、バックサーチ部２４８のバックサー処理において用いる閾値を高めに設定すると、バックサーチ部２４８は、正しい量子化ステップ（量子化インデックス）を求めることができない可能性が生じる。
【０１４２】
従って、前回の圧縮符号化においてＢピクチャーおよびＰピクチャーに圧縮符号化されたピクチャーを、次回の圧縮符号化においても同じピクチャータイプに圧縮符号化する場合には、バックサーチ部２４８のバックサー処理において用いる閾値を、上記イントラ符号化を行う場合に比べて小さい値とすることにより、バックサーチ部２４８は正しい量子化ステップ（量子化インデックス）を求めることができるようになる。
【０１４３】
変形例
なお、図５に示したエンコーダ６においては、ビデオインデックス検出部３２がスイッチ回路３００を制御して量子化ステップ（量子化インデックス）の変更を行うが、ビデオインデックス検出部３２の動作を、バックサーチ部２４８の動作を直接にＯＮ／ＯＦＦするように変更し、バックサーチ部２４８の動作を、ビデオインデックス検出部３２により動作がＯＦＦにされた場合に、予測部２４６から入力された量子化ステップ（量子化インデックス）を量子化部２１０に対して出力し、動作がＯＮにされた場合に、バックサーチ部２４８自体が生成した量子化ステップ（量子化インデックス）を量子化部２１０に対して出力するように変更してもよい。
また、エンコーダ６に対しても、エンコーダ２，５（図１，図２，図４）に対してと同様な変更が可能である。
【０１４４】
効果
以上説明したように、第２の実施形態に示したエンコーダ６によれば、圧縮符号化部３０のビデオインデックス検出部３２が、オリジナルの映像データが入力された場合には、バックサーチ部２４８のバックサーチ処理を無効化するので、オリジナルの映像データを大きい量子化ステップを用いて圧縮符号化するといった誤動作を防止することができ、オリジナルの映像データを圧縮符号化して得られる圧縮映像データの映像の品質が向上する。
【０１４５】
また、エンコーダ６においては、圧縮符号化部３０のビデオインデックス検出部３２が、オリジナルの映像データが入力された場合には、バックサーチ部２４８のバックサーチ処理が無効化されるので、既に圧縮符号化を経た映像データが入力された場合にバックサーチ部２４８が用いる閾値の値を小さく最適化することができ、ＤＣＴ係数の剰余総和の極小点の検出もれを防ぐことができ、バックサーチ処理の制度が向上する。従って結果的に、エンコーダ６によれば、既に圧縮符号化を経た映像データを圧縮符号化して得られる圧縮映像データの品質も向上する。
【０１４６】
第３実施形態
以下、本発明の第３実施形態を説明する。
【０１４７】
第３の実施形態の背景
図８は、映像データ圧縮・多重化装置７の構成例を示す図である。
例えば、テレビジョン放送局間で複数の圧縮映像データを多重化し、通信回線を介して伝送したい場合がある。このような場合、例えば、図８に例示する映像データ圧縮・多重化装置７が用いられる。
【０１４８】
図８に示すように、映像データ圧縮・多重化装置７は、３個のエンコーダ７０ａ〜７０ｃおよび多重化装置７２から構成される。
映像データ圧縮・多重化装置７において、エンコーダ７０ａ〜７０ｃは、それぞれ例えばディジタルＶＴＲ装置から入力される入力映像データＣＨ１〜ＣＨ３を圧縮符号化し、それぞれ固定データレートＦＲ１〜ＦＲ３の圧縮時映像データＣＨ１’〜ＣＨ３’として多重化装置７２に対して出力する。
多重化装置７２は、エンコーダ７０ａ〜７０ｃから入力された圧縮映像データＣＨ１’〜ＣＨ３’を多重化し、出力データレートＴの出力映像データとして通信回線（図示せず）に対して出力する。
【０１４９】
多重化装置７２に接続される通信回線の伝送容量は予め決まっているので、多重化装置７２の出力データレートＴは、この通信回線の伝送容量（許容値）以下に制限される。従って、映像データ圧縮・多重化装置７のユーザーは、エンコーダ７０ａ〜７０ｃそれぞれに対して、多重化装置７２の出力データレートを配分して、圧縮映像データのデータレートＦＲ１〜ＦＲ３（ＦＲ１＋ＦＲ２＋ＦＲ３≦Ｔ）を設定する必要がある。
【０１５０】
このような場合には、単純にエンコーダ７０ａ〜７０ｃそれぞれに出力データレートＴの１／３のデータレートを設定する方法の他に、入力映像データＣＨ１〜ＣＨ３の難度に応じて出力データレートＴを配分する方法が採られることがあり、後者の配分方法は統計多重と呼ばれる。
【０１５１】
例えば、多重化装置７２の出力データレートＴが１０Ｍｂｐｓであり、入力映像データＣＨ１が、難しい絵柄のスポーツ映像の映像データであり、入力映像データＣＨ２が、比較的難しい絵柄のニュース映像の映像データであり、入力映像データＣＨ３が、比較的易しい絵柄の映画の映像データである場合に、ユーザーは、統計多重化方式に従って、エンコーダ７０ａにデータレートＦＲ１として５Ｍｂｐｓを配分し、エンコーダ７０ｂにデータレートＦＲ２として３Ｍｂｐｓを配分し、エンコーダ７０ｃにデータレートＦＲ３として２Ｍｂｐｓを配分し、それぞれに対して設定する。
【０１５２】
しかしながら、映像データの絵柄の難しさは経時的に変化し、入力映像データＣＨ３の絵柄が、入力映像データＣＨ１の絵柄よりも大幅に難しくなる場合がある。このような場合、映像データ圧縮・多重化装置７によれば、エンコーダ７０ａ〜７０ｃに対してデータレートＦＲ１〜ＦＲ３が固定的に設定されているので、圧縮映像データＣＨ３’の映像の品質が大幅に劣化してしまう。第３の実施形態は、このような不具合を解決するためになされたものである。
【０１５３】
映像データ圧縮・多重化装置８の構成
図９は、第３の実施形態における本発明に係る映像データ圧縮・多重化装置８の構成を示す図であって、映像データ圧縮・多重化装置８が３つの入力映像データを圧縮符号化し、多重化する場合を例示する。なお、映像データ圧縮・多重化装置８の構成部分の内、エンコーダ２，５（図１，図２，図４）および映像データ圧縮・多重化装置７（図７）と同じものには同一の符号が付してある。
【０１５４】
図９に示すように、映像データ圧縮・多重化装置８は、エンコーダ２，５，６のいずれかと同じ構成のエンコーダ８０ａ〜８０ｃ、多重化装置７２および制御部（ＣＰＵ）８２から構成される。
映像データ圧縮・多重化装置８において、エンコーダ８０ａ〜８０ｃの圧縮制御部２４（２６，３０、以下、単に圧縮制御部２４と記す）の予測部２４６は、制御部８２に対して、固定値の量子化ステップにより単位期間ごとに求めた入力映像データＣＨ１〜ＣＨ３の発生符号量（難度）を出力し、制御部８２から単位期間ごとに入力される目標データ量に基づいて、量子化部２１０に対する量子化ステップを算出するように動作が変更されており、バックサーチ部２４８は動作していても動作が無効にされていてもよい。
【０１５５】
制御部８２の動作の概要
制御部８２は、エンコーダ８０ａ〜８０ｃからそれぞれ単位期間（例えば１ＧＯＰ分の圧縮映像データを生成する時間）ごとに入力される入力映像データの難度に基づいて、エンコーダ８０ａ〜８０ｃそれぞれに配分するデータレートの値を算出し、エンコーダ８０ａ〜８０ｃの圧縮符号化部２４の予測部２４６に設定して、エンコーダ８０ａ〜８０ｃそれぞれが出力する圧縮映像データＣＨ１’〜ＣＨ３’のデータレートＥ１〜Ｅ３を単位期間ごとに動的に調節する。
【０１５６】
映像データ圧縮・多重化装置８の動作
以下、映像データ圧縮・多重化装置８の動作をさらに説明する。
エンコーダ８０ａ〜８０ｃそれぞれにおいて、圧縮制御部２４の予測部２４６が、単位期間（１ＧＯＰ）分の入力映像データＣＨ１〜ＣＨ３それぞれの難度Ｄ１〜Ｄ３を制御部８２に対して出力する。
【０１５７】
制御部８２は、下の式１−１または式１−２により、単位期間ごとの合計許容発生符号量Ｐを算出する。
【０１５８】
【数１】
Ｔは、映像データ圧縮・多重化装置８に接続される通信回線等が許容するデータレートである。
【０１５９】
さらに、制御部８２は、予測部２４６から入力された入力映像データＣＨ１〜ＣＨ３の難度Ｄ１〜Ｄ３を用いて、下の式２−１〜式２−３，式３−１〜式３−３に示すように、合計許容発生符号量Ｐを例えば比例配分し、目標符号量Ｅ１〜Ｅ３を算出し、圧縮制御部２４の予測部２４６に設定する。
【０１６０】
【数２】
【０１６１】
【数３】
【０１６２】
なお、映像データ圧縮・多重化装置８がｎ個の入力映像データを処理する場合を一般的に示すと、各エンコーダ８０ａ〜８０ｎに配分される目標データ量Ｅｉは、下の式４−１，式４−２により表される。
【０１６３】
【数４】
Ｅｉの小数点以下は切り捨てである。
【０１６４】
具体例を挙げる。
例えば、入力映像データがＮＴＳＣ方式であり、Ｎ＝３０枚、Ｔ＝１０（Ｍｂｐｓ）、Ｄ１＝１０（Ｍｂｉｔ）、Ｄ２＝２０（Ｍｂｉｔ）、Ｄ３＝３０（Ｍｂｉｔ）である場合には、制御部８２は、入力映像データＣＨ１〜ＣＨ３の難度Ｄ１〜Ｄ３を用いて、目標データ量Ｅ１〜Ｅ３を、下の式５−１〜式５−３に示すように算出する。
【０１６５】
【数５】
エンコーダ８０ａ〜８０ｃそれぞれの予測部２４６は、バックサーチ部２４８から設定された目標データ量に基づいて量子化ステップ（量子化インデックス）を算出して圧縮符号化部２０の量子化部２１０に設定する。
エンコーダ８０ａ〜８０ｃそれぞれの圧縮符号化部２０は、バックサーチ部２４８が設定した量子化ステップ（量子化インデックス）を用いて圧縮符号化を行い、単位期間ごとに目標データ量Ｅ１〜Ｅ３以下であって、ほぼ目標データ量Ｅ１〜Ｅ３に近いデータ量の圧縮時映像データＣＨ１’〜ＣＨ３’を生成し、多重化装置７２に対して出力する。
多重化装置７２は、エンコーダ８０ａ〜８０ｃからそれぞれ入力される圧縮映像データＣＨ１’〜ＣＨ３’を多重化して出力映像データを生成し、通信回線（図示せず）に対して出力する。
【０１６７】
変形例１
以下、第３の実施形態において説明した映像データ圧縮・多重化装置８の動作の第１の変形例を説明する。
例えは、映像データ圧縮・多重化装置８に入力される映像データの１つが、スポーツプログラム等の絵柄が難しい映像データである場合に、この映像データ全体を通じて、高いデータレートで圧縮符号化を行いたい場合がある。
【０１６８】
このような場合には、エンコーダ８０ａ〜８０ｃそれぞれの予測部２４６から入力される難度Ｄ１〜Ｄ３〔一般化してＤｋ（ｋ＝１〜ｎ）と記す〕に対して重み付け係数Ａｋを乗算してプライオリティ（重み）を付け、下の式６−１，式６−２に示すように目標データ量Ｅｋを算出するように、制御部８２の動作を変形すればよい。
【０１６９】
【数６】
具体例を挙げる。
入力映像データがＮＴＳＣ方式であり、Ｎ＝３０枚、Ｔ＝１０（Ｍｂｐｓ）、Ｄ１＝１０（Ｍｂｉｔ）、Ｄ２＝２０（Ｍｂｉｔ）、Ｄ３＝３０（Ｍｂｉｔ）であり、入力映像データＣＨ１〜ＣＨ３に対する重み付け係数Ａ１〜Ａ３がそれぞれ１，３，２である場合には、下の式７−１〜式７−３に示すように目標データ量Ｅ１〜Ｅ３を求めることができる。
【０１７１】
【数７】
変形例２
以下、図１０を参照して、第３の実施形態において示した映像データ圧縮・多重化装置８の第２の変形例を説明する。
図１０は、図９に示した映像データ圧縮・多重化装置８の第２の変形例の動作を示すフローチャート図である。
【０１７３】
エンコーダ８０ａ〜８０ｃそれぞれの圧縮符号化部２０のＦＩＦＯ２０６の容量に応じて、ＧＯＰ単位ではなく、１フレーム分の圧縮映像データを生成する時間から数秒程度をフレキシブルに単位期間とすることが可能である。
【０１７４】
図１０に示すように、ステップ３００（Ｓ３００）において、制御部８２は、エンコーダ８０ａ〜８０ｃそれぞれが算出した入力映像データＣＨ１〜ＣＨ３のフレームごとの難度ｄ１〜ｄ３をフレームごとに取り込む。
ステップ３０２（Ｓ３０２）において、制御部８２は、取り込んだ入力映像データの難度ｄ１〜ｄ３を累加算（Ｄ１＝ｄ１＋＋，Ｄ２＝ｄ２＋＋，Ｄ３＝ｄ３＋＋）する。
【０１７５】
ステップ３０４（Ｓ３０４）において、制御部８２は、計数したフレーム数がＮであるかいなか、つまり、Ｓ３０２の処理において、１単位期間（Ｎフレーム分の圧縮映像データを生成する時間）の難度Ｄ１〜Ｄ３の累加算が終了したか否かを判断する。終了した場合にはＳ３０６の処理に進み、終了していない場合にはＳ３０２の処理に戻る。
【０１７６】
ステップ３０６（Ｓ３０６）において、制御部８２は、式２−１〜式２−３（入力映像データがＮＴＳＣ方式である場合）または式３−１〜式３−３（入力映像データがＰＡＬ方式である場合）により、目標データ量Ｅ１〜Ｅ３を算出する。
【０１７７】
ステップ３０８（Ｓ３０８）において、制御部８２は、エンコーダ８０ａ〜８０ｃそれぞれの圧縮制御部２４の予測部２４６に、算出した目標データ量Ｅ１〜Ｅ３を設定し、圧縮映像データのデータレートＥ１〜Ｅ３を調節する。さらに、エンコーダ８０ａ〜８０ｃそれぞれの圧縮符号化部２０は、設定された目標データ量Ｅ１〜Ｅ３を用いて入力映像データＣＨ１〜ＣＨ３を圧縮符号化し、その単位期間における発生符号量が目標データ量Ｅ１〜Ｅ３以下であって、目標データ量Ｅ１〜Ｅ３とほぼ同じ圧縮映像データＣＨ１’〜ＣＨ３’を発生し、出力する。
【０１７８】
なお、映像データ圧縮・多重化装置８のエンコーダ８０ａ〜８０ｃの数は例示であって、多重化装置７２の入力端子数および制御部８２の処理内容を適切に変形することにより、任意の数とすることができる。
また、映像データ圧縮・多重化装置８に対しても、エンコーダ２，５，６に対してと同様な変形が可能である。
また、映像データ圧縮・多重化装置７，８を、映像データ処理システム１においてエンコーダ２，５，６の代わりに用いることができる。
【０１７９】
効果
以上第３の実施形態において説明したように、本発明に係る映像データ圧縮・多重化装置８によれば、圧縮制御部２４の予測部２４６が求める入力映像データの難度に基づいて、複数の入力映像データそれぞれに配分する出力データレートの値をダイナミックに調節することができ、多重化装置７２の出力データレートを有効利用することができ、しかも、圧縮映像データＣＨ１’〜ＣＨ３’の映像の品質が全体として向上する。
【０１８０】
また、映像データ圧縮・多重化装置８の第１の変形例によれば、入力映像データの難度に重み付けして目標データ量の算出を行うことにより、より効果的な圧縮映像データの多重化が可能となる。
また、映像データ圧縮・多重化装置８の第２の変形例によれば、目標データ量の調節の単位期間を、ＧＯＰ単位にではなく、１フレーム単位にフレキシブルに変更することができる。
【０１８１】
【発明の効果】
以上説明したように、本発明に係るデータ圧縮装置およびその方法によれば、ピクチャータイプの情報を特別に有効画素データと多重化しなくても、前回の圧縮符号化時のピクチャータイプをエンコーダ側で自動検出し、ＧＯＰ位相を合わせて圧縮符号化することができる。
また、本発明に係る映像データ圧縮装置およびその方法によれば、圧縮符号化を経た映像データに対してのみ上記処理を行い、圧縮符号化を経ていないオリジナルの映像データに対しては不要な上記処理を行なわず、映像の品質を高く保って圧縮符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明に係るエンコーダが用いられる映像データ処理システムの構成を示す図である。
【図２】図１に示した第１の実施形態における本発明に係るエンコーダの構成を示す図である。
【図３】図１および図２に示したエンコーダのバックサーチ部およびピクチャータイプ制御部の処理内容を例示するフローチャート図である。
【図４】第１の実施形態の変形例のエンコーダの構成を示す図である。
【図５】第２の実施形態における本発明に係るエンコーダの構成を示す図である。
【図６】図１に示したデコーダの構成を示す図である。
【図７】図５に示したエンコーダのビデオインデックス検出部の動作を例示するフローチャート図である。
【図８】映像データ圧縮・多重化装置の構成例を示す図である。
【図９】第３の実施形態における本発明に係る映像データ圧縮・多重化装置の構成を示す図である。
【図１０】図９に示した映像データ圧縮・多重化装置の第２の変形例の動作を示すフローチャート図である。
【符号の説明】
１…映像データ処理システム、２（２ａ，２ｂ），５，６…エンコーダ、２０…圧縮符号化部、２００…ピクチャー並べ替え部、２０２…走査変換ブロック化部、２０４…動き検出部、２０６…ＦＩＦＯ、２０８…ＤＣＴ部、２１０…量子化部、２１２…可変長符号化部、２１４…逆量子化部、２１６…逆ＤＣＴ部、２１８…加算回路、２２０…ＦＩＦＯ、２２２…動き補償部、２４，２６，３０…圧縮制御部、２４０…動き補償部、２４２…減算回路、２４４…ＤＣＴ部、２４６…予測部、２４８…バックサーチ部、２５０…ピクチャータイプ制御部、２８…ＧＯＰ位相制御部、２８０…ブロック抽出部、２８２…ＤＣＴ部、２８４…予測部、２８６…バックサーチ部、３００…スイッチ回路、３２…ビデオインデックス検出部、３（３ａ〜３ｃ）…記録・伝送装置、４（４ａ，４ｂ）…デコーダ、４０…伸長復号部、４００…バッファメモリ、４０２…可変長復号部、４０４…逆量子化部、４０６…逆ＤＣＴ部、４０８…動き補償部、４１０…スイッチ回路、４１２…ピクチャー並べ替え部、４１４…ビデオインデックス多重化部、４１６…ピクチャータイプ制御部、７，８…映像データ圧縮・多重化装置、７０ａ〜７０ｃ，８０ａ〜８０ｃ…エンコーダ、７２…多重化装置、８２…制御部。
Claims (10)
- 入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる除算結果の剰余の総和を算出する剰余総和算出手段と、
前記剰余総和算出手段により算出された前記剰余の総和と所定閾値とを比較することにより、前記入力される映像データが過去の圧縮処理において、Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれかのピクチャタイプで圧縮処理されたかを識別する圧縮処理識別手段と、
Ｐピクチャ又はＢピクチャに対する前記閾値を、Ｉピクチャに対する前記閾値に比べて小さくなるように調節する閾値調節手段と、
前記剰余総和算出手段により算出された前記剰余の総和の極小値を示す量子化ステップを第１の量子化ステップとして生成する量子化ステップ生成手段と、
前記圧縮処理識別手段により識別されたピクチャタイプと同じピクチャタイプで圧縮処理する場合に、前記量子化ステップ生成手段により生成された前記第１の量子化ステップを用いて、前記映像データを圧縮処理する圧縮手段と、
を有する映像データ圧縮装置。 - 前記量子化ステップ生成手段は、前記圧縮処理識別手段により識別されたピクチャタイプと異なるピクチャタイプで圧縮処理する場合に、第２の量子化ステップを生成し、
前記圧縮手段は、前記圧縮処理識別手段により識別されたピクチャタイプと異なるピクチャタイプで圧縮処理する場合に、前記量子化ステップ生成手段により生成された前記第１の量子化ステップ又は前記第２の量子化ステップを用いて、前記映像データを圧縮処理する
請求項１に記載の映像データ圧縮装置。 - 前記量子化ステップ生成手段は、前記圧縮処理における前記映像データのピクチャタイプの順番が所定条件を満たす場合にのみ、前記第２の量子化ステップを生成する
請求項２に記載の映像データ圧縮装置。 - 前記直交変換データは、前記映像データのピクチャの全てのマクロブロックを直交変換することによって生成される
請求項１に記載の映像データ圧縮装置。 - 前記直交変換データは、前記映像データのピクチャの一部のマクロブロックを直交変換することによって生成される
請求項１に記載の映像データ圧縮装置。 - 入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる除算結果の剰余の総和を算出する剰余総和算出工程と、
前記剰余総和算出工程において算出された前記剰余の総和と所定閾値とを比較することにより、前記入力される映像データが過去の圧縮処理において、Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれかのピクチャタイプで圧縮処理されたかを識別する圧縮処理識別工程と、
Ｐピクチャ又はＢピクチャに対する前記閾値を、Ｉピクチャに対する前記閾値に比べて小さくなるように調節する閾値調節工程と、
前記剰余総和算出工程において算出された前記剰余の総和の極小値を示す量子化ステップを第１の量子化ステップとして生成する量子化ステップ生成工程と、
前記圧縮処理識別工程において識別されたピクチャタイプと同じピクチャタイプで圧縮 処理する場合に、前記量子化ステップ生成工程において生成された前記第１の量子化ステップを用いて、前記映像データを圧縮処理する圧縮工程と、
を含む映像データ圧縮方法。 - 入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる除算結果の剰余の総和を算出する剰余総和算出手段と、
前記剰余総和算出手段により算出された前記剰余の総和とＩピクチャに対する閾値に比べてＰピクチャ又はＢピクチャに対する閾値が小さくなるように調節された閾値とを比較することにより、前記入力される映像データが過去の圧縮処理において、Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれのピクチャタイプで圧縮処理されたかを識別する圧縮処理識別手段と、
前記剰余総和算出手段により算出された前記剰余の総和の極小値を示す量子化ステップを第１の量子化ステップとして生成する量子化ステップ生成手段と、
前記圧縮処理識別手段により識別されたピクチャタイプと同じピクチャタイプで圧縮処理する場合に、前記量子化ステップ生成手段により生成された前記第１の量子化ステップを用いて、前記映像データを圧縮処理する圧縮手段と、
を有する映像データ圧縮装置。 - 入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる除算結果の剰余の総和を算出する剰余総和算出工程と、
前記剰余総和算出工程において算出された前記剰余の総和とＩピクチャに対する閾値に比べてＰピクチャ又はＢピクチャに対する閾値が小さくなるように調節された閾値とを比較することにより、前記入力される映像データが過去の圧縮処理において、Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれのピクチャタイプで圧縮処理されたかを識別する圧縮処理識別工程と、
前記剰余総和算出工程において算出された前記剰余の総和の極小値を示す量子化ステップを第１の量子化ステップとして生成する量子化ステップ生成工程と、
前記圧縮処理識別工程において識別されたピクチャタイプと同じピクチャタイプで圧縮処理する場合に、前記量子化ステップ生成工程において生成された前記第１の量子化ステップを用いて、前記映像データを圧縮処理する圧縮工程と、
を含む映像データ圧縮方法。 - 入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる除算結果の剰余の総和とＩピクチャに対する閾値に比べてＰピクチャ又はＢピクチャに対する閾値が小さくなるように調整された閾値とを比較することにより、前記入力される映像データが過去の圧縮処理において、Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれのピクチャタイプで圧縮処理されたかを識別する圧縮処理識別手段と、
前記剰余の総和の極小値を示す量子化ステップを第１の量子化ステップとして生成する量子化ステップ生成手段と、
前記圧縮処理識別手段により識別されたピクチャタイプと同じピクチャタイプで圧縮処理する場合に、前記量子化ステップ生成手段により生成された前記第１の量子化ステップを用いて、前記映像データを圧縮処理する圧縮手段と、
を有する映像データ圧縮装置。 - 入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる除算結果の剰余の総和とＩピクチャに対する閾値に比べてＰピクチャ又はＢピクチャに対する閾値が小さくなるように調節された閾値とを比較することにより、前記入力される映像データが過去の圧縮処理において、Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれのピクチャタイプで圧縮処理されたかを識別する圧縮処理識別工程と、
前記前記剰余の総和の極小値を示す量子化ステップを第１の量子化ステップとして生成する量子化ステップ生成工程と、
前記圧縮処理識別工程において識別されたピクチャタイプと同じピクチャタイプで圧縮処理する場合に、前記量子化ステップ生成工程において生成された前記第１の量子化ステップを用いて、前記映像データを圧縮処理する圧縮工程と、
を含む映像データ圧縮方法。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33208196A JP4114210B2 (ja) | 1996-12-12 | 1996-12-12 | 映像データ圧縮装置およびその方法 |
| PCT/JP1997/004565 WO1998026602A1 (en) | 1996-12-12 | 1997-12-11 | Equipment and method for compressing picture data |
| US09/117,973 US6163573A (en) | 1996-12-12 | 1997-12-11 | Equipment and method for compressing picture data |
| KR1019980706189A KR100599017B1 (ko) | 1996-12-12 | 1997-12-11 | 영상 데이터 압축 장치 및 그 방법 |
| US09/715,393 US6493384B1 (en) | 1996-12-12 | 2000-11-17 | Video data compression apparatus and method of same |
| US10/273,491 US20030039309A1 (en) | 1996-12-12 | 2002-10-18 | Video data compression apparatus and method of same |
| US10/299,174 US7313184B2 (en) | 1996-12-12 | 2002-11-19 | Video data compression apparatus and method of same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33208196A JP4114210B2 (ja) | 1996-12-12 | 1996-12-12 | 映像データ圧縮装置およびその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10174098A JPH10174098A (ja) | 1998-06-26 |
| JP4114210B2 true JP4114210B2 (ja) | 2008-07-09 |
Family
ID=18250942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33208196A Expired - Fee Related JP4114210B2 (ja) | 1996-12-12 | 1996-12-12 | 映像データ圧縮装置およびその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4114210B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007074467A (ja) * | 2005-09-08 | 2007-03-22 | Sony Corp | 情報処理装置および方法、送信装置および方法、記録装置および方法、並びにプログラム |
| WO2008053557A1 (en) * | 2006-11-02 | 2008-05-08 | Pioneer Corporation | Moving picture re-encoding device, moving picture re-encoding method, moving picture re-encoding program, and recording medium containing the moving picture re-encoding program |
| CN101637026B (zh) | 2007-09-12 | 2012-03-28 | 索尼株式会社 | 图像处理装置和方法 |
| JP4569840B2 (ja) | 2007-09-12 | 2010-10-27 | ソニー株式会社 | 画像符号化装置、画像符号化方法 |
| TWI392372B (zh) | 2007-09-12 | 2013-04-01 | Sony Corp | Image processing apparatus and image processing method |
| JP5212373B2 (ja) * | 2007-09-12 | 2013-06-19 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| BRPI0904320A2 (pt) | 2008-06-27 | 2015-06-30 | Sony Corp | Dispositivo e método de processamento de imagem |
| EP2192785B1 (en) | 2008-06-27 | 2014-12-31 | Sony Corporation | Image processing device and method for computing a quantization factor |
| CN101779467B (zh) | 2008-06-27 | 2012-06-27 | 索尼公司 | 图像处理装置和图像处理方法 |
| WO2009157581A1 (ja) * | 2008-06-27 | 2009-12-30 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| JP5282692B2 (ja) * | 2009-07-27 | 2013-09-04 | ソニー株式会社 | 画像符号化装置と画像符号化方法 |
-
1996
- 1996-12-12 JP JP33208196A patent/JP4114210B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10174098A (ja) | 1998-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100599017B1 (ko) | 영상 데이터 압축 장치 및 그 방법 | |
| US6441754B1 (en) | Apparatus and methods for transcoder-based adaptive quantization | |
| US6862402B2 (en) | Digital recording and playback apparatus having MPEG CODEC and method therefor | |
| US8355436B2 (en) | Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders | |
| US20090202162A1 (en) | Image processing device and image processing method, information processing device and information processing method, information recording device and information recording method, information reproducing device and information reproducing method, storage medium, and program | |
| JP2000278692A (ja) | 圧縮データ処理方法及び処理装置並びに記録再生システム | |
| WO2006082690A1 (ja) | 画像符号化方法および画像符号化装置 | |
| US20040081237A1 (en) | Transcoder system for compressed digital video bitstreams | |
| JP4114210B2 (ja) | 映像データ圧縮装置およびその方法 | |
| JP2002027479A (ja) | 動画符号化装置 | |
| JP4032446B2 (ja) | 映像データ圧縮装置およびその方法 | |
| US20080253447A1 (en) | Video Transcoding with Selection of Data Portions to be Processed | |
| KR20020057525A (ko) | 영상 변환 부호화 장치 | |
| JP2005012249A (ja) | 画像処理装置および画像処理方法、情報処理装置、記録媒体、並びに、プログラム | |
| KR100338725B1 (ko) | 목표부호량에근접시킨영상신호부호화방법및그에따른장치 | |
| KR0128858B1 (ko) | 화면 변화에 대한 부호화 모드 결정장치 | |
| JP4000581B2 (ja) | 画像符号化装置および方法 | |
| JP2002218470A (ja) | 画像符号化データのレート変換方法、及び画像符号化レート変換装置 | |
| JPH1066092A (ja) | 映像データ圧縮装置およびその方法 | |
| JP3770466B2 (ja) | 画像符号化レート変換装置及び画像符号化レート変換方法 | |
| JP4539028B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
| JPH11234675A (ja) | 動画像符号化装置及び方法、動画像復号装置及び方法並びに記録媒体 | |
| KR100224623B1 (ko) | 영상 데이터 저장장치 | |
| JP2001145108A (ja) | 画像情報変換装置及び方法 | |
| JPH08307823A (ja) | 動画像記録再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060307 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060419 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070206 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070313 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070509 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080325 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080407 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110425 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110425 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120425 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130425 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140425 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |