JP3240024B2

JP3240024B2 - 画像処理方法

Info

Publication number: JP3240024B2
Application number: JP32950893A
Authority: JP
Inventors: 剛小田; 陽一矢ヶ崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-12-27
Filing date: 1993-12-27
Publication date: 2001-12-17
Anticipated expiration: 2016-12-17
Also published as: JPH07193818A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像処理方法に関し、
特に動画像データを圧縮して伝送する場合に用いて好適
な画像処理方法に関する。

【０００２】

【従来の技術】動画像データを光磁気ディスクや磁気テ
ープ等にデジタル的に記録する場合、あるいは所定の伝
送媒体を介して伝送する場合、データを符号化し、圧縮
して、データ量を減少するようにしている。

【０００３】例えば、ＭＰＥＧ方式の画像圧縮方法は、
Ｉピクチャ、ＰピクチャまたはＢピクチャのいずれかの
予測モードで各フレームの画像を予測し、予測誤差を符
号化して伝送するようにしている。基本的に予測誤差の
みが伝送されるため、各フレームの画像データをそのま
ま伝送する場合に比べて、データ量を縮小することがで
きる。

【０００４】

【発明が解決しようとする課題】ところで、従来の方法
においては、Ｉピクチャ、ＰピクチャまたはＢピクチャ
のうち、いずれの予測モードを実行するかは、ＧＯＰ
（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅ）毎に予め定めら
れており、画像の内容に拘らず、このＧＯＰの予測モー
ドのパターンは固定されていた。

【０００５】しかしながら、例えば、伝送すべき一連の
ピクチャにシーンチェンジがあると、シーンチェンジの
前のフレームから、シーンチェンジの後のフレームのピ
クチャを予測したとしても、その予測誤差は極めて大き
なものとなり、予測したフレームの画質は劣化する。ま
た、その画質の劣化したフレームを予測画像として、さ
らに他のフレームの画像データを圧縮すると、その他の
フレームの画像データもその画質が劣化することにな
る。

【０００６】同様のことは、シーンチェンジが発生せ
ず、関連するピクチャが連続している場合であっても、
そのうちの所定のフレームのピクチャがカメラのフラッ
シュがたかれた画像であるような場合においても発生す
る。

【０００７】本発明はこのような状況に鑑みてなされた
ものであり、シーンチェンジやカメラフラッシュなどに
よる画質の劣化を抑制するものである。

【０００８】

【課題を解決するための手段】本発明の第１の画像処理
方法は、ピクチャの所定の範囲の画像データの予測誤差
の絶対値を演算し、複数のピクチャの予測誤差の絶対値
の平均値を演算し、個々のピクチャの予測誤差の絶対値
と、平均値とを比較し、比較の結果、予測誤差の絶対値
が平均値の所定の正の実数倍の値より大きいとき、ピク
チャの不連続性を検出することを特徴とする。

【０００９】本発明の第２の画像処理方法は、ピクチャ
の所定の範囲の画像データの輝度の平均値を演算して第
１の値とし、複数のピクチャの第１の値の平均値を演算
して第２の値とし、第１の値と第２の値とを比較し、比
較の結果、第１の値が第２の値の所定の正の実数倍の値
より大きいとき、ピクチャの不連続性を検出することを
特徴とする。

【００１０】予測誤差の絶対値と平均値とを比較して得
られる不連続性の検出結果に対応して、ピクチャを他の
ピクチャから予測する場合の予測モードを選択するよう
にすることができる。

【００１１】平均値の所定の正の実数倍の値より大きい
予測誤差の絶対値が１回だけ独立に発生したとき、ピク
チャのシーンチェンジと判定し、２回連続して発生した
とき、ピクチャのカメラフラッシュと判定するようにす
ることができる。

【００１２】第１の値が第２の値の所定の正の実数倍の
値より大きくなったとき、ピクチャのカメラフラッシュ
と判定するようにすることができる。

【００１３】予測誤差の絶対値と平均値とを比較して得
られる不連続性の検出結果に対応して、ピクチャを他の
ピクチャから予測する場合の予測モードを選択するよう
にし、平均値の所定の正の実数倍の値より大きい予測誤
差の絶対値が１回だけ独立に発生したとき、ピクチャの
シーンチェンジと判定し、２回連続して発生したとき、
ピクチャのカメラフラッシュと判定し、シーンチェンジ
と判定したとき、ピクチャのうち、シーンチェンジのピ
クチャまたはその後のピクチャであって、その近傍のピ
クチャの少なくとも１つをＩピクチャとして処理し、カ
メラフラッシュと判定したとき、カメラフラッシュのピ
クチャをＢピクチャとして処理するか、またはその直後
のピクチャを、Ｉピクチャとして処理するようにするこ
とができる。

【００１４】第１の値と第２の値とを比較して得られる
不連続性の検出結果に対応して、ピクチャを他のピクチ
ャから予測する場合の予測モードを選択するようにし、
第１の値が第２の所定の正の実数倍の値より大きくなっ
たとき、ピクチャのカメラフラッシュと判定し、カメラ
フラッシュのピクチャをＢピクチャとして処理するか、
またはその直後のピクチャを、Ｉピクチャとして処理す
るようにすることができる。

【００１５】

【００１６】

【００１７】

【作用】本発明の第１の画像処理方法においては、ピク
チャの所定の範囲の画像データの予測誤差の絶対値が演
算され、複数のピクチャの予測誤差の絶対値の平均値が
演算される。また、個々のピクチャの予測誤差の絶対値
と、平均値とが比較され、比較の結果、予測誤差の絶対
値が平均値の所定の正の実数倍の値より大きいとき、ピ
クチャの不連続性が検出される。

【００１８】本発明の第２の画像処理方法においては、
ピクチャの所定の範囲の画像データの輝度の平均値が演
算されて第１の値とされ、複数のピクチャの第１の値の
平均値が演算されて第２の値とされる。また、第１の値
と第２の値とが比較され、比較の結果、第１の値が第２
の値の所定の正の実数倍の値より大きいとき、ピクチャ
の不連続性が検出される。

【００１９】

【実施例】例えば、テレビ会議システム、テレビ電話シ
ステムなどのように、動画像信号を遠隔地に伝送するシ
ステムにおいては、伝送路を効率良く利用するため、映
像信号のライン相関やフレーム間相関を利用して、画像
信号を圧縮符号化するようになされている。

【００２０】ライン相関を利用すると、画像信号を、例
えばＤＣＴ（離散コサイン変換）処理するなどして圧縮
することができる。

【００２１】また、フレーム間相関を利用すると、画像
信号をさらに圧縮して符号化することが可能となる。例
えば図１に示すように、時刻ｔ１，ｔ２，ｔ３におい
て、フレーム画像ＰＣ１，ＰＣ２，ＰＣ３がそれぞれ発
生しているとき、フレーム画像ＰＣ１とＰＣ２の画像信
号の差を演算して、ＰＣ１２を生成し、また、フレーム
画像ＰＣ２とＰＣ３の差を演算して、ＰＣ２３を生成す
る。通常、時間的に隣接するフレームの画像は、それ程
大きな変化を有していないため、両者の差を演算する
と、その差分信号は小さな値のものとなる。そこで、こ
の差分信号を符号化すれば、符号量を圧縮することがで
きる。

【００２２】しかしながら、差分信号のみを伝送したの
では、元の画像を復元することができない。そこで、各
フレームの画像を、Ｉピクチャ、ＰピクチャまたはＢピ
クチャの３種類のピクチャのいずれかのピクチャとし、
画像信号を圧縮符号化するようにしている。

【００２３】即ち、例えば図２に示すように、フレーム
Ｆ１乃至Ｆ１７までの１７フレームの画像信号をグルー
プオブピクチャ（ＧＯＰ）とし、処理の１単位とする。
そして、その先頭のフレームＦ１の画像信号はＩピクチ
ャとして符号化し、第２番目のフレームＦ２はＢピクチ
ャとして、また第３番目のフレームＦ３はＰピクチャと
して、それぞれ処理する。以下、第４番目以降のフレー
ムＦ４乃至Ｆ１７は、ＢピクチャまたはＰピクチャとし
て交互に処理する。

【００２４】Ｉピクチャの画像信号としては、その１フ
レーム分の画像信号をそのまま伝送する。これに対し
て、Ｐピクチャの画像信号としては、基本的には、図２
に示すように、それより時間的に先行するＩピクチャま
たはＰピクチャの画像信号からの差分を伝送する。さら
にＢピクチャの画像信号としては、基本的には、図３に
示すように、時間的に先行するフレームまたは後行する
フレームの両方の平均値からの差分を求め、その差分を
符号化する。

【００２５】図４は、このようにして、動画像信号を符
号化する方法の原理を示している。同図に示すように、
最初のフレームＦ１は、Ｉピクチャとして処理されるた
め、そのまま伝送データＦ１Ｘとして伝送路に伝送され
る（画像内符号化）。これに対して、第２のフレームＦ
２は、Ｂピクチャとして処理されるため、時間的に先行
するフレームＦ１と、時間的に後行するフレームＦ３の
平均値との差分（予測誤差）が演算され、その差分が伝
送データＦ２Ｘとして伝送される。

【００２６】但し、このＢピクチャとしての処理は、さ
らに細かく説明すると、４種類存在する。その第１の処
理は、元のフレームＦ２のデータをそのまま伝送データ
Ｆ２Ｘとして伝送するものであり（ＳＰ１）（イントラ
（画像内予測）符号化）、Ｉピクチャにおける場合と同
様の処理となる。第２の処理は、時間的に後のフレーム
Ｆ３からの差分を演算し、その差分（ＳＰ２）を伝送す
るものである（後方予測符号化）。第３の処理は、時間
的に先行するフレームＦ１との差分（ＳＰ３）を伝送す
るものである（前方予測符号化）。さらに第４の処理
は、時間的に先行するフレームＦ１と後行するフレーム
Ｆ３の平均値との差分（ＳＰ４）を生成し、これを伝送
データＦ２Ｘとして伝送するものである（両方向予測符
号化）。

【００２７】この４つの方法のうち、伝送データが最も
少なくなる方法が採用される。

【００２８】尚、差分データを伝送するとき、差分を演
算する対象となるフレームの画像（予測画像）との間の
動きベクトルｘ１（フレームＦ１とＦ２の間の動きベク
トル）（前方予測の場合）、もしくはｘ２（フレームＦ
３とＦ２の間の動きベクトル）（後方予測の場合）、ま
たはｘ１とｘ２の両方（両方向予測の場合）が、差分デ
ータとともに伝送される。

【００２９】また、ＰピクチャのフレームＦ３は、時間
的に先行するフレームＦ１を予測画像として、このフレ
ームとの差分信号（ＳＰ３）と、動きベクトルｘ３が演
算され、これが伝送データＦ３Ｘとして伝送される（前
方予測符号化）。あるいはまた、元のフレームＦ３のデ
ータが、そのままデータＦ３Ｘとして伝送される（ＳＰ
１）（イントラ符号化）。いずれの方法により伝送され
るかは、Ｂピクチャにおける場合と同様に、伝送データ
がより少なくなる方が選択される。

【００３０】図５は、上述した原理に基づいて、動画像
信号を符号化して伝送し、これを復号化する装置の構成
例を示している。符号化装置１は、入力された映像信号
を符号化し、伝送路としての記録媒体３に伝送するよう
になされている。そして、復号化装置２は、記録媒体３
に記録された信号を再生し、これを復号して出力するよ
うになされている。

【００３１】符号化装置１においては、入力された映像
信号が前処理回路１１に入力され、そこで輝度信号と色
信号（この実施例の場合、色差信号）が分離され、それ
ぞれＡ／Ｄ変換器１２，１３でＡ／Ｄ変換される。Ａ／
Ｄ変換器１２，１３によりＡ／Ｄ変換されてデジタル信
号となった映像信号は、フレームメモリ１４に供給さ
れ、記憶される。フレームメモリ１４は、輝度信号を輝
度信号フレームメモリ１５に、また、色差信号を色差信
号フレームメモリ１６に、それぞれ記憶させる。

【００３２】フォーマット変換回路１７は、フレームメ
モリ１４に記憶されたフレームフォーマットの信号を、
ブロックフォーマットの信号に変換する。即ち、図６に
示すように、フレームメモリ１４に記憶された映像信号
は、１ライン当りＨドットのラインがＶライン集められ
たフレームフォーマットのデータとされている。フォー
マット変換回路１７は、この１フレームの信号を、１６
ラインを単位としてＮ個のスライスに区分する。

【００３３】そして、各スライスは、Ｍ個のマクロブロ
ックに分割される。各マクロブロックは、１６×１６個
の画素（ドット）に対応する輝度信号により構成され、
この輝度信号は、さらに８×８ドットを単位とするブロ
ックＹ［１］乃至Ｙ［４］に区分される。そして、この
１６×１６ドットの輝度信号には、８×８ドットのＣｂ
信号と、８×８ドットのＣｒ信号が対応される。

【００３４】このように、ブロックフォーマットに変換
されたデータは、フォーマット変換回路１７からエンコ
ーダ１８に供給され、ここでエンコード（符号化）が行
われる。その詳細については、図７を参照して後述す
る。

【００３５】エンコーダ１８によりエンコードされた信
号は、ビットストリームとして伝送路に出力される。例
えば記録回路１９に供給され、デジタル信号として記録
媒体３に記録される。

【００３６】再生回路３０により記録媒体３より再生さ
れたデータは、復号化装置２のデコーダ３１に供給さ
れ、デコードされる。デコーダ３１の詳細については、
図２１を参照して後述する。

【００３７】デコーダ３１によりデコードされたデータ
は、フォーマット変換回路３２に入力され、ブロックフ
ォーマットからフレームフォーマットに変換される。そ
して、フレームフォーマットの輝度信号は、フレームメ
モリ３３の輝度信号フレームメモリ３４に供給され、記
憶され、色差信号は色差信号フレームメモリ３５に供給
され、記憶される。輝度信号フレームメモリ３４と色差
信号フレームメモリ３５より読み出された輝度信号と色
差信号は、Ｄ／Ａ変換器３６と３７によりそれぞれＤ／
Ａ変換され、後処理回路３８に供給され、合成される。
そして、例えば、図示せぬＣＲＴなどのディスプレイに
出力され、表示される。

【００３８】次に図７を参照して、エンコーダ１８の構
成例について説明する。符号化されるべき画像データ
は、ピクチャ判定回路４９を介して、マクロブロック単
位で動きベクトル検出回路５０に入力される。ピクチャ
判定回路４９の詳細は、図１２を参照して後述するが、
このピクチャ判定回路４９においては、予測モードが選
択、決定される。

【００３９】動きベクトル検出回路５０は、ピクチャ判
定回路４９により設定された所定のシーケンスに従っ
て、各フレームの画像データを、Ｉピクチャ、Ｐピクチ
ャ、またはＢピクチャとして処理する。シーケンシャル
に入力される各フレームの画像を、Ｉ，Ｐ，Ｂのいずれ
のピクチャとして処理するかは、基本的には予め定めら
れている（例えば、図２と図３に示したように、フレー
ムＦ１乃至Ｆ１７により構成されるグループオブピクチ
ャが、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処理さ
れる）が、後述するようにして、ピクチャ判定回路４９
により、シーンチェンジやカメラフラッシュが検出され
ると、その予測モードが適応的に変更される。

【００４０】Ｉピクチャとして処理されるフレーム（例
えばフレームＦ１）の画像データは、動きベクトル検出
回路５０からフレームメモリ５１の前方原画像部５１ａ
に転送、記憶され、Ｂピクチャとして処理されるフレー
ム（例えばフレームＦ２）の画像データは、参照原画像
部５１ｂに転送、記憶され、Ｐピクチャとして処理され
るフレーム（例えばフレームＦ３）の画像データは、後
方原画像部５１ｃに転送、記憶される。

【００４１】また、次のタイミングにおいて、さらにＢ
ピクチャ（フレームＦ４）またはＰピクチャ（フレーム
Ｆ５）として処理すべきフレームの画像が入力されたと
き、それまで後方原画像部５１ｃに記憶されていた最初
のＰピクチャ（フレームＦ３）の画像データが、前方原
画像部５１ａに転送され、次のＢピクチャ（フレームＦ
４）の画像データが、参照原画像部５１ｂに記憶（上書
き）され、次のＰピクチャ（フレームＦ５）の画像デー
タが、後方原画像部５１ｃに記憶（上書き）される。こ
のような動作が順次繰り返される。

【００４２】フレームメモリ５１に記憶された各ピクチ
ャの信号は、そこから読み出され、予測モード切り替え
回路５２において、フレーム予測モード処理、またはフ
ィールド予測モード処理が行なわれる。

【００４３】さらにまた、予測判定回路５４の制御の下
に、演算部５３において、画像内予測、前方予測、後方
予測、または両方向予測の演算が行なわれる。これらの
処理のうち、いずれの処理を行なうかは、予測誤差信号
（処理の対象とされている参照画像と、これに対する予
測画像との差分）に対応して決定される。このため、動
きベクトル検出回路５０は、この判定に用いられる予測
誤差信号の絶対値和（自乗和でもよい）を生成する。

【００４４】ここで、予測モード切り替え回路５２にお
けるフレーム予測モードとフィールド予測モードについ
て説明する。

【００４５】フレーム予測モードが設定された場合にお
いては、予測モード切り替え回路５２は、動きベクトル
検出回路５０より供給される４個の輝度ブロックＹ
［１］乃至Ｙ［４］を、そのまま後段の演算部５３に出
力する。即ち、この場合においては、図８に示すよう
に、各輝度ブロックに奇数フィールドのラインのデータ
と、偶数フィールドのラインのデータとが混在した状態
となっている。このフレーム予測モードにおいては、４
個の輝度ブロック（マクロブロック）を単位として予測
が行われ、４個の輝度ブロックに対して１個の動きベク
トルが対応される。

【００４６】これに対して、予測モード切り替え回路５
２は、フィールド予測モードにおいては、図８に示す構
成で動きベクトル検出回路５０より入力される信号を、
図９に示すように、４個の輝度ブロックのうち、輝度ブ
ロックＹ［１］とＹ［２］を、例えば奇数フィールドの
ラインのドットによりのみ構成させ、他の２個の輝度ブ
ロックＹ［３］とＹ［４］を、偶数フィールドのライン
のデータにより構成させて、演算部５３に出力する。こ
の場合においては、２個の輝度ブロックＹ［１］とＹ
［２］に対して、１個の動きベクトルが対応され、他の
２個の輝度ブロックＹ［３］とＹ［４］に対して、他の
１個の動きベクトルが対応される。

【００４７】動きベクトル検出回路５０は、フレーム予
測モードにおける予測誤差の絶対値和と、フィールド予
測モードにおける予測誤差の絶対値和を、予測モード切
り替え回路５２に出力する。予測モード切り替え回路５
２は、フレーム予測モードとフィールド予測モードにお
ける予測誤差の絶対値和を比較し、その値が小さい予測
モードに対応する処理を施して、データを演算部５３に
出力する。

【００４８】但し、このような処理は、実際には動きベ
クトル検出回路５０で行われる。即ち、動きベクトル検
出回路５０は、決定されたモードに対応する構成の信号
を予測モード切り替え回路５２に出力し、予測モード切
り替え回路５２は、その信号を、そのまま後段の演算部
５３に出力する。

【００４９】尚、色差信号は、フレーム予測モードの場
合、図８に示すように、奇数フィールドのラインのデー
タと偶数フィールドのラインのデータとが混在する状態
で、演算部５３に供給される。また、フィールド予測モ
ードの場合、図９に示すように、各色差ブロックＣｂ，
Ｃｒの上半分（４ライン）が、輝度ブロックＹ［１］，
Ｙ［２］に対応する奇数フィールドの色差信号とされ、
下半分（４ライン）が、輝度ブロックＹ［３］，Ｙ
［４］に対応する偶数フィールドの色差信号とされる。

【００５０】また、動きベクトル検出回路５０は、次の
ようにして、予測判定回路５４において、画像内予測、
前方予測、後方予測、または両方向予測のいずれの予測
を行なうかを決定するための予測誤差の絶対値和を生成
する。

【００５１】即ち、画像内予測の予測誤差の絶対値和と
して、参照画像のマクロブロックの信号Ａijの和ΣＡij
の絶対値｜ΣＡij｜と、マクロブロックの信号Ａijの絶
対値｜Ａij｜の和Σ｜Ａij｜の差を求める。また、前方
予測の予測誤差の絶対値和として、参照画像のマクロブ
ロックの信号Ａijと、予測画像のマクロブロックの信号
Ｂijの差Ａij−Ｂijの絶対値｜Ａij−Ｂij｜の和Σ｜Ａ
ij−Ｂij｜を求める。また、後方予測と両方向予測の予
測誤差の絶対値和も、前方予測における場合と同様に
（その予測画像を前方予測における場合と異なる予測画
像に変更して）求める。

【００５２】これらの絶対値和は、予測判定回路５４に
供給される。予測判定回路５４は、前方予測、後方予測
および両方向予測の予測誤差の絶対値和のうち、最も小
さいものを、インタ予測の予測誤差の絶対値和として選
択する。さらに、このインタ予測の予測誤差の絶対値和
と、画像内予測の予測誤差の絶対値和とを比較し、その
小さい方を選択し、この選択した絶対値和に対応するモ
ードを予測モードとして選択する。即ち、画像内予測の
予測誤差の絶対値和の方が小さければ、画像内予測モー
ドが設定される。インタ予測の予測誤差の絶対値和の方
が小さければ、前方予測、後方予測または両方向予測モ
ードのうち、対応する絶対値和が最も小さかったモード
が設定される。

【００５３】このように、動きベクトル検出回路５０
は、参照画像のマクロブロックの信号を、フレームまた
はフィールド予測モードのうち、予測モード切り替え回
路５２により選択されたモードに対応する構成で、予測
モード切り替え回路５２を介して演算部５３に供給する
とともに、４つの予測モードのうち、予測判定回路５４
により選択された予測モードに対応する予測画像と参照
画像の間の動きベクトルを検出し、可変長符号化回路５
８と動き補償回路６５に出力する。上述したように、こ
の動きベクトルとしては、対応する予測誤差の絶対値和
が最小となるものが選択される。

【００５４】予測判定回路５４は、動きベクトル検出回
路５０が前方原画像部５１ａよりＩピクチャの画像デー
タを読み出しているとき、予測モードとして、フレーム
またはフィールド（画像）内予測モード（動き補償を行
わないモード）を設定し、演算部５３のスイッチ５３ｄ
を接点ａ側に切り替える。これにより、Ｉピクチャの画
像データがＤＣＴモード切り替え回路５５に入力され
る。

【００５５】このＤＣＴモード切り替え回路５５は、図
１０または図１１に示すように、４個の輝度ブロックの
データを、奇数フィールドのラインと偶数フィールドの
ラインが混在する状態（フレームＤＣＴモード）、また
は、分離された状態（フィールドＤＣＴモード）、のい
ずれかの状態にして、ＤＣＴ回路５６に出力する。

【００５６】即ち、ＤＣＴモード切り替え回路５５は、
奇数フィールドと偶数フィールドのデータを混在してＤ
ＣＴ処理した場合における符号化効率と、分離した状態
においてＤＣＴ処理した場合の符号化効率とを比較し、
符号化効率の良好なモードを選択する。

【００５７】例えば、入力された信号を、図１０に示す
ように、奇数フィールドと偶数フィールドのラインが混
在する構成とし、上下に隣接する奇数フィールドのライ
ンの信号と偶数フィールドのラインの信号の差を演算
し、さらにその絶対値の和（または自乗和）を求める。

【００５８】また、入力された信号を、図１１に示すよ
うに、奇数フィールドと偶数フィールドのラインが分離
した構成とし、上下に隣接する奇数フィールドのライン
同士の信号の差と、偶数フィールドのライン同士の信号
の差を演算し、それぞれの絶対値の和（または自乗和）
を求める。

【００５９】さらに、両者（絶対値和）を比較し、小さ
い値に対応するＤＣＴモードを設定する。即ち、前者の
方が小さければ、フレームＤＣＴモードを設定し、後者
の方が小さければ、フィールドＤＣＴモードを設定す
る。

【００６０】そして、選択したＤＣＴモードに対応する
構成のデータをＤＣＴ回路５６に出力するとともに、選
択したＤＣＴモードを示すＤＣＴフラグを、可変長符号
化回路５８、ＤＣＴブロック並び替え回路６２、および
動き補償回路６５に出力する。

【００６１】予測モード切り替え回路５２における予測
モード（図８、図９）と、このＤＣＴモード切り替え回
路５５におけるＤＣＴモード（図１０、図１１）を比較
して明らかなように、輝度ブロックに関しては、両者の
各モードにおけるデータ構造は実質的に同一である。

【００６２】予測モード切り替え回路５２において、フ
レーム予測モード（奇数ラインと偶数ラインが混在する
モード）が選択された場合、ＤＣＴモード切り替え回路
５５においても、フレームＤＣＴモード（奇数ラインと
偶数ラインが混在するモード）が選択される可能性が高
く、また予測モード切り替え回路５２において、フィー
ルド予測モード（奇数フィールドと偶数フィールドのデ
ータが分離されたモード）が選択された場合、ＤＣＴモ
ード切り替え回路５５において、フィールドＤＣＴモー
ド（奇数フィールドと偶数フィールドのデータが分離さ
れたモード）が選択される可能性が高い。

【００６３】しかしながら、必ずしも常にそのようにな
されるわけではなく、予測モード切り替え回路５２にお
いては、予測誤差の絶対値和が小さくなるようにモード
が決定され、ＤＣＴモード切り替え回路５５において
は、符号化効率が良好となるようにモードが決定され
る。

【００６４】ＤＣＴモード切り替え回路５５より出力さ
れたＩピクチャの画像データは、ＤＣＴ回路５６に入力
され、ＤＣＴ（離散コサイン変換）処理され、ＤＣＴ係
数に変換される。このＤＣＴ係数は、量子化回路５７に
入力され、送信バッファ５９のデータ蓄積量（バッファ
蓄積量）に対応した量子化ステップで量子化された後、
可変長符号化回路５８に入力される。

【００６５】可変長符号化回路５８は、量子化回路５７
より供給される量子化ステップ（スケール）に対応し
て、量子化回路５７より供給される画像データ（いまの
場合、Ｉピクチャのデータ）を、例えばハフマン符号な
どの可変長符号に変換し、送信バッファ５９に出力す
る。

【００６６】可変長符号化回路５８にはまた、量子化回
路５７より量子化ステップ（スケール）、予測判定回路
５４より予測モード（画像内予測、前方予測、後方予
測、または両方向予測のいずれが設定されたかを示すモ
ード）、動きベクトル検出回路５０より動きベクトル、
予測モード切り替え回路５２より予測フラグ（フレーム
予測モードまたはフィールド予測モードのいずれが設定
されたかを示すフラグ）、およびＤＣＴモード切り替え
回路５５が出力するＤＣＴフラグ（フレームＤＣＴモー
ドまたはフィールドＤＣＴモードのいずれが設定された
かを示すフラグ）が入力されており、これらも可変長符
号化される。

【００６７】送信バッファ５９は、入力されたデータを
一時蓄積し、蓄積量に対応するデータを量子化回路５７
に出力する。送信バッファ５９は、そのデータ残量が許
容上限値まで増量すると、量子化制御信号によって量子
化回路５７の量子化スケールを大きくすることにより、
量子化データのデータ量を低下させる。また、これとは
逆に、データ残量が許容下限値まで減少すると、送信バ
ッファ５９は、量子化制御信号によって量子化回路５７
の量子化スケールを小さくすることにより、量子化デー
タのデータ量を増大させる。このようにして、送信バッ
ファ５９のオーバフローまたはアンダフローが防止され
る。

【００６８】そして、送信バッファ５９に蓄積されたデ
ータは、所定のタイミングで読み出され、伝送路に出力
され、例えば記録回路１９を介して記録媒体３に記録さ
れる。

【００６９】一方、量子化回路５７より出力されたＩピ
クチャのデータは、逆量子化回路６０に入力され、量子
化回路５７より供給される量子化ステップに対応して逆
量子化される。逆量子化回路６０の出力は、ＩＤＣＴ
（逆ＤＣＴ）回路６１に入力され、逆ＤＣＴ処理された
後、ＤＣＴブロック並び替え回路６２に入力される。Ｄ
ＣＴブロック並び替え回路６２は、入力されたデータ
を、予測モード切り替え回路５２から供給される予測フ
ラグと、ＤＣＴモード切り替え回路５５から供給される
ＤＣＴフラグに対応して、データの並び替えを行う。

【００７０】即ち、予測モード切り替え回路５２におい
て、フレーム予測モードが設定されている場合、動き補
償回路６５から読み出され、演算部５３に供給されるデ
ータは、奇数フィールドのデータと偶数フィールドのデ
ータとが混在する状態となされている。このデータが演
算器６３にも供給される。このため、ＤＣＴブロック並
び替え回路６２は、ＩＤＣＴ回路６１より供給されるデ
ータを、フレームＤＣＴモードが設定されている場合、
そのまま演算器６３に供給し、フィールドＤＣＴモード
が設定されている場合、奇数フィールドのデータと偶数
フィールドのデータとが分離された状態となされている
ため、これらが混在する状態にデータを並び替えて、演
算器６３に出力する。

【００７１】一方、予測モード切り替え回路５２におい
て、フィールド予測モードが設定されている場合、動き
補償回路６５より演算部５３に供給されるデータは、奇
数フィールドのデータと偶数フィールドのデータとが分
離した状態となされている。このため、ＤＣＴブロック
並び替え回路６２は、ＤＣＴモード切り替え回路５５に
よりフィールドＤＣＴモードが設定されている場合、Ｉ
ＤＣＴ回路６１より出力されるデータをそのまま演算器
６３に供給するが、フレームＤＣＴモードが設定されて
いる場合、奇数フィールドのデータと偶数フィールドの
データとが混在する状態となされているため、これを、
それぞれが分離された状態に並び替えて、演算器６３に
出力する。

【００７２】即ち、ＤＣＴブロック並び替え回路６２
は、動き補償回路６５から演算部５３に供給されるデー
タの配列状態と同一の配列状態になるように、ＩＤＣＴ
回路６１の出力するデータの並び替えを実行する。

【００７３】いまの場合、ＩＤＣＴ回路６１より出力さ
れるデータは、Ｉピクチャのデータであるから、画像内
予測とされている。このため、ＤＣＴモード切り替え回
路５５がフレームＤＣＴフラグを出力しているとき、Ｉ
ＤＣＴ回路６１より出力されたデータは、そのまま演算
器６３を介してフレームメモリ６４の前方予測画像部６
４ａに供給され、記憶される。また、フィールドＤＣＴ
フラグが出力されているとき、データの並び替えが行わ
れた後、記憶される。

【００７４】動きベクトル検出回路５０は、シーケンシ
ャルに入力される各フレームの画像データを、たとえ
ば、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ・・・のピクチャとしてそ
れぞれ処理する場合、最初に入力されたフレームの画像
データをＩピクチャとして処理した後、次に入力された
フレームの画像をＢピクチャとして処理する前に、さら
にその次に入力されたフレームの画像データをＰピクチ
ャとして処理する。Ｂピクチャは、後方予測を伴うた
め、後方予測画像としてのＰピクチャが先に用意されて
いないと、復号することができないからである。

【００７５】そこで動きベクトル検出回路５０は、Ｉピ
クチャの処理の次に、後方原画像部５１ｃに記憶されて
いるＰピクチャの画像データの処理を開始する。そし
て、上述した場合と同様に、マクロブロック単位でのフ
レーム間差分（予測誤差）の絶対値和が、動きベクトル
検出回路５０から予測モード切り替え回路５２と予測判
定回路５４に供給される。予測モード切り替え回路５２
と予測判定回路５４は、このＰピクチャのマクロブロッ
クの予測誤差の絶対値和に対応して、フレーム／フィー
ルド予測モード、または画像内予測、前方予測、後方予
測、もしくは両方向予測の予測モードを設定する。

【００７６】演算部５３は、画像内予測モードが設定さ
れたとき、スイッチ５３ｄを上述したように接点ａ側に
切り替える。従って、このデータは、Ｉピクチャのデー
タと同様に、ＤＣＴモード切り替え回路５５、ＤＣＴ回
路５６、量子化回路５７、可変長符号化回路５８、送信
バッファ５９を介して伝送路に伝送される。また、この
データは、逆量子化回路６０、ＩＤＣＴ回路６１、ＤＣ
Ｔブロック並び替え回路６２、演算器６３を介してフレ
ームメモリ６４の後方予測画像部６４ｂに供給され、記
憶される。

【００７７】前方予測モードの時、スイッチ５３ｄが接
点ｂに切り替えられるとともに、フレームメモリ６４の
前方予測画像部６４ａに記憶されている画像（いまの場
合、Ｉピクチャの画像）データが読み出され、動き補償
回路６５により、動きベクトル検出回路５０が出力する
動きベクトルに対応して動き補償される。即ち、動き補
償回路６５は、予測判定回路５４より前方予測モードの
設定が指令されたとき、前方予測画像部６４ａの読み出
しアドレスを、動きベクトル検出回路５０がいま出力し
ているマクロブロックの位置に対応する位置から動きベ
クトルに対応する分だけずらしてデータを読み出し、予
測画像データを生成する。

【００７８】動き補償回路６５より出力された予測画像
データは、演算器５３ａに供給される。演算器５３ａ
は、予測モード切り替え回路５２より供給された参照画
像のマクロブロックのデータから、動き補償回路６５よ
り供給された、このマクロブロックに対応する予測画像
データを減算し、その差分（予測誤差）を出力する。こ
の差分データは、ＤＣＴモード切り替え回路５５、ＤＣ
Ｔ回路５６、量子化回路５７、可変長符号化回路５８、
送信バッファ５９を介して伝送路に伝送される。また、
この差分データは、逆量子化回路６０、ＩＤＣＴ回路６
１、ＤＣＴブロック並び替え回路６２により局所的に復
号され、演算器６３に入力される。

【００７９】この演算器６３にはまた、演算器５３ａに
供給されている予測画像データと同一のデータが供給さ
れている。演算器６３は、ＤＣＴブロック並び替え回路
６２が出力する差分データに、動き補償回路６５が出力
する予測画像データを加算する。これにより、元の（復
号した）Ｐピクチャの画像データが得られる。このＰピ
クチャの画像データは、フレームメモリ６４の後方予測
画像部６４ｂに供給され、記憶される。

【００８０】動きベクトル検出回路５０は、このよう
に、ＩピクチャとＰピクチャのデータが前方予測画像部
６４ａと後方予測画像部６４ｂにそれぞれ記憶された
後、次にＢピクチャの処理を実行する。予測モード切り
替え回路５２と予測判定回路５４は、マクロブロック単
位でのフレーム間差分の絶対値和の大きさに対応して、
フレーム／フィールドモードを設定し、また、予測モー
ドを画像内予測モード、前方予測モード、後方予測モー
ド、または両方向予測モードのいずれかに設定する。

【００８１】上述したように、画像内予測モードまたは
前方予測モードの時、スイッチ５３ｄは接点ａまたはｂ
に切り替えられる。このとき、Ｐピクチャにおける場合
と同様の処理が行われ、データが伝送される。

【００８２】これに対して、後方予測モードまたは両方
向予測モードが設定された時、スイッチ５３ｄは、接点
ｃまたはｄにそれぞれ切り替えられる。

【００８３】スイッチ５３ｄが接点ｃに切り替えられて
いる後方予測モードの時、後方予測画像部６４ｂに記憶
されている画像（いまの場合、Ｐピクチャの画像）デー
タが読み出され、動き補償回路６５により、動きベクト
ル検出回路５０が出力する動きベクトルに対応して動き
補償される。即ち、動き補償回路６５は、予測判定回路
５４より後方予測モードの設定が指令されたとき、後方
予測画像部６４ｂの読み出しアドレスを、動きベクトル
検出回路５０がいま出力しているマクロブロックの位置
に対応する位置から動きベクトルに対応する分だけずら
してデータを読み出し、予測画像データを生成する。

【００８４】動き補償回路６５より出力された予測画像
データは、演算器５３ｂに供給される。演算器５３ｂ
は、予測モード切り替え回路５２より供給された参照画
像のマクロブロックのデータから、動き補償回路６５よ
り供給された予測画像データを減算し、その差分を出力
する。この差分データは、ＤＣＴモード切り替え回路５
５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回
路５８、送信バッファ５９を介して伝送路に伝送され
る。

【００８５】スイッチ５３ｄが接点ｄに切り替えられて
いる両方向予測モードの時、前方予測画像部６４ａに記
憶されている画像（いまの場合、Ｉピクチャの画像）デ
ータと、後方予測画像部６４ｂに記憶されている画像
（いまの場合、Ｐピクチャの画像）データが読み出さ
れ、動き補償回路６５により、動きベクトル検出回路５
０が出力する動きベクトルに対応して動き補償される。

【００８６】即ち、動き補償回路６５は、予測判定回路
５４より両方向予測モードの設定が指令されたとき、前
方予測画像部６４ａと後方予測画像部６４ｂの読み出し
アドレスを、動きベクトル検出回路５０がいま出力して
いるマクロブロックの位置に対応する位置から動きベク
トル（この場合の動きベクトルは、前方予測画像用と後
方予測画像用の２つとなる）に対応する分だけずらして
データを読み出し、予測画像データを生成する。

【００８７】動き補償回路６５より出力された予測画像
データは、演算器５３ｃに供給される。演算器５３ｃ
は、動きベクトル検出回路５０より供給された参照画像
のマクロブロックのデータから、動き補償回路６５より
供給された予測画像データの平均値を減算し、その差分
を出力する。この差分データは、ＤＣＴモード切り替え
回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符
号化回路５８、送信バッファ５９を介して伝送路に伝送
される。

【００８８】Ｂピクチャの画像は、他の画像の予測画像
とされることがないため、フレームメモリ６４には記憶
されない。

【００８９】尚、フレームメモリ６４において、前方予
測画像部６４ａと後方予測画像部６４ｂは、必要に応じ
てバンク切り替えが行われ、所定の参照画像に対して、
一方または他方に記憶されているものを、前方予測画像
あるいは後方予測画像として切り替えて出力することが
できる。

【００９０】以上においては、輝度ブロックを中心とし
て説明をしたが、色差ブロックについても同様に、図８
乃至図１１に示すマクロブロックを単位として処理さ
れ、伝送される。尚、色差ブロックを処理する場合の動
きベクトルは、対応する輝度ブロックの動きベクトルを
垂直方向と水平方向に、それぞれ１／２にしたものが用
いられる。

【００９１】次に、図７のピクチャ判定回路４９につい
て説明する。このピクチャ判定回路４９は、例えば図１
２に示すように構成され、この実施例においては、前方
原画像部１０１ａ、参照原画像部１０１ｂ、後方原画像
部１０１ｃを有するフレームメモリ１０１と、フレーム
メモリ１０１に記憶されているピクチャの予測誤差を演
算し、その絶対値の和を選択回路１０４に出力する動き
ベクトル検出回路１０２とを有している。また、必要に
応じて、輝度ＤＣ値演算器１０３が設けられ、入力され
た画像の所定の範囲の輝度データのＤＣ値（平均値）を
演算し、演算して得られた輝度ＤＣ値を選択回路１０４
に出力している。

【００９２】選択回路１０４は、動きベクトル検出回路
１０２から入力される予測誤差の絶対値和、または輝度
ＤＣ値演算器１０３より入力される輝度ＤＣ値より、シ
ーンチェンジまたはカメラフラッシュの少なくとも一方
を検出し、その検出結果に対応して、ピクチャタイプを
選択、決定するようになされている。決定したピクチャ
タイプを規定するピクチャタイプ信号は、図７の動きベ
クトル検出回路５０に供給されるようになされている。

【００９３】また、このピクチャ判定回路４９に入力さ
れた画像データは、選択回路１０４がピクチャタイプを
決定する上において必要な時間だけ、遅延回路１０５に
より遅延された後、動きベクトル検出回路５０に供給さ
れるようになされている。

【００９４】入力された画像データは、動きベクトル検
出回路１０２を介してフレームメモリ１０１に供給さ
れ、記憶される。そして、図７の動きベクトル検出回路
５０における場合と同様に予測処理を行い、予測誤差の
絶対値和を演算する。選択回路１０４は、各フレーム毎
に入力される絶対値和の、所定の数のフレーム分につい
ての平均値を演算する。例えば、最新の５フレーム分に
ついての絶対値和の平均値が演算される。その結果、こ
の平均値は、新たなフレームについての予測誤差の絶対
値和が入力される毎に、更新されていく。

【００９５】そして選択回路１０４は、図１３に示すよ
うな処理を、新たなフレームの予測誤差の絶対値和が入
力される都度、実行する。

【００９６】即ち、最初にステップＳ１において、直前
の５フレーム分の予測誤差の絶対値和の平均値ＭＡＥを
Ｎ倍（Ｎは正の実数であって、例えば３倍）した値と、
新たに入力されたｉ番目のフレームの予測誤差の絶対値
和ＡＥ_iと比較する。この比較の意味について、図１４
を参照して説明する。

【００９７】いま、図１４（Ａ）に示すように、第０フ
レームから第５フレームまでのピクチャが連続するシー
ン１であり、第６フレームから第１１フレームまでのピ
クチャが、それとは異なるシーン２のピクチャであると
する。即ち、この場合、第５フレームと第６フレームの
間において、シーンチェンジが発生していることにな
る。

【００９８】この実施例の場合、予測距離（Ｐピクチャ
の距離）は１とされている。従って、予測画像は、１フ
レーム前のピクチャとされている。そして、基本的に一
番最初のピクチャがＩピクチャとされるほか、それに続
くピクチャは全てＰピクチャとして処理されるように、
予め定められている。

【００９９】図１４（Ｂ）は、図１４（Ａ）に示すピク
チャの予測誤差の絶対値和の変化を表している。図１４
（Ｂ）において、フレーム番号０の予測誤差の絶対値和
は、第０フレームと第１フレームのピクチャの間の予測
誤差の絶対値和を表している。また、フレーム番号１の
予測誤差の絶対値和は、第１フレームと第２フレームの
間の予測誤差の絶対値和を表している。以下同様にし
て、フレーム番号４の予測誤差の絶対値和は、第４フレ
ームと第５フレームのピクチャの間の予測誤差の絶対値
和を表している。これら第０フレーム乃至第５フレーム
までのピクチャは、図１４（Ａ）に示すように、同一の
シーン１のピクチャであるため、その予測誤差の絶対値
和の値は、ほぼ平均値ＭＡＥに近い値となっている。

【０１００】同様にして、フレーム番号６の位置におけ
る第６フレームと第７フレームの予測誤差の絶対値和か
ら、フレーム番号１０における第１０フレームと第１１
フレームの予測誤差の絶対値和までの値は、同一のシー
ン２の予測誤差の絶対値和であるため、ほぼ平均値ＭＡ
Ｅに近い値となっている。

【０１０１】これに対して、フレーム番号５における第
５フレームと第６フレームの間の予測誤差の絶対値和
は、シーンチェンジが発生しているピクチャの間におけ
る予測誤差の絶対値和であるため、その値は、平均値Ｍ
ＡＥより充分大きな値となっている。そこで、平均値Ｍ
ＡＥのＮ倍の値Ｎ×ＭＡＥと、個々の予測誤差の絶対値
和ＡＥ_iとを比較すると、シーンチェンジが発生してい
なければ、ｉ番目のフレームの予測誤差の絶対値和ＡＥ
_iは、Ｎ×ＭＡＥより小さい値となる。これに対して、
シーンチェンジが発生しているとき、ＡＥ_iは、Ｎ×Ｍ
ＡＥ以上の値となる。従って、ＡＥ_iとＮ×ＭＡＥを比
較することで、シーンチェンジの有無を判定することが
できる。

【０１０２】図１３のステップＳ１において、シーンチ
ェンジが発生していないと判定された場合（ＡＥ_iが、
Ｎ×ＭＡＥより小さいと判定された場合）、ステップＳ
５に進み、予め設定されているピクチャタイプがそのま
ま選択される。

【０１０３】一方、ステップＳ１において、ＡＥ_iが、
Ｎ×ＭＡＥと等しいか、それより大きい値であると判定
された場合、ステップＳ２に進み、ステップＳ１で検出
されたｉ番目のフレームの次のｉ＋１番目のフレームの
予測誤差の絶対値和ＡＥ_i+1の値が、基準値Ｎ×ＭＡＥ
と比較される。この比較の意味について、図１５を参照
して説明する。

【０１０４】予測誤差の絶対値和が急激に大きくなるの
は、図１４に示したシーンチェンジの場合だけでなく、
図１５に示すように、カメラフラッシュの場合にも発生
する。即ち、図１５（Ａ）の例においては、第０フレー
ムから第１１フレームまでの各ピクチャのうち、第６フ
レームのピクチャがカメラフラッシュのピクチャである
とすると、このカメラフラッシュのピクチャは、その他
のピクチャに比べて輝度が大きくなっている。

【０１０５】その結果、図１５（Ｂ）に示すように、第
５フレームと第６フレームの予測誤差の絶対値和と、第
６フレームと第７フレームの予測誤差の絶対値和の値
は、基準値Ｎ×ＭＡＥより大きな値となる。これに対し
て、例えば、第４フレームと第５フレームの間の予測誤
差の絶対値和、あるいは第７フレームと第８フレームの
間の予測誤差の絶対値和の値は、何れのフレームも、そ
れぞれカメラフラッシュのピクチャではないため、ほぼ
平均値ＭＡＥに近い値となる。

【０１０６】この図１５（Ｂ）を、図１４（Ｂ）と比較
して明らかなように、シーンチェンジの場合には、予測
誤差の絶対値和の値が基準値以上となる場合が、１回だ
け単独で発生する。これに対して、カメラフラッシュの
場合には、予測誤差の絶対値和の値が基準値以上となる
場合が、２回連続して発生する。

【０１０７】そこでステップＳ１において、ｉ番目のフ
レームの予測誤差の絶対値和ＡＥ_iが、基準値Ｎ×ＭＡ
Ｅより大きいと判定された場合、ステップＳ２におい
て、さらにその直後のフレームｉ＋１番目のフレームの
予測誤差の絶対値和ＡＥ_i+1が、基準値Ｎ×ＭＡＥより
大きいか否かを判定することで、シーンチェンジである
のか、カメラフラッシュであるのかを判定することがで
きる。

【０１０８】シーンチェンジである場合においては、ｉ
＋１番目のフレームの予測誤差の絶対値和は、基準値よ
り小さい値となる。これに対して、カメラフラッシュの
場合においては、ｉ＋１番目のフレームの予測誤差の絶
対値和も、基準値以上の値となる。そこで、ステップＳ
２において、ｉ＋１番目のフレームの予測誤差の絶対値
和ＡＥ_i+1が、基準値Ｎ×ＭＡＥより小さいと判定され
た場合（シーンチェンジであると判定された場合）、ス
テップＳ３に進み、シーンチェンジに最適なピクチャタ
イプの選択が行われる。これに対して、ステップＳ２に
おいて、ｉ＋１番目のフレームの予測誤差の絶対値和Ａ
Ｅ_i+1が、基準値Ｎ×ＭＡＥより大きいと判定された場
合（カメラフラッシュであると判定された場合）、ステ
ップＳ４に進み、カメラフラッシュにおけるピクチャタ
イプの最適化処理が実行される。

【０１０９】図１６は、ステップＳ３のシーンチェンジ
におけるピクチャタイプの最適化処理の例を表してい
る。この例においては、シーンチェンジのあった第６フ
レームのピクチャの処理が、Ｐピクチャの処理からＩピ
クチャの処理に変更されている。このため、第６フレー
ムのピクチャ、および第６フレームのピクチャを予測画
像とする第７フレームのピクチャ、さらに第７フレーム
のピクチャを予測画像とする第８フレームのピクチャ、
といった第６フレーム以降の各ピクチャの予測誤差が大
きくなることが防止される。

【０１１０】あるいはまた、第６フレームはそのままＰ
ピクチャとして処理し、その次の第７フレームをＩピク
チャとして処理するようにすることも可能である。この
ようにすると、シーン２の第６フレームのピクチャは、
シーン１の第５フレームを予測画像として予測されるた
め、予測誤差が大きくなり、その画質が劣化するが、そ
の次の第７フレームのピクチャはＩピクチャとして処理
されるため、その画質の劣化が、後続するフレームのピ
クチャに伝搬することが防止される。

【０１１１】図１７は、ステップＳ４におけるカメラフ
ラッシュのピクチャタイプの最適化処理の例を表してい
る。この例においては、カメラフラッシュのあった第６
フレームの次の第７フレームの予測処理が、Ｐピクチャ
からＩピクチャに変更されている。このため、カメラフ
ラッシュのあった第６フレームのピクチャは、その直前
の第５フレームのピクチャから予測されるため、その画
質は劣化するが、その画質の劣化が、第７フレーム以降
の処理に伝搬することが防止される。

【０１１２】以上のようにして、図１２の選択回路１０
４は、所定のピクチャタイプを選択、決定し、そのピク
チャタイプ信号を動きベクトル検出回路５０に出力す
る。動きベクトル検出回路５０は、遅延回路１０５より
供給された入力画像データを、このピクチャタイプに対
応して、上述したようにして処理することになる。

【０１１３】以上においては、予測誤差の絶対値和か
ら、シーンチェンジとカメラフラッシュを検出するよう
にしたが、輝度ＤＣ値を用いてカメラフラッシュを検出
することも可能である。図１８は、その原理を表してい
る。即ち、輝度ＤＣ値演算器１０３は、入力された画像
データから、輝度値のＤＣ値（平均値）を演算する。

【０１１４】図１８（Ａ）に示すように、第６フレーム
においてカメラフラッシュが発生し、その他のフレーム
においてはカメラフラッシュが発生していないとする
と、図１８（Ｂ）に示すように、第６フレーム以外の各
フレームのピクチャの輝度Ｙ_iは、数フレーム分の輝度
の平均値ＭＹに近い値となっている。これに対して、カ
メラフラッシュが発生した第６フレームのピクチャの輝
度Ｙ₆は、平均値ＭＹのＭ倍（Ｍは正の実数であり、例
えば３倍）以上の値となっている。そこで、ｉ番目のフ
レームの輝度の平均値の和Ｙ_iを、基準値Ｍ×ＭＹと比
較することにより、カメラフラッシュが発生したか否か
を判定することができる。

【０１１５】そこで、図１２の選択回路１０４は、輝度
ＤＣ値演算器１０３が、各フレームの輝度の平均値の和
を出力すると、図１９に示すような処理を実行する。即
ち、ステップＳ１１において、輝度ＤＣ値演算器１０３
から入力される各フレームの輝度の平均値の和Ｙ_iを、
基準値Ｍ×ＭＹと比較する。図１８に示したように、カ
メラフラッシュが発生していなければ、このＹ_iは、基
準値Ｍ×ＭＹより小さい値となる。この場合において
は、ステップＳ１４に進み、予め設定されているピクチ
ャタイプをそのまま選択する。

【０１１６】これに対して、ステップＳ１１において、
Ｙ_iの値が、基準値Ｍ×ＭＹ以上の大きさと判定された
場合、ステップＳ１２に進み、さらにその次のフレーム
の輝度の平均値の和Ｙ_i+1が、基準値Ｍ×ＭＹより大き
いか否かが判定される。カメラフラッシュは瞬間的に発
生するものであるため、１フレームのピクチャの輝度が
大きい値となっており、その前後のフレームのピクチャ
の輝度は、通常の輝度レベルに戻っていることが多い。
逆に、２以上のフレームにわたって輝度のレベルが大き
く増加した場合においては、カメラフラッシュではな
く、元々のピクチャの輝度が全体的に大きくなったもの
と考えられる。

【０１１７】そこで、ステップＳ１２において、ｉ＋１
番目のフレームの輝度の平均値の和Ｙ_i+1が、基準値Ｍ
×ＭＹより大きいと判定された場合においては、ステッ
プＳ１４に進み、カメラフラッシュと判定せず、ピクチ
ャタイプは、予め設定されているものをそのまま選択す
る。

【０１１８】これに対して、ｉ＋１番目のフレームの輝
度の平均値の和Ｙ_i+1が、基準値Ｍ×ＭＹより小さいと
判定された場合、即ち、１フレームの輝度のレベルが、
その前後のフレームの輝度より大きいと判定された場合
においては、カメラフラッシュであると判定し、ステッ
プＳ１３に進み、カメラフラッシュに対応するピクチャ
タイプの最適化処理が実行される。

【０１１９】尚、各フレームの輝度を検出する場合、図
２０に示すように、フレームの全体の画素（Ｘ×Ｙ個の
画素）の輝度の平均値を演算するようにすることもでき
るし、あるいは、Ｘ×Ｙ個の画素データのうち、所定の
範囲のｍ×ｎ個の画素の輝度の平均値を演算するように
することも可能である。この場合、ｍ×ｎ個の範囲を、
Ｘ×Ｙ個の範囲の中央としても良いし、左上、右上、左
下、右下などとすることも可能である。

【０１２０】図２１は、図５のデコーダ３１の一実施例
の構成を示すブロック図である。伝送路（記録媒体３）
を介して伝送された符号化された画像データは、図示せ
ぬ受信回路で受信されたり、再生回路３０で再生され、
デコーダ３１の受信バッファ８１に一時記憶された後、
復号回路９０の可変長復号化回路８２に供給される。可
変長復号化回路８２は、受信バッファ８１より供給され
たデータを可変長復号化し、動きベクトル、予測モー
ド、予測フラグおよびＤＣＴフラグを動き補償回路８８
に、また、量子化ステップ（スケール）を逆量子化回路
８３に、それぞれ出力するとともに、復号された画像デ
ータを逆量子化回路８３に出力する。さらに、ＤＣＴフ
ラグと予測フラグを、ＤＣＴブロック並び替え回路８５
に出力する。

【０１２１】逆量子化回路８３は、可変長復号化回路８
２より供給された画像データを、同じく可変長復号化回
路８２より供給された量子化ステップに従って逆量子化
し、ＩＤＣＴ回路８４に出力する。逆量子化回路８３よ
り出力されたデータ（ＤＣＴ係数）は、ＩＤＣＴ回路８
４で、逆ＤＣＴ処理され、元の画像データに戻される。

【０１２２】この画像データは、さらにＤＣＴブロック
並び替え回路８５に入力される。ＤＣＴブロック並び替
え回路８５は、ＤＣＴフラグと予測フラグに対応して、
このデータを、動き補償回路８８が演算器８６に出力す
るデータと同一の配列状態になるように並び替えを行
い、演算器８６に出力する。

【０１２３】ＤＣＴブロック並び替え回路８５より供給
された画像データが、Ｉピクチャのデータである場合、
そのデータは演算器８６より出力され、演算器８６に後
に入力される画像データ（ＰピクチャまたはＢピクチャ
のデータ）の予測画像データ生成のために、フレームメ
モリ８７の前方予測画像部８７ａに供給されて記憶され
る。また、このデータは、フォーマット変換回路３２
（図５）に出力される。

【０１２４】ＤＣＴブロック並び替え回路８５より供給
された画像データが、その１フレーム前（本来の画像の
順序が、Ｉ，Ｂ，Ｐの順であるときは、２フレーム前）
の画像データを予測画像データとするＰピクチャのデー
タであって、前方予測モードのデータである場合、フレ
ームメモリ８７の前方予測画像部８７ａに記憶されてい
る、１フレーム前の画像データ（Ｉピクチャのデータ）
が読み出され、動き補償回路８８で可変長復号化回路８
２より出力された動きベクトルに対応する動き補償が施
される。そして、演算器８６において、ＤＣＴブロック
並び替え回路８５より供給された画像データ（差分のデ
ータ）と加算され、出力される。この加算されたデー
タ、即ち、復号されたＰピクチャのデータは、演算器８
６に後に入力される画像データ（ＢピクチャまたはＰピ
クチャのデータ）の予測画像データ生成のために、フレ
ームメモリ８７の後方予測画像部８７ｂに供給されて記
憶される。

【０１２５】Ｐピクチャのデータであっても、画像内予
測モードのデータは、Ｉピクチャのデータと同様に、演
算器８６で特に処理は行わず、そのまま後方予測画像部
８７ｂに記憶される。

【０１２６】このＰピクチャは、本来の画像の順序が、
Ｉ，Ｐ，Ｐ，Ｐであるとき、そのまま出力されるが、
Ｉ，Ｂ，Ｐ，Ｂ，Ｐであるとき、次のＢピクチャの次に
表示されるべき画像であるため、この時点では、まだフ
ォーマット変換回路３２へ出力されない（上述したよう
に、Ｂピクチャの後に入力されたＰピクチャが、Ｂピク
チャより先に処理され、伝送されている）。

【０１２７】ＤＣＴブロック並び替え回路８５より供給
された画像データが、Ｂピクチャのデータである場合、
可変長復号化回路８２より供給された予測モードに対応
して、フレームメモリ８７の前方予測画像部８７ａに記
憶されているＩピクチャの画像データ（前方予測モード
の場合）、後方予測画像部８７ｂに記憶されているＰピ
クチャの画像データ（後方予測モードの場合）、また
は、その両方の画像データ（両方向予測モードの場合）
が読み出され、動き補償回路８８において、可変長復号
化回路８２より出力された動きベクトルに対応する動き
補償が施されて、予測画像が生成される。但し、動き補
償を必要としない場合（画像内予測モードの場合）、予
測画像は生成されない。

【０１２８】このようにして、動き補償回路８８で動き
補償が施されたデータは、演算器８６において、ＤＣＴ
ブロック並び替え回路８５の出力と加算される。この加
算出力は、フォーマット変換回路３２に出力される。

【０１２９】但し、この加算出力はＢピクチャのデータ
であり、他の画像の予測画像生成のために利用されるこ
とがないため、フレームメモリ８７には記憶されない。

【０１３０】Ｂピクチャの画像が出力された後、後方予
測画像部８７ｂに記憶されているＰピクチャの画像デー
タが読み出され、動き補償回路８８、演算器８６を介し
て、フォーマット変換回路３２に供給される。但し、こ
のとき、動き補償は行われない。

【０１３１】尚、このデコーダ３１には、図７のエンコ
ーダ１８における予測モード切り替え回路５２とＤＣＴ
モード切り替え回路５５に対応する回路が図示されてい
ないが、これらの回路に対応する処理、即ち、奇数フィ
ールドと偶数フィールドのラインの信号が分離された構
成を、元の混在する構成に必要に応じて戻す処理は、動
き補償回路８８が実行する。

【０１３２】以上の実施例においては、予測距離（Ｐピ
クチャの距離）を１としたが、２とすることも可能であ
る。例えば図２２に示すように、偶数フレームをＩピク
チャまたはＰピクチャとして、その予測誤差の絶対値の
和を順次検出していくと、シーン１の第４フレームと、
シーン２の第６フレームのピクチャの予測誤差の絶対値
の和が、基準値Ｍ×ＭＡＥより大きくなり、その他の予
測誤差の絶対値の和は、ほぼ平均値ＭＡＥに近い値とな
る。

【０１３３】従って、この場合においては、例えば図２
３に示すように、本来Ｐピクチャとして処理される予定
であった第６フレームのピクチャを、Ｉピクチャとして
処理するように変更することができる。このようにすれ
ば、シーン２の先頭の第６フレームのピクチャを、高品
質の画像とすることが可能となる。

【０１３４】また、図２４に示すように、第６フレーム
において、カメラフラッシュが存在した場合、第４フレ
ームと第６フレームの予測誤差の絶対値の和と、第６フ
レームと第８フレームの予測誤差の絶対値の和が、基準
値Ｎ×ＭＡＥより大きくなる。従って、この場合におい
ても、シーンチェンジ（図２２）の場合には、予測誤差
の絶対値が基準値より大きい状態が１回発生し、カメラ
フラッシュ（図２４）の場合には、２回連続して発生す
る。このことから、上述した場合と同様に、シーンチェ
ンジとカメラフラッシュを検出することが可能となる。

【０１３５】そして、カメラフラッシュを検出した場合
においては、図２５乃至図２８に示すようなピクチャタ
イプの最適化処理を実行することができる。

【０１３６】図２５の実施例においては、シーンチェン
ジのあった第６フレームの処理が、ＰピクチャからＢピ
クチャに変更されるとともに、その直前の第５フレーム
の処理が、ＢピクチャからＰピクチャの処理へ変更され
る。

【０１３７】逆に、図２６の実施例においては、カメラ
フラッシュのあった第６フレームの処理が、Ｐピクチャ
からＢピクチャへ変更されるとともに、その直後の第７
フレームの処理が、ＢピクチャからＰピクチャの処理へ
変更されている。

【０１３８】さらに、図２７の実施例においては、カメ
ラフラッシュのあった第６フレームの処理が、Ｐピクチ
ャからＢピクチャへ変更されるとともに、その１フレー
ム前の第５フレームと、１フレーム後の第７フレームの
処理が、それぞれＢピクチャからＰピクチャの処理へ変
更されている。

【０１３９】尚、この場合において、第５フレームまた
は第７フレームの処理を、ＢピクチャからＩピクチャに
変更することも可能である。

【０１４０】図２８の実施例は、さらに、カメラフラッ
シュの発生した第６フレームの処理を、Ｐピクチャから
Ｂピクチャに変更するばかりでなく、１フレーム前の第
５フレームと、１フレーム後の第７フレームの処理を、
ＢピクチャからＰピクチャに変更し、さらに１フレーム
前後の第４フレームと第８フレームの処理を、Ｐピクチ
ャからＢピクチャに変更するようにしている。

【０１４１】尚、図２４（Ｃ）に示すように、Ｉピクチ
ャまたはＰピクチャとして処理されるピクチャの輝度の
平均値の和を検出することによっても、カメラフラッシ
ュを検出することが可能であることは、上述した場合と
同様である。

【０１４２】図２９は、予測距離が２であって、シーン
チェンジがＢピクチャにおいて発生した場合の実施例を
表している。この場合、第５フレームと第７フレームの
予測誤差の絶対値の和が、基準値Ｎ×ＭＡＥより大きく
なる。従って、このことから、上述した場合と同様にし
て、シーンチェンジを検出することが可能である。

【０１４３】図３０は、この場合におけるピクチャタイ
プの最適化処理の例を表している。この実施例において
は、シーン２の２番目のフレームである第７フレームの
処理が、ＰピクチャからＩピクチャに変更されている。

【０１４４】図３１は、予測距離が２であって、カメラ
フラッシュがＢピクチャにおいて発生した場合の実施例
を表している。この場合、同図（Ｂ）に示すように、カ
メラフラッシュがＢピクチャにおいて発生しているた
め、その予測誤差の絶対値和がサンプリングされず、予
測誤差の絶対値の和が、基準値Ｎ×ＭＡＥより大きくな
ることがない。即ち、カメラフラッシュを検出すること
ができない。

【０１４５】同様に、図３１（Ｃ）に示すように、奇数
フレームにおいて得られる輝度の平均値の値は、複数の
フレーム間における平均値とほぼ同様の値となる。この
ため、この場合においても、カメラフラッシュを検出す
ることができない。

【０１４６】従って、この場合においては、図３２に示
すように、ピクチャタイプの最適化処理が実質的に行わ
れないことになる。しかしながら、この場合、カメラフ
ラッシュが発生しているフレームが、そもそもＢピクチ
ャの処理となされているため、その処理の悪影響が他の
フレームに及ぶようなことがない。換言すれば、図２５
乃至図２８に示したように、カメラフラッシュが発生し
たフレームがＰピクチャとされている場合、これをＢピ
クチャとして最適化を行うようにするのであるが、図３
１の場合においては、もともとＢピクチャとして処理さ
れる予定であるので、既に最適化が行われていると考え
ることができる。

【０１４７】以上においては、予測距離を２としたが、
さらに予測距離を３とすることも可能である。この場合
も、上述した場合と同様にして、予測誤差の絶対値の
和、あるいは輝度の平均値から、シーンチェンジまたは
カメラフラッシュを検出することができる。

【０１４８】図３３は、予測距離が３である場合におけ
るシーンチェンジ検出の原理を表している。同図に示す
ように、この実施例の場合、第４フレームと第７フレー
ムの間の予測誤差の絶対値の和が、基準値Ｎ×ＭＡＥよ
り大きくなる。従って、シーンチェンジを検出すること
ができる。

【０１４９】図３４は、図３３に示すようにして、予測
距離が３である場合において、シーンチェンジが検出さ
れた場合におけるピクチャタイプの最適化処理を表して
いる。この実施例においては、シーン２の第２番目のピ
クチャである第７フレームのピクチャの処理が、Ｐピク
チャからＩピクチャに変更されている。

【０１５０】第７フレームは、シーン２の先頭のフレー
ムではないが、シーン２の先頭のフレームである第６フ
レームは、Ｂピクチャとされているため、Ｉピクチャと
された第７フレームのピクチャから予測することによ
り、正確な予測が可能となる。即ち、シーンチェンジが
あった場合においては、シーンチェンジ後の最初のＰピ
クチャをＩピクチャに変更すれば、それより前のＢピク
チャは、そのＩピクチャから後方予測することにより、
正確な処理が可能となる。

【０１５１】図３５は、予測距離が３である場合におけ
るカメラフラッシュの検出の原理を表している。この実
施例においては、第３フレームと第６フレームの予測誤
差の絶対値の和と、第６フレームと第９フレームの予測
誤差の絶対値の和が、基準値Ｎ×ＭＡＥより大きくな
る。従って、カメラフラッシュを検出することが可能で
ある。

【０１５２】また、図３５（Ｃ）に示すように、第６フ
レームの輝度の平均値の和が、基準値Ｍ×ＭＹより大き
くなるため、この輝度の平均値からも、カメラフラッシ
ュを検出することができる。

【０１５３】図３６は、このようにして、予測距離が３
である場合において、カメラフラッシュが検出された場
合におけるピクチャタイプの最適化処理の例を表してい
る。この実施例においては、カメラフラッシュが発生し
た第６フレームの処理が、ＰピクチャからＢピクチャに
変更されるとともに、その前後の第５フレームと第７フ
レームの処理が、ＢピクチャからＰピクチャに変更され
ている。

【０１５４】図３７は、予測距離が３である場合におい
て、カメラフラッシュがＢピクチャで発生した場合を表
している。この場合、同図（Ｂ）および（Ｃ）に示すよ
うに、カメラフラッシュを検出することができない。し
かしながら、予測距離が２である場合において説明した
場合と同様に、カメラフラッシュのピクチャがＢピクチ
ャであれば、実質的に既に最適化処理が行われているこ
とになるため、特別な処理を施す必要がない。

【０１５５】以上のシーンチェンジのピクチャタイプの
最適化処理をまとめて表すと、表１に示すようになる。
また、カメラフラッシュの場合におけるピクチャタイプ
の最適化処理をまとめて表すと、表２に示すようにな
る。

【０１５６】

【表１】

【０１５７】

【表２】

【０１５８】尚、図１２において、シーンチェンジとカ
メラフラッシュの両方を、予測誤差の絶対値の和から検
出する場合においては、輝度ＤＣ値演算器１０３は不要
となる。また、カメラフラッシュのみを検出するのであ
れば、動きベクトル検出回路１０２およびフレームメモ
リ１０１だけを設けるか、あるいは輝度ＤＣ値演算器１
０３だけを設けるようにすればよい。

【０１５９】また、以上のようにして、ピクチャ判定回
路４９における予測距離を、１，２または３など、所定
の値に設定したとき、その後段の動きベクトル検出回路
５０における予測距離も、これに対応した値に設定する
必要がある。

【０１６０】さらに、図２４、図３１、図３５および図
３７に示した実施例においては、輝度データの処理をす
る場合にも、ピクチャタイプの処理に対応してＰピクチ
ャ距離を設定したが、異なる距離にする（例えば、輝度
データの処理は、毎フレーム毎行うようにする）ことも
可能である。

【０１６１】図３８は、エンコーダの他の実施例を表し
ている。この実施例においては、動きベクトル検出回路
５０とフレームメモリ５１が、図１２のピクチャ判定回
路４９における動きベクトル検出回路１０２とフレーム
メモリ１０１として利用されるようになされている。即
ち、動きベクトル検出回路５０とフレームメモリ５１を
用いて予測誤差の絶対値の和を演算し、その演算結果を
選択回路１２２に出力し、選択回路１２２において、ピ
クチャタイプを選択、決定するようになされている。そ
して、選択回路１２２において、選択、決定されたピク
チャタイプが、ハードディスク、固体メモリなどの記憶
装置１２３に供給され、記憶されるようになされてい
る。

【０１６２】このようにして、一旦、入力画像が動きベ
クトル検出回路５０とフレームメモリ５１に供給され、
処理され、ピクチャタイプが記憶装置１２３に記憶され
た後、同一のデータが再び最初から動きベクトル検出回
路５０に入力される。動きベクトル検出回路５０は、再
びデータが入力されたとき、記憶装置１２３から供給さ
れるピクチャタイプに対応して、入力画像データを処理
する。

【０１６３】勿論、この場合においても、入力画像デー
タを輝度ＤＣ値演算器１２１に供給し、輝度ＤＣ値を検
出し、その検出結果を選択回路１２２に供給し、選択回
路１２２において、この輝度ＤＣ値からカメラフラッシ
ュを検出するようにすることもできる。

【０１６４】

【発明の効果】本発明の第１の画像処理方法によれば、
ピクチャの所定の範囲の画像データの予測誤差の絶対値
を演算し、複数のピクチャの予測誤差の絶対値の平均値
を演算する。また、個々のピクチャの予測誤差の絶対値
と、平均値とを比較し、比較の結果、予測誤差の絶対値
が平均値の所定の正の実数倍の値より大きいとき、ピク
チャの不連続性を検出するようにしたので、ピクチャの
シーンチェンジおよびカメラフラッシュに代表されるピ
クチャの不連続性を検出し、より適正な画像処理を実行
することが可能となる。

【０１６５】本発明の第２の画像処理方法によれば、ピ
クチャの所定の範囲の画像データの輝度の平均値を演算
して第１の値とし、複数のピクチャの第１の値の平均値
を演算して第２の値とする。また、第１の値と第２の値
とを比較し、比較の結果、第１の値が第２の値の所定の
正の実数倍の値より大きいとき、ピクチャの不連続性を
検出するようにしたので、ピクチャのカメラフラッシュ
を確実に検出することが可能になる。そして、その検出
結果に対応して、適正な画像処理を実行することが可能
となる。

【図面の簡単な説明】

【図１】高能率符号化の原理を説明する図である。

【図２】画像データを圧縮する場合におけるピクチャの
タイプを説明する図である。

【図３】画像データを圧縮する場合におけるピクチャの
タイプを説明する図である。

【図４】動画像信号を符号化する原理を説明する図であ
る。

【図５】画像信号符号化装置と復号化装置の構成例を示
すブロック図である。

【図６】図５におけるフォーマット変換回路１７のフォ
ーマット変換の動作を説明する図である。

【図７】図５におけるエンコーダ１８の構成例を示すブ
ロック図である。

【図８】図７の予測モード切り替え回路５２の動作を説
明する図である。

【図９】図７の予測モード切り替え回路５２の動作を説
明する図である。

【図１０】図７のＤＣＴモード切り替え回路５５の動作
を説明する図である。

【図１１】図７のＤＣＴモード切り替え回路５５の動作
を説明する図である。

【図１２】図７のピクチャ判定回路４９の構成例を示す
ブロック図である。

【図１３】図１２の選択回路１０４の動作を説明するフ
ローチャートである。

【図１４】シーンチェンジを検出する原理を説明する図
である。

【図１５】カメラフラッシュを検出する原理を説明する
図である。

【図１６】シーンチェンジ時におけるピクチャタイプ最
適化処理を説明する図である。

【図１７】カメラフラッシュ時におけるピクチャタイプ
最適化処理を説明する図である。

【図１８】カメラフラッシュ検出の他の原理を説明する
図である。

【図１９】図１２の選択回路１０４の他の動作例を表す
フローチャートである。

【図２０】ピクチャの輝度の検出範囲を説明する図であ
る。

【図２１】図５のデコーダ３１の構成例を示すブロック
図である。

【図２２】予測距離が２である場合におけるシーンチェ
ンジの検出の原理を説明する図である。

【図２３】予測距離が２である場合におけるシーンチェ
ンジ時のピクチャタイプの最適化処理を説明する図であ
る。

【図２４】予測距離が２である場合におけるカメラフラ
ッシュの検出の原理を説明する図である。

【図２５】予測距離が２である場合におけるカメラフラ
ッシュ時のピクチャタイプの最適化処理を説明する図で
ある。

【図２６】予測距離が２である場合におけるカメラフラ
ッシュ時のピクチャタイプの最適化処理を説明する図で
ある。

【図２７】予測距離が２である場合におけるカメラフラ
ッシュ時のピクチャタイプの最適化処理を説明する図で
ある。

【図２８】予測距離が２である場合におけるカメラフラ
ッシュ時のピクチャタイプの最適化処理を説明する図で
ある。

【図２９】予測距離が２である場合におけるシーンチェ
ンジ検出の他の原理を説明する図である。

【図３０】予測距離が２である場合におけるシーンチェ
ンジ時のピクチャタイプの最適化処理を説明する図であ
る。

【図３１】予測距離が２である場合におけるカメラフラ
ッシュ検出の他の原理を説明する図である。

【図３２】予測距離が２である場合におけるカメラフラ
ッシュ時のピクチャタイプの最適化処理を説明する図で
ある。

【図３３】予測距離が３である場合におけるシーンチェ
ンジ検出の原理を説明する図である。

【図３４】予測距離が３である場合におけるシーンチェ
ンジ時のピクチャタイプの最適化処理を説明する図であ
る。

【図３５】予測距離が３である場合におけるカメラフラ
ッシュ検出の原理を説明する図である。

【図３６】予測距離が３である場合におけるカメラフラ
ッシュ時のピクチャタイプの最適化処理を説明する図で
ある。

【図３７】予測距離が３である場合におけるカメラフラ
ッシュ検出の他の原理を説明する図である。

【図３８】図５のエンコーダの他の構成例を示すブロッ
ク図である。

【符号の説明】

１符号化装置２復号化装置３記録媒体１２，１３Ａ／Ｄ変換器１４フレームメモリ１５輝度信号フレームメモリ１６色差信号フレームメモリ１７フォーマット変換回路１８エンコーダ３１デコーダ３２フォーマット変換回路３３フレームメモリ３４輝度信号フレームメモリ３５色差信号フレームメモリ３６，３７Ｄ／Ａ変換器４９ピクチャ判定回路５０動きベクトル検出回路５１フレームメモリ５２予測モード切り替え回路５３演算部５４予測判定回路５５ＤＣＴモード切り替え回路５６ＤＣＴ回路５７量子化回路５８可変長符号化回路５９送信バッファ６０逆量子化回路６１ＩＤＣＴ回路６２ＤＣＴブロック並び替え回路６３演算器６４フレームメモリ６５動き補償回路８１受信バッファ８２可変長復号化回路８３逆量子化回路８４ＩＤＣＴ回路８５ＤＣＴブロック並び替え回路８６演算器８７フレームメモリ８８動き補償回路１０１フレームメモリ１０２動きベクトル検出回路１０３輝度ＤＣ値演算器１０４選択回路１０５遅延回路

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims

(57)【特許請求の範囲】

【請求項１】ピクチャの画像データを処理する画像処
理方法において、ピクチャの所定の範囲の画像データの予測誤差の絶対値
を演算し、複数のピクチャの前記予測誤差の絶対値の平均値を演算
し、個々のピクチャの前記予測誤差の絶対値と、前記平均値
とを比較し、比較の結果、前記予測誤差の絶対値が前記平均値の所定
の正の実数倍の値より大きいとき、ピクチャの不連続性
を検出することを特徴とする画像処理方法。
【請求項２】ピクチャの画像データを処理する画像処
理方法において、ピクチャの所定の範囲の画像データの輝度の平均値を演
算して第１の値とし、複数のピクチャの前記第１の値の平均値を演算して第２
の値とし、前記第１の値と前記第２の値とを比較し、比較の結果、前記第１の値が前記第２の値の所定の正の
実数倍の値より大きいとき、ピクチャの不連続性を検出
することを特徴とする画像処理方法。
【請求項３】前記予測誤差の絶対値と前記平均値とを
比較して得られる不連続性の検出結果に対応して、ピク
チャを他のピクチャから予測する場合の予測モードを選
択することを特徴とする請求項１に記載の画像処理方
法。
【請求項４】前記平均値の所定の正の実数倍の値より
大きい前記予測誤差の絶対値が１回だけ独立に発生した
とき、ピクチャのシーンチェンジと判定し、２回連続し
て発生したとき、ピクチャのカメラフラッシュと判定す
ることを特徴とする請求項１に記載の画像処理方法。
【請求項５】前記第１の値が前記第２の値の所定の正
の実数倍の値より大きくなったとき、ピクチャのカメラ
フラッシュと判定することを特徴とする請求項２に記載
の画像処理方法。
【請求項６】前記予測誤差の絶対値と前記平均値とを
比較して得られる不連続性の検出結果に対応して、ピク
チャを他のピクチャから予測する場合の予測モードを選
択するようにし、前記平均値の所定の正の実数倍の値より大きい前記予測
誤差の絶対値が１回だけ独立に発生したとき、ピクチャ
のシーンチェンジと判定し、２回連続して発生したと
き、ピクチャのカメラフラッシュと判定し、シーンチェンジと判定したとき、ピクチャのうち、シー
ンチェンジのピクチャまたはその後のピクチャであっ
て、その近傍のピクチャの少なくとも１つをＩピクチャ
として処理し、カメラフラッシュと判定したとき、カメラフラッシュの
ピクチャをＢピクチャとして処理するか、またはその直
後のピクチャを、Ｉピクチャとして処理することを特徴
とする請求項１に記載の画像処理方法。
【請求項７】前記第１の値と前記第２の値とを比較し
て得られる不連続性の検出結果に対応して、ピクチャを
他のピクチャから予測する場合の予測モードを選択する
ようにし、前記第１の値が前記第２の所定の正の実数倍の値より大
きくなったとき、ピクチャのカメラフラッシュと判定
し、カメラフラッシュのピクチャをＢピクチャとして処
理するか、またはその直後のピクチャを、Ｉピクチャと
して処理することを特徴とする請求項２に記載の画像処
理方法。