JPH10178645A - 動画像信号符号化方法及び装置、動画像信号伝送方法並びに信号記録媒体 - Google Patents
動画像信号符号化方法及び装置、動画像信号伝送方法並びに信号記録媒体Info
- Publication number
- JPH10178645A JPH10178645A JP33823696A JP33823696A JPH10178645A JP H10178645 A JPH10178645 A JP H10178645A JP 33823696 A JP33823696 A JP 33823696A JP 33823696 A JP33823696 A JP 33823696A JP H10178645 A JPH10178645 A JP H10178645A
- Authority
- JP
- Japan
- Prior art keywords
- motion compensation
- block
- motion
- residual
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Details Of Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 画像の平坦部で動き予測残差の小さい場合で
も、固定ノイズの発生を防止でき、画質を劣化させるこ
となく動きベクトルを（０，０）として符号化効率を向
上させ、主観画質を改善する。 【解決手段】 動き補償時のマクロブロックの動きベク
トル推定残差(MEerr)を算出する動きベクトル推定回路
４と、非動き補償時のマクロブロックの残差(NonMWerr)
を算出するＮｏｎＭＥｅｒｒ算出回路５と、マクロブロ
ック毎の輝度平均値(DC)と平坦さを表す値(MAD)を算出
する特徴量算出回路６と、ＭＥｅｒｒとＮｏｎＭＥｅｒ
ｒを比較して動き補償／非動き補償判定を行うＭＣ／Ｎ
ｏｎＭＣ判定回路８と、その判定結果に基づいて各マク
ロブロック毎に動き補償予測符号化を行う動画像符号化
回路９とを有し、判定回路８ではＤＣとＭＡＤとに基づ
いて動き補償／非動き補償判定での比較に用いる判定領
域区分を適応的に選択する。
も、固定ノイズの発生を防止でき、画質を劣化させるこ
となく動きベクトルを（０，０）として符号化効率を向
上させ、主観画質を改善する。 【解決手段】 動き補償時のマクロブロックの動きベク
トル推定残差(MEerr)を算出する動きベクトル推定回路
４と、非動き補償時のマクロブロックの残差(NonMWerr)
を算出するＮｏｎＭＥｅｒｒ算出回路５と、マクロブロ
ック毎の輝度平均値(DC)と平坦さを表す値(MAD)を算出
する特徴量算出回路６と、ＭＥｅｒｒとＮｏｎＭＥｅｒ
ｒを比較して動き補償／非動き補償判定を行うＭＣ／Ｎ
ｏｎＭＣ判定回路８と、その判定結果に基づいて各マク
ロブロック毎に動き補償予測符号化を行う動画像符号化
回路９とを有し、判定回路８ではＤＣとＭＡＤとに基づ
いて動き補償／非動き補償判定での比較に用いる判定領
域区分を適応的に選択する。
Description
【０００１】
【発明の属する技術分野】本発明は、例えば動画像信号
を光磁気ディスクや磁気テープなどの記録媒体に記録し
再生してディスプレイ装置などに表示したり、テレビ会
議システム，テレビ電話システムや放送用機器等のよう
に動画像信号を伝送路を介して送信側から受信側に伝送
する際に適用して好適な動画像信号符号化方式及び装
置、動画像信号伝送方法並びに信号記録媒体に関する。
を光磁気ディスクや磁気テープなどの記録媒体に記録し
再生してディスプレイ装置などに表示したり、テレビ会
議システム，テレビ電話システムや放送用機器等のよう
に動画像信号を伝送路を介して送信側から受信側に伝送
する際に適用して好適な動画像信号符号化方式及び装
置、動画像信号伝送方法並びに信号記録媒体に関する。
【０００２】
【従来の技術】従来より、動画像信号をディジタル化し
て記録し又は伝送する場合、当該動画像信号はデータ量
が膨大となるため、データを符号化（圧縮）している。
代表的な符号化方式としては、動き補償予測符号化があ
る。
て記録し又は伝送する場合、当該動画像信号はデータ量
が膨大となるため、データを符号化（圧縮）している。
代表的な符号化方式としては、動き補償予測符号化があ
る。
【０００３】動き補償予測の原理を図６に示す。
【０００４】動き補償予測符号化は、画像信号の時間軸
方向の相関を利用する方法である。すなわち動き補償予
測符号化は、既に復号再生されている動き予測の参照画
像ＩＲより現在の符号化対象画像ＩＯの動きベクトルＭ
Ｖを推定し、復号再生されている画像信号を信号の動き
に合わせて移動させ、この動き情報（動きベクトルＭ
Ｖ）とその時の予測残差を伝送することにより、符号化
に必要な情報量を圧縮する方法である。
方向の相関を利用する方法である。すなわち動き補償予
測符号化は、既に復号再生されている動き予測の参照画
像ＩＲより現在の符号化対象画像ＩＯの動きベクトルＭ
Ｖを推定し、復号再生されている画像信号を信号の動き
に合わせて移動させ、この動き情報（動きベクトルＭ
Ｖ）とその時の予測残差を伝送することにより、符号化
に必要な情報量を圧縮する方法である。
【０００５】この動き補償予測符号化の代表的なものと
してはいわゆるＭＰＥＧ(Moving Picture Expert Grou
p) がある。これは、ＩＳＯ（国際標準化機構）とＩＥ
Ｃ（国際電気標準会議）のＪＴＣ（Joint Technical Co
mmittee）１のＳＣ（Sub Committee）２９のＷＧ（Work
ing Group）１１においてまとめられた動画像符号化方
式の通称である。
してはいわゆるＭＰＥＧ(Moving Picture Expert Grou
p) がある。これは、ＩＳＯ（国際標準化機構）とＩＥ
Ｃ（国際電気標準会議）のＪＴＣ（Joint Technical Co
mmittee）１のＳＣ（Sub Committee）２９のＷＧ（Work
ing Group）１１においてまとめられた動画像符号化方
式の通称である。
【０００６】ＭＰＥＧでは、１画像（フレーム又はフイ
ールド）を１６ライン×１６画素で構成されるマクロブ
ロックと呼ばれるブロックに分割し、このマクロブロッ
ク単位で動き補償予測符号化を行う。動き補償予測符号
化には、大別してイントラ符号化及び非イントラ符号化
の２つの方法がある。イントラ符号化は自らのマクロブ
ロックの情報だけを使用する符号化方法であり、非イン
トラ符号化は自らのマクロブロックの情報と他の時刻に
現れる画像より得る情報との双方の情報を用いる符号化
方法である。
ールド）を１６ライン×１６画素で構成されるマクロブ
ロックと呼ばれるブロックに分割し、このマクロブロッ
ク単位で動き補償予測符号化を行う。動き補償予測符号
化には、大別してイントラ符号化及び非イントラ符号化
の２つの方法がある。イントラ符号化は自らのマクロブ
ロックの情報だけを使用する符号化方法であり、非イン
トラ符号化は自らのマクロブロックの情報と他の時刻に
現れる画像より得る情報との双方の情報を用いる符号化
方法である。
【０００７】ＭＰＥＧの動き補償予測符号化の非イント
ラ符号化では、現在の符号化対象画像のマクロブロック
に対応する動き予測参照画像のマクロブロックの動きベ
クトルを検出し、この動きベクトルに応じた予測画像と
入力画像との差（動き予測の残差信号）に対してＤＣＴ
（discrete cosine transform 、離散コサイン変換）を
施し、得られたＤＣＴ係数値を量子化することで圧縮を
行う。
ラ符号化では、現在の符号化対象画像のマクロブロック
に対応する動き予測参照画像のマクロブロックの動きベ
クトルを検出し、この動きベクトルに応じた予測画像と
入力画像との差（動き予測の残差信号）に対してＤＣＴ
（discrete cosine transform 、離散コサイン変換）を
施し、得られたＤＣＴ係数値を量子化することで圧縮を
行う。
【０００８】ここで、ＭＰＥＧでは、現在の符号化対象
画像のマクロブロックに対応する動き予測参照画像のマ
クロブロックの動きベクトルを検出する際に、動き予測
参照画像と現在の符号化対象画像との間でマクロブロッ
ク毎にパターンマッチングを行う。具体的には、式(1)
に示すように、現在の符号化対象画像のマクロブロック
の輝度信号Ｓi,jと、任意の動きベクトル（mvx，mvy）
により参照される動き予測の参照画像のマクロブロック
の輝度信号Ｒi+mvx,j+mvyとの差の絶対値和Ｅｆを求
め、このＥｆの値を元に動きベクトルを検出する。
画像のマクロブロックに対応する動き予測参照画像のマ
クロブロックの動きベクトルを検出する際に、動き予測
参照画像と現在の符号化対象画像との間でマクロブロッ
ク毎にパターンマッチングを行う。具体的には、式(1)
に示すように、現在の符号化対象画像のマクロブロック
の輝度信号Ｓi,jと、任意の動きベクトル（mvx，mvy）
により参照される動き予測の参照画像のマクロブロック
の輝度信号Ｒi+mvx,j+mvyとの差の絶対値和Ｅｆを求
め、このＥｆの値を元に動きベクトルを検出する。
【０００９】 Ｅf ＝Σ｜Ｓi,j−Ｒi+mvx,j+mvy｜ （i=0〜15, j=0〜15） (1) すなわちこのとき、上記Ｅfの値が最小となる（mvx，mv
y）が求める動きベクトルとなる。
y）が求める動きベクトルとなる。
【００１０】ここで、入力された画像が例えばノイズ等
の影響を受けている場合に、上記のようにして動きベク
トル検出を行うと、例えば画像の平坦な部分で動きベク
トルを誤検出してしまったり、実際には静止している部
分であるのに、上記検出された動きベクトルが（０，
０）にならないことなどがある。
の影響を受けている場合に、上記のようにして動きベク
トル検出を行うと、例えば画像の平坦な部分で動きベク
トルを誤検出してしまったり、実際には静止している部
分であるのに、上記検出された動きベクトルが（０，
０）にならないことなどがある。
【００１１】すなわち、本来は上記式(1)のＥfの値が最
小となるはずの前記輝度信号Ｓi,jと輝度信号Ｒ
i+mvx,j+mvyのどちらか一方あるいは双方がノイズ等の
影響を受けているために、上記Ｅfの値が最小にならな
いことがあり、結果として正しい動きベクトルが得られ
なくなることがある。
小となるはずの前記輝度信号Ｓi,jと輝度信号Ｒ
i+mvx,j+mvyのどちらか一方あるいは双方がノイズ等の
影響を受けているために、上記Ｅfの値が最小にならな
いことがあり、結果として正しい動きベクトルが得られ
なくなることがある。
【００１２】特に、画像が静止しており、本来ならば動
きベクトルが（０，０）であるはずのマクロブロックが
ノイズ等の影響を受けているような場合は、図７に示す
ように、マクロブロックに動きが無いにもかかわらず動
きベクトルが（０，０）とならないために、画質が劣化
する。なお、図７の例では、Ｎ個のフレームＦ0〜ＦN -1
のうち、フレームＦiが参照予測画像ＩＲであり、フレ
ームＦi+jが現在の符号化対象画像ＩＯとなっている場
合を示している。ここで、画像が静止しているのであれ
ば、現在の符号化対象画像ＩＯ内のマクロブロックＭＢ
Oに対応する予測参照画像ＩＲのマクロブロックとし
て、本来は動き（０，０）のマクロブロックＭＢRRが検
出されて動きベクトルＭＶRも（０，０）となるべきで
ある。これに対し、例えばノイズ等が存在することによ
ってパターンマッチングに誤りが発生し、間違ったマク
ロブロックＭＶREが検出されると、実際とは異なる（mv
x，mvy）の動きベクトルＭＶEが得られてしまうことが
起きる。このように、画像が静止しているのに、例えば
ノイズ等が存在することによって（０，０）の動きベク
トルＭＶRが得られずに、（mvx，mvy）の動きベクトル
ＭＶEが得られてしまうと、画質が劣化してしまう。
きベクトルが（０，０）であるはずのマクロブロックが
ノイズ等の影響を受けているような場合は、図７に示す
ように、マクロブロックに動きが無いにもかかわらず動
きベクトルが（０，０）とならないために、画質が劣化
する。なお、図７の例では、Ｎ個のフレームＦ0〜ＦN -1
のうち、フレームＦiが参照予測画像ＩＲであり、フレ
ームＦi+jが現在の符号化対象画像ＩＯとなっている場
合を示している。ここで、画像が静止しているのであれ
ば、現在の符号化対象画像ＩＯ内のマクロブロックＭＢ
Oに対応する予測参照画像ＩＲのマクロブロックとし
て、本来は動き（０，０）のマクロブロックＭＢRRが検
出されて動きベクトルＭＶRも（０，０）となるべきで
ある。これに対し、例えばノイズ等が存在することによ
ってパターンマッチングに誤りが発生し、間違ったマク
ロブロックＭＶREが検出されると、実際とは異なる（mv
x，mvy）の動きベクトルＭＶEが得られてしまうことが
起きる。このように、画像が静止しているのに、例えば
ノイズ等が存在することによって（０，０）の動きベク
トルＭＶRが得られずに、（mvx，mvy）の動きベクトル
ＭＶEが得られてしまうと、画質が劣化してしまう。
【００１３】このような問題を解決するために、マクロ
ブロックの動きベクトルを推定して動きを補償する処理
（motion compensation、以下、ＭＣと呼ぶ）を行う際
に、マクロブロック毎の輝度値を用いた所定の判定を行
い、この判定結果に基づいて強制的に動きベクトルを
（０，０）にするような手法が用いられている。なお、
上記強制的に動きベクトルを（０，０）にする処理を、
以下、ＮｏｎＭＣと呼ぶことにする。また、上記所定の
判定をＭＣ／ＮｏｎＭＣ判定と呼ぶことにする。
ブロックの動きベクトルを推定して動きを補償する処理
（motion compensation、以下、ＭＣと呼ぶ）を行う際
に、マクロブロック毎の輝度値を用いた所定の判定を行
い、この判定結果に基づいて強制的に動きベクトルを
（０，０）にするような手法が用いられている。なお、
上記強制的に動きベクトルを（０，０）にする処理を、
以下、ＮｏｎＭＣと呼ぶことにする。また、上記所定の
判定をＭＣ／ＮｏｎＭＣ判定と呼ぶことにする。
【００１４】このような所定の判定（ＭＣ／ＮｏｎＭＣ
判定）を行う方式としては、ＭＰＥＧのいわゆるＳＭ３
（Simulation Model ３）で用いられている方式があ
る。
判定）を行う方式としては、ＭＰＥＧのいわゆるＳＭ３
（Simulation Model ３）で用いられている方式があ
る。
【００１５】以下に、図を用いてＭＰＥＧのＳＭ３のＭ
Ｃ／ＮｏｎＭＣ判定方式及び動き補償予測符号化方式を
説明する。
Ｃ／ＮｏｎＭＣ判定方式及び動き補償予測符号化方式を
説明する。
【００１６】図８には上記ＭＣ／ＮｏｎＭＣ判定を行う
動画像信号符号化装置の一例を示す。図８の動画像信号
符号化装置４１は、動き補償予測とＤＣＴとを組み合わ
せたハイブリッド符号化方法により構成されている。
動画像信号符号化装置の一例を示す。図８の動画像信号
符号化装置４１は、動き補償予測とＤＣＴとを組み合わ
せたハイブリッド符号化方法により構成されている。
【００１７】図８において、端子４２より入力した入力
動画像信号Ｓ４１はスキャンコンバータ４３に送出され
る。スキャンコンバータ４３では、ラスタスキャンで入
力される画像信号をブロックフォーマットの信号に変換
する。すなわち、図９の（Ａ）に示すように、ラスタス
キャンで入力される画像は、１ライン当りＨドットのラ
インがＶライン集められたフレームフォーマットのデー
タとされている。スキャンコンバータ４３は、この１フ
レームの信号を１６ラインを単位としてＮ個のスライス
に区分する。各スライスは、図９の（Ｂ）に示すよう
に、Ｍ個のマクロブロックに分割される。各マクロブロ
ックは、１６×１６個の画素（ドット）に対応する輝度
信号により構成されており、図９の（Ｃ）に示すよう
に、この輝度信号は８×８ドットを単位とするブロック
Ｙ［１］からＹ［４］に区分される。また、この１６×
１６ドットの輝度信号には、８×８ドットの色差信号Ｃ
ｂ［５］と、８×８ドットの色差信号信号Ｃｒ［６］が
対応付けされる。
動画像信号Ｓ４１はスキャンコンバータ４３に送出され
る。スキャンコンバータ４３では、ラスタスキャンで入
力される画像信号をブロックフォーマットの信号に変換
する。すなわち、図９の（Ａ）に示すように、ラスタス
キャンで入力される画像は、１ライン当りＨドットのラ
インがＶライン集められたフレームフォーマットのデー
タとされている。スキャンコンバータ４３は、この１フ
レームの信号を１６ラインを単位としてＮ個のスライス
に区分する。各スライスは、図９の（Ｂ）に示すよう
に、Ｍ個のマクロブロックに分割される。各マクロブロ
ックは、１６×１６個の画素（ドット）に対応する輝度
信号により構成されており、図９の（Ｃ）に示すよう
に、この輝度信号は８×８ドットを単位とするブロック
Ｙ［１］からＹ［４］に区分される。また、この１６×
１６ドットの輝度信号には、８×８ドットの色差信号Ｃ
ｂ［５］と、８×８ドットの色差信号信号Ｃｒ［６］が
対応付けされる。
【００１８】上記スキャンコンバータ４３によって上記
ブロックフォーマットの信号に変換された動画像信号Ｓ
４２は、動きベクトル推定回路４４、ＮｏｎＭＥerr算
出回路４５、及び動画像符号化回路４８に送出される。
ブロックフォーマットの信号に変換された動画像信号Ｓ
４２は、動きベクトル推定回路４４、ＮｏｎＭＥerr算
出回路４５、及び動画像符号化回路４８に送出される。
【００１９】動きベクトル推定回路４４では、順次入力
される動画像信号Ｓ４２の各フレームのマクロブロック
毎に、参照画像記憶部４６に記憶されている参照画像と
の間でパターンマッチングを行い（現在の符号化対象画
像と参照画像との間でマクロブロック毎のパターンマッ
チングを行う）、このパターンマッチングの結果に基づ
いて動きベクトルＭＶを検出し、同時に動き予測残差Ｍ
Ｅerrを算出してＭＣ／ＮｏｎＭＣ判定回路４７に出力
する。
される動画像信号Ｓ４２の各フレームのマクロブロック
毎に、参照画像記憶部４６に記憶されている参照画像と
の間でパターンマッチングを行い（現在の符号化対象画
像と参照画像との間でマクロブロック毎のパターンマッ
チングを行う）、このパターンマッチングの結果に基づ
いて動きベクトルＭＶを検出し、同時に動き予測残差Ｍ
Ｅerrを算出してＭＣ／ＮｏｎＭＣ判定回路４７に出力
する。
【００２０】ここで、現在の符号化対象画像のマクロブ
ロックの輝度値をＳi,jとし、動き予測の参照画像の輝
度値をＲi,jとするとき、上記動き予測残差ＭＥerrは式
(2)を用いて求めることができる。
ロックの輝度値をＳi,jとし、動き予測の参照画像の輝
度値をＲi,jとするとき、上記動き予測残差ＭＥerrは式
(2)を用いて求めることができる。
【００２１】 ＭＥerr ＝ Σ｜Ｓi,j−Ｒi+mvx,j+mvy｜／２５６ (i=0〜15, j=0〜15) (2) この動画像信号符号化装置４１は、１フレーム内の全て
のマクロブロックの動きベクトル推定が終わったなら
ば、現在の動画像信号Ｓ４２（すなわち１フレームの画
像データ）を参照画像記憶部４６に記憶し、これを次に
入力されてくる画像の参照画像とする。
のマクロブロックの動きベクトル推定が終わったなら
ば、現在の動画像信号Ｓ４２（すなわち１フレームの画
像データ）を参照画像記憶部４６に記憶し、これを次に
入力されてくる画像の参照画像とする。
【００２２】一方、ＮｏｎＭＥerr算出回路４５では、
順次入力される動画像信号Ｓ４２の各フレームのマクロ
ブロック毎に、非動き補償時の残差ＮｏｎＭＥerrを算
出する。すなわち、ＮｏｎＭＥerr算出回路４５では、
動画像信号Ｓ４２としてフレーム毎に順次入力される現
在の符号化対象画像内の各マクロブロックと、参照画像
記憶部４６に記憶されている参照画像のうちの動きベク
トル（０，０）のマクロブロックとの間の差分をそれぞ
れ求め、これら差分を上記マクロブロック毎に非動き補
償時の残差ＮｏｎＭＥerrとして出力する。ここに、上
記非動き補償時の残差ＮｏｎＭＥerrは式(3)のようにし
て求める。
順次入力される動画像信号Ｓ４２の各フレームのマクロ
ブロック毎に、非動き補償時の残差ＮｏｎＭＥerrを算
出する。すなわち、ＮｏｎＭＥerr算出回路４５では、
動画像信号Ｓ４２としてフレーム毎に順次入力される現
在の符号化対象画像内の各マクロブロックと、参照画像
記憶部４６に記憶されている参照画像のうちの動きベク
トル（０，０）のマクロブロックとの間の差分をそれぞ
れ求め、これら差分を上記マクロブロック毎に非動き補
償時の残差ＮｏｎＭＥerrとして出力する。ここに、上
記非動き補償時の残差ＮｏｎＭＥerrは式(3)のようにし
て求める。
【００２３】 ＮｏｎＭＥerr ＝ Σ｜Ｓi,j−Ｒi,j｜／２５６ (i=0〜15, j=0〜15) (3) このようにして得られた非動き補償時の残差ＮｏｎＭＥ
errは、ＭＣ／ＮｏｎＭＣ判定回路４７に送られる。
errは、ＭＣ／ＮｏｎＭＣ判定回路４７に送られる。
【００２４】上述の動き予測残差ＭＥerrと非動き補償
時の残差ＮｏｎＭＥerrとが入力されたＭＣ／ＮｏｎＭ
Ｃ判定回路４７では、例えば図１０に示すような領域区
分を用いて動き予測残差ＭＥerrと非動き補償時の残差
ＮｏｎＭＥerrとの比較を行い、ＭＣ／ＮｏｎＭＣ判定
を行う。すなわち図１０では、縦軸に非動き補償時の残
差ＮｏｎＭＥerrを、横軸に動き予測残差ＭＥerrをとっ
ており、ＭＣ／ＮｏｎＭＣ判定回路４７では、図１０の
図中点線で示すＮｏｎＭＥerr＝ＭＥerrの直線で比較領
域を分けてＭＣ／ＮｏｎＭＣ判定を行うのではなく、図
中実線で示すような（０．１）から（0.5，１）を結ぶ
直線と、（0.5，１）から（１，1.5）を結ぶ直線と、
（１，1.5）から（１，2.5）を結ぶ直線と、（１，2.
5）から（1.5，３）を結ぶ直線と、（1.5，３）から
（2.7，３）を結ぶ直線と、ＮｏｎＭＥerr＝０．９ＭＥ
err＋０．５７の直線とからなる線で比較領域を分け、
上記動き予測残差ＭＥerrと非動き補償時の残差Ｎｏｎ
ＭＥerrの値の比較において上記実線の左上側となった
ときにはＭＣと判定し、上記実線の右下側となったとき
にはＮｏｎＭＣと判定する。
時の残差ＮｏｎＭＥerrとが入力されたＭＣ／ＮｏｎＭ
Ｃ判定回路４７では、例えば図１０に示すような領域区
分を用いて動き予測残差ＭＥerrと非動き補償時の残差
ＮｏｎＭＥerrとの比較を行い、ＭＣ／ＮｏｎＭＣ判定
を行う。すなわち図１０では、縦軸に非動き補償時の残
差ＮｏｎＭＥerrを、横軸に動き予測残差ＭＥerrをとっ
ており、ＭＣ／ＮｏｎＭＣ判定回路４７では、図１０の
図中点線で示すＮｏｎＭＥerr＝ＭＥerrの直線で比較領
域を分けてＭＣ／ＮｏｎＭＣ判定を行うのではなく、図
中実線で示すような（０．１）から（0.5，１）を結ぶ
直線と、（0.5，１）から（１，1.5）を結ぶ直線と、
（１，1.5）から（１，2.5）を結ぶ直線と、（１，2.
5）から（1.5，３）を結ぶ直線と、（1.5，３）から
（2.7，３）を結ぶ直線と、ＮｏｎＭＥerr＝０．９ＭＥ
err＋０．５７の直線とからなる線で比較領域を分け、
上記動き予測残差ＭＥerrと非動き補償時の残差Ｎｏｎ
ＭＥerrの値の比較において上記実線の左上側となった
ときにはＭＣと判定し、上記実線の右下側となったとき
にはＮｏｎＭＣと判定する。
【００２５】上記ＭＣ／ＮｏｎＭＣ判定回路４７におい
て、ＭＣと判定した場合は入力された動きベクトルＭＶ
（mvx,mvy）をそのまま出力し、ＮｏｎＭＣと判定した
場合は入力された動きベクトルＭＶ（mvx,mvy）を
（０，０）に変えて出力する。当該ＭＣ／ＮｏｎＭＣ判
定回路４７から出力された動きベクトルＭＶは、そのフ
レームの動画像信号Ｓ４２と共に動画像符号化回路（ハ
イブリッド符号化器）４８に入力される。
て、ＭＣと判定した場合は入力された動きベクトルＭＶ
（mvx,mvy）をそのまま出力し、ＮｏｎＭＣと判定した
場合は入力された動きベクトルＭＶ（mvx,mvy）を
（０，０）に変えて出力する。当該ＭＣ／ＮｏｎＭＣ判
定回路４７から出力された動きベクトルＭＶは、そのフ
レームの動画像信号Ｓ４２と共に動画像符号化回路（ハ
イブリッド符号化器）４８に入力される。
【００２６】次に、図１１には、図８中の動画像符号化
回路（ハイブリッド符号化器）４８の具体的な構成例を
示す。
回路（ハイブリッド符号化器）４８の具体的な構成例を
示す。
【００２７】この図１１において、入力端子６１には前
記ＭＣ／ＮｏｎＭＣ判定回路４７から入力される動きベ
クトルＭＶが供給される。一方、入力端子５０には、当
該動画像符号化回路４８への入力動画像信号Ｓ６０が供
給される。なお、上記入力動画像信号Ｓ６０は、図８の
構成においてスキャンコンバータ４３から供給される動
画像信号Ｓ４２のことである。
記ＭＣ／ＮｏｎＭＣ判定回路４７から入力される動きベ
クトルＭＶが供給される。一方、入力端子５０には、当
該動画像符号化回路４８への入力動画像信号Ｓ６０が供
給される。なお、上記入力動画像信号Ｓ６０は、図８の
構成においてスキャンコンバータ４３から供給される動
画像信号Ｓ４２のことである。
【００２８】また、当該動画像符号化回路４８の動き補
償フレーム間／内予測回路５７は、画像メモリを備え、
上記入力端子６１からの動きベクトルＭＶに基づいて当
該画像メモリから読み出した予測画像信号Ｓ６３を出力
する。
償フレーム間／内予測回路５７は、画像メモリを備え、
上記入力端子６１からの動きベクトルＭＶに基づいて当
該画像メモリから読み出した予測画像信号Ｓ６３を出力
する。
【００２９】演算器５１は、上記入力端子５０からの入
力動画像信号Ｓ６０（Ｓ４２）を加算信号とし、上記動
き補償フレーム間／内予測回路５７からの上記予測画像
信号Ｓ６３を減算信号として加算処理を行うことによ
り、上記入力動画像信号Ｓ４２と予測画像信号Ｓ６３の
差分を計算し、当該差分を予測残差信号Ｓ６１として出
力する。なお、入力動画像として、隣接フレーム間の相
関が無い例えばシーンチェンジ等の信号が供給されたと
きは、上記予測を行わず、したがって演算器５１からは
入力動画像信号Ｓ６０がそのまま取り出される（予測を
行わない原信号として出力される）。
力動画像信号Ｓ６０（Ｓ４２）を加算信号とし、上記動
き補償フレーム間／内予測回路５７からの上記予測画像
信号Ｓ６３を減算信号として加算処理を行うことによ
り、上記入力動画像信号Ｓ４２と予測画像信号Ｓ６３の
差分を計算し、当該差分を予測残差信号Ｓ６１として出
力する。なお、入力動画像として、隣接フレーム間の相
関が無い例えばシーンチェンジ等の信号が供給されたと
きは、上記予測を行わず、したがって演算器５１からは
入力動画像信号Ｓ６０がそのまま取り出される（予測を
行わない原信号として出力される）。
【００３０】次に、上記演算器５１から出力された予測
残差信号Ｓ６１（予測を行わない時は原信号）は、ＤＣ
Ｔ回路５２に送られる。このＤＣＴ回路５２では上記予
測残差信号Ｓ６１に対して２次元ＤＣＴを施す。このＤ
ＣＴ回路５２から出力されたＤＣＴ係数は、量子化回路
５３にてスカラー量子化される。この量子化回路５３の
量子化出力信号は、可変長符号化（ＶＬＣ）回路５８と
逆量子化回路５４とに送られる。ＶＬＣ回路５８では、
上記量子化出力信号に対して例えばハフマン符号化を施
す。このＶＬＣ回路５８の出力信号はバッファメモリ５
９に送られる。当該バッファメモリ５９では、伝送路に
出力するビットレートを平滑化して出力端子６０から出
力する。また、当該バッファメモリ５９がオーバーフロ
ーしそうになった時には、そのことを量子化制御情報と
して量子化回路５３にフィードバックする。このときの
量子化回路５３では量子化ステップを大きくし、これに
より量子化回路５３から出力される情報量が小さくな
り、上記バッファメモリ５９ではオーバーフローの発生
が防止される。なお、図１１の出力端子６０は、図８の
出力端子４９と対応している。
残差信号Ｓ６１（予測を行わない時は原信号）は、ＤＣ
Ｔ回路５２に送られる。このＤＣＴ回路５２では上記予
測残差信号Ｓ６１に対して２次元ＤＣＴを施す。このＤ
ＣＴ回路５２から出力されたＤＣＴ係数は、量子化回路
５３にてスカラー量子化される。この量子化回路５３の
量子化出力信号は、可変長符号化（ＶＬＣ）回路５８と
逆量子化回路５４とに送られる。ＶＬＣ回路５８では、
上記量子化出力信号に対して例えばハフマン符号化を施
す。このＶＬＣ回路５８の出力信号はバッファメモリ５
９に送られる。当該バッファメモリ５９では、伝送路に
出力するビットレートを平滑化して出力端子６０から出
力する。また、当該バッファメモリ５９がオーバーフロ
ーしそうになった時には、そのことを量子化制御情報と
して量子化回路５３にフィードバックする。このときの
量子化回路５３では量子化ステップを大きくし、これに
より量子化回路５３から出力される情報量が小さくな
り、上記バッファメモリ５９ではオーバーフローの発生
が防止される。なお、図１１の出力端子６０は、図８の
出力端子４９と対応している。
【００３１】一方、逆量子化回路５４では、量子化回路
５３より供給される量子化ステップ情報ｑ＿stepに対応
して、上記量子化出力信号に逆量子化処理を施す。当該
逆量子化回路５４の出力は、逆ＤＣＴ回路５５に入力さ
れ、ここで逆ＤＣＴ処理されて復号された予測残差信号
Ｓ６２が、演算器５６へ入力される。
５３より供給される量子化ステップ情報ｑ＿stepに対応
して、上記量子化出力信号に逆量子化処理を施す。当該
逆量子化回路５４の出力は、逆ＤＣＴ回路５５に入力さ
れ、ここで逆ＤＣＴ処理されて復号された予測残差信号
Ｓ６２が、演算器５６へ入力される。
【００３２】この演算器５６にはまた、演算器５１に供
給されている予測画像信号Ｓ６３と同一の信号が供給さ
れている。演算器５６は、上記予測残差信号Ｓ６３に予
測画像信号Ｓ６８を加算する。これにより、局所復号し
た画像信号が得られる。この画像信号は、受信側での出
力画像と同じ信号である。
給されている予測画像信号Ｓ６３と同一の信号が供給さ
れている。演算器５６は、上記予測残差信号Ｓ６３に予
測画像信号Ｓ６８を加算する。これにより、局所復号し
た画像信号が得られる。この画像信号は、受信側での出
力画像と同じ信号である。
【００３３】ＭＰＥＧのＳＭ３では、以上のようにして
ＭＣ／ＮｏｎＭＣ判定を行い、動画像符号化を行う。こ
こで、ＮｏｎＭＣの場合には、動きベクトルを伝送する
必要が無いため、図１０に示したように、予測誤差信号
が０に近い領域や、動き予測残差ＭＥerrと非動き補償
時の残差ＮｏｎＭＥerrの値がほぼ等しいか動き予測残
差ＭＥerrが小さい領域ではＮｏｎＭＣを選択すること
で、動きベクトル分の情報量を削減できる。
ＭＣ／ＮｏｎＭＣ判定を行い、動画像符号化を行う。こ
こで、ＮｏｎＭＣの場合には、動きベクトルを伝送する
必要が無いため、図１０に示したように、予測誤差信号
が０に近い領域や、動き予測残差ＭＥerrと非動き補償
時の残差ＮｏｎＭＥerrの値がほぼ等しいか動き予測残
差ＭＥerrが小さい領域ではＮｏｎＭＣを選択すること
で、動きベクトル分の情報量を削減できる。
【００３４】次に、動き補償予測符号化を行う際に、現
在の符号化対象画像と動き予測の参照画像との間でそれ
ぞれ対応するマクロブロックに動きは無いが、輝度値の
変化は大きいような画像が入力されることがある。この
ような画像としては、例えば段階的に輝度値を変化させ
るフェードインやフェードアウトなどの処理が施された
静止画像などが考えられる。なお、以下の説明では、当
該静止画像においてフェードインやフェードアウトなど
の処理が施されたものをフェード画像と呼ぶことにす
る。
在の符号化対象画像と動き予測の参照画像との間でそれ
ぞれ対応するマクロブロックに動きは無いが、輝度値の
変化は大きいような画像が入力されることがある。この
ような画像としては、例えば段階的に輝度値を変化させ
るフェードインやフェードアウトなどの処理が施された
静止画像などが考えられる。なお、以下の説明では、当
該静止画像においてフェードインやフェードアウトなど
の処理が施されたものをフェード画像と呼ぶことにす
る。
【００３５】当該フェード画像のような輝度値が変化す
る入力画像を前記式(1)を用いたパターンマッチングに
よって動き補償予測符号化した場合、現在の符号化対象
画像と動き予測の参照画像との間でそれぞれ対応するマ
クロブロックの輝度値が大きく変化しているために、本
来は動きベクトル（０，０）のマクロブロックであった
としても前記Ｅfが最小になり難く、これにより動きベ
クトルを誤検出してしまい、結果として再生画像にブロ
ック歪みやモスキートノイズが目立つようになり、画質
劣化が生じることになる。
る入力画像を前記式(1)を用いたパターンマッチングに
よって動き補償予測符号化した場合、現在の符号化対象
画像と動き予測の参照画像との間でそれぞれ対応するマ
クロブロックの輝度値が大きく変化しているために、本
来は動きベクトル（０，０）のマクロブロックであった
としても前記Ｅfが最小になり難く、これにより動きベ
クトルを誤検出してしまい、結果として再生画像にブロ
ック歪みやモスキートノイズが目立つようになり、画質
劣化が生じることになる。
【００３６】すなわち例えば前述のＭＰＥＧのＳＭ３で
は、輝度値の差分の絶対値和のみで動きベクトルの検出
及びＭＣ／ＮｏｎＭＣの判定を行っているため、実際に
は動き予測の参照画像と現在の符号化対象画像との間で
それぞれ対応するマクロブロックに動きが無くても、こ
れらのマクロブロックの間で輝度値の変化が大きい場合
には動きベクトルが正しく（０，０）と検出されず、本
来の動きと異なるマクロブロックが参照画像のマクロブ
ロックとして検出される可能性があり、そのために符号
化効率が低下して主観画質が劣化してしまうことがあ
る。
は、輝度値の差分の絶対値和のみで動きベクトルの検出
及びＭＣ／ＮｏｎＭＣの判定を行っているため、実際に
は動き予測の参照画像と現在の符号化対象画像との間で
それぞれ対応するマクロブロックに動きが無くても、こ
れらのマクロブロックの間で輝度値の変化が大きい場合
には動きベクトルが正しく（０，０）と検出されず、本
来の動きと異なるマクロブロックが参照画像のマクロブ
ロックとして検出される可能性があり、そのために符号
化効率が低下して主観画質が劣化してしまうことがあ
る。
【００３７】このようなことから、本件出願人は、Ｎｏ
ｎＭＣ時のマクロブロックの予測残差信号を求める際
に、輝度値の差分の絶対値和の代わりに、マクロブロッ
ク内の輝度値のＡＣ成分（交流成分）の差分の絶対値和
を用いて動き補償時の輝度値の絶対値和と大きさを比較
して、ＭＣ／ＮｏｎＭＣ判定を行う方式（以下、ＡＣＭ
Ｅと呼ぶことにする）を、既に特開平８−９８１８７号
の公報おいて開示している。
ｎＭＣ時のマクロブロックの予測残差信号を求める際
に、輝度値の差分の絶対値和の代わりに、マクロブロッ
ク内の輝度値のＡＣ成分（交流成分）の差分の絶対値和
を用いて動き補償時の輝度値の絶対値和と大きさを比較
して、ＭＣ／ＮｏｎＭＣ判定を行う方式（以下、ＡＣＭ
Ｅと呼ぶことにする）を、既に特開平８−９８１８７号
の公報おいて開示している。
【００３８】図１２には、上記ＡＣＭＥを用いた動画像
信号符号化装置の一例を示す。なお、この図１２中のＡ
ＣＭＥerr算出回路２５とＭＣ／ＮｏｎＭＣ判定回路２
７を除く、入力端子２２，スキャンコンバータ２３，動
きベクトル推定回路２４、参照画像記憶部２６，動画像
符号化回路２８，出力端子２９は、各々図８の入力端子
４２，スキャンコンバータ４３，動きベクトル推定回路
４４、参照画像記憶部４６，動画像符号化回路４８，出
力端子４９と対応しており、動作は全く同じであるた
め、説明を省略する。また、図１２中の信号Ｓ２２は、
前記図１１の動画像符号化回路２８における入力動画像
信号Ｓ６０（図８の動画像信号Ｓ４２）に対応してい
る。
信号符号化装置の一例を示す。なお、この図１２中のＡ
ＣＭＥerr算出回路２５とＭＣ／ＮｏｎＭＣ判定回路２
７を除く、入力端子２２，スキャンコンバータ２３，動
きベクトル推定回路２４、参照画像記憶部２６，動画像
符号化回路２８，出力端子２９は、各々図８の入力端子
４２，スキャンコンバータ４３，動きベクトル推定回路
４４、参照画像記憶部４６，動画像符号化回路４８，出
力端子４９と対応しており、動作は全く同じであるた
め、説明を省略する。また、図１２中の信号Ｓ２２は、
前記図１１の動画像符号化回路２８における入力動画像
信号Ｓ６０（図８の動画像信号Ｓ４２）に対応してい
る。
【００３９】この図１２のＡＣＭＥerr算出回路２５に
おいて、上述の現在の符号化対象のマクロブロックと動
きベクトル（０，０）の参照画像のマクロブロックのＡ
Ｃ成分の差分の絶対値和をＡＣＭＥerrとすると、当該
ＡＣＭＥerrは例えば以下の様な式(4)で求めることがで
きる。
おいて、上述の現在の符号化対象のマクロブロックと動
きベクトル（０，０）の参照画像のマクロブロックのＡ
Ｃ成分の差分の絶対値和をＡＣＭＥerrとすると、当該
ＡＣＭＥerrは例えば以下の様な式(4)で求めることがで
きる。
【００４０】 ＡＣＭＥerr ＝ Σ｜(Ｓi,j−Ｓav)−(Ｒi,j−Ｒ０av)｜ （i=0〜15, j=0〜15) (4) ここに、式中のＳavは現在の符号化対象画像のマクロブ
ロックの輝度値の平均、Ｒ０avは予測参照画像の動きベ
クトル（０，０）のマクロブロックの輝度値の平均で、
各々以下の式(5)，式(6)で求める。
ロックの輝度値の平均、Ｒ０avは予測参照画像の動きベ
クトル（０，０）のマクロブロックの輝度値の平均で、
各々以下の式(5)，式(6)で求める。
【００４１】 Ｓav ＝ Σ｜Ｓi,j｜／２５６ （i=0〜15, j=0〜15) (5) Ｒ０av ＝ Σ｜Ｒi,j｜／２５６ （i=0〜15, j=0〜15) (6) また、ＭＣ／ＮｏｎＭＣ判定回路２７では、例えば図１
３に示すような領域区分を用いて判定を行う。すなわち
図１３では縦軸に前記ＡＣＭＥerrを、横軸に前記動き
予測残差ＭＥerrをとっており、このＭＣ／ＮｏｎＭＣ
判定回路２７では、図中点線で示すＡＣＭＥerr＝ＭＥe
rrの直線で比較領域を分けてＭＣ／ＮｏｎＭＣ判定を行
うのではなく、図中実線で示すような（０．ｙ１）から
（ｘ１，ｙ１）を結ぶ直線と、（ｘ１，ｙ１）から（ｘ
２，ｙ２）を結ぶ直線と、ＡＣＭＥerr＝ＭＥerr＋（ｘ
２−ｙ２）の直線とからなる線で比較領域を分け、上記
ＭＥerrとＡＣＭＥerrの値の比較において上記実線の左
上側となったときにはＭＣと判定し、上記実線の右下側
となったときにはＮｏｎＭＣと判定するようにしてい
る。なお、この図１３においては、ｘ１≧ｙ１、ｘ２＞
ｙ２である。ＭＣ／ＮｏｎＭＣ判定回路２７は、この図
１３に示す領域区分において、ＡＣＭＥerrとＭＥerrが
共に０に近い領域では強制的にＮｏｎＭＣと判定し、Ａ
ＣＭＥerrとＭＥerrの値が略々等しいか或いはＡＣＭＥ
errがＭＥerrよりも大きい領域ではＭＣと判定する。
３に示すような領域区分を用いて判定を行う。すなわち
図１３では縦軸に前記ＡＣＭＥerrを、横軸に前記動き
予測残差ＭＥerrをとっており、このＭＣ／ＮｏｎＭＣ
判定回路２７では、図中点線で示すＡＣＭＥerr＝ＭＥe
rrの直線で比較領域を分けてＭＣ／ＮｏｎＭＣ判定を行
うのではなく、図中実線で示すような（０．ｙ１）から
（ｘ１，ｙ１）を結ぶ直線と、（ｘ１，ｙ１）から（ｘ
２，ｙ２）を結ぶ直線と、ＡＣＭＥerr＝ＭＥerr＋（ｘ
２−ｙ２）の直線とからなる線で比較領域を分け、上記
ＭＥerrとＡＣＭＥerrの値の比較において上記実線の左
上側となったときにはＭＣと判定し、上記実線の右下側
となったときにはＮｏｎＭＣと判定するようにしてい
る。なお、この図１３においては、ｘ１≧ｙ１、ｘ２＞
ｙ２である。ＭＣ／ＮｏｎＭＣ判定回路２７は、この図
１３に示す領域区分において、ＡＣＭＥerrとＭＥerrが
共に０に近い領域では強制的にＮｏｎＭＣと判定し、Ａ
ＣＭＥerrとＭＥerrの値が略々等しいか或いはＡＣＭＥ
errがＭＥerrよりも大きい領域ではＭＣと判定する。
【００４２】図１２に示した動画像信号符号化装置２１
においては、上述のような判定を行うことで、現在の符
号化対象画像と動き予測の参照画像との間のそれぞれ対
応するマクロブロックの輝度値の変化が大きく且つ動き
が無い前記フェード画像のような場合であっても、動き
ベクトルを正しく（０，０）として得ることが出来るよ
うになる。
においては、上述のような判定を行うことで、現在の符
号化対象画像と動き予測の参照画像との間のそれぞれ対
応するマクロブロックの輝度値の変化が大きく且つ動き
が無い前記フェード画像のような場合であっても、動き
ベクトルを正しく（０，０）として得ることが出来るよ
うになる。
【００４３】
【発明が解決しようとする課題】ところで、入力画像の
平坦な部分において、前述したように現在の符号化対象
画像と動き予測の参照画像との間で前記式(2) 、式(3)
を用いて前記ＭＥerrとＮｏｎＭＥerrとを算出したとき
に、各々小さい残差が得られた場合を考えてみる。
平坦な部分において、前述したように現在の符号化対象
画像と動き予測の参照画像との間で前記式(2) 、式(3)
を用いて前記ＭＥerrとＮｏｎＭＥerrとを算出したとき
に、各々小さい残差が得られた場合を考えてみる。
【００４４】ＭＰＥＧのＳＭ３における前記ＭＣ／Ｎｏ
ｎＭＣ判定では、これらの残差がマクロブロック間の微
妙な輝度値の変化によるものなのか、ノイズの影響によ
るものなのか、或いは画像中の物体の一部がマクロブロ
ックに含まれているためなのかを判断することができな
い。すなわち、現在の符号化対象画像と動き予測の参照
画像との間のそれぞれ対応するマクロブロックが共に平
坦で、動き予測残差も小さい場合に、ＭＰＥＧのＳＭ３
におけるＭＣ／ＮｏｎＭＣ判定では、符号化対象のマク
ロブロックが画像の一部を含んだ動きのあるマクロブロ
ックなのか、或いはノイズを含んだ動きの無いマクロブ
ロックなのかの判別ができない。
ｎＭＣ判定では、これらの残差がマクロブロック間の微
妙な輝度値の変化によるものなのか、ノイズの影響によ
るものなのか、或いは画像中の物体の一部がマクロブロ
ックに含まれているためなのかを判断することができな
い。すなわち、現在の符号化対象画像と動き予測の参照
画像との間のそれぞれ対応するマクロブロックが共に平
坦で、動き予測残差も小さい場合に、ＭＰＥＧのＳＭ３
におけるＭＣ／ＮｏｎＭＣ判定では、符号化対象のマク
ロブロックが画像の一部を含んだ動きのあるマクロブロ
ックなのか、或いはノイズを含んだ動きの無いマクロブ
ロックなのかの判別ができない。
【００４５】このことを図１４を用いて具体的に説明す
る。図１４の（ａ）には、時間の経過と共に移動する物
体ＯＢBの画像を含む１フレームの画像の一部を示して
いる。また、この図１４の（ａ）に示すフレーム画像
は、上記物体ＯＢBを含むマクロブロックを除いて、ほ
とんど輝度値に変化のない平坦なマクロブロック（輝度
値の変化が微妙にしかないマクロブロック）から構成さ
れているが、マクロブロックＭＢFnにはノイズｎが存在
している。ただし、このノイズｎを含んだマクロブロッ
クＭＢFnも、ほとんど輝度値に変化のない平坦なマクロ
ブロック（輝度値の変化が微妙にしかないマクロブロッ
ク）であるとする。
る。図１４の（ａ）には、時間の経過と共に移動する物
体ＯＢBの画像を含む１フレームの画像の一部を示して
いる。また、この図１４の（ａ）に示すフレーム画像
は、上記物体ＯＢBを含むマクロブロックを除いて、ほ
とんど輝度値に変化のない平坦なマクロブロック（輝度
値の変化が微妙にしかないマクロブロック）から構成さ
れているが、マクロブロックＭＢFnにはノイズｎが存在
している。ただし、このノイズｎを含んだマクロブロッ
クＭＢFnも、ほとんど輝度値に変化のない平坦なマクロ
ブロック（輝度値の変化が微妙にしかないマクロブロッ
ク）であるとする。
【００４６】ここで、当該図１４の（ａ）に示すフレー
ム画像の符号化を行う場合に、前述したＭＰＥＧのＳＭ
３のＭＣ／ＮｏｎＭＣ判定を用い、残差の小さい領域で
ＮｏｎＭＣが選択されるようにすると、上記ノイズｎを
含んだ動きの無いマクロブロックＭＢFnの動きベクトル
については値を（０，０）とすることはできるが、例え
ば上記物体ＯＢBの画像の一部ｏｂBを含むマクロブロッ
クＭＢFIのように、ほとんど輝度値に変化のない平坦な
マクロブロック（輝度値の変化が微妙にしかないマクロ
ブロック）については、本来ならば動きのあるマクロブ
ロックとすべきものを、動きの無いマクロブロック（動
きベクトル（０，０）のマクロブロック）としてしまう
虞れがある。
ム画像の符号化を行う場合に、前述したＭＰＥＧのＳＭ
３のＭＣ／ＮｏｎＭＣ判定を用い、残差の小さい領域で
ＮｏｎＭＣが選択されるようにすると、上記ノイズｎを
含んだ動きの無いマクロブロックＭＢFnの動きベクトル
については値を（０，０）とすることはできるが、例え
ば上記物体ＯＢBの画像の一部ｏｂBを含むマクロブロッ
クＭＢFIのように、ほとんど輝度値に変化のない平坦な
マクロブロック（輝度値の変化が微妙にしかないマクロ
ブロック）については、本来ならば動きのあるマクロブ
ロックとすべきものを、動きの無いマクロブロック（動
きベクトル（０，０）のマクロブロック）としてしまう
虞れがある。
【００４７】すなわち、このように本来ならば動きのあ
るマクロブロックとすべきものを、動きの無いマクロブ
ロック（動きベクトル（０，０）のマクロブロック）と
してしまうと、当該図１４の（ａ）のフレーム画像から
ある時間ｔ経過後の再生画像には、図１４の（ｂ）に示
すように、上記マクロブロックＭＢFIに対応する位置
に、上記物体ＯＢBの一部ｏｂBが固定されたノイズｏｂ
Aとして残ってしまうようになる。なお、図１４の
（ｂ）には、時間ｔ経過後の物体ＯＢAと共に、図中点
線で示すように時間ｔ経過前に物体ＯＢBが存在した位
置も示している。
るマクロブロックとすべきものを、動きの無いマクロブ
ロック（動きベクトル（０，０）のマクロブロック）と
してしまうと、当該図１４の（ａ）のフレーム画像から
ある時間ｔ経過後の再生画像には、図１４の（ｂ）に示
すように、上記マクロブロックＭＢFIに対応する位置
に、上記物体ＯＢBの一部ｏｂBが固定されたノイズｏｂ
Aとして残ってしまうようになる。なお、図１４の
（ｂ）には、時間ｔ経過後の物体ＯＢAと共に、図中点
線で示すように時間ｔ経過前に物体ＯＢBが存在した位
置も示している。
【００４８】このように、物体ＯＢBの一部ｏｂBを固定
されたノイズｏｂAとして残さないようにするために
は、ＭＣ／ＮｏｎＭＣ判定において例えば動き予測残差
の小さい領域でＮｏｎＭＣが選択され易くなるようにす
ればよいが、前述した従来のＭＣ／ＮｏｎＭＣ方式の場
合、上記動き予測残差の小さい領域でＮｏｎＭＣを選択
され易くすることは未だ実現されていない。
されたノイズｏｂAとして残さないようにするために
は、ＭＣ／ＮｏｎＭＣ判定において例えば動き予測残差
の小さい領域でＮｏｎＭＣが選択され易くなるようにす
ればよいが、前述した従来のＭＣ／ＮｏｎＭＣ方式の場
合、上記動き予測残差の小さい領域でＮｏｎＭＣを選択
され易くすることは未だ実現されていない。
【００４９】また、従来のＭＣ／ＮｏｎＭＣ方式の場
合、例えば前記マクロブロックＭＢFnのようにノイズｎ
の影響を受けた平坦で動きが無く且つ予測残差が小さい
マクロブロックでは、動きベクトルを誤検出してしま
い、符号化効率が悪くなる虞れがあるという問題もあ
る。
合、例えば前記マクロブロックＭＢFnのようにノイズｎ
の影響を受けた平坦で動きが無く且つ予測残差が小さい
マクロブロックでは、動きベクトルを誤検出してしま
い、符号化効率が悪くなる虞れがあるという問題もあ
る。
【００５０】これらの問題は、前述した特開平８−９８
１８７号の公報おいて開示した前記ＡＣＭＥを用いるＭ
Ｃ／ＮｏｎＭＣ判定方式においても同様である。
１８７号の公報おいて開示した前記ＡＣＭＥを用いるＭ
Ｃ／ＮｏｎＭＣ判定方式においても同様である。
【００５１】そこで、本発明はこのような状況に鑑みて
なされたものであり、画像の平坦部で動き予測残差の小
さい場合でも、固定ノイズの発生を防止できると共に、
画質を劣化させることなく動きベクトルを（０，０）と
することで符号化効率を向上させ、主観画質を改善し得
る動画像信号符号化方法及び装置、動画像信号伝送方法
並びに信号記録媒体を提供することを目的とする。
なされたものであり、画像の平坦部で動き予測残差の小
さい場合でも、固定ノイズの発生を防止できると共に、
画質を劣化させることなく動きベクトルを（０，０）と
することで符号化効率を向上させ、主観画質を改善し得
る動画像信号符号化方法及び装置、動画像信号伝送方法
並びに信号記録媒体を提供することを目的とする。
【００５２】
【課題を解決するための手段】本発明の動画像信号符号
化方法は、動画像信号を構成する画像を複数のブロック
に分割し、動き補償を行ったときのブロックの動きベク
トル推定残差の大きさと動き補償を行わないときのブロ
ックの残差の大きさとを比較して動き補償／非動き補償
判定を行い、この判定結果に基づいて各ブロック毎に動
き補償予測符号化を行うものであり、ブロック毎の輝度
の平均値と平坦さを表す値を算出し、このブロックの輝
度の平均値と平坦さを表す値とに基づいて、動き補償／
非動き補償判定での大きさ比較に用いる判定領域区分を
適応的に選択することにより、上述した課題を解決す
る。
化方法は、動画像信号を構成する画像を複数のブロック
に分割し、動き補償を行ったときのブロックの動きベク
トル推定残差の大きさと動き補償を行わないときのブロ
ックの残差の大きさとを比較して動き補償／非動き補償
判定を行い、この判定結果に基づいて各ブロック毎に動
き補償予測符号化を行うものであり、ブロック毎の輝度
の平均値と平坦さを表す値を算出し、このブロックの輝
度の平均値と平坦さを表す値とに基づいて、動き補償／
非動き補償判定での大きさ比較に用いる判定領域区分を
適応的に選択することにより、上述した課題を解決す
る。
【００５３】また、本発明の動画像信号符号化装置は、
動画像信号を構成する画像を複数のブロックに分割する
ブロック分割手段と、動き補償を行ったときのブロック
の動きベクトル推定残差を算出する動きベクトル推定残
差算出手段と、動き補償を行わないときのブロックの残
差を算出するブロック残差算出手段と、ブロック毎の輝
度の平均値と平坦さを表す値を算出する特徴量算出手段
と、これら動きベクトル推定残差の大きさとブロックの
残差の大きさとをブロック毎に比較して動き補償／非動
き補償判定を行う動き補償／非動き補償判定手段と、こ
の判定結果に基づいて各ブロック毎に動き補償予測符号
化を行う動画像符号化手段とを有してなるものであり、
動き補償／非動き補償判定手段では、ブロックの輝度の
平均値と平坦さを表す値とに基づいて動き補償／非動き
補償判定での大きさ比較に用いる判定領域区分を適応的
に選択することにより、上述した課題を解決する。
動画像信号を構成する画像を複数のブロックに分割する
ブロック分割手段と、動き補償を行ったときのブロック
の動きベクトル推定残差を算出する動きベクトル推定残
差算出手段と、動き補償を行わないときのブロックの残
差を算出するブロック残差算出手段と、ブロック毎の輝
度の平均値と平坦さを表す値を算出する特徴量算出手段
と、これら動きベクトル推定残差の大きさとブロックの
残差の大きさとをブロック毎に比較して動き補償／非動
き補償判定を行う動き補償／非動き補償判定手段と、こ
の判定結果に基づいて各ブロック毎に動き補償予測符号
化を行う動画像符号化手段とを有してなるものであり、
動き補償／非動き補償判定手段では、ブロックの輝度の
平均値と平坦さを表す値とに基づいて動き補償／非動き
補償判定での大きさ比較に用いる判定領域区分を適応的
に選択することにより、上述した課題を解決する。
【００５４】さらに本発明の動画像信号伝送方法は、動
画像信号を構成する画像を複数のブロックに分割し、動
き補償を行ったときのブロックの動きベクトル推定残差
の大きさと動き補償を行わないときのブロックの残差の
大きさとを比較して動き補償／非動き補償判定を行い、
この判定結果に基づいて各ブロック毎に動き補償予測符
号化を行って符号化ビットストリームを生成し、その符
号化ビットストリームを伝送するものであり、ブロック
毎の輝度の平均値と平坦さを表す値を算出し、このブロ
ックの輝度の平均値と平坦さを表す値とに基づいて、動
き補償／非動き補償判定での大きさ比較に用いる判定領
域区分を適応的に選択することにより、上述した課題を
解決する。
画像信号を構成する画像を複数のブロックに分割し、動
き補償を行ったときのブロックの動きベクトル推定残差
の大きさと動き補償を行わないときのブロックの残差の
大きさとを比較して動き補償／非動き補償判定を行い、
この判定結果に基づいて各ブロック毎に動き補償予測符
号化を行って符号化ビットストリームを生成し、その符
号化ビットストリームを伝送するものであり、ブロック
毎の輝度の平均値と平坦さを表す値を算出し、このブロ
ックの輝度の平均値と平坦さを表す値とに基づいて、動
き補償／非動き補償判定での大きさ比較に用いる判定領
域区分を適応的に選択することにより、上述した課題を
解決する。
【００５５】ここで、本発明の動画像信号符号化方法及
び装置、本発明の動画像信号伝送方法においては、動き
補償を行わないときの上記ブロックの残差としてこのブ
ロックのＡＣ成分の差分を算出する。また、ブロックの
輝度の平均値が低く平坦なときには、動き補償を行わな
い非動き補償の判定領域区分を広くするようにしてい
る。
び装置、本発明の動画像信号伝送方法においては、動き
補償を行わないときの上記ブロックの残差としてこのブ
ロックのＡＣ成分の差分を算出する。また、ブロックの
輝度の平均値が低く平坦なときには、動き補償を行わな
い非動き補償の判定領域区分を広くするようにしてい
る。
【００５６】またさらに、本発明の信号記録媒体は、動
画像信号を構成する画像を複数のブロックに分割し、動
き補償を行ったときのブロックの動きベクトル推定残差
の大きさと動き補償を行わないときのブロックの残差の
大きさとを比較して動き補償／非動き補償判定を行う際
に、ブロック毎の輝度の平均値と平坦さを表す値とに基
づいて動き補償／非動き補償判定での大きさ比較に用い
る判定領域区分を適応的に選択し、この判定結果に基づ
いて各ブロック毎に動き補償予測符号化を行って生成さ
れた符号化ビットストリームを記録してなるものであ
る。
画像信号を構成する画像を複数のブロックに分割し、動
き補償を行ったときのブロックの動きベクトル推定残差
の大きさと動き補償を行わないときのブロックの残差の
大きさとを比較して動き補償／非動き補償判定を行う際
に、ブロック毎の輝度の平均値と平坦さを表す値とに基
づいて動き補償／非動き補償判定での大きさ比較に用い
る判定領域区分を適応的に選択し、この判定結果に基づ
いて各ブロック毎に動き補償予測符号化を行って生成さ
れた符号化ビットストリームを記録してなるものであ
る。
【００５７】すなわち本発明においては、動画像信号を
動き補償予測符号化する際に、入力画像のブロック（マ
クロブロック）の特徴量を用いて動き補償／非動き補償
の判定方式を適応的に切り替えることにより、動きが無
く、ノイズの影響を受けている画像や、輝度値が大きく
変化しているような画像、動きが無い全体に平坦で暗い
画像に対して、非動き補償のモードを効果的に用いるこ
とが可能となる。
動き補償予測符号化する際に、入力画像のブロック（マ
クロブロック）の特徴量を用いて動き補償／非動き補償
の判定方式を適応的に切り替えることにより、動きが無
く、ノイズの影響を受けている画像や、輝度値が大きく
変化しているような画像、動きが無い全体に平坦で暗い
画像に対して、非動き補償のモードを効果的に用いるこ
とが可能となる。
【００５８】
【発明の実施の形態】以下、本発明の好ましい実施の形
態について、図面を参照しながら詳細に説明する。
態について、図面を参照しながら詳細に説明する。
【００５９】先ず、本発明実施例の具体的な内容の説明
に先立ち、本発明の原理について説明する。
に先立ち、本発明の原理について説明する。
【００６０】これまでの検討の結果、現在の符号化対象
画像と動き補償予測の参照画像との間のそれぞれ対応す
るマクロブロックにおいて、共に輝度の平均値が低く平
坦であるときには、動きが無く、動き予測残差も小さく
なる場合が多いことがわかっている。また、このような
場合において、前記ＮｏｎＭＣを用いることで例えば画
像の一部が固定されたノイズとなって残ったとしても、
人間はそれを検知し難いこともわかっている。
画像と動き補償予測の参照画像との間のそれぞれ対応す
るマクロブロックにおいて、共に輝度の平均値が低く平
坦であるときには、動きが無く、動き予測残差も小さく
なる場合が多いことがわかっている。また、このような
場合において、前記ＮｏｎＭＣを用いることで例えば画
像の一部が固定されたノイズとなって残ったとしても、
人間はそれを検知し難いこともわかっている。
【００６１】従って、このような場合には、ＭＣ／Ｎｏ
ｎＭＣ判定において、前述した図１０のような領域区分
を用いて、上記動き予測残差の小さい領域がＮｏｎＭＣ
と判定され易くなるようにすれば、例え画像の一部が固
定されたノイズとなって残ったとしても人間はそれを検
知し難いため、主観的な画質を改善することが可能とな
る。
ｎＭＣ判定において、前述した図１０のような領域区分
を用いて、上記動き予測残差の小さい領域がＮｏｎＭＣ
と判定され易くなるようにすれば、例え画像の一部が固
定されたノイズとなって残ったとしても人間はそれを検
知し難いため、主観的な画質を改善することが可能とな
る。
【００６２】一方、現在の符号化対象画像と動き補償予
測の参照画像との間でそれぞれ対応するマクロブロック
において、共に輝度の平均値が高く平坦である場合に
は、前述のような画像の一部が固定されたノイズとなっ
て残っていると、人間はそれを検知し易いことがわかっ
ている。
測の参照画像との間でそれぞれ対応するマクロブロック
において、共に輝度の平均値が高く平坦である場合に
は、前述のような画像の一部が固定されたノイズとなっ
て残っていると、人間はそれを検知し易いことがわかっ
ている。
【００６３】従って、このような場合には、ＭＣ／Ｎｏ
ｎＭＣ判定において、動き予測残差の小さい領域ではＭ
Ｃ／ＮｏｎＭＣ判定を行わずに通常の動き検出を行うよ
うにすれば、画像の一部が固定されたノイズとなって残
ってしまうことを無くすことができ、画質の劣化を防ぐ
ことが可能となる。
ｎＭＣ判定において、動き予測残差の小さい領域ではＭ
Ｃ／ＮｏｎＭＣ判定を行わずに通常の動き検出を行うよ
うにすれば、画像の一部が固定されたノイズとなって残
ってしまうことを無くすことができ、画質の劣化を防ぐ
ことが可能となる。
【００６４】そこで、本発明では、動き補償予測符号化
のために動きベクトルを検出する際に、前記式(2)で得
られるＭＥerrの最小値と前記式(3)に示すＮｏｎＭＥer
rの値とを用い、所定の領域区分で各々の大きさを比較
することでＭＣ／ＮｏｎＭＣ判定を行い、動きの無いマ
クロブロックの動きベクトルを正しく（０，０）と検出
しようとする方式において、現在の符号化対象画像のマ
クロブロックの少なくとも輝度の平均値と平坦さを表す
値とに基づいて、適応的にＭＣ／ＮｏｎＭＣ判定のため
の領域区分を変化させることで、画像の一部が固定され
たノイズとなって残ることを無くして符号化効率を向上
させることを可能にすると共に、例え画像の一部が固定
されたノイズとなって残ったとしても主観的な画質を改
善できるようにしている。
のために動きベクトルを検出する際に、前記式(2)で得
られるＭＥerrの最小値と前記式(3)に示すＮｏｎＭＥer
rの値とを用い、所定の領域区分で各々の大きさを比較
することでＭＣ／ＮｏｎＭＣ判定を行い、動きの無いマ
クロブロックの動きベクトルを正しく（０，０）と検出
しようとする方式において、現在の符号化対象画像のマ
クロブロックの少なくとも輝度の平均値と平坦さを表す
値とに基づいて、適応的にＭＣ／ＮｏｎＭＣ判定のため
の領域区分を変化させることで、画像の一部が固定され
たノイズとなって残ることを無くして符号化効率を向上
させることを可能にすると共に、例え画像の一部が固定
されたノイズとなって残ったとしても主観的な画質を改
善できるようにしている。
【００６５】すなわち本発明では、例えば入力画像のマ
クロブロックの輝度の平均値が低く平坦であり、動きが
無く、動き予測残差も小さくなる場合、ＭＣ／ＮｏｎＭ
Ｃ判定において前記図１０に示したような領域区分を用
いて、上記動き予測残差の小さい領域がＮｏｎＭＣとし
て選択され易くすることで、例え画像の一部が固定され
たノイズとなって残っても主観的な画質を改善可能にし
ている。
クロブロックの輝度の平均値が低く平坦であり、動きが
無く、動き予測残差も小さくなる場合、ＭＣ／ＮｏｎＭ
Ｃ判定において前記図１０に示したような領域区分を用
いて、上記動き予測残差の小さい領域がＮｏｎＭＣとし
て選択され易くすることで、例え画像の一部が固定され
たノイズとなって残っても主観的な画質を改善可能にし
ている。
【００６６】一方、本発明では、輝度の平均値が高く平
坦である場合、ＭＣ／ＮｏｎＭＣ判定において動き予測
残差の小さい領域ではＭＣ／ＮｏｎＭＣ判定を行わずに
通常の動き検出を行うようにすることで、画像の一部が
固定されたノイズとなって残ってしまうことを無くし
て、画質の劣化を防ぐことを可能にしている。
坦である場合、ＭＣ／ＮｏｎＭＣ判定において動き予測
残差の小さい領域ではＭＣ／ＮｏｎＭＣ判定を行わずに
通常の動き検出を行うようにすることで、画像の一部が
固定されたノイズとなって残ってしまうことを無くし
て、画質の劣化を防ぐことを可能にしている。
【００６７】さらに、動きベクトルを検出する時に、前
記式(2)の輝度値の差分の絶対値和と同時に、前記式(4)
の動きベクトル（０，０）のマクロブロックのＡＣ成分
の差分の絶対値和を用いる方式（前記ＡＣＭＥ）でも、
現在の符号化対象のマクロブロックの輝度の平均値と平
坦度とに基づいて、ＭＣ／ＮｏｎＭＣ判定を適応的に制
御することで、画像の一部が固定されたノイズとなって
残ることを無くして符号化効率を向上させることが可能
であると共に、例え画像の一部が固定されたノイズとな
って残ったとしても主観的な画質を改善できる。
記式(2)の輝度値の差分の絶対値和と同時に、前記式(4)
の動きベクトル（０，０）のマクロブロックのＡＣ成分
の差分の絶対値和を用いる方式（前記ＡＣＭＥ）でも、
現在の符号化対象のマクロブロックの輝度の平均値と平
坦度とに基づいて、ＭＣ／ＮｏｎＭＣ判定を適応的に制
御することで、画像の一部が固定されたノイズとなって
残ることを無くして符号化効率を向上させることが可能
であると共に、例え画像の一部が固定されたノイズとな
って残ったとしても主観的な画質を改善できる。
【００６８】すなわち、本発明にかかるＭＣ／ＮｏｎＭ
Ｃ判定の方式を、前述した特開平８−９８１８７号の公
報にて開示されている前記ＡＣＭＥを用いるＭＣ／Ｎｏ
ｎＭＣ判定方式と組み合わせるようにすれば、現在の符
号化対象画像と動き予測の参照画像のそれぞれ対応する
マクロブロックの間で動きが無く、輝度値の変化が大き
いような例えば前述したフェード画像に対しても、効果
的にＭＣ／ＮｏｎＭＣ判定を行うことが可能となる。
Ｃ判定の方式を、前述した特開平８−９８１８７号の公
報にて開示されている前記ＡＣＭＥを用いるＭＣ／Ｎｏ
ｎＭＣ判定方式と組み合わせるようにすれば、現在の符
号化対象画像と動き予測の参照画像のそれぞれ対応する
マクロブロックの間で動きが無く、輝度値の変化が大き
いような例えば前述したフェード画像に対しても、効果
的にＭＣ／ＮｏｎＭＣ判定を行うことが可能となる。
【００６９】ここで、フェード画像の平坦部や、画面全
体の輝度値が低く平坦で動きが少ない画像においては、
経験的に現在の符号化対象画像と動き予測の参照画像の
それぞれ対応するマクロブロックの間で、前記式(2)の
ＭＥerrと前記式(4)のＡＣＭＥerrが等しいか、前記式
(2)のＭＥerrよりも前記式(4)のＡＣＭＥerrが僅かに大
きい場合が多い（ＡＣＭＥerrがやや大きい領域に値が
集中する）ことがわかっている。このため、予測残差の
小さい領域の他にも、このような領域をＮｏｎＭＣとす
ることが望ましい。
体の輝度値が低く平坦で動きが少ない画像においては、
経験的に現在の符号化対象画像と動き予測の参照画像の
それぞれ対応するマクロブロックの間で、前記式(2)の
ＭＥerrと前記式(4)のＡＣＭＥerrが等しいか、前記式
(2)のＭＥerrよりも前記式(4)のＡＣＭＥerrが僅かに大
きい場合が多い（ＡＣＭＥerrがやや大きい領域に値が
集中する）ことがわかっている。このため、予測残差の
小さい領域の他にも、このような領域をＮｏｎＭＣとす
ることが望ましい。
【００７０】したがって、本発明では、図１に示すよう
に、ＮｏｎＭＣの領域を多くした領域区分を用いて、動
きベクトルを（０，０）として検出し易くしている。す
なわち図１では、縦軸に前記ＡＣＭＥerrを、横軸に前
記動き予測残差ＭＥerrをとっており、図中点線で示す
ＡＣＭＥerr＝ＭＥerrの直線で比較領域を分けてＭＣ／
ＮｏｎＭＣ判定を行うのではなく、図中実線で示すよう
な（０．ｙ３）から（ｘ３，ｙ３）を結ぶ直線と、ＡＣ
ＭＥerr＝ＭＥerr＋（ｘ３−ｙ３）の直線とからなる線
で比較領域を分け、上記ＭＥerrとＡＣＭＥerrの値の比
較において上記実線の左上側となったときにはＭＣと判
定し、上記実線の右下側となったときにはＮｏｎＭＣと
判定するようにしている。この図１の領域区分を用いる
ことで、符号化効率を向上させて再生画像の主観的画質
を向上させることができる。
に、ＮｏｎＭＣの領域を多くした領域区分を用いて、動
きベクトルを（０，０）として検出し易くしている。す
なわち図１では、縦軸に前記ＡＣＭＥerrを、横軸に前
記動き予測残差ＭＥerrをとっており、図中点線で示す
ＡＣＭＥerr＝ＭＥerrの直線で比較領域を分けてＭＣ／
ＮｏｎＭＣ判定を行うのではなく、図中実線で示すよう
な（０．ｙ３）から（ｘ３，ｙ３）を結ぶ直線と、ＡＣ
ＭＥerr＝ＭＥerr＋（ｘ３−ｙ３）の直線とからなる線
で比較領域を分け、上記ＭＥerrとＡＣＭＥerrの値の比
較において上記実線の左上側となったときにはＭＣと判
定し、上記実線の右下側となったときにはＮｏｎＭＣと
判定するようにしている。この図１の領域区分を用いる
ことで、符号化効率を向上させて再生画像の主観的画質
を向上させることができる。
【００７１】なお、上記以外の画像の場合には従来通り
の前記図１３に示した領域区分を用いてＭＣ／ＮｏｎＭ
Ｃ判定を行う。
の前記図１３に示した領域区分を用いてＭＣ／ＮｏｎＭ
Ｃ判定を行う。
【００７２】以上のように、本発明では、入力画像の平
坦部で予測残差が小さいような場合でも、主観画質を改
善し、符号化効率を向上させるようにしている。
坦部で予測残差が小さいような場合でも、主観画質を改
善し、符号化効率を向上させるようにしている。
【００７３】次に、本発明実施例の具体的な内容の説明
を行う。
を行う。
【００７４】図２には、本発明の画像信号符号化方法及
び画像信号伝送方法が適用される画像信号符号化装置１
の第１の構成例を示す。本発明実施例では、動画像信号
符号化装置１は動き補償予測とＤＣＴとを組み合わせた
ハイブリッド符号化を行う。
び画像信号伝送方法が適用される画像信号符号化装置１
の第１の構成例を示す。本発明実施例では、動画像信号
符号化装置１は動き補償予測とＤＣＴとを組み合わせた
ハイブリッド符号化を行う。
【００７５】この図１において、端子２より入力した入
力動画像信号Ｓ１はスキャンコンバータ３に送出され
る。スキャンコンバータ３では、ラスタスキャンで入力
される画像信号をブロックフォーマットの信号に変換す
る。すなわち、前述した図９にて説明したように、当該
スキャンコンバータ３は、１ライン当りＨドットのライ
ンがＶライン集められたフレームフォーマットのデータ
とされている入力動画像信号Ｓ１の１フレームの信号
を、１６ラインを単位としてＮ個のスライスに区分し、
各スライスをＭ個のマクロブロックに分割する。各マク
ロブロックは、前述同様に、１６×１６個の画素（ドッ
ト）に対応する輝度信号により構成されており、この輝
度信号は８×８ドットを単位とするブロックＹ［１］か
らＹ［４］に区分され、またこの１６×１６ドットの輝
度信号には、８×８ドットの色差信号Ｃｂ［５］と、８
×８ドットの色差信号信号Ｃｒ［６］が対応付けされて
いる。
力動画像信号Ｓ１はスキャンコンバータ３に送出され
る。スキャンコンバータ３では、ラスタスキャンで入力
される画像信号をブロックフォーマットの信号に変換す
る。すなわち、前述した図９にて説明したように、当該
スキャンコンバータ３は、１ライン当りＨドットのライ
ンがＶライン集められたフレームフォーマットのデータ
とされている入力動画像信号Ｓ１の１フレームの信号
を、１６ラインを単位としてＮ個のスライスに区分し、
各スライスをＭ個のマクロブロックに分割する。各マク
ロブロックは、前述同様に、１６×１６個の画素（ドッ
ト）に対応する輝度信号により構成されており、この輝
度信号は８×８ドットを単位とするブロックＹ［１］か
らＹ［４］に区分され、またこの１６×１６ドットの輝
度信号には、８×８ドットの色差信号Ｃｂ［５］と、８
×８ドットの色差信号信号Ｃｒ［６］が対応付けされて
いる。
【００７６】上記スキャンコンバータ３によって上記ブ
ロックフォーマットの信号に変換された動画像信号Ｓ２
は、動きベクトル推定回路４、ＮｏｎＭＥerr算出回路
５、特徴両算出回路６及び動画像符号化回路９に送出さ
れる。
ロックフォーマットの信号に変換された動画像信号Ｓ２
は、動きベクトル推定回路４、ＮｏｎＭＥerr算出回路
５、特徴両算出回路６及び動画像符号化回路９に送出さ
れる。
【００７７】動きベクトル推定回路４では、順次入力さ
れる動画像信号Ｓ２の各フレームのマクロブロック毎
に、参照画像記憶部７に記憶されている参照画像との間
でパターンマッチングを行い（現在の符号化対象画像と
参照画像との間でマクロブロック毎のパターンマッチン
グを行う）、このパターンマッチングの結果に基づいて
動きベクトルＭＶを検出し、同時に前記式(2)を用いて
動き予測残差ＭＥerrを算出し、これら動きベクトルＭ
Ｖと動き予測残差ＭＥerrをＭＣ／ＮｏｎＭＣ判定回路
８に出力する。
れる動画像信号Ｓ２の各フレームのマクロブロック毎
に、参照画像記憶部７に記憶されている参照画像との間
でパターンマッチングを行い（現在の符号化対象画像と
参照画像との間でマクロブロック毎のパターンマッチン
グを行う）、このパターンマッチングの結果に基づいて
動きベクトルＭＶを検出し、同時に前記式(2)を用いて
動き予測残差ＭＥerrを算出し、これら動きベクトルＭ
Ｖと動き予測残差ＭＥerrをＭＣ／ＮｏｎＭＣ判定回路
８に出力する。
【００７８】この動画像信号符号化装置１は、１フレー
ム内の全てのマクロブロックの動きベクトル推定が終わ
ったならば、現在の動画像信号Ｓ２（すなわち１フレー
ムの画像データ）を参照画像記憶部７に記憶し、これを
次に入力されてくる画像の参照画像とする。
ム内の全てのマクロブロックの動きベクトル推定が終わ
ったならば、現在の動画像信号Ｓ２（すなわち１フレー
ムの画像データ）を参照画像記憶部７に記憶し、これを
次に入力されてくる画像の参照画像とする。
【００７９】一方、ＮｏｎＭＥerr算出回路５では、順
次入力される動画像信号Ｓ２の各フレームのマクロブロ
ック毎に、非動き補償時の残差ＮｏｎＭＥerrを算出す
る。すなわち、ＮｏｎＭＥerr算出回路５では、動画像
信号Ｓ２としてフレーム毎に順次入力される現在の符号
化対象画像内の各マクロブロックと、参照画像記憶部７
に記憶されている参照画像のうちの動きベクトル（０，
０）のマクロブロックとの間の差分をそれぞれ求め、こ
れら差分を上記マクロブロック毎に非動き補償時の残差
ＮｏｎＭＥerrとして出力する。上記非動き補償時の残
差ＮｏｎＭＥerrは前記式(3)を用いて求める。
次入力される動画像信号Ｓ２の各フレームのマクロブロ
ック毎に、非動き補償時の残差ＮｏｎＭＥerrを算出す
る。すなわち、ＮｏｎＭＥerr算出回路５では、動画像
信号Ｓ２としてフレーム毎に順次入力される現在の符号
化対象画像内の各マクロブロックと、参照画像記憶部７
に記憶されている参照画像のうちの動きベクトル（０，
０）のマクロブロックとの間の差分をそれぞれ求め、こ
れら差分を上記マクロブロック毎に非動き補償時の残差
ＮｏｎＭＥerrとして出力する。上記非動き補償時の残
差ＮｏｎＭＥerrは前記式(3)を用いて求める。
【００８０】このようにして得られた非動き補償時の残
差ＮｏｎＭＥerrは、ＭＣ／ＮｏｎＭＣ判定回路８に送
られる。
差ＮｏｎＭＥerrは、ＭＣ／ＮｏｎＭＣ判定回路８に送
られる。
【００８１】また、特徴量算出回路６では、順次入力さ
れる動画像信号Ｓ２の各フレームのマクロブロック毎
に、それぞれマクロブロックの平均輝度値ＤＣと平坦さ
を表す値ＭＡＤとを算出する。ここで、マクロブロック
の平均輝度値ＤＣとしては、例えば次式(7)に示すよう
に、マクロブロック内の輝度値Ｓi,jの絶対値の和の平
均を求める。 ＤＣ ＝ Σ｜Ｓi,j｜／２５６ （i=0〜15, j=0〜15) (7) また、平坦さを表す値ＭＡＤとしては、例えば次式(8)
に示すように、マクロブロック内の輝度値Ｓi,jと平均
輝度値ＤＣの差分の絶対値の和を求める。 ＭＡＤ ＝ Σ｜Ｓi,j−ＤＣ｜ （i=0〜15, j=0〜15) (8) このようにして算出したマクロブロックの平均輝度値Ｄ
Ｃと平坦さを表す値ＭＡＤは、ＭＣ／ＮｏｎＭＣ判定回
路８に出力される。
れる動画像信号Ｓ２の各フレームのマクロブロック毎
に、それぞれマクロブロックの平均輝度値ＤＣと平坦さ
を表す値ＭＡＤとを算出する。ここで、マクロブロック
の平均輝度値ＤＣとしては、例えば次式(7)に示すよう
に、マクロブロック内の輝度値Ｓi,jの絶対値の和の平
均を求める。 ＤＣ ＝ Σ｜Ｓi,j｜／２５６ （i=0〜15, j=0〜15) (7) また、平坦さを表す値ＭＡＤとしては、例えば次式(8)
に示すように、マクロブロック内の輝度値Ｓi,jと平均
輝度値ＤＣの差分の絶対値の和を求める。 ＭＡＤ ＝ Σ｜Ｓi,j−ＤＣ｜ （i=0〜15, j=0〜15) (8) このようにして算出したマクロブロックの平均輝度値Ｄ
Ｃと平坦さを表す値ＭＡＤは、ＭＣ／ＮｏｎＭＣ判定回
路８に出力される。
【００８２】上述した動きベクトル推定回路４からの動
きベクトルＭＶ及び動き予測残差ＭＥerrと、ＮｏｎＭ
Ｅerr算出回路５からの非動き補償時の残差ＮｏｎＭＥe
rrと、上記特徴両算出回路６からのマクロブロックの平
均輝度値ＤＣ及び平坦さを表す値ＭＡＤとが入力された
ＭＣ／ＮｏｎＭＣ判定回路８では、これら供給された情
報に基づいて、前述の本発明の原理にて述べたように適
応的にＭＣ／ＮｏｎＭＣ判定のための領域区分を変化さ
せて当該ＭＣ／ＮｏｎＭＣ判定を行う。
きベクトルＭＶ及び動き予測残差ＭＥerrと、ＮｏｎＭ
Ｅerr算出回路５からの非動き補償時の残差ＮｏｎＭＥe
rrと、上記特徴両算出回路６からのマクロブロックの平
均輝度値ＤＣ及び平坦さを表す値ＭＡＤとが入力された
ＭＣ／ＮｏｎＭＣ判定回路８では、これら供給された情
報に基づいて、前述の本発明の原理にて述べたように適
応的にＭＣ／ＮｏｎＭＣ判定のための領域区分を変化さ
せて当該ＭＣ／ＮｏｎＭＣ判定を行う。
【００８３】すなわち具体的に言うと、当該ＭＣ／Ｎｏ
ｎＭＣ判定回路８では、入力されたマクロブロックの平
均輝度値ＤＣと平坦さを表す値ＭＡＤが、共に予め定め
た閾値よりも大きい場合には入力動画像信号Ｓ２に対し
てＭＣ／ＮｏｎＭＣ判定を行い、逆に上記閾値以下であ
る場合にはＮｏｎＭＣを用いずＭＣのみとする判定処理
を行う。
ｎＭＣ判定回路８では、入力されたマクロブロックの平
均輝度値ＤＣと平坦さを表す値ＭＡＤが、共に予め定め
た閾値よりも大きい場合には入力動画像信号Ｓ２に対し
てＭＣ／ＮｏｎＭＣ判定を行い、逆に上記閾値以下であ
る場合にはＮｏｎＭＣを用いずＭＣのみとする判定処理
を行う。
【００８４】ここで、図３のフローチャートを用いて、
当該ＭＣ／ＮｏｎＭＣ判定回路８における動作を説明す
る。
当該ＭＣ／ＮｏｎＭＣ判定回路８における動作を説明す
る。
【００８５】図３において、先ずステップＳＴ１では、
現在の符号化対象のフレーム内で各マクロブロックのＭ
Ｃ／ＮｏｎＭＣ判定を開始する。
現在の符号化対象のフレーム内で各マクロブロックのＭ
Ｃ／ＮｏｎＭＣ判定を開始する。
【００８６】ステップＳＴ２では、マクロブロックの平
均輝度値ＤＣと平坦さを表す値ＭＡＤが、ＤＣ＞ａで且
つＭＡＤ＞ｂであるか否かの判定を行う。このステップ
ＳＴ２の判定において、ＤＣ＞ａで且つＭＡＤ＞ｂであ
るならば、通常の動き予測補償を選択し、ステップＳＴ
３の処理に移る。一方、ステップＳＴ２の判定におい
て、ＤＣ＞ａで且つＭＡＤ＞ｂでない場合には、前記図
１０に示した領域区分を選択し、ステップＳＴ４の処理
に移る。ここで、例えばａ＝６０であり、ｂ＝３８４で
ある。
均輝度値ＤＣと平坦さを表す値ＭＡＤが、ＤＣ＞ａで且
つＭＡＤ＞ｂであるか否かの判定を行う。このステップ
ＳＴ２の判定において、ＤＣ＞ａで且つＭＡＤ＞ｂであ
るならば、通常の動き予測補償を選択し、ステップＳＴ
３の処理に移る。一方、ステップＳＴ２の判定におい
て、ＤＣ＞ａで且つＭＡＤ＞ｂでない場合には、前記図
１０に示した領域区分を選択し、ステップＳＴ４の処理
に移る。ここで、例えばａ＝６０であり、ｂ＝３８４で
ある。
【００８７】上記ステップＳＴ３では、通常の動き補償
予測を行い、動きベクトルＭＶをそのまま出力して、ス
テップＳＴ７の処理に進む。なお、当該出力した動きベ
クトルＭＶは、そのマクロブロックの動画像信号Ｓ２と
共に動画像符号化回路９に入力される。
予測を行い、動きベクトルＭＶをそのまま出力して、ス
テップＳＴ７の処理に進む。なお、当該出力した動きベ
クトルＭＶは、そのマクロブロックの動画像信号Ｓ２と
共に動画像符号化回路９に入力される。
【００８８】また、ステップＳＴ４では、前記図１０の
領域区分に従ってＭＣ／ＮｏｎＭＣ判定を行う。このス
テップＳＴ４において、前記動き予測残差ＭＥerrと非
動き補償時の残差ＮｏｎＭＥerrとの比較から、前記図
１０のＭＣの領域にある場合はステップＳＴ５の処理に
進み、判定結果をＭＣとし、それ以外の場合はステップ
ＳＴ６に進み、判定結果をＮｏｎＭＣとする。なお、図
１０において図中の実線上はＭＣの領域に含むものとす
る。
領域区分に従ってＭＣ／ＮｏｎＭＣ判定を行う。このス
テップＳＴ４において、前記動き予測残差ＭＥerrと非
動き補償時の残差ＮｏｎＭＥerrとの比較から、前記図
１０のＭＣの領域にある場合はステップＳＴ５の処理に
進み、判定結果をＭＣとし、それ以外の場合はステップ
ＳＴ６に進み、判定結果をＮｏｎＭＣとする。なお、図
１０において図中の実線上はＭＣの領域に含むものとす
る。
【００８９】ステップＳＴ５では、入力された動きベク
トルＭＶをそのまま出力し、ステップＳＴ７の処理に進
む。また、ステップＳＴ６では、入力された動きベクト
ルＭＶを（０，０）に変えて出力し、ステップＳＴ７の
処理に進む。なお、これら出力した動きベクトルＭＶ
は、そのマクロブロックの動画像信号Ｓ２と共に動画像
符号化回路９に入力される。
トルＭＶをそのまま出力し、ステップＳＴ７の処理に進
む。また、ステップＳＴ６では、入力された動きベクト
ルＭＶを（０，０）に変えて出力し、ステップＳＴ７の
処理に進む。なお、これら出力した動きベクトルＭＶ
は、そのマクロブロックの動画像信号Ｓ２と共に動画像
符号化回路９に入力される。
【００９０】ステップＳＴ７では、現在のマクロブロッ
クがフレーム内の最後のマクロブロックであるか否かの
判定を行う。現在のマクロブロックがフレーム内の最後
のマクロブロックであると判定された場合はステップＳ
Ｔ９の処理に進み、そうでない場合はステップＳＴ２に
戻り、次のマクロブロックの処理を行う。
クがフレーム内の最後のマクロブロックであるか否かの
判定を行う。現在のマクロブロックがフレーム内の最後
のマクロブロックであると判定された場合はステップＳ
Ｔ９の処理に進み、そうでない場合はステップＳＴ２に
戻り、次のマクロブロックの処理を行う。
【００９１】ステップＳＴ９では、現在の符号化対象画
像のフレーム内でのＭＣ／ＮｏｎＭＣ判定を終え、次の
フレームを符号化対象画像として当該図３のフローチャ
ートの処理を行う。
像のフレーム内でのＭＣ／ＮｏｎＭＣ判定を終え、次の
フレームを符号化対象画像として当該図３のフローチャ
ートの処理を行う。
【００９２】以上のようにしてＭＣ／ＮｏｎＭＣ判定回
路８ではＭＣ／ＮｏｎＭＣ判定を行う。
路８ではＭＣ／ＮｏｎＭＣ判定を行う。
【００９３】動画像符号化回路９は、前述した図１１と
同じ構成を有するものであり、前記図１１にて説明した
のと同じ動作を行うので、ここではその説明を省略す
る。なお、この場合の図１１の入力動画像信号Ｓ６０
は、図２の構成においてスキャンコンバータ３から供給
される動画像信号Ｓ２のことであり、前記端子６１には
図２のＭＣ／ＮｏｎＭＣ判定回路８からの動きベクトル
ＭＶが供給される。
同じ構成を有するものであり、前記図１１にて説明した
のと同じ動作を行うので、ここではその説明を省略す
る。なお、この場合の図１１の入力動画像信号Ｓ６０
は、図２の構成においてスキャンコンバータ３から供給
される動画像信号Ｓ２のことであり、前記端子６１には
図２のＭＣ／ＮｏｎＭＣ判定回路８からの動きベクトル
ＭＶが供給される。
【００９４】次に、図４には、本発明の画像信号符号化
方法及び画像信号伝送方法が適用される画像信号符号化
装置１１の第２の構成例を示す。
方法及び画像信号伝送方法が適用される画像信号符号化
装置１１の第２の構成例を示す。
【００９５】ここで、この図４に示す第２の構成例で
は、前記図２に示した第１の構成例のＮｏｎＭＥerr算
出回路５の代わりにＡＣＭＥerr算出回路１５を用いて
前記ＡＣＭＥerrを算出してＭＣ／ＮｏｎＭＣ判定を行
うようにしている。このようにすることで、例えばフェ
ード画像においても効果的なＭＣ／ＮｏｎＭＣ判定を行
えるようになる。
は、前記図２に示した第１の構成例のＮｏｎＭＥerr算
出回路５の代わりにＡＣＭＥerr算出回路１５を用いて
前記ＡＣＭＥerrを算出してＭＣ／ＮｏｎＭＣ判定を行
うようにしている。このようにすることで、例えばフェ
ード画像においても効果的なＭＣ／ＮｏｎＭＣ判定を行
えるようになる。
【００９６】なお、この図４中のＡＣＭＥerr算出回路
１５とＭＣ／ＮｏｎＭＣ判定回路１８を除く、入力端子
１２，スキャンコンバータ１３，動きベクトル推定回路
１４，特徴量算出回路１６，参照画像記憶部１７，動画
像符号化回路１９，出力端子２０は、各々図２の入力端
子２，スキャンコンバータ３，動きベクトル推定回路
４，特徴量算出回路６，参照画像記憶部７，動画像符号
化回路９，出力端子１０と対応しており、動作は全く同
じであるため、説明を省略する。また、図４中の信号Ｓ
１２は、前記図２の動画像符号化回路９における入力動
画像信号Ｓ２に対応している。
１５とＭＣ／ＮｏｎＭＣ判定回路１８を除く、入力端子
１２，スキャンコンバータ１３，動きベクトル推定回路
１４，特徴量算出回路１６，参照画像記憶部１７，動画
像符号化回路１９，出力端子２０は、各々図２の入力端
子２，スキャンコンバータ３，動きベクトル推定回路
４，特徴量算出回路６，参照画像記憶部７，動画像符号
化回路９，出力端子１０と対応しており、動作は全く同
じであるため、説明を省略する。また、図４中の信号Ｓ
１２は、前記図２の動画像符号化回路９における入力動
画像信号Ｓ２に対応している。
【００９７】この図４のＡＣＭＥerr算出回路１５にお
いては、前記式(4)、式(5)、式(6)を用いて、前記現在
の符号化対象のマクロブロックと動きベクトル（０，
０）の参照画像のマクロブロックのＡＣ成分の差分の絶
対値和ＡＣＭＥerrを求める。
いては、前記式(4)、式(5)、式(6)を用いて、前記現在
の符号化対象のマクロブロックと動きベクトル（０，
０）の参照画像のマクロブロックのＡＣ成分の差分の絶
対値和ＡＣＭＥerrを求める。
【００９８】ＭＣ／ＮｏｎＭＣ判定回路１８では、入力
されたマクロブロックの平均輝度値ＤＣと平坦さを表す
値ＭＡＤより、入力動画像信号Ｓ１２のＭＣ／ＮｏｎＭ
Ｃ判定に用いる領域区分を選択し、選択した領域区分と
入力された動き予測残差ＭＥerrとＡＣＭＥerrとから、
ＭＣ／ＮｏｎＭＣの判定を行う。
されたマクロブロックの平均輝度値ＤＣと平坦さを表す
値ＭＡＤより、入力動画像信号Ｓ１２のＭＣ／ＮｏｎＭ
Ｃ判定に用いる領域区分を選択し、選択した領域区分と
入力された動き予測残差ＭＥerrとＡＣＭＥerrとから、
ＭＣ／ＮｏｎＭＣの判定を行う。
【００９９】以下、図５のフローチャートを用いて、図
４のＭＣ／ＮｏｎＭＣ判定回路１８における動作を説明
する。
４のＭＣ／ＮｏｎＭＣ判定回路１８における動作を説明
する。
【０１００】この図５において、先ずステップＳＴ１１
では、現在の符号化対象のフレーム内で各マクロブロッ
クのＭＣ／ＮｏｎＭＣ判定を開始する。
では、現在の符号化対象のフレーム内で各マクロブロッ
クのＭＣ／ＮｏｎＭＣ判定を開始する。
【０１０１】ステップＳＴ１２では、マクロブロックの
平均輝度値ＤＣと平坦さを表す値ＭＡＤが、ＤＣ＞ａで
且つＭＡＤ＞ｂであるか否かの判定を行う。このステッ
プＳＴ１２の判定において、ＤＣ＞ａで且つＭＡＤ＞ｂ
であるならば、前記図１３の領域区分を選択し、ステッ
プＳＴ１３の処理に移る。一方、ステップＳＴ１２の判
定において、ＤＣ＞ａで且つＭＡＤ＞ｂでない場合に
は、前記図１に示した領域区分を選択し、ステップＳＴ
１６の処理に移る。ここで、例えばａ＝６０であり、ｂ
＝３８４である。
平均輝度値ＤＣと平坦さを表す値ＭＡＤが、ＤＣ＞ａで
且つＭＡＤ＞ｂであるか否かの判定を行う。このステッ
プＳＴ１２の判定において、ＤＣ＞ａで且つＭＡＤ＞ｂ
であるならば、前記図１３の領域区分を選択し、ステッ
プＳＴ１３の処理に移る。一方、ステップＳＴ１２の判
定において、ＤＣ＞ａで且つＭＡＤ＞ｂでない場合に
は、前記図１に示した領域区分を選択し、ステップＳＴ
１６の処理に移る。ここで、例えばａ＝６０であり、ｂ
＝３８４である。
【０１０２】ステップＳＴ１３では前記図１３の領域区
分に従ってＭＣ／ＮｏｎＭＣ判定を行う。すなわち、当
該ステップＳＴ１３においては、前記図１３の領域区分
を用い、以下の式(9)〜式(11)の全てを満たす場合はＭ
Ｃと判定してステップＳＴ１４の処理に進み、それ以外
の場合はＮｏｎＭＣと判定してステップＳＴ１５の処理
に進む。
分に従ってＭＣ／ＮｏｎＭＣ判定を行う。すなわち、当
該ステップＳＴ１３においては、前記図１３の領域区分
を用い、以下の式(9)〜式(11)の全てを満たす場合はＭ
Ｃと判定してステップＳＴ１４の処理に進み、それ以外
の場合はＮｏｎＭＣと判定してステップＳＴ１５の処理
に進む。
【０１０３】 ＡＣＭＥerr ＞ ｙ１ (9) ｘ２×ＡＣＭＥerr ＞ ｙ２×ＭＥerr (10) ＡＣＭＥerr ＞ ＭＥerr ＋（ｘ２−ｙ２） (11) ステップＳＴ１４では、入力された動きベクトルＭＶを
そのまま出力し、ステップＳＴ１９の処理に進む。一
方、ステップＳＴ１５では入力された動きベクトルＭＶ
を（０，０）に変えて出力し、ステップＳＴ１９の処理
に進む。これら出力した動きベクトルＭＶは、そのマク
ロブロックの動画像信号Ｓ１２と共に動画像符号化回路
１９に入力される。
そのまま出力し、ステップＳＴ１９の処理に進む。一
方、ステップＳＴ１５では入力された動きベクトルＭＶ
を（０，０）に変えて出力し、ステップＳＴ１９の処理
に進む。これら出力した動きベクトルＭＶは、そのマク
ロブロックの動画像信号Ｓ１２と共に動画像符号化回路
１９に入力される。
【０１０４】また、ステップＳＴ１６では、前記図１の
領域区分に従ってＭＣ／ＮｏｎＭＣ判定を行う。すなわ
ち、当該ステップＳＴ１６においては、前記図１の領域
区分を用い、以下の式(12)，式(13)の全てを満たす場合
はＭＣと判定してステップＳＴ１７の処理に進み、それ
以外の場合はＮｏｎＭＣと判定してステップＳＴ１８の
処理に進む。
領域区分に従ってＭＣ／ＮｏｎＭＣ判定を行う。すなわ
ち、当該ステップＳＴ１６においては、前記図１の領域
区分を用い、以下の式(12)，式(13)の全てを満たす場合
はＭＣと判定してステップＳＴ１７の処理に進み、それ
以外の場合はＮｏｎＭＣと判定してステップＳＴ１８の
処理に進む。
【０１０５】 ＡＣＭＥerr ＞ ｙ３ (12) ＡＣＭＥerr ＞ ＭＥerr ＋（ｘ３−ｙ３） (13) ステップＳＴ１７では入力された動きベクトルＭＶをそ
のまま出力し、ステップＳＴ１９の処理に進む。一方、
ステップＳＴ１８では、入力された動きベクトルを
（０，０）に変えて出力し、ステップＳＴ１９の処理に
進む。これら出力した動きベクトルＭＶは、そのマクロ
ブロックの動画像信号Ｓ１２と共に動画像符号化回路１
９に入力される。
のまま出力し、ステップＳＴ１９の処理に進む。一方、
ステップＳＴ１８では、入力された動きベクトルを
（０，０）に変えて出力し、ステップＳＴ１９の処理に
進む。これら出力した動きベクトルＭＶは、そのマクロ
ブロックの動画像信号Ｓ１２と共に動画像符号化回路１
９に入力される。
【０１０６】ステップＳＴ１９では、現在のマクロブロ
ックがフレーム内の最後のマクロブロックであるか否か
の判定を行う。このステップＳＴ１９において現在のマ
クロブロックがフレーム内の最後のマクロブロックであ
ると判定された場合は、ステップＳＴ２０の処理に進
む。そうでない場合はステップＳＴ１２に戻り、次のマ
クロブロックの処理を行う。
ックがフレーム内の最後のマクロブロックであるか否か
の判定を行う。このステップＳＴ１９において現在のマ
クロブロックがフレーム内の最後のマクロブロックであ
ると判定された場合は、ステップＳＴ２０の処理に進
む。そうでない場合はステップＳＴ１２に戻り、次のマ
クロブロックの処理を行う。
【０１０７】ステップＳＴ２０では、現在の符号化対象
画像のフレーム内でのＭＣ／ＮｏｎＭＣ判定を終え、次
のフレームを符号化対象画像として当該図５のフローチ
ャートの処理を行う。
画像のフレーム内でのＭＣ／ＮｏｎＭＣ判定を終え、次
のフレームを符号化対象画像として当該図５のフローチ
ャートの処理を行う。
【０１０８】以上のようにしてＭＣ／ＮｏｎＭＣ判定回
路１８ではＭＣ／ＮｏｎＭＣ判定を行う。
路１８ではＭＣ／ＮｏｎＭＣ判定を行う。
【０１０９】図４の構成の動画像符号回路１９は、前記
図１の動画像符号化装置９（すなわち図１１の構成）と
全く同じ動作を行うので説明を省略する。なお、この場
合の前記図１１の入力動画像信号Ｓ６０は、図４の構成
においてスキャンコンバータ１３から供給される動画像
信号Ｓ１２のことであり、前記端子６１には図４のＭＣ
／ＮｏｎＭＣ判定回路１８からの動きベクトルＭＶが供
給される。
図１の動画像符号化装置９（すなわち図１１の構成）と
全く同じ動作を行うので説明を省略する。なお、この場
合の前記図１１の入力動画像信号Ｓ６０は、図４の構成
においてスキャンコンバータ１３から供給される動画像
信号Ｓ１２のことであり、前記端子６１には図４のＭＣ
／ＮｏｎＭＣ判定回路１８からの動きベクトルＭＶが供
給される。
【０１１０】以上のように、本発明実施例の動画像信号
符号化装置においては、動画像信号を所定の予測画像信
号を用いて動き補償予測符号化する際に、マクロブロッ
ク（所定映像単位）の画像信号より平均輝度値と平坦さ
を算出し、当該算出した輝度及び平坦さに応じて、マク
ロブロックの画像信号に動き補償予測を適用するか、動
きを補償しない予測を適用するかを判定し、現在の画像
を符号化している。
符号化装置においては、動画像信号を所定の予測画像信
号を用いて動き補償予測符号化する際に、マクロブロッ
ク（所定映像単位）の画像信号より平均輝度値と平坦さ
を算出し、当該算出した輝度及び平坦さに応じて、マク
ロブロックの画像信号に動き補償予測を適用するか、動
きを補償しない予測を適用するかを判定し、現在の画像
を符号化している。
【０１１１】以上の構成によれば、予測を行う際に、Ｍ
Ｃ／ＮｏｎＭＣの判定を行うことにより、符号化効率の
悪くなるような動き補償を行うことが少なくなる。ま
た、マクロブロック単位の画像信号の輝度の平均値と平
坦さを表す値によって、ＭＣ／ＮｏｎＭＣの判定を適応
的に選択することにより、より効率の良いＭＣ／Ｎｏｎ
ＭＣの判定を行うことが可能となる。したがって、これ
らの効果により動画像の符号化効率を向上させ、主観画
質を格段に向上させることができる。
Ｃ／ＮｏｎＭＣの判定を行うことにより、符号化効率の
悪くなるような動き補償を行うことが少なくなる。ま
た、マクロブロック単位の画像信号の輝度の平均値と平
坦さを表す値によって、ＭＣ／ＮｏｎＭＣの判定を適応
的に選択することにより、より効率の良いＭＣ／Ｎｏｎ
ＭＣの判定を行うことが可能となる。したがって、これ
らの効果により動画像の符号化効率を向上させ、主観画
質を格段に向上させることができる。
【０１１２】なお、上述の第２の構成例においては、Ｍ
Ｃ／ＮｏｎＭＣの判定のための指標として、ＡＣ成分を
用いる場合について説明したが、本発明はこれに限ら
ず、ＭＣ／ＮｏｎＭＣの判定のための指標として色差値
などを用いてもよい。この場合は、図２或いは図４にお
いて、ＮｏｎＭＥerr算出回路５やＡＣＭＥerr算出回路
１５に代えて、マクロブロック毎に色差値を算出する構
成が用いられる。この場合のＭＣ／ＮｏｎＭＣ判定回路
は、図２或いは図４において、前記ＮｏｎＭＥerrやＡ
ＣＭＥerrに代えて上記色差値を用いてＭＣ／ＮｏｎＭ
Ｃ判定を行う。
Ｃ／ＮｏｎＭＣの判定のための指標として、ＡＣ成分を
用いる場合について説明したが、本発明はこれに限ら
ず、ＭＣ／ＮｏｎＭＣの判定のための指標として色差値
などを用いてもよい。この場合は、図２或いは図４にお
いて、ＮｏｎＭＥerr算出回路５やＡＣＭＥerr算出回路
１５に代えて、マクロブロック毎に色差値を算出する構
成が用いられる。この場合のＭＣ／ＮｏｎＭＣ判定回路
は、図２或いは図４において、前記ＮｏｎＭＥerrやＡ
ＣＭＥerrに代えて上記色差値を用いてＭＣ／ＮｏｎＭ
Ｃ判定を行う。
【０１１３】また、上述の第２の構成例においては、Ａ
ＣＭＥerrを式(4)のようにして求めたが、本発明はこれ
に限らず、輝度値の偏差の差分などを用いて求めても良
い。
ＣＭＥerrを式(4)のようにして求めたが、本発明はこれ
に限らず、輝度値の偏差の差分などを用いて求めても良
い。
【０１１４】さらに、上述の第２の構成例においては、
ＭＣ／ＮｏｎＭＣ判定のための領域区分を２種類用意
し、マクロブロックの特徴量に応じて適応的にその中か
ら選択しているが、さらに多くの領域区分を用意して、
多段階で適応的に切り替えるようにしても良い。
ＭＣ／ＮｏｎＭＣ判定のための領域区分を２種類用意
し、マクロブロックの特徴量に応じて適応的にその中か
ら選択しているが、さらに多くの領域区分を用意して、
多段階で適応的に切り替えるようにしても良い。
【０１１５】これらにより動き補償／非動き補償の判定
の効率を更に向上させることも可能である。
の効率を更に向上させることも可能である。
【０１１６】次に、上述した第１、第２の構成例の動画
像信号符号化装置での符号化により得られた符号化ビッ
トストリーム（出力ビットストリーム）は、本発明に係
る信号記録媒体に記録されたり、伝送路を介して伝送さ
れることになる。
像信号符号化装置での符号化により得られた符号化ビッ
トストリーム（出力ビットストリーム）は、本発明に係
る信号記録媒体に記録されたり、伝送路を介して伝送さ
れることになる。
【０１１７】すなわち、前述した図２や図４の動画像符
号化回路９，１９から出力された出力ビットストリーム
は、信号記録媒体の一例として光ディスク１０４に記録
されたり、伝送路に伝送されたりする。
号化回路９，１９から出力された出力ビットストリーム
は、信号記録媒体の一例として光ディスク１０４に記録
されたり、伝送路に伝送されたりする。
【０１１８】前記図２及び図４において、上記出力ビッ
トストリームを光ディスク１０４に記録する場合、前記
出力端子１０或いは２０から出力された出力ビットスト
リーム及び量子化スケール等の後の復号化に必要な情報
からなるデータ列は、誤り訂正エンコーダ（ＥＣＣエン
コーダ）１０１によってエラーコレクションコードが付
加され、変調回路１０２に送られる。当該変調回路１０
２では上記誤り訂正エンコーダ１０１の出力に対して、
所定の変調処理、例えばいわゆる８−１４変調（ＥＭ
Ｆ：Eight to Fourteen Modulation）或いは８−１６変
調等を施す。これらの変調処理は、ディジタル信号を光
ディスク１０４の伝送特性に合わせるために、上記エン
コーダされたデータ（８ビット）を１４ビットや１６ビ
ットに変換する変調方式である。この変調回路１０２の
出力は記録ヘッド１０３に送られ、当該記録ヘッド１０
３にて光ディスク１０４に記録される。なお、図２及び
図４の例では、信号記録媒体として光ディスクを例に挙
げたが、ハードディスクやフレキシブルディスク等の磁
気ディスク媒体や、磁気テープ等のテープ状記録媒体、
ＩＣカードや各種メモリ素子等の半導体記憶媒体等の記
録媒体であってもよい。また、光ディスクとしては、物
理的にピットを形成して記録がなされるディスクや、光
磁気ディスクの他に、相変化型光ディスクや有機色素型
光ディスク、紫外線レーザ光により記録がなされる光デ
ィスク、多層記録膜を有する光ディスク等の各種のディ
スクを用いることができる。
トストリームを光ディスク１０４に記録する場合、前記
出力端子１０或いは２０から出力された出力ビットスト
リーム及び量子化スケール等の後の復号化に必要な情報
からなるデータ列は、誤り訂正エンコーダ（ＥＣＣエン
コーダ）１０１によってエラーコレクションコードが付
加され、変調回路１０２に送られる。当該変調回路１０
２では上記誤り訂正エンコーダ１０１の出力に対して、
所定の変調処理、例えばいわゆる８−１４変調（ＥＭ
Ｆ：Eight to Fourteen Modulation）或いは８−１６変
調等を施す。これらの変調処理は、ディジタル信号を光
ディスク１０４の伝送特性に合わせるために、上記エン
コーダされたデータ（８ビット）を１４ビットや１６ビ
ットに変換する変調方式である。この変調回路１０２の
出力は記録ヘッド１０３に送られ、当該記録ヘッド１０
３にて光ディスク１０４に記録される。なお、図２及び
図４の例では、信号記録媒体として光ディスクを例に挙
げたが、ハードディスクやフレキシブルディスク等の磁
気ディスク媒体や、磁気テープ等のテープ状記録媒体、
ＩＣカードや各種メモリ素子等の半導体記憶媒体等の記
録媒体であってもよい。また、光ディスクとしては、物
理的にピットを形成して記録がなされるディスクや、光
磁気ディスクの他に、相変化型光ディスクや有機色素型
光ディスク、紫外線レーザ光により記録がなされる光デ
ィスク、多層記録膜を有する光ディスク等の各種のディ
スクを用いることができる。
【０１１９】一方、伝送路に伝送する場合、上記データ
列は、誤り訂正エンコーダ１１１にてエラーコレクショ
ンコードが付加され、インターフェイス回路１１２及び
端子１１３を介して伝送路に出力される。なお、この伝
送路としては、通常のケーブルのみならず、電波或いは
光による送信も含まれる。
列は、誤り訂正エンコーダ１１１にてエラーコレクショ
ンコードが付加され、インターフェイス回路１１２及び
端子１１３を介して伝送路に出力される。なお、この伝
送路としては、通常のケーブルのみならず、電波或いは
光による送信も含まれる。
【０１２０】上述のようにして信号記録媒体に記録され
たデータ列、或いは伝送路を介して伝送されたデータ列
は、従来同様の復号装置（動画像信号復号装置）にて復
号再生されることになる。この場合、従来の動画像信号
符号化装置を用いて符号化したものを復号再生した場合
よりも良好な再生画像が得られることになる。
たデータ列、或いは伝送路を介して伝送されたデータ列
は、従来同様の復号装置（動画像信号復号装置）にて復
号再生されることになる。この場合、従来の動画像信号
符号化装置を用いて符号化したものを復号再生した場合
よりも良好な再生画像が得られることになる。
【０１２１】
【発明の効果】上述のように本発明においては、動画像
信号を動き補償予測符号化する際に、入力画像のブロッ
ク（マクロブロック）の特徴量を用いて動き補償／非動
き補償（ＭＣ／ＮｏｎＭＣ）の判定方式を適応的に切り
替えるようにし、また、動き予測参照画像からのマクロ
ブロックの予測残差と動きベクトル（０，０）のマクロ
ブロックのＡＣ成分の差分を比較して、ＭＣ／ＮｏｎＭ
Ｃの判定を行うようにすることにより、動きが無く、ノ
イズの影響を受けている画像や、輝度値が大きく変化し
ているような画像、動きが無い全体に平坦で暗い画像に
対して、動きベクトルを強制的に（０，０）とするモー
ドを効果的に用いることが可能となる。すなわち、本発
明によれば、画像の平坦部で動き予測残差の小さい場合
でも、固定ノイズの発生を防止できると共に、画質を劣
化させることなく動きベクトルを（０，０）とすること
で動画像信号の符号化効率を一段と向上させ、主観画質
を改善し得る。
信号を動き補償予測符号化する際に、入力画像のブロッ
ク（マクロブロック）の特徴量を用いて動き補償／非動
き補償（ＭＣ／ＮｏｎＭＣ）の判定方式を適応的に切り
替えるようにし、また、動き予測参照画像からのマクロ
ブロックの予測残差と動きベクトル（０，０）のマクロ
ブロックのＡＣ成分の差分を比較して、ＭＣ／ＮｏｎＭ
Ｃの判定を行うようにすることにより、動きが無く、ノ
イズの影響を受けている画像や、輝度値が大きく変化し
ているような画像、動きが無い全体に平坦で暗い画像に
対して、動きベクトルを強制的に（０，０）とするモー
ドを効果的に用いることが可能となる。すなわち、本発
明によれば、画像の平坦部で動き予測残差の小さい場合
でも、固定ノイズの発生を防止できると共に、画質を劣
化させることなく動きベクトルを（０，０）とすること
で動画像信号の符号化効率を一段と向上させ、主観画質
を改善し得る。
【図１】本発明実施例におけるＭＣ／ＮｏｎＭＣ判定の
領域区分を示す図である。
領域区分を示す図である。
【図２】本発明実施例による動画像信号符号化装置の第
１の構成例を示すブロック回路図である。
１の構成例を示すブロック回路図である。
【図３】本発明実施例の第１の構成例におけるＭＣ／Ｎ
ｏｎＭＣ判定の動作の説明に供するフローチャートであ
る。
ｏｎＭＣ判定の動作の説明に供するフローチャートであ
る。
【図４】本発明実施例による動画像信号符号化装置の第
２の構成を示すブロック回路図である。
２の構成を示すブロック回路図である。
【図５】本発明実施例の第２の構成例におけるＭＣ／Ｎ
ｏｎＭＣ判定の動作の説明に供するフローチャートであ
る。
ｏｎＭＣ判定の動作の説明に供するフローチャートであ
る。
【図６】動き補償の説明に供する図である。
【図７】動き補償と非動き補償の説明に供する図であ
る。
る。
【図８】ＭＰＥＧのＳＭ３の動画像信号符号化装置の構
成例を示すブロック回路図である。
成例を示すブロック回路図である。
【図９】画像データの構造を示す図である。
【図１０】ＭＰＥＧのＳＭ３におけるＭＣ／ＮｏｎＭＣ
判定の領域区分を示す図である。
判定の領域区分を示す図である。
【図１１】動画像信号符号化装置内の動画像符号化回路
の構成例を示すブロック回路図である。
の構成例を示すブロック回路図である。
【図１２】ＡＣ成分の差分の絶対値和を用いてＭＣ／Ｎ
ｏｎＭＣ判定を行う動画像信号符号化装置の構成例を示
すブロック回路図である。
ｏｎＭＣ判定を行う動画像信号符号化装置の構成例を示
すブロック回路図である。
【図１３】ＡＣ成分の差分の絶対値和を用いたＭＣ／Ｎ
ｏｎＭＣ判定の領域区分を示す図である。
ｏｎＭＣ判定の領域区分を示す図である。
【図１４】ＮｏｎＭＣの誤検出による画質劣化の説明に
供する図である。
供する図である。
１，１１ 動画像信号符号化装置、 ２，１２ 入力端
子、 ３，１３ スキャンコンバータ、 ４，１４ 動
きベクトル推定回路、 ５ ＮｏｎＭＣＥerr算出回
路、 ６，１６ 特徴量算出回路、 ７，１７ 参照画
像記憶部、 ８，１８ ＭＣ／ＮｏｎＭＣ判定回路、
９，１９ 動画像符号化回路、 １０，２０ 出力端
子、 １５ ＡＣＭＥerr算出回路
子、 ３，１３ スキャンコンバータ、 ４，１４ 動
きベクトル推定回路、 ５ ＮｏｎＭＣＥerr算出回
路、 ６，１６ 特徴量算出回路、 ７，１７ 参照画
像記憶部、 ８，１８ ＭＣ／ＮｏｎＭＣ判定回路、
９，１９ 動画像符号化回路、 １０，２０ 出力端
子、 １５ ＡＣＭＥerr算出回路
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成９年１１月２１日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正内容】
【００４０】 ＡＣＭＥerr ＝ Σ｜(Ｓi,j−Ｓav)−(Ｒi,j−Ｒ０av)｜ （i=0〜15, j=0〜15) (4) ここに、式中のＳは現在の符号化対象画像のマクロブロ
ックの輝度値の平均値、Ｒ０avは予測参照画像の動きベ
クトル（０，０）のマクロブロックの輝度値の平均値
で、各々以下の式(5)，式(6)で求める。
ックの輝度値の平均値、Ｒ０avは予測参照画像の動きベ
クトル（０，０）のマクロブロックの輝度値の平均値
で、各々以下の式(5)，式(6)で求める。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正内容】
【００７６】上記スキャンコンバータ３によって上記ブ
ロックフォーマットの信号に変換された動画像信号Ｓ２
は、動きベクトル推定回路４、ＮｏｎＭＥerr算出回路
５、特徴量算出回路６及び動画像符号化回路９に送出さ
れる。
ロックフォーマットの信号に変換された動画像信号Ｓ２
は、動きベクトル推定回路４、ＮｏｎＭＥerr算出回路
５、特徴量算出回路６及び動画像符号化回路９に送出さ
れる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１１８
【補正方法】変更
【補正内容】
【０１１８】前記図２及び図４において、上記出力ビッ
トストリームを光ディスク１０４に記録する場合、前記
出力端子１０或いは２０から出力された出力ビットスト
リーム及び量子化スケール等の後の復号化に必要な情報
からなるデータ列は、誤り訂正エンコーダ（ＥＣＣエン
コーダ）１０１によってエラーコレクションコードが付
加され、変調回路１０２に送られる。当該変調回路１０
２では上記誤り訂正エンコーダ１０１の出力に対して、
所定の変調処理、例えばいわゆる８−１４変調（ＥＦ
Ｍ：Eight to Fourteen Modulation）或いは８−１６変
調等を施す。これらの変調処理は、ディジタル信号を光
ディスク１０４の伝送特性に合わせるために、上記エン
コーダされたデータ（８ビット）を１４ビットや１６ビ
ットに変換する変調方式である。この変調回路１０２の
出力は記録ヘッド１０３に送られ、当該記録ヘッド１０
３にて光ディスク１０４に記録される。なお、図２及び
図４の例では、信号記録媒体として光ディスクを例に挙
げたが、ハードディスクやフレキシブルディスク等の磁
気ディスク媒体や、磁気テープ等のテープ状記録媒体、
ＩＣカードや各種メモリ素子等の半導体記憶媒体等の記
録媒体であってもよい。また、光ディスクとしては、物
理的にピットを形成して記録がなされるディスクや、光
磁気ディスクの他に、相変化型光ディスクや有機色素型
光ディスク、紫外線レーザ光により記録がなされる光デ
ィスク、多層記録膜を有する光ディスク等の各種のディ
スクを用いることができる。
トストリームを光ディスク１０４に記録する場合、前記
出力端子１０或いは２０から出力された出力ビットスト
リーム及び量子化スケール等の後の復号化に必要な情報
からなるデータ列は、誤り訂正エンコーダ（ＥＣＣエン
コーダ）１０１によってエラーコレクションコードが付
加され、変調回路１０２に送られる。当該変調回路１０
２では上記誤り訂正エンコーダ１０１の出力に対して、
所定の変調処理、例えばいわゆる８−１４変調（ＥＦ
Ｍ：Eight to Fourteen Modulation）或いは８−１６変
調等を施す。これらの変調処理は、ディジタル信号を光
ディスク１０４の伝送特性に合わせるために、上記エン
コーダされたデータ（８ビット）を１４ビットや１６ビ
ットに変換する変調方式である。この変調回路１０２の
出力は記録ヘッド１０３に送られ、当該記録ヘッド１０
３にて光ディスク１０４に記録される。なお、図２及び
図４の例では、信号記録媒体として光ディスクを例に挙
げたが、ハードディスクやフレキシブルディスク等の磁
気ディスク媒体や、磁気テープ等のテープ状記録媒体、
ＩＣカードや各種メモリ素子等の半導体記憶媒体等の記
録媒体であってもよい。また、光ディスクとしては、物
理的にピットを形成して記録がなされるディスクや、光
磁気ディスクの他に、相変化型光ディスクや有機色素型
光ディスク、紫外線レーザ光により記録がなされる光デ
ィスク、多層記録膜を有する光ディスク等の各種のディ
スクを用いることができる。
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正内容】
【図３】
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正内容】
【図５】
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正内容】
【図８】
【手続補正７】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正内容】
【図１２】
Claims (10)
- 【請求項１】 動画像信号を構成する画像を複数のブロ
ックに分割し、動き補償を行ったときの上記ブロックの
動きベクトル推定残差の大きさと動き補償を行わないと
きの上記ブロックの残差の大きさとを比較して動き補償
／非動き補償判定を行い、当該判定結果に基づいて各ブ
ロック毎に動き補償予測符号化を行う動画像信号符号化
方法において、 上記ブロック毎の輝度の平均値と平坦さを表す値を算出
し、 上記ブロックの輝度の平均値と平坦さを表す値とに基づ
いて、上記動き補償／非動き補償判定での大きさ比較に
用いる判定領域区分を適応的に選択することを特徴とす
る動画像信号符号化方法。 - 【請求項２】 上記動き補償を行わないときの上記ブロ
ックの残差として当該ブロックのＡＣ成分の差分を算出
することを特徴とする請求項１記載の動画像信号符号化
方法。 - 【請求項３】 上記ブロックの輝度の平均値が低く平坦
なときには、動き補償を行わない非動き補償の上記判定
領域区分を広くすることを特徴とする請求項１記載の動
画像信号符号化方法。 - 【請求項４】 動画像信号を構成する画像を複数のブロ
ックに分割するブロック分割手段と、 動き補償を行ったときの上記ブロックの動きベクトル推
定残差を算出する動きベクトル推定残差算出手段と、 動き補償を行わないときの上記ブロックの残差を算出す
るブロック残差算出手段と、 上記ブロック毎の輝度の平均値と平坦さを表す値を算出
する特徴量算出手段と、 上記動き補償を行ったときのブロックの動きベクトル推
定残差の大きさと上記動き補償を行わないときの上記ブ
ロックの残差の大きさとを比較して動き補償／非動き補
償判定を行う動き補償／非動き補償判定手段と、 上記動き補償／非動き補償判定手段の判定結果に基づい
て、上記各ブロック毎に動き補償予測符号化を行う動画
像符号化手段とを有してなり、 上記動き補償／非動き補償判定手段では、上記ブロック
の輝度の平均値と平坦さを表す値とに基づいて、上記動
き補償／非動き補償判定での大きさ比較に用いる判定領
域区分を適応的に選択することを特徴とする動画像信号
符号化装置。 - 【請求項５】 上記ブロック残差算出手段は、上記動き
補償を行わないときの上記ブロックの残差として当該ブ
ロックのＡＣ成分の差分を算出することを特徴とする請
求項４記載の動画像信号符号化装置。 - 【請求項６】 上記動き補償／非動き補償判定手段は、
上記ブロックの輝度の平均値が低く平坦なときには動き
補償を行わない非動き補償の上記判定領域区分を広くす
ることを特徴とする請求項４記載の動画像信号符号化装
置。 - 【請求項７】 動画像信号を構成する画像を複数のブロ
ックに分割し、動き補償を行ったときの上記ブロックの
動きベクトル推定残差の大きさと動き補償を行わないと
きの上記ブロックの残差の大きさとを比較して動き補償
／非動き補償判定を行い、当該判定結果に基づいて各ブ
ロック毎に動き補償予測符号化を行って符号化ビットス
トリームを生成し、当該符号化ビットストリームを伝送
する動画像信号伝送方法において、 上記ブロック毎の輝度の平均値と平坦さを表す値を算出
し、 上記ブロックの輝度の平均値と平坦さを表す値とに基づ
いて、上記動き補償／非動き補償判定での大きさ比較に
用いる判定領域区分を適応的に選択することを特徴とす
る動画像信号伝送方法。 - 【請求項８】 上記動き補償を行わないときの上記ブロ
ックの残差として当該ブロックのＡＣ成分の差分を算出
することを特徴とする請求項７記載の動画像信号伝送方
法。 - 【請求項９】 上記ブロックの輝度の平均値が低く平坦
なときには、動き補償を行わない非動き補償の上記判定
領域区分を広くすることを特徴とする請求項７記載の動
画像信号伝送方法。 - 【請求項１０】 動画像信号を構成する画像を複数のブ
ロックに分割し、動き補償を行ったときの上記ブロック
の動きベクトル推定残差の大きさと動き補償を行わない
ときの上記ブロックの残差の大きさとを比較して動き補
償／非動き補償判定を行う際に、上記ブロック毎の輝度
の平均値と平坦さを表す値とに基づいて上記動き補償／
非動き補償判定での大きさ比較に用いる判定領域区分を
適応的に選択し、当該動き補償／非動き補償判定の結果
に基づいて上記各ブロック毎に動き補償予測符号化を行
って生成された符号化ビットストリームを記録してなる
ことを特徴とする信号記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33823696A JP3633159B2 (ja) | 1996-12-18 | 1996-12-18 | 動画像信号符号化方法及び装置、並びに動画像信号伝送方法 |
| US08/991,517 US6040865A (en) | 1996-12-18 | 1997-12-16 | Image signal coding method and apparatus, image signal transmission method, and signal recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33823696A JP3633159B2 (ja) | 1996-12-18 | 1996-12-18 | 動画像信号符号化方法及び装置、並びに動画像信号伝送方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10178645A true JPH10178645A (ja) | 1998-06-30 |
| JP3633159B2 JP3633159B2 (ja) | 2005-03-30 |
Family
ID=18316217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33823696A Expired - Fee Related JP3633159B2 (ja) | 1996-12-18 | 1996-12-18 | 動画像信号符号化方法及び装置、並びに動画像信号伝送方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6040865A (ja) |
| JP (1) | JP3633159B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6040865A (en) * | 1996-12-18 | 2000-03-21 | Sony Corporation | Image signal coding method and apparatus, image signal transmission method, and signal recording medium |
| JP2009296104A (ja) * | 2008-06-03 | 2009-12-17 | Hitachi Kokusai Electric Inc | 画像符号化装置 |
| CN102223542A (zh) * | 2010-04-14 | 2011-10-19 | 联发科技股份有限公司 | 译码单元的局部运动向量推导的方法与相应装置 |
| JP2012010264A (ja) * | 2010-06-28 | 2012-01-12 | Sony Corp | 符号化装置、電子機器、撮像装置、および撮像システム |
| JP2015122573A (ja) * | 2013-12-20 | 2015-07-02 | キヤノン株式会社 | 動き検出装置、動き検出方法及びプログラム |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000134631A (ja) * | 1998-10-23 | 2000-05-12 | Canon Inc | 画像符号化装置、方法、画像復号化装置、方法及びコンピュータ読み取り可能な記憶媒体 |
| EP1126729A1 (en) * | 2000-02-18 | 2001-08-22 | STMicroelectronics S.r.l. | A process for estimating the noise level in sequences of images and a device therefor |
| KR100961760B1 (ko) * | 2002-08-13 | 2010-06-07 | 퀄컴 인코포레이티드 | 이산코사인변환 계수를 참조하는 움직임 추정 방법 및 장치 |
| JP3897684B2 (ja) * | 2002-11-22 | 2007-03-28 | キヤノン株式会社 | 画像記録方式 |
| KR20050119422A (ko) * | 2004-06-16 | 2005-12-21 | 삼성전자주식회사 | 움직임 보상에 기반한 입력 영상의 노이즈 예측 및 그장치와, 이를 사용한 노이즈 제거 및 동영상 부호화 방법,이를 수행하기 위한 프로그램이 기록된 기록 매체 |
| CN100359953C (zh) * | 2004-09-08 | 2008-01-02 | 华为技术有限公司 | 基于帧内编码的图像色度预测方法 |
| JP4271115B2 (ja) * | 2004-09-29 | 2009-06-03 | 株式会社東芝 | 画像マッチング装置、画像マッチング方法および画像マッチングプログラム |
| JP4877449B2 (ja) | 2004-11-04 | 2012-02-15 | カシオ計算機株式会社 | 動画像符号化装置および動画像符号化処理プログラム |
| JP4764136B2 (ja) * | 2005-10-31 | 2011-08-31 | 富士通セミコンダクター株式会社 | 動画像符号化装置、及びフェードシーン検出装置 |
| JP4829019B2 (ja) * | 2006-07-06 | 2011-11-30 | 株式会社東芝 | 通信端末装置 |
| JP4885690B2 (ja) * | 2006-11-28 | 2012-02-29 | 株式会社エヌ・ティ・ティ・ドコモ | 画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置 |
| US8126277B2 (en) * | 2007-02-28 | 2012-02-28 | Sanyo Electric Co., Ltd. | Image processing method, image processing apparatus and image pickup apparatus using the same |
| WO2009034486A2 (en) * | 2007-09-10 | 2009-03-19 | Nxp B.V. | Method and apparatus for line-based motion estimation in video image data |
| CN102281434B (zh) * | 2010-06-10 | 2013-11-06 | 中国移动通信集团公司 | 一种视频压缩方法及设备 |
| JP6659162B2 (ja) * | 2016-03-15 | 2020-03-04 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5029000A (en) * | 1988-12-23 | 1991-07-02 | U.S. Philips Corp. | High definition television system |
| US5068724A (en) * | 1990-06-15 | 1991-11-26 | General Instrument Corporation | Adaptive motion compensation for digital television |
| US5506622A (en) * | 1994-05-02 | 1996-04-09 | Daewoo Electronics Co., Ltd. | Block matching type motion vector determination using correlation between error signals |
| US5799110A (en) * | 1995-11-09 | 1998-08-25 | Utah State University Foundation | Hierarchical adaptive multistage vector quantization |
| US5844612A (en) * | 1995-11-09 | 1998-12-01 | Utah State University Foundation | Motion vector quantizing selection system |
| JP3633159B2 (ja) * | 1996-12-18 | 2005-03-30 | ソニー株式会社 | 動画像信号符号化方法及び装置、並びに動画像信号伝送方法 |
-
1996
- 1996-12-18 JP JP33823696A patent/JP3633159B2/ja not_active Expired - Fee Related
-
1997
- 1997-12-16 US US08/991,517 patent/US6040865A/en not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6040865A (en) * | 1996-12-18 | 2000-03-21 | Sony Corporation | Image signal coding method and apparatus, image signal transmission method, and signal recording medium |
| JP2009296104A (ja) * | 2008-06-03 | 2009-12-17 | Hitachi Kokusai Electric Inc | 画像符号化装置 |
| CN102223542A (zh) * | 2010-04-14 | 2011-10-19 | 联发科技股份有限公司 | 译码单元的局部运动向量推导的方法与相应装置 |
| CN105872558A (zh) * | 2010-04-14 | 2016-08-17 | 联发科技股份有限公司 | 编码单元的局部运动向量推导的方法 |
| JP2012010264A (ja) * | 2010-06-28 | 2012-01-12 | Sony Corp | 符号化装置、電子機器、撮像装置、および撮像システム |
| US8938007B2 (en) | 2010-06-28 | 2015-01-20 | Sony Corporation | Encoding apparatus, electronic device, imaging apparatus, and imaging system |
| JP2015122573A (ja) * | 2013-12-20 | 2015-07-02 | キヤノン株式会社 | 動き検出装置、動き検出方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3633159B2 (ja) | 2005-03-30 |
| US6040865A (en) | 2000-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3633159B2 (ja) | 動画像信号符号化方法及び装置、並びに動画像信号伝送方法 | |
| JP2801559B2 (ja) | 動き大小に適応する動き補償符号化方法及びその装置 | |
| US6603815B2 (en) | Video data processing apparatus, video data encoding apparatus, and methods thereof | |
| KR0168458B1 (ko) | 움직임 보상을 갖는 프레임간 혼성 부호기에서의 왜곡을 감소시키는 장치 및 방법 그리고 그에 대한 부호화 시스템 | |
| US6360017B1 (en) | Perceptual-based spatio-temporal segmentation for motion estimation | |
| JP3063715B2 (ja) | 画像圧縮装置 | |
| JP2001028756A (ja) | コンテクストベースでフレーム内コーディングモードとフレーム間コーディングモードとの間の選択を行なうための方法および装置 | |
| EP0838953A2 (en) | Image signal padding method for coding/decoding purposes | |
| JPH1155672A (ja) | 動画像符号化装置および動画像復号化装置および動画像符号化方法および動画像復号化方法 | |
| JPH08223577A (ja) | 動画像符号化方法及び装置、並びに動画像復号方法及び装置 | |
| KR100415494B1 (ko) | 화상인코딩방법및장치,기록장치,비디오신호인코딩장치,처리장치및방법,비디오데이터처리장치및방법 | |
| JPH0984025A (ja) | デイジタル画像信号符号化装置及び方法、符号化画像信号復号装置及び方法 | |
| JP3982615B2 (ja) | 符号化動画像データの方式変換装置 | |
| KR20030014677A (ko) | 비디오 코딩 방법 및 대응하는 인코딩 장치 | |
| JP3240024B2 (ja) | 画像処理方法 | |
| JP2000059792A (ja) | 動画像信号の高能率符号化装置 | |
| US6556714B2 (en) | Signal processing apparatus and method | |
| JP3812808B2 (ja) | スキップ領域検出型動画像符号化装置および記録媒体 | |
| JP3200199B2 (ja) | 動画像圧縮符号化方法 | |
| JP3888533B2 (ja) | 画像特徴に応じた画像符号化装置 | |
| JPH10108197A (ja) | 画像符号化装置、画像符号化制御方法および画像符号化制御用プログラムを記録した媒体 | |
| JP2007060704A (ja) | 動画像符号化方法、装置及びプログラム | |
| JP4399794B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP3188081B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JPH0775095A (ja) | レート制御回路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040705 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040713 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040913 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041220 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080107 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100107 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |