JPH10174105A

JPH10174105A - 動き判定装置

Info

Publication number: JPH10174105A
Application number: JP33103896A
Authority: JP
Inventors: Michihiro Fukushima; 道弘福島
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1996-12-11
Filing date: 1996-12-11
Publication date: 1998-06-26

Abstract

(57)【要約】【課題】回路規模を縮小すると共に、動き検出精度を向
上させる。【解決手段】動き検出回路21は、ＶＬＤからの動きベク
トル及び画像構造の情報に基づいて、マクロブロック単
位で動きを検出する。混合比生成回路22は、動き検出回
路21によって動きが０であると判定された領域について
は、予測誤差のレベルから静止領域であるか動領域であ
るかを判定して、混合比（１−ｍ），ｍを求める。乗算
器14，15及び加算器16は、混合比に基づいてフィールド
内補間信号とフィールド間補間信号とを混合する。動き
ベクトル及び予測誤差によって動きがないと判定された
場合とプログレッシブ画像である場合とにのみ、フィー
ルド間補間信号が用いられる。動きの判定にフレームメ
モリを用いておらず、回路規模を縮小することができ
る。また、動きの判定に予測誤差を用いており、検出精
度が向上する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、符号化データを復
号化するデコーダの出力を順次走査変換するものに好適
な動き判定装置に関する。

【０００２】

【従来の技術】近年、画像のディジタル処理が普及して
きている。画像データを圧縮符号化する方法としては、
ＭＰＥＧ（Movig Picture Experts Group）等の高能率
符号化が採用される。高能率符号化技術は、ディジタル
伝送及び記録等の効率を向上させるために、少ないビッ
トレートで画像データを符号化するものである。

【０００３】ところで、現行ＮＴＳＣ方式のテレビジョ
ン放送においては、インターレース走査方式が採用され
ている。インターレース走査は、１画面をトップ（ｔｏ
ｐ)フィールドとボトム（ｂｏｔｔｏｍ）フィールドと
に分割して伝送することにより、帯域幅を節約して高効
率の伝送を可能にしたものである。しかし、テレビジョ
ン受像機の高輝度化及び大画面化によって、ラインフリ
ッカ及びラインクロールが目立つので、画像メモリを使
用して補間を行うことにより、インターレース信号をプ
ログレッシブ信号に変換する順次走査変換装置が採用さ
れることがある。

【０００４】１／３０秒間隔で１画面の全画像がサンプ
リングされるプログレッシブ構造の画像データがＭＰＥ
Ｇエンコーダの入力ソースであって、ＭＰＥＧエンコー
ダからの符号化データを復号化するＭＰＥＧデコーダの
出力もプログレッシブ構造を有するモードである場合に
は、走査線変換の必要はない。しかし、ＭＰＥＧ２規格
はインターレース画像に対応しており、エンコーダの入
力ソースがプログレッシブ構造である場合でもデコーダ
からインターレース信号が出力されることがあり、ま
た、ＭＰＥＧエンコーダの入力ソースが１画面の画像を
トップ，ボトムフィールドに分けて１／６０秒の間隔で
フィールド毎にサンプリングされるインターレース構造
の画像データである場合には、ＭＰＥＧデコーダの出力
もインターレース画像であり、これらの場合には走査線
変換の必要がある。

【０００５】順次走査変換装置においては、インターレ
ース信号に対する補間処理によって、プログレッシブ信
号を得ている。一般的には、画像の動きに応じて補間方
法をフィールド内補間とフィールド間補間とで切換える
ようになっている。フィールド内補間は同一フィールド
内の上下の走査線から補間信号を得るものであり、フィ
ールド間補間は、前フィールドの走査線から補間信号を
得るものである。

【０００６】即ち、動き検出によって静画であると判断
された場合には、フィールド間補間によってプログレッ
シブ信号を得る。これにより、前フィールドの走査線と
現フィールドの走査線とを用いた補間が可能であり、十
分な垂直解像度を得ることができる。また、動き検出に
よって動画であると判断された場合には、フィールド内
補間によってプログレッシブ信号を得る。動画では前後
のフィールドの画像はずれているが、同一フィールドの
走査線を用いることにより、画像劣化を生じることなく
プログレッシブ信号を得ることができる。

【０００７】このように、順次走査変換においては、画
像の動きを判定する必要がある。この種の従来の動き判
定装置においては、画像の動きを検出するために、フレ
ームメモリを用いている。即ち、動き検出においては、
フレームメモリを用いて連続した２フレーム相互間の差
信号を動き成分として検出し、更に、低域フィルタによ
って輝度成分を抽出する。この輝度低域成分のフレーム
間差信号を動き成分として用いる。

【０００８】しかしながら、画像が動いた場合でも、フ
レーム間差信号のレベルが略々等しくなることがある。
従って、フレームメモリによって得られる差信号のレベ
ルを単純に比較しただけでは、動領域を静止領域と誤判
定してしまうことがあるという問題があった。

【０００９】また、動き検出のためにフレームメモリが
必要であり、回路規模が大きいという問題もあった。

【００１０】

【発明が解決しようとする課題】このように、上述した
従来の動き判定装置においては、フレームメモリが必要
であることから回路規模が大きいという問題点があっ
た。また、フレーム間差信号のレベルによって動領域と
静止領域とを判定していることから、動領域を静止領域
と誤判定してしまうことがあるという問題点もあった。

【００１１】本発明はかかる問題点に鑑みてなされたも
のであって、回路規模を縮小すると共に、動領域と静止
領域とを確実に判定することができる動き判定装置を提
供することを目的とする。

【００１２】

【課題を解決するための手段】本発明の請求項１に係る
動き判定装置は、現画像と所定の参照画像との予測誤差
を用いた動き補償予測符号化によって符号化された符号
化信号が入力され、前記符号化信号を復号化して画像信
号を復元すると共に、前記符号化信号に関する情報を得
る復号化手段と、前記符号化信号に関する情報に基づい
て、復号する画像の静止領域と動領域とを判定する動き
検出手段と、この動き検出手段の判定結果を前記復号化
手段の復号化の過程で得られる予測誤差を用いて補正す
る補正手段とを具備したものであり、本発明の請求項１
０に係る動き判定装置は、現画像と所定の参照画像との
予測誤差を用いた動き補償予測符号化によって符号化さ
れた符号化信号が入力され、前記符号化信号を復号化し
て画像信号を復元すると共に、前記符号化信号に関する
情報を得る復号化手段と、前記符号化信号に関する情報
に基づいて、復号する画像の静止領域と動領域とを判定
する動き検出手段と、前記動き検出手段の判定結果を前
記復号化手段の復号化の過程で得られる予測誤差を用い
て補正し、補正結果に基づいて、前記復号化手段によっ
て復元されてインターレース順に出力される画像信号に
対する静止領域の処理及び動領域の処理によって作成す
る２つの補間信号の混合比を決定する混合比生成手段と
を具備したものである。

【００１３】本発明の請求項１においては、復号化手段
によって、符号化信号は元の画像信号に復元される。ま
た、復号化手段は符号化信号に関する情報も得る。動き
検出手段は、符号化信号に関する情報から復号する画像
の動領域と静止領域とを判定する。この判定結果は補正
手段に与えられ、補正手段は、復号化手段の復号化の過
程で得られる予測誤差を用いて、動き検出手段の判定結
果を補正する。

【００１４】本発明の請求項１０においては、復号化手
段の復号化処理によって画像信号が復元される。動き検
出手段は復号する画像の動領域と静止領域とを判定す
る。混合比生成手段は、予測誤差を用いて動き検出手段
の判定結果を補正し、補正結果に基づいて、インターレ
ース順に出力される画像信号に対する静止領域の処理及
び動領域の処理によって作成する２つの補間信号の混合
比を決定する。

【００１５】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について詳細に説明する。図１は本発明の一実
施の形態に係る動き判定装置が組込まれた順次走査変換
装置をＭＰＥＧデコーダに適用した例を示すブロック図
である。

【００１６】本実施の形態は送信側のＭＰＥＧエンコー
ダによって符号化された映像信号（以下、ＭＰＥＧ信号
という）に含まれている画像構造及び動きベクトル等の
情報を利用することにより、フレームメモリを省略可能
にしたものである。

【００１７】入力端子１には図示しない送信側のＭＰＥ
Ｇエンコーダによって符号化されたＭＰＥＧ信号が入力
される。送信側のＭＰＥＧエンコーダでは、画面内で圧
縮を行うフレーム内圧縮の外に、画像間の相関を利用し
て圧縮を行うフレーム間圧縮を採用している。フレーム
内圧縮時には、映像信号は例えば８×８画素のブロック
（ＤＣＴブロック）単位でＤＣＴ（離散コサイン変換）
処理されて、空間座標成分が周波数成分に変換される。
ＤＣＴ変換係数は量子化処理されて、符号量が低減され
る。更に、量子化出力は可変長符号化されることによ
り、符号量が一層低減される。

【００１８】また、ＭＰＥＧエンコーダにおけるフレー
ム間圧縮では、現フレームの画像と前後のフレームの参
照画像との差分が予測誤差として求められ、この予測誤
差についてＤＣＴ処理、量子化処理及び可変長符号化処
理が行われる。これにより、符号量を著しく低減するこ
とができる。しかし、画像の動きが大きい場合には、単
に前後の画像との差分を求めただけでは予測誤差が大き
くなって符号量が増大してしまうことがある。そこで、
参照画像と現フレームの画像との動きベクトルを検出
し、動きベクトルに基づいて参照画像を動き補償して現
フレームの画像との差分を求めることにより、予測誤差
を小さくして符号量を削減するようになっている。

【００１９】このように、ＭＰＥＧエンコーダでは、Ｄ
ＣＴ処理によって１フレームの画像データを符号化した
フレーム内符号化フレーム（以下、Ｉピクチャという）
と、フレーム間符号化フレーム（以下、Ｐピクチャとい
う）又はＩピクチャを用いた予測符号化によって画像デ
ータを符号化したＰピクチャと、フレーム内、前方、後
方及び両方向予測適応切換フレーム（以下Ｂピクチャと
いう）とによって符号化フレームを構成する。

【００２０】なお、ＭＰＥＧエンコーダにおいて処理す
る輝度信号と色差信号とはサンプリングクロックが相違
する。例えば、色差信号のサンプリングクロックが輝度
信号のサンプリングクロックの１／４の周波数であるも
のとすると、輝度ブロックと色差ブロックの大きさの比
は１：４となる。この場合には、輝度４ブロックと色差
各１ブロックずつとの６ＤＣＴブロックによってマクロ
ブロックを構成して符号化の単位とする。動きベクトル
の検出もマクロブロック単位で行われる。

【００２１】即ち、動きベクトルの検出においては、現
フレームの符号化を行うべき注目ブロック（マクロブロ
ック）に対して相対的な位置関係が同一である参照フレ
ームのブロックを中心とした所定の探索範囲を設定す
る。そして、マッチング計算によって、現フレームの注
目ブロックのパターンに最も類似したパターンのブロッ
クを探索範囲内で探索する。つまり、探索範囲内でブロ
ックを０．５画素単位で移動させながら順次設定し、注
目ブロックと探索範囲に設定したブロックとの間で対応
する各画素同士の差分の絶対値を累積するマッチング計
算を行い、最も累積値が小さいブロックを参照画像ブロ
ックとする。参照画像ブロックと注目ブロックとの位置
関係を示すベクトルを動きベクトルとして求めるように
なっている。

【００２２】ところで、ＭＰＥＧエンコーダにおいて
は、入力画像がプログレッシブ画像である場合には、フ
レーム構造による符号化が行われる。また、入力画像が
インターレース画像である場合には、インターレース画
像のトップ及びボトムフィールドの画像をそのまま符号
化するフィールド構造による符号化を行うだけでなく、
フィールド画像のトップ及びボトムフィールドからフレ
ーム画像を作成して、フレーム構造の状態で符号化を行
うことがある。ＭＰＥＧエンコーダは、これらのフレー
ム構造の状態での符号化とフィールド構造の状態での符
号化とをフレーム単位で選択するようになっている。

【００２３】フィールド構造による符号化では、フィー
ルドピクチャ単位で動き補償予測及びＤＣＴ符号化が行
われる。これに対して、フレーム構造による符号化では
フレームピクチャ単位で符号化が行われるが、動き補償
予測としては、参照画像としてフレーム画像を用いるフ
レーム予測と、参照画像としてトップフィールド画像及
びボトムフィールド画像のいずれか一方を用いるフィー
ルド予測とが採用される。

【００２４】即ち、フレーム予測においては、トップ及
びボトムフィールドが合成された入力フレームの各画素
データとトップ及びボトムフィールドが合成された参照
フレームとの間で動きが検出され、１つの動きベクトル
が求められる。これに対し、フィールド予測において
は、入力フレームのトップフィールドの各画素と参照フ
レームのトップ又はボトムフィールドの各画素との間で
動きが求められて、トップフィールドについての１つの
動きベクトルが求められると共に、入力フレームのボト
ムフィールドの各画素と参照フレームのトップ又はボト
ムフィールドの各画素との間で動きが求められて、ボト
ムフィールドについての１つの動きベクトルが求められ
る。つまり、フィールド予測においては、トップ及びボ
トムフィールド用の２つの動きベクトルが求められる。

【００２５】ＭＰＥＧエンコーダにおいては、符号化時
の画像構造及び動きベクトルの情報等を可変長符号化し
て、符号化データに多重して出力するようになってい
る。

【００２６】本実施の形態においては、符号化データに
多重されている動きベクトル及び画像構造等の情報に基
づいて、画像の動領域と静止領域とを判定する。符号化
側では、上述したように、マッチング計算の累積値が最
小であるブロックと注目ブロックとの位置関係を動きベ
クトルとしている。従って、画像が動いている場合であ
っても、動きベクトルが０となることがある。そこで、
本実施の形態においては、更に、予測誤差を用いて動領
域と静止領域とを判定するようになっている。

【００２７】図１において、ＭＰＥＧ信号は可変長復号
化回路（以下、ＶＬＤという）２に供給される。ＶＬＤ
２は入力されたＭＰＥＧ信号を可変長復号化して、可変
長符号化前のデータに戻す。この可変長復号化処理によ
って、量子化出力が得られると共に、符号化時の画像構
造及び動きベクトル等の符号化時の情報が得られる。な
お、画像構造の情報は、ＭＰＥＧエンコーダの入力ソー
スがプログレッシブ画像であったかインターレース画像
であったかの情報、フレーム構造の状態又はフィールド
構造の状態のいずれの状態で符号化が行われたかの情報
及びフレーム予測又はフィールド予測のいずれの予測方
法が用いられたかの情報等を含む。可変長復号化回路２
からのこれらの情報は、動き判定装置３及び動き補償予
測回路（以下、ＭＣという）４に供給されるようになっ
ている。

【００２８】ＶＬＤ２からの量子化出力は逆量子化回路
（以下、ＩＱという）５に与えられる。ＩＱ５はＶＬＤ
２からの量子化出力を逆量子化処理することによって量
子化前のデータに戻して逆ＤＣＴ回路（以下、ＩＤＣＴ
という）６に出力する。ＩＤＣＴ６は入力された逆量子
化出力を逆ＤＣＴ処理して元の空間座標成分である画素
データに戻してＭＣ４に出力する。

【００２９】ＭＰＥＧ信号がＩピクチャに基づくもので
ある場合には、ＩＤＣＴ６の出力はＩピクチャの復元画
像データである。この場合には、ＭＣ４は入力された復
元画像データをそのままメモリ７に出力するようになっ
ている。メモリ７は、復元画像データを保持して、表示
順に出力するための表示用のメモリとして機能すると共
に、復元画像データを参照画像として保持する参照メモ
リとしても機能する。

【００３０】ＭＰＥＧ信号がフレーム間符号化されたも
のである場合には、このＭＰＥＧ信号に基づくＩＤＣＴ
６の出力は予測誤差である。この場合には、ＭＣ４は、
予測モードに基づいて、メモリ７に格納されている参照
画像データを動きベクトルを用いて動き補償して、動き
補償した参照画像データとＩＤＣＴ６からの予測誤差と
を加算して元の画像データを復元するようになってい
る。ＭＣ４は復元した画像データをメモリ７に出力に記
憶させるようになっている。メモリ７からの画像データ
は順次走査変換回路８に供給される。なお、これらの復
号化処理はマクロブロック単位で行われるようになって
いる。

【００３１】順次走査変換回路８は、動き判定装置３か
ら動きの判定結果に基づく混合比ｍの情報が与えられ、
フィールド内補間信号とフィールド間補間信号とを混合
比ｍに基づいて混合して、補間ラインを作成するように
なっている。

【００３２】図２は図１中の動き判定装置３及び順次走
査変換回路８の具体的な構成を示すブロック図である。

【００３３】メモリ７からは、上述したように、インタ
ーレース順で復号データが読出される。メモリ７には表
示フィールドの復号データが記憶されていると共に、こ
の表示フィールドの補間に用いるフィールド（以下、補
間フィールドという）の復号データも記憶されている。
メモリ７は表示フィールドの復号データを順次走査変換
回路８のフィールド内補間信号生成回路12に出力し、補
間フィールドの復号データをフィールド間補間信号生成
回路13に出力するようになっている。なお、補間フィー
ルドは表示フィールドに隣接するフィールドであり、フ
レーム構造で符号化が行われた場合には、フレーム内の
対のフィールドである。

【００３４】フィールド内補間信号生成回路12はメモリ
７から表示フィールドの復号データの画素値を読出し、
フィールド内補間によって動領域用の走査線補間信号
（フィールド内補間信号）を生成して、乗算器14に出力
する。また、フィールド間補間信号生成回路13はメモリ
７から表示フィールドに補間フィールドの画素値を読出
し、フィールド間補間によって静止領域用の走査線補間
信号（フィールド間補間信号）を生成して、乗算器15に
出力する。

【００３５】乗算器14，15は、夫々後述する動き判定装
置３から混合比（１−ｍ），ｍが与えられる。乗算器14
はフィールド内補間処理によって作成された補間信号に
混合比（１−ｍ）を乗算して加算器16に出力する。乗算
器15はフィールド間補間処理によって作成された補間信
号に混合比ｍを乗算して加算器16に出力するようになっ
ている。

【００３６】加算器16は、フィールド内補間による補間
信号とフィールド間補間による補間信号とを（１−
ｍ）：ｍの比で混合してスイッチ17の端子ｂに出力す
る。スイッチ17の端子ａにはメモリ７から表示フィール
ドの復号データが与えられる。スイッチ17は端子ａ，ｂ
を表示ライン毎に切換えることにより、復号されたイン
タレースの画像信号に補間信号を多重して出力するよう
になっている。

【００３７】動き判定装置３は、動き検出回路21、混合
比生成回路22及び混合比保持メモリ23によって構成され
ている。動き検出回路21は、ＶＬＤ２によって得られた
動きベクトル及び画像構造の情報に基づいて、マクロブ
ロック単位で画像の動きを検出して、静止領域であるか
動領域であるかを示す情報等を作成するようになってい
る。

【００３８】図３は動き検出回路21の動きの検出方法を
説明するための説明図である。図３（ａ）はフレーム構
造の状態で符号化された場合の例を示し、図３（ｂ）は
フィールド構造の状態で符号化された場合の例を示して
いる。図３において、垂直方向は画面の垂直方向に対応
し、水平方向はフィールド単位の時間を示しており、○
印は各フィールドの垂直方向の画素を示している。な
お、図３では、図面の簡略化のために水平方向について
は示していないが、水平方向の動きはないものとして説
明する。また、図３の一点鎖線は同一動き検出単位内の
画素を示している。

【００３９】動き検出回路21は、先ず、画像構造の情報
によって復号画像の画像構造がプログレッシブフレーム
であるか否かを検出する。例えば、ＭＰＥＧ信号がプロ
グレッシブ画像を符号化したものである場合には、メモ
リ７から出力される画像信号のトップ及びボトムフィー
ルドは元のプログレッシブ画像に対応しており、トップ
又はボトムフィールドのうちの表示フィールドを他方の
フィールドの画素値によって補間することにより、元の
プログレッシブ画像を得ることができる。従って、この
場合には、動き検出回路21は、無条件に、フィールド間
補間を指定するための情報を混合比生成回路22に出力す
るようになっている。

【００４０】また、プログレッシブフレームでない場合
には、動き検出回路21はマクロブロックをフィールド毎
に分割して動きを検出する。復号画像がフィールド構造
で符号化されている場合には、動き検出回路21は、マク
ロブロック単位で動きベクトルを判定する。また、復号
画像がフレーム構造で符号化されている場合には、動き
検出回路21は、マクロブロックをトップフィールドとボ
トムフィールドとに分割して夫々動き検出単位毎に動き
ベクトルを判定する。動き検出回路21は、これらの動き
検出単位毎に連続して動きベクトルを判定して、連続し
た２つの動き検出単位において動きが０である場合には
静止領域と判定し、他の場合には動領域と判定する。

【００４１】例えば、動き検出回路21は、ＭＰＥＧ信号
がフレーム構造の状態でフレーム予測を採用して符号化
が行われたものである場合には、復号化されるマクロブ
ロックの動きベクトルが０であるか否かを判断すること
によって、マクロブロックが静止領域であるか動領域で
あるかを判定する。図３（ａ）の矢印は、画素値が同一
の画素の動きを示しており、図の水平方向の矢印によっ
て画面垂直方向には動きがないことが示される。

【００４２】図３（ａ）に示すように、マクロブロック
の動きベクトルが０であれば、復号したマクロブロック
と参照画像のマクロブロックについて、復号画像のトッ
プフィールドと参照画像のトップフィールドとは一致
し、復号画像のボトムフィールドと参照画像のボトムフ
ィールドとは一致する。即ち、復号画像のトップ及びボ
トムフィールドは参照画像のトップ及びボトムフィール
ドに対して静止している。この場合には、動き検出回路
21は、各フレームのトップフィールドとボトムフィール
ドとの間には動きがなく復号マクロブロックは静止領域
のマクロブロックであるものと判断する。動き検出回路
21は、静止領域であるか動領域であるかを示す情報を混
合比生成回路22に出力する。

【００４３】また、動き検出回路21は、フレーム構造の
状態でフレーム予測を採用して符号化された状態と同様
の状態によってＭＰＥＧ信号が作成されている場合に
は、動きベクトルが０であることによって、静止領域と
判断するようになっている。例えば、フレーム構造の状
態でフィールド予測を採用して符号化が行われた場合で
あっても、復号画像のトップ及びボトムフィールドが夫
々参照画像のトップ及びボトムフィールドを用いて予測
符号化したものであり、且つ、トップ及びボトムフィー
ルドの動きベクトルがいずれも０である場合には、静止
領域と判断してもよい。

【００４４】また、同様に、動き検出回路21は、ＭＰＥ
Ｇ信号がフィールド構造の状態でフィールド予測を採用
して符号化されたものである場合において、前フィール
ドの動きベクトルと現フィールドの動きベクトルがいず
れも０で、参照フィールドと予測フィールドとが一致し
ている領域を静止領域であると判定する。図３（ｂ）は
この場合の状態を示している。動き検出回路21は、図３
（ｂ）の破線で囲った領域を静止領域と判断する。

【００４５】混合比生成回路22には、ＩＤＣＴ６から予
測誤差も与えられており、混合比生成回路22は、動き検
出回路21の検出結果及び予測誤差に基づいて順次走査変
換回路８において用いる混合比（ｍ−１），ｍを生成す
る。混合比生成回路22は、動き検出回路21によってプロ
グレッシブフレームであることが検出された場合には、
フィールド間補間のみによって順次走査変換を行うよう
に混合比としてｍ＝１を算出する。

【００４６】また、動きベクトルが０でない場合には、
動き検出回路21は動領域として判断するので、混合比生
成回路22はフィールド内補間のみによって順次走査変換
を行うように、混合比としてｍ＝０を算出する。

【００４７】一方、上述したように、動きベクトルが０
であっても、実際には絵柄が動いていることがある。そ
こで、混合比生成回路22は、動き検出回路21が静止領域
と判断した場合には、マクロブロックの予測誤差の絶対
値和又は自乗和の値によって、混合比を生成するように
なっている。

【００４８】例えば、混合比生成回路22は、動き検出単
位（マクロブロック）毎に、隣接するフィールドの動き
検出単位における予測誤差の絶対値和又は自乗和Ｓを算
出し、Ｓの値が閾値Ｔｈ未満である場合には混合比ｍを
１とし、閾値Ｔｈ以上である場合には混合比ｍを０とす
る。即ち、混合比生成回路22は、予測誤差の絶対値は又
は自乗和Ｓが比較的小さい場合には、静止領域であるも
のと判断して、フィールド間補間のみを指定するための
混合比を設定し、Ｓの値が比較的大きい場合には、動領
域であるものと判断して、フィールド内補間のみを指定
するための混合比を設定するのである。また、混合比生
成回路22は、Ｓの値が閾値Ｔｈ未満である場合には混合
比ｍを１近傍の値とし、閾値Ｔｈ以上である場合には混
合比ｍを０近傍の値としてもよい。

【００４９】また、混合比生成回路22は、Ｓの値が比較
的小さい場合には、フィールド内補間による補間信号よ
りもフィールド間補間による補間信号の混合比を大きく
する混合比を設定し、Ｓの値が比較的大きい場合には、
フィールド内補間による補間信号よりもフィールド間補
間による補間信号の混合比を小さくする混合比を設定し
てもよい。更に、混合比生成回路22は、０≦ｍ≦１の範
囲内で、下記（１）式に応じて、混合比ｍをリニアに変
化させるように生成してもよい。

【００５０】ｍ＝１−Ｓ／ｎ（ｎは定数） …（１）更に、混合比生成回路22は、混合比ｍを動き検出単位毎
ではなく画素毎に生成してもよい。この場合には、混合
比生成回路22は、画素毎に予測誤差の絶対値又は自乗値
Ｓを算出し、画素毎にＳの値を閾値Ｔｈと比較して混合
比を算出するか又は画素毎に上記（１）式に基づいて混
合比を算出する。

【００５１】混合比生成回路22が生成した混合比は混合
比保持メモリ23に供給される。混合比保持メモリ23は、
生成された混合比を画像表示時に使用されるまでの間保
持して、順次走査変換回路８に供給するようになってい
る。

【００５２】ところで、動きベクトルを用いた混合比の
算出方法は、Ｐ，Ｂピクチャについては適用することが
できるが、Ｉピクチャには適用することができない。そ
こで、フレーム内圧縮された領域については、この領域
を参照画像とする復号画像の領域に設定した混合比をそ
のまま用いるようになっている。

【００５３】図４はこの場合の静止領域と動領域との判
断を説明するための説明図である。

【００５４】図４においてＢ（Ｐ）ピクチャの復号画像
の静止領域（中央の破線で囲った部分）は参照画像（前
方又は後方のＩピクチャ）の対応する領域と同一画素で
ある。従って、Ｂ（Ｐ）ピクチャの復号画像のトップフ
ィールドとボトムフィールドとの間に動きがなく静止領
域と判断された場合には、この領域が参照するＩピクチ
ャの領域も静止領域（図４の左右の破線で囲った部分）
と判断することができる。

【００５５】なお、フレームメモリの増加を防止するた
めに、動き検出回路21は、後方参照画像のみに対して判
断してもよい。

【００５６】このように、復号画像がＩピクチャである
場合でも、このＩピクチャの領域を参照画像とする画像
の領域が静止領域であるか否かによって、Ｉピクチャの
領域が静止領域であるか動領域であるかを判断して、混
合比を求めることができる。

【００５７】次に、このように構成された実施の形態の
動作について図５乃至図７の説明図を参照して説明す
る。図５は混合比生成回路22における予測誤差に基づく
混合比の設定方法を説明するためのものであり、図６及
び図７は補間方法を説明するためのものである。

【００５８】入力端子１を介して入力されたＭＰＥＧ信
号はＶＬＤ２に与えられて可変長復号化される。ＶＬＤ
２からは量子化出力、動きベクトル及び画像構造の情報
が得られる。量子化出力はＩＱ５に供給されて逆量子化
され、更に、ＩＤＣＴ６によって逆ＤＣＴ処理されて、
元の画素データに戻される。ＩＤＣＴ６からの画素デー
タはＭＣ４に供給される。

【００５９】フレーム内符号化されたＭＰＥＧ信号が入
力された場合には、このＭＰＥＧ信号に対するＩＤＣＴ
６の出力は復元画像である。ＭＣ４はこの復元画像をメ
モり７に与えて記憶させる。メモリ７は復元画像を参照
画像として保持する。

【００６０】一方、フレーム間符号化されたＭＰＥＧ信
号が入力された場合には、このＭＰＥＧ信号に対するＩ
ＤＣＴ６の出力は予測誤差である。ＭＣ４はＶＬＤ２か
ら動きベクトルも与えられており、メモリ７に記憶され
ている参照画像を動きベクトルを用いて動き補償し、Ｉ
ＤＣＴ６の出力と動き補償した参照画像とを加算するこ
とにより元の画像を復元する。ＭＣ４は復元画像をメモ
り７に与えて記憶させる。

【００６１】一方、ＶＬＤ２からの動きベクトル及び画
像構造の情報は動き判定装置３に供給される。動き判定
装置３の動き検出回路21は、先ず、画像構造の情報によ
って、入力されたＭＰＥＧ信号がプログレッシブ画像を
符号化したものであるか否かを判定する。入力ＭＰＥＧ
信号がプログレッシブ画像を符号化したものでない場合
には、動き検出回路21は、入力ＭＰＥＧ信号の画像構造
及び動きベクトルに応じて動きを検出する。

【００６２】例えば、入力ＭＰＥＧ信号がフレーム構造
の状態で符号化されている場合には、動き検出回路21は
動きベクトルが０であるときにのみ静止領域とを判定す
る。また、動き検出回路21は、フレーム構造の状態でフ
ィールド予測を用いて符号化を行った場合でも、復号画
像のトップ及びボトムフィールドが夫々参照画像のトッ
プ及びボトムフィールドを用いて予測符号化したもので
あり、且つ、トップ及びボトムフィールドの動きベクト
ルがいずれも０である場合においても、動きベクトルが
０であるときにのみ静止領域とを判定する。更に、動き
検出回路21は、ＭＰＥＧ２信号がフィールド構造の状態
で符号化されている場合には、フィールド予測が行われ
ているときには、１つ前のフィールド及び現フィールド
の動きベクトルが０であることによって静止領域である
と判定する。

【００６３】動き検出回路21の判定結果は混合比生成回
路22に与えられる。混合比生成回路22は、動き検出回路
21の判定結果に基づいて順次走査変換回路８の乗算器1
4，15に与える混合比（１−ｍ），ｍを求める。混合比
生成回路22は、入力ＭＰＥＧ信号がプログレッシブ画像
を符号化したものである場合には、混合比ｍを１とす
る。また、混合比生成回路22は、動きが０でない場合に
は、混合比ｍを０とする。

【００６４】例えば、いま、入力ＭＰＥＧ信号がプログ
レッシブ画像をフレーム構造のまま符号化されて得られ
たものであるものとする。この場合には、混合比生成回
路22は、復号しているマクロブロックに対してフィール
ド間補間を指定するためのｍ＝１を混合比保持メモリ23
に出力する。

【００６５】プログレッシブ画像をフレーム構造のまま
符号化して得られたＭＰＥＧ信号は、ＶＬＤ２，ＩＱ
５，ＩＤＣＴ６及びＭＣ４によって復号されて、メモリ
７に復元画像データが記憶される。メモリ７に記憶され
た復元画像データのうち表示フィールドの復号データは
順次走査変換回路８のフィールド内補間信号生成回路12
に供給される。また、この表示フィールドの補間に用い
る補間フィールドの復号データはフィールド間補間信号
生成回路13に供給される。

【００６６】フィールド内補間信号生成回路12は、表示
フィールド内の画素データ同士を用いた演算によってフ
ィールド内補間信号を生成して乗算器14に出力する。ま
た、フィールド間補間信号生成回路13は、補間フィール
ドの画素データを用いた演算によってフィールド間補間
信号を生成して乗算器15に出力する。図６はこれらの補
間処理を示している。図６では補間フィールドとして隣
接フィールドを用いた例を示している。

【００６７】フィールド内補間信号生成回路12は、例え
ば画素Ａ，Ｂの間の画素ｘ（破線）を補間する場合に
は、画素Ａ，Ｂの画素値（Ａ，Ｂ）の和を１／２倍する
ことによりフィールド内補間信号を得る。また、フィー
ルド間補間信号生成回路13は、画素ｘを補間する場合に
は、画素Ａ，Ｂに対応する位置の隣接フィールドの画素
ａの値ａをそのまま用いる。

【００６８】混合比保持メモリ23は、走査線変換するフ
ィールドの対応する領域についての混合比（１−ｍ），
ｍを走査線変換処理のタイミングで夫々乗算器14，15に
出力する。入力ＭＰＥＧ信号がプログレッシブ画像を符
号化したものである場合にはｍ＝１であるので、フィー
ルド間補間信号生成回路13からのフィールド間補間信号
のみが加算器16を介してスイッチ17に供給される。

【００６９】スイッチ17は順次走査の１ライン毎に端子
ａ，ｂを切換え選択して、メモリ７からの表示フィール
ドの復号データと加算器16からの補間信号とを交互に出
力する。この場合には、表示フィールドの復号データと
加算器16からのフィールド間補間信号とが交互に出力さ
れる。

【００７０】ここで、動き検出回路21の判定結果によっ
て動きが０であることが示されるものとする。この場合
には、混合比生成回路22は、予測誤差を用いて混合比
（１−ｍ），ｍを算出する。混合比生成回路22は、予測
誤差の絶対値和又は自乗和を求めて、所定の閾値と比較
する。予測誤差の絶対値和又は自乗和が閾値よりも多い
場合には、動きがあるものと判定して混合比ｍを０に
し、小さい場合には動きがないものと判定して混合比ｍ
を１にする。

【００７１】更に、混合比生成回路22は、予測誤差の絶
対値和又は自乗和に応じて、上記（１）式からリニアに
変化する混合比ｍを求めてもよい。この場合には、加算
器16の出力はフィールド内補間信号とフィールド間補間
信号とを混合比ｍで混合したものとなる。例えば、図６
に示す画素値の画素を用いた補間処理によって得られる
補間画素ｘの値ｘは、ｘ＝ｍ×ａ＋（１−ｍ）×（Ａ＋
Ｂ）／２となる。

【００７２】また、混合比生成回路22は、動き検出単位
でなく、画素単位に混合比を求めてもよい。図５は予測
誤差を用いて画素毎に動きを検出する例を示している。
図５では説明の便宜上、１マクロブロックが６×６画素
で構成されているものとする。

【００７３】図５（ａ）はＩＤＣＴ６からの予測誤差を
示している。１マクロブロックのうちの所定の画素の画
素値は０であり、他の画素は０以外の値を有する。この
場合でも、上述したように、動きベクトルが０であるこ
とがある。混合比生成回路22は、予測誤差の絶対値又は
自乗値に基づいて混合比ｍを決定する。例えば、混合比
生成回路22は、予測誤差が０である画素については図５
（ｂ）の斜線部に示すように、動きがないものと判定し
て混合比ｍを１にし、そうでない画素については動きが
あるものと判定して混合比ｍを０にする。

【００７４】混合比（１−ｍ），ｍは混合比保持メモリ
23に供給され、順次走査変換のタイミングで乗算器14，
15に供給される。混合比生成回路22が画素単位で混合比
を発生した場合には、フィールド内補間信号とフィール
ド間補間信号との混合比は画素単位で切換えられる。即
ち、図５（ｂ）の斜線部の画素については、フィールド
間補間信号が加算器16から出力され、その他の画素につ
いてはフィールド内補間信号が加算器16から出力され
る。

【００７５】図７はこの場合のフィールド内補間及びフ
ィールド間補間の補間処理を説明するためのものであ
る。図７は復号画像のフィールドＡを動き検出単位とす
る画素ａ1 ，ａ2 ，ａ3 ，ａ4 相互間の画素ｘ1 ，ｘ2
，ｘ3 ，ｘ4 を補間する例を示している。この場合に
は、隣接する補間フィールドＢを動き検出単位とする画
素ｂ1 ，ｂ2 ，ｂ3 ，ｂ4 と参照画像であるＪフィール
ドの画素ｊ1 ，ｊ2 ，ｊ3，ｊ4 との間の予測誤差を用
いる。予測誤差が閾値よりも小さい場合には、静止領域
であるものとして、フィールドＢ上の画素ｂ1 ，ｂ2 ，
ｂ3 ，ｂ4 の画素値ｂ1 ，ｂ2 ，ｂ3 ，ｂ4 をそのまま
補間画素ｘ1 ，ｘ2 ，ｘ3 ，ｘ4 の画素値とする。ま
た、予測誤差が閾値よりも大きい場合には、フィールド
Ａ上の画素ａ1，ａ2 ，ａ3 ，ａ4 、ａ5 の画素値ａ1
，ａ2 ，ａ3 ，ａ4 、ａ5 を用いて、画素値ｘ1 ，ｘ2
，ｘ3 ，ｘ4 は、夫々（ａ1 ＋ａ2 ）／２，（ａ2 ＋
ａ3 ）／２，（ａ3 ＋ａ4 ）／２，（ａ4 ＋ａ5 ）／２
とする。

【００７６】なお、混合比生成回路22は、各画素の予測
誤差の値に応じた混合比を設定するようにしてもよい。
この場合には、加算器16の出力はフィールド内補間信号
とフィールド間補間信号とを混合比ｍで混合したものと
なる。例えば、図７に示す画素値の画素を用いた補間処
理によって得られる補間画素ｘ1 の値ｘ1 は、ｘ1 ＝ｍ
×ｂ1 ＋（１−ｍ）×（ａ1 ＋ａ2 ）／２となる。

【００７７】次に、ＩピクチャのＭＰＥＧ信号が入力さ
れるものとする。この場合には、混合比生成回路22は、
Ｉピクチャのマクロブロックを参照画像とする復号マク
ロブロックについて混合比（１−ｍ），ｍを求め、この
復号マクロブロックと同一の混合比をＩピクチャのマク
ロブロックについて行って、混合比保持メモリ３の対応
する領域に書込みを行う。なお、この場合には、フレー
ムメモリの増加を防止するために、後方参照した復号マ
クロブロックに対する判定のみを用いてもよい。

【００７８】このように、本実施の形態においては、動
き補償予測符号化時に用いられた動きベクトル及び予測
誤差を用いて動領域と静止領域とを判定しており、動き
判定においてフレームメモリを不要にすることができる
ので、回路規模を縮小することができる。また、動きベ
クトルが０である場合には、予測誤差を用いて動領域と
静止領域とを判定しており、動領域と静止領域とを確実
に判定することができる。

【００７９】

【発明の効果】以上説明したように本発明によれば、回
路規模を縮小すると共に、動領域と静止領域とを確実に
判定することができるという効果を有する。

【図面の簡単な説明】

【図１】本発明に係る動き判定装置が組込まれた順次走
査変換装置をＭＰＥＧデコーダに適用した一実施の形態
を示すブロック図。

【図２】図１中の動き判定装置３及び順次走査変換回路
８の具体的な構成を示すブロック図。

【図３】実施の形態を説明するための説明図。

【図４】実施の形態を説明するための説明図。

【図５】実施の形態の動作を説明するための説明図。

【図６】実施の形態の動作を説明するための説明図。

【図７】実施の形態の動作を説明するための説明図。

【符号の説明】

２…、ＶＬＤ、３…動き判定装置、４…ＭＣ、８…順次
走査変換回路

Claims

【特許請求の範囲】

【請求項１】現画像と所定の参照画像との予測誤差を
用いた動き補償予測符号化によって符号化された符号化
信号が入力され、前記符号化信号を復号化して画像信号
を復元すると共に、前記符号化信号に関する情報を得る
復号化手段と、前記符号化信号に関する情報に基づいて、復号する画像
の静止領域と動領域とを判定する動き検出手段と、この動き検出手段の判定結果を前記復号化手段の復号化
の過程で得られる予測誤差を用いて補正する補正手段と
を具備したことを特徴とする動き判定装置。
【請求項２】前記動き検出手段は、前記符号化信号に
関する情報に含まれる動きベクトルの情報に基づいて所
定の動き検出単位毎に静止領域と動領域とを判定するこ
とを特徴とする請求項１に記載の動き判定装置。
【請求項３】前記動き検出手段は、前記符号化信号に
関する情報によって前記符号化信号がプログレッシブ画
像を符号化したものであることが示された場合には、復
号する画像は静止領域の画像であるものと判定すること
を特徴とする請求項１に記載の動き判定装置。
【請求項４】前記動き検出手段は、前記符号化信号に
関する情報によって前記符号化信号がフィールド予測を
用いた動き補償予測符号化によって得られたものである
ことが示された場合には、前記符号化信号に関する情報
によって隣接するフィールドの同一位置の２つの動き検
出単位における動きが無いことが示されたときに静止領
域の画像であると判定することを特徴とする請求項１に
記載の動き判定装置。
【請求項５】前記補正手段は、前記動き検出手段によ
って静止領域と判定された領域については、前記復号化
手段の復号化の過程で得られる予測誤差に基づいて動き
を判定することを特徴とする請求項１に記載の動き判定
装置。
【請求項６】前記補正手段は、前記復号化手段の復号
化の過程で得られる予測誤差に基づくレベルを所定の閾
値と比較して静止領域であるか動領域であるかを判定す
ることを特徴とする請求項５に記載の動き判定装置。
【請求項７】前記補正手段は、前記復号化手段の復号
化の過程で得られる予測誤差に基づくレベルを求めて求
めたレベルに応じた動きの度合いを示す情報を得ること
を特徴とする請求項５に記載の動き判定装置。
【請求項８】前記補正手段は、前記動き検出手段の動き
検出単位で動きの判定を行うことを特徴とする請求項６
又は請求項７のいずれか一方に記載の動き判定装置。
【請求項９】前記補正手段は、画素単位で動きの判定を
行うことを特徴とする請求項６又は請求項７のいずれか
一方に記載の動き判定装置。
【請求項１０】現画像と所定の参照画像との予測誤差
を用いた動き補償予測符号化によって符号化された符号
化信号が入力され、前記符号化信号を復号化して画像信
号を復元すると共に、前記符号化信号に関する情報を得
る復号化手段と、前記符号化信号に関する情報に基づいて、復号する画像
の静止領域と動領域とを判定する動き検出手段と、前記動き検出手段の判定結果を前記復号化手段の復号化
の過程で得られる予測誤差を用いて補正し、補正結果に
基づいて、前記復号化手段によって復元されてインター
レース順に出力される画像信号に対する静止領域の処理
及び動領域の処理によって作成する２つの補間信号の混
合比を決定する混合比生成手段とを具備したことを特徴
とする動き判定装置。