JPH10174105A - 動き判定装置 - Google Patents

動き判定装置

Info

Publication number
JPH10174105A
JPH10174105A JP33103896A JP33103896A JPH10174105A JP H10174105 A JPH10174105 A JP H10174105A JP 33103896 A JP33103896 A JP 33103896A JP 33103896 A JP33103896 A JP 33103896A JP H10174105 A JPH10174105 A JP H10174105A
Authority
JP
Japan
Prior art keywords
motion
image
field
signal
coded signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP33103896A
Other languages
English (en)
Inventor
Michihiro Fukushima
道弘 福島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP33103896A priority Critical patent/JPH10174105A/ja
Publication of JPH10174105A publication Critical patent/JPH10174105A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】回路規模を縮小すると共に、動き検出精度を向
上させる。 【解決手段】動き検出回路21は、VLDからの動きベク
トル及び画像構造の情報に基づいて、マクロブロック単
位で動きを検出する。混合比生成回路22は、動き検出回
路21によって動きが0であると判定された領域について
は、予測誤差のレベルから静止領域であるか動領域であ
るかを判定して、混合比(1−m),mを求める。乗算
器14,15及び加算器16は、混合比に基づいてフィールド
内補間信号とフィールド間補間信号とを混合する。動き
ベクトル及び予測誤差によって動きがないと判定された
場合とプログレッシブ画像である場合とにのみ、フィー
ルド間補間信号が用いられる。動きの判定にフレームメ
モリを用いておらず、回路規模を縮小することができ
る。また、動きの判定に予測誤差を用いており、検出精
度が向上する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、符号化データを復
号化するデコーダの出力を順次走査変換するものに好適
な動き判定装置に関する。
【0002】
【従来の技術】近年、画像のディジタル処理が普及して
きている。画像データを圧縮符号化する方法としては、
MPEG(Movig Picture Experts Group)等の高能率
符号化が採用される。高能率符号化技術は、ディジタル
伝送及び記録等の効率を向上させるために、少ないビッ
トレートで画像データを符号化するものである。
【0003】ところで、現行NTSC方式のテレビジョ
ン放送においては、インターレース走査方式が採用され
ている。インターレース走査は、1画面をトップ(to
p)フィールドとボトム(bottom)フィールドと
に分割して伝送することにより、帯域幅を節約して高効
率の伝送を可能にしたものである。しかし、テレビジョ
ン受像機の高輝度化及び大画面化によって、ラインフリ
ッカ及びラインクロールが目立つので、画像メモリを使
用して補間を行うことにより、インターレース信号をプ
ログレッシブ信号に変換する順次走査変換装置が採用さ
れることがある。
【0004】1/30秒間隔で1画面の全画像がサンプ
リングされるプログレッシブ構造の画像データがMPE
Gエンコーダの入力ソースであって、MPEGエンコー
ダからの符号化データを復号化するMPEGデコーダの
出力もプログレッシブ構造を有するモードである場合に
は、走査線変換の必要はない。しかし、MPEG2規格
はインターレース画像に対応しており、エンコーダの入
力ソースがプログレッシブ構造である場合でもデコーダ
からインターレース信号が出力されることがあり、ま
た、MPEGエンコーダの入力ソースが1画面の画像を
トップ,ボトムフィールドに分けて1/60秒の間隔で
フィールド毎にサンプリングされるインターレース構造
の画像データである場合には、MPEGデコーダの出力
もインターレース画像であり、これらの場合には走査線
変換の必要がある。
【0005】順次走査変換装置においては、インターレ
ース信号に対する補間処理によって、プログレッシブ信
号を得ている。一般的には、画像の動きに応じて補間方
法をフィールド内補間とフィールド間補間とで切換える
ようになっている。フィールド内補間は同一フィールド
内の上下の走査線から補間信号を得るものであり、フィ
ールド間補間は、前フィールドの走査線から補間信号を
得るものである。
【0006】即ち、動き検出によって静画であると判断
された場合には、フィールド間補間によってプログレッ
シブ信号を得る。これにより、前フィールドの走査線と
現フィールドの走査線とを用いた補間が可能であり、十
分な垂直解像度を得ることができる。また、動き検出に
よって動画であると判断された場合には、フィールド内
補間によってプログレッシブ信号を得る。動画では前後
のフィールドの画像はずれているが、同一フィールドの
走査線を用いることにより、画像劣化を生じることなく
プログレッシブ信号を得ることができる。
【0007】このように、順次走査変換においては、画
像の動きを判定する必要がある。この種の従来の動き判
定装置においては、画像の動きを検出するために、フレ
ームメモリを用いている。即ち、動き検出においては、
フレームメモリを用いて連続した2フレーム相互間の差
信号を動き成分として検出し、更に、低域フィルタによ
って輝度成分を抽出する。この輝度低域成分のフレーム
間差信号を動き成分として用いる。
【0008】しかしながら、画像が動いた場合でも、フ
レーム間差信号のレベルが略々等しくなることがある。
従って、フレームメモリによって得られる差信号のレベ
ルを単純に比較しただけでは、動領域を静止領域と誤判
定してしまうことがあるという問題があった。
【0009】また、動き検出のためにフレームメモリが
必要であり、回路規模が大きいという問題もあった。
【0010】
【発明が解決しようとする課題】このように、上述した
従来の動き判定装置においては、フレームメモリが必要
であることから回路規模が大きいという問題点があっ
た。また、フレーム間差信号のレベルによって動領域と
静止領域とを判定していることから、動領域を静止領域
と誤判定してしまうことがあるという問題点もあった。
【0011】本発明はかかる問題点に鑑みてなされたも
のであって、回路規模を縮小すると共に、動領域と静止
領域とを確実に判定することができる動き判定装置を提
供することを目的とする。
【0012】
【課題を解決するための手段】本発明の請求項1に係る
動き判定装置は、現画像と所定の参照画像との予測誤差
を用いた動き補償予測符号化によって符号化された符号
化信号が入力され、前記符号化信号を復号化して画像信
号を復元すると共に、前記符号化信号に関する情報を得
る復号化手段と、前記符号化信号に関する情報に基づい
て、復号する画像の静止領域と動領域とを判定する動き
検出手段と、この動き検出手段の判定結果を前記復号化
手段の復号化の過程で得られる予測誤差を用いて補正す
る補正手段とを具備したものであり、本発明の請求項1
0に係る動き判定装置は、現画像と所定の参照画像との
予測誤差を用いた動き補償予測符号化によって符号化さ
れた符号化信号が入力され、前記符号化信号を復号化し
て画像信号を復元すると共に、前記符号化信号に関する
情報を得る復号化手段と、前記符号化信号に関する情報
に基づいて、復号する画像の静止領域と動領域とを判定
する動き検出手段と、前記動き検出手段の判定結果を前
記復号化手段の復号化の過程で得られる予測誤差を用い
て補正し、補正結果に基づいて、前記復号化手段によっ
て復元されてインターレース順に出力される画像信号に
対する静止領域の処理及び動領域の処理によって作成す
る2つの補間信号の混合比を決定する混合比生成手段と
を具備したものである。
【0013】本発明の請求項1においては、復号化手段
によって、符号化信号は元の画像信号に復元される。ま
た、復号化手段は符号化信号に関する情報も得る。動き
検出手段は、符号化信号に関する情報から復号する画像
の動領域と静止領域とを判定する。この判定結果は補正
手段に与えられ、補正手段は、復号化手段の復号化の過
程で得られる予測誤差を用いて、動き検出手段の判定結
果を補正する。
【0014】本発明の請求項10においては、復号化手
段の復号化処理によって画像信号が復元される。動き検
出手段は復号する画像の動領域と静止領域とを判定す
る。混合比生成手段は、予測誤差を用いて動き検出手段
の判定結果を補正し、補正結果に基づいて、インターレ
ース順に出力される画像信号に対する静止領域の処理及
び動領域の処理によって作成する2つの補間信号の混合
比を決定する。
【0015】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について詳細に説明する。図1は本発明の一実
施の形態に係る動き判定装置が組込まれた順次走査変換
装置をMPEGデコーダに適用した例を示すブロック図
である。
【0016】本実施の形態は送信側のMPEGエンコー
ダによって符号化された映像信号(以下、MPEG信号
という)に含まれている画像構造及び動きベクトル等の
情報を利用することにより、フレームメモリを省略可能
にしたものである。
【0017】入力端子1には図示しない送信側のMPE
Gエンコーダによって符号化されたMPEG信号が入力
される。送信側のMPEGエンコーダでは、画面内で圧
縮を行うフレーム内圧縮の外に、画像間の相関を利用し
て圧縮を行うフレーム間圧縮を採用している。フレーム
内圧縮時には、映像信号は例えば8×8画素のブロック
(DCTブロック)単位でDCT(離散コサイン変換)
処理されて、空間座標成分が周波数成分に変換される。
DCT変換係数は量子化処理されて、符号量が低減され
る。更に、量子化出力は可変長符号化されることによ
り、符号量が一層低減される。
【0018】また、MPEGエンコーダにおけるフレー
ム間圧縮では、現フレームの画像と前後のフレームの参
照画像との差分が予測誤差として求められ、この予測誤
差についてDCT処理、量子化処理及び可変長符号化処
理が行われる。これにより、符号量を著しく低減するこ
とができる。しかし、画像の動きが大きい場合には、単
に前後の画像との差分を求めただけでは予測誤差が大き
くなって符号量が増大してしまうことがある。そこで、
参照画像と現フレームの画像との動きベクトルを検出
し、動きベクトルに基づいて参照画像を動き補償して現
フレームの画像との差分を求めることにより、予測誤差
を小さくして符号量を削減するようになっている。
【0019】このように、MPEGエンコーダでは、D
CT処理によって1フレームの画像データを符号化した
フレーム内符号化フレーム(以下、Iピクチャという)
と、フレーム間符号化フレーム(以下、Pピクチャとい
う)又はIピクチャを用いた予測符号化によって画像デ
ータを符号化したPピクチャと、フレーム内、前方、後
方及び両方向予測適応切換フレーム(以下Bピクチャと
いう)とによって符号化フレームを構成する。
【0020】なお、MPEGエンコーダにおいて処理す
る輝度信号と色差信号とはサンプリングクロックが相違
する。例えば、色差信号のサンプリングクロックが輝度
信号のサンプリングクロックの1/4の周波数であるも
のとすると、輝度ブロックと色差ブロックの大きさの比
は1:4となる。この場合には、輝度4ブロックと色差
各1ブロックずつとの6DCTブロックによってマクロ
ブロックを構成して符号化の単位とする。動きベクトル
の検出もマクロブロック単位で行われる。
【0021】即ち、動きベクトルの検出においては、現
フレームの符号化を行うべき注目ブロック(マクロブロ
ック)に対して相対的な位置関係が同一である参照フレ
ームのブロックを中心とした所定の探索範囲を設定す
る。そして、マッチング計算によって、現フレームの注
目ブロックのパターンに最も類似したパターンのブロッ
クを探索範囲内で探索する。つまり、探索範囲内でブロ
ックを0.5画素単位で移動させながら順次設定し、注
目ブロックと探索範囲に設定したブロックとの間で対応
する各画素同士の差分の絶対値を累積するマッチング計
算を行い、最も累積値が小さいブロックを参照画像ブロ
ックとする。参照画像ブロックと注目ブロックとの位置
関係を示すベクトルを動きベクトルとして求めるように
なっている。
【0022】ところで、MPEGエンコーダにおいて
は、入力画像がプログレッシブ画像である場合には、フ
レーム構造による符号化が行われる。また、入力画像が
インターレース画像である場合には、インターレース画
像のトップ及びボトムフィールドの画像をそのまま符号
化するフィールド構造による符号化を行うだけでなく、
フィールド画像のトップ及びボトムフィールドからフレ
ーム画像を作成して、フレーム構造の状態で符号化を行
うことがある。MPEGエンコーダは、これらのフレー
ム構造の状態での符号化とフィールド構造の状態での符
号化とをフレーム単位で選択するようになっている。
【0023】フィールド構造による符号化では、フィー
ルドピクチャ単位で動き補償予測及びDCT符号化が行
われる。これに対して、フレーム構造による符号化では
フレームピクチャ単位で符号化が行われるが、動き補償
予測としては、参照画像としてフレーム画像を用いるフ
レーム予測と、参照画像としてトップフィールド画像及
びボトムフィールド画像のいずれか一方を用いるフィー
ルド予測とが採用される。
【0024】即ち、フレーム予測においては、トップ及
びボトムフィールドが合成された入力フレームの各画素
データとトップ及びボトムフィールドが合成された参照
フレームとの間で動きが検出され、1つの動きベクトル
が求められる。これに対し、フィールド予測において
は、入力フレームのトップフィールドの各画素と参照フ
レームのトップ又はボトムフィールドの各画素との間で
動きが求められて、トップフィールドについての1つの
動きベクトルが求められると共に、入力フレームのボト
ムフィールドの各画素と参照フレームのトップ又はボト
ムフィールドの各画素との間で動きが求められて、ボト
ムフィールドについての1つの動きベクトルが求められ
る。つまり、フィールド予測においては、トップ及びボ
トムフィールド用の2つの動きベクトルが求められる。
【0025】MPEGエンコーダにおいては、符号化時
の画像構造及び動きベクトルの情報等を可変長符号化し
て、符号化データに多重して出力するようになってい
る。
【0026】本実施の形態においては、符号化データに
多重されている動きベクトル及び画像構造等の情報に基
づいて、画像の動領域と静止領域とを判定する。符号化
側では、上述したように、マッチング計算の累積値が最
小であるブロックと注目ブロックとの位置関係を動きベ
クトルとしている。従って、画像が動いている場合であ
っても、動きベクトルが0となることがある。そこで、
本実施の形態においては、更に、予測誤差を用いて動領
域と静止領域とを判定するようになっている。
【0027】図1において、MPEG信号は可変長復号
化回路(以下、VLDという)2に供給される。VLD
2は入力されたMPEG信号を可変長復号化して、可変
長符号化前のデータに戻す。この可変長復号化処理によ
って、量子化出力が得られると共に、符号化時の画像構
造及び動きベクトル等の符号化時の情報が得られる。な
お、画像構造の情報は、MPEGエンコーダの入力ソー
スがプログレッシブ画像であったかインターレース画像
であったかの情報、フレーム構造の状態又はフィールド
構造の状態のいずれの状態で符号化が行われたかの情報
及びフレーム予測又はフィールド予測のいずれの予測方
法が用いられたかの情報等を含む。可変長復号化回路2
からのこれらの情報は、動き判定装置3及び動き補償予
測回路(以下、MCという)4に供給されるようになっ
ている。
【0028】VLD2からの量子化出力は逆量子化回路
(以下、IQという)5に与えられる。IQ5はVLD
2からの量子化出力を逆量子化処理することによって量
子化前のデータに戻して逆DCT回路(以下、IDCT
という)6に出力する。IDCT6は入力された逆量子
化出力を逆DCT処理して元の空間座標成分である画素
データに戻してMC4に出力する。
【0029】MPEG信号がIピクチャに基づくもので
ある場合には、IDCT6の出力はIピクチャの復元画
像データである。この場合には、MC4は入力された復
元画像データをそのままメモリ7に出力するようになっ
ている。メモリ7は、復元画像データを保持して、表示
順に出力するための表示用のメモリとして機能すると共
に、復元画像データを参照画像として保持する参照メモ
リとしても機能する。
【0030】MPEG信号がフレーム間符号化されたも
のである場合には、このMPEG信号に基づくIDCT
6の出力は予測誤差である。この場合には、MC4は、
予測モードに基づいて、メモリ7に格納されている参照
画像データを動きベクトルを用いて動き補償して、動き
補償した参照画像データとIDCT6からの予測誤差と
を加算して元の画像データを復元するようになってい
る。MC4は復元した画像データをメモリ7に出力に記
憶させるようになっている。メモリ7からの画像データ
は順次走査変換回路8に供給される。なお、これらの復
号化処理はマクロブロック単位で行われるようになって
いる。
【0031】順次走査変換回路8は、動き判定装置3か
ら動きの判定結果に基づく混合比mの情報が与えられ、
フィールド内補間信号とフィールド間補間信号とを混合
比mに基づいて混合して、補間ラインを作成するように
なっている。
【0032】図2は図1中の動き判定装置3及び順次走
査変換回路8の具体的な構成を示すブロック図である。
【0033】メモリ7からは、上述したように、インタ
ーレース順で復号データが読出される。メモリ7には表
示フィールドの復号データが記憶されていると共に、こ
の表示フィールドの補間に用いるフィールド(以下、補
間フィールドという)の復号データも記憶されている。
メモリ7は表示フィールドの復号データを順次走査変換
回路8のフィールド内補間信号生成回路12に出力し、補
間フィールドの復号データをフィールド間補間信号生成
回路13に出力するようになっている。なお、補間フィー
ルドは表示フィールドに隣接するフィールドであり、フ
レーム構造で符号化が行われた場合には、フレーム内の
対のフィールドである。
【0034】フィールド内補間信号生成回路12はメモリ
7から表示フィールドの復号データの画素値を読出し、
フィールド内補間によって動領域用の走査線補間信号
(フィールド内補間信号)を生成して、乗算器14に出力
する。また、フィールド間補間信号生成回路13はメモリ
7から表示フィールドに補間フィールドの画素値を読出
し、フィールド間補間によって静止領域用の走査線補間
信号(フィールド間補間信号)を生成して、乗算器15に
出力する。
【0035】乗算器14,15は、夫々後述する動き判定装
置3から混合比(1−m),mが与えられる。乗算器14
はフィールド内補間処理によって作成された補間信号に
混合比(1−m)を乗算して加算器16に出力する。乗算
器15はフィールド間補間処理によって作成された補間信
号に混合比mを乗算して加算器16に出力するようになっ
ている。
【0036】加算器16は、フィールド内補間による補間
信号とフィールド間補間による補間信号とを(1−
m):mの比で混合してスイッチ17の端子bに出力す
る。スイッチ17の端子aにはメモリ7から表示フィール
ドの復号データが与えられる。スイッチ17は端子a,b
を表示ライン毎に切換えることにより、復号されたイン
タレースの画像信号に補間信号を多重して出力するよう
になっている。
【0037】動き判定装置3は、動き検出回路21、混合
比生成回路22及び混合比保持メモリ23によって構成され
ている。動き検出回路21は、VLD2によって得られた
動きベクトル及び画像構造の情報に基づいて、マクロブ
ロック単位で画像の動きを検出して、静止領域であるか
動領域であるかを示す情報等を作成するようになってい
る。
【0038】図3は動き検出回路21の動きの検出方法を
説明するための説明図である。図3(a)はフレーム構
造の状態で符号化された場合の例を示し、図3(b)は
フィールド構造の状態で符号化された場合の例を示して
いる。図3において、垂直方向は画面の垂直方向に対応
し、水平方向はフィールド単位の時間を示しており、○
印は各フィールドの垂直方向の画素を示している。な
お、図3では、図面の簡略化のために水平方向について
は示していないが、水平方向の動きはないものとして説
明する。また、図3の一点鎖線は同一動き検出単位内の
画素を示している。
【0039】動き検出回路21は、先ず、画像構造の情報
によって復号画像の画像構造がプログレッシブフレーム
であるか否かを検出する。例えば、MPEG信号がプロ
グレッシブ画像を符号化したものである場合には、メモ
リ7から出力される画像信号のトップ及びボトムフィー
ルドは元のプログレッシブ画像に対応しており、トップ
又はボトムフィールドのうちの表示フィールドを他方の
フィールドの画素値によって補間することにより、元の
プログレッシブ画像を得ることができる。従って、この
場合には、動き検出回路21は、無条件に、フィールド間
補間を指定するための情報を混合比生成回路22に出力す
るようになっている。
【0040】また、プログレッシブフレームでない場合
には、動き検出回路21はマクロブロックをフィールド毎
に分割して動きを検出する。復号画像がフィールド構造
で符号化されている場合には、動き検出回路21は、マク
ロブロック単位で動きベクトルを判定する。また、復号
画像がフレーム構造で符号化されている場合には、動き
検出回路21は、マクロブロックをトップフィールドとボ
トムフィールドとに分割して夫々動き検出単位毎に動き
ベクトルを判定する。動き検出回路21は、これらの動き
検出単位毎に連続して動きベクトルを判定して、連続し
た2つの動き検出単位において動きが0である場合には
静止領域と判定し、他の場合には動領域と判定する。
【0041】例えば、動き検出回路21は、MPEG信号
がフレーム構造の状態でフレーム予測を採用して符号化
が行われたものである場合には、復号化されるマクロブ
ロックの動きベクトルが0であるか否かを判断すること
によって、マクロブロックが静止領域であるか動領域で
あるかを判定する。図3(a)の矢印は、画素値が同一
の画素の動きを示しており、図の水平方向の矢印によっ
て画面垂直方向には動きがないことが示される。
【0042】図3(a)に示すように、マクロブロック
の動きベクトルが0であれば、復号したマクロブロック
と参照画像のマクロブロックについて、復号画像のトッ
プフィールドと参照画像のトップフィールドとは一致
し、復号画像のボトムフィールドと参照画像のボトムフ
ィールドとは一致する。即ち、復号画像のトップ及びボ
トムフィールドは参照画像のトップ及びボトムフィール
ドに対して静止している。この場合には、動き検出回路
21は、各フレームのトップフィールドとボトムフィール
ドとの間には動きがなく復号マクロブロックは静止領域
のマクロブロックであるものと判断する。動き検出回路
21は、静止領域であるか動領域であるかを示す情報を混
合比生成回路22に出力する。
【0043】また、動き検出回路21は、フレーム構造の
状態でフレーム予測を採用して符号化された状態と同様
の状態によってMPEG信号が作成されている場合に
は、動きベクトルが0であることによって、静止領域と
判断するようになっている。例えば、フレーム構造の状
態でフィールド予測を採用して符号化が行われた場合で
あっても、復号画像のトップ及びボトムフィールドが夫
々参照画像のトップ及びボトムフィールドを用いて予測
符号化したものであり、且つ、トップ及びボトムフィー
ルドの動きベクトルがいずれも0である場合には、静止
領域と判断してもよい。
【0044】また、同様に、動き検出回路21は、MPE
G信号がフィールド構造の状態でフィールド予測を採用
して符号化されたものである場合において、前フィール
ドの動きベクトルと現フィールドの動きベクトルがいず
れも0で、参照フィールドと予測フィールドとが一致し
ている領域を静止領域であると判定する。図3(b)は
この場合の状態を示している。動き検出回路21は、図3
(b)の破線で囲った領域を静止領域と判断する。
【0045】混合比生成回路22には、IDCT6から予
測誤差も与えられており、混合比生成回路22は、動き検
出回路21の検出結果及び予測誤差に基づいて順次走査変
換回路8において用いる混合比(m−1),mを生成す
る。混合比生成回路22は、動き検出回路21によってプロ
グレッシブフレームであることが検出された場合には、
フィールド間補間のみによって順次走査変換を行うよう
に混合比としてm=1を算出する。
【0046】また、動きベクトルが0でない場合には、
動き検出回路21は動領域として判断するので、混合比生
成回路22はフィールド内補間のみによって順次走査変換
を行うように、混合比としてm=0を算出する。
【0047】一方、上述したように、動きベクトルが0
であっても、実際には絵柄が動いていることがある。そ
こで、混合比生成回路22は、動き検出回路21が静止領域
と判断した場合には、マクロブロックの予測誤差の絶対
値和又は自乗和の値によって、混合比を生成するように
なっている。
【0048】例えば、混合比生成回路22は、動き検出単
位(マクロブロック)毎に、隣接するフィールドの動き
検出単位における予測誤差の絶対値和又は自乗和Sを算
出し、Sの値が閾値Th未満である場合には混合比mを
1とし、閾値Th以上である場合には混合比mを0とす
る。即ち、混合比生成回路22は、予測誤差の絶対値は又
は自乗和Sが比較的小さい場合には、静止領域であるも
のと判断して、フィールド間補間のみを指定するための
混合比を設定し、Sの値が比較的大きい場合には、動領
域であるものと判断して、フィールド内補間のみを指定
するための混合比を設定するのである。また、混合比生
成回路22は、Sの値が閾値Th未満である場合には混合
比mを1近傍の値とし、閾値Th以上である場合には混
合比mを0近傍の値としてもよい。
【0049】また、混合比生成回路22は、Sの値が比較
的小さい場合には、フィールド内補間による補間信号よ
りもフィールド間補間による補間信号の混合比を大きく
する混合比を設定し、Sの値が比較的大きい場合には、
フィールド内補間による補間信号よりもフィールド間補
間による補間信号の混合比を小さくする混合比を設定し
てもよい。更に、混合比生成回路22は、0≦m≦1の範
囲内で、下記(1)式に応じて、混合比mをリニアに変
化させるように生成してもよい。
【0050】 m=1−S/n(nは定数) …(1) 更に、混合比生成回路22は、混合比mを動き検出単位毎
ではなく画素毎に生成してもよい。この場合には、混合
比生成回路22は、画素毎に予測誤差の絶対値又は自乗値
Sを算出し、画素毎にSの値を閾値Thと比較して混合
比を算出するか又は画素毎に上記(1)式に基づいて混
合比を算出する。
【0051】混合比生成回路22が生成した混合比は混合
比保持メモリ23に供給される。混合比保持メモリ23は、
生成された混合比を画像表示時に使用されるまでの間保
持して、順次走査変換回路8に供給するようになってい
る。
【0052】ところで、動きベクトルを用いた混合比の
算出方法は、P,Bピクチャについては適用することが
できるが、Iピクチャには適用することができない。そ
こで、フレーム内圧縮された領域については、この領域
を参照画像とする復号画像の領域に設定した混合比をそ
のまま用いるようになっている。
【0053】図4はこの場合の静止領域と動領域との判
断を説明するための説明図である。
【0054】図4においてB(P)ピクチャの復号画像
の静止領域(中央の破線で囲った部分)は参照画像(前
方又は後方のIピクチャ)の対応する領域と同一画素で
ある。従って、B(P)ピクチャの復号画像のトップフ
ィールドとボトムフィールドとの間に動きがなく静止領
域と判断された場合には、この領域が参照するIピクチ
ャの領域も静止領域(図4の左右の破線で囲った部分)
と判断することができる。
【0055】なお、フレームメモリの増加を防止するた
めに、動き検出回路21は、後方参照画像のみに対して判
断してもよい。
【0056】このように、復号画像がIピクチャである
場合でも、このIピクチャの領域を参照画像とする画像
の領域が静止領域であるか否かによって、Iピクチャの
領域が静止領域であるか動領域であるかを判断して、混
合比を求めることができる。
【0057】次に、このように構成された実施の形態の
動作について図5乃至図7の説明図を参照して説明す
る。図5は混合比生成回路22における予測誤差に基づく
混合比の設定方法を説明するためのものであり、図6及
び図7は補間方法を説明するためのものである。
【0058】入力端子1を介して入力されたMPEG信
号はVLD2に与えられて可変長復号化される。VLD
2からは量子化出力、動きベクトル及び画像構造の情報
が得られる。量子化出力はIQ5に供給されて逆量子化
され、更に、IDCT6によって逆DCT処理されて、
元の画素データに戻される。IDCT6からの画素デー
タはMC4に供給される。
【0059】フレーム内符号化されたMPEG信号が入
力された場合には、このMPEG信号に対するIDCT
6の出力は復元画像である。MC4はこの復元画像をメ
モり7に与えて記憶させる。メモリ7は復元画像を参照
画像として保持する。
【0060】一方、フレーム間符号化されたMPEG信
号が入力された場合には、このMPEG信号に対するI
DCT6の出力は予測誤差である。MC4はVLD2か
ら動きベクトルも与えられており、メモリ7に記憶され
ている参照画像を動きベクトルを用いて動き補償し、I
DCT6の出力と動き補償した参照画像とを加算するこ
とにより元の画像を復元する。MC4は復元画像をメモ
り7に与えて記憶させる。
【0061】一方、VLD2からの動きベクトル及び画
像構造の情報は動き判定装置3に供給される。動き判定
装置3の動き検出回路21は、先ず、画像構造の情報によ
って、入力されたMPEG信号がプログレッシブ画像を
符号化したものであるか否かを判定する。入力MPEG
信号がプログレッシブ画像を符号化したものでない場合
には、動き検出回路21は、入力MPEG信号の画像構造
及び動きベクトルに応じて動きを検出する。
【0062】例えば、入力MPEG信号がフレーム構造
の状態で符号化されている場合には、動き検出回路21は
動きベクトルが0であるときにのみ静止領域とを判定す
る。また、動き検出回路21は、フレーム構造の状態でフ
ィールド予測を用いて符号化を行った場合でも、復号画
像のトップ及びボトムフィールドが夫々参照画像のトッ
プ及びボトムフィールドを用いて予測符号化したもので
あり、且つ、トップ及びボトムフィールドの動きベクト
ルがいずれも0である場合においても、動きベクトルが
0であるときにのみ静止領域とを判定する。更に、動き
検出回路21は、MPEG2信号がフィールド構造の状態
で符号化されている場合には、フィールド予測が行われ
ているときには、1つ前のフィールド及び現フィールド
の動きベクトルが0であることによって静止領域である
と判定する。
【0063】動き検出回路21の判定結果は混合比生成回
路22に与えられる。混合比生成回路22は、動き検出回路
21の判定結果に基づいて順次走査変換回路8の乗算器1
4,15に与える混合比(1−m),mを求める。混合比
生成回路22は、入力MPEG信号がプログレッシブ画像
を符号化したものである場合には、混合比mを1とす
る。また、混合比生成回路22は、動きが0でない場合に
は、混合比mを0とする。
【0064】例えば、いま、入力MPEG信号がプログ
レッシブ画像をフレーム構造のまま符号化されて得られ
たものであるものとする。この場合には、混合比生成回
路22は、復号しているマクロブロックに対してフィール
ド間補間を指定するためのm=1を混合比保持メモリ23
に出力する。
【0065】プログレッシブ画像をフレーム構造のまま
符号化して得られたMPEG信号は、VLD2,IQ
5,IDCT6及びMC4によって復号されて、メモリ
7に復元画像データが記憶される。メモリ7に記憶され
た復元画像データのうち表示フィールドの復号データは
順次走査変換回路8のフィールド内補間信号生成回路12
に供給される。また、この表示フィールドの補間に用い
る補間フィールドの復号データはフィールド間補間信号
生成回路13に供給される。
【0066】フィールド内補間信号生成回路12は、表示
フィールド内の画素データ同士を用いた演算によってフ
ィールド内補間信号を生成して乗算器14に出力する。ま
た、フィールド間補間信号生成回路13は、補間フィール
ドの画素データを用いた演算によってフィールド間補間
信号を生成して乗算器15に出力する。図6はこれらの補
間処理を示している。図6では補間フィールドとして隣
接フィールドを用いた例を示している。
【0067】フィールド内補間信号生成回路12は、例え
ば画素A,Bの間の画素x(破線)を補間する場合に
は、画素A,Bの画素値(A,B)の和を1/2倍する
ことによりフィールド内補間信号を得る。また、フィー
ルド間補間信号生成回路13は、画素xを補間する場合に
は、画素A,Bに対応する位置の隣接フィールドの画素
aの値aをそのまま用いる。
【0068】混合比保持メモリ23は、走査線変換するフ
ィールドの対応する領域についての混合比(1−m),
mを走査線変換処理のタイミングで夫々乗算器14,15に
出力する。入力MPEG信号がプログレッシブ画像を符
号化したものである場合にはm=1であるので、フィー
ルド間補間信号生成回路13からのフィールド間補間信号
のみが加算器16を介してスイッチ17に供給される。
【0069】スイッチ17は順次走査の1ライン毎に端子
a,bを切換え選択して、メモリ7からの表示フィール
ドの復号データと加算器16からの補間信号とを交互に出
力する。この場合には、表示フィールドの復号データと
加算器16からのフィールド間補間信号とが交互に出力さ
れる。
【0070】ここで、動き検出回路21の判定結果によっ
て動きが0であることが示されるものとする。この場合
には、混合比生成回路22は、予測誤差を用いて混合比
(1−m),mを算出する。混合比生成回路22は、予測
誤差の絶対値和又は自乗和を求めて、所定の閾値と比較
する。予測誤差の絶対値和又は自乗和が閾値よりも多い
場合には、動きがあるものと判定して混合比mを0に
し、小さい場合には動きがないものと判定して混合比m
を1にする。
【0071】更に、混合比生成回路22は、予測誤差の絶
対値和又は自乗和に応じて、上記(1)式からリニアに
変化する混合比mを求めてもよい。この場合には、加算
器16の出力はフィールド内補間信号とフィールド間補間
信号とを混合比mで混合したものとなる。例えば、図6
に示す画素値の画素を用いた補間処理によって得られる
補間画素xの値xは、x=m×a+(1−m)×(A+
B)/2となる。
【0072】また、混合比生成回路22は、動き検出単位
でなく、画素単位に混合比を求めてもよい。図5は予測
誤差を用いて画素毎に動きを検出する例を示している。
図5では説明の便宜上、1マクロブロックが6×6画素
で構成されているものとする。
【0073】図5(a)はIDCT6からの予測誤差を
示している。1マクロブロックのうちの所定の画素の画
素値は0であり、他の画素は0以外の値を有する。この
場合でも、上述したように、動きベクトルが0であるこ
とがある。混合比生成回路22は、予測誤差の絶対値又は
自乗値に基づいて混合比mを決定する。例えば、混合比
生成回路22は、予測誤差が0である画素については図5
(b)の斜線部に示すように、動きがないものと判定し
て混合比mを1にし、そうでない画素については動きが
あるものと判定して混合比mを0にする。
【0074】混合比(1−m),mは混合比保持メモリ
23に供給され、順次走査変換のタイミングで乗算器14,
15に供給される。混合比生成回路22が画素単位で混合比
を発生した場合には、フィールド内補間信号とフィール
ド間補間信号との混合比は画素単位で切換えられる。即
ち、図5(b)の斜線部の画素については、フィールド
間補間信号が加算器16から出力され、その他の画素につ
いてはフィールド内補間信号が加算器16から出力され
る。
【0075】図7はこの場合のフィールド内補間及びフ
ィールド間補間の補間処理を説明するためのものであ
る。図7は復号画像のフィールドAを動き検出単位とす
る画素a1 ,a2 ,a3 ,a4 相互間の画素x1 ,x2
,x3 ,x4 を補間する例を示している。この場合に
は、隣接する補間フィールドBを動き検出単位とする画
素b1 ,b2 ,b3 ,b4 と参照画像であるJフィール
ドの画素j1 ,j2 ,j3,j4 との間の予測誤差を用
いる。予測誤差が閾値よりも小さい場合には、静止領域
であるものとして、フィールドB上の画素b1 ,b2 ,
b3 ,b4 の画素値b1 ,b2 ,b3 ,b4 をそのまま
補間画素x1 ,x2 ,x3 ,x4 の画素値とする。ま
た、予測誤差が閾値よりも大きい場合には、フィールド
A上の画素a1,a2 ,a3 ,a4 、a5 の画素値a1
,a2 ,a3 ,a4 、a5 を用いて、画素値x1 ,x2
,x3 ,x4 は、夫々(a1 +a2 )/2,(a2 +
a3 )/2,(a3 +a4 )/2,(a4 +a5 )/2
とする。
【0076】なお、混合比生成回路22は、各画素の予測
誤差の値に応じた混合比を設定するようにしてもよい。
この場合には、加算器16の出力はフィールド内補間信号
とフィールド間補間信号とを混合比mで混合したものと
なる。例えば、図7に示す画素値の画素を用いた補間処
理によって得られる補間画素x1 の値x1 は、x1 =m
×b1 +(1−m)×(a1 +a2 )/2となる。
【0077】次に、IピクチャのMPEG信号が入力さ
れるものとする。この場合には、混合比生成回路22は、
Iピクチャのマクロブロックを参照画像とする復号マク
ロブロックについて混合比(1−m),mを求め、この
復号マクロブロックと同一の混合比をIピクチャのマク
ロブロックについて行って、混合比保持メモリ3の対応
する領域に書込みを行う。なお、この場合には、フレー
ムメモリの増加を防止するために、後方参照した復号マ
クロブロックに対する判定のみを用いてもよい。
【0078】このように、本実施の形態においては、動
き補償予測符号化時に用いられた動きベクトル及び予測
誤差を用いて動領域と静止領域とを判定しており、動き
判定においてフレームメモリを不要にすることができる
ので、回路規模を縮小することができる。また、動きベ
クトルが0である場合には、予測誤差を用いて動領域と
静止領域とを判定しており、動領域と静止領域とを確実
に判定することができる。
【0079】
【発明の効果】以上説明したように本発明によれば、回
路規模を縮小すると共に、動領域と静止領域とを確実に
判定することができるという効果を有する。
【図面の簡単な説明】
【図1】本発明に係る動き判定装置が組込まれた順次走
査変換装置をMPEGデコーダに適用した一実施の形態
を示すブロック図。
【図2】図1中の動き判定装置3及び順次走査変換回路
8の具体的な構成を示すブロック図。
【図3】実施の形態を説明するための説明図。
【図4】実施の形態を説明するための説明図。
【図5】実施の形態の動作を説明するための説明図。
【図6】実施の形態の動作を説明するための説明図。
【図7】実施の形態の動作を説明するための説明図。
【符号の説明】
2…、VLD、3…動き判定装置、4…MC、8…順次
走査変換回路

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 現画像と所定の参照画像との予測誤差を
    用いた動き補償予測符号化によって符号化された符号化
    信号が入力され、前記符号化信号を復号化して画像信号
    を復元すると共に、前記符号化信号に関する情報を得る
    復号化手段と、 前記符号化信号に関する情報に基づいて、復号する画像
    の静止領域と動領域とを判定する動き検出手段と、 この動き検出手段の判定結果を前記復号化手段の復号化
    の過程で得られる予測誤差を用いて補正する補正手段と
    を具備したことを特徴とする動き判定装置。
  2. 【請求項2】 前記動き検出手段は、前記符号化信号に
    関する情報に含まれる動きベクトルの情報に基づいて所
    定の動き検出単位毎に静止領域と動領域とを判定するこ
    とを特徴とする請求項1に記載の動き判定装置。
  3. 【請求項3】 前記動き検出手段は、前記符号化信号に
    関する情報によって前記符号化信号がプログレッシブ画
    像を符号化したものであることが示された場合には、復
    号する画像は静止領域の画像であるものと判定すること
    を特徴とする請求項1に記載の動き判定装置。
  4. 【請求項4】 前記動き検出手段は、前記符号化信号に
    関する情報によって前記符号化信号がフィールド予測を
    用いた動き補償予測符号化によって得られたものである
    ことが示された場合には、前記符号化信号に関する情報
    によって隣接するフィールドの同一位置の2つの動き検
    出単位における動きが無いことが示されたときに静止領
    域の画像であると判定することを特徴とする請求項1に
    記載の動き判定装置。
  5. 【請求項5】 前記補正手段は、前記動き検出手段によ
    って静止領域と判定された領域については、前記復号化
    手段の復号化の過程で得られる予測誤差に基づいて動き
    を判定することを特徴とする請求項1に記載の動き判定
    装置。
  6. 【請求項6】 前記補正手段は、前記復号化手段の復号
    化の過程で得られる予測誤差に基づくレベルを所定の閾
    値と比較して静止領域であるか動領域であるかを判定す
    ることを特徴とする請求項5に記載の動き判定装置。
  7. 【請求項7】 前記補正手段は、前記復号化手段の復号
    化の過程で得られる予測誤差に基づくレベルを求めて求
    めたレベルに応じた動きの度合いを示す情報を得ること
    を特徴とする請求項5に記載の動き判定装置。
  8. 【請求項8】前記補正手段は、前記動き検出手段の動き
    検出単位で動きの判定を行うことを特徴とする請求項6
    又は請求項7のいずれか一方に記載の動き判定装置。
  9. 【請求項9】前記補正手段は、画素単位で動きの判定を
    行うことを特徴とする請求項6又は請求項7のいずれか
    一方に記載の動き判定装置。
  10. 【請求項10】 現画像と所定の参照画像との予測誤差
    を用いた動き補償予測符号化によって符号化された符号
    化信号が入力され、前記符号化信号を復号化して画像信
    号を復元すると共に、前記符号化信号に関する情報を得
    る復号化手段と、 前記符号化信号に関する情報に基づいて、復号する画像
    の静止領域と動領域とを判定する動き検出手段と、 前記動き検出手段の判定結果を前記復号化手段の復号化
    の過程で得られる予測誤差を用いて補正し、補正結果に
    基づいて、前記復号化手段によって復元されてインター
    レース順に出力される画像信号に対する静止領域の処理
    及び動領域の処理によって作成する2つの補間信号の混
    合比を決定する混合比生成手段とを具備したことを特徴
    とする動き判定装置。
JP33103896A 1996-12-11 1996-12-11 動き判定装置 Pending JPH10174105A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33103896A JPH10174105A (ja) 1996-12-11 1996-12-11 動き判定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33103896A JPH10174105A (ja) 1996-12-11 1996-12-11 動き判定装置

Publications (1)

Publication Number Publication Date
JPH10174105A true JPH10174105A (ja) 1998-06-26

Family

ID=18239146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33103896A Pending JPH10174105A (ja) 1996-12-11 1996-12-11 動き判定装置

Country Status (1)

Country Link
JP (1) JPH10174105A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007097150A (ja) * 2005-08-31 2007-04-12 Pioneer Electronic Corp 画像信号処理装置及びインターレース・プログレッシブ変換方法
JP2021167953A (ja) * 2015-12-28 2021-10-21 株式会社半導体エネルギー研究所 装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007097150A (ja) * 2005-08-31 2007-04-12 Pioneer Electronic Corp 画像信号処理装置及びインターレース・プログレッシブ変換方法
JP2021167953A (ja) * 2015-12-28 2021-10-21 株式会社半導体エネルギー研究所 装置

Similar Documents

Publication Publication Date Title
US5689305A (en) System for deinterlacing digitally compressed video and method
US9247250B2 (en) Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
JP3778721B2 (ja) 動画像符号化方法および装置
JPH02285816A (ja) 適応型フレーム間予測符号化方法及び復号方法
US6795498B1 (en) Decoding apparatus, decoding method, encoding apparatus, encoding method, image processing system, and image processing method
JP4119092B2 (ja) 画像信号のフレーム数変換方法および装置
JP3649370B2 (ja) 動き補償符号化装置及び動き補償符号化方法
EP1386486B1 (en) Detection and proper interpolation of interlaced moving areas for mpeg decoding with embedded resizing
JPH11298861A (ja) 画像信号のフレーム数変換方法および装置
JP3201079B2 (ja) インターレース動画像信号の動き補償予測方法、符号化方法及び装置
JP2755851B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2002523947A (ja) Mpegデータの復号化および走査変換の遂行に要するバッファメモリの量を減少させる方法および装置
JP2003333540A (ja) フレームレート変換装置及びそれを用いた映像表示装置、テレビジョン放送受信装置
JP2947103B2 (ja) 動画像符号化装置及び動画像符号化方法
JPH10174105A (ja) 動き判定装置
US7415068B2 (en) Process for the format conversion of an image sequence
JP2001086508A (ja) 動画像復号方法及び動画像復号装置
JPH09261530A (ja) 映像記録装置
JP2002010267A (ja) 動きベクトル変換装置及び方法
JPH05103313A (ja) 画像情報処理方法及び装置
JPH10126749A (ja) 順次走査変換装置
US6904093B1 (en) Horizontal/vertical scanning frequency converting apparatus in MPEG decoding block
JP3166835B2 (ja) 動画像の高能率符号化方法及び装置
JP4779207B2 (ja) 動きベクトル変換装置及び動きベクトル変換方法
JP2934180B2 (ja) 動画像符号化方法と装置