JPH09266573A - 画像信号の動きベクトル生成方法およびこれを用いた装置 - Google Patents
画像信号の動きベクトル生成方法およびこれを用いた装置Info
- Publication number
- JPH09266573A JPH09266573A JP7422396A JP7422396A JPH09266573A JP H09266573 A JPH09266573 A JP H09266573A JP 7422396 A JP7422396 A JP 7422396A JP 7422396 A JP7422396 A JP 7422396A JP H09266573 A JPH09266573 A JP H09266573A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- macroblock
- motion
- adjacent
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 ＭＰＥＧビデオ符号化におけるマクロブロッ
ク単位の動きベクトルより画素単位の動きベクトルを生
成すること。 【解決手段】 ＭＰＥＧビデオ符号化のマクロブロック
の動きベクトルＶ０と、これに隣接する上下左右のマク
ロブロックの動きベクトルＶ１，Ｖ２，Ｖ３，Ｖ４とを
用い、単純２ベクトル演算処理、相関２ベクトル演算処
理、３ベクトル平面演算処理、限定ブロックマッチング
演算処理で、画素毎の動きベクトルＭＶＥを生成する。
簡単な演算処理で高精度の動きベクトルが生成でき、こ
の動きベクトルＭＶＥを用いて動き補償の補間走査線信
号の生成や雑音成分の除去等の処理をなしてデジタル放
送の高画質化に顕著な効果を得ることができる。
ク単位の動きベクトルより画素単位の動きベクトルを生
成すること。 【解決手段】 ＭＰＥＧビデオ符号化のマクロブロック
の動きベクトルＶ０と、これに隣接する上下左右のマク
ロブロックの動きベクトルＶ１，Ｖ２，Ｖ３，Ｖ４とを
用い、単純２ベクトル演算処理、相関２ベクトル演算処
理、３ベクトル平面演算処理、限定ブロックマッチング
演算処理で、画素毎の動きベクトルＭＶＥを生成する。
簡単な演算処理で高精度の動きベクトルが生成でき、こ
の動きベクトルＭＶＥを用いて動き補償の補間走査線信
号の生成や雑音成分の除去等の処理をなしてデジタル放
送の高画質化に顕著な効果を得ることができる。
Description
【０００１】
【発明の属する技術分野】本発明は画像信号の動きベク
トル生成方法に係り、特に、ＭＰＥＧビデオ符号化にお
けるマクロブロック単位の動きベクトルより画素単位の
動きベクトルを生成するに好適な動きベクトルの生成方
法に関する。
トル生成方法に係り、特に、ＭＰＥＧビデオ符号化にお
けるマクロブロック単位の動きベクトルより画素単位の
動きベクトルを生成するに好適な動きベクトルの生成方
法に関する。
【０００２】
【従来の技術】デジタル放送は、画像信号をＭＰＥＧビ
デオ符号化で情報量を圧縮し、１つのチャネルで複数個
数の番組を伝送するもので、今後の有力な放送形態とし
て研究開発が進められている。
デオ符号化で情報量を圧縮し、１つのチャネルで複数個
数の番組を伝送するもので、今後の有力な放送形態とし
て研究開発が進められている。
【０００３】一方では、テレビ画像の高画質化を図るた
めの技術開発も進められている。この有効な技術とし
て、画像の動きに応じて画素単位に特性を変える動き適
応の信号処理がある。この処理に必要な動きの情報は、
受信した映像信号のフレ−ム間の差分信号などで検出し
ている。しかし、映像信号の多くは飛び越し走査であ
り、動きの検出には限界がある。
めの技術開発も進められている。この有効な技術とし
て、画像の動きに応じて画素単位に特性を変える動き適
応の信号処理がある。この処理に必要な動きの情報は、
受信した映像信号のフレ−ム間の差分信号などで検出し
ている。しかし、映像信号の多くは飛び越し走査であ
り、動きの検出には限界がある。
【０００４】さて、デジタル放送では、ＭＰＥＧビデオ
符号化で動き補償のフレ−ム間予測符号化を行うので、
復号化に必要な動きベクトルの信号も伝送する。したが
って、受信側では、復号した動きベクトルで動きの情報
を検出できる。そこで、動きの情報にこの動きベクトル
を利用し、高画質化のための動き適応の信号処理を行う
ことが考えられる。ただし、この動きベクトルは、マク
ロブロック（１６画素×１６ライン）を単位とした動き
の情報である。このため、この動きベクトルをもとに個
々の画素の動きベクトルを効率よく生成することが、重
要な課題である。
符号化で動き補償のフレ−ム間予測符号化を行うので、
復号化に必要な動きベクトルの信号も伝送する。したが
って、受信側では、復号した動きベクトルで動きの情報
を検出できる。そこで、動きの情報にこの動きベクトル
を利用し、高画質化のための動き適応の信号処理を行う
ことが考えられる。ただし、この動きベクトルは、マク
ロブロック（１６画素×１６ライン）を単位とした動き
の情報である。このため、この動きベクトルをもとに個
々の画素の動きベクトルを効率よく生成することが、重
要な課題である。
【０００５】
【発明が解決しようとする課題】本発明は、上記の課題
に鑑みてなされたもので、ＭＰＥＧビデオ符号化の動き
ベクトルをもとに、画素毎の動きベクトルを効率よく生
成する動きベクトル生成方法を提供することを目的とす
る。
に鑑みてなされたもので、ＭＰＥＧビデオ符号化の動き
ベクトルをもとに、画素毎の動きベクトルを効率よく生
成する動きベクトル生成方法を提供することを目的とす
る。
【０００６】
【課題を解決するための手段】本発明は、前記課題を達
成するために以下の構成を採用した。
成するために以下の構成を採用した。
【０００７】動き補償型信号処理におけるマクロブロッ
ク単位の動きベクトルをもとに画素単位の動きベクトル
を生成する画像信号の動きベクトル生成方法において、
マクロブロックを上部と下部と左部と右部の４つの領域
に分割し、前記上部領域では前記マクロブロックに上部
隣接するマクロブロックの動きベクトルＶ１、前記左部
領域では前記マクロブロックに左部隣接するマクロブロ
ックの動きベクトルＶ２、前記右部領域では前記マクロ
ブロックに右部隣接するマクロブロックの動きベクトル
Ｖ３、前記下部領域では前記マクロブロックに下部隣接
するマクロブロックの動きベクトルＶ４と、前記マクロ
ブロックの動きベクトルＶ０との内挿演算を行う単純２
ベクトル演算処理により画素単位の動きベクトルの生成
を行う画像信号の動きベクトル生成方法。
ク単位の動きベクトルをもとに画素単位の動きベクトル
を生成する画像信号の動きベクトル生成方法において、
マクロブロックを上部と下部と左部と右部の４つの領域
に分割し、前記上部領域では前記マクロブロックに上部
隣接するマクロブロックの動きベクトルＶ１、前記左部
領域では前記マクロブロックに左部隣接するマクロブロ
ックの動きベクトルＶ２、前記右部領域では前記マクロ
ブロックに右部隣接するマクロブロックの動きベクトル
Ｖ３、前記下部領域では前記マクロブロックに下部隣接
するマクロブロックの動きベクトルＶ４と、前記マクロ
ブロックの動きベクトルＶ０との内挿演算を行う単純２
ベクトル演算処理により画素単位の動きベクトルの生成
を行う画像信号の動きベクトル生成方法。
【０００８】更に、マクロブロックとそれに隣接する上
と下及び左と右のマクロブロックの動きベクトルを用い
て、相関２ベクトル演算処理、３ベクトル平面演算処理
及び限定ブロックマッチング演算処理、により画素単位
の動きベクトルを生成するようにした。
と下及び左と右のマクロブロックの動きベクトルを用い
て、相関２ベクトル演算処理、３ベクトル平面演算処理
及び限定ブロックマッチング演算処理、により画素単位
の動きベクトルを生成するようにした。
【０００９】
【発明の実施の形態】まず、本発明において採用する動
きベクトルの生成に関する技術的手法について以下に説
明する。
きベクトルの生成に関する技術的手法について以下に説
明する。
【００１０】「単純２ベクトル演算処理による動きベク
トル生成の技術的手法」この概略を図４に示す。図中、
点線で囲んだ四角の領域（１６画素×１６ライン）がマ
クロブロックに相当し、各マクロブロックは動きベクト
ルＶ０〜Ｖ４を有す。そして、以下に述べる演算処理
で、動きベクトルＶ０を有するマクロブロックの各画素
の動きベクトルＭＶＥを生成する。
トル生成の技術的手法」この概略を図４に示す。図中、
点線で囲んだ四角の領域（１６画素×１６ライン）がマ
クロブロックに相当し、各マクロブロックは動きベクト
ルＶ０〜Ｖ４を有す。そして、以下に述べる演算処理
で、動きベクトルＶ０を有するマクロブロックの各画素
の動きベクトルＭＶＥを生成する。
【００１１】すなわち、上部領域では上部隣接マクロ
ブロックの動きベクトルＶ１とで、同図に示す内挿演算
を行い、動きベクトルＭＶＥを生成する。左部領域で
は左部隣接マクロブロックの動きベクトルＶ２とで、右
部領域では右部隣接マクロブロックの動きベクトルＶ
３とで、下部領域では下部隣接マクロブロックの動き
ベクトルＶ４とで、同様の内挿演算を行う。そして、各
画素の動きベクトルＭＶＥを簡単な演算で生成する。
ブロックの動きベクトルＶ１とで、同図に示す内挿演算
を行い、動きベクトルＭＶＥを生成する。左部領域で
は左部隣接マクロブロックの動きベクトルＶ２とで、右
部領域では右部隣接マクロブロックの動きベクトルＶ
３とで、下部領域では下部隣接マクロブロックの動き
ベクトルＶ４とで、同様の内挿演算を行う。そして、各
画素の動きベクトルＭＶＥを簡単な演算で生成する。
【００１２】即ち、図４で例示するように、中央のマク
ロブロックは対角線で４分割され、左部領域内の８画
素については、Ｖ０とＶ２とを用いて内挿演算し、８画
素のそれぞれのＭＶＥを生成し、更に、Ｖ０とＶ２とを
結ぶ直線上以外の画素についても前記内挿演算の結果を
適用しようとするものである。
ロブロックは対角線で４分割され、左部領域内の８画
素については、Ｖ０とＶ２とを用いて内挿演算し、８画
素のそれぞれのＭＶＥを生成し、更に、Ｖ０とＶ２とを
結ぶ直線上以外の画素についても前記内挿演算の結果を
適用しようとするものである。
【００１３】「相関２ベクトル演算処理による動きベク
トル生成の技術的手法」この概略を図５に示し、以下に
述べる演算処理で動きベクトルＶ０を有するマクロブロ
ックの各画素の動きベクトルＭＶＥを生成する。まず、
上部隣接、左部隣接、右部隣接、下部隣接するマクロブ
ロックの動きベクトルＶ１,Ｖ２,Ｖ３,Ｖ４に対し、Ｖ
０−ＶＩ（Ｉ＝１〜４）を計算する。
トル生成の技術的手法」この概略を図５に示し、以下に
述べる演算処理で動きベクトルＶ０を有するマクロブロ
ックの各画素の動きベクトルＭＶＥを生成する。まず、
上部隣接、左部隣接、右部隣接、下部隣接するマクロブ
ロックの動きベクトルＶ１,Ｖ２,Ｖ３,Ｖ４に対し、Ｖ
０−ＶＩ（Ｉ＝１〜４）を計算する。
【００１４】そして、この値が最小となるＶＩ（図５で
はＶ３に相当）を相関ベクトルＶＲとして検出する。次
に、同図に示すように、Ｖ０と検出した相関ベクトルＶ
Ｒとの内挿演算を行い、各画素での動きベクトルＭＶＥ
を生成する。これにより、簡単な演算で比較的高精度な
動きベクトルＭＶＥが生成できる。
はＶ３に相当）を相関ベクトルＶＲとして検出する。次
に、同図に示すように、Ｖ０と検出した相関ベクトルＶ
Ｒとの内挿演算を行い、各画素での動きベクトルＭＶＥ
を生成する。これにより、簡単な演算で比較的高精度な
動きベクトルＭＶＥが生成できる。
【００１５】換言すると、中央のマクロブロックと隣接
する４つのマクロブロックとの間で最も相関関係の高い
隣接マクロブロックを選定し、これとの間で演算処理し
て中央マクロブロックの１６画素分のＭＶＥを求めよう
とする手法である。
する４つのマクロブロックとの間で最も相関関係の高い
隣接マクロブロックを選定し、これとの間で演算処理し
て中央マクロブロックの１６画素分のＭＶＥを求めよう
とする手法である。
【００１６】「３ベクトル平面演算処理による動きベク
トル生成の技術的手法」この概略を図６に示す。動きベ
クトルＶ０を有するマクロブロックの各画素の動きベク
トルＭＶＥは、以下に述べる演算処理で生成する。ま
ず、上部隣接、左部隣接、右部隣接、下部隣接するマク
ロブロックの動きベクトルＶ１,Ｖ２,Ｖ３,Ｖ４とで、
三角パッチの動きベクトル平面（この１つの例が同図の
斜線領域で示すＶ０,Ｖ３,Ｖ４とで形成する３ベクトル
平面に相当）を形成する。
トル生成の技術的手法」この概略を図６に示す。動きベ
クトルＶ０を有するマクロブロックの各画素の動きベク
トルＭＶＥは、以下に述べる演算処理で生成する。ま
ず、上部隣接、左部隣接、右部隣接、下部隣接するマク
ロブロックの動きベクトルＶ１,Ｖ２,Ｖ３,Ｖ４とで、
三角パッチの動きベクトル平面（この１つの例が同図の
斜線領域で示すＶ０,Ｖ３,Ｖ４とで形成する３ベクトル
平面に相当）を形成する。
【００１７】次に、この動きベクトル平面と、動きベク
トルが全て零の三角パッチのマクロブロック平面（図で
は（Ｘ０，Ｙ０），（Ｘ３，Ｙ３），（Ｘ４，Ｙ４）の
点を結ぶ三角形に相当）との間で成立する写像関数Ｆ
（Ｘ、Ｙ）＝αＸ＋βＹ＋γの係数α，β，γを算出す
る。すなわち、同図に示すように、Ｆ（Ｘ０，Ｙ０）＝
Ｖ０、Ｆ（Ｘ３，Ｙ３）＝Ｖ３、Ｆ（Ｘ４，Ｙ４）＝Ｖ
４の条件を代入し、係数α，β，γを計算する。最後
に、求めた写像関数Ｆ（Ｘ，Ｙ）に中央のマクロブロッ
ク平面の各画素の点（Ｘａ，Ｙａ）を代入し、動きベク
トルＭＶＥを生成する。これにより、演算は若干複雑で
あるが高精度な動きベクトルＭＶＥが生成できる。
トルが全て零の三角パッチのマクロブロック平面（図で
は（Ｘ０，Ｙ０），（Ｘ３，Ｙ３），（Ｘ４，Ｙ４）の
点を結ぶ三角形に相当）との間で成立する写像関数Ｆ
（Ｘ、Ｙ）＝αＸ＋βＹ＋γの係数α，β，γを算出す
る。すなわち、同図に示すように、Ｆ（Ｘ０，Ｙ０）＝
Ｖ０、Ｆ（Ｘ３，Ｙ３）＝Ｖ３、Ｆ（Ｘ４，Ｙ４）＝Ｖ
４の条件を代入し、係数α，β，γを計算する。最後
に、求めた写像関数Ｆ（Ｘ，Ｙ）に中央のマクロブロッ
ク平面の各画素の点（Ｘａ，Ｙａ）を代入し、動きベク
トルＭＶＥを生成する。これにより、演算は若干複雑で
あるが高精度な動きベクトルＭＶＥが生成できる。
【００１８】「限定ブロックマッチング演算処理による
動きベクトル生成の技術的手法」この概略を図７に示
す。まず、動きベクトルＶ０を有するマクロブロック
と、これに隣接する上下左右のマクロブロックの動きベ
クトルＶ１，Ｖ２，Ｖ３，Ｖ４との最大誤差成分ＤＶを
算出する。そして、探索範囲をＶ０±ＤＶに限定して、
ブロックマッチングの手法で各画素の動きベクトルを生
成する。
動きベクトル生成の技術的手法」この概略を図７に示
す。まず、動きベクトルＶ０を有するマクロブロック
と、これに隣接する上下左右のマクロブロックの動きベ
クトルＶ１，Ｖ２，Ｖ３，Ｖ４との最大誤差成分ＤＶを
算出する。そして、探索範囲をＶ０±ＤＶに限定して、
ブロックマッチングの手法で各画素の動きベクトルを生
成する。
【００１９】すなわち、図７に示すように、上述の画素
単位ではなくて、中央のマクロブロックの１６画素の内
の、Ｎ画素×Ｎライン（例えばＮ＝５）のブロックを単
位に、探索領域範囲をＶ０±ＤＶの動きに限定したブロ
ックとの誤差成分を計測し、この誤差成分が最小となる
ブロックの動きベクトルを、Ｎ画素×Ｎラインのブロッ
クの各画素（Ｘａ，Ｙａ）での動きベクトルＭＶＥとし
て生成する。このような操作を１６画素のマクロブロッ
ク全域に亘って求めるのである。これにより、ＭＰＥＧ
符号化における動きベクトル検出に較べ、極めて少ない
演算量で高精度な動きベクトルＭＶＥが生成できる。
単位ではなくて、中央のマクロブロックの１６画素の内
の、Ｎ画素×Ｎライン（例えばＮ＝５）のブロックを単
位に、探索領域範囲をＶ０±ＤＶの動きに限定したブロ
ックとの誤差成分を計測し、この誤差成分が最小となる
ブロックの動きベクトルを、Ｎ画素×Ｎラインのブロッ
クの各画素（Ｘａ，Ｙａ）での動きベクトルＭＶＥとし
て生成する。このような操作を１６画素のマクロブロッ
ク全域に亘って求めるのである。これにより、ＭＰＥＧ
符号化における動きベクトル検出に較べ、極めて少ない
演算量で高精度な動きベクトルＭＶＥが生成できる。
【００２０】次に、本発明の第１の実施形態について、
図１に示すブロック構成図で説明する。本実施形態は、
前述の単純２ベクトル演算処理、相関２ベクトル演算処
理、あるいは３ベクトル平面演算処理により動きベクト
ルを生成するに好適なものである。
図１に示すブロック構成図で説明する。本実施形態は、
前述の単純２ベクトル演算処理、相関２ベクトル演算処
理、あるいは３ベクトル平面演算処理により動きベクト
ルを生成するに好適なものである。
【００２１】図中の１は分離部、２はＩＶＬＣ部、３は
ビデオ復号化部、４は動きベクトル処理部、５はメモリ
部、６は動きベクトル選択部、７は演算部、８は制御部
である。
ビデオ復号化部、４は動きベクトル処理部、５はメモリ
部、６は動きベクトル選択部、７は演算部、８は制御部
である。
【００２２】デジタル放送のデ−タストリ−ム信号ＤＢ
Ｓは、分離部１に入力し、ビデオ符号化デ−タストリ−
ム信号ＶＢＳを抽出する。ＩＶＬＣ部２は、可変長符号
化やランレングス符号化されたデ−タストリ−ム信号Ｖ
ＢＳを元の固定長の符号に復号する信号処理を行い、画
像デ−タ信号Ｓ１と動きベクトルＭＶとマクロブロック
情報ＭＢ（画像上でのマクロブロックの位置を示す情
報）を出力する。
Ｓは、分離部１に入力し、ビデオ符号化デ−タストリ−
ム信号ＶＢＳを抽出する。ＩＶＬＣ部２は、可変長符号
化やランレングス符号化されたデ−タストリ−ム信号Ｖ
ＢＳを元の固定長の符号に復号する信号処理を行い、画
像デ−タ信号Ｓ１と動きベクトルＭＶとマクロブロック
情報ＭＢ（画像上でのマクロブロックの位置を示す情
報）を出力する。
【００２３】ビデオ復号化部３は、所定のＭＰＥＧビデ
オ復号の信号処理を行い、復号した画像信号ＶＳを出力
する。
オ復号の信号処理を行い、復号した画像信号ＶＳを出力
する。
【００２４】動きベクトル処理部４は、本発明による動
きベクトル生成の信号処理を行い、その出力に画素毎の
動きベクトルＭＶＥを得る。このうち、メモリ部５は、
動きベクトルＭＶ（マクロブロック単位）の記録と再生
を行う。すなわち、記録では動きベクトルのデ−タを所
定のマクロブロック番地に記録し、再生では動きベクト
ル生成を行うマクロブロックとこれに隣接する上下左右
のマクロブロックの動きベクトルのデ−タを同時に読み
出す。この動作の制御は、マクロブロック情報ＭＢをも
とに制御部８で生成する制御信号で行う。
きベクトル生成の信号処理を行い、その出力に画素毎の
動きベクトルＭＶＥを得る。このうち、メモリ部５は、
動きベクトルＭＶ（マクロブロック単位）の記録と再生
を行う。すなわち、記録では動きベクトルのデ−タを所
定のマクロブロック番地に記録し、再生では動きベクト
ル生成を行うマクロブロックとこれに隣接する上下左右
のマクロブロックの動きベクトルのデ−タを同時に読み
出す。この動作の制御は、マクロブロック情報ＭＢをも
とに制御部８で生成する制御信号で行う。
【００２５】動きベクトル選択部６は、これらの動きベ
クトルのうちの演算処理に必要な動きベクトルを選択し
て出力する。すなわち、単純２ベクトル演算処理の場合
は、図４に示したように、動きベクトルＶ０と、マクロ
ブロックでの画素（Ｘａ，Ｙａ）の領域に対応する動き
ベクトルＶ１，Ｖ２，Ｖ３，Ｖ４のいずれかを出力す
る。
クトルのうちの演算処理に必要な動きベクトルを選択し
て出力する。すなわち、単純２ベクトル演算処理の場合
は、図４に示したように、動きベクトルＶ０と、マクロ
ブロックでの画素（Ｘａ，Ｙａ）の領域に対応する動き
ベクトルＶ１，Ｖ２，Ｖ３，Ｖ４のいずれかを出力す
る。
【００２６】また、相関２ベクトル演算処理の場合は、
図５に示したように、動きベクトルＶ０と、動きベクト
ルＶ１〜Ｖ４のうち相関が最も高い相関ベクトルＶＲを
出力する。一方、３ベクトル平面演算処理の場合は、図
６に示したように、マクロブロックでの画素（Ｘａ，Ｙ
ａ）の領域に対応する三角パッチの動きベクトル平面を
構成する動きベクトルを出力する。これらの動作は、制
御部８からの制御信号で行う。
図５に示したように、動きベクトルＶ０と、動きベクト
ルＶ１〜Ｖ４のうち相関が最も高い相関ベクトルＶＲを
出力する。一方、３ベクトル平面演算処理の場合は、図
６に示したように、マクロブロックでの画素（Ｘａ，Ｙ
ａ）の領域に対応する三角パッチの動きベクトル平面を
構成する動きベクトルを出力する。これらの動作は、制
御部８からの制御信号で行う。
【００２７】演算部７は、選択した動きベクトルで所定
の内挿演算を行い、マクロブロックでの画素（Ｘａ，Ｙ
ａ）の動きベクトルＭＶＥを生成する。すなわち、単純
２ベクトル演算処理の場合は図４に示した内挿演算、相
関２ベクトル演算処理の場合は図５に示した内挿演算、
３ベクトル平面演算処理の場合は図６に示した写像関数
Ｆ（Ｘ，Ｙ）による演算をそれぞれ行う。
の内挿演算を行い、マクロブロックでの画素（Ｘａ，Ｙ
ａ）の動きベクトルＭＶＥを生成する。すなわち、単純
２ベクトル演算処理の場合は図４に示した内挿演算、相
関２ベクトル演算処理の場合は図５に示した内挿演算、
３ベクトル平面演算処理の場合は図６に示した写像関数
Ｆ（Ｘ，Ｙ）による演算をそれぞれ行う。
【００２８】なお、動きベクトル選択部６や演算部７や
制御部８での信号処理は、例えばマイクロプロセサなど
で行うことも可能である。
制御部８での信号処理は、例えばマイクロプロセサなど
で行うことも可能である。
【００２９】以上に述べた如く、本実施形態によれば、
ＭＰＥＧビデオ符号化の動きベクトルをもとに各画素の
動きベクトルを簡単な演算で高精度に生成することがで
きる。 次に、本発明の第２の実施形態について、図２
に示すブロック構成図で説明する。本実施形態は、前述
の限定ブロックマッチング演算処理により動きベクトル
を生成するに好適なものである。
ＭＰＥＧビデオ符号化の動きベクトルをもとに各画素の
動きベクトルを簡単な演算で高精度に生成することがで
きる。 次に、本発明の第２の実施形態について、図２
に示すブロック構成図で説明する。本実施形態は、前述
の限定ブロックマッチング演算処理により動きベクトル
を生成するに好適なものである。
【００３０】図中の１は分離部、２はＩＶＬＣ部、３は
ビデオ復号化部、９は動きベクトル処理部、５はメモリ
部、１０は動きベクトル探査設定部、１１はブロックマ
ッチング演算部、１２は制御部である。
ビデオ復号化部、９は動きベクトル処理部、５はメモリ
部、１０は動きベクトル探査設定部、１１はブロックマ
ッチング演算部、１２は制御部である。
【００３１】デジタル放送のデ−タストリ−ム信号ＤＢ
Ｓは、分離部１に入力し、ビデオ符号化デ−タストリ−
ム信号ＶＢＳを抽出する。ＩＶＬＣ部２は、可変長符号
化やランレングス符号化されたデ−タストリ−ム信号Ｖ
ＢＳを元の固定長の符号に復号する信号処理を行い、画
像デ−タ信号Ｓ１と動きベクトルＭＶとマクロブロック
情報ＭＢ（画像上でのマクロブロックの位置を示す情
報）を出力する。
Ｓは、分離部１に入力し、ビデオ符号化デ−タストリ−
ム信号ＶＢＳを抽出する。ＩＶＬＣ部２は、可変長符号
化やランレングス符号化されたデ−タストリ−ム信号Ｖ
ＢＳを元の固定長の符号に復号する信号処理を行い、画
像デ−タ信号Ｓ１と動きベクトルＭＶとマクロブロック
情報ＭＢ（画像上でのマクロブロックの位置を示す情
報）を出力する。
【００３２】ビデオ復号化部３は、所定のＭＰＥＧビデ
オ復号の信号処理を行い、復号した画像信号ＶＳを出力
する。
オ復号の信号処理を行い、復号した画像信号ＶＳを出力
する。
【００３３】動きベクトル処理部９は、本発明による動
きベクトル生成の信号処理を行い、その出力に画素毎の
動きベクトルＭＶＥを得る。このうち、メモリ部５は、
動きベクトルＭＶ（マクロブロック単位）の記録と再生
を行う。すなわち、記録では動きベクトルのデ−タを所
定のマクロブロック番地に記録し、再生では動きベクト
ル生成を行うマクロブロックとこれに隣接する上下左右
のマクロブロックの動きベクトルのデ−タを同時に読み
出す。この動作の制御は、マクロブロック情報ＭＢをも
とに制御部８で生成する制御信号で行う。
きベクトル生成の信号処理を行い、その出力に画素毎の
動きベクトルＭＶＥを得る。このうち、メモリ部５は、
動きベクトルＭＶ（マクロブロック単位）の記録と再生
を行う。すなわち、記録では動きベクトルのデ−タを所
定のマクロブロック番地に記録し、再生では動きベクト
ル生成を行うマクロブロックとこれに隣接する上下左右
のマクロブロックの動きベクトルのデ−タを同時に読み
出す。この動作の制御は、マクロブロック情報ＭＢをも
とに制御部８で生成する制御信号で行う。
【００３４】動きベクトル探査設定部１０は、これらの
動きベクトルより最大誤差成分ＤＶを算出し、探索範囲
を設定する。すなわち、動きベクトルＶ０と、これに隣
接する上下左右の動きベクトルＶ１，Ｖ２，Ｖ３，Ｖ４
とでＶ０−ＶＩ（Ｉ＝１〜４）の演算を行い、この値が
最大のものを最大誤差成分ＤＶとして算出する。そし
て、探索範囲をＶ０±ＤＶに限定する。
動きベクトルより最大誤差成分ＤＶを算出し、探索範囲
を設定する。すなわち、動きベクトルＶ０と、これに隣
接する上下左右の動きベクトルＶ１，Ｖ２，Ｖ３，Ｖ４
とでＶ０−ＶＩ（Ｉ＝１〜４）の演算を行い、この値が
最大のものを最大誤差成分ＤＶとして算出する。そし
て、探索範囲をＶ０±ＤＶに限定する。
【００３５】ブロックマッチング演算部１１は、復号し
た画像信号ＶＳに対して、探索範囲をＶ０±ＤＶに限定
して、ブロックマッチングの手法で各画素の動きベクト
ルを生成する。すなわち、図７に示したように、画像信
号ＶＳのＮ画素×Ｎライン（例えばＮ＝５）のブロック
を単位として、探索範囲をＶ０±ＤＶの動きに限定して
誤差成分の計測を行う。そして、この誤差成分が最小な
ブロックとの動きベクトルを、画素（Ｘａ，Ｙａ）での
動きベクトルＭＶＥとして生成する。これらの動作は、
制御部８からの制御信号で行う。
た画像信号ＶＳに対して、探索範囲をＶ０±ＤＶに限定
して、ブロックマッチングの手法で各画素の動きベクト
ルを生成する。すなわち、図７に示したように、画像信
号ＶＳのＮ画素×Ｎライン（例えばＮ＝５）のブロック
を単位として、探索範囲をＶ０±ＤＶの動きに限定して
誤差成分の計測を行う。そして、この誤差成分が最小な
ブロックとの動きベクトルを、画素（Ｘａ，Ｙａ）での
動きベクトルＭＶＥとして生成する。これらの動作は、
制御部８からの制御信号で行う。
【００３６】なお、動きベクトル探査設定部１０やブロ
ックマッチング演算部１１や制御部１２での信号処理
は、例えばマイクロプロセサなどで行うことも可能であ
る。
ックマッチング演算部１１や制御部１２での信号処理
は、例えばマイクロプロセサなどで行うことも可能であ
る。
【００３７】以上に述べた如く、本実施形態によれば、
ＭＰＥＧビデオ符号化の動きベクトルをもとに各画素の
動きベクトルを簡単な演算で高精度に生成することがで
きる。 次に、本発明をデジタル放送受信部に適用した
一構成例を図３で説明する。図中の１は分離部、２はＩ
ＶＬＣ部、３はビデオ復号化部、１３はデジタル復調
部、１４は動きベクトル処理部、１５は高画質化適応処
理部である。
ＭＰＥＧビデオ符号化の動きベクトルをもとに各画素の
動きベクトルを簡単な演算で高精度に生成することがで
きる。 次に、本発明をデジタル放送受信部に適用した
一構成例を図３で説明する。図中の１は分離部、２はＩ
ＶＬＣ部、３はビデオ復号化部、１３はデジタル復調
部、１４は動きベクトル処理部、１５は高画質化適応処
理部である。
【００３８】衛星波または地上波で送られるデジタル放
送信号ＣＳは、デジタル復調部１３で所定のデジタル復
調（ＱＰＳＫ，ＣＯＦＤＭ，ＱＡＭ，ＶＳＢ復調など）
と、符号誤り訂正の処理を行い、デジタル放送のデ−タ
ストリ−ム信号ＤＢＳを復号する。
送信号ＣＳは、デジタル復調部１３で所定のデジタル復
調（ＱＰＳＫ，ＣＯＦＤＭ，ＱＡＭ，ＶＳＢ復調など）
と、符号誤り訂正の処理を行い、デジタル放送のデ−タ
ストリ−ム信号ＤＢＳを復号する。
【００３９】分離部１では、このデ−タストリ−ム信号
からビデオ符号化デ−タストリ−ム信号ＶＢＳを抽出す
る。
からビデオ符号化デ−タストリ−ム信号ＶＢＳを抽出す
る。
【００４０】ＩＶＬＣ部２は、可変長符号化やランレン
グス符号化されたデ−タストリ−ム信号ＶＢＳを元の固
定長の符号に復号する信号処理を行い、画像デ−タ信号
Ｓ１と動きベクトルＭＶとマクロブロック情報ＭＢ（画
像上でのマクロブロックの位置を示す情報）を出力す
る。
グス符号化されたデ−タストリ−ム信号ＶＢＳを元の固
定長の符号に復号する信号処理を行い、画像デ−タ信号
Ｓ１と動きベクトルＭＶとマクロブロック情報ＭＢ（画
像上でのマクロブロックの位置を示す情報）を出力す
る。
【００４１】ビデオ復号化部３は、所定のＭＰＥＧビデ
オ復号の信号処理を行い、復号した画像信号ＶＳを出力
する。
オ復号の信号処理を行い、復号した画像信号ＶＳを出力
する。
【００４２】一方、動きベクトル処理部１４は、マクロ
ブロックの動きベクトルから画素毎の動きベクトルを生
成する信号処理を行い、画素毎の動きベクトルＭＶＥを
出力する。これは、前述した第１あるいは第２の実施形
態で構成する。
ブロックの動きベクトルから画素毎の動きベクトルを生
成する信号処理を行い、画素毎の動きベクトルＭＶＥを
出力する。これは、前述した第１あるいは第２の実施形
態で構成する。
【００４３】高画質化適応処理部１５は、画素毎の動き
ベクトルＭＶＥの情報に応じて特性を変化させる適応処
理で、高画質化のための信号処理を行う。この信号処理
の例としては、飛び越し走査から順次走査への走査変換
における動きベクトルの情報を用いた動き補償の補間走
査線信号の生成や、動きベクトルの大小に応じて雑音除
去の特性を変化させてデジタル放送に特有な雑音成分の
除去などの処理が考えられる。この出力信号ＶＯは画像
表示部に供給し、高画質な画像を再生する。
ベクトルＭＶＥの情報に応じて特性を変化させる適応処
理で、高画質化のための信号処理を行う。この信号処理
の例としては、飛び越し走査から順次走査への走査変換
における動きベクトルの情報を用いた動き補償の補間走
査線信号の生成や、動きベクトルの大小に応じて雑音除
去の特性を変化させてデジタル放送に特有な雑音成分の
除去などの処理が考えられる。この出力信号ＶＯは画像
表示部に供給し、高画質な画像を再生する。
【００４４】前記雑音除去の場合、静止画に近い、即
ち、動きベクトルが小さい領域では、Ｓ／Ｎ改善度の大
きい特性を採用し、動きの激しい動画である、即ち、動
きベクトルが大きい領域では、Ｓ／Ｎ改善度の小さい特
性を採用して、雑音成分を除去するのが、フレーム加算
による周知の雑音除去技術からしても、有効である。
ち、動きベクトルが小さい領域では、Ｓ／Ｎ改善度の大
きい特性を採用し、動きの激しい動画である、即ち、動
きベクトルが大きい領域では、Ｓ／Ｎ改善度の小さい特
性を採用して、雑音成分を除去するのが、フレーム加算
による周知の雑音除去技術からしても、有効である。
【００４５】以上に述べた如く、本実施形態によれば、
高画質な画像を受信するデジタル放送受信部が実現で
き、ＴＶ画像の高画質化に顕著な効果を得る。
高画質な画像を受信するデジタル放送受信部が実現で
き、ＴＶ画像の高画質化に顕著な効果を得る。
【００４６】以上において、動きベクトルとして、ＭＰ
ＥＧビデオ符号化の場合を例にして説明したが、これに
限らず、一般的に、動き補償型信号処理の場合において
用いられることは当然である。
ＥＧビデオ符号化の場合を例にして説明したが、これに
限らず、一般的に、動き補償型信号処理の場合において
用いられることは当然である。
【００４７】
【発明の効果】本発明によれば、ＭＰＥＧビデオ符号化
のマクロブロックを単位とする動きベクトルから各画素
の動きベクトルの生成において、演算処理が簡単で、か
つ、特性も高精度な生成方法が可能になる。また、この
動きベクトルを高画質化適応処理に活用し、画像の高画
質化に顕著な改善効果を得る。
のマクロブロックを単位とする動きベクトルから各画素
の動きベクトルの生成において、演算処理が簡単で、か
つ、特性も高精度な生成方法が可能になる。また、この
動きベクトルを高画質化適応処理に活用し、画像の高画
質化に顕著な改善効果を得る。
【図１】本発明の第１の実施形態のブロック構成図であ
る。
る。
【図２】本発明の第２の実施形態のブロック構成図であ
る。
る。
【図３】本発明を適用したデジタル放送受信部の一構成
例である。
例である。
【図４】単純２ベクトル演算処理の概略図である。
【図５】相関２ベクトル演算処理の概略図である。
【図６】３ベクトル平面演算処理の概略図である。
【図７】限定ブロックマッチング演算処理の概略図であ
る。
る。
１ 分離部 ２ ＩＶＬＣ部 ３ ビデオ復号化部 ４，９，１４ 動きベクトル処理部 ５ メモリ部 ６ 動きベクトル選択部 ７ 演算部 ８，１２ 制御部 １０ 動きベクトル探査設定部 １１ ブロックマッチング演算部 １３ デジタル復調部 １５ 高画質化適応処理部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 小島 昇 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 (72)発明者 寺西 謙太郎 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 (72)発明者 平畠 茂 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 (72)発明者 西瀬戸 孝明 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像情報メディア事業部 内 (72)発明者 笠原 康弘 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像情報メディア事業部 内 (72)発明者 中垣 宣文 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像情報メディア事業部 内
Claims (7)
- 【請求項１】 動き補償型信号処理におけるマクロブロ
ック単位の動きベクトルをもとに画素単位の動きベクト
ルを生成する画像信号の動きベクトル生成方法におい
て、 マクロブロックを上部と下部と左部と右部の４つの領域
に分割し、前記上部領域では前記マクロブロックに上部
隣接するマクロブロックの動きベクトルＶ１、前記左部
領域では前記マクロブロックに左部隣接するマクロブロ
ックの動きベクトルＶ２、前記右部領域では前記マクロ
ブロックに右部隣接するマクロブロックの動きベクトル
Ｖ３、前記下部領域では前記マクロブロックに下部隣接
するマクロブロックの動きベクトルＶ４と、前記マクロ
ブロックの動きベクトルＶ０との内挿演算を行う単純２
ベクトル演算処理により画素単位の動きベクトルの生成
を行うことを特徴とする画像信号の動きベクトル生成方
法。 - 【請求項２】 動き補償型信号処理におけるマクロブロ
ック単位の動きベクトルをもとに画素単位の動きベクト
ルを生成する画像信号の動きベクトル生成方法におい
て、 マクロブロックに上部隣接、左部隣接、右部隣接、下部
隣接するマクロブロックの動きベクトルＶ１,Ｖ２,Ｖ
３,Ｖ４のうち、前記マクロブロックの動きベクトルＶ
０と最も相関の高い動きベクトルを選定し、 前記選定した動きベクトルと、前記マクロブロックの動
きベクトルＶ０との内挿演算を行う相関２ベクトル演算
処理により画素単位の動きベクトルの生成を行うことを
特徴とする画像信号の動きベクトル生成方法。 - 【請求項３】 動き補償型信号処理におけるマクロブロ
ック単位の動きベクトルをもとに画素単位の動きベクト
ルを生成する画像信号の動きベクトル生成方法におい
て、 マクロブロックに上部隣接、左部隣接、右部隣接、下部
隣接するマクロブロックの動きベクトルＶ１,Ｖ２,Ｖ
３,Ｖ４と、前記マクロブロックの動きベクトルＶ０と
で三角パッチの動きベクトル平面を形成し、 前記形成した動きベクトル平面を動きベクトルが全て零
の三角パッチのマクロブロック平面に写影する写像関数
を設定し、 前記写像関数による内挿演算を行う３ベクトル平面演算
処理により画素単位の動きベクトルの生成を行うことを
特徴とする画像信号の動きベクトル生成方法。 - 【請求項４】 動き補償型信号処理におけるマクロブロ
ック単位の動きベクトルをもとに画素単位の動きベクト
ルを生成する画像信号の動きベクトル生成方法におい
て、 マクロブロックに上部隣接、左部隣接、右部隣接、下部
隣接するマクロブロックの動きベクトルＶ１,Ｖ２,Ｖ
３,Ｖ４と、前記マクロブロックの動きベクトルＶ０と
の最大誤差成分ＤＶを算出し、 ブロックマッチング法における探索範囲をＶ０±ＤＶに
限定して動きベクトルを検出する限定ブロックマッチン
グ演算処理により画素単位の動きベクトルの生成を行う
ことを特徴とする画像信号の動きベクトル生成方法。 - 【請求項５】 請求項１ないし４のいずれか１つの請求
項に記載した動きベクトル生成方法で生成する画素単位
の動きベクトルの情報を用いて、デジタル放送の受信で
復号した画像信号に対して、高画質化適応信号処理を行
うことを特徴とするデジタル放送受信機。 - 【請求項６】 請求項５項に記載の高画質化適応信号処
理は、飛び越し走査で抜けた走査線の信号を動きベクト
ルの情報を用いた動き補償の信号処理で生成し、順次走
査の信号に変換する走査変換処理であることを特徴とす
るデジタル放送受信機。 - 【請求項７】 請求項５項に記載の高画質化適応信号処
理は、動きベクトルの大小に応じてＳ／Ｎ改善度の特性
を変化させ、動きベクトルが小さい領域ではＳ／Ｎ改善
度の大きい特性、動きベクトルが大きい領域ではＳ／Ｎ
改善度の小さい特性で、デジタル放送に特有な雑音成分
を除去する信号処理であることを特徴とするデジタル放
送受信機。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7422396A JPH09266573A (ja) | 1996-03-28 | 1996-03-28 | 画像信号の動きベクトル生成方法およびこれを用いた装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7422396A JPH09266573A (ja) | 1996-03-28 | 1996-03-28 | 画像信号の動きベクトル生成方法およびこれを用いた装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09266573A true JPH09266573A (ja) | 1997-10-07 |
Family
ID=13540981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7422396A Pending JPH09266573A (ja) | 1996-03-28 | 1996-03-28 | 画像信号の動きベクトル生成方法およびこれを用いた装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09266573A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6618441B1 (en) | 1999-11-11 | 2003-09-09 | Nec Corporation | Motion vector detection apparatus |
| US7991050B2 (en) | 2008-05-30 | 2011-08-02 | Kabushiki Kaisha Toshiba | Moving picture decoding apparatus and moving picture decoding method |
| US8503531B2 (en) | 2004-03-29 | 2013-08-06 | Sony Corporation | Image processing apparatus and method, recording medium, and program |
| JP2021517402A (ja) * | 2018-03-26 | 2021-07-15 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | ビデオコーディングのためのインター予測装置及び方法 |
-
1996
- 1996-03-28 JP JP7422396A patent/JPH09266573A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6618441B1 (en) | 1999-11-11 | 2003-09-09 | Nec Corporation | Motion vector detection apparatus |
| US8503531B2 (en) | 2004-03-29 | 2013-08-06 | Sony Corporation | Image processing apparatus and method, recording medium, and program |
| US7991050B2 (en) | 2008-05-30 | 2011-08-02 | Kabushiki Kaisha Toshiba | Moving picture decoding apparatus and moving picture decoding method |
| JP2021517402A (ja) * | 2018-03-26 | 2021-07-15 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | ビデオコーディングのためのインター予測装置及び方法 |
| US11228780B2 (en) | 2018-03-26 | 2022-01-18 | Huawei Technologies Co., Ltd. | Inter prediction apparatus and method for video coding |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7813429B2 (en) | System and method for segmentation of macroblocks | |
| KR100283343B1 (ko) | 화상신호 부호화방법 및 복호화방법과 화상신호 부호화장치 및 복호화장치 | |
| US6104753A (en) | Device and method for decoding HDTV video | |
| WO2002001883A1 (en) | Image encoder and image encoding method | |
| JP2006135571A (ja) | 画像表示装置 | |
| JP3980659B2 (ja) | 動画像符号化方法及び装置、動画像復号化方法及び装置。 | |
| KR19980021020A (ko) | 간이형 에이치디티브이 비디오 디코더 및 디코딩 방법 | |
| JPH09266573A (ja) | 画像信号の動きベクトル生成方法およびこれを用いた装置 | |
| JP2003333540A (ja) | フレームレート変換装置及びそれを用いた映像表示装置、テレビジョン放送受信装置 | |
| US20070230918A1 (en) | Video Quality Enhancement and/or Artifact Reduction Using Coding Information From a Compressed Bitstream | |
| JP4476065B2 (ja) | 画像処理システム | |
| JP2998741B2 (ja) | 動画像の符号化方法、該方法が記録されたコンピュータ読みとり可能な記録媒体、及び動画像の符号化装置 | |
| CN1802843B (zh) | 电视接收机及图像处理方法 | |
| JP2000036963A (ja) | 画像符号化装置、画像符号化方法および画像復号化装置 | |
| JPH10276437A (ja) | 階層的動画像信号符号化／復号化方法及び装置 | |
| KR100714660B1 (ko) | 비디오 신호 재생 장치 및 재생 방법 | |
| JP2001086508A (ja) | 動画像復号方法及び動画像復号装置 | |
| WO1999038316A3 (en) | Method and apparatus for advanced television signal encoding and decoding | |
| JP3612739B2 (ja) | 画像信号の復号化装置及び画像信号の復号化方法 | |
| KR980013375A (ko) | 아날로그와 디지털 비디오 모드를 갖는 수신기와 그 수신방법(Receiver having analog and digital video moed and receiving method thereof) | |
| JPH10126749A (ja) | 順次走査変換装置 | |
| JP3915802B2 (ja) | 画像復号化方法および画像復号化装置 | |
| JP3186406B2 (ja) | 画像合成符号化方法及び画像合成装置 | |
| JP4258537B2 (ja) | 画像信号生成方法及び画像信号生成装置 | |
| JP2002016924A (ja) | トランスコーダ装置およびトランスコード方法 |