JPH11266440A - 画像信号の走査変換回路及び画像復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 簡易な回路で高解像度特性を実現可能な画像
信号の走査変換回路及び画像復号化装置を提供する。 【解決手段】 復号化部１は信号ＢＴＳから画像信号系
列ＶＳと動きベクトル情報ＭＶを復号する。ベクトル変
換部２と画素単位動きベクトル生成部３は動きベクトル
情報ＭＶに基づいて画素単位の動きベクトルＰＶを生成
する。係数設定部４は画素単位の動きベクトルのスカラ
ー量｜ＰＶ｜に応じて、混合比率Ｋ，１−Ｋの値を設定
する。動画補間信号生成部５はフィールド内処理で信号
ＭＳを、静止画補間信号生成部６はフィールド間処理で
信号ＳＳを生成する。係数加重部７−１は混合比率Ｋ
を、７−２は１−Ｋを乗算し、加算部８で両者の信号を
加算し、出力に補間走査線信号ＩＰを得る。多重部９は
画像信号系列ＶＳと補間走査線信号ＩＰの信号処理を行
い、出力に順次走査の画像信号系列ＶＰを得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は飛び越し走査の画像
信号を順次走査の画像信号に変換する走査変換回路に係
り、特に静止領域から動画領域までバランスの良い解像
度特性を実現するのに好適な画像信号の走査変換回路及
び画像復号化装置に関する。

【０００２】

【従来の技術】テレビ画像の高画質化を図るため、飛び
越し走査のテレビ信号を倍速走査変換の信号処理で順次
走査の信号に変換し、表示部では順次走査の形態で画像
を表示し、ラインフリッカなどのインターレース妨害を
除去する方法が知られている。

【０００３】従来、この倍速走査変換では、動き適応型
の信号処理が行われている。これは、フィールド間処理
で生成する静止領域に適した補間走査線信号と、フィー
ルド内処理で生成する動画領域に適した補間走査線信号
とを、画像の動き情報に応じてその混合比率Ｋ（０≦Ｋ
≦１，静止時Ｋ＝０）を変化させ、飛び越し走査で抜け
た走査線の信号を生成するものである。また、画像の動
き情報の検出は、１フレーム間の差分信号で行う。そし
て、混合比率Ｋの値は、差分信号成分の信号レベルが閾
値未満では０、閾値以上では信号レベルに比例して漸次
１まで増加する特性で設定する。このため、ゆっくりし
た動きでも差分信号成分の信号レベルが大きな領域では
Ｋ＝１の激しい動きに相当する特性で補間走査線の信号
を生成する。

【０００４】すなわち、従来の動き適応型の倍速走査変
換では、動き情報の検出をフレーム間の差分信号で行う
ため、混合比率Ｋで想定する動き量と画像の実際の動き
量との間では大きな隔たりが発生することが避けられな
い。このため、静止領域と動画領域との解像度特性がア
ンバランスとなり、自然観が損なわれるという問題を有
している。

【０００５】この問題は、混合比率Ｋで想定する動き量
と画像の実際の動き量とがほぼ同じとなるような動き情
報の検出方法を採用することにより、解消することがで
きる。この動き情報の検出方法としては、ブロックマッ
チング処理による動きベクトルの検出が考えられる。例
えば特開平７−１７０４９６号公報には、注目ブロック
の動きベクトルおよび３つの隣接するブロックの動きベ
クトルを用いて、画素の動きベクトルを計算する方法が
開示されている。

【０００６】

【発明が解決しようとする課題】しかしながら、従来の
動きベクトルの探索を用いた場合は、信号処理に膨大な
演算量が必要となる。このため、回路規模やコストの点
を考慮すると、従来の技術でこの検出機能を備えた倍速
走査変換回路を作製するのは現実的ではない。特に、こ
の種の回路のテレビジョン受像機などへの搭載は、その
実現が極めて困難である。

【０００７】従って本発明の目的は、簡易な回路で高解
像度特性を実現可能な画像信号の走査変換回路及び画像
復号化装置を提供することにある。

【０００８】

【課題を解決するための手段】上記目的は、入力信号か
ら飛び越し走査の画像信号系列と動きベクトル情報とを
復号する復号化部と、動きベクトル情報より飛び越し走
査の画像信号系列のフレーム当たりの画素単位の動きベ
クトルを生成する動きベクトル生成部と、飛び越し走査
の画像信号系列のフィールド内信号処理で生成する動画
補間走査線信号とフィールド間信号処理で生成する静止
画補間走査線信号の混合比率の値を画素単位の動きベク
トルのスカラー量に応じて変化させて飛び越し走査で抜
けた走査線の信号を生成する補間走査線信号生成部とを
備えた画像信号の走査変換回路により、達成される。

【０００９】具体的には、次に述べるような技術的手段
を採用する。すなわち、動きベクトルの生成は、デジタ
ル放送などで送られる動き補償予測符号化されたビデオ
符号化ビットシーケンス信号で得られる動きベクトル情
報をもとに行う。まず、復号処理で生成するＰピクチ
ャ、Ｂピクチャの動きベクトルに対して簡単な演算処理
による変換を行い、復号した画像信号系列の１フレーム
当たりの動きベクトルＢＶを生成する。次に、現ブロッ
クと隣接ブロックとの動きベクトルＢＶを参照ベクトル
として、ミニブロック毎に動き補正誤差が最少となる動
きベクトルを算出し、これをミニブロック内の画素の動
きベクトルＰＶに割り当てる。最後に、画素の動きベク
トルのスカラー量｜ＰＶ｜を求め、これを動き量として
検出する。そして、｜ＰＶ｜の値に応じて混合比率Ｋを
設定する。

【００１０】この技術的手段によれば、動きベクトルの
探索処理が省略できるため、極めて簡単な信号処理で画
像の動き量に一致した動き情報の検出が可能になる。ま
た、本発明においては、混合比率の設定方法として、
（１）動きベクトルのスカラー量｜ＰＶ｜単独、（２）
動きベクトルのスカラー量｜ＰＶ｜とフレーム差分信
号、（３）動きベクトルのスカラー量｜ＰＶ｜とエッジ
情報、（４）動きベクトルのスカラー量｜ＰＶ｜とフレ
ーム差分信号とエッジ情報、の４種類を採用する。この
ため、視覚特性に整合したよりきめ細かな混合比率Ｋの
設定が実現できる。

【００１１】また、上記目的は、入力信号から飛び越し
走査の画像信号系列と動きベクトル情報とを復号する復
号化部と、動きベクトル情報より飛び越し走査の画像信
号系列のフレーム当たりの画素単位の動きベクトルを生
成する動きベクトル生成部と、飛び越し走査の画像信号
系列のフィールド内信号処理で生成する動画像補間走査
線信号とフィールド間信号処理で生成する静止画補間走
査線信号の混合比率を画素単位の動きベクトルのスカラ
ー量に応じて変化させて生成した動き適応補間信号と画
素単位の動きベクトルに基づいて生成した動き補正補間
信号とのいずれか一方の信号を選択して飛び越し走査で
抜けた走査線の信号を生成する補間走査線信号生成部と
を備える画像信号の走査変換回路により、達成される。
このような構成によれば、従来技術では実現困難な高い
垂直解像度特性を有する順次走査の画像信号を生成する
ことができる。

【００１２】さらに、本発明に係る画像復号化装置で
は、飛び越し走査の画像信号系列のフレーム当たりの画
素単位の動きベクトルを生成し、画素単位の動きベクト
ルのスカラー量に応じて飛び越し走査の画像信号系列の
フィールド内信号処理で生成する動画補間走査線信号と
フィールド間信号処理で生成する静止画補間走査線信号
の混合比率の値を変化させて補間走査線信号を生成し、
この補間走査線信号を用いて順次走査の画像信号系列を
得るよう構成する。あるいは、この動画補間走査線信号
と静止画補間走査線信号の混合により得られる動き適応
補間信号、及び画素単位の動きベクトルに基づいて生成
した動き補正補間信号のうちの一方を選択して補間走査
線信号を生成し、この補間走査線信号を用いて順次走査
の画像信号系列を得るよう構成する。

【００１３】このように構成することによって、簡易な
回路で高解像度特性を有する画像信号の走査変換回路及
び画像復号化装置を得ることができる。

【００１４】

【発明の実施の形態】本発明の第１の実施例のブロック
構成を図１に示す。図のように、復号化部１は、動き補
償予測符号化されたビデオ符号化ビットストリーム信号
ＢＴＳに対して所定の復号処理を行い、画像信号系列Ｖ
Ｓと動きベクトル情報ＭＶを復号する。動きベクトル変
換部２は、動きベクトル情報ＭＶをもとに画像信号系列
ＶＳの１フレーム当たりの動きベクトルＢＶを生成す
る。画素単位動きベクトル生成部３は、動きベクトルＢ
Ｖを参照ベクトルとして画素単位の動きベクトルＰＶを
生成する。係数設定部４は、画素単位の動きベクトルの
スカラー量｜ＰＶ｜に応じて、混合比率Ｋ，１−Ｋの値
を設定する。動画補間信号生成部５は、フィールド内処
理で動画領域に適した補間走査線信号ＭＳを生成する。
静止画補間信号生成部６は、フィールド間処理で静止領
域に適した補間走査線信号ＳＳを生成する。係数加重部
７−１では補間走査線信号ＭＳに対して混合比率Ｋを乗
算し、係数加重部７−２では補間走査線信号ＳＳに対し
て混合比率１−Ｋを乗算する。そして、加算部８で、両
係数加重部の出力信号を加算し、出力に補間走査線信号
ＩＰを得る。多重部９は、画像シーケンス信号ＶＳ及び
補間走査線信号ＩＰの時間軸１／２圧縮処理及び時系列
多重処理を行い、出力に順次走査の画像信号系列ＶＰを
得る。

【００１５】以下、各ブロックの構成、動作について詳
述する。図２は、動きベクトル変換部２の一構成例を示
す図である。Ｐピクチャベクトル変換部１０では、Ｐピ
クチャの復号に使用する動きベクトルＭＶｐから１フレ
ーム期間での動きベクトルを生成する。この動作概略を
図３に示す。復号化部より得られる画像信号系列のうち
記号Ｐで示すＰピクチャは、ｎフレームの間での動きベ
クトルＭＶｐによる一方向の動き補償予測符号化とＤＣ
Ｔ符号化が行われる。従って、この動きベクトルＭＶｐ
（図中のＭＶｐ１，ＭＶｐ２，ＭＶｐ３）をＰピクチャ
間のフレーム数ｎ（図ではｎ＝３）で除して１フレーム
間の動きベクトルに変換し、動きベクトルＢＶｐ（図中
のＭＶｐ１／３，ＭＶｐ２／３，ＭＶｐ３／３）を生成
する。

【００１６】Ｂピクチャベクトル変換部１１では、Ｂピ
クチャの復号に使用する動きベクトルＭＶｂから１フレ
ーム期間での動きベクトルを生成する。この動作概略を
図４に示す。復号化部より得られる画像信号系列のうち
記号Ｂで示すＢピクチャは、動きベクトルＭＶｂによる
双方向の動き補償予測符号化とＤＣＴ符号化が行われ
る。従って、この動きベクトルＭＶｂのうちで１フレー
ム間の動きベクトル（図中のＭＶｂ１１，ＭＶｂ１２，
ＭＶｂ２１，ＭＶｂ２２，ＭＶｂ３１，ＭＶｂ３２）を
選択し、動きベクトルＢＶｂを生成する。

【００１７】制御部１２は、動きベクトル情報ＭＶの符
号化パラメタ（Ｉ，Ｐ，Ｂピクチャの情報など）をもと
に、各部の動作に必要な制御信号ＣＴを生成する。選択
部１３は、動きベクトルＢＶｐ，ＢＶｂに対して、ブロ
ック毎に動き補正誤差値を算出し、この値が小さいベク
トルをブロック単位動きベクトルＢＶに出力する。

【００１８】図５は、画素単位動きベクトル生成部３の
一構成例を示す図である。このうち補正誤差算出部１４
は、図６に示す信号処理フローチャートの第１ステップ
の処理を行う。すなわち、画像信号系列ＶＳの現フレー
ムの信号ＶＳｃｔと前フレームの信号ＶＳｐｒに対し
て、以下に示す動きベクトルＢＶ（ｘ成分ＢＶｘ，ｙ成
分ＢＶｙ）による動き補正誤差ＥＲ＝Σ｜ＶＳｃｔ
（ｘ，ｙ）−ＶＳｐｒ（ｘ＋ＢＶｘ，Ｙ＋ＢＶｙ）｜を
算出する。参照ベクトル生成部１５は、図５に示すよう
に、現ブロックの動きベクトルＶ０と、この周辺の参照
ブロックの動きベクトルＶ１，…，Ｖｎを出力する。

【００１９】制御部１６は、補正誤差ＥＲが閾値ＴＨ以
上か未満かに応じて、図６の第２ステップの信号処理に
必要な制御信号ＣＴを生成する。ミニブロック誤差算出
部１７−１，…，１７−ｎは、現ブロックと参照ブロッ
クの動きベクトルに対して、図７に示したミニブロック
（例えば水平２画素Ｘ垂直２ライン）毎に、これを内包
する算出領域（例えば水平４画素Ｘ垂直４ライン）での
動き補正誤差ＥＲ１，ＥＲ２，…，ＥＲｎを算出する。
画素ベクトル設定部１８は、ミニブロックの画素に対し
て、ＥＲが閾値ＴＨ未満の場合は現ブロックの動きベク
トルＶ０を割り当て、閾値ＴＨ以上の場合は動き補正誤
差ＥＲｉが最少な動きベクトルＶｉを割り当て、画素動
きベクトルＰＶを出力する。

【００２０】図８は、係数設定部４の一特性例を示す図
である。図の横軸は動きベクトルのスカラー量｜ＰＶ
｜、すなわち、動き量である。また、縦軸は混合比率
（係数）Ｋである。係数Ｋは、｜ＰＶ｜が小さな値をと
るゆっくりした動きの領域では０に近い値を設定し、｜
ＰＶ｜の値が大きくなるにしたがって漸次増加し、通常
の動きに相当するＰＶｍ以上では１とする。

【００２１】次に、補間走査線の生成について、図９乃
至図１１で説明する。図９は、時間垂直領域における補
間走査線信号の概略図である。図の○印は飛び越し走査
で伝送される走査線Ｓａ，Ｓｂ（現フィールド）及びＳ
ｃ（前フィールド）を示し、●印は順次走査に変換する
ための補間走査線の信号を示す。

【００２２】図１０は、補間走査線信号生成の第１の構
成例を示す図で、従来技術でも広く採用されているもの
である。図において、動画補間信号生成部５では、図９
に示した現フィールドの走査線Ｓａの信号と、これを１
Ｈ遅延部１９で１走査線期間遅延させた走査線Ｓｂの信
号を、加算平均部２０で加算平均（Ｓａ＋Ｓｂ）／２し
て補間走査線信号ＭＳを生成する。一方、静止画補間信
号生成部６では、２６３Ｈ遅延部２１で１フィールド期
間遅延させた図９の走査線Ｓｃの信号で補間走査線信号
ＳＳを生成する。

【００２３】図１１（ａ）、（ｂ）は、補間走査線信号
生成の第２の構成例を示す図である。同図（ａ）に示す
構成において、動画補間信号生成部５は、図１０と同じ
構成で実現する。一方、静止画補間信号生成部６は、サ
ブサンプル部２２で２：１のサブサンプル処理を行い、
標本点数を１／２に削減した信号系列を生成する。そし
て、２６３Ｈ遅延部２３でこれを１フィールド期間遅延
させた信号を生成する。ポストフィルタ２４は、このサ
ブサンプルされた信号と、現フィールドの走査線Ｓａ，
Ｓｂの信号で、補間走査線信号ＳＳを生成する。このイ
ンパルス応答を同図（ｂ）に示す。この構成では、信号
処理に必要なメモリ容量を従来の１／２に削減できる利
点がある。

【００２４】以上に述べた如く、本実施例によれば、画
像の動き量に一致した動き情報で混合比率を設定する。
このため、静止領域から動画領域までバランスの良い解
像度特性で自然観を保有する画像信号の倍速走査変換回
路が簡易な回路でかつ低コストで実現でき、デジタル放
送やＤＶＤなどに用いる画像復号化装置の高画質化に顕
著な効果を得ることができる。

【００２５】次に、本発明の第２の実施例のブロック構
成を図１２に示す。本実施例は、混合比率をよりきめ細
かに設定するのに好適なもので、第１の実施例にフレー
ム差分検出部２５を追加した構成で実現する。なお、図
中、復号化部１、動きベクトル変換部２、画素単位動き
ベクトル生成部３、動画補間信号生成部５、静止画補間
信号生成部６、係数加重部７、加算部８、多重部９は、
前述の第１の実施例と同一の構成、動作を行うものであ
り説明は省略する。

【００２６】フレーム差分検出部２５は、画像信号系列
ＶＳの現フレームと前フレームの信号との減算処理で１
フレーム間の差分信号成分ＦＤを検出する。

【００２７】係数設定部２６は、画素単位の動きベクト
ルＰＶと１フレーム間の差分信号成分ＦＤをもとに混合
比率Ｋ，１−Ｋを設定する。この一特性例を図１３に示
す。図の横軸は１フレーム間の差分信号成分の絶対値｜
ＦＤ｜、縦軸は混合比率（係数）Ｋである。そして、画
素単位の動きベクトルのスカラー量｜ＰＶ｜の大小に応
じて、複数種類の内の該当する特性で係数Ｋを設定す
る。すなわち、｜ＰＶ｜が小のゆっくりした動きの時は
緩い傾きの特性、｜ＰＶ｜が中の通常の動きの時は通常
の傾きの特性、｜ＰＶ｜が大の激しい動きの時は急峻な
傾きの特性を選択し、係数Ｋを設定する。これにより、
１フレーム間の差分信号成分の絶対値｜ＦＤ｜が同じ値
でも、｜ＰＶ｜が大きくなるほど混合比率Ｋの値は大き
くでき、画像の動き量に応じたよりきめの細かな特性で
係数Ｋを設定する。

【００２８】以上に述べた如く、本実施例によれば、混
合比率の設定特性を画像の動き量に応じて選択する。こ
のため、視覚特性に整合した特性で自然観を保有する画
像信号の倍速走査変換回路が簡易な回路でかつ低コスト
で実現でき、デジタル放送やＤＶＤなどに用いる画像復
号化装置の高画質化に顕著な効果を得ることができる。

【００２９】次に、本発明の第３の実施例のブロック構
成を図１４に示す。本実施例は、動画領域の垂直解像度
向上に好適なもので、第１の実施例にエッジ成分検出部
２７を追加した構成で実現する。なお、図中、復号化部
１、動きベクトル変換部２、画素単位動きベクトル生成
部３、動画補間信号生成部５、静止画補間信号生成部
６、係数加重部７、加算部８、多重部９は、前述の第１
の実施例と同一の構成、動作を行うものであり説明は省
略する。

【００３０】エッジ成分検出部２７は、画像信号系列Ｖ
Ｓの同一フィールドの現走査線と前走査線の信号との減
算処理で垂直高周波成分を抽出する。そして、この成分
が検出される画像の水平エッジ領域では１を、成分の検
出されない領域では０を、エッジ領域信号ＥＧに出力す
る。

【００３１】係数設定部２８は、画素単位の動きベクト
ルＰＶとエッジ領域信号ＥＧをもとに混合比率Ｋ，１−
Ｋを設定する。この一特性例を図１５に示す。図の横軸
は画素単位の動きベクトルのスカラー量｜ＰＶ｜、縦軸
は混合比率（係数）Ｋである。そして、エッジ領域信号
ＥＧに応じて、係数Ｋの設定特性を選択する。すなわ
ち、ＥＧが０の領域では通常の特性、例えば第１の実施
例における図８と同じ特性で、係数Ｋの値を設定する。
一方、ＥＧが１の水平エッジ領域では、より緩い傾きの
特性で係数Ｋの値を設定する。そして、係数Ｋを通常よ
り小さな値に設定することで、垂直周波数高域特性の優
れた静止画補間信号の混合比率を相対的に高め、垂直解
像度向上を実現する。

【００３２】以上に述べた如く、本実施例によれば、混
合比率の設定特性を画像のエッジ領域に応じで選択す
る。このため、視覚特性に整合して静止領域から動画領
域までバランスの良い解像度特性で自然観を保有する画
像信号の倍速走査変換回路が簡易な回路でかつ低コスト
で実現でき、デジタル放送やＤＶＤなどに用いる画像復
号化装置の高画質化に顕著な効果を得ることができる。

【００３３】次に、本発明の第４の実施例のブロック構
成を図１６に示す。本実施例は、混合比率のよりきめ細
かな設定と動画領域の垂直解像度向上とに好適なもの
で、第１の実施例にフレーム差分検出部２５とエッジ成
分検出部２７を追加した構成で実現する。なお、図中、
復号化部１、動きベクトル変換部２、画素単位動きベク
トル生成部３、動画補間信号生成部５、静止画補間信号
生成部６、係数加重部７、加算部８、多重部９は、前述
の第１の実施例と同一の構成、動作を行うものであり説
明は省略する。

【００３４】フレーム差分検出部２５は、画像信号系列
ＶＳの現フレームと前フレームの信号との減算処理で１
フレーム間の差分信号成分ＦＤを検出する。エッジ成分
検出部２７は、画像信号系列ＶＳの同一フィールドの現
走査線と前走査線の信号との減算処理で垂直高周波成分
を抽出する。そして、この成分が検出される画像の水平
エッジ領域では１を、成分の検出されない領域では０
を、エッジ領域信号ＥＧに出力する。

【００３５】係数設定部２９は、画素単位の動きベクト
ルＰＶとエッジ領域信号ＥＧと１フレーム間の差分信号
成分ＦＤをもとに混合比率Ｋ，１−Ｋを設定する。この
一特性例を図１７に示す。図の横軸は１フレーム間の差
分信号成分の絶対値｜ＦＤ｜、縦軸は混合比率（係数）
Ｋである。そして、エッジ領域信号ＥＧに応じて、係数
Ｋの設定特性を選択する。すなわち、ＥＧが０の領域で
は、同図（ａ）に示す如く、第２の実施例における図１
３の特性と同様、画素単位の動きベクトルのスカラー量
｜ＰＶ｜の値の大小に応じて定まる特性で係数Ｋの値を
設定する。一方、ＥＧが１の水平エッジ領域では、同図
（ｂ）に示す如く、より緩い傾きの特性で係数Ｋの値を
設定する。そして、係数Ｋを通常より小さな値に設定す
ることで、垂直周波数高域特性の優れた静止画補間信号
の混合比率を相対的に高め、垂直解像度向上を実現す
る。

【００３６】以上に述べた如く、本実施例によれば、混
合比率の設定特性を画像のエッジ領域と画素単位の動き
ベクトルのスカラー量に応じで選択する。このため、視
覚特性に整合して静止領域から動画領域までバランスの
良い解像度特性で自然観を保有する画像信号の倍速走査
変換回路が簡易な回路でかつ低コストで実現でき、デジ
タル放送やＤＶＤなどに用いる画像復号化装置の高画質
化に顕著な効果を得ることができる。

【００３７】次に、本発明の第５の実施例のブロック構
成を図１８に示す。本実施例は、動き適応と動き補正の
補間処理で飛び越し走査で抜けた走査線の信号を生成す
るのに好適なもので、第１の実施例に動き補正補間信号
生成部３０を追加した構成で実現する。なお、図中、復
号化部１、動きベクトル変換部２、画素単位動きベクト
ル生成部３、動画補間信号生成部５、静止画補間信号生
成部６、係数加重部７、加算部８、多重部９は、前述の
第１の実施例と同一の構成、動作を行うものであり説明
は省略する。

【００３８】動き補正補間信号生成部３０は、画素単位
の動きベクトルＰＶをもとに画像の位置を移動させた信
号で動き補正補間信号ＭＣを生成する。図１９（ａ）、
（ｂ）はこの動作概略を説明するための図である。同図
（ａ）において、前，現，後フィールドの白丸の記号は
飛び越し走査系で送られる走査線の信号、現フィールド
の黒丸の記号は補間走査線の信号である。また、矢印の
記号は飛び越し走査系での前フィールドから後フィール
ドの１フレーム期間での画素単位の動きベクトルＰＶで
ある。この動きベクトルＰＶが垂直方向に２Ｖ（フレー
ム当たり上方に２走査線の動きに相当）の場合は、補間
走査線の信号は前フィールドの信号Ｓｃ−１で生成でき
る。また、ＰＶが４Ｖ（フレーム当たり上方に４走査線
の動きに相当）の場合は、補間走査線の信号は前フィー
ルドの信号Ｓｃ−２で生成できる。一方、ＰＶが−２Ｖ
（フレーム当たり下方に２走査線の動きに相当）の場合
は、前フィールドの信号Ｓｃ＋１、−４Ｖ（フレーム当
たり下方に４走査線の動きに相当）の場合は信号Ｓｃ＋
２で、補間走査線の信号が生成できる。同図（ｂ）はこ
れをまとめて示したものである。一般的には、ＰＶが垂
直方向に±２ｎＶの場合には、この動きベクトルをもと
に垂直方向に位置を移動させた前フィールドの走査線の
信号Ｓｃ±ｎで、補間走査線の信号が生成できる。以上
に述べた動作で、動き補正補間信号ＭＣを生成する。

【００３９】係数設定部３１は、画素単位の動きベクト
ルＰＶをもとに選択係数Ｋｍａと混合比率Ｋ，１−Ｋを
設定する。すなわち、動き適応補間信号と動き補正補間
信号との選択制御を行う選択係数は、動きベクトルＰＶ
が±２ｎＶの場合に動き補正補間信号ＭＣを選択するよ
うに選択係数Ｋｍａを０に設定する。これ以外の場合
は、動き適応補間信号を選択するように選択係数Ｋｍａ
を１に設定する。一方、混合比率（係数）Ｋは、第１の
実施例と同様の動作を行い、図８に示した特性で画素単
位の動きベクトルのスカラー量に応じて０〜１の値を設
定する。

【００４０】係数加重部７−１、７−２はそれぞれ係数
Ｋｍａ＊Ｋ、Ｋｍａ＊（１−Ｋ）を、また係数加重部７
−３は係数１−Ｋｍａを加重する。そして、これらの出
力を加算部８で加算し、補間走査線信号ＩＰを生成す
る。

【００４１】以上に述べた如く、本実施例によれば、動
きベクトルに応じて動き適応補間信号と動き補正補間信
号とを選択して補間走査線の信号を生成する。このた
め、静止画像から動画像までバランスの良い解像度特性
で自然観を保有する画像信号の倍速走査変換回路が実現
でき、デジタル放送やＤＶＤなどに用いる画像復号化装
置の高画質化に顕著な効果を得ることができる。

【００４２】次に、本発明の第６の実施例のブロック構
成を図２０に示す。本実施例も、動き適応と動き補正の
補間処理で飛び越し走査で抜けた走査線の信号を生成す
るに好適なもので、第２の実施例（図１２）に動き補正
補間信号生成部３０を追加した構成で実現する。なお、
図中、復号化部１、動きベクトル変換部２、画素単位動
きベクトル生成部３、動画補間信号生成部５、静止画補
間信号生成部６、係数加重部７、加算部８、多重部９、
フレーム差分検出部２５は、前述の第２の実施例と同一
の構成、動作を行うものであり説明は省略する。また、
動き補正補間信号生成部３０は、第５の実施例と同様、
画素単位の動きベクトルＰＶをもとに画像の位置を移動
させた信号で動き補正補間信号ＭＣを生成する。

【００４３】係数設定部３２は、画素単位の動きベクト
ルＰＶと１フレーム間の差分信号成分ＦＤをもとに選択
係数Ｋｍａと混合比率Ｋ，１−Ｋを設定する。すなわ
ち、動き適応補間信号と動き補正補間信号との選択制御
を行う選択係数は、動きベクトルＰＶが±２ｎＶの場合
に動き補正補間信号ＭＣを選択するように選択係数Ｋｍ
ａを０に設定する。これ以外の場合は、動き適応補間信
号を選択するように選択係数Ｋｍａを１に設定する。一
方、混合比率（係数）Ｋに関しては、第２の実施例と同
様の動作を行い、図１３に示した特性で０〜１の値を設
定する。

【００４４】次に、本発明の第７の実施例のブロック構
成を図２１に示す。本実施例も、動き適応と動き補正の
補間処理で飛び越し走査で抜けた走査線の信号を生成す
るに好適なもので、第３の実施例（図１４）に動き補正
補間信号生成部３０を追加した構成で実現する。なお、
図中、復号化部１、動きベクトル変換部２、画素単位動
きベクトル生成部３、動画補間信号生成部５、静止画補
間信号生成部６、係数加重部７、加算部８、多重部９、
エッジ成分検出部２７は、前述の第３の実施例と同一の
構成、動作を行うものであり説明は省略する。また、動
き補正補間信号生成部３０は、第５の実施例と同様、画
素単位の動きベクトルＰＶをもとに画像の位置を移動さ
せた信号で動き補正補間信号ＭＣを生成する。

【００４５】係数設定部３３は、画素単位の動きベクト
ルＰＶとエッジ領域信号ＥＧをもとに選択係数Ｋｍａと
混合比率Ｋ，１−Ｋを設定する。すなわち、動き適応補
間信号と動き補正補間信号との選択制御を行う選択係数
は、動きベクトルＰＶが±２ｎＶの場合に動き補正補間
信号ＭＣを選択するように選択係数Ｋｍａを０に設定す
る。これ以外の場合は、動き適応補間信号を選択するよ
うに選択係数Ｋｍａを１に設定する。一方、混合比率
（係数）Ｋに関しては、第３の実施例と同様の動作を行
い、図１５に示した特性で０〜１の値を設定する。

【００４６】次に、本発明の第８の実施例のブロック構
成を図２２に示す。本実施例も、動き適応と動き補正の
補間処理で飛び越し走査で抜けた走査線の信号を生成す
るのに好適なもので、第４の実施例（図１６）に動き補
正補間信号生成部３０を追加した構成で実現する。な
お、図中、復号化部１、動きベクトル変換部２、画素単
位動きベクトル生成部３、動画補間信号生成部５、静止
画補間信号生成部６、係数加重部７、加算部８、多重部
９、フレーム差分検出部２５、エッジ成分検出部２７
は、前述の第４の実施例と同一の構成、動作を行うもの
であり説明は省略する。また、動き補正補間信号生成部
３０は、第５の実施例と同様、画素単位の動きベクトル
ＰＶをもとに画像の位置を移動させた信号で動き補正補
間信号ＭＣを生成する。

【００４７】係数設定部３４は、画素単位の動きベクト
ルＰＶと１フレーム間の差分信号成分ＦＤとエッジ領域
信号ＥＧをもとに選択係数Ｋｍａと混合比率Ｋ，１−Ｋ
を設定する。すなわち、動き適応補間信号と動き補正補
間信号との選択制御を行う選択係数は、動きベクトルＰ
Ｖが±２ｎＶの場合に動き補正補間信号ＭＣを選択する
ように選択係数Ｋｍａを０に設定する。これ以外の場合
は、動き適応補間信号を選択するように選択係数Ｋｍａ
を１に設定する。一方、混合比率（係数）Ｋに関して
は、第４の実施例と同様の動作を行い、図１７に示した
特性で０〜１の値を設定する。

【００４８】以上に述べた如く、第６乃至第８の実施例
によれば、動きベクトルに応じて動き適応補間信号と動
き補正補間信号とを選択して補間走査線の信号を生成す
る。このため、静止画像から動画像までバランスの良い
解像度特性で自然観を保有する画像信号の倍速走査変換
回路が実現でき、デジタル放送やＤＶＤなどに用いる画
像復号化装置の高画質化に顕著な効果を得ることができ
る。

【００４９】なお、以上に述べた本発明の実施例は、画
像信号の輝度信号成分と色差信号成分の双方に適用して
補間走査線の信号を生成できる。また、回路の簡略化を
図るため、画像信号の輝度信号成分のみに本発明の実施
例を適用し、色差信号成分に関してはフィールド内処理
で補間走査線の信号を生成する形態で構成することも可
能である。

【００５０】また、本発明の実施例は、国際標準規格に
準拠したＭＰＥＧビデオ符号化に限らず、動きベクトル
による動き補償予測符号化された信号に対しても適用可
能である。

【００５１】このように本発明では、簡単な信号処理で
画像の動き量に一致した動き情報検出が可能となり、静
止画像から動画像までバランスの良い解像度特性で自然
観を保有する画像信号の倍速走査変換回路が簡易な回路
でかつ低コストで実現できる。このため、デジタル放送
やＤＶＤなどに用いる画像復号化装置の高画質化に顕著
な効果を得ることができる。

【００５２】

【発明の効果】本発明によれば、簡易な回路で高解像度
特性を実現可能な画像信号の走査変換回路及び画像復号
化装置を得ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例のブロック構成図であ
る。

【図２】動きベクトル変換部の一構成例を示す図であ
る。

【図３】Ｐピクチャベクトル変換部の動作概略図であ
る。

【図４】Ｂピクチャベクトル変換部の動作概略図であ
る。

【図５】画素単位動きベクトル生成部の一構成例を示す
図である。

【図６】画素単位動きベクトル生成のフローチャートで
ある。

【図７】参照ブロックとミニブロック補正誤差算出の概
略図である。

【図８】係数設定部の一特性例を示す図である。

【図９】時間垂直領域における補間走査線信号の概略図
である。

【図１０】補間走査線信号生成の第１の構成例を示す図
である。

【図１１】（ａ）は補間走査線信号生成の第２の構成例
を示す図、（ｂ）はポストフィルタのインパルス応答特
性例を示す図である。

【図１２】本発明の第２の実施例のブロック構成図であ
る。

【図１３】係数設定部の一特性例を示す図である。

【図１４】本発明の第３の実施例のブロック構成図であ
る。

【図１５】係数設定部の一特性例を示す図である。

【図１６】本発明の第４の実施例のブロック構成図であ
る。

【図１７】（ａ）、（ｂ）はそれぞれＥＧが０、１の場
合の係数設定部の一特性例を示す図である。

【図１８】本発明の第５の実施例のブロック構成図であ
る。

【図１９】（ａ）、（ｂ）はそれぞれ動き補正補間信号
生成の動作説明図である。

【図２０】本発明の第６の実施例のブロック構成図であ
る。

【図２１】本発明の第７の実施例のブロック構成図であ
る。

【図２２】本発明の第８の実施例のブロック構成図であ
る。

【符号の説明】

１ 復号化部 ２ 動きベクトル変換部 ３ 画素単位動きベクトル生成部 ４，２６，２８，２９，３１，３２，３３，３４ 係数
設定部 ５ 動画補間信号生成部 ６ 静止画補間信号生成部 ７ 係数加重部 ８ 加算部 ９ 多重部 １０ Ｐピクチャベクトル変換部 １１ Ｂピクチャベクトル変換部 １２，１６ 制御部 １３ 選択部 １４ 補正誤差算出部 １５ 参照ベクトル生成部 １７ ミニブロック誤差算出部 １８ 画素ベクトル設定部 １９ １Ｈ遅延部 ２０ 加算平均部 ２１，２３ ２６３Ｈ遅延部 ２２ サブサンプル部 ２４ ポストフィルタ ２５ フレーム差分検出部 ２７ エッジ成分検出部 ３０ 動き補正補間信号生成部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 杉山 雅人 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 (72)発明者 中嶋 満雄 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内

Claims (18)

【特許請求の範囲】
1. 【請求項１】 入力信号から飛び越し走査の画像信号系
   列と動きベクトル情報とを復号する復号化部と、上記動
   きベクトル情報より上記飛び越し走査の画像信号系列の
   フレーム当たりの画素単位の動きベクトルを生成する動
   きベクトル生成部と、上記飛び越し走査の画像信号系列
   のフィールド内信号処理で生成する動画補間走査線信号
   とフィールド間信号処理で生成する静止画補間走査線信
   号の混合比率の値を上記画素単位の動きベクトルのスカ
   ラー量に応じて変化させて飛び越し走査で抜けた走査線
   の信号を生成する補間走査線信号生成部とを備えたこと
   を特徴とする画像信号の走査変換回路。
2. 【請求項２】 上記補間走査線信号生成部は、上記画素
   単位の動きベクトルのスカラー量が０から所定値までの
   領域では上記スカラー量に比例して上記混合比率の値を
   ０から１まで漸次増加させ、上記スカラー量が所定値以
   上の領域では上記混合比率の値を１に設定することを特
   徴とする請求項１記載の画像信号の走査変換回路。
3. 【請求項３】 上記混合比率の値を、上記飛び越し走査
   の画像信号系列の１フレーム間の絶対値差分信号成分の
   大きさに応じて変化させるよう構成したことを特徴とす
   る請求項１記載の画像信号の走査変換回路。
4. 【請求項４】 上記補間走査線信号生成部は、上記１フ
   レーム間の絶対値差分信号成分の大小に応じて上記混合
   比率の値を０から１まで変化させる複数種類の特性を備
   え、上記画素単位の動きベクトルのスカラー量に応じて
   定まる上記複数種類のいずれかの特性で上記混合比率の
   値を設定することを特徴とする請求項３記載の画像信号
   の走査変換回路。
5. 【請求項５】 上記混合比率の値を、上記飛び越し走査
   の画像信号系列における画像の水平エッジ領域の状態に
   応じて変化させるよう構成したことを特徴とする請求項
   １記載の画像信号の走査変換回路。
6. 【請求項６】 上記補間走査線信号生成部は、上記画素
   単位の動きベクトルのスカラー量が０から所定値までの
   領域では上記スカラー量に比例して上記混合比率の値を
   ０から１まで漸次増加させる複数種類の特性を備え、上
   記水平エッジ領域の有無に応じて定まる上記複数種類の
   いずれかの特性で上記混合比率の値を設定することを特
   徴とする請求項５記載の画像信号の走査変換回路。
7. 【請求項７】 上記混合比率の値を、上記飛び越し走査
   の画像信号系列の１フレーム間の絶対値差分信号成分の
   大きさ及び上記飛び越し走査の画像信号系列における画
   像の水平エッジ領域の状態に応じて変化させるよう構成
   したことを特徴とする請求項１記載の画像信号の走査変
   換回路。
8. 【請求項８】 上記補間走査線信号生成部は、上記１フ
   レーム間の絶対値差分信号成分の大小に応じて上記混合
   比率の値を０から１まで変化させる複数種類の特性を備
   え、上記画素単位の動きベクトルのスカラー量及び上記
   水平エッジ領域の状態に応じて定まる上記複数種類のい
   ずれかの特性で上記混合比率の値を設定することを特徴
   とする請求項７記載の画像信号の走査変換回路。
9. 【請求項９】 入力信号から飛び越し走査の画像信号系
   列と動きベクトル情報とを復号する復号化部と、上記動
   きベクトル情報より上記飛び越し走査の画像信号系列の
   フレーム当たりの画素単位の動きベクトルを生成する動
   きベクトル生成部と、上記飛び越し走査の画像信号系列
   のフィールド内信号処理で生成する動画像補間走査線信
   号とフィールド間信号処理で生成する静止画補間走査線
   信号の混合比率を上記画素単位の動きベクトルのスカラ
   ー量に応じて変化させて生成した動き適応補間信号と上
   記画素単位の動きベクトルに基づいて生成した動き補正
   補間信号とのいずれか一方の信号を選択して飛び越し走
   査で抜けた走査線の信号を生成する補間走査線信号生成
   部とを備えたことを特徴とする画像信号の走査変換回
   路。
10. 【請求項１０】 上記動き適応補間信号と動き補正補間
    信号のいずれか一方の信号の選択は、上記画素単位の動
    きベクトルの形態に応じて行われることを特徴とする請
    求項９記載の画像信号の走査変換回路。
11. 【請求項１１】 上記混合比率の値を、上記飛び越し走
    査の画像信号系列の１フレーム間の絶対値差分信号成分
    の大きさに応じて変化させるよう構成したことを特徴と
    する請求項９又は１０記載の画像信号の走査変換回路。
12. 【請求項１２】 上記混合比率の値を、上記飛び越し走
    査の画像信号系列における画像の水平エッジ領域の状態
    に応じて変化させるよう構成したことを特徴とする請求
    項９乃至１１のいずれかに記載の画像信号の走査変換回
    路。
13. 【請求項１３】 上記静止画補間走査線信号は、上記飛
    び越し走査の画像信号系列の現フィールドの信号及びサ
    ブサンプル信号処理で標本点数を１／２に削減した前フ
    ィールドの信号の演算処理で生成することを特徴とする
    請求項１乃至１２のいずれかに記載の画像信号の走査変
    換回路。
14. 【請求項１４】 上記飛び越し走査で抜けた走査線の信
    号の輝度信号成分については上記補間走査線信号生成部
    の信号処理により生成し、上記飛び越し走査で抜けた走
    査線の信号の色差信号成分についてはフィールド内信号
    処理により生成することを特徴とする請求項１乃至１３
    のいずれかに記載の画像信号の走査変換回路。
15. 【請求項１５】 上記入力信号は、国際標準規格のＭＰ
    ＥＧビデオ符号化に準拠した信号であることを特徴とす
    る請求項１乃至１４のいずれかに記載の画像信号の走査
    変換回路。
16. 【請求項１６】 飛び越し走査の画像信号系列のフレー
    ム当たりの画素単位の動きベクトルを生成し、上記画素
    単位の動きベクトルのスカラー量に応じて上記飛び越し
    走査の画像信号系列のフィールド内信号処理で生成する
    動画補間走査線信号とフィールド間信号処理で生成する
    静止画補間走査線信号の混合比率の値を変化させて補間
    走査線信号を生成し、上記補間走査線信号を用いて順次
    走査の画像信号系列を得るよう構成したことを特徴とす
    る画像復号化装置。
17. 【請求項１７】 飛び越し走査の画像信号系列のフレー
    ム当たりの画素単位の動きベクトルを生成し、上記画素
    単位の動きベクトルのスカラー量に応じて上記飛び越し
    走査の画像信号系列のフィールド内信号処理で生成する
    動画補間走査線信号とフィールド間信号処理で生成する
    静止画補間走査線信号の混合比率の値を変化させて生成
    した動き適応補間信号及び上記画素単位の動きベクトル
    に基づいて生成した動き補正補間信号のうちの一方を選
    択して補間走査線信号を生成し、上記補間走査線信号を
    用いて順次走査の画像信号系列を得るよう構成したこと
    を特徴とする画像復号化装置。
18. 【請求項１８】 上記混合比率の値を、上記飛び越し走
    査の画像信号系列の１フレーム間の絶対値差分信号成分
    の大きさ及び上記飛び越し走査の画像信号系列における
    画像の水平エッジ領域の状態の少なくとも一つに応じて
    変化させるよう構成したことを特徴とする請求項１６又
    は１７記載の画像復号化装置。