JPH11112940A - 動きベクトルの生成方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 動き補正のフレーム数変換を高画質かつ低コ
ストで行うのに好適な動きベクトルの生成方法および装
置を提供する。 【解決手段】 動きベクトル情報にもとづいて動きベク
トルＢＶを生成する動きベクトル変換部６と、現フレー
ムの信号と前フレームの信号から画像の動きを検出する
動き検出部９と、動きベクトル変換部６及び動き検出部
９の出力を用いてブロック単位の動きベクトルＢＶＣを
生成するブロック単位動きベクトル生成部７と、ブロッ
ク単位動きベクトル生成部７及び動き検出部９の出力を
用いて画素単位の動きベクトルＰＶを生成する画素単位
動きベクトル生成部８とを備え，これにより生成した動
きベクトルＰＶを用いて動き補正のフレーム数変換を行
う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動きベクトルの生成
方法および装置に係り、特に動き補正の信号処理で内挿
フレーム信号を生成するフレーム数変換に好適な動きベ
クトルの生成方法および装置に関する。

【０００２】

【従来の技術】近年、マルチメディアの進展に伴い、各
種方式のテレビジョン信号やパソコン画像などをマルチ
ウィンドウ表示する使用形態が多くなってきた。また、
表示部も従来のＣＲＴの他、ＰＤＰやＬＣＤなどの平面
ディスプレイも使用されるようになってきた。しかしな
がら、各種入力ソースでは、画像のフレーム周波数や走
査線数や１画面の画素数が異なっている。また、各種デ
ィスプレイでは、走査形態や表示画素数が様々である。
このため、入力ソースの信号を表示系に合った信号に変
換する画像フォーマット変換の信号処理が必要となる。

【０００３】この画像フォーマット変換では、飛び越し
走査−順次走査を変換する走査変換や、フレームレート
を変換するフレーム数変換、あるいは走査線数や画像サ
イズを変換するスケーリング処理の信号処理が必要であ
る。このうち、走査変換やスケーリング処理は、従来技
術を用いて比較的簡単な信号処理で実現できる。これに
対して、フレーム数変換は、単純な駒落としや駒繰り返
しの処理で実現することも可能であるが、この場合には
動き画像で滑らかさが損なわれるモーションジャダーな
どの画質劣化が発生し、画質が大幅に劣化するという問
題がある。

【０００４】この問題を解決する技術としては、動き補
正のフレーム数変換法が知られている。これは、動きベ
クトルで前後のフレームの画像位置を移動させて内挿フ
レームの信号を生成するもので、動き画像のモーション
ジャダーの除去には極めて有効である。

【０００５】一方、画像の高能率符号化の分野では、国
際標準規格であるＭＰＥＧ符号化など、動き補償フレー
ム間予測符号化をベースとした方式が主流となり、ＴＶ
会議やデジタル放送などに広く用いられるようになって
きた。この動き補償フレーム間予測符号化では、送信側
では、動きベクトルで画像の位置を移動させて生成した
予測フレームと現フレームとの差分を予測誤差成分とし
て抽出し、これと動きベクトルの情報を伝送する。受信
側では、伝送された動きベクトルと予測誤差成分より元
の画像信号を復号する。

【０００６】また、テレビ画像のための動き予測方法に
ついては、例えば特開平７−１７０４９６号公報に開示
されている。この方法は、１つの注目ブロックの動きベ
クトルおよび３つの隣接するブロックの動きベクトルを
用いて、１つの画素の動きベクトルを計算するものであ
る。これにより、大きなブロックの信頼性という利点
と、より局在的な位置決定の動きベクトルの性能を兼ね
備える装置を提供することができる、とするものであ
る。

【０００７】

【発明が解決しようとする課題】従来の動き補正のフレ
ーム数変換法においては、動きベクトルの探索、生成に
膨大な演算量が必要なため、装置規模が大きくなり価格
も極めて高価となっている。このため、その用途は、放
送分野の番組交換などの特殊な用途に限られている。一
方、画像の高能率符号化の分野では、動きベクトル情報
はもっぱら画像信号の復号化処理に使われているにすぎ
ない。また、上述したテレビ画像のための動き予測方法
では、画素単位の動きベクトルの精度に問題があり、正
確な動きベクトルを得ることができず、画質劣化が発生
するおそれがある。

【０００８】従って本発明の目的は、動き補正のフレー
ム数変換を高画質かつ低コストで行うのに好適な動きベ
クトルの生成方法および装置を提供することにある。

【０００９】

【課題を解決するための手段】上記目的は、動きベクト
ル情報に基づいて変換動きベクトルを生成する工程と、
現フレームの信号と前フレームの信号から画像の動きを
検出する工程と、前記変換動きベクトル及び画像の動き
を用いてブロック単位動きベクトルを生成する工程と、
前記ブロック単位動きベクトル及び画像の動きを用いて
画素単位動きベクトルを生成する工程とを備えた動きベ
クトルの生成方法により、達成される。

【００１０】ここで、ブロック単位動きベクトルを生成
する工程は、動き検出により動きを検出しないブロック
にはブロック単位動きベクトルとして０を割り当て、動
きを検出したブロックには変換動きベクトルのうち所定
のブロック単位の動き補正誤差を有するものをブロック
単位動きベクトルとして割り当てる。所定の動き補正誤
差としては最少の動き補正誤差が用いられる。

【００１１】また画素単位動きベクトルを生成する工程
は、動き検出により動きを検出しない画素には画素単位
動きベクトルとして０を割り当て、動きを検出した画素
にはブロック単位の動き補正誤差が閾値未満のときはブ
ロック内の画素にブロック単位動きベクトルを割り当
て、閾値以上のときは現ブロックと隣接ブロックの動き
ベクトルを用いてブロックを縮小したミニブロック毎に
所定の動き補正誤差を有するものを画素単位動きベクト
ルとして割り当てる。所定の動き補正誤差としては、ミ
ニブロックを内包する算出領域のうち最少の動き補正誤
差を用いる。

【００１２】本発明に係る動きベクトルの生成装置は、
動きベクトル情報にもとづいて動きベクトルを生成する
動きベクトル変換部と、現フレームの信号と前フレーム
の信号から画像の動きを検出する動き検出部と、前記動
きベクトル変換部及び前記動き検出部の出力を用いてブ
ロック単位の動きベクトルを生成するブロック単位動き
ベクトル生成部と、前記ブロック単位動きベクトル生成
部及び前記動き検出部の出力を用いて画素単位の動きベ
クトルを生成する画素単位動きベクトル生成部とを備え
る。

【００１３】このような技術的手段により、本発明で
は、動き補正のフレーム数変換に必要な画素単位の動き
ベクトルを、高精度、かつ、極めて少ない演算量で生成
することができる。

【００１４】本発明に係るフレーム数変換方法では、動
きベクトル情報から得られた動きベクトルとフレーム差
分信号から得られた画像の動きとを用いて生成したブロ
ック単位動きベクトルに基づいて画素単位動きベクトル
を生成する工程と、画素単位動きベクトルに基づいて求
めた補正補間動きベクトルを用いて内挿フレーム信号を
生成することにより画像信号のフレーム数を変換する工
程とを備える。

【００１５】本発明に係るフレーム数変換装置では、動
きベクトル情報にもとづいて動きベクトルを生成する動
きベクトル変換部、現フレームの信号と前フレームの信
号から画像の動きを検出する動き検出部、動きベクトル
変換部及び動き検出部の出力を用いてブロック単位の動
きベクトルを生成するブロック単位動きベクトル生成部
およびブロック単位動きベクトル生成部及び動き検出部
の出力を用いて画素単位の動きベクトルを生成する画素
単位動きベクトル生成部を有する動きベクトル生成部
と、画素単位動きベクトルに基づいて求めた補正補間動
きベクトルを用いて内挿フレーム信号を生成することに
より画像信号のフレーム数を変換する動き補正フレーム
数変換部とを備える。

【００１６】これにより、動き補正のフレーム数変換を
高画質かつ低コストで行うことができる。

【００１７】本発明では、別の形態として、動き補正の
フレーム内挿処理を、動きの滑らかさが損なわれるモー
ションジャダーの目立ちやすい速度の動きや、上下パン
や水平パンや文字スクロールなどの特殊な動きに対して
のみ行う。また、シーンチェンジ時は、動きベクトルの
探索及び動き補正のフレーム内挿処理の動作を中止す
る。この結果、動き補正処理に固有な動画のエッジ部が
フリッカしたり動きが不自然に見える画質劣化の発生を
抑圧できる。また、シーンチェンジ時での膨大な演算量
の発生を抑圧でき、高画質でしかも低コストのフレーム
数変換装置を実現することができる。

【００１８】

【発明の実施の形態】本発明の理解を容易とするため、
始めにＭＰＥＧ符号化を例として、動き補償予測符号化
の概略を簡単に説明する。

【００１９】図２１は、ＭＰＥＧ符号化におけるＭＣフ
レーム間予測の概略図を示すものである。同図に示す時
系列の画像信号シーケンスの各フレームは、記号Ｉ,Ｐ,
Ｂで示すＩピクチャ、Ｐピクチャ、Ｂピクチャに分け
る。そして、Ｉピクチャではフレーム内の離散コサイン
変換（ＤＣＴ）符号化を行う。一方、Ｐ，Ｂピクチャで
は動き補償予測符号化を行う。このうち、Ｐピクチャで
は、図中のＰの記号で示すフレームの間で、動きベクト
ルMVpを用いた一方向予測で予測フレームの信号を生成
し、これとの差分成分をＤＣＴ符号化する。また、Ｂピ
クチャでは、図中のＢの記号で示すフレームに対して同
図に示す動きベクトルMVbを用いた双方向予測で予測フ
レームの信号を生成し、これとの差分成分をＤＣＴ符号
化する。そして、ＩピクチャではＤＣＴ符号化成分、
Ｐ，Ｂピクチャでは動き補償予測に用いた動きベクトル
MVp,MVbの情報とＤＣＴ符号化した差分成分を伝送す
る。

【００２０】図２２は、本発明における動き補正フレー
ム数変換用動きベクトルへの変換動作の概略を示すもの
である。周知の如く、動き補正のフレーム数変換では、
画像信号シーケンスの１フレーム期間での動きベクトル
が必要である。このため、Ｐピクチャ符号化時の動きベ
クトルMVp（図中のMVp1,MVp2,MVp3）に対しては、それ
をＰピクチャ期間のフレーム数（同図では３）で除した
変換動きベクトルBVp(図中のMVp1/3,MVp2/3,MVp3/3)を
生成し、これを１フレーム期間の動きベクトルＢＶとす
る。一方、Ｂピクチャ符号化時の動きベクトルMVbに対
しては、その１フレーム期間の動きベクトル(図のMVb1
1,MVb12,MVb21,MVb22,MVb31、MVb32)を用いて変換動きベ
クトルBVbを生成し、これを１フレーム期間の動きベク
トルＢＶとする。

【００２１】以上に述べた動きベクトル変換の技術的手
段で、動き補償予測符号化の動きベクトル情報より動き
補正のフレーム数変換に必要な１フレーム期間の動きベ
クトルを簡単に生成できる。なお、この動きベクトル変
換で得られる動きベクトルは、ブロック単位（水平８画
素ｘ垂直８ライン）あるいはマクロブロック単位（水平
１６画素ｘ垂直１６ライン)での動きベクトルである。

【００２２】動き補正のフレーム数変換では、動きベク
トルの精度が悪い場合には、画像の一部が不適切な画像
に置き換えられる孤立点的な劣化が発生する。これを回
避するため、本発明においては、以下に述べるブロック
単位、画素単位の動きベクトル生成の２段階の信号処理
を採用する。

【００２３】ブロック単位動きベクトル生成では、ま
ず、フレーム差分信号で動きを検出しないブロック（静
止ブロック）と、動きを検出したブロック（動画ブロッ
ク）とに分別する。そして、静止ブロックには動きベク
トルＢＶＣに０を割り当てる。一方、動画ブロックに
は、上述した動きベクトル変換の信号処理で生成する動
きベクトルＢＶ(BVp,BVb)のうちで、ブロック単位の動
き補正誤差を演算し、これが最少なものを動きベクトル
ＢＶＣに割り当てる。

【００２４】画素単位動きベクトル生成では、まず、動
きベクトルＢＶＣで現ブロックでの動き補正誤差を算出
し、閾値ＴＨとの大小比較を行う。そして、閾値ＴＨ未
満の場合は、動きベクトルＢＶＣは正確と判定し、この
動きベクトルＢＶＣをブロック内の動きを検出した全て
の画素に割り当てる。一方、閾値ＴＨ以上の場合は、現
ブロック及びこれに隣接する参照ブロックの動きベクト
ルを用い、ミニブロック（例えば水平ＭＸ画素ｘ垂直Ｍ
Ｙライン）毎に、ミニブロックを内包する水平ＭＸ＋
２、垂直ＭＹ＋２の算出領域で動き補正誤差を最少にす
る動きベクトルＰＶを求める。そして、ミニブロック内
の動きを検出した画素には、この動きベクトルＰＶを割
り当てる。また、フレーム差分信号成分が零の画素に
は、動きベクトルＰＶに０を割り当てる。

【００２５】以上に述べた技術的手段で、動き補正のフ
レーム数変換に必要な画素単位の動きベクトルを、高精
度、かつ、極めて少ない演算量で生成できる。

【００２６】図１は、本発明の第１の実施例を示すブロ
ック構成図である。同図の１はＭＰＥＧデコーダ部、２
はＩＰ変換部、３は１フレーム遅延部、４は動きベクト
ル生成部、５は動き補正フレーム数変換部である。

【００２７】ＭＰＥＧデコーダ部１は、ＭＰＥＧ符号化
されたビットストリーム信号ＤＳの復号処理を行い、復
号した画像信号シーケンスの信号Ｓ１と、動きベクトル
情報ＭＶ（Ｐ，Ｂピクチャの動きベクトルMVp,MVbなら
びに符号化パラメタ情報）を出力する。なお、この信号
処理や構成は従来技術で容易に実現出来る。

【００２８】ＩＰ変換部２は、飛び越し走査の画像信号
に対しては、飛び越し走査で抜けた走査線の信号を補間
処理で生成し、順次走査の画像信号Ｓ２に変換する。こ
の信号処理は、例えば従来技術の動き適応型の走査変換
で実現する。

【００２９】動きベクトル生成部４は、現フレームの信
号Ｓ２と、これを１フレーム遅延部３で１フレーム期間
遅延させた前フレームの信号Ｓ３と、動きベクトル情報
ＭＶをもとに、前述した動きベクトル変換、ブロック単
位、画素単位動きベクトル生成の信号処理を行い、動き
補正のフレーム数変換に使用する画素単位の動きベクト
ルＰＶを生成する。この具体的な構成については後述す
る。

【００３０】動き補正フレーム数変換部５は、画素単位
動きベクトルＰＶをもとに補正補間動きベクトルを作
り、現フレームの信号Ｓ３と前フレームの信号Ｓ２の画
像の位置を、この補正補間動きベクトルで移動させた信
号で内挿フレームの信号を生成する。そして、この動き
補正のフレーム内挿処理でフレームレートを変換した順
次走査の画像信号Ｓ４を出力として得る。なお、この具
体的な構成についても後述する。

【００３１】以下、本実施例における主要ブロック部に
ついて説明する。

【００３２】図２は動きベクトル生成部４の一構成例を
示す図である。動きベクトル変換部６は、動きベクトル
情報ＭＶをもとに、図２２に示した動作の動きベクトル
変換の信号処理を行い、１フレーム期間での動きベクト
ルＢＶを生成する。この具体的な一構成例を図３に示
す。同図のＰピクチャベクトル変換部１０は、動きベク
トル情報ＭＶのＰピクチャ符号化で使用する動きベクト
ルMVpに対して、１／ｎ（ｎはＰピクチャ間のフレーム
数）に変換する信号処理で変換動きベクトルBVpを生成
する。また、Ｂピクチャベクトル変換部１１は、動きベ
クトル情報ＭＶのＢピクチャ符号化で使用する動きベク
トルMVbに対し、１フレーム期間の動きベクトルを選択
して変換動きベクトルBVbを生成する。なお、MVbのうち
の複数フレーム期間（例えばｍフレーム）の動きベクト
ルを１／ｍに変換する信号処理を併せて行い、より多く
の変換動きベクトルBVbを生成することもできる。制御
部１２は、動きベクトル情報の符号化パラメタをもと
に、各変換部の動作に必要な制御信号ＣＴを生成する。

【００３３】図２に戻り、動き検出部９は、現フレーム
の信号Ｓ２と前フレームの信号Ｓ３の輝度信号成分の減
算演算を行い、１フレーム間の差分信号成分を抽出す
る。そして、動き検出信号ＭＩ１には、この信号レベル
が設定値±Ｔｈａ未満の場合は静止領域と判定して０、
±Ｔｈａを越える場合は動画領域と判定して１の信号を
出力する。また、動き検出信号ＭＩ２には、この信号レ
ベルが０の場合は静止と判定して０、それ以外は動画と
判定して１の信号を出力する。

【００３４】ブロック単位動きベクトル生成部７は、動
き検出信号ＭＩ１全て０のブロックは静止ブロックと判
定し、出力動きベクトルＢＶＣに０を出力する。一方、
動き検出信号ＭＩ１に１を含むブロックは動画ブロック
と判定し、動きベクトルＢＶのうちでブロック単位の動
き補正誤差が最少なものを動きベクトルＢＶＣに出力す
る。

【００３５】画素単位動きベクトル生成部８は、動き検
出信号ＭＩ２が０の画素には動きベクトルＰＶに０を出
力する。一方、動き検出信号ＭＩ２が１の画素には、動
きベクトルＢＶＣの現ブロックとこれに隣接するブロッ
クの動きベクトルをもとに、動き補正誤差が最少なもの
を動きベクトルＰＶに出力する。

【００３６】次に、ブロック単位動きベクトル生成部７
の一構成例を図４を用いて説明する。図において、補正
誤差算出部１３は、動きベクトルBVpによるブロック単
位の動き補正誤差ERpを演算する。則ち、現フレームの
信号Ｓ２と、前フレームの信号Ｓ３を動きベクトルBVp
で位置を移動させた信号との絶対値差分成分を計算す
る。また、補正誤差算出部１４は、動きベクトルBVbに
よるブロック単位の動き補正誤差ERbを演算する。則
ち、現フレームの信号Ｓ２と、前フレームの信号Ｓ３を
動きベクトルBVbで位置を移動させた信号との絶対値差
分成分を計算する。

【００３７】静動ブロック判定部１５は、ブロック単位
（例えば１６画素ｘ１６ラインあるいは８画素ｘ８ライ
ン）で、動き検出信号ＭＩ１の１の有無を検出する。そ
して、信号ＭＩ１が全て０の時は静止ブロックと判定し
て信号ＢＭに０、それ以外の時は動画ブロックと判定し
て１を出力する。

【００３８】設定部１６は、信号ＢＭが０の静止ブロッ
クでは、ブロック単位動きベクトル信号ＢＶＣに０を出
力する。一方、信号ＢＭが１の動画ブロックでは、動き
補正誤差ERp，ERbの値を最小にする動きベクトルをブロ
ック単位動きベクトル信号ＢＶＣに出力する。

【００３９】次に、画素単位動きベクトル生成部８の第
１の構成例を図５に示す。これは、以下の図６、図７に
沿った信号処理を行うに好適なものである。

【００４０】補正誤差算出部１７は、図６に示す信号処
理のフローチャートの第１ステップの処理を行う。則
ち、現フレームの信号Ｓ２、前フレームの信号Ｓ３の輝
度信号成分に対し、ブロック単位動きベクトルＢＶＣに
よる動き補正誤差を算出する。そして、この誤差の値が
閾値ＴＨ未満の場合は信号ＰＭに０、閾値ＴＨ以上の場
合は１を出力する。

【００４１】制御部１８は、信号ＰＭと動き検出信号Ｍ
Ｉ２を基に、図６の第２、第３ステップの信号処理に必
要な制御信号ＰＣ１とＰＣ２を生成する。

【００４２】補正誤差算出部２０−１、…、２０−Ｎ
は、図６の第２ステップの閾値以上の場合の信号処理を
行う。則ち、制御信号ＰＣ１が閾値以上を示す時、図７
に示すように、参照動きベクトル生成部１９で生成す
る、現ブロックの動きベクトルＶ０と、これに隣接する
参照ブロックに対応する動きベクトルＶ１、…、ＶＮ
で、ミニブロック（例えば水平ＭＸ＝２、垂直ＭＹ＝２
の２画素ｘ２ライン）毎に、これを内包する水平４（Ｍ
Ｘ＋２）画素、垂直４（ＭＹ＋２）ラインの算出領域で
の動き補正誤差ＥＲ０、ＥＲ１、…、ＥＲＮを算出す
る。なお、この動き補正誤差の算出は、現フレ−ムの信
号Ｓ２と前フレ−ムの信号Ｓ３の輝度信号成分、もしく
は輝度信号成分と色差信号成分、のいずれかに対し、
（数１）に示す演算で実現できる。

【００４３】

【数１】 ER0=Σabs{S2(x,y)-S3(V0)}=Σabs{S2(x,y)-S3(x+V0x,y+V0y)} ER1=Σabs{S2(x,y)-S3(V1)}=Σabs{S2(x,y)-S3(x+V1x,y+V1y)} ER2=Σabs{S2(x,y)-S3(V2)}=Σabs{S2(x,y)-S3(x+V2x,y+V2y)} ………………………………………………………………………… ERN=Σabs{S2(x,y)-S3(VN)}=Σabs{S2(x,y)-S3(x+VNx,y+VNy)} （数１） （数１）で、Ｓ２(ｘ,ｙ)は算出領域内の現フレームの
画素の信号、Ｓ３(ＶＮ)は動きベクトルＶＮで位置を移
動させた前フレームの画素の信号、abs{ }は絶対値、
Σは算出領域内の画素の総和、ＶＮｘは動きベクトルＶ
Ｎのｘ成分、ＶＮｙはｙ成分である。

【００４４】画素動きベクトル設定部２１は、図６の第
２ステップの閾値未満および第３ステップの信号処理を
行う。則ち、制御信号ＰＣ２が閾値未満を示す場合は、
現ブロックの動きベクトルＶ０を画素単位動きベクトル
ＰＶに出力する。一方、ＰＣ２が閾値以上を示す場合
は、動き補正誤差ＥＲ０、ＥＲ１、…、ＥＲＮの内で最
少値をとる動きベクトルを各ミニブロック内の画素の動
きベクトルとして出力する。また、制御信号ＰＣ２が動
き検出信号ＭＩ２が０の画素を示す時は、画素単位動き
ベクトルＰＶに０を出力する。

【００４５】図８は、画素単位動きベクトル生成部８の
第２の構成例を示す図である。そして、図９に示す信号
処理で画素単位の動きベクトルを生成する。

【００４６】補正誤差算出部１７は、図５に示したもの
と同じで、図９（ａ）に示す第１ステップの処理を行
い、ブロック単位の動き補正誤差の値が閾値ＴＨ未満の
場合は信号ＰＭに０、閾値ＴＨ以上の場合は１を出力す
る。

【００４７】制御部１８は、信号ＰＭと動き検出信号Ｍ
Ｉ２を基に、図９（ａ）に示す第２、第３ステップの信
号処理に必要な制御信号ＰＣ３、ＰＣ２を生成する。

【００４８】再探索第１処理部２２、再探索第２処理部
２３、再探索第３処理部２４は、図９（ａ）の第２ステ
ップの信号処理を行う。則ち、制御信号ＰＣ３が閾値以
上を示す時には、動きベクトルの再探索処理を行う。ま
ず、再探索第１処理部２２では、図９（ｂ）に示すよう
に、ブロックサイズが水平、垂直とも１／２のサイズに
縮小したサブブロックＳＢ１毎に、動きベクトルＢＶＣ
を参照ベクトルとしてブロックマッチング処理を行い、
再探索したＳＢ１単位の動きベクトルＰＶ１を出力す
る。次に、再探索第２処理部２３では、サブブロックＳ
Ｂ１を水平、垂直ともに１／２に縮小したサブブロック
ＳＢ２毎に、動きベクトルＰＶ１を参照ベクトルとして
ブロックマッチング処理を行い、再探索したＳＢ２単位
の動きベクトルＰＶ２を出力する。再探索第３処理部２
４は、サブブロックＳＢ２を水平、垂直ともに１／ｎに
縮小したミニブロックサイズのサブブロックＳＢＮ毎
に、動きベクトルＰＶ２を参照ベクトルとしてブロック
マッチング処理を行い、再探索したＳＢＮ単位の動きベ
クトル、則ち、ミニブロック単位の動きベクトルＰＶ３
を出力する。一方、制御信号ＰＣ３が閾値未満を示す時
は、再探索第１処理部２２、再探索第２処理部２３、再
探索第３処理部２４は、再探索処理の動作を中止し、動
きベクトルＰＶ３に現ブロックの動きベクトルＢＶＣを
出力する。

【００４９】画素動きベクトル設定部２５は、図９
（ａ）の第３ステップの信号処理を行う。則ち、制御信
号ＰＣ２が動き検出信号ＭＩ２が０の画素を示す時は、
画素単位動きベクトルＰＶに強制的に０を出力する。一
方、ＰＣ２が動き検出信号ＭＩ２が１の画素を示す時
は、画素単位動きベクトルＰＶにＰＶ３を出力する。

【００５０】図１０は、画素単位動きベクトル生成部８
の第３の構成例を示す図である。これは、図１１に従っ
た信号処理を行うに好適なもので、図５の構成に再探索
処理部２６を追加することで実現する。

【００５１】再探索処理部２６は、制御信号ＰＣ４が閾
値以上を示す場合は、ブロックサイズを水平、垂直とも
に１／２に縮小したサブブロックＳＢ１毎に、現ブロッ
クの動きベクトルＢＶＣを参照ベクトルとしたブロック
マッチング処理を行い、再探索したＳＢ１単位の動きベ
クトルＰＶ１を出力する。一方、ＰＣ４が閾値未満を示
す場合は、再探索動作を中止して、現ブロックの動きベ
クトルＢＶＣを出力する。そして、図１１の第２ステッ
プの閾値以上の信号処理で参照ベクトルとして使用する
サブブロックＳＢ１単位の動きベクトルＰＶ１を生成す
る。

【００５２】以降の動作は、図５に示したものと同様で
あるので、説明は省略する。

【００５３】図１２は、画素単位動きベクトル生成部８
の第４の構成例を示す図で、図１３（ａ）、（ｂ）に示
す信号処理で画素単位の動きベクトルを生成する。

【００５４】補正誤差算出部１７は、図５に示したもの
と同じで、図１３（ａ）に示すフローチャートの第１ス
テップの処理を行い、ブロック単位の動き補正誤差の値
が閾値ＴＨ未満の場合は信号ＰＭに０、閾値ＴＨ以上の
場合は１を出力する。

【００５５】制御部１８は、信号ＰＭと動き検出信号Ｍ
Ｉ２を基に、図１３（ａ）に示すフローチャートの第
２、第３ステップの信号処理に必要な制御信号ＰＣ５、
ＰＣ２を生成する。

【００５６】再探索第１処理部２７、再探索第２処理部
２８、再探索第３処理部２９は、図１３（ａ）の第２ス
テップの信号処理を行う。則ち、制御信号ＰＣ５が閾値
以上を示す時には、図１３（ｂ）に示すように、ブロッ
クサイズを縮小したブロックについて動きベクトルの再
探索処理を行う。まず、再探索第１処理部２７は、ブロ
ックサイズを水平、垂直とも１／２のサイズに縮小した
サブブロックＳＢ１毎に、動きベクトルＢＶＣを参照ベ
クトルとしてブロックマッチング処理を行い、再探索し
たＳＢ１単位の動きベクトルＰＶ１を出力する。また、
再探索第２処理部２８は、ブロックサイズを水平、垂直
ともに１／４に縮小したサブブロックＳＢ２毎に、動き
ベクトルＢＶＣを参照ベクトルとしてブロックマッチン
グ処理を行い、再探索したＳＢ２単位の動きベクトルＰ
Ｖ２を出力する。一方、再探索第３処理部２９は、ブロ
ックサイズを水平、垂直ともに１／ｎに縮小したミニブ
ロックサイズのサブブロックＳＢＮ毎に、動きベクトル
ＢＶＣを参照ベクトルとしてブロックマッチング処理を
行い、再探索したＳＢＮ単位の動きベクトル、則ち、ミ
ニブロック単位の動きベクトルＰＶ３を出力する。一
方、制御信号ＰＣ５が閾値未満を示す時は、再探索第１
処理部２７、再探索第２処理部２８、再探索第３処理部
２９は、再探索処理の動作を中止し、ＰＶ１、ＰＶ２、
ＰＶ３に現ブロックの動きベクトルＢＶＣを出力する。

【００５７】画素動きベクトル設定部３０は、図１３
（ａ）の第２ステップの閾値未満および第３ステップの
信号処理を行う。則ち、制御信号ＰＣ２が閾値未満を示
す場合は、現ブロックの動きベクトルＰＶ１を画素単位
動きベクトルＰＶに出力する。一方、閾値以上を示す場
合は、ＰＶ１、ＰＶ２、ＰＶ３の内で動き補正誤差が最
少値をとる動きベクトルを各ミニブロック内の画素の動
きベクトルとして出力する。

【００５８】また、制御信号ＰＣ２が動き検出信号ＭＩ
２が０の画素を示す時は、画素単位動きベクトルＰＶに
強制的に０を出力する。

【００５９】次に、図１の動き補正フレーム数変換部５
の構成例を、図１４乃至図１６で説明する。

【００６０】図１４は、その第１の構成例で、フレーム
順制御部３１は、画素単位動きベクトルＰＶより動き補
正処理に必要な補正補間動きベクトルVctとVprを生成す
る。フレーム周波数５０Ｈｚの信号をフレーム周波数が
６０Ｈｚの信号にフレーム数変換を行う場合を例に、こ
の動作を図１６（ａ）、（ｂ）に示す。フレーム周波数
５０Ｈｚの順次走査信号は、フレーム順の１から５の信
号に対し、同図に示す様に動きベクトルＰＶを基に補正
型の信号処理で内挿フレームを生成し、フレーム順１か
ら６のフレーム周波数が６０Ｈｚの順次走査の信号に変
換する。この際、補正補間動きベクトルは、内挿するフ
レーム位置と合致させる必要がある。そこで、同図に示
す様に、動きベクトル信号ＰＶに係数加重する係数値ｋ
ａ,ｋｂを変化させ、（数２）に示す演算で補正補間動
きベクトルVpr、Vctを生成する。

【００６１】

【数２】 Vpr=PV*ka/(ka+kb) Vct=-PV*kb/(ka+kb) （数２） 則ちフレーム順が２の内挿フレームは、Vpr＝ＰＶ*5/6,
Vct＝−ＰＶ*1/6(ka=5,kb=1)、３のものは、Vpr＝ＰＶ*
4/6,Vct＝−ＰＶ*2/6(ka=4,kb=2)…の如く、係数値ｋ
ａ，ｋｂを発生させ、時間方向での位置ずれのない補正
補間動きベクトルを生成する。この結果、時間方向での
揺らぎのないフレーム数変換を実現する。

【００６２】動き補正信号生成部３２では、現フレーム
の信号Ｓ２と補正補間動きベクトルVctで動き補正信号S
ctを生成する。また、動き補正信号生成部３３は、前フ
レームの信号Ｓ３と補正補間動きベクトルVprで動き補
正信号Sprを生成する。この動作概略を図１６（ｃ）に
示す。内挿フレームの点A（x,y）の信号は、前フレーム
の信号Ｓ３では、点A(x,y)を補正補間動きベクトルVpr
(水平方向成分Vprx,垂直方向成分Vpry)で移動させた点
A'(x1,y1)=(x＋Vprx,y＋Vpry)の位置の信号、現フレー
ムの信号Ｓ２では点A(x,y)を補正補間動きベクトルVct
(水平方向成分Vctx,垂直方向成分Vcty)で移動させた点
A”(x2,y2)=(x−Vctx,y−Vcty)の位置の信号に対応す
る。従って、動き補正信号SprとSctは、以下の（数３）
で生成する。

【００６３】

【数３】 Spr=Ｓ３(x＋Vprx,y＋Vpry) Sct=Ｓ２(x−Vctx,y−Vcty) （数３） この信号処理は、動き補正信号生成部に内蔵のメモリ回
路の読み出し動作を制御することで実現する。則ち、読
み出しのためのアドレスを補正補間動きベクトルVpr,Vc
tの位置だけずらせたアドレスを生成し、このアドレス
で点A',A”に対応した画素の信号を読み出す。

【００６４】加算部３４は、両者の動き補正信号SprとS
ctとの加算平均を行い、その出力に動き補正のフレーム
数変換でフレーム周波数をアップした順次走査の画像信
号Ｓ４を得る。

【００６５】図１５は、動き補正フレーム数変換部５の
第２の構成例を示す図である。これは、モーションジャ
ダー妨害が目立ちやすい速度の動き、あるいは水平パン
や上下パンや文字スクロールなどの特殊な動きの場合の
み、動き補正のフレーム内挿処理を行うものである。

【００６６】同図のフレーム順制御部３１、動き補正信
号生成部３２,３３、加算部３４は、図１４と同じ動作
を行い、加算部３４の出力に動き補正のフレーム内挿処
理した信号Smcを得る。

【００６７】動き速度検出部３５は、画素単位動きベク
トルＰＶを基に、モーションジャダー妨害が目立ちやす
い速度の動き、あるいは水平パンや上下パンや文字スク
ロールなどの特殊な動きを検出する。

【００６８】例えば、モーションジャダー妨害は、１秒
／画面幅、１秒／画面高程度までの視線が追従できる動
きの場合に特に目立ち易いという性質が知られている。
従って、動き速度検出部では、１秒／画面幅、１秒／画
面高程度に相当する速度を閾値とする動きベクトルＰＶ
の速度成分の判定を行い、閾値未満の速度では１、以上
では０の信号ＳＬを出力する第１の動作で、この検出が
できる。

【００６９】また、水平パンや上下パンでは画面全体が
一様な速度で動く。従って、動き速度検出部では、画素
単位動きベクトルＰＶ≠０のものの大きさと方向を全画
面領域にわたり計測し、これがほぼ同じ値をとる場合の
み、全ての画面領域で１を信号ＳＬに出力する第２の動
作で、この検出ができる。

【００７０】一方、文字スクロールなどでは、動き領域
の形状が帯状で、かつ、この領域での動きベクトルはほ
ぼ同じ値になる。従って、動き速度検出部では、画素単
位動きベクトルＰＶ≠０のものの大きさと方向がほぼ同
一となる帯状の領域を検出し、この領域のみ１を信号Ｓ
Ｌに出力する第３の動作で、この検出ができる。

【００７１】なお、動き速度検出部は、第１、第２、第
３のいずれか１つの動作、もしくはこれらを組み合わせ
た動作など、種々の動作形態のもので実現できる。

【００７２】スイッチ部３６は、信号ＳＬが１の時は、
現フレームの信号Ｓ２を選択し、信号ＳＬが０の時は、
信号Smcを選択する。そして、この出力に、モーション
ジャダー妨害が目立ちやすい速度の動き、あるいは水平
パンや上下パンや文字スクロールなどの特殊な動きの領
域のみを動き補正のフレーム内挿処理した順次走査の画
像信号Ｓ４を得る。

【００７３】以上に述べた如く、本実施例によれば、動
き補償予測符号化の動きベクトル情報を用いることで、
極めて少ない演算量で動き補正のフレーム数変換に必要
な画素単位の動きベクトルを高精度に生成できる。この
ため、動き補正のフレーム数変換の動きベクトルの生
成、および装置の低コスト化、高画質化に顕著な効果が
得られる。

【００７４】次に、本発明の第２の実施例について、図
１７のブロック構成図で説明する。本実施例は、シーン
チェンジの領域では動き補正処理の信号処理を中止する
動作を行うに好適なものである。

【００７５】同図のＭＰＥＧデコーダ部１、ＩＰ変換部
２、１フレーム遅延部３、動きベクトル生成部４、動き
補正フレーム数変換部５は、図１に示した第１の実施例
と同一の構成、動作を行うので、説明は省略する。

【００７６】シーンチェンジ検出部３７は、１フレーム
期間でのフレーム間差分信号成分の発生形態よりシーン
チェンジの発生した領域を検出する動作を行う。この一
構成例を図１８に示す。減算部３８は、現フレームの信
号Ｓ２と、前フレームの信号Ｓ３の輝度信号成分に対し
て減算演算を行い、１フレーム間の差分成分ＦＤを抽出
する。一般に、シーンチェンジの領域では、画像の内容
が切り替わるため、差分成分ＦＤの信号レベルは比較的
大きな値を持つ。そこで、２値量子化部３９は比較的高
いレベルの閾値±Ｔｈｂで信号ＦＤを画素毎に２値量子
化する。そして、閾値±Ｔｈｂ未満の画素は０、閾値を
越える画素は１を信号ＱＳに出力する。１フレーム累積
部４０は、１フレーム期間で信号ＱＳが１のものの画素
の数を計測し、１フレーム期間での累積値ＡＱを出力す
る。判定部４１は、画面全体が一様な速度で動く水平パ
ンや上下パンの動きを誤ってシーンチェンジと検出する
誤動作を避けるため、累積値ＡＱの値が全画面の半分以
上の画素数で、かつ、その発生が１フレーム期間に限ら
れる場合をシーンチェンジ領域と判定し、信号ＳＣＦに
１フレームの期間にわたり１を出力する。これ以外の場
合は０を出力する。

【００７７】なお、動きベクトル生成部４は、信号ＳＣ
Ｆが１の期間は、動きベクトルの生成の動作を中止す
る。また、動き補正フレーム数変換部５は、信号ＳＣＦ
が１の期間は、優先的に、現フレームの信号Ｓ２を選択
してＳ４に出力する。

【００７８】以上に述べた如く、本実施例によれば、動
き補償予測符号化の動きベクトル情報を用いることで、
極めて少ない演算量で動き補正のフレーム数変換に必要
な画素単位の動きベクトルを高精度に生成できる。ま
た、シーンチェンジ領域における動きベクトル探索や生
成のための膨大な演算量の発生が回避できる。このた
め、動き補正のフレーム数変換の動きベクトルの生成、
および装置の更なる低コスト化、高画質化に顕著な効果
が得られる。

【００７９】次に、本発明の第３の実施例について、図
１９に示すブロック構成図で説明する。本実施例は、図
１の第１の実施例の構成に、更に、画像信号の走査線数
変換や画像サイズの縮小拡大変換の機能を付加したもの
である。

【００８０】ＭＰＥＧデコーダ部１は、ＭＰＥＧ符号化
されたビットストリーム信号ＤＳの復号処理を行い、復
号した画像信号シーケンスの信号Ｓ１と、動きベクトル
情報ＭＶ（Ｐ，Ｂピクチャの動きベクトルMVp,MVbなら
びに符号化パラメタ情報）を出力する。

【００８１】ＩＰ変換部２は、飛び越し走査の画像信号
に対しては、飛び越し走査で抜けた走査線の信号を補間
処理で生成し、順次走査の画像信号Ｓ２に変換する。こ
の信号処理は、例えば従来技術の動き適応型の走査変換
で実現する。

【００８２】動きベクトル生成部４は、現フレームの信
号Ｓ２と、これを１フレーム遅延部３で１フレーム期間
遅延させた前フレームの信号Ｓ３と、動きベクトル情報
ＭＶをもとに、前述した動きベクトル変換、ブロック単
位、画素単位動きベクトル生成の信号処理を行い、動き
補正のフレーム数変換に使用する画素単位の動きベクト
ルＰＶを生成する。

【００８３】動き補正フレーム数変換部５は、画素単位
動きベクトルＰＶをもとに補正補間動きベクトルを作
り、現フレームの信号Ｓ３と前フレームの信号Ｓ４の画
像の位置をこの補正補間動きベクトルで移動させた信号
で、内挿フレームの信号を生成する。そして、この出力
に動き補正のフレーム内挿処理でフレームレートを変換
した順次走査の画像信号Ｓ４を得る。

【００８４】スケーリング処理部４２は、走査線数の変
換（例えばＰＡＬ方式やＮＴＳＣ方式の信号からＨＤＴ
Ｖ方式の信号への変換、パソコン画像のＶＧＡ系やＳＶ
ＧＡ系への変換などに必要な走査線数変換）、アスペク
ト比の変換（４：３系と１６：９系）、マルチウィンド
ウ表示のための画像サイズの任意拡大縮小などの信号処
理を行う。なお、この構成は従来技術で容易に実現でき
るので説明は省略する。以上に述べた如く、本実施例に
よれば、多種入力ソースの信号を多種ディスプレイに表
示するための画像フォーマット変換信号処理装置を、低
コストで実現できる。

【００８５】次に、本発明の第４の実施例について、図
２０に示すブロック構成図で説明する。本実施例は、図
１７の第２の実施例の構成に、更に、画像信号の走査線
数変換や画像サイズの縮小拡大変換の機能を有するスケ
ーリング処理部４２を追加して構成する。

【００８６】スケーリング処理部４２は、第３の実施例
と同様、走査線数の変換、アスペクト比の変換、マルチ
ウィンドウ表示のための画像サイズの任意拡大縮小など
の信号処理を行う。なお、この構成は従来技術で容易に
実現できるので説明は省略する。以上に述べた如く、本
実施例によれば、多種入力ソースの信号を多種ディスプ
レイに表示するための画像フォーマット変換信号処理装
置を、低コストで実現できる。なお、以上の実施例で
は、フレーム周波数が５０Ｈｚ−６０Ｈｚ変換の場合を
例に説明した。しかし、これに限らず、フレーム周波数
２４Ｈｚのフィルム画像−フレーム周波数６０Ｈｚのフ
レーム数変換や、テレビジョン信号−パソコン画像信号
のフレーム数変換など、各種のフレーム数変換に本実施
例が適用できることは明らかである。

【００８７】これらの実施例においては、動き補償予測
符号化の動きベクトル情報を用いることで、極めて少な
い演算量で動き補正のフレーム数変換に必要な画素単位
の動きベクトルを生成できる。このため、動き補正のフ
レーム数変換の動きベクトルの生成、およびフレーム数
変換装置、さらには画像フォーマット変換装置の低コス
ト化、高画質化に顕著な効果が得られる。

【００８８】

【発明の効果】本発明によれば、高画質かつ低コストで
動き補正のフレーム数変換を行いうる動きベクトルの生
成方法および装置を得ることができる。

【図面の簡単な説明】

【図１】本発明に係る第１の実施例を示すブロック構成
図である。

【図２】動きベクトル生成部の一構成例を示す図であ
る。

【図３】動きベクトル変換部の一構成例を示す図であ
る。

【図４】ブロック単位動きベクトル生成部の一構成例を
示す図である。

【図５】画素単位動きベクトル生成部の第１の構成例を
示す図である。

【図６】画素単位動きベクトル生成処理のフローチャー
トを示す図である。

【図７】画素単位動きベクトル生成の動作概略を示す図
である。

【図８】画素単位動きベクトル生成部の第２の構成例を
示す図である。

【図９】（ａ）、（ｂ）はそれぞれ画素単位動きベクト
ル生成方法の概略を示す図である。

【図１０】画素単位動きベクトル生成部の第３の構成例
を示す図である。

【図１１】画素単位動きベクトル生成方法の概略を示す
図である。

【図１２】画素単位動きベクトル生成部の第４の構成例
を示す図である。

【図１３】（ａ）、（ｂ）はそれぞれ画素単位動きベク
トル生成方法の概略を示す図である。

【図１４】動き補正フレーム数変換部の第１の構成例を
示す図である。

【図１５】動き補正フレーム数変換部の第２の構成例を
示す図である。

【図１６】（ａ）乃至（ｃ）はそれぞれフレーム順制御
部と動き補正信号生成部の動作概略を示す図である。

【図１７】本発明に係る第２の実施例を示すブロック構
成図である。

【図１８】シーンチェンジ検出部の一構成例を示す図で
ある。

【図１９】本発明に係る第３の実施例を示すブロック構
成図である。

【図２０】本発明に係る第４の実施例を示すブロック構
成図である。

【図２１】ＭＰＥＧ符号化におけるＭＣフレーム間予測
の概略を示す図である。

【図２２】動き補正フレーム数変換用動きベクトルへの
変換動作の概略を示す図である。

【符号の説明】

１ ＭＰＥＧデコーダ部 ２ ＩＰ変換部 ３ １フレーム遅延部 ４ 動きベクトル生成部 ５ 動き補正フレーム数変換部 ６ 動きベクトル変換部 ７ ブロック単位動きベクトル生成部 ８ 画素単位動きベクトル生成部 ９ 動き検出部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 杉山 雅人 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 (72)発明者 中間 泰平 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 (72)発明者 兼八 孝至 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像情報メディア事業部 内 (72)発明者 的野 孝明 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像情報メディア事業部 内 (72)発明者 高田 春樹 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像情報メディア事業部 内 (72)発明者 栗田 俊之 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像情報メディア事業部 内

Claims (31)

【特許請求の範囲】
1. 【請求項１】 動きベクトル情報に基づいて変換動きベ
   クトルを生成する工程と、現フレームの信号と前フレー
   ムの信号から画像の動きを検出する工程と、前記変換動
   きベクトル及び画像の動きを用いてブロック単位動きベ
   クトルを生成する工程と、前記ブロック単位動きベクト
   ル及び画像の動きを用いて画素単位動きベクトルを生成
   する工程とを備えたことを特徴とする動きベクトルの生
   成方法。
2. 【請求項２】 前記ブロック単位動きベクトルを生成す
   る工程は、前記動きを検出する工程により動きを検出し
   ないブロックにはブロック単位動きベクトルとして０を
   割り当て、動きを検出したブロックには前記変換動きベ
   クトルのうち所定のブロック単位の動き補正誤差を有す
   るものをブロック単位動きベクトルとして割り当てるこ
   とを特徴とする請求項１記載の動きベクトルの生成方
   法。
3. 【請求項３】 前記所定のブロック単位の動き補正誤差
   を有するものとは、前記変換動きベクトルのうち最少の
   動き補正誤差を有するものであることを特徴とする請求
   項２記載の動きベクトルの生成方法。
4. 【請求項４】 前記画素単位動きベクトルを生成する工
   程は、前記動きを検出する工程により動きを検出しない
   画素には画素単位動きベクトルとして０を割り当て、動
   きを検出した画素には前記ブロック単位の動き補正誤差
   が閾値未満のときはブロック内の画素に前記ブロック単
   位動きベクトルを割り当て、閾値以上のときは現ブロッ
   クと隣接ブロックの動きベクトルを用いて前記ブロック
   を縮小したミニブロック毎に所定の動き補正誤差を有す
   るものを画素単位動きベクトルとして割り当てることを
   特徴とする請求項１記載の動きベクトルの生成方法。
5. 【請求項５】 前記ミニブロック毎の所定の動き補正誤
   差を有するものとは、ミニブロックを内包する算出領域
   のうち最少の動き補正誤差を有するものであることを特
   徴とする請求項４記載の動きベクトルの生成方法。
6. 【請求項６】 動きベクトル情報にもとづいて動きベク
   トルを生成する動きベクトル変換部と、現フレームの信
   号と前フレームの信号から画像の動きを検出する動き検
   出部と、前記動きベクトル変換部及び前記動き検出部の
   出力を用いてブロック単位の動きベクトルを生成するブ
   ロック単位動きベクトル生成部と、前記ブロック単位動
   きベクトル生成部及び前記動き検出部の出力を用いて画
   素単位の動きベクトルを生成する画素単位動きベクトル
   生成部とを備えたことを特徴とする動きベクトルの生成
   装置。
7. 【請求項７】 前記動きベクトル変換部は、ＭＰＥＧ符
   号化におけるＰピクチャの動き補償予測符号化に使用す
   る第１の動きベクトル、Ｂピクチャの動き補償予測符号
   化に使用する第２の動きベクトル、または第１及び第２
   の動きベクトルに係る動きベクトル情報をもとに、動き
   ベクトル生成の信号処理を行うことを特徴とする請求項
   ６記載の動きベクトルの生成装置。
8. 【請求項８】 前記ブロック単位動きベクトル生成部
   は、前記動きベクトル変換部より得られる現ブロックの
   動きベクトルおよび現ブロックの直前のブロックの動き
   ベクトルに基づいて、ブロック単位の動き補正誤差が最
   少となる動きベクトルを選択する信号処理を行うことを
   特徴とする請求項６記載の動きベクトルの生成装置。
9. 【請求項９】 前記画素単位動きベクトル生成部は、ブ
   ロックサイズを縮小したミニブロックに対し、前記ミニ
   ブロックを内包する領域で算出した動き補正誤差が最少
   の動きベクトルを前記ミニブロック内の動きを検出した
   画素に割り当てる信号処理を行うことを特徴とする請求
   項６記載の動きベクトルの生成装置。
10. 【請求項１０】 前記動き補正誤差の算出を画像信号の
    輝度信号成分を用いて行うことを特徴とする請求項９記
    載の動きベクトルの生成装置。
11. 【請求項１１】 前記動き補正誤差の算出を画像信号の
    輝度信号成分と色成分とを用いて行うことを特徴とする
    請求項９記載の動きベクトルの生成装置。
12. 【請求項１２】 前記画素単位動きベクトル生成部は、
    現ブロックの動きベクトルによるブロック単位の動き補
    正誤差の値が閾値以上の場合は、ブロックサイズを縮小
    したサブブロック毎に前記現ブロックの動きベクトルを
    参照ベクトルとしたブロックマッチング処理でサブブロ
    ックの動きベクトルを再探索し、前記サブブロックの動
    きベクトルと隣接ブロックのブロック単位動きベクトル
    とを参照ベクトルとし、ミニブロックを単位に算出した
    動き補正誤差が最少の参照動きベクトルを画素単位動き
    ベクトルとしてミニブロック内の動きを検出した画素に
    割り当てることを特徴とする請求項６記載の動きベクト
    ルの生成装置。
13. 【請求項１３】 前記画素単位動きベクトル生成部は、
    現ブロックの動きベクトルによるブロック単位の動き補
    正誤差の値が閾値以上の場合は、ブロックサイズを縮小
    した第１サブブロック毎に前記現ブロックの動きベクト
    ルを参照ベクトルとしたブロックマッチング処理で第１
    サブブロックの動きベクトルを再探索し、次に、第１サ
    ブブロックのサイズを縮小した第２サブブロック毎に、
    第１サブブロックの動きベクトルを参照ベクトルとした
    ブロックマッチング処理で第２サブブロックの動きベク
    トルを再探索し、以下、ブロックサイズがミニブロック
    のサイズまでこの動作を逐次繰り返すことにより画素単
    位動きベクトルを生成することを特徴とする請求項６記
    載の動きベクトルの生成装置。
14. 【請求項１４】 前記画素単位動きベクトル生成部は、
    現ブロックの動きベクトルによるブロック単位の動き補
    正誤差の値が閾値以上の場合は、ブロックサイズをミニ
    ブロックのサイズまで段階的に縮小した第１サブブロッ
    ク、第２サブブロック、第ｎサブブロックに対して、前
    記現ブロックの動きベクトルを参照ベクトルとしたブロ
    ックマッチング処理で第１、第２、第ｎ動きベクトルを
    再探索し、ミニブロックを単位に算出した前記第１、第
    ２、第ｎ動きベクトルの内で動き補正誤差が最少なもの
    を画素単位動きベクトルとして割り当てることを特徴と
    する請求項６記載の動きベクトルの生成装置。
15. 【請求項１５】 動きベクトル情報から得られた動きベ
    クトルとフレーム差分信号から得られた画像の動きとを
    用いて生成したブロック単位動きベクトルに基づいて画
    素単位動きベクトルを生成する工程と、前記画素単位動
    きベクトルに基づいて求めた補正補間動きベクトルを用
    いて内挿フレーム信号を生成することにより画像信号の
    フレーム数を変換する工程とを備えたことを特徴とする
    フレーム数変換方法。
16. 【請求項１６】 前記画素単位動きベクトルを生成する
    工程は、前記画像の動きを検出しないブロックにはブロ
    ック単位動きベクトルとして０を割り当て、動きを検出
    したブロックには所定のブロック単位の動き補正誤差を
    有するものをブロック単位動きベクトルとして割り当て
    ることを特徴とする請求項１５記載のフレーム数変換方
    法。
17. 【請求項１７】 前記所定のブロック単位の動き補正誤
    差を有するものとは、前記変換動きベクトルのうち最少
    の動き補正誤差を有するものであることを特徴とする請
    求項１６記載のフレーム数変換方法。
18. 【請求項１８】 前記画素単位動きベクトルを生成する
    工程は、前記画像の動きを検出しない画素には画素単位
    動きベクトルとして０を割り当て、動きを検出した画素
    には前記ブロック単位の動き補正誤差が閾値未満のとき
    はブロック内の画素に前記ブロック単位動きベクトルを
    割り当て、閾値以上のときは現ブロックと隣接ブロック
    の動きベクトルを用いて前記ブロックを縮小したミニブ
    ロック毎に所定の動き補正誤差を有するものを画素単位
    動きベクトルとして割り当てることを特徴とする請求項
    １５記載のフレーム数変換方法。
19. 【請求項１９】 前記ミニブロック毎の所定の動き補正
    誤差を有するものとは、ミニブロックを内包する算出領
    域のうち最少の動き補正誤差を有するものであることを
    特徴とする請求項１８記載のフレーム数変換方法。
20. 【請求項２０】 動きベクトル情報にもとづいて動きベ
    クトルを生成する動きベクトル変換部、現フレームの信
    号と前フレームの信号から画像の動きを検出する動き検
    出部、前記動きベクトル変換部及び前記動き検出部の出
    力を用いてブロック単位の動きベクトルを生成するブロ
    ック単位動きベクトル生成部および前記ブロック単位動
    きベクトル生成部及び前記動き検出部の出力を用いて画
    素単位の動きベクトルを生成する画素単位動きベクトル
    生成部を有する動きベクトル生成部と、前記画素単位動
    きベクトルに基づいて求めた補正補間動きベクトルを用
    いて内挿フレーム信号を生成することにより画像信号の
    フレーム数を変換する動き補正フレーム数変換部とを備
    えたことを特徴とするフレーム数変換装置。
21. 【請求項２１】 前記動きベクトル変換部は、ＭＰＥＧ
    符号化におけるＰピクチャの動き補償予測符号化に使用
    する第１の動きベクトル、Ｂピクチャの動き補償予測符
    号化に使用する第２の動きベクトル、または第１及び第
    ２の動きベクトルに係る動きベクトル情報をもとに、動
    きベクトル生成の信号処理を行うことを特徴とする請求
    項２０記載のフレーム数変換装置。
22. 【請求項２２】 前記ブロック単位動きベクトル生成部
    は、前記動きベクトル変換部より得られる現ブロックの
    動きベクトルおよび現ブロックの直前のブロックの動き
    ベクトルに基づいて、ブロック単位の動き補正誤差が最
    少となる動きベクトルを選択する信号処理を行うことを
    特徴とする請求項２０記載のフレーム数変換装置。
23. 【請求項２３】 前記画素単位動きベクトル生成部は、
    ブロックサイズを縮小したミニブロックに対し、前記ミ
    ニブロックを内包する領域で算出した動き補正誤差が最
    少の動きベクトルを前記ミニブロック内の動きを検出し
    た画素に割り当てる信号処理を行うことを特徴とする請
    求項２０記載の動きベクトル生成装置。
24. 【請求項２４】 前記動き補正誤差の算出を画像信号の
    輝度信号成分を用いて行うことを特徴とする請求項２３
    記載のフレーム数変換装置。
25. 【請求項２５】 前記動き補正誤差の算出を画像信号の
    輝度信号成分と色成分とを用いて行うことを特徴とする
    請求項２３記載のフレーム数変換装置。
26. 【請求項２６】 前記画素単位動きベクトル生成部は、
    現ブロックの動きベクトルによるブロック単位の動き補
    正誤差の値が閾値以上の場合は、ブロックサイズを縮小
    したサブブロック毎に前記現ブロックの動きベクトルを
    参照ベクトルとしたブロックマッチング処理でサブブロ
    ックの動きベクトルを再探索し、前記サブブロックの動
    きベクトルと隣接ブロックのブロック単位動きベクトル
    とを参照ベクトルとし、ミニブロックを単位に算出した
    動き補正誤差が最少な上記参照動きベクトルを画素単位
    動きベクトルとしてミニブロック内の動きを検出した画
    素に割り当てることを特徴とする請求項２０記載のフレ
    ーム数変換装置。
27. 【請求項２７】 前記画素単位動きベクトル生成部は、
    現ブロックの動きベクトルによるブロック単位の動き補
    正誤差の値が閾値以上の場合は、ブロックサイズを縮小
    した第１サブブロック毎に前記現ブロックの動きベクト
    ルを参照ベクトルとしたブロックマッチング処理で第１
    サブブロックの動きベクトルを再探索し、次に、第１サ
    ブブロックのサイズを縮小した第２サブブロック毎に、
    第１サブブロックの動きベクトルを参照ベクトルとした
    ブロックマッチング処理で第２サブブロックの動きベク
    トルを再探索し、以下、ブロックサイズがミニブロック
    のサイズまでこの動作を逐次繰り返すことにより画素単
    位動きベクトルを生成することを特徴とする請求項２０
    記載のフレーム数変換装置。
28. 【請求項２８】 前記画素単位動きベクトル生成部は、
    現ブロックの動きベクトルによるブロック単位の動き補
    正誤差の値が閾値以上の場合は、ブロックサイズをミニ
    ブロックのサイズまで段階的に縮小した第１サブブロッ
    ク、第２サブブロック、第ｎサブブロックに対して、前
    記現ブロックの動きベクトルを参照ベクトルとしたブロ
    ックマッチング処理で第１、第２、第ｎ動きベクトルを
    再探索し、ミニブロックを単位に算出した前記第１、第
    ２、第ｎ動きベクトルの内で動き補正誤差が最少なもの
    を画素単位動きベクトルとして割り当てることを特徴と
    する請求項２０記載のフレーム数変換装置。
29. 【請求項２９】 前記動き補正フレーム数変換部は、特
    殊な動きを検出する動き速度検出部を有し、前記動き速
    度検出部の出力を用いて画像信号のフレーム数を変換す
    ることを特徴とする請求項２０記載のフレーム数変換装
    置。
30. 【請求項３０】 シーンチェンジを検出するシーンチェ
    ンジ検出器を備え、前記シーンチェンジ検出器によりシ
    ーンチェンジを検出したときには、前記動き補正フレー
    ム数変換部は現フレーム又は前フレームの信号により内
    挿フレーム信号を生成することを特徴とする請求項２０
    又は２９記載のフレーム数変換装置。
31. 【請求項３１】 走査線数又は画像サイズの変換を行う
    スケーリング処理部を前記動き補正フレーム数変換部の
    出力側に備えたことを特徴とする請求項２０、２９又は
    ３０記載のフレーム数変換装置。