JP4119092B2 - 画像信号のフレーム数変換方法および装置 - Google Patents

Description

技術分野
本発明は画像信号のフレーム数変換方法および装置に係り、特に動き補正の信号処理によって画像信号のフレーム数を変換するのに好適な画像信号のフレーム数変換方法および装置に関する。
背景技術
近年、マルチメディア化の進展に伴い、テレビジョン受像機においても、各種方式のテレビジョン信号やＰＣ画像信号等、画像フォーマットの異なる種々の信号を表示する機能が必要となる。また、高画質化や平面ディスプレイ対応の機能として、順次走査による画像表示機能が必要になる。これら機能の実現には、各種入力信号を画像表示部のフォーマットに変換するためのフレーム数変換や順次走査化の信号処理が必要になる。
フレーム数変換に関しては、コマ繰り返しやコマ落としなどの単純な信号処理の方法も有るが、この方法では動き画像で滑らかさが損なわれるいわゆるモーションジャダー妨害などの画質劣化が発生する。
この妨害を回避する方法として、動き補正型のフレーム数変換の方法が知られている。この方法は、動きベクトルで前後のフレームの画像の位置を移動させて内挿フレームの信号を生成するものである。この信号処理の方法や構成に関して、多くの提案がなされている。例えば、特開平７−１７０４９６号公報には、動きベクトルを効率よく探索する技術が開示されている。また、特開平７−３３６６５０号公報には、動き補正に固有な動画エッジ周縁部での解像度低下などの劣化を回避する技術が開示されている。
しかしながら、これらの従来技術では、前者においては動き検出の精度に課題を有し、後者においては信号処理の複雑さに課題を有しており、これらが高画質・低コストのフレーム数変換装置の実現に大きな問題となっている。
従って本発明の目的は、画像信号のフレーム数変換の信号処理を高画質・低コストで実現し得る画像信号の動き補正フレーム数変換方法および装置を提供することにある。
発明の開示
本発明に係るフレーム数変換方法は、飛越し走査の画像信号系列で現フレームと前フレームの画像の動きを検出してブロック単位動きベクトルを探索する工程と、前記ブロック単位動きベクトルによる動き補正誤差が閾値未満の場合はブロック単位動きベクトルの修正を行わず、閾値以上の場合は当該ブロックをミニブロックに分割し、各ミニブロック毎に隣接ブロックの動きベクトルのうちで動き補正誤差が最少なものをミニブロックの動きベクトルとすることによりブロック単位動きベクトルの修正を行う工程と、修正動きベクトルによる現フレームと前フレームの動き補正信号のミニブロック単位の誤差成分が最少の動きベクトルを画素単位動きベクトルとして生成する工程と、前記画素単位動きベクトルによる現フレームと前フレームの動き補正信号の誤差成分、および誤差評価関数の値に応じて、現フレーム、前フレーム、現フレームと前記画素単位動きベクトルから生成されたベクトルとから生成された第１のフレーム、前フレームと前記画素単位動きベクトルから生成されたベクトルとから生成された第２のフレーム、前記第１のフレームと前記第２のフレームとの加算平均により生成された第３のフレーム、現フレームと前フレームとの時間方向の直線補間により生成された第４のフレーム、のいずれかの動き補正内挿フレーム信号を生成する工程と、を備え、前記ブロック単位動きベクトルを探索する工程は、入力画像信号の動きベクトル情報のＰピクチャおよびＢピクチャの動きベクトルを１フレーム間の動きベクトルに変換して出力するベクトル変換工程を有し、動画ブロックに対しては、前記ベクトル変換工程により出力される前記１フレーム間の動きベクトルをもとにブロック単位動きベクトルを探索するものである。
また本発明に係るフレーム数変換装置は、飛越し走査の画像信号系列で現フレームと前フレームの画像の動きを検出してブロック単位動きベクトルを探索するブロック単位動きベクトル探索部と、前記ブロック単位動きベクトルによる動き補正誤差が閾値未満の場合はブロック単位動きベクトルの修正を行わず、閾値以上の場合は当該ブロックをミニブロックに分割し、各ミニブロック毎に隣接ブロックの動きベクトルのうちで動き補正誤差が 最少なものをミニブロックの動きベクトルとすることによりブロック単位動きベクトルの修正を行う動きベクトル修正部と、修正動きベクトルによる現フレームと前フレームの動き補正信号のミニブロック単位の誤差成分が最少の動きベクトルを画素単位動きベクトルとして生成する画素単位動きベクトル生成部と、前記画素単位動きベクトルによる現フレームと前フレームの動き補正信号の誤差成分、および誤差評価関数の値に応じて、現フレーム、前フレーム、現フレームと前記画素単位動きベクトルから生成されたベクトルとから生成された第１のフレーム、前フレームと前記画素単位動きベクトルから生成されたベクトルとから生成された第２のフレーム、前記第１のフレームと前記第２のフレームとの加算平均により生成された第３のフレーム、現フレームと前フレームとの時間方向の直線補間により生成された第４のフレーム、のいずれかの動き補正内挿フレーム信号を生成する動き補正内挿フレーム信号生成部と、を備え、前記ブロック単位動きベクトル探索部は、入力画像信号の動きベクトル情報のＰピクチャおよびＢピクチャの動きベクトルを１フレーム間の動きベクトルに変換して出力するベクトル変換部を有し、動画ブロックに対しては、前記ベクトル変換部から出力される前記１フレーム間の動きベクトルをもとにブロック単位動きベクトルを探索するものである。
本発明においては、具体的には、次のような技術的手段を用いる。すなわち、動き補正のフレーム数変換に必要な動きベクトルの探索では、演算量の大幅な削減を図るため、以下のブロック単位動きベクトル探索、動きベクトル修正、画素単位動きベクトル生成の３段階の信号処理を採用する。
はじめに、ブロック単位動きベクトル探索では、フレーム差分信号で動きを検出しないブロック（以降静止ブロックと略称）と、動きを検出したブロック（以降動画ブロックと略称）とに分別する前処理を行い、動画ブロックのみ以下に示す３種類のいずれかで探索処理を行う。
（１）参照ベクトル探索処理：現ブロックに隣接するブロックの動きベクトルを参照ベクトルとし、この予測誤差成分が最小かつ閾値未満の場合は、この動きベクトルの近傍をブロックマッチング処理してブロック単位の動きベクトルを検出する。
（２）動きベクトル分布適応探索処理：参照ベクトルの予測誤差成分が閾値以上の場合は、前フレームでの動きベクトルの発生頻度の形態に応じて定める探索モード（モードによって探索領域や代表動きベクトルの配列を異にする）に従って、ブロックマッチング処理してブロック単位の動きベクトルを検出する。
（３）変換ベクトル探索処理：画像符号化で使用する動きベクトル情報よりベクトル変換処理で生成した１フレームの動きベクトルを参照動きベクトルとし、このうちの予測誤差成分が最少なものをブロック単位の動きベクトルとして検出する。
次に、動きベクトル修正では、検出したブロック単位動きベクトルの予測誤差成分が閾値以上のブロックに対し、ブロックを水平、垂直に細分化したミニブロック毎に、現ブロックおよび隣接ブロックの動きベクトルのうちで予測誤差成分が最少なものをミニブロックの動きベクトルとするミニブロック分割探索の修正を行う。
また、画素単位動きベクトルの生成では、現ブロックとこれに隣接するブロックの動きベクトルのうちで、動き補正処理した現フレームと前フレームの信号の絶対値差分成分が最小なものを画素の動きベクトルとして生成する。
以上に述べた本発明の動きベクトル探索によれば、全探索に較べて２桁〜３桁程度削減した演算量で、高精度な動きベクトルの検出が可能になる。
次に、動き補正（ＭＣ）内挿フレーム信号の生成では、複数種類の補間信号のうちで動き補正誤差が最小なものを選択するメディアンフィルタによって、動き補正の内挿フレームの信号を生成する。
すなわち、前フレームの画像の位置を動き補正ベクトルで移動させて生成する動き補正前フレーム信号と、現フレームの画像の位置を動き補正ベクトルで移動させて生成する動き補正現フレーム信号との差分信号成分を算出する。これが閾値未満の場合は、上記の動き補正前フレーム信号、現フレーム信号の平均値で生成する。一方、閾値以上の時は、動き補正前フレーム信号、動き補正現フレーム信号、前フレーム信号、現フレーム信号、および前、現フレーム信号との直線補間信号のうち、誤差評価関数が最小なものを選択出力する。
また、動きベクトル探索で検出した動きベクトルの発生頻度の形態を計測し、これでモーションジャダー妨害が目立ちやすい速度の画像を含むフレームを検出し、この検出したフレームに限定して動き補正内挿フレームの信号を生成する動き速度適応動き補正処理を行う。
以上に述べた本発明のＭＣ内挿フレーム信号の生成によれば、動き補正処理に固有な画質劣化（画像の一部が不適切な画像に置き換えられる孤立点的な劣化や動画のエッジ部がフリッカしたり動きが不自然に見える劣化）を大幅に抑圧でき、高画質化が可能になる。
更に、本発明においては、シーンチェンジの領域では、動きベクトルの探索処理と動き補正内挿フレーム信号の生成の処理を中止する。この結果、シーンチェンジ領域で発生する動きベクトルの探索での膨大な演算量の発生が抑圧できる。
以上に述べた本発明の技術的手段により、高画質・低コストな画像信号の動き補正フレーム数変換方法および装置を達成することができる。
さらに本発明に係る情報家電機器は、飛越し走査の画像信号系列を入力する入力部と、前記飛越し走査の画像信号系列で現フレームと前フレームの画像の動きを検出してブロック単位動きベクトルを探索し、前記ブロック単位動きベクトルによる動き補正誤差が閾値未満の場合はブロック単位動きベクトルの修正を行わず、閾値以上の場合は当該ブロックをミニブロックに分割し、各ミニブロック毎に隣接ブロックの動きベクトルのうちで動き補正誤差が最少なものをミニブロックの動きベクトルとすることによりブロック単位動きベクトルの修正を行い、修正動きベクトルによる現フレームと前フレームの動き補正信号のミニブロック単位の誤差成分が最少の動きベクトルを画素単位動きベクトルとして生成し、前記画素単位動きベクトルによる現フレームと前フレームの動き補正信号の誤差成分、および誤差評価関数の値に応じて、現フレーム、前フレーム、現フレームと前記画素単位動きベクトルから生成されたベクトルとから生成された第１のフレーム、前フレームと前記画素単位動きベクトルから生成されたベクトルとから生成された第２のフレーム、前記第１のフレームと前記第２のフレームとの加算平均により生成された第３のフレーム、現フレームと前フレームとの時間方向の直線補間により生成された第４のフレーム、のいずれかの動き補正内挿フレーム信号を生成するものであり、前記ブロック単位動きベクトルの探索では、入力画像信号の動きベクトル情報のＰピクチャおよびＢピクチャの動きベクトルを１フレーム間の動きベクトルに変換して出力し、動画ブロックに対しては、前記出力される前記１フレーム間の動きベクトルをもとにブロック単位動きベクトルを探索する画像信号のフレーム数変換部と、前記画像信号のフレーム数変換部の出力を表示する表示部とを備えて構成される。
これにより、マルチソース対応の高画質なテレビジョン受像機、ＤＶＤプレーヤ、ＰＣ機器、ＰＡＤ端末などの情報家電機器を低コストで実現できる。
発明を実施するための最良の形態
本発明の第１の実施例について、第１図〜第１６図を用いて説明する。
第１図は、第１の実施例のブロック構成図である。図のように、本実施例に係るフレーム数変換装置は、ＩＰ変換部１と、１フレーム遅延部２と、動き検出部３と、ブロック単位動きベクトル探索部４と、動きベクトル修正部５と、画素単位動きベクトル生成部６と、ＭＣ内挿フレーム信号生成部７と、制御部８とから構成される。
飛び越し走査の入力画像信号Ｓ１（輝度信号成分と色差信号成分）は、ＩＰ変換部１に入力し、飛び越し〜順次の走査変換の信号処理を行い、順次走査の信号系列Ｓ２（輝度信号成分と色差信号成分）に変換する。
１フレーム遅延部２は、画像信号を１フレームの期間遅延させるもので、この出力に前フレームの信号系列Ｓ３を得る。
動き検出部３は、現フレームの信号系列Ｓ２と、前フレームの信号系列Ｓ３の輝度信号成分の減算処理で１フレーム間の差分信号を抽出し、これを２値量子化して動き検出信号ＭＤ１、ＭＤ２を制御部８に出力する。
ブロック単位動きベクトル探索部４は、ブロック単位（例えば１６画素×１６ラインあるいは８画素×８ライン）の動きベクトルを検出する。すなわち、制御部８の制御信号ＣＴ１のうちの動き検出信号ＭＤ１が０のブロックは静止ブロックと判定し、ブロック単位動きベクトルＢＭＶに０を出力する。一方、ＭＤ１が１のブロックは動画ブロックと判定し、信号Ｓ２とＳ３の輝度信号成分、あるいは輝度信号成分と色差信号成分に対して、前述した参照ベクトル探索処理あるいは動きベクトル分布適応探索処理を行い、ブロック単位動きベクトルＢＭＶを検出する。
動きベクトル修正部５は、輝度信号成分、あるいは輝度信号成分と色差信号成分の予測誤差成分が閾値以上のブロックに対し、ブロックを水平、垂直に細分化したミニブロック（例えば２画素×２ライン）毎に、現ブロックおよび隣接ブロックの動きベクトルのうちで予測誤差成分が最少なものをミニブロックの動きベクトルとするミニブロック分割探索の修正を行い、修正動きベクトルＢＶを生成する。
画素単位動きベクトル生成部６は、現ブロックとこれに隣接するブロックの動きベクトルのうちで、動き補正処理した現フレームと前フレームの信号の輝度信号成分あるいは輝度信号成分と色差信号成分の絶対値差分成分が最小なものを画素の動きベクトルＰＶとして生成する。
動き補正（ＭＣ）内挿フレーム信号生成部７は、メディアンフィルタ構成で、画素単位動きベクトルＰＶをもとに生成する複数種類の補間信号のうちで動き補正誤差が最小なものを選択出力し、動き補正フレーム数変換処理でフレーム周波数をアップした順次走査の画像信号系列Ｓ４（輝度信号成分と色差信号成分）を得る。
制御部８は、以上の動作に必要な制御信号ＣＴ１〜ＣＴ４を生成し、各部に出力する。
以上で全体ブロック構成図の説明を終え、以下、本実施例における主要ブロック部の構成について詳述する。
第２図は、動き検出部３の一構成例を示す図である。図において、減算部９は、現フレームの信号系列Ｓ２と前フレームの信号系列Ｓ３の輝度信号成分の減算演算を行い、１フレーム間の差分信号成分ＦＤを抽出する。
２値量子化部１０−１は、差分信号成分ＦＤの信号レベルが設定値±Ｔｈａ未満の場合は静止と判定して０、±Ｔｈａを越える場合は動きと判定して１の２値信号を出力する。静動ブロック判定部１１は、ブロック単位で２値信号の１の有無を検出し、例えば、全て０の時は静止ブロックと判定して動き検出信号ＭＤ１に０、それ以外の時は動画ブロックと判定して１を出力する。
２値量子化部１０−２は、差分信号成分ＦＤの信号レベルが０の場合は静止と判定して０、それ以外は動画と判定して１の動き検出信号ＭＤ２を出力する。
次に、ブロック単位動きベクトル探索部の構成例について第３図〜第７図を用いて説明する。
第３図は、ブロック単位動きベクトル探索部４の一構成例を示す図である。図のように、ブロック単位動きベクトル探索部４は、代表ベクトル生成部１２と、ブロックマッチング探索部１３と、発生頻度計測部１４とを有する。
第４図は、その信号処理フローチャートである。第４図の第１ステップでは、動き検出信号ＭＤ１が０の静止ブロックは、動きベクトル探索の動作は行わず、ブロック単位動きベクトルＢＭＶに０を出力する。そして、動き検出信号ＭＤ１が１の動画ブロックのみ、以下に述べる動きベクトル探索の動作を行う。
まず、動画ブロックの第２ステップの信号処理は、第３図の代表ベクトル生成部１２で行う。ここでは、予め設定した参照ブロックの動きベクトルＢＲＶのうちで予測誤差成分が最小なものを代表動きベクトルＢＲＦとして出力する。なお、参照ブロックとしては、第５図に示すように、既に動きベクトルの探索が終了している現ブロックの直上ブロックＢｕ、およびその前後のブロックＢｕｌ，Ｂｕｒを使用し、その動きベクトルＶｕ，Ｖｕｌ，Ｖｕｒのうちの予測誤差が最小なものが代表動きベクトルＢＲＦとなる。
次に、動画ブロックの第３ステップの信号処理は、第３図のブロックマッチング探索部１３で行う。代表動きベクトルＢＲＦの予測誤差成分が閾値（例えば、８レベル／画素）未満の場合は、参照ベクトル探索処理を行う。すなわち、代表動きベクトルＢＲＦを起点に、Ｘ成分が±ＤＸ（例えばＤＸ＝２）の範囲、ｙ成分が±ＤＹ（例えばＤＹ＝２）の範囲の動きベクトルについてブロックマッチング処理で予測誤差を算出し、これが最少となるものをブロック単位動きベクトルＢＭＶに出力する。
一方、閾値以上の場合は、探索モード情報ＭＯＤで定まる探索領域を全探索、あるいは代表点探索の動きベクトル分布適応探索処理を行い、ブロック単位動きベクトルＢＭＶを検出する。
第６図は、動きベクトル発生頻度と探索モード設定の一例を示す図である。第６図（ａ）は動きベクトル発生頻度を計測する領域を示し、図の横軸は動きベクトルのｘ方向成分の絶対値ａｂｓ（ｖｘ）、縦軸はｙ方向成分の絶対値ａｂｓ（ｖｙ）である。そして、領域Ａでは、０＜ａｂｓ（ｖｘ）＜＝４で０＜ａｂｓ（ｖｙ）＜＝２の範囲、領域Ｂでは０＜ａｂｓ（ｖｘ）＜＝８で０＜ａｂｓ（ｖｙ）＜＝４のうち領域Ａを除くの範囲、領域Ｃでは０＜ａｂｓ（ｖｘ）＜＝１２で０＜ａｂｓ（ｖｙ）＜＝６のうち領域ＡとＢを除くの範囲、領域Ｄでは０＜ａｂｓ（ｖｘ）＜＝１６で０＜ａｂｓ（ｖｙ）＜＝８のうち領域ＡとＢとＣを除くの範囲、領域Ｅではａｂｓ（ｖｘ）＞１６又はａｂｓ（ｖｙ）＞８の範囲での動きベクトルの発生個数をそれぞれ１フレーム期間にわたり計測し、これをもとにその発生頻度を算出する。
第６図（ｂ）は、探索モードの設定条件および探索処理の特性例を示す。
ＭＯＤ１の探索モードは、領域Ａの発頻頻度が１００％の場合で、水平±４画素、垂直±２ラインの探索範囲を全探索する。
ＭＯＤ２の探索モードは、領域Ａの発頻頻度の合計が９５％以上の場合で、水平±８画素、垂直±４ラインの探索範囲を全探索する。
ＭＯＤ３の探索モードは、領域ＡとＢの発頻頻度の合計が９５％以上の場合で、水平±１２画素、垂直±６ラインの探索領域について密領域からなる代表点配列の動きベクトルをもとに探索する。
ＭＯＤ４の探索モードは、領域ＡとＢとＣの発頻頻度の合計が９５％以上の場合で、水平±１６画素、垂直±８ラインの探索領域について密領域からなる代表点配列の動きベクトルをもとに探索する。
ＭＯＤ５の探索モードは、領域ＡとＢとＣとＤの発頻頻度が９５％以上の場合で、水平±２４画素、垂直±１２ラインの探索領域について密領域と粗領域からなる２重代表点配列の動きベクトルをもとに探索する。
第７図は、代表点動きベクトルの配列例である。原点近傍は密領域（例えば、代表点間隔が水平方向２画素、垂直方向２ライン）、周縁部では粗領域（例えば、代表点間隔が水平方向４画素、垂直方向４ライン）で代表点の動きベクトルを配列し、探索モードに応じて密領域のみからなる代表点配列と、密領域と粗領域からなる２重代表点配列とを使い分け、信号処理での演算量の削減を図る。すなわち、まず、代表点配列あるいは２重代表点配列の動きベクトルのうちで、予測誤差成分が最小なものを検出し、この検出した動きベクトルを起点にｘ成分が±ＤＸ（例えばＤＸ＝２）の範囲、ｙ成分が±ＤＹ（例えばＤＹ＝２）の範囲の動きベクトルについてブロックマッチング処理で予測誤差を算出し、これが最少となるものをブロック単位動きベクトルＢＭＶとして検出する。
なお、探索領域に関しては、モーションジャダー妨害が検知される範囲、すなわち、動きの速度が１秒／画面幅、１秒／画面高程度までの範囲をカバーすればよい。従って、第７図に示す水平方向±ＭＸ画素（例えばＭＸ＝２４）、垂直方向±ＭＹライン（例えばＭＹ＝１２）の領域に限定できる。また、テレビ画像はアスペクト比が４：３あるいは１６：９の横長画像であるため、水平方向の探索領域を垂直領域の探索領域よりも広く設定することが適している。
第３図に戻り、発生頻度計測部１４は、計測期間情報ＦＭで１フレーム期間での動きベクトルの発生頻度を計測し、上述したように、発生頻度の分布形態に応じた探索モード情報ＭＯＤを設定する。
以上に述べた如く、ブロック単位動きベクトルの探索は、動画ブロックに限定でき、かつ、参照ベクトル探索処理あるいは動きベクトル分布適応探索処理を行うため、全探索に較べて、探索に要する信号処理の演算量を１桁〜２桁程度低減できる。
次に、動きベクトル修正部について第８図〜第１０図を用いて説明する。
第８図は、動きベクトル修正部５の一構成例を示す図である。図において、補正誤差算出部１５は、第９図に示す信号処理フローチャートの第１ステップの処理を行う。すなわち、現フレームの信号Ｓ２と前フレームの信号Ｓ３の輝度信号成分に対し、先に検出したブロック単位動きベクトルＢＭＶによる予測誤差を算出する。そして、この誤差の値が閾値ＴＨ（例えば８レベル／画素）未満のブロックは信号ＰＭＢに０、閾値ＴＨ以上のブロックは１を出力する。
修正制御部１９は、信号ＰＭＢと制御信号ＣＴ２をもとに、第９図の第２ステップの信号処理に必要な制御信号ＰＣ１、ＰＣ２を生成する。
参照動きベクトル生成部１６、補正誤差算出部１７−１、…、１７−Ｎは、第９図の第２ステップの閾値以上の場合の処理を行う。すなわち、第１０図に示すように、現ブロックを水平、垂直方向に細分化して得るミニブロック（例えば水平ＭＢＸ＝２、垂直ＭＢＹ＝２の２画素×２ライン）に対して、現ブロックと参照ブロックの動きベクトルによるミニブロック分割探索処理で修正動きベクトルを生成する。そして、参照動きベクトル生成部１６では、現ブロックと、これに対応する隣接ブロックの動きベクトルＶ０、Ｖｕｌ、…、Ｖｄｒを出力する。補正誤差算出部１７−１、…、１７−Ｎは、各ミニブロック毎に、次の式１に示す演算で予測誤差ＥＲ０、ＥＲ１、…、ＥＲＮを算出する。なお、この算出では、現フレームの信号Ｓ２と前フレームの信号Ｓ３の輝度信号成分、もしくは輝度信号成分と色差信号成分、のいずれかに対して行う。
ＥＲ０＝Σａｂｓ｛Ｓ２（ｘ，ｙ）−Ｓ３（Ｖ０）｝＝Σａｂｓ｛Ｓ２（ｘ，ｙ）−Ｓ３（ｘ＋Ｖ０ｘ，ｙ＋Ｖ０ｙ）｝
ＥＲ１＝Σａｂｓ｛Ｓ２（ｘ，ｙ）−Ｓ３（Ｖｕｌ）｝＝Σａｂｓ｛Ｓ２（ｘ，ｙ）−Ｓ３（ｘ＋Ｖｕｌｘ，ｙ＋Ｖｕｌｙ）｝
ＥＲ２＝Σａｂｓ｛Ｓ２（ｘ，ｙ）−Ｓ３（Ｖｕ）｝＝Σａｂｓ｛Ｓ２（ｘ，ｙ）−Ｓ３（ｘ＋Ｖｕｘ，ｙ＋Ｖｕｙ）｝
………………………………………………………………………………………………
ＥＲＮ＝Σａｂｓ｛Ｓ２（ｘ，ｙ）−Ｓ３（Ｖｄｒ）｝＝Σａｂｓ｛Ｓ２（ｘ，ｙ）−Ｓ３（ｘ＋Ｖｄｒｘ，ｙ＋Ｖｄｒｙ）｝・・・・式１ 式１で、Ｓ２（ｘ，ｙ）は現フレームの信号、Ｓ３（Ｖｉ）は動きベクトルＶｉで位置を移動させた前フレームの信号、ａｂｓ｛ ｝は絶対値、Σはミニブロック内の画素の総和、Ｖｉｘは動きベクトルＶｉのｘ成分、Ｖｉｙはｙ成分である。
選択部１８は、制御信号ＰＣ２が閾値未満を示すブロックでは、ブロック内のミニブロックに対して現ブロックの動きベクトルＢＭＶを修正動きベクトルＢＶに出力する。一方、閾値以上のブロックでは、各ミニブロックに対して予測誤差ＥＲ０、ＥＲ１、…、ＥＲＮの内で最少値をとる動きベクトルを修正動きベクトルＢＶに出力する。
次に、画素単位動きベクトル生成部について、第１１図〜第１３図を用いて説明する。
第１１図は、画素単位動きベクトル生成部６の一構成例を示す図である。図において、画素動きベクトル生成制御部２３は、制御信号ＣＴ３と修正動きベクトルＢＶをもとに、第１２図に示す信号処理フローチャートの第１、第２ステップの動作に必要な各種制御処理を行う。まず、修正動きベクトルでブロック単位での予測誤差成分を算出する。そして、これが閾値ＴＨ（例えば、８レベル／画素）未満の場合は、修正動きベクトルＢＶをそのまま画素単位動きベクトルＰＶとして出力する。
一方、閾値ＴＨ以上の場合は、第１０図に示した現ブロックと隣接ブロックの修正動きベクトルより、動き補正の内挿フレーム信号の生成に必要なＭＣベクトルＶｃｔとＶｐｒとを出力する。そして、現フレーム動き補正信号生成部２０では、現フレームの信号Ｓ２をＭＣベクトルＶｃｔで位置を移動させた動き補正信号Ｓｃｔを生成する。また、前フレーム動き補正信号生成部２１では、前フレームの信号Ｓ３をＭＣベクトルＶｐｒで位置を移動させた動き補正信号Ｓｐｒを生成する。
第１３図は、これらの動作概略を示す図である。第１３図（ａ）は、ＭＣベクトル生成の動作を示す。修正動きベクトルＢＶは、現フレームＳ２と前フレームＳ３との１フレーム期間での動きである。そして、フレーム数変換で内挿されるフレーム（図中の内挿フレーム）は、１フレーム期間のｋａ：ｋｂの位置に生成する。例えば、フレーム数の５０−６０変換では、フレーム順１〜５の信号系列に対して、５：１、４：２、３：３、２：４、１：５の位置で５枚の内挿フレームを生成し、フレーム順１〜６の信号系列に変換する。従って、動き補正でこの内挿フレームの位置に信号を生成するため、次の式２に示す演算でＭＣベクトルＶｐｒとＶｃｔを生成する。
Ｖｐｒ＝ＢＶ＊ｋａ／（ｋａ＋ｋｂ）
Ｖｃｔ＝ＢＶ＊ｋｂ／（ｋａ＋ｋｂ） ・・・・・式２
第１３図（ｂ）は、動き補正信号生成の概略を示す図である。内挿フレームの点Ａ（ｘ，ｙ）の信号は、前フレームの信号Ｓ３では、点Ａ（ｘ，ｙ）を動き補正ベクトルＶｐｒ（水平方向成分Ｖｐｒｘ，垂直方向成分Ｖｐｒｙ）で移動させた点Ａ’（ｘ１，ｙ１）＝（ｘ＋Ｖｐｒｘ，ｙ＋Ｖｐｒｙ）の位置の信号に対応し、現フレームの信号Ｓ２では点Ａ（ｘ，ｙ）を動き補正ベクトルＶｃｔ（水平方向成分Ｖｃｔｘ，垂直方向成分Ｖｃｔｙ）で移動させた点Ａ”（ｘ２，ｙ２）＝（ｘ−Ｖｃｔｘ，ｙ−Ｖｃｔｙ）の位置の信号に対応する。すなわち、動き補正信号ＳｐｒとＳｃｔは、次の式３のようになる。
Ｓｐｒ＝Ｓ３（ｘ＋Ｖｐｒｘ，ｙ＋Ｖｐｒｙ）
Ｓｃｔ＝Ｓ２（ｘ−Ｖｃｔｘ，ｙ−Ｖｃｔｙ） ・・・・・式３
動きベクトルが正確であれば、動き補正信号ＳｐｒとＳｃｔは一致する。ここで第１１図に戻ると、誤差検出部２２では、両者の絶対値差分成分｜Ｓｃｔ−Ｓｐｒ｜を算出し、信号ＭＣＥＲに出力する。
画素動きベクトル生成制御部２３では、第１０図に示した現ブロックと隣接ブロックの修正動きベクトルＢＶのうちで信号ＭＣＥＲが最小になるものを検出し、これを画素単位動きベクトルＰＶとして出力する。
また、制御信号ＣＴ３の動き検出信号ＭＤ２が０の画素に対しては、画素単位動きベクトルＰＶとして０を出力する。
この信号処理の結果、画素単位動きベクトルを、全探索と較べて演算量が１桁〜２桁程度低減でき、かつ、高精度で生成することができる。
以上で、動きベクトルの探索に関する説明を終え、次に、ＭＣ内挿フレーム信号生成部について第１４図〜第１６図を用いて説明する。
第１４図は、ＭＣ内挿フレーム信号生成部７の一構成例を示す図である。図において、ＭＣベクトル生成部２４は、画素単位動きベクトルＰＶをもとに、前述した動き補正処理に必要なＭＣベクトルＶｃｔとＶｐｒを生成する。 また、現フレーム動き補正信号生成部２０では、現フレームの信号Ｓ２とＭＣベクトルＶｃｔで動き補正信号Ｓｃｔを生成する。また、前フレーム動き補正信号生成部２１は、前フレームの信号Ｓ３と動き補正ベクトルＶｐｒで動き補正信号Ｓｐｒを生成する。この処理は、内蔵するメモリ回路の読み出し動作を制御することで実現する。すなわち、メモリ読み出しのアドレスをＭＣベクトルＶｐｒ，Ｖｃｔに相当する位置だけずらしたアドレスを生成し、このアドレスで信号を読み出して、ＭＣベクトルで位置を移動させた信号を生成する。
平均部２５は、両者の動き補正信号ＳｐｒとＳｃｔとの加算平均を行い、その出力に双方向動き補正内挿フレームの信号Ｓｍｃを得る。
テンポラルフィルタ２６は、現フレームと前フレームの信号による時間方向の直線補間処理を行い、時間方向内挿フレームの信号Ｓｔｆを生成する。
メディアンフィルタ部２７は、動き補正予測誤差成分、および誤差評価関数の値に応じて、信号Ｓｍｃ，Ｓｃｔ，Ｓｐｒ，Ｓ２，Ｓ３，Ｓｔｆのいずれかを選択出力し、動き補正型のフレーム数変換処理を行った順次走査の画像信号系列Ｓ４を得る。
第１５図は、メディアンフィルタ部２７の一構成例を示す図である。図において、誤差算出部２８は、動き補正信号ＳｃｔとＳｐｒとの減算を行い、その絶対値を信号ＥＲ１に出力する。また、誤差評価部２９−１〜２９−５は、第１６図（ａ）に示すように、参照画素に対する誤差信号成分を信号ＥＲ２〜ＥＲ６をそれぞれ出力する。すなわち、図中の●印で示す対象画素に関して、○印で示す参照画素Ａ，Ｂ，Ｃにおける誤差成分｜Ｓ４−Ｓｉ｜（Ｓｉは、Ｓｃｔ，Ｓｐｒ，Ｓ２，Ｓ３，Ｓｔｆ）の総和を出力する。
判定部３０は、制御信号ＣＴ４の動き補正モード情報ＭＣ（前述した第３図の発生頻度計測部１４で計測する動きベクトル発生頻度のうちで例えば領域Ｅの発生頻度が２０％以上の場合は非動き補正処理のＭＣ＝１、それ以外は動き補正処理のＭＣ＝０に設定）と、信号ＥＲ１〜ＥＲ６をもとに、第１６図（ｂ）に示す選択信号ＳＬを設定する。すなわち、信号ＭＣ＝０では、ＥＲ１が閾値未満の場合は信号Ｓｍｃ、ＥＲ１が閾値以上の場合は、ＥＲ２が最小値の時は信号Ｓｐｒ、ＥＲ３が最小値の時は信号Ｓｃｔ、……、ＥＲ６が最小値の時は信号Ｓ２を選択するように選択信号ＳＬを設定する。一方、信号ＭＣ＝１では、信号Ｓ２を選択するように選択信号ＳＬを設定する。
選択部３１は、選択信号ＳＬで定まる信号を選択して出力する。
以上に述べたメディアンフィルタ構成を採用することで、動きベクトルの不正確さに起因する孤立点的な劣化や動画エッジ周縁部の劣化などの動き補正に固有な画質劣化を大幅に抑圧することができ、高画質化が達成できる。
以上に述べた如く、本発明の第１の実施例によれば、動きベクトルの探索に要する演算量が少なく、かつ、動き補正処理に起因する画質劣化の少ない画像信号のフレーム数変換装置が実現できる。そして、高画質化、低コスト化に顕著な効果を得ることができる。
次に、本発明の第２の実施例について、第１７図〜第１８図の図面で説明する。なお、本実施例は、シーンチェンジ領域での演算量の増加を抑圧するに好適なものである。
第１７図は、このブロック構成図で、第１の実施例（第１図）に、シーンチェンジ検出部３２を追加した構成で実現する。そして、シーンチェンジの発生した領域では、動きベクトルの探索や動き補正のフレーム内挿の処理を中止する。
第１８図は、シーンチェンジ検出部３２の一構成例を示す図である。図において、減算部３３は、現フレームの信号Ｓ２と前フレームの信号Ｓ３の輝度信号成分の減算演算を行い、１フレーム間の差分成分ＦＤを抽出する。一般に、シーンチェンジの領域では、画像の内容が切り替わるため、差分成分ＦＤの信号レベルは比較的大きな値を持つ。そこで、２値量子化部３４は比較的高いレベルの閾値±Ｔｈｂで信号ＦＤを画素毎に２値量子化する。そして、閾値±Ｔｈｂ未満の画素は０、閾値を越える画素は１を信号ＱＳに出力する。１フレーム累積部３５は、信号ＱＳが１のものの画素の数を１フレーム期間で計測し、１フレーム期間の累積値ＡＱを出力する。判定部３６は、累積値ＡＱの値が全画面の半分以上の画素数で、かつ、その発生が１フレーム期間に限られる場合をシーンチェンジの発生したフレームと判定する。この理由は、画面全体が一様な速度で動く水平パンや上下パンの動きを誤ってシーンチェンジと検出する誤動作を避けるためである。そして、信号ＳＣＦＧにシーンチェンジの発生したフレームでは１、それ以外のフレームでは０を出力する。
その他の動作、構成は第１の実施例と同様であり、説明は省略する。
以上に述べた如く、本実施例によれば、第１の実施例に較べて、より少ない演算量で画像信号のフレーム数変換装置を実現できる。そして、高画質化、低コスト化に顕著な効果を得ることができる。
次に、本発明の第３の実施例について、第１９図のブロック構成図を用いて説明する。本実施例は、飛び越し走査の信号系列で動きベクトルの探索を行うに好適なものである。
１フレーム遅延部２は、飛び越し走査の入力画像信号Ｓ１（輝度信号成分と色差信号成分）を１フレームの期間遅延させるもので、その出力に前フレームの飛び越し走査の信号系列Ｓ１０を得る。
動き検出部３は、現フレームの信号系列Ｓ１と、前フレームの信号系列Ｓ１０の輝度信号成分の減算処理で１フレーム間の差分信号を抽出し、これを２値量子化して動き検出信号ＭＤ１、ＭＤ２を制御部８に出力する。
ブロック単位動きベクトル探索部４は、ブロック単位（例えば１６画素×１６ラインあるいは８画素×８ライン）の動きベクトルを検出する。すなわち、制御部８の制御信号ＣＴ１のうちの動き検出信号ＭＤ１が０のブロックは静止ブロックと判定し、ブロック単位動きベクトルＢＭＶに０を出力する。一方、ＭＤ１が１のブロックは動画ブロックと判定し、信号Ｓ１とＳ１０の輝度信号成分、あるいは輝度信号成分と色差信号成分に対して、前述した参照ベクトル探索処理あるいは動きベクトル分布適応探索処理を行い、ブロック単位動きベクトルＢＭＶを検出する。
動きベクトル修正部５は、輝度信号成分、あるいは輝度信号成分と色差信号成分の予測誤差成分が閾値以上のブロックに対し、ブロックを水平、垂直に細分化したミニブロック（例えば２画素×２ライン）毎に、現ブロックおよび隣接ブロックの動きベクトルのうちで予測誤差成分が最少なものをミニブロックの動きベクトルとするミニブロック分割探索の修正を行い、修正動きベクトルＢＶを生成する。
画素単位動きベクトル生成部６は、現ブロックとこれに隣接するブロックの動きベクトルのうちで、動き補正処理した現フレームと前フレームの信号の輝度信号成分あるいは輝度信号成分と色差信号成分の絶対値差分成分が最小なものを画素の動きベクトルＰＶとして生成する。
ＩＰ変換部１は、飛び越し〜順次の走査変換の信号処理を行い、順次走査の信号系列ＳＰ（輝度信号成分と色差信号成分）に変換する。なお、このＩＰ変換部は従来の動き適応型あるいは動きベクトルＰＶを利用した動き補正型の処理のいずれでも構成することができる。
ＭＣ内挿フレーム信号生成部７は、メディアンフィルタ構成で、画素単位動きベクトルＰＶをもとに生成する複数種類の補間信号のうちで動き補正誤差が最小なものを選択出力し、動き補正フレーム数変換処理でフレーム周波数をアップした順次走査の画像信号系列Ｓ４（輝度信号成分と色差信号成分）を得る。
制御部８は、以上の動作に必要な制御信号ＣＴ１〜ＣＴ４を生成し、各部に出力する。
なお、各部の構成および動作は、前述の第１の実施例から容易に理解することができるため、説明は省略する。
次に、本発明の第４の実施例について、第２０図〜第２２図を用いて説明する。本実施例は、画像符号化で使用した動きベクトル情報をもとに動きベクトルの探索を行うに好適なものである。
第２０図は、このブロック構成図で、上述の第３の実施例のブロック単位動きベクトル探索部５を、ブロック単位動きベクトル変換部３７で置き換えた構成で実現する。
このブロック単位動きベクトル変換部３７の一構成例と動作概略を第２１図〜第２２図に示す。
第２１図において、Ｐベクトル変換部３８、Ｂベクトル変換部３９は、画像符号化で使用する動きベクトル情報ＭＶのベクトル変換処理を行い、飛び越し走査系の１フレーム当たりの変換ベクトルＭＶｐとＭＶｂを生成する。
第２２図はこの動作概略を示す図である。画像符号化、特に、国際標準のＭＰＥＧビデオ符号化では、第２２図（ａ）に示すように、画像信号シーケンスをＩピクチャ、Ｐピクチャ、Ｂピクチャに分け、Ｉピクチャではフレーム内ＤＣＴ（離散コサイン変換）符号化、Ｐピクチャでは一方向ＭＣ符号化＋ＤＣＴ符号化、Ｂピクチャでは双方向ＭＣ符号化＋ＤＣＴ符号化を行う。
第２２図（ｂ）は、Ｐピクチャの符号化に使用する動きベクトルＰＶ１，ＰＶ２，…を示す。この動きベクトルは画像信号シーケンスのＰピクチャ間のｎフレーム（図ではｎ＝３）での動きベクトルに相当する。従って、Ｐベクトル変換部３８では、この動きベクトルを１／ｎ（図では１／３）に変換したＰＶ１／３，ＰＶ２／３，…で変換ベクトルＭＶｐを生成する。
第２２図（ｃ）はＢピクチャの符号化に使用する動きベクトルＢＶ１１，ＢＶ１２、ＢＶ２１，ＢＶ２２…を示す。このうち、ＢＶ１１，ＢＶ２１，ＢＶ３１，…は１フレーム間の動きベクトルに相当している。従って、Ｂベクトル変換部３９では、これらの動きベクトルで変換動きベクトルＭＶｂを生成する。
第２１図に戻り、判定部４０では、動き検出信号ＭＤ１が１の動画ブロックに対し、変換ベクトルＭＶｐ、ＭＶｂによるブロック単位の動き補正誤差を算出し、値の小さいものを代表動きベクトルＢＭＶに出力する。なお、静止ブロックに対しては、ＢＭＶに０を出力する。
制御部４１は、これらの動作に必要な制御信号類を生成する。
以上に述べた如く、本発明の第４の実施例によれば、動きベクトルの探索に要する演算量を更に少なくする画像信号のフレーム数変換装置が実現できる。そして、高画質化、低コスト化に顕著な効果を得ることができる。
次に、本発明の第５の実施例を第２３図のブロック構成図に示す。本実施例は、先の第３の実施例にシーンチェンジ検出部３２を追加した構成で実現する。
また、本発明の第６の実施例を第２４図のブロック構成図に示す。本実施例は、先の第４の実施例にシーンチェンジ検出部３２を追加した構成で実現する。
これら実施例における構成や動作は、これまでの説明で容易に理解できるため説明は省略する。
最後に、本発明のフレーム数変換装置をテレビジョン受像機に適用した実施例について、第２５図〜第２６図を用いて説明する。
第２５図は、この第１の実施例のブロック構成例を示す図で、画像を順次走査の形態で表示するに好適なものである。
地上放送信号ＴＶは、チューナー部４２でベースバンド帯域のテレビジョン信号に復調する。
衛星放送信号ＢＳは、ＢＳチューナー部４３でベースバンド帯域のテレビジョン信号に復調する。
デコーダ部４４は、アナログ方式のテレビジョン信号の所定の復調処理を行い、輝度信号と色差信号を復調する。
ＩＲＤ部４５は、デジタル方式のテレビジョン信号の所定の復号化処理を行い、輝度信号と色差信号を復調する。
外部入力信号Ｅｘには、ＶＣＲ等のパッケージメディアやＰＣ画像などの輝度信号と色差信号を入力する。
スイッチ部４６は、制御部５１の制御信号で指定する信号系列の選択を行う。
動き補正フレーム数変換部４７は、本発明のフレーム数変換装置に相当し、動き補正フレーム内挿処理でフレーム周波数をアップした順次走査の信号系列を生成する。例えば、ＰＡＬ方式のフレーム周波数５０Ｈｚの信号の５０Ｈｚ→６０Ｈｚ変換では、フレーム順１〜５の入力信号系列からフレーム順１〜６（２〜６は動き補正フレーム内挿処理で生成）の信号系列を生成する。また、５０Ｈｚ→７５Ｈｚ変換では、フレーム順１〜２の入力信号系列からフレーム順１〜３（２〜３は動き補正フレーム内挿処理で生成）の信号系列を生成する。あるいは、５０Ｈｚ→１００Ｈｚ変換では、フレーム順１の入力信号系列からフレーム順１〜２（２は動き補正フレーム内挿処理で生成）の信号系列を生成する。
スケーリング処理部４８は、画像サイズの拡大／縮小、アスペクト比の変換、走査線数の変換などの信号処理を行う。
画質改善部４９は、鮮鋭度改善や輝度階調補正などの画質改善信号処理と色空間変換による３原色信号への変換を行う。
順次表示部５０は、フレーム周波数が６０Ｈｚ、又は７５Ｈｚか１００Ｈｚの順次走査の形態で画像表示を行う。
リモコン受信部５２は、ユーザがリモコン端子で操作する各種ユーザ情報（チャネル選択、表示モードなど）を受信する。
制御部５１は、受信した各種ユーザ情報に応じて、各部の動作に必要な制御信号類（図面には明示せず）を生成し、被制御部５８に出力する。
第２６図は、この第２の実施例のブロック構成例を示す図で、画像を飛び越し走査の形態で表示するに好適なものである。これは、上述した第２５図の構成にＰＩ変換部５３を追加し、インターレース表示部５４で飛び越し走査の形態の画像を表示する。
ＰＩ変換部５３は、順次走査の信号系列の走査線の２：１の間引き処理を行い、飛び越し走査の信号系列に変換する信号処理を行う。
また、インターレース表示部５４は、フィールド周波数が６０Ｈｚ、又は７５Ｈｚか１００Ｈｚの飛び越し走査の形態で画像表示を行う。
なお、この他のブロックは第２５図のものと同一の動作を行うので、説明は省略する。
以上に述べたように、これらの実施例によれば、マルチソース対応の高画質なテレビジョン受像機を、低コストで実現できる。
産業上の利用可能性
本発明は、ＰＡＬ−ＮＴＳＣテレビジョン信号の方式変換、ＰＡＬ５０Ｈｚ−６０Ｈｚ／７５Ｈｚ／１００Ｈｚ変換、フィルム画像（フレーム周波数２４Ｈｚ／３０Ｈｚ）−６０Ｈｚ変換、テレビジョン信号−パソコン画像信号変換など、各種のフレーム数変換装置に適用し、高画質化・低コスト化に顕著な効果を有する。本発明に係る画像信号のフレーム数変換方法および装置は、テレビジョン受像機、ＤＶＤプレーヤ、ＰＣ機器、ＰＡＤ端末などの情報家電機器に適用することができる。
【図面の簡単な説明】
第１図は、本発明の第１の実施例のブロック構成図である。
第２図は、動き検出部の一構成例を示す図である。
第３図は、ブロック単位動きベクトル探索部の一構成例を示す図である。
第４図は、ブロック単位動きベクトル探索部の信号処理フローチャートである。
第５図は、参照ブロックの動きベクトルの領域例を示す図である。
第６図（ａ）は、動きベクトル発生頻度を計測する領域を示す図、第６図（ｂ）は、探索モード設定条件および探索処理の特性例を示す図である。
第７図は、代表点動きベクトルの配列例を示す図である。
第８図は、動きベクトル修正部の一構成例を示す図である。
第９図は、動きベクトル修正部の信号処理フローチャートである。
第１０図は、ミニブロック分割と動きベクトル修正の動作概略を示す図である。
第１１図は、画素単位動きベクトル生成部の一構成例を示す図である。
第１２図は、画素単位動きベクトル生成部の信号処理フローチャートである。
第１３図（ａ）は、ＭＣベクトル生成の動作を示す図、第１３図（ｂ）は、動き補正信号生成の動作概略を示す図である。
第１４図は、ＭＣ内挿フレーム信号生成部の一構成例を示す図である。
第１５図は、メディアンフィルタ部の一構成例を示す図である。
第１６図（ａ）は、参照画素と対称画素の関係を示す図、第１６図（ｂ）は、判定部の動作概略を示す図である。
第１７図は、本発明の第２の実施例のブロック構成図である。
第１８図は、シーンチェンジ検出部の一構成例を示す図である。
第１９図は、本発明の第３の実施例のブロック構成図である。
第２０図は、本発明の第４の実施例のブロック構成図である。
第２１図は、ブロック単位動きベクトル変換部の一構成例を示す図である。
第２２図（ａ）〜（ｃ）は、それぞれベクトル変換部の動作概略を示す図である。
第２３図は、本発明の第５の実施例のブロック構成図である。
第２４図は、本発明の第６の実施例のブロック構成図である。
第２５図は、本発明をテレビジョン受像機に適用した第１の実施例のブロック構成図である。
第２６図は、本発明をテレビジョン受像機に適用した第２の実施例のブロック構成図である。

Claims (3)

1. 飛越し走査の画像信号系列で現フレームと前フレームの画像の動きを検出してブロック単位動きベクトルを探索するブロック単位動きベクトル探索部と、
   前記ブロック単位動きベクトルによる動き補正誤差が閾値未満の場合はブロック単位動きベクトルの修正を行わず、閾値以上の場合は当該ブロックをミニブロックに分割し、各ミニブロック毎に隣接ブロックの動きベクトルのうちで動き補正誤差が最少なものをミニブロックの動きベクトルとすることによりブロック単位動きベクトルの修正を行う動きベクトル修正部と、
   修正動きベクトルによる現フレームと前フレームの動き補正信号のミニブロック単位の誤差成分が最少の動きベクトルを画素単位動きベクトルとして生成する画素単位動きベクトル生成部と、
   前記画素単位動きベクトルによる現フレームと前フレームの動き補正信号の誤差成分、および誤差評価関数の値に応じて、現フレーム、前フレーム、現フレームと前記画素単位動きベクトルから生成されたベクトルとから生成された第１のフレーム、前フレームと前記画素単位動きベクトルから生成されたベクトルとから生成された第２のフレーム、前記第１のフレームと前記第２のフレームとの加算平均により生成された第３のフレーム、現フレームと前フレームとの時間方向の直線補間により生成された第４のフレーム、のいずれかの動き補正内挿フレーム信号を生成する動き補正内挿フレーム信号生成部と、
   を備え、
   前記ブロック単位動きベクトル探索部は、入力画像信号の動きベクトル情報のＰピクチャおよびＢピクチャの動きベクトルを１フレーム間の動きベクトルに変換して出力するベクトル変換部を有し、動画ブロックに対しては、前記ベクトル変換部から出力される前記１フレーム間の動きベクトルをもとにブロック単位動きベクトルを探索することを特徴とする画像信号のフレーム数変換装置。
2. 飛越し走査の画像信号系列で現フレームと前フレームの画像の動きを検出してブロック単位動きベクトルを探索する工程と、
   前記ブロック単位動きベクトルによる動き補正誤差が閾値未満の場合はブロック単位動きベクトルの修正を行わず、閾値以上の場合は当該ブロックをミニブロックに分割し、各ミニブロック毎に隣接ブロックの動きベクトルのうちで動き補正誤差が最少なものをミニブロックの動きベクトルとすることによりブロック単位動きベクトルの修正を行う工程と、
   修正動きベクトルによる現フレームと前フレームの動き補正信号のミニブロック単位の誤差成分が最少の動きベクトルを画素単位動きベクトルとして生成する工程と、
   前記画素単位動きベクトルによる現フレームと前フレームの動き補正信号の誤差成分、および誤差評価関数の値に応じて、現フレーム、前フレーム、現フレームと前記画素単位動きベクトルから生成されたベクトルとから生成された第１のフレーム、前フレームと前記画素単位動きベクトルから生成されたベクトルとから生成された第２のフレーム、前記第１のフレームと前記第２のフレームとの加算平均により生成された第３のフレーム、現フレームと前フレームとの時間方向の直線補間により生成された第４のフレーム、のいずれかの動き補正内挿フレーム信号を生成する工程と、
   を備え、
   前記ブロック単位動きベクトルを探索する工程は、入力画像信号の動きベクトル情報のＰピクチャおよびＢピクチャの動きベクトルを１フレーム間の動きベクトルに変換して出力するベクトル変換工程を有し、動画ブロックに対しては、前記ベクトル変換工程により出力される前記１フレーム間の動きベクトルをもとにブロック単位動きベクトルを探索することを特徴とする画像信号のフレーム数変換方法。
3. 飛越し走査の画像信号系列を入力する入力部と、
   前記飛越し走査の画像信号系列で現フレームと前フレームの画像の動きを検出してブロック単位動きベクトルを探索し、前記ブロック単位動きベクトルによる動き補正誤差が閾値未満の場合はブロック単位動きベクトルの修正を行わず、閾値以上の場合は当該ブロックをミニブロックに分割し、各ミニブロック毎に隣接ブロックの動きベクトルのうちで動き補正誤差が最少なものをミニブロックの動きベクトルとすることによりブロック単位動きベクトルの修正を行い、修正動きベクトルによる現フレームと前フレームの動き補正信号のミニブロック単位の誤差成分が最少の動きベクトルを画素単位動きベクトルとして生成し、前記画素単位動きベクトルによる現フレームと前フレームの動き補正信号の誤差成分、および誤差評価関数の値に応じて、現フレーム、前フレーム、現フレームと前記画素単位動きベクトルから生成されたベクトルとから生成された第１のフレーム、前フレームと前記画素単位動きベクトルから生成されたベクトルとから生成された第２のフレーム、前記第１のフレームと前記第２のフレームとの加算平均により生成された第３のフレーム、現フレームと前フレームとの時間方向の直線補間により生成された第４のフレーム、のいずれかの動き補正内挿フレーム信号を生成するものであり、前記ブロック単位動きベクトルの探索では、入力画像信号の動きベクトル情報のＰピクチャおよびＢピクチャの動きベクトルを１フレーム間の動きベクトルに変換して出力し、動画ブロックに対しては、前記出力される前記１フレーム間の動きベクトルをもとにブロック単位動きベクトルを探索する画像信号のフレーム数変換部と、
   前記画像信号のフレーム数変換部の出力を表示する表示部と、
   を備えたことを特徴とする情報家電機器。

Images