JP4083266B2 - 動きベクトルの生成方法および装置 - Google Patents
動きベクトルの生成方法および装置 Download PDFInfo
- Publication number
- JP4083266B2 JP4083266B2 JP29044397A JP29044397A JP4083266B2 JP 4083266 B2 JP4083266 B2 JP 4083266B2 JP 29044397 A JP29044397 A JP 29044397A JP 29044397 A JP29044397 A JP 29044397A JP 4083266 B2 JP4083266 B2 JP 4083266B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- motion
- block
- unit
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は動きベクトルの生成方法および装置に係り、特に動き補正の信号処理で内挿フレーム信号を生成するフレーム数変換に好適な動きベクトルの生成方法および装置に関する。
【０００２】
【従来の技術】
近年、マルチメディアの進展に伴い、各種方式のテレビジョン信号やパソコン画像などをマルチウィンドウ表示する使用形態が多くなってきた。また、表示部も従来のＣＲＴの他、ＰＤＰやＬＣＤなどの平面ディスプレイも使用されるようになってきた。しかしながら、各種入力ソースでは、画像のフレーム周波数や走査線数や１画面の画素数が異なっている。また、各種ディスプレイでは、走査形態や表示画素数が様々である。このため、入力ソースの信号を表示系に合った信号に変換する画像フォーマット変換の信号処理が必要となる。
【０００３】
この画像フォーマット変換では、飛び越し走査−順次走査を変換する走査変換や、フレームレートを変換するフレーム数変換、あるいは走査線数や画像サイズを変換するスケーリング処理の信号処理が必要である。このうち、走査変換やスケーリング処理は、従来技術を用いて比較的簡単な信号処理で実現できる。これに対して、フレーム数変換は、単純な駒落としや駒繰り返しの処理で実現することも可能であるが、この場合には動き画像で滑らかさが損なわれるモーションジャダーなどの画質劣化が発生し、画質が大幅に劣化するという問題がある。
【０００４】
この問題を解決する技術としては、動き補正のフレーム数変換法が知られている。これは、動きベクトルで前後のフレームの画像位置を移動させて内挿フレームの信号を生成するもので、動き画像のモーションジャダーの除去には極めて有効である。
【０００５】
一方、画像の高能率符号化の分野では、国際標準規格であるＭＰＥＧ符号化など、動き補償フレーム間予測符号化をベースとした方式が主流となり、ＴＶ会議やデジタル放送などに広く用いられるようになってきた。この動き補償フレーム間予測符号化では、送信側では、動きベクトルで画像の位置を移動させて生成した予測フレームと現フレームとの差分を予測誤差成分として抽出し、これと動きベクトルの情報を伝送する。受信側では、伝送された動きベクトルと予測誤差成分より元の画像信号を復号する。
【０００６】
また、テレビ画像のための動き予測方法については、例えば特開平７−１７０４９６号公報に開示されている。この方法は、１つの注目ブロックの動きベクトルおよび３つの隣接するブロックの動きベクトルを用いて、１つの画素の動きベクトルを計算するものである。これにより、大きなブロックの信頼性という利点と、より局在的な位置決定の動きベクトルの性能を兼ね備える装置を提供することができる、とするものである。
【０００７】
【発明が解決しようとする課題】
従来の動き補正のフレーム数変換法においては、動きベクトルの探索、生成に膨大な演算量が必要なため、装置規模が大きくなり価格も極めて高価となっている。このため、その用途は、放送分野の番組交換などの特殊な用途に限られている。一方、画像の高能率符号化の分野では、動きベクトル情報はもっぱら画像信号の復号化処理に使われているにすぎない。また、上述したテレビ画像のための動き予測方法では、画素単位の動きベクトルの精度に問題があり、正確な動きベクトルを得ることができず、画質劣化が発生するおそれがある。
【０００８】
従って本発明の目的は、動き補正のフレーム数変換を高画質かつ低コストで行うのに好適な動きベクトルの生成方法および装置を提供することにある。
【０００９】
【課題を解決するための手段】
本発明は、動きベクトル情報を含む情報が符号化された信号を復号化する工程と、前記復号化された動きベクトル情報に基づいて１フレーム期間での動きベクトルを生成する工程と、現フレームの信号と前フレームの信号から画像の動きを検出する工程と、前記動きを検出する工程により動きを検出しないブロックにはブロック単位動きベクトルとして０を割り当て、動きを検出したブロックには前記１フレーム期間での動きベクトルのうち最少の動き補正誤差を有するものをブロック単位動きベクトルとして割り当てるブロック単位動きベクトルを生成する工程と、前記動きを検出する工程により動きを検出しない画素には画素単位動きベクトルとして０を割り当て、動きを検出した画素には前記ブロック単位の動き補正誤差が閾値未満のときはブロック内の画素に前記ブロック単位動きベクトルを割り当て、閾値以上のときは現ブロックと隣接ブロックの動きベクトルを用いて前記ブロックを縮小したミニブロックを内包する算出領域のうち最少の動き補正誤差を有するものを画素単位動きベクトルとして割り当てる画素単位動きベクトルを生成する工程とを備えたことを特徴とする動きベクトルの生成方法である。
【００１０】
本発明は、動きベクトル情報を含む情報が符号化された信号を復号化する復号化部と、前記復号化された動きベクトル情報にもとづいて１フレーム期間での動きベクトルを生成する動きベクトル変換部と、現フレームの信号と前フレームの信号から画像の動きを検出する動き検出部と、前記動き検出部により動きを検出しないブロックにはブロック単位動きベクトルとして０を割り当て、動きを検出したブロックには前記１フレーム期間での動きベクトルのうち最少の動き補正誤差を有するものをブロック単位動きベクトルとして割り当てるブロック単位動きベクトル生成部と、前記動き検出部により動きを検出しない画素には画素単位動きベクトルとして０を割り当て、動きを検出した画素には前記ブロック単位の動き補正誤差が閾値未満のときはブロック内の画素に前記ブロック単位動きベクトルを割り当て、閾値以上のときは現ブロックと隣接ブロックの動きベクトルを用いて前記ブロックを縮小したミニブロックを内包する領域で算出した動き補正誤差のうち最少の動き補正誤差を有するものを画素単位動きベクトルとして割り当てる画素単位動きベクトル生成部とを備えたことを特徴とする動きベクトルの生成装置である。
【００１１】
本発明の前記動き検出部は、ＭＰＥＧ符号化された信号を復号化するものであり、前記動きベクトル変換部は、ＭＰＥＧ符号化におけるＰピクチャの動き補償予測符号化に使用する第１の動きベクトル、Ｂピクチャの動き補償予測符号化に使用する第２の動きベクトル、または第１及び第２の動きベクトルに係る動きベクトル情報をもとに、動きベクトル生成の信号処理を行うことを特徴とする。
【００１２】
本発明は、前記動き補正誤差の算出を画像信号の輝度信号成分を用いて行うことを特徴とする。
【００１３】
本発明は、前記動き補正誤差の算出を画像信号の輝度信号成分と色成分とを用いて行うことを特徴とする。
【００１４】
本発明の前記画素単位動きベクトル生成部は、前記閾値以上の場合に、前記閾値以上のときの割り当て処理に代えて、ブロックサイズを縮小したサブブロック毎に前記現ブロックの動きベクトルを参照ベクトルとしたブロックマッチング処理でサブブロックの動きベクトルを再探索し、前記サブブロックの動きベクトルと隣接ブロックのブロック単位動きベクトルとを参照ベクトルとし、ミニブロックを単位に算出した動き補正誤差が最少の参照動きベクトルを画素単位動きベクトルとしてミニブロック内の動きを検出した画素に割り当てることを特徴とする。
【００１５】
本発明の前記画素単位動きベクトル生成部は、前記閾値以上の場合に、前記閾値以上のときの割り当て処理に代えて、ブロックサイズを縮小した第１サブブロック毎に前記現ブロックの動きベクトルを参照ベクトルとしたブロックマッチング処理で第１サブブロックの動きベクトルを再探索し、次に、第１サブブロックのサイズを縮小した第２サブブロック毎に、第１サブブロックの動きベクトルを参照ベクトルとしたブロックマッチング処理で第２サブブロックの動きベクトルを再探索し、以下、ブロックサイズがミニブロックのサイズまでこの動作を逐次繰り返すことにより画素単位動きベクトルを生成することを特徴とする。
【００１６】
本発明の前記画素単位動きベクトル生成部は、前記閾値以上の場合に、前記閾値以上のときの割り当て処理に代えて、ブロックサイズをミニブロックのサイズまで段階的に縮小した第１サブブロック、第２サブブロック、第ｎサブブロックに対して、前記現ブロックの動きベクトルを参照ベクトルとしたブロックマッチング処理で第１、第２、第ｎ動きベクトルを再探索し、ミニブロックを単位に算出した前記第１、第２、第ｎ動きベクトルの内で動き補正誤差が最少なものを画素単位動きベクトルとして割り当てることを特徴とする。
【００１７】
このような技術的手段により、本発明では、動き補正のフレーム数変換に必要な画素単位の動きベクトルを、高精度、かつ、極めて少ない演算量で生成することができる。
【００１８】
【発明の実施の形態】
本発明の理解を容易とするため、始めにＭＰＥＧ符号化を例として、動き補償予測符号化の概略を簡単に説明する。
【００１９】
図２１は、ＭＰＥＧ符号化におけるＭＣフレーム間予測の概略図を示すものである。同図に示す時系列の画像信号シーケンスの各フレームは、記号Ｉ,Ｐ,Ｂで示すＩピクチャ、Ｐピクチャ、Ｂピクチャに分ける。そして、Ｉピクチャではフレーム内の離散コサイン変換（ＤＣＴ）符号化を行う。一方、Ｐ，Ｂピクチャでは動き補償予測符号化を行う。このうち、Ｐピクチャでは、図中のＰの記号で示すフレームの間で、動きベクトルMVpを用いた一方向予測で予測フレームの信号を生成し、これとの差分成分をＤＣＴ符号化する。また、Ｂピクチャでは、図中のＢの記号で示すフレームに対して同図に示す動きベクトルMVbを用いた双方向予測で予測フレームの信号を生成し、これとの差分成分をＤＣＴ符号化する。そして、ＩピクチャではＤＣＴ符号化成分、Ｐ，Ｂピクチャでは動き補償予測に用いた動きベクトルMVp,MVbの情報とＤＣＴ符号化した差分成分を伝送する。
【００２０】
図２２は、本発明における動き補正フレーム数変換用動きベクトルへの変換動作の概略を示すものである。周知の如く、動き補正のフレーム数変換では、画像信号シーケンスの１フレーム期間での動きベクトルが必要である。このため、Ｐピクチャ符号化時の動きベクトルMVp（図中のMVp1,MVp2,MVp3）に対しては、それをＰピクチャ期間のフレーム数（同図では３）で除した変換動きベクトルBVp(図中のMVp1/3,MVp2/3,MVp3/3)を生成し、これを１フレーム期間の動きベクトルＢＶとする。一方、Ｂピクチャ符号化時の動きベクトルMVbに対しては、その１フレーム期間の動きベクトル(図のMVb11,MVb12,MVb21,MVb22,MVb31、MVb32)を用いて変換動きベクトルBVbを生成し、これを１フレーム期間の動きベクトルＢＶとする。
【００２１】
以上に述べた動きベクトル変換の技術的手段で、動き補償予測符号化の動きベクトル情報より動き補正のフレーム数変換に必要な１フレーム期間の動きベクトルを簡単に生成できる。なお、この動きベクトル変換で得られる動きベクトルは、ブロック単位（水平８画素ｘ垂直８ライン）あるいはマクロブロック単位（水平１６画素ｘ垂直１６ライン)での動きベクトルである。
【００２２】
動き補正のフレーム数変換では、動きベクトルの精度が悪い場合には、画像の一部が不適切な画像に置き換えられる孤立点的な劣化が発生する。これを回避するため、本発明においては、以下に述べるブロック単位、画素単位の動きベクトル生成の２段階の信号処理を採用する。
【００２３】
ブロック単位動きベクトル生成では、まず、フレーム差分信号で動きを検出しないブロック（静止ブロック）と、動きを検出したブロック（動画ブロック）とに分別する。そして、静止ブロックには動きベクトルＢＶＣに０を割り当てる。一方、動画ブロックには、上述した動きベクトル変換の信号処理で生成する動きベクトルＢＶ(BVp,BVb)のうちで、ブロック単位の動き補正誤差を演算し、これが最少なものを動きベクトルＢＶＣに割り当てる。
【００２４】
画素単位動きベクトル生成では、まず、動きベクトルＢＶＣで現ブロックでの動き補正誤差を算出し、閾値ＴＨとの大小比較を行う。そして、閾値ＴＨ未満の場合は、動きベクトルＢＶＣは正確と判定し、この動きベクトルＢＶＣをブロック内の動きを検出した全ての画素に割り当てる。一方、閾値ＴＨ以上の場合は、現ブロック及びこれに隣接する参照ブロックの動きベクトルを用い、ミニブロック（例えば水平ＭＸ画素ｘ垂直ＭＹライン）毎に、ミニブロックを内包する水平ＭＸ＋２、垂直ＭＹ＋２の算出領域で動き補正誤差を最少にする動きベクトルＰＶを求める。そして、ミニブロック内の動きを検出した画素には、この動きベクトルＰＶを割り当てる。また、フレーム差分信号成分が零の画素には、動きベクトルＰＶに０を割り当てる。
【００２５】
以上に述べた技術的手段で、動き補正のフレーム数変換に必要な画素単位の動きベクトルを、高精度、かつ、極めて少ない演算量で生成できる。
【００２６】
図１は、本発明の第１の実施例を示すブロック構成図である。同図の１はＭＰＥＧデコーダ部、２はＩＰ変換部、３は１フレーム遅延部、４は動きベクトル生成部、５は動き補正フレーム数変換部である。
【００２７】
ＭＰＥＧデコーダ部１は、ＭＰＥＧ符号化されたビットストリーム信号ＤＳの復号処理を行い、復号した画像信号シーケンスの信号Ｓ１と、動きベクトル情報ＭＶ（Ｐ，Ｂピクチャの動きベクトルMVp,MVbならびに符号化パラメタ情報）を出力する。なお、この信号処理や構成は従来技術で容易に実現出来る。
【００２８】
ＩＰ変換部２は、飛び越し走査の画像信号に対しては、飛び越し走査で抜けた走査線の信号を補間処理で生成し、順次走査の画像信号Ｓ２に変換する。この信号処理は、例えば従来技術の動き適応型の走査変換で実現する。
【００２９】
動きベクトル生成部４は、現フレームの信号Ｓ２と、これを１フレーム遅延部３で１フレーム期間遅延させた前フレームの信号Ｓ３と、動きベクトル情報ＭＶをもとに、前述した動きベクトル変換、ブロック単位、画素単位動きベクトル生成の信号処理を行い、動き補正のフレーム数変換に使用する画素単位の動きベクトルＰＶを生成する。この具体的な構成については後述する。
【００３０】
動き補正フレーム数変換部５は、画素単位動きベクトルＰＶをもとに補正補間動きベクトルを作り、現フレームの信号Ｓ３と前フレームの信号Ｓ２の画像の位置を、この補正補間動きベクトルで移動させた信号で内挿フレームの信号を生成する。そして、この動き補正のフレーム内挿処理でフレームレートを変換した順次走査の画像信号Ｓ４を出力として得る。なお、この具体的な構成についても後述する。
【００３１】
以下、本実施例における主要ブロック部について説明する。
【００３２】
図２は動きベクトル生成部４の一構成例を示す図である。動きベクトル変換部６は、動きベクトル情報ＭＶをもとに、図２２に示した動作の動きベクトル変換の信号処理を行い、１フレーム期間での動きベクトルＢＶを生成する。この具体的な一構成例を図３に示す。同図のＰピクチャベクトル変換部１０は、動きベクトル情報ＭＶのＰピクチャ符号化で使用する動きベクトルMVpに対して、１／ｎ（ｎはＰピクチャ間のフレーム数）に変換する信号処理で変換動きベクトルBVpを生成する。また、Ｂピクチャベクトル変換部１１は、動きベクトル情報ＭＶのＢピクチャ符号化で使用する動きベクトルMVbに対し、１フレーム期間の動きベクトルを選択して変換動きベクトルBVbを生成する。なお、MVbのうちの複数フレーム期間（例えばｍフレーム）の動きベクトルを１／ｍに変換する信号処理を併せて行い、より多くの変換動きベクトルBVbを生成することもできる。制御部１２は、動きベクトル情報の符号化パラメタをもとに、各変換部の動作に必要な制御信号ＣＴを生成する。
【００３３】
図２に戻り、動き検出部９は、現フレームの信号Ｓ２と前フレームの信号Ｓ３の輝度信号成分の減算演算を行い、１フレーム間の差分信号成分を抽出する。そして、動き検出信号ＭＩ１には、この信号レベルが設定値±Ｔｈａ未満の場合は静止領域と判定して０、±Ｔｈａを越える場合は動画領域と判定して１の信号を出力する。また、動き検出信号ＭＩ２には、この信号レベルが０の場合は静止と判定して０、それ以外は動画と判定して１の信号を出力する。
【００３４】
ブロック単位動きベクトル生成部７は、動き検出信号ＭＩ１全て０のブロックは静止ブロックと判定し、出力動きベクトルＢＶＣに０を出力する。一方、動き検出信号ＭＩ１に１を含むブロックは動画ブロックと判定し、動きベクトルＢＶのうちでブロック単位の動き補正誤差が最少なものを動きベクトルＢＶＣに出力する。
【００３５】
画素単位動きベクトル生成部８は、動き検出信号ＭＩ２が０の画素には動きベクトルＰＶに０を出力する。一方、動き検出信号ＭＩ２が１の画素には、動きベクトルＢＶＣの現ブロックとこれに隣接するブロックの動きベクトルをもとに、動き補正誤差が最少なものを動きベクトルＰＶに出力する。
【００３６】
次に、ブロック単位動きベクトル生成部７の一構成例を図４を用いて説明する。図において、補正誤差算出部１３は、動きベクトルBVpによるブロック単位の動き補正誤差ERpを演算する。則ち、現フレームの信号Ｓ２と、前フレームの信号Ｓ３を動きベクトルBVpで位置を移動させた信号との絶対値差分成分を計算する。また、補正誤差算出部１４は、動きベクトルBVbによるブロック単位の動き補正誤差ERbを演算する。則ち、現フレームの信号Ｓ２と、前フレームの信号Ｓ３を動きベクトルBVbで位置を移動させた信号との絶対値差分成分を計算する。
【００３７】
静動ブロック判定部１５は、ブロック単位（例えば１６画素ｘ１６ラインあるいは８画素ｘ８ライン）で、動き検出信号ＭＩ１の１の有無を検出する。そして、信号ＭＩ１が全て０の時は静止ブロックと判定して信号ＢＭに０、それ以外の時は動画ブロックと判定して１を出力する。
【００３８】
設定部１６は、信号ＢＭが０の静止ブロックでは、ブロック単位動きベクトル信号ＢＶＣに０を出力する。一方、信号ＢＭが１の動画ブロックでは、動き補正誤差ERp，ERbの値を最小にする動きベクトルをブロック単位動きベクトル信号ＢＶＣに出力する。
【００３９】
次に、画素単位動きベクトル生成部８の第１の構成例を図５に示す。これは、以下の図６、図７に沿った信号処理を行うに好適なものである。
【００４０】
補正誤差算出部１７は、図６に示す信号処理のフローチャートの第１ステップの処理を行う。則ち、現フレームの信号Ｓ２、前フレームの信号Ｓ３の輝度信号成分に対し、ブロック単位動きベクトルＢＶＣによる動き補正誤差を算出する。そして、この誤差の値が閾値ＴＨ未満の場合は信号ＰＭに０、閾値ＴＨ以上の場合は１を出力する。
【００４１】
制御部１８は、信号ＰＭと動き検出信号ＭＩ２を基に、図６の第２、第３ステップの信号処理に必要な制御信号ＰＣ１とＰＣ２を生成する。
【００４２】
補正誤差算出部２０−１、…、２０−Ｎは、図６の第２ステップの閾値以上の場合の信号処理を行う。則ち、制御信号ＰＣ１が閾値以上を示す時、図７に示すように、参照動きベクトル生成部１９で生成する、現ブロックの動きベクトルＶ０と、これに隣接する参照ブロックに対応する動きベクトルＶ１、…、ＶＮで、ミニブロック（例えば水平ＭＸ＝２、垂直ＭＹ＝２の２画素ｘ２ライン）毎に、これを内包する水平４（ＭＸ＋２）画素、垂直４（ＭＹ＋２）ラインの算出領域での動き補正誤差ＥＲ０、ＥＲ１、…、ＥＲＮを算出する。なお、この動き補正誤差の算出は、現フレ−ムの信号Ｓ２と前フレ−ムの信号Ｓ３の輝度信号成分、もしくは輝度信号成分と色差信号成分、のいずれかに対し、（数１）に示す演算で実現できる。
【００４３】
【数１】
ER0=Σabs{S2(x,y)-S3(V0)}=Σabs{S2(x,y)-S3(x+V0x,y+V0y)}
ER1=Σabs{S2(x,y)-S3(V1)}=Σabs{S2(x,y)-S3(x+V1x,y+V1y)}
ER2=Σabs{S2(x,y)-S3(V2)}=Σabs{S2(x,y)-S3(x+V2x,y+V2y)}
…………………………………………………………………………
ERN=Σabs{S2(x,y)-S3(VN)}=Σabs{S2(x,y)-S3(x+VNx,y+VNy)} （数１）
（数１）で、Ｓ２(ｘ,ｙ)は算出領域内の現フレームの画素の信号、Ｓ３(ＶＮ)は動きベクトルＶＮで位置を移動させた前フレームの画素の信号、abs{ }は絶対値、Σは算出領域内の画素の総和、ＶＮｘは動きベクトルＶＮのｘ成分、ＶＮｙはｙ成分である。
【００４４】
画素動きベクトル設定部２１は、図６の第２ステップの閾値未満および第３ステップの信号処理を行う。則ち、制御信号ＰＣ２が閾値未満を示す場合は、現ブロックの動きベクトルＶ０を画素単位動きベクトルＰＶに出力する。一方、ＰＣ２が閾値以上を示す場合は、動き補正誤差ＥＲ０、ＥＲ１、…、ＥＲＮの内で最少値をとる動きベクトルを各ミニブロック内の画素の動きベクトルとして出力する。また、制御信号ＰＣ２が動き検出信号ＭＩ２が０の画素を示す時は、画素単位動きベクトルＰＶに０を出力する。
【００４５】
図８は、画素単位動きベクトル生成部８の第２の構成例を示す図である。そして、図９に示す信号処理で画素単位の動きベクトルを生成する。
【００４６】
補正誤差算出部１７は、図５に示したものと同じで、図９（ａ）に示す第１ステップの処理を行い、ブロック単位の動き補正誤差の値が閾値ＴＨ未満の場合は信号ＰＭに０、閾値ＴＨ以上の場合は１を出力する。
【００４７】
制御部１８は、信号ＰＭと動き検出信号ＭＩ２を基に、図９（ａ）に示す第２、第３ステップの信号処理に必要な制御信号ＰＣ３、ＰＣ２を生成する。
【００４８】
再探索第１処理部２２、再探索第２処理部２３、再探索第３処理部２４は、図９（ａ）の第２ステップの信号処理を行う。則ち、制御信号ＰＣ３が閾値以上を示す時には、動きベクトルの再探索処理を行う。まず、再探索第１処理部２２では、図９（ｂ）に示すように、ブロックサイズが水平、垂直とも１／２のサイズに縮小したサブブロックＳＢ１毎に、動きベクトルＢＶＣを参照ベクトルとしてブロックマッチング処理を行い、再探索したＳＢ１単位の動きベクトルＰＶ１を出力する。次に、再探索第２処理部２３では、サブブロックＳＢ１を水平、垂直ともに１／２に縮小したサブブロックＳＢ２毎に、動きベクトルＰＶ１を参照ベクトルとしてブロックマッチング処理を行い、再探索したＳＢ２単位の動きベクトルＰＶ２を出力する。再探索第３処理部２４は、サブブロックＳＢ２を水平、垂直ともに１／ｎに縮小したミニブロックサイズのサブブロックＳＢＮ毎に、動きベクトルＰＶ２を参照ベクトルとしてブロックマッチング処理を行い、再探索したＳＢＮ単位の動きベクトル、則ち、ミニブロック単位の動きベクトルＰＶ３を出力する。一方、制御信号ＰＣ３が閾値未満を示す時は、再探索第１処理部２２、再探索第２処理部２３、再探索第３処理部２４は、再探索処理の動作を中止し、動きベクトルＰＶ３に現ブロックの動きベクトルＢＶＣを出力する。
【００４９】
画素動きベクトル設定部２５は、図９（ａ）の第３ステップの信号処理を行う。則ち、制御信号ＰＣ２が動き検出信号ＭＩ２が０の画素を示す時は、画素単位動きベクトルＰＶに強制的に０を出力する。一方、ＰＣ２が動き検出信号ＭＩ２が１の画素を示す時は、画素単位動きベクトルＰＶにＰＶ３を出力する。
【００５０】
図１０は、画素単位動きベクトル生成部８の第３の構成例を示す図である。これは、図１１に従った信号処理を行うに好適なもので、図５の構成に再探索処理部２６を追加することで実現する。
【００５１】
再探索処理部２６は、制御信号ＰＣ４が閾値以上を示す場合は、ブロックサイズを水平、垂直ともに１／２に縮小したサブブロックＳＢ１毎に、現ブロックの動きベクトルＢＶＣを参照ベクトルとしたブロックマッチング処理を行い、再探索したＳＢ１単位の動きベクトルＰＶ１を出力する。一方、ＰＣ４が閾値未満を示す場合は、再探索動作を中止して、現ブロックの動きベクトルＢＶＣを出力する。
そして、図１１の第２ステップの閾値以上の信号処理で参照ベクトルとして使用するサブブロックＳＢ１単位の動きベクトルＰＶ１を生成する。
【００５２】
以降の動作は、図５に示したものと同様であるので、説明は省略する。
【００５３】
図１２は、画素単位動きベクトル生成部８の第４の構成例を示す図で、図１３（ａ）、（ｂ）に示す信号処理で画素単位の動きベクトルを生成する。
【００５４】
補正誤差算出部１７は、図５に示したものと同じで、図１３（ａ）に示すフローチャートの第１ステップの処理を行い、ブロック単位の動き補正誤差の値が閾値ＴＨ未満の場合は信号ＰＭに０、閾値ＴＨ以上の場合は１を出力する。
【００５５】
制御部１８は、信号ＰＭと動き検出信号ＭＩ２を基に、図１３（ａ）に示すフローチャートの第２、第３ステップの信号処理に必要な制御信号ＰＣ５、ＰＣ２を生成する。
【００５６】
再探索第１処理部２７、再探索第２処理部２８、再探索第３処理部２９は、図１３（ａ）の第２ステップの信号処理を行う。則ち、制御信号ＰＣ５が閾値以上を示す時には、図１３（ｂ）に示すように、ブロックサイズを縮小したブロックについて動きベクトルの再探索処理を行う。まず、再探索第１処理部２７は、ブロックサイズを水平、垂直とも１／２のサイズに縮小したサブブロックＳＢ１毎に、動きベクトルＢＶＣを参照ベクトルとしてブロックマッチング処理を行い、再探索したＳＢ１単位の動きベクトルＰＶ１を出力する。また、再探索第２処理部２８は、ブロックサイズを水平、垂直ともに１／４に縮小したサブブロックＳＢ２毎に、動きベクトルＢＶＣを参照ベクトルとしてブロックマッチング処理を行い、再探索したＳＢ２単位の動きベクトルＰＶ２を出力する。一方、再探索第３処理部２９は、ブロックサイズを水平、垂直ともに１／ｎに縮小したミニブロックサイズのサブブロックＳＢＮ毎に、動きベクトルＢＶＣを参照ベクトルとしてブロックマッチング処理を行い、再探索したＳＢＮ単位の動きベクトル、則ち、ミニブロック単位の動きベクトルＰＶ３を出力する。一方、制御信号ＰＣ５が閾値未満を示す時は、再探索第１処理部２７、再探索第２処理部２８、再探索第３処理部２９は、再探索処理の動作を中止し、ＰＶ１、ＰＶ２、ＰＶ３に現ブロックの動きベクトルＢＶＣを出力する。
【００５７】
画素動きベクトル設定部３０は、図１３（ａ）の第２ステップの閾値未満および第３ステップの信号処理を行う。則ち、制御信号ＰＣ２が閾値未満を示す場合は、現ブロックの動きベクトルＰＶ１を画素単位動きベクトルＰＶに出力する。一方、閾値以上を示す場合は、ＰＶ１、ＰＶ２、ＰＶ３の内で動き補正誤差が最少値をとる動きベクトルを各ミニブロック内の画素の動きベクトルとして出力する。
【００５８】
また、制御信号ＰＣ２が動き検出信号ＭＩ２が０の画素を示す時は、画素単位動きベクトルＰＶに強制的に０を出力する。
【００５９】
次に、図１の動き補正フレーム数変換部５の構成例を、図１４乃至図１６で説明する。
【００６０】
図１４は、その第１の構成例で、フレーム順制御部３１は、画素単位動きベクトルＰＶより動き補正処理に必要な補正補間動きベクトルVctとVprを生成する。フレーム周波数５０Ｈｚの信号をフレーム周波数が６０Ｈｚの信号にフレーム数変換を行う場合を例に、この動作を図１６（ａ）、（ｂ）に示す。フレーム周波数５０Ｈｚの順次走査信号は、フレーム順の１から５の信号に対し、同図に示す様に動きベクトルＰＶを基に補正型の信号処理で内挿フレームを生成し、フレーム順１から６のフレーム周波数が６０Ｈｚの順次走査の信号に変換する。この際、補正補間動きベクトルは、内挿するフレーム位置と合致させる必要がある。そこで、同図に示す様に、動きベクトル信号ＰＶに係数加重する係数値ｋａ,ｋｂを変化させ、（数２）に示す演算で補正補間動きベクトルVpr、Vctを生成する。
【００６１】
【数２】
Vpr=PV*ka/(ka+kb)
Vct=-PV*kb/(ka+kb) （数２）
則ちフレーム順が２の内挿フレームは、Vpr＝ＰＶ*5/6,Vct＝−ＰＶ*1/6(ka=5,kb=1)、３のものは、Vpr＝ＰＶ*4/6,Vct＝−ＰＶ*2/6(ka=4,kb=2)…の如く、係数値ｋａ，ｋｂを発生させ、時間方向での位置ずれのない補正補間動きベクトルを生成する。この結果、時間方向での揺らぎのないフレーム数変換を実現する。
【００６２】
動き補正信号生成部３２では、現フレームの信号Ｓ２と補正補間動きベクトルVctで動き補正信号Sctを生成する。また、動き補正信号生成部３３は、前フレームの信号Ｓ３と補正補間動きベクトルVprで動き補正信号Sprを生成する。この動作概略を図１６（ｃ）に示す。内挿フレームの点A（x,y）の信号は、前フレームの信号Ｓ３では、点A(x,y)を補正補間動きベクトルVpr(水平方向成分Vprx,垂直方向成分Vpry)で移動させた点A'(x1,y1)=(x＋Vprx,y＋Vpry)の位置の信号、現フレームの信号Ｓ２では点A(x,y)を補正補間動きベクトルVct(水平方向成分Vctx,垂直方向成分Vcty)で移動させた点A”(x2,y2)=(x−Vctx,y−Vcty)の位置の信号に対応する。従って、動き補正信号SprとSctは、以下の（数３）で生成する。
【００６３】
【数３】
Spr=Ｓ３(x＋Vprx,y＋Vpry)
Sct=Ｓ２(x−Vctx,y−Vcty) （数３）
この信号処理は、動き補正信号生成部に内蔵のメモリ回路の読み出し動作を制御することで実現する。則ち、読み出しのためのアドレスを補正補間動きベクトルVpr,Vctの位置だけずらせたアドレスを生成し、このアドレスで点A',A”に対応した画素の信号を読み出す。
【００６４】
加算部３４は、両者の動き補正信号SprとSctとの加算平均を行い、その出力に動き補正のフレーム数変換でフレーム周波数をアップした順次走査の画像信号Ｓ４を得る。
【００６５】
図１５は、動き補正フレーム数変換部５の第２の構成例を示す図である。これは、モーションジャダー妨害が目立ちやすい速度の動き、あるいは水平パンや上下パンや文字スクロールなどの特殊な動きの場合のみ、動き補正のフレーム内挿処理を行うものである。
【００６６】
同図のフレーム順制御部３１、動き補正信号生成部３２,３３、加算部３４は、図１４と同じ動作を行い、加算部３４の出力に動き補正のフレーム内挿処理した信号Smcを得る。
【００６７】
動き速度検出部３５は、画素単位動きベクトルＰＶを基に、モーションジャダー妨害が目立ちやすい速度の動き、あるいは水平パンや上下パンや文字スクロールなどの特殊な動きを検出する。
【００６８】
例えば、モーションジャダー妨害は、１秒／画面幅、１秒／画面高程度までの視線が追従できる動きの場合に特に目立ち易いという性質が知られている。従って、動き速度検出部では、１秒／画面幅、１秒／画面高程度に相当する速度を閾値とする動きベクトルＰＶの速度成分の判定を行い、閾値未満の速度では１、以上では０の信号ＳＬを出力する第１の動作で、この検出ができる。
【００６９】
また、水平パンや上下パンでは画面全体が一様な速度で動く。従って、動き速度検出部では、画素単位動きベクトルＰＶ≠０のものの大きさと方向を全画面領域にわたり計測し、これがほぼ同じ値をとる場合のみ、全ての画面領域で１を信号ＳＬに出力する第２の動作で、この検出ができる。
【００７０】
一方、文字スクロールなどでは、動き領域の形状が帯状で、かつ、この領域での動きベクトルはほぼ同じ値になる。従って、動き速度検出部では、画素単位動きベクトルＰＶ≠０のものの大きさと方向がほぼ同一となる帯状の領域を検出し、この領域のみ１を信号ＳＬに出力する第３の動作で、この検出ができる。
【００７１】
なお、動き速度検出部は、第１、第２、第３のいずれか１つの動作、もしくはこれらを組み合わせた動作など、種々の動作形態のもので実現できる。
【００７２】
スイッチ部３６は、信号ＳＬが１の時は、現フレームの信号Ｓ２を選択し、信号ＳＬが０の時は、信号Smcを選択する。そして、この出力に、モーションジャダー妨害が目立ちやすい速度の動き、あるいは水平パンや上下パンや文字スクロールなどの特殊な動きの領域のみを動き補正のフレーム内挿処理した順次走査の画像信号Ｓ４を得る。
【００７３】
以上に述べた如く、本実施例によれば、動き補償予測符号化の動きベクトル情報を用いることで、極めて少ない演算量で動き補正のフレーム数変換に必要な画素単位の動きベクトルを高精度に生成できる。このため、動き補正のフレーム数変換の動きベクトルの生成、および装置の低コスト化、高画質化に顕著な効果が得られる。
【００７４】
次に、本発明の第２の実施例について、図１７のブロック構成図で説明する。本実施例は、シーンチェンジの領域では動き補正処理の信号処理を中止する動作を行うに好適なものである。
【００７５】
同図のＭＰＥＧデコーダ部１、ＩＰ変換部２、１フレーム遅延部３、動きベクトル生成部４、動き補正フレーム数変換部５は、図１に示した第１の実施例と同一の構成、動作を行うので、説明は省略する。
【００７６】
シーンチェンジ検出部３７は、１フレーム期間でのフレーム間差分信号成分の発生形態よりシーンチェンジの発生した領域を検出する動作を行う。この一構成例を図１８に示す。減算部３８は、現フレームの信号Ｓ２と、前フレームの信号Ｓ３の輝度信号成分に対して減算演算を行い、１フレーム間の差分成分ＦＤを抽出する。一般に、シーンチェンジの領域では、画像の内容が切り替わるため、差分成分ＦＤの信号レベルは比較的大きな値を持つ。そこで、２値量子化部３９は比較的高いレベルの閾値±Ｔｈｂで信号ＦＤを画素毎に２値量子化する。そして、閾値±Ｔｈｂ未満の画素は０、閾値を越える画素は１を信号ＱＳに出力する。１フレーム累積部４０は、１フレーム期間で信号ＱＳが１のものの画素の数を計測し、１フレーム期間での累積値ＡＱを出力する。判定部４１は、画面全体が一様な速度で動く水平パンや上下パンの動きを誤ってシーンチェンジと検出する誤動作を避けるため、累積値ＡＱの値が全画面の半分以上の画素数で、かつ、その発生が１フレーム期間に限られる場合をシーンチェンジ領域と判定し、信号ＳＣＦに１フレームの期間にわたり１を出力する。これ以外の場合は０を出力する。
【００７７】
なお、動きベクトル生成部４は、信号ＳＣＦが１の期間は、動きベクトルの生成の動作を中止する。また、動き補正フレーム数変換部５は、信号ＳＣＦが１の期間は、優先的に、現フレームの信号Ｓ２を選択してＳ４に出力する。
【００７８】
以上に述べた如く、本実施例によれば、動き補償予測符号化の動きベクトル情報を用いることで、極めて少ない演算量で動き補正のフレーム数変換に必要な画素単位の動きベクトルを高精度に生成できる。また、シーンチェンジ領域における動きベクトル探索や生成のための膨大な演算量の発生が回避できる。このため、動き補正のフレーム数変換の動きベクトルの生成、および装置の更なる低コスト化、高画質化に顕著な効果が得られる。
【００７９】
次に、本発明の第３の実施例について、図１９に示すブロック構成図で説明する。本実施例は、図１の第１の実施例の構成に、更に、画像信号の走査線数変換や画像サイズの縮小拡大変換の機能を付加したものである。
【００８０】
ＭＰＥＧデコーダ部１は、ＭＰＥＧ符号化されたビットストリーム信号ＤＳの復号処理を行い、復号した画像信号シーケンスの信号Ｓ１と、動きベクトル情報ＭＶ（Ｐ，Ｂピクチャの動きベクトルMVp,MVbならびに符号化パラメタ情報）を出力する。
【００８１】
ＩＰ変換部２は、飛び越し走査の画像信号に対しては、飛び越し走査で抜けた走査線の信号を補間処理で生成し、順次走査の画像信号Ｓ２に変換する。この信号処理は、例えば従来技術の動き適応型の走査変換で実現する。
【００８２】
動きベクトル生成部４は、現フレームの信号Ｓ２と、これを１フレーム遅延部３で１フレーム期間遅延させた前フレームの信号Ｓ３と、動きベクトル情報ＭＶをもとに、前述した動きベクトル変換、ブロック単位、画素単位動きベクトル生成の信号処理を行い、動き補正のフレーム数変換に使用する画素単位の動きベクトルＰＶを生成する。
【００８３】
動き補正フレーム数変換部５は、画素単位動きベクトルＰＶをもとに補正補間動きベクトルを作り、現フレームの信号Ｓ３と前フレームの信号Ｓ４の画像の位置をこの補正補間動きベクトルで移動させた信号で、内挿フレームの信号を生成する。そして、この出力に動き補正のフレーム内挿処理でフレームレートを変換した順次走査の画像信号Ｓ４を得る。
【００８４】
スケーリング処理部４２は、走査線数の変換（例えばＰＡＬ方式やＮＴＳＣ方式の信号からＨＤＴＶ方式の信号への変換、パソコン画像のＶＧＡ系やＳＶＧＡ系への変換などに必要な走査線数変換）、アスペクト比の変換（４：３系と１６：９系）、マルチウィンドウ表示のための画像サイズの任意拡大縮小などの信号処理を行う。なお、この構成は従来技術で容易に実現できるので説明は省略する。
以上に述べた如く、本実施例によれば、多種入力ソースの信号を多種ディスプレイに表示するための画像フォーマット変換信号処理装置を、低コストで実現できる。
【００８５】
次に、本発明の第４の実施例について、図２０に示すブロック構成図で説明する。本実施例は、図１７の第２の実施例の構成に、更に、画像信号の走査線数変換や画像サイズの縮小拡大変換の機能を有するスケーリング処理部４２を追加して構成する。
【００８６】
スケーリング処理部４２は、第３の実施例と同様、走査線数の変換、アスペクト比の変換、マルチウィンドウ表示のための画像サイズの任意拡大縮小などの信号処理を行う。なお、この構成は従来技術で容易に実現できるので説明は省略する。
以上に述べた如く、本実施例によれば、多種入力ソースの信号を多種ディスプレイに表示するための画像フォーマット変換信号処理装置を、低コストで実現できる。
なお、以上の実施例では、フレーム周波数が５０Ｈｚ−６０Ｈｚ変換の場合を例に説明した。しかし、これに限らず、フレーム周波数２４Ｈｚのフィルム画像−フレーム周波数６０Ｈｚのフレーム数変換や、テレビジョン信号−パソコン画像信号のフレーム数変換など、各種のフレーム数変換に本実施例が適用できることは明らかである。
【００８７】
これらの実施例においては、動き補償予測符号化の動きベクトル情報を用いることで、極めて少ない演算量で動き補正のフレーム数変換に必要な画素単位の動きベクトルを生成できる。このため、動き補正のフレーム数変換の動きベクトルの生成、およびフレーム数変換装置、さらには画像フォーマット変換装置の低コスト化、高画質化に顕著な効果が得られる。
【００８８】
【発明の効果】
本発明によれば、高画質かつ低コストで動き補正のフレーム数変換を行いうる動きベクトルの生成方法および装置を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る第１の実施例を示すブロック構成図である。
【図２】動きベクトル生成部の一構成例を示す図である。
【図３】動きベクトル変換部の一構成例を示す図である。
【図４】ブロック単位動きベクトル生成部の一構成例を示す図である。
【図５】画素単位動きベクトル生成部の第１の構成例を示す図である。
【図６】画素単位動きベクトル生成処理のフローチャートを示す図である。
【図７】画素単位動きベクトル生成の動作概略を示す図である。
【図８】画素単位動きベクトル生成部の第２の構成例を示す図である。
【図９】（ａ）、（ｂ）はそれぞれ画素単位動きベクトル生成方法の概略を示す図である。
【図１０】画素単位動きベクトル生成部の第３の構成例を示す図である。
【図１１】画素単位動きベクトル生成方法の概略を示す図である。
【図１２】画素単位動きベクトル生成部の第４の構成例を示す図である。
【図１３】（ａ）、（ｂ）はそれぞれ画素単位動きベクトル生成方法の概略を示す図である。
【図１４】動き補正フレーム数変換部の第１の構成例を示す図である。
【図１５】動き補正フレーム数変換部の第２の構成例を示す図である。
【図１６】（ａ）乃至（ｃ）はそれぞれフレーム順制御部と動き補正信号生成部の動作概略を示す図である。
【図１７】本発明に係る第２の実施例を示すブロック構成図である。
【図１８】シーンチェンジ検出部の一構成例を示す図である。
【図１９】本発明に係る第３の実施例を示すブロック構成図である。
【図２０】本発明に係る第４の実施例を示すブロック構成図である。
【図２１】ＭＰＥＧ符号化におけるＭＣフレーム間予測の概略を示す図である。
【図２２】動き補正フレーム数変換用動きベクトルへの変換動作の概略を示す図である。
【符号の説明】
１ ＭＰＥＧデコーダ部
２ ＩＰ変換部
３ １フレーム遅延部
４ 動きベクトル生成部
５ 動き補正フレーム数変換部
６ 動きベクトル変換部
７ ブロック単位動きベクトル生成部
８ 画素単位動きベクトル生成部
９ 動き検出部
【発明の属する技術分野】
本発明は動きベクトルの生成方法および装置に係り、特に動き補正の信号処理で内挿フレーム信号を生成するフレーム数変換に好適な動きベクトルの生成方法および装置に関する。
【０００２】
【従来の技術】
近年、マルチメディアの進展に伴い、各種方式のテレビジョン信号やパソコン画像などをマルチウィンドウ表示する使用形態が多くなってきた。また、表示部も従来のＣＲＴの他、ＰＤＰやＬＣＤなどの平面ディスプレイも使用されるようになってきた。しかしながら、各種入力ソースでは、画像のフレーム周波数や走査線数や１画面の画素数が異なっている。また、各種ディスプレイでは、走査形態や表示画素数が様々である。このため、入力ソースの信号を表示系に合った信号に変換する画像フォーマット変換の信号処理が必要となる。
【０００３】
この画像フォーマット変換では、飛び越し走査−順次走査を変換する走査変換や、フレームレートを変換するフレーム数変換、あるいは走査線数や画像サイズを変換するスケーリング処理の信号処理が必要である。このうち、走査変換やスケーリング処理は、従来技術を用いて比較的簡単な信号処理で実現できる。これに対して、フレーム数変換は、単純な駒落としや駒繰り返しの処理で実現することも可能であるが、この場合には動き画像で滑らかさが損なわれるモーションジャダーなどの画質劣化が発生し、画質が大幅に劣化するという問題がある。
【０００４】
この問題を解決する技術としては、動き補正のフレーム数変換法が知られている。これは、動きベクトルで前後のフレームの画像位置を移動させて内挿フレームの信号を生成するもので、動き画像のモーションジャダーの除去には極めて有効である。
【０００５】
一方、画像の高能率符号化の分野では、国際標準規格であるＭＰＥＧ符号化など、動き補償フレーム間予測符号化をベースとした方式が主流となり、ＴＶ会議やデジタル放送などに広く用いられるようになってきた。この動き補償フレーム間予測符号化では、送信側では、動きベクトルで画像の位置を移動させて生成した予測フレームと現フレームとの差分を予測誤差成分として抽出し、これと動きベクトルの情報を伝送する。受信側では、伝送された動きベクトルと予測誤差成分より元の画像信号を復号する。
【０００６】
また、テレビ画像のための動き予測方法については、例えば特開平７−１７０４９６号公報に開示されている。この方法は、１つの注目ブロックの動きベクトルおよび３つの隣接するブロックの動きベクトルを用いて、１つの画素の動きベクトルを計算するものである。これにより、大きなブロックの信頼性という利点と、より局在的な位置決定の動きベクトルの性能を兼ね備える装置を提供することができる、とするものである。
【０００７】
【発明が解決しようとする課題】
従来の動き補正のフレーム数変換法においては、動きベクトルの探索、生成に膨大な演算量が必要なため、装置規模が大きくなり価格も極めて高価となっている。このため、その用途は、放送分野の番組交換などの特殊な用途に限られている。一方、画像の高能率符号化の分野では、動きベクトル情報はもっぱら画像信号の復号化処理に使われているにすぎない。また、上述したテレビ画像のための動き予測方法では、画素単位の動きベクトルの精度に問題があり、正確な動きベクトルを得ることができず、画質劣化が発生するおそれがある。
【０００８】
従って本発明の目的は、動き補正のフレーム数変換を高画質かつ低コストで行うのに好適な動きベクトルの生成方法および装置を提供することにある。
【０００９】
【課題を解決するための手段】
本発明は、動きベクトル情報を含む情報が符号化された信号を復号化する工程と、前記復号化された動きベクトル情報に基づいて１フレーム期間での動きベクトルを生成する工程と、現フレームの信号と前フレームの信号から画像の動きを検出する工程と、前記動きを検出する工程により動きを検出しないブロックにはブロック単位動きベクトルとして０を割り当て、動きを検出したブロックには前記１フレーム期間での動きベクトルのうち最少の動き補正誤差を有するものをブロック単位動きベクトルとして割り当てるブロック単位動きベクトルを生成する工程と、前記動きを検出する工程により動きを検出しない画素には画素単位動きベクトルとして０を割り当て、動きを検出した画素には前記ブロック単位の動き補正誤差が閾値未満のときはブロック内の画素に前記ブロック単位動きベクトルを割り当て、閾値以上のときは現ブロックと隣接ブロックの動きベクトルを用いて前記ブロックを縮小したミニブロックを内包する算出領域のうち最少の動き補正誤差を有するものを画素単位動きベクトルとして割り当てる画素単位動きベクトルを生成する工程とを備えたことを特徴とする動きベクトルの生成方法である。
【００１０】
本発明は、動きベクトル情報を含む情報が符号化された信号を復号化する復号化部と、前記復号化された動きベクトル情報にもとづいて１フレーム期間での動きベクトルを生成する動きベクトル変換部と、現フレームの信号と前フレームの信号から画像の動きを検出する動き検出部と、前記動き検出部により動きを検出しないブロックにはブロック単位動きベクトルとして０を割り当て、動きを検出したブロックには前記１フレーム期間での動きベクトルのうち最少の動き補正誤差を有するものをブロック単位動きベクトルとして割り当てるブロック単位動きベクトル生成部と、前記動き検出部により動きを検出しない画素には画素単位動きベクトルとして０を割り当て、動きを検出した画素には前記ブロック単位の動き補正誤差が閾値未満のときはブロック内の画素に前記ブロック単位動きベクトルを割り当て、閾値以上のときは現ブロックと隣接ブロックの動きベクトルを用いて前記ブロックを縮小したミニブロックを内包する領域で算出した動き補正誤差のうち最少の動き補正誤差を有するものを画素単位動きベクトルとして割り当てる画素単位動きベクトル生成部とを備えたことを特徴とする動きベクトルの生成装置である。
【００１１】
本発明の前記動き検出部は、ＭＰＥＧ符号化された信号を復号化するものであり、前記動きベクトル変換部は、ＭＰＥＧ符号化におけるＰピクチャの動き補償予測符号化に使用する第１の動きベクトル、Ｂピクチャの動き補償予測符号化に使用する第２の動きベクトル、または第１及び第２の動きベクトルに係る動きベクトル情報をもとに、動きベクトル生成の信号処理を行うことを特徴とする。
【００１２】
本発明は、前記動き補正誤差の算出を画像信号の輝度信号成分を用いて行うことを特徴とする。
【００１３】
本発明は、前記動き補正誤差の算出を画像信号の輝度信号成分と色成分とを用いて行うことを特徴とする。
【００１４】
本発明の前記画素単位動きベクトル生成部は、前記閾値以上の場合に、前記閾値以上のときの割り当て処理に代えて、ブロックサイズを縮小したサブブロック毎に前記現ブロックの動きベクトルを参照ベクトルとしたブロックマッチング処理でサブブロックの動きベクトルを再探索し、前記サブブロックの動きベクトルと隣接ブロックのブロック単位動きベクトルとを参照ベクトルとし、ミニブロックを単位に算出した動き補正誤差が最少の参照動きベクトルを画素単位動きベクトルとしてミニブロック内の動きを検出した画素に割り当てることを特徴とする。
【００１５】
本発明の前記画素単位動きベクトル生成部は、前記閾値以上の場合に、前記閾値以上のときの割り当て処理に代えて、ブロックサイズを縮小した第１サブブロック毎に前記現ブロックの動きベクトルを参照ベクトルとしたブロックマッチング処理で第１サブブロックの動きベクトルを再探索し、次に、第１サブブロックのサイズを縮小した第２サブブロック毎に、第１サブブロックの動きベクトルを参照ベクトルとしたブロックマッチング処理で第２サブブロックの動きベクトルを再探索し、以下、ブロックサイズがミニブロックのサイズまでこの動作を逐次繰り返すことにより画素単位動きベクトルを生成することを特徴とする。
【００１６】
本発明の前記画素単位動きベクトル生成部は、前記閾値以上の場合に、前記閾値以上のときの割り当て処理に代えて、ブロックサイズをミニブロックのサイズまで段階的に縮小した第１サブブロック、第２サブブロック、第ｎサブブロックに対して、前記現ブロックの動きベクトルを参照ベクトルとしたブロックマッチング処理で第１、第２、第ｎ動きベクトルを再探索し、ミニブロックを単位に算出した前記第１、第２、第ｎ動きベクトルの内で動き補正誤差が最少なものを画素単位動きベクトルとして割り当てることを特徴とする。
【００１７】
このような技術的手段により、本発明では、動き補正のフレーム数変換に必要な画素単位の動きベクトルを、高精度、かつ、極めて少ない演算量で生成することができる。
【００１８】
【発明の実施の形態】
本発明の理解を容易とするため、始めにＭＰＥＧ符号化を例として、動き補償予測符号化の概略を簡単に説明する。
【００１９】
図２１は、ＭＰＥＧ符号化におけるＭＣフレーム間予測の概略図を示すものである。同図に示す時系列の画像信号シーケンスの各フレームは、記号Ｉ,Ｐ,Ｂで示すＩピクチャ、Ｐピクチャ、Ｂピクチャに分ける。そして、Ｉピクチャではフレーム内の離散コサイン変換（ＤＣＴ）符号化を行う。一方、Ｐ，Ｂピクチャでは動き補償予測符号化を行う。このうち、Ｐピクチャでは、図中のＰの記号で示すフレームの間で、動きベクトルMVpを用いた一方向予測で予測フレームの信号を生成し、これとの差分成分をＤＣＴ符号化する。また、Ｂピクチャでは、図中のＢの記号で示すフレームに対して同図に示す動きベクトルMVbを用いた双方向予測で予測フレームの信号を生成し、これとの差分成分をＤＣＴ符号化する。そして、ＩピクチャではＤＣＴ符号化成分、Ｐ，Ｂピクチャでは動き補償予測に用いた動きベクトルMVp,MVbの情報とＤＣＴ符号化した差分成分を伝送する。
【００２０】
図２２は、本発明における動き補正フレーム数変換用動きベクトルへの変換動作の概略を示すものである。周知の如く、動き補正のフレーム数変換では、画像信号シーケンスの１フレーム期間での動きベクトルが必要である。このため、Ｐピクチャ符号化時の動きベクトルMVp（図中のMVp1,MVp2,MVp3）に対しては、それをＰピクチャ期間のフレーム数（同図では３）で除した変換動きベクトルBVp(図中のMVp1/3,MVp2/3,MVp3/3)を生成し、これを１フレーム期間の動きベクトルＢＶとする。一方、Ｂピクチャ符号化時の動きベクトルMVbに対しては、その１フレーム期間の動きベクトル(図のMVb11,MVb12,MVb21,MVb22,MVb31、MVb32)を用いて変換動きベクトルBVbを生成し、これを１フレーム期間の動きベクトルＢＶとする。
【００２１】
以上に述べた動きベクトル変換の技術的手段で、動き補償予測符号化の動きベクトル情報より動き補正のフレーム数変換に必要な１フレーム期間の動きベクトルを簡単に生成できる。なお、この動きベクトル変換で得られる動きベクトルは、ブロック単位（水平８画素ｘ垂直８ライン）あるいはマクロブロック単位（水平１６画素ｘ垂直１６ライン)での動きベクトルである。
【００２２】
動き補正のフレーム数変換では、動きベクトルの精度が悪い場合には、画像の一部が不適切な画像に置き換えられる孤立点的な劣化が発生する。これを回避するため、本発明においては、以下に述べるブロック単位、画素単位の動きベクトル生成の２段階の信号処理を採用する。
【００２３】
ブロック単位動きベクトル生成では、まず、フレーム差分信号で動きを検出しないブロック（静止ブロック）と、動きを検出したブロック（動画ブロック）とに分別する。そして、静止ブロックには動きベクトルＢＶＣに０を割り当てる。一方、動画ブロックには、上述した動きベクトル変換の信号処理で生成する動きベクトルＢＶ(BVp,BVb)のうちで、ブロック単位の動き補正誤差を演算し、これが最少なものを動きベクトルＢＶＣに割り当てる。
【００２４】
画素単位動きベクトル生成では、まず、動きベクトルＢＶＣで現ブロックでの動き補正誤差を算出し、閾値ＴＨとの大小比較を行う。そして、閾値ＴＨ未満の場合は、動きベクトルＢＶＣは正確と判定し、この動きベクトルＢＶＣをブロック内の動きを検出した全ての画素に割り当てる。一方、閾値ＴＨ以上の場合は、現ブロック及びこれに隣接する参照ブロックの動きベクトルを用い、ミニブロック（例えば水平ＭＸ画素ｘ垂直ＭＹライン）毎に、ミニブロックを内包する水平ＭＸ＋２、垂直ＭＹ＋２の算出領域で動き補正誤差を最少にする動きベクトルＰＶを求める。そして、ミニブロック内の動きを検出した画素には、この動きベクトルＰＶを割り当てる。また、フレーム差分信号成分が零の画素には、動きベクトルＰＶに０を割り当てる。
【００２５】
以上に述べた技術的手段で、動き補正のフレーム数変換に必要な画素単位の動きベクトルを、高精度、かつ、極めて少ない演算量で生成できる。
【００２６】
図１は、本発明の第１の実施例を示すブロック構成図である。同図の１はＭＰＥＧデコーダ部、２はＩＰ変換部、３は１フレーム遅延部、４は動きベクトル生成部、５は動き補正フレーム数変換部である。
【００２７】
ＭＰＥＧデコーダ部１は、ＭＰＥＧ符号化されたビットストリーム信号ＤＳの復号処理を行い、復号した画像信号シーケンスの信号Ｓ１と、動きベクトル情報ＭＶ（Ｐ，Ｂピクチャの動きベクトルMVp,MVbならびに符号化パラメタ情報）を出力する。なお、この信号処理や構成は従来技術で容易に実現出来る。
【００２８】
ＩＰ変換部２は、飛び越し走査の画像信号に対しては、飛び越し走査で抜けた走査線の信号を補間処理で生成し、順次走査の画像信号Ｓ２に変換する。この信号処理は、例えば従来技術の動き適応型の走査変換で実現する。
【００２９】
動きベクトル生成部４は、現フレームの信号Ｓ２と、これを１フレーム遅延部３で１フレーム期間遅延させた前フレームの信号Ｓ３と、動きベクトル情報ＭＶをもとに、前述した動きベクトル変換、ブロック単位、画素単位動きベクトル生成の信号処理を行い、動き補正のフレーム数変換に使用する画素単位の動きベクトルＰＶを生成する。この具体的な構成については後述する。
【００３０】
動き補正フレーム数変換部５は、画素単位動きベクトルＰＶをもとに補正補間動きベクトルを作り、現フレームの信号Ｓ３と前フレームの信号Ｓ２の画像の位置を、この補正補間動きベクトルで移動させた信号で内挿フレームの信号を生成する。そして、この動き補正のフレーム内挿処理でフレームレートを変換した順次走査の画像信号Ｓ４を出力として得る。なお、この具体的な構成についても後述する。
【００３１】
以下、本実施例における主要ブロック部について説明する。
【００３２】
図２は動きベクトル生成部４の一構成例を示す図である。動きベクトル変換部６は、動きベクトル情報ＭＶをもとに、図２２に示した動作の動きベクトル変換の信号処理を行い、１フレーム期間での動きベクトルＢＶを生成する。この具体的な一構成例を図３に示す。同図のＰピクチャベクトル変換部１０は、動きベクトル情報ＭＶのＰピクチャ符号化で使用する動きベクトルMVpに対して、１／ｎ（ｎはＰピクチャ間のフレーム数）に変換する信号処理で変換動きベクトルBVpを生成する。また、Ｂピクチャベクトル変換部１１は、動きベクトル情報ＭＶのＢピクチャ符号化で使用する動きベクトルMVbに対し、１フレーム期間の動きベクトルを選択して変換動きベクトルBVbを生成する。なお、MVbのうちの複数フレーム期間（例えばｍフレーム）の動きベクトルを１／ｍに変換する信号処理を併せて行い、より多くの変換動きベクトルBVbを生成することもできる。制御部１２は、動きベクトル情報の符号化パラメタをもとに、各変換部の動作に必要な制御信号ＣＴを生成する。
【００３３】
図２に戻り、動き検出部９は、現フレームの信号Ｓ２と前フレームの信号Ｓ３の輝度信号成分の減算演算を行い、１フレーム間の差分信号成分を抽出する。そして、動き検出信号ＭＩ１には、この信号レベルが設定値±Ｔｈａ未満の場合は静止領域と判定して０、±Ｔｈａを越える場合は動画領域と判定して１の信号を出力する。また、動き検出信号ＭＩ２には、この信号レベルが０の場合は静止と判定して０、それ以外は動画と判定して１の信号を出力する。
【００３４】
ブロック単位動きベクトル生成部７は、動き検出信号ＭＩ１全て０のブロックは静止ブロックと判定し、出力動きベクトルＢＶＣに０を出力する。一方、動き検出信号ＭＩ１に１を含むブロックは動画ブロックと判定し、動きベクトルＢＶのうちでブロック単位の動き補正誤差が最少なものを動きベクトルＢＶＣに出力する。
【００３５】
画素単位動きベクトル生成部８は、動き検出信号ＭＩ２が０の画素には動きベクトルＰＶに０を出力する。一方、動き検出信号ＭＩ２が１の画素には、動きベクトルＢＶＣの現ブロックとこれに隣接するブロックの動きベクトルをもとに、動き補正誤差が最少なものを動きベクトルＰＶに出力する。
【００３６】
次に、ブロック単位動きベクトル生成部７の一構成例を図４を用いて説明する。図において、補正誤差算出部１３は、動きベクトルBVpによるブロック単位の動き補正誤差ERpを演算する。則ち、現フレームの信号Ｓ２と、前フレームの信号Ｓ３を動きベクトルBVpで位置を移動させた信号との絶対値差分成分を計算する。また、補正誤差算出部１４は、動きベクトルBVbによるブロック単位の動き補正誤差ERbを演算する。則ち、現フレームの信号Ｓ２と、前フレームの信号Ｓ３を動きベクトルBVbで位置を移動させた信号との絶対値差分成分を計算する。
【００３７】
静動ブロック判定部１５は、ブロック単位（例えば１６画素ｘ１６ラインあるいは８画素ｘ８ライン）で、動き検出信号ＭＩ１の１の有無を検出する。そして、信号ＭＩ１が全て０の時は静止ブロックと判定して信号ＢＭに０、それ以外の時は動画ブロックと判定して１を出力する。
【００３８】
設定部１６は、信号ＢＭが０の静止ブロックでは、ブロック単位動きベクトル信号ＢＶＣに０を出力する。一方、信号ＢＭが１の動画ブロックでは、動き補正誤差ERp，ERbの値を最小にする動きベクトルをブロック単位動きベクトル信号ＢＶＣに出力する。
【００３９】
次に、画素単位動きベクトル生成部８の第１の構成例を図５に示す。これは、以下の図６、図７に沿った信号処理を行うに好適なものである。
【００４０】
補正誤差算出部１７は、図６に示す信号処理のフローチャートの第１ステップの処理を行う。則ち、現フレームの信号Ｓ２、前フレームの信号Ｓ３の輝度信号成分に対し、ブロック単位動きベクトルＢＶＣによる動き補正誤差を算出する。そして、この誤差の値が閾値ＴＨ未満の場合は信号ＰＭに０、閾値ＴＨ以上の場合は１を出力する。
【００４１】
制御部１８は、信号ＰＭと動き検出信号ＭＩ２を基に、図６の第２、第３ステップの信号処理に必要な制御信号ＰＣ１とＰＣ２を生成する。
【００４２】
補正誤差算出部２０−１、…、２０−Ｎは、図６の第２ステップの閾値以上の場合の信号処理を行う。則ち、制御信号ＰＣ１が閾値以上を示す時、図７に示すように、参照動きベクトル生成部１９で生成する、現ブロックの動きベクトルＶ０と、これに隣接する参照ブロックに対応する動きベクトルＶ１、…、ＶＮで、ミニブロック（例えば水平ＭＸ＝２、垂直ＭＹ＝２の２画素ｘ２ライン）毎に、これを内包する水平４（ＭＸ＋２）画素、垂直４（ＭＹ＋２）ラインの算出領域での動き補正誤差ＥＲ０、ＥＲ１、…、ＥＲＮを算出する。なお、この動き補正誤差の算出は、現フレ−ムの信号Ｓ２と前フレ−ムの信号Ｓ３の輝度信号成分、もしくは輝度信号成分と色差信号成分、のいずれかに対し、（数１）に示す演算で実現できる。
【００４３】
【数１】
ER0=Σabs{S2(x,y)-S3(V0)}=Σabs{S2(x,y)-S3(x+V0x,y+V0y)}
ER1=Σabs{S2(x,y)-S3(V1)}=Σabs{S2(x,y)-S3(x+V1x,y+V1y)}
ER2=Σabs{S2(x,y)-S3(V2)}=Σabs{S2(x,y)-S3(x+V2x,y+V2y)}
…………………………………………………………………………
ERN=Σabs{S2(x,y)-S3(VN)}=Σabs{S2(x,y)-S3(x+VNx,y+VNy)} （数１）
（数１）で、Ｓ２(ｘ,ｙ)は算出領域内の現フレームの画素の信号、Ｓ３(ＶＮ)は動きベクトルＶＮで位置を移動させた前フレームの画素の信号、abs{ }は絶対値、Σは算出領域内の画素の総和、ＶＮｘは動きベクトルＶＮのｘ成分、ＶＮｙはｙ成分である。
【００４４】
画素動きベクトル設定部２１は、図６の第２ステップの閾値未満および第３ステップの信号処理を行う。則ち、制御信号ＰＣ２が閾値未満を示す場合は、現ブロックの動きベクトルＶ０を画素単位動きベクトルＰＶに出力する。一方、ＰＣ２が閾値以上を示す場合は、動き補正誤差ＥＲ０、ＥＲ１、…、ＥＲＮの内で最少値をとる動きベクトルを各ミニブロック内の画素の動きベクトルとして出力する。また、制御信号ＰＣ２が動き検出信号ＭＩ２が０の画素を示す時は、画素単位動きベクトルＰＶに０を出力する。
【００４５】
図８は、画素単位動きベクトル生成部８の第２の構成例を示す図である。そして、図９に示す信号処理で画素単位の動きベクトルを生成する。
【００４６】
補正誤差算出部１７は、図５に示したものと同じで、図９（ａ）に示す第１ステップの処理を行い、ブロック単位の動き補正誤差の値が閾値ＴＨ未満の場合は信号ＰＭに０、閾値ＴＨ以上の場合は１を出力する。
【００４７】
制御部１８は、信号ＰＭと動き検出信号ＭＩ２を基に、図９（ａ）に示す第２、第３ステップの信号処理に必要な制御信号ＰＣ３、ＰＣ２を生成する。
【００４８】
再探索第１処理部２２、再探索第２処理部２３、再探索第３処理部２４は、図９（ａ）の第２ステップの信号処理を行う。則ち、制御信号ＰＣ３が閾値以上を示す時には、動きベクトルの再探索処理を行う。まず、再探索第１処理部２２では、図９（ｂ）に示すように、ブロックサイズが水平、垂直とも１／２のサイズに縮小したサブブロックＳＢ１毎に、動きベクトルＢＶＣを参照ベクトルとしてブロックマッチング処理を行い、再探索したＳＢ１単位の動きベクトルＰＶ１を出力する。次に、再探索第２処理部２３では、サブブロックＳＢ１を水平、垂直ともに１／２に縮小したサブブロックＳＢ２毎に、動きベクトルＰＶ１を参照ベクトルとしてブロックマッチング処理を行い、再探索したＳＢ２単位の動きベクトルＰＶ２を出力する。再探索第３処理部２４は、サブブロックＳＢ２を水平、垂直ともに１／ｎに縮小したミニブロックサイズのサブブロックＳＢＮ毎に、動きベクトルＰＶ２を参照ベクトルとしてブロックマッチング処理を行い、再探索したＳＢＮ単位の動きベクトル、則ち、ミニブロック単位の動きベクトルＰＶ３を出力する。一方、制御信号ＰＣ３が閾値未満を示す時は、再探索第１処理部２２、再探索第２処理部２３、再探索第３処理部２４は、再探索処理の動作を中止し、動きベクトルＰＶ３に現ブロックの動きベクトルＢＶＣを出力する。
【００４９】
画素動きベクトル設定部２５は、図９（ａ）の第３ステップの信号処理を行う。則ち、制御信号ＰＣ２が動き検出信号ＭＩ２が０の画素を示す時は、画素単位動きベクトルＰＶに強制的に０を出力する。一方、ＰＣ２が動き検出信号ＭＩ２が１の画素を示す時は、画素単位動きベクトルＰＶにＰＶ３を出力する。
【００５０】
図１０は、画素単位動きベクトル生成部８の第３の構成例を示す図である。これは、図１１に従った信号処理を行うに好適なもので、図５の構成に再探索処理部２６を追加することで実現する。
【００５１】
再探索処理部２６は、制御信号ＰＣ４が閾値以上を示す場合は、ブロックサイズを水平、垂直ともに１／２に縮小したサブブロックＳＢ１毎に、現ブロックの動きベクトルＢＶＣを参照ベクトルとしたブロックマッチング処理を行い、再探索したＳＢ１単位の動きベクトルＰＶ１を出力する。一方、ＰＣ４が閾値未満を示す場合は、再探索動作を中止して、現ブロックの動きベクトルＢＶＣを出力する。
そして、図１１の第２ステップの閾値以上の信号処理で参照ベクトルとして使用するサブブロックＳＢ１単位の動きベクトルＰＶ１を生成する。
【００５２】
以降の動作は、図５に示したものと同様であるので、説明は省略する。
【００５３】
図１２は、画素単位動きベクトル生成部８の第４の構成例を示す図で、図１３（ａ）、（ｂ）に示す信号処理で画素単位の動きベクトルを生成する。
【００５４】
補正誤差算出部１７は、図５に示したものと同じで、図１３（ａ）に示すフローチャートの第１ステップの処理を行い、ブロック単位の動き補正誤差の値が閾値ＴＨ未満の場合は信号ＰＭに０、閾値ＴＨ以上の場合は１を出力する。
【００５５】
制御部１８は、信号ＰＭと動き検出信号ＭＩ２を基に、図１３（ａ）に示すフローチャートの第２、第３ステップの信号処理に必要な制御信号ＰＣ５、ＰＣ２を生成する。
【００５６】
再探索第１処理部２７、再探索第２処理部２８、再探索第３処理部２９は、図１３（ａ）の第２ステップの信号処理を行う。則ち、制御信号ＰＣ５が閾値以上を示す時には、図１３（ｂ）に示すように、ブロックサイズを縮小したブロックについて動きベクトルの再探索処理を行う。まず、再探索第１処理部２７は、ブロックサイズを水平、垂直とも１／２のサイズに縮小したサブブロックＳＢ１毎に、動きベクトルＢＶＣを参照ベクトルとしてブロックマッチング処理を行い、再探索したＳＢ１単位の動きベクトルＰＶ１を出力する。また、再探索第２処理部２８は、ブロックサイズを水平、垂直ともに１／４に縮小したサブブロックＳＢ２毎に、動きベクトルＢＶＣを参照ベクトルとしてブロックマッチング処理を行い、再探索したＳＢ２単位の動きベクトルＰＶ２を出力する。一方、再探索第３処理部２９は、ブロックサイズを水平、垂直ともに１／ｎに縮小したミニブロックサイズのサブブロックＳＢＮ毎に、動きベクトルＢＶＣを参照ベクトルとしてブロックマッチング処理を行い、再探索したＳＢＮ単位の動きベクトル、則ち、ミニブロック単位の動きベクトルＰＶ３を出力する。一方、制御信号ＰＣ５が閾値未満を示す時は、再探索第１処理部２７、再探索第２処理部２８、再探索第３処理部２９は、再探索処理の動作を中止し、ＰＶ１、ＰＶ２、ＰＶ３に現ブロックの動きベクトルＢＶＣを出力する。
【００５７】
画素動きベクトル設定部３０は、図１３（ａ）の第２ステップの閾値未満および第３ステップの信号処理を行う。則ち、制御信号ＰＣ２が閾値未満を示す場合は、現ブロックの動きベクトルＰＶ１を画素単位動きベクトルＰＶに出力する。一方、閾値以上を示す場合は、ＰＶ１、ＰＶ２、ＰＶ３の内で動き補正誤差が最少値をとる動きベクトルを各ミニブロック内の画素の動きベクトルとして出力する。
【００５８】
また、制御信号ＰＣ２が動き検出信号ＭＩ２が０の画素を示す時は、画素単位動きベクトルＰＶに強制的に０を出力する。
【００５９】
次に、図１の動き補正フレーム数変換部５の構成例を、図１４乃至図１６で説明する。
【００６０】
図１４は、その第１の構成例で、フレーム順制御部３１は、画素単位動きベクトルＰＶより動き補正処理に必要な補正補間動きベクトルVctとVprを生成する。フレーム周波数５０Ｈｚの信号をフレーム周波数が６０Ｈｚの信号にフレーム数変換を行う場合を例に、この動作を図１６（ａ）、（ｂ）に示す。フレーム周波数５０Ｈｚの順次走査信号は、フレーム順の１から５の信号に対し、同図に示す様に動きベクトルＰＶを基に補正型の信号処理で内挿フレームを生成し、フレーム順１から６のフレーム周波数が６０Ｈｚの順次走査の信号に変換する。この際、補正補間動きベクトルは、内挿するフレーム位置と合致させる必要がある。そこで、同図に示す様に、動きベクトル信号ＰＶに係数加重する係数値ｋａ,ｋｂを変化させ、（数２）に示す演算で補正補間動きベクトルVpr、Vctを生成する。
【００６１】
【数２】
Vpr=PV*ka/(ka+kb)
Vct=-PV*kb/(ka+kb) （数２）
則ちフレーム順が２の内挿フレームは、Vpr＝ＰＶ*5/6,Vct＝−ＰＶ*1/6(ka=5,kb=1)、３のものは、Vpr＝ＰＶ*4/6,Vct＝−ＰＶ*2/6(ka=4,kb=2)…の如く、係数値ｋａ，ｋｂを発生させ、時間方向での位置ずれのない補正補間動きベクトルを生成する。この結果、時間方向での揺らぎのないフレーム数変換を実現する。
【００６２】
動き補正信号生成部３２では、現フレームの信号Ｓ２と補正補間動きベクトルVctで動き補正信号Sctを生成する。また、動き補正信号生成部３３は、前フレームの信号Ｓ３と補正補間動きベクトルVprで動き補正信号Sprを生成する。この動作概略を図１６（ｃ）に示す。内挿フレームの点A（x,y）の信号は、前フレームの信号Ｓ３では、点A(x,y)を補正補間動きベクトルVpr(水平方向成分Vprx,垂直方向成分Vpry)で移動させた点A'(x1,y1)=(x＋Vprx,y＋Vpry)の位置の信号、現フレームの信号Ｓ２では点A(x,y)を補正補間動きベクトルVct(水平方向成分Vctx,垂直方向成分Vcty)で移動させた点A”(x2,y2)=(x−Vctx,y−Vcty)の位置の信号に対応する。従って、動き補正信号SprとSctは、以下の（数３）で生成する。
【００６３】
【数３】
Spr=Ｓ３(x＋Vprx,y＋Vpry)
Sct=Ｓ２(x−Vctx,y−Vcty) （数３）
この信号処理は、動き補正信号生成部に内蔵のメモリ回路の読み出し動作を制御することで実現する。則ち、読み出しのためのアドレスを補正補間動きベクトルVpr,Vctの位置だけずらせたアドレスを生成し、このアドレスで点A',A”に対応した画素の信号を読み出す。
【００６４】
加算部３４は、両者の動き補正信号SprとSctとの加算平均を行い、その出力に動き補正のフレーム数変換でフレーム周波数をアップした順次走査の画像信号Ｓ４を得る。
【００６５】
図１５は、動き補正フレーム数変換部５の第２の構成例を示す図である。これは、モーションジャダー妨害が目立ちやすい速度の動き、あるいは水平パンや上下パンや文字スクロールなどの特殊な動きの場合のみ、動き補正のフレーム内挿処理を行うものである。
【００６６】
同図のフレーム順制御部３１、動き補正信号生成部３２,３３、加算部３４は、図１４と同じ動作を行い、加算部３４の出力に動き補正のフレーム内挿処理した信号Smcを得る。
【００６７】
動き速度検出部３５は、画素単位動きベクトルＰＶを基に、モーションジャダー妨害が目立ちやすい速度の動き、あるいは水平パンや上下パンや文字スクロールなどの特殊な動きを検出する。
【００６８】
例えば、モーションジャダー妨害は、１秒／画面幅、１秒／画面高程度までの視線が追従できる動きの場合に特に目立ち易いという性質が知られている。従って、動き速度検出部では、１秒／画面幅、１秒／画面高程度に相当する速度を閾値とする動きベクトルＰＶの速度成分の判定を行い、閾値未満の速度では１、以上では０の信号ＳＬを出力する第１の動作で、この検出ができる。
【００６９】
また、水平パンや上下パンでは画面全体が一様な速度で動く。従って、動き速度検出部では、画素単位動きベクトルＰＶ≠０のものの大きさと方向を全画面領域にわたり計測し、これがほぼ同じ値をとる場合のみ、全ての画面領域で１を信号ＳＬに出力する第２の動作で、この検出ができる。
【００７０】
一方、文字スクロールなどでは、動き領域の形状が帯状で、かつ、この領域での動きベクトルはほぼ同じ値になる。従って、動き速度検出部では、画素単位動きベクトルＰＶ≠０のものの大きさと方向がほぼ同一となる帯状の領域を検出し、この領域のみ１を信号ＳＬに出力する第３の動作で、この検出ができる。
【００７１】
なお、動き速度検出部は、第１、第２、第３のいずれか１つの動作、もしくはこれらを組み合わせた動作など、種々の動作形態のもので実現できる。
【００７２】
スイッチ部３６は、信号ＳＬが１の時は、現フレームの信号Ｓ２を選択し、信号ＳＬが０の時は、信号Smcを選択する。そして、この出力に、モーションジャダー妨害が目立ちやすい速度の動き、あるいは水平パンや上下パンや文字スクロールなどの特殊な動きの領域のみを動き補正のフレーム内挿処理した順次走査の画像信号Ｓ４を得る。
【００７３】
以上に述べた如く、本実施例によれば、動き補償予測符号化の動きベクトル情報を用いることで、極めて少ない演算量で動き補正のフレーム数変換に必要な画素単位の動きベクトルを高精度に生成できる。このため、動き補正のフレーム数変換の動きベクトルの生成、および装置の低コスト化、高画質化に顕著な効果が得られる。
【００７４】
次に、本発明の第２の実施例について、図１７のブロック構成図で説明する。本実施例は、シーンチェンジの領域では動き補正処理の信号処理を中止する動作を行うに好適なものである。
【００７５】
同図のＭＰＥＧデコーダ部１、ＩＰ変換部２、１フレーム遅延部３、動きベクトル生成部４、動き補正フレーム数変換部５は、図１に示した第１の実施例と同一の構成、動作を行うので、説明は省略する。
【００７６】
シーンチェンジ検出部３７は、１フレーム期間でのフレーム間差分信号成分の発生形態よりシーンチェンジの発生した領域を検出する動作を行う。この一構成例を図１８に示す。減算部３８は、現フレームの信号Ｓ２と、前フレームの信号Ｓ３の輝度信号成分に対して減算演算を行い、１フレーム間の差分成分ＦＤを抽出する。一般に、シーンチェンジの領域では、画像の内容が切り替わるため、差分成分ＦＤの信号レベルは比較的大きな値を持つ。そこで、２値量子化部３９は比較的高いレベルの閾値±Ｔｈｂで信号ＦＤを画素毎に２値量子化する。そして、閾値±Ｔｈｂ未満の画素は０、閾値を越える画素は１を信号ＱＳに出力する。１フレーム累積部４０は、１フレーム期間で信号ＱＳが１のものの画素の数を計測し、１フレーム期間での累積値ＡＱを出力する。判定部４１は、画面全体が一様な速度で動く水平パンや上下パンの動きを誤ってシーンチェンジと検出する誤動作を避けるため、累積値ＡＱの値が全画面の半分以上の画素数で、かつ、その発生が１フレーム期間に限られる場合をシーンチェンジ領域と判定し、信号ＳＣＦに１フレームの期間にわたり１を出力する。これ以外の場合は０を出力する。
【００７７】
なお、動きベクトル生成部４は、信号ＳＣＦが１の期間は、動きベクトルの生成の動作を中止する。また、動き補正フレーム数変換部５は、信号ＳＣＦが１の期間は、優先的に、現フレームの信号Ｓ２を選択してＳ４に出力する。
【００７８】
以上に述べた如く、本実施例によれば、動き補償予測符号化の動きベクトル情報を用いることで、極めて少ない演算量で動き補正のフレーム数変換に必要な画素単位の動きベクトルを高精度に生成できる。また、シーンチェンジ領域における動きベクトル探索や生成のための膨大な演算量の発生が回避できる。このため、動き補正のフレーム数変換の動きベクトルの生成、および装置の更なる低コスト化、高画質化に顕著な効果が得られる。
【００７９】
次に、本発明の第３の実施例について、図１９に示すブロック構成図で説明する。本実施例は、図１の第１の実施例の構成に、更に、画像信号の走査線数変換や画像サイズの縮小拡大変換の機能を付加したものである。
【００８０】
ＭＰＥＧデコーダ部１は、ＭＰＥＧ符号化されたビットストリーム信号ＤＳの復号処理を行い、復号した画像信号シーケンスの信号Ｓ１と、動きベクトル情報ＭＶ（Ｐ，Ｂピクチャの動きベクトルMVp,MVbならびに符号化パラメタ情報）を出力する。
【００８１】
ＩＰ変換部２は、飛び越し走査の画像信号に対しては、飛び越し走査で抜けた走査線の信号を補間処理で生成し、順次走査の画像信号Ｓ２に変換する。この信号処理は、例えば従来技術の動き適応型の走査変換で実現する。
【００８２】
動きベクトル生成部４は、現フレームの信号Ｓ２と、これを１フレーム遅延部３で１フレーム期間遅延させた前フレームの信号Ｓ３と、動きベクトル情報ＭＶをもとに、前述した動きベクトル変換、ブロック単位、画素単位動きベクトル生成の信号処理を行い、動き補正のフレーム数変換に使用する画素単位の動きベクトルＰＶを生成する。
【００８３】
動き補正フレーム数変換部５は、画素単位動きベクトルＰＶをもとに補正補間動きベクトルを作り、現フレームの信号Ｓ３と前フレームの信号Ｓ４の画像の位置をこの補正補間動きベクトルで移動させた信号で、内挿フレームの信号を生成する。そして、この出力に動き補正のフレーム内挿処理でフレームレートを変換した順次走査の画像信号Ｓ４を得る。
【００８４】
スケーリング処理部４２は、走査線数の変換（例えばＰＡＬ方式やＮＴＳＣ方式の信号からＨＤＴＶ方式の信号への変換、パソコン画像のＶＧＡ系やＳＶＧＡ系への変換などに必要な走査線数変換）、アスペクト比の変換（４：３系と１６：９系）、マルチウィンドウ表示のための画像サイズの任意拡大縮小などの信号処理を行う。なお、この構成は従来技術で容易に実現できるので説明は省略する。
以上に述べた如く、本実施例によれば、多種入力ソースの信号を多種ディスプレイに表示するための画像フォーマット変換信号処理装置を、低コストで実現できる。
【００８５】
次に、本発明の第４の実施例について、図２０に示すブロック構成図で説明する。本実施例は、図１７の第２の実施例の構成に、更に、画像信号の走査線数変換や画像サイズの縮小拡大変換の機能を有するスケーリング処理部４２を追加して構成する。
【００８６】
スケーリング処理部４２は、第３の実施例と同様、走査線数の変換、アスペクト比の変換、マルチウィンドウ表示のための画像サイズの任意拡大縮小などの信号処理を行う。なお、この構成は従来技術で容易に実現できるので説明は省略する。
以上に述べた如く、本実施例によれば、多種入力ソースの信号を多種ディスプレイに表示するための画像フォーマット変換信号処理装置を、低コストで実現できる。
なお、以上の実施例では、フレーム周波数が５０Ｈｚ−６０Ｈｚ変換の場合を例に説明した。しかし、これに限らず、フレーム周波数２４Ｈｚのフィルム画像−フレーム周波数６０Ｈｚのフレーム数変換や、テレビジョン信号−パソコン画像信号のフレーム数変換など、各種のフレーム数変換に本実施例が適用できることは明らかである。
【００８７】
これらの実施例においては、動き補償予測符号化の動きベクトル情報を用いることで、極めて少ない演算量で動き補正のフレーム数変換に必要な画素単位の動きベクトルを生成できる。このため、動き補正のフレーム数変換の動きベクトルの生成、およびフレーム数変換装置、さらには画像フォーマット変換装置の低コスト化、高画質化に顕著な効果が得られる。
【００８８】
【発明の効果】
本発明によれば、高画質かつ低コストで動き補正のフレーム数変換を行いうる動きベクトルの生成方法および装置を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る第１の実施例を示すブロック構成図である。
【図２】動きベクトル生成部の一構成例を示す図である。
【図３】動きベクトル変換部の一構成例を示す図である。
【図４】ブロック単位動きベクトル生成部の一構成例を示す図である。
【図５】画素単位動きベクトル生成部の第１の構成例を示す図である。
【図６】画素単位動きベクトル生成処理のフローチャートを示す図である。
【図７】画素単位動きベクトル生成の動作概略を示す図である。
【図８】画素単位動きベクトル生成部の第２の構成例を示す図である。
【図９】（ａ）、（ｂ）はそれぞれ画素単位動きベクトル生成方法の概略を示す図である。
【図１０】画素単位動きベクトル生成部の第３の構成例を示す図である。
【図１１】画素単位動きベクトル生成方法の概略を示す図である。
【図１２】画素単位動きベクトル生成部の第４の構成例を示す図である。
【図１３】（ａ）、（ｂ）はそれぞれ画素単位動きベクトル生成方法の概略を示す図である。
【図１４】動き補正フレーム数変換部の第１の構成例を示す図である。
【図１５】動き補正フレーム数変換部の第２の構成例を示す図である。
【図１６】（ａ）乃至（ｃ）はそれぞれフレーム順制御部と動き補正信号生成部の動作概略を示す図である。
【図１７】本発明に係る第２の実施例を示すブロック構成図である。
【図１８】シーンチェンジ検出部の一構成例を示す図である。
【図１９】本発明に係る第３の実施例を示すブロック構成図である。
【図２０】本発明に係る第４の実施例を示すブロック構成図である。
【図２１】ＭＰＥＧ符号化におけるＭＣフレーム間予測の概略を示す図である。
【図２２】動き補正フレーム数変換用動きベクトルへの変換動作の概略を示す図である。
【符号の説明】
１ ＭＰＥＧデコーダ部
２ ＩＰ変換部
３ １フレーム遅延部
４ 動きベクトル生成部
５ 動き補正フレーム数変換部
６ 動きベクトル変換部
７ ブロック単位動きベクトル生成部
８ 画素単位動きベクトル生成部
９ 動き検出部
Claims (7)
- ＭＰＥＧ符号化におけるＰピクチャの動き補償予測符号化に使用する第１の動きベクトル及びＢピクチャの動き補償予測符号化に使用する第２の動きベクトルを含む情報が符号化された信号を復号化する工程と、
前記復号化された前記第１及び第２の動きベクトルの情報に基づいて１フレーム期間での動きベクトルを生成する工程と、
現フレームの信号と前フレームの信号から画像の動きを検出する工程と、
前記動きを検出する工程により動きを検出しないブロックにはブロック単位動きベクトルとして０を割り当て、動きを検出したブロックには前記１フレーム期間での動きベクトルのうち最少の動き補正誤差を有するものをブロック単位動きベクトルとして割り当てるブロック単位動きベクトルを生成する工程と、
前記動きを検出する工程により動きを検出しない画素には画素単位動きベクトルとして０を割り当て、動きを検出した画素には前記ブロック単位の動き補正誤差が閾値未満のときはブロック内の画素に前記ブロック単位動きベクトルを割り当て、閾値以上のときは現ブロックと隣接ブロックの動きベクトルを用いて前記ブロックを縮小したミニブロックを内包し、前記ブロックに内包された算出領域のうち最少の動き補正誤差を有するものを画素単位動きベクトルとして割り当てる画素単位動きベクトルを生成する工程と、
を備えたことを特徴とする動きベクトルの生成方法。 - ＭＰＥＧ符号化におけるＰピクチャの動き補償予測符号化に使用する第１の動きベクトル及びＢピクチャの動き補償予測符号化に使用する第２の動きベクトルを含む情報が符号化された信号を復号化する復号化部と、
前記復号化された前記第１及び第２の動きベクトルの情報にもとづいて１フレーム期間での動きベクトルを生成する動きベクトル変換部と、
現フレームの信号と前フレームの信号から画像の動きを検出する動き検出部と、
前記動き検出部により動きを検出しないブロックにはブロック単位動きベクトルとして０を割り当て、動きを検出したブロックには前記１フレーム期間での動きベクトルのうち最少の動き補正誤差を有するものをブロック単位動きベクトルとして割り当てるブロック単位動きベクトル生成部と、
前記動き検出部により動きを検出しない画素には画素単位動きベクトルとして０を割り当て、動きを検出した画素には前記ブロック単位の動き補正誤差が閾値未満のときはブロック内の画素に前記ブロック単位動きベクトルを割り当て、閾値以上のときは現ブロックと隣接ブロックの動きベクトルを用いて前記ブロックを縮小したミニブロックを内包する領域で算出した動き補正誤差のうち最少の動き補正誤差を有するものを画素単位動きベクトルとして割り当てる画素単位動きベクトル生成部と、
を備えたことを特徴とする動きベクトルの生成装置。 - 前記動き補正誤差の算出を画像信号の輝度信号成分を用いて行うことを特徴とする請求項２記載の動きベクトルの生成装置。
- 前記動き補正誤差の算出を画像信号の輝度信号成分と色成分とを用いて行うことを特徴とする請求項２記載の動きベクトルの生成装置。
- 前記画素単位動きベクトル生成部は、前記閾値以上の場合に、前記閾値以上のときの割り当て処理に代えて、ブロックサイズを縮小したサブブロック毎に前記現ブロックの動きベクトルを参照ベクトルとしたブロックマッチング処理で前記現ブロックの動きベクトルを参照してサブブロックの動きベクトルを再探索し、前記サブブロックの動きベクトルと隣接ブロックのブロック単位動きベクトルとを参照ベクトルとし、前記サブブロックの動きベクトルと隣接ブロックのブロック単位動きベクトルとを参照してサブブロックのサイ ズを水平及び垂直方向ともに縮小したミニブロックを単位に算出した動き補正誤差が最少の動きベクトルを画素単位動きベクトルとしてミニブロック内の動きを検出した画素に割り当てることを特徴とする請求項２記載の動きベクトルの生成装置。
- 前記画素単位動きベクトル生成部は、前記閾値以上の場合に、前記閾値以上のときの割り当て処理に代えて、ブロックサイズを縮小した第１サブブロック毎に前記現ブロックの動きベクトルを参照ベクトルとしたブロックマッチング処理で前記現ブロックの動きベクトルを参照して第１サブブロックの動きベクトルを再探索し、次に、第１サブブロックのサイズを縮小した第２サブブロック毎に、第１サブブロックの動きベクトルを参照ベクトルとしたブロックマッチング処理で前記第１サブブロックの動きベクトルを参照して第２サブブロックの動きベクトルを再探索し、以下、ブロックサイズがミニブロックのサイズまでこの動作を逐次繰り返すことにより画素単位動きベクトルを生成することを特徴とする請求項２記載の動きベクトルの生成装置。
- 前記画素単位動きベクトル生成部は、前記閾値以上の場合に、前記閾値以上のときの割り当て処理に代えて、ブロックサイズをミニブロックのサイズまで段階的に縮小した第１サブブロック、第２サブブロック、第ｎサブブロックに対して、前記現ブロックの動きベクトルを参照ベクトルとしたブロックマッチング処理で前記現ブロックの動きベクトルを参照して第１、第２、第ｎ動きベクトルを再探索し、ミニブロックを単位に算出した前記第１、第２、第ｎ動きベクトルの内で動き補正誤差が最少なものを画素単位動きベクトルとして割り当てることを特徴とする請求項２記載の動きベクトルの生成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29044397A JP4083266B2 (ja) | 1997-10-07 | 1997-10-07 | 動きベクトルの生成方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29044397A JP4083266B2 (ja) | 1997-10-07 | 1997-10-07 | 動きベクトルの生成方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11112940A JPH11112940A (ja) | 1999-04-23 |
| JP4083266B2 true JP4083266B2 (ja) | 2008-04-30 |
Family
ID=17756104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29044397A Expired - Fee Related JP4083266B2 (ja) | 1997-10-07 | 1997-10-07 | 動きベクトルの生成方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4083266B2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ATE404019T1 (de) | 2001-09-12 | 2008-08-15 | Nxp Bv | Bewegungsschätzung und/oder kompensation |
| JP4198608B2 (ja) | 2004-01-15 | 2008-12-17 | 株式会社東芝 | 補間画像生成方法および装置 |
| DE602004002935T2 (de) * | 2004-04-30 | 2007-02-01 | Matsushita Electric Industrial Co., Ltd., Kadoma | Bearbeitung von Tickern in Videosequenzen |
| JP2007536817A (ja) * | 2004-05-04 | 2007-12-13 | クゥアルコム・インコーポレイテッド | 動作補償されたフレームレートアップコンバージョンのための方法および装置 |
| WO2006007527A2 (en) | 2004-07-01 | 2006-01-19 | Qualcomm Incorporated | Method and apparatus for using frame rate up conversion techniques in scalable video coding |
| AU2005267171A1 (en) | 2004-07-20 | 2006-02-02 | Qualcomm Incorporated | Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression |
| US8553776B2 (en) | 2004-07-21 | 2013-10-08 | QUALCOMM Inorporated | Method and apparatus for motion vector assignment |
| JP2006115470A (ja) | 2004-09-16 | 2006-04-27 | Ntt Docomo Inc | 映像評価装置、フレームレート決定装置、映像処理装置、映像評価方法、および映像評価プログラム |
| JP4359223B2 (ja) | 2004-10-29 | 2009-11-04 | 株式会社 日立ディスプレイズ | 映像補間装置とこれを用いたフレームレート変換装置，映像表示装置 |
| JP4887727B2 (ja) * | 2005-10-20 | 2012-02-29 | ソニー株式会社 | 画像信号処理装置、カメラシステム、および画像信号処理方法 |
| US8634463B2 (en) | 2006-04-04 | 2014-01-21 | Qualcomm Incorporated | Apparatus and method of enhanced frame interpolation in video compression |
| US8750387B2 (en) | 2006-04-04 | 2014-06-10 | Qualcomm Incorporated | Adaptive encoder-assisted frame rate up conversion |
| JP4956239B2 (ja) * | 2007-03-13 | 2012-06-20 | 三洋電機株式会社 | フレームレート変換装置および映像表示装置 |
| JP5038400B2 (ja) * | 2007-03-28 | 2012-10-03 | パイオニア株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 |
| US8159605B2 (en) | 2007-07-13 | 2012-04-17 | Fujitsu Limited | Frame interpolating apparatus and method |
| JP4882948B2 (ja) | 2007-10-04 | 2012-02-22 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP5245783B2 (ja) | 2008-12-09 | 2013-07-24 | 富士通株式会社 | フレーム補間装置、方法、及びプログラム、フレームレート変換装置、映像再生装置、映像表示装置 |
| JP4543116B1 (ja) | 2009-03-10 | 2010-09-15 | 株式会社東芝 | 画像処理装置、および画像処理方法 |
| JP5199196B2 (ja) * | 2009-08-04 | 2013-05-15 | 日本電信電話株式会社 | 動画像復号方法，動画像復号装置および動画像復号プログラム |
-
1997
- 1997-10-07 JP JP29044397A patent/JP4083266B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11112940A (ja) | 1999-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4083265B2 (ja) | 画像信号の方式変換方法および装置 | |
| JP4083266B2 (ja) | 動きベクトルの生成方法および装置 | |
| US5689305A (en) | System for deinterlacing digitally compressed video and method | |
| US9247250B2 (en) | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing | |
| CN100417188C (zh) | 块模式自适应运动补偿 | |
| EP0883298A2 (en) | Conversion apparatus for image signals and TV receiver | |
| JP4092778B2 (ja) | 画像信号の方式変換装置及びテレビジョン受像機 | |
| JPH02285816A (ja) | 適応型フレーム間予測符号化方法及び復号方法 | |
| KR20060047595A (ko) | 적응 시간적인 예측을 채용하는 움직임 벡터 추정 | |
| JP4119092B2 (ja) | 画像信号のフレーム数変換方法および装置 | |
| JPH0884293A (ja) | 変換アーチファクトの減少方法及び装置 | |
| JP2006270823A (ja) | 画像レート変換方法及び画像レート変換装置 | |
| US6930728B2 (en) | Scan conversion apparatus | |
| Zhang et al. | A spatio-temporal auto regressive model for frame rate upconversion | |
| JP4092773B2 (ja) | 画像信号のフレーム数変換方法および装置 | |
| JP2009010492A (ja) | 画像復号化装置及び画像変換回路 | |
| US6243140B1 (en) | Methods and apparatus for reducing the amount of buffer memory required for decoding MPEG data and for performing scan conversion | |
| JP3201079B2 (ja) | インターレース動画像信号の動き補償予測方法、符号化方法及び装置 | |
| KR100393063B1 (ko) | 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법 | |
| JP2003333540A (ja) | フレームレート変換装置及びそれを用いた映像表示装置、テレビジョン放送受信装置 | |
| US20040066466A1 (en) | Progressive conversion of interlaced video based on coded bitstream analysis | |
| JPH0546155B2 (ja) | ||
| JP2005045700A (ja) | 動画像補間用動き推定方法及び動画像補間用動き推定装置 | |
| JP2925046B2 (ja) | 動画像の動き補償予測方法 | |
| JP5300568B2 (ja) | 映像処理装置およびその制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041005 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070724 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080213 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| LAPS | Cancellation because of no payment of annual fees |