JP5025580B2 - 映像信号処理装置および映像信号処理方法 - Google Patents

Description

本発明は、動きベクトルの検出を行って映像信号を出力する映像信号処理装置および映像信号処理方法に関する。

現在、テレビ、パーソナルコンピュータ、携帯電話機など、映像表示手段を備えた多様な装置が実用化されている。このような映像表示手段を備えた装置では、入力映像信号を構成する画像フレームから各画像フレームを補間する補間フレームを作成し、作成された補間フレームを内挿して映像信号を出力する技術が適用されている。

この補間フレームは、液晶表示装置において、同じフレームが表示されることによる画質の低下を防止するためや、ＰＡＬ（Phase Alternation by Line color television）で生じるとされるフリッカ（画面のちらつき）を防止するため、さらには、低フレームレートで伝送された入力映像信号を用いて映像をスムーズに表示するため、といった目的で作成されている。

このような補間フレームが作成される場合、２つの画像フレームを所定のブロックに分割し、各画像フレームのブロック間の相関を求めるブロックマッチングが行われ、ブロックマッチングによって求められた相関に基づいて、最も相関の高いブロック同士の変位を示す動きベクトルが検出される。

このような動きベクトルの検出に関しては、従来、様々な提案がなされていた。例えば、特許文献１には、第１のサイズのブロックによるブロックマッチングで動きベクトル候補が複数検出されたときは、その動きベクトル候補のうち、第１のサイズよりも大きい第２のサイズのブロックによるブロックマッチングで検出された動きベクトル候補に最も近い動きベクトル候補にしたがい動きベクトルを求めて補間フレームを作成することが開示されている。また、特許文献２には、信頼度の低い動きベクトルを信頼度の高い動きベクトルに置換して動きベクトルを補正する動きベクトル検出装置が開示されている。
特開２００８−３５４０４号公報 特開２００３−２２４８５４号公報

ところで、入力映像信号を構成する画像フレームに、例えば縞馬の縞模様のように同じような画像が繰り返し周期的に表示される画像（以下「周期的パターン」という）が含まれていることがある。そして、ブロックマッチングを行う際の単位ブロックのサイズが小さくて該ブロック内に周期的パターンの一部しか含まれない場合には、物体の動きと周期的パターン内の各画像の繰り返しとが区別できなくなるため、正確な動きベクトルが検出できない。そこで、特許文献１では、第１のサイズのブロックによるブロックマッチングで動きベクトル候補が複数検出されたときは、周期的パターンの全体が含まれるような第２のサイズのブロックによるブロックマッチングで検出された動きベクトル候補に最も近い動きベクトル候補にしたがって動きベクトルを決定していた。

しかしながら、周期的パターンが表示画面の全体に渡って動いているような場合や、周期的パターンがわずかに変形しながら移動しているような場合では、第２のサイズのブロックによるブロックマッチングでも、動きベクトル候補が複数検出されることがある。そうすると、従来の技術では、適切でない動きベクトルを用いて補間フレームが作成されるため、その補間フレームが挿入された映像信号を用いて映像を表示すると、その映像に不自然なつながりをもった部分が現れてしまう（映像に不自然な部分が現れることを映像の破綻ともいう）という課題があった。

そこで、本発明は上記課題を解決するためになされたもので、入力映像信号に広い範囲の周期的パターンや変形しながら動くような周期的パターンが含まれる場合でも、動きの自然な映像を表示するための映像信号処理を行う映像信号処理装置および映像信号処理方法を提供することを目的とする。

上記課題を解決するため、本発明は、複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出手段を備えた映像信号処理装置であって、動きベクトルを検出手段は、第１のサイズのブロックで行われた第１のブロックマッチングで動きベクトル候補が複数検出され、かつ第１のサイズよりも大きい第２のサイズのブロックで行われた第２のブロックマッチングで動きベクトル候補が複数検出されたときは、動きベクトルの検出対象となる対象ブロックに隣接する隣接ブロックのうち、すでに動きベクトルが決定されている決定済みブロックの動きベクトルに基づいて、対象ブロックの動きベクトルを決定するベクトル決定手段を有する映像信号処理装置を特徴とする。

また、本発明は、複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出手段を備えた映像信号処理装置における映像信号処理方法であって、動きベクトルを検出手段により、第１のサイズのブロックで行われた第１のブロックマッチングで動きベクトル候補が複数検出され、かつ第１のサイズよりも大きい第２のサイズのブロックで行われた第２のブロックマッチングで動きベクトル候補が複数検出されたときは、動きベクトルの検出対象となる対象ブロックに隣接する隣接ブロックのうち、すでに動きベクトルが決定されている決定済みブロックの動きベクトルに基づいて、対象ブロックの動きベクトルを決定する映像信号処理方法を提供する。

以上詳述したように、本発明によれば、入力映像信号に広い範囲の周期的パターンや変形しながら動くような周期的パターンが含まれる場合でも、動きの自然な映像を表示する映像信号処理を行う映像信号処理装置および映像信号処理方法が得られる。

以下、本発明の実施の形態について説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。

（映像信号処理装置の構成）
図１は、本発明の実施の形態に係る映像信号処理装置６０の構成を示すブロック図である。この映像信号処理装置６０は、テレビ、パーソナルコンピュータ、携帯電話機といった画像表示機能を有する装置に備えられている。

この映像信号処理装置６０は、入力される入力画像信号Ｓ０（６０Ｆ／ｓ）を構成する複数の画像フレームから、その複数の画像フレームを補間する補間フレームを作成し、作成された補間フレームが内挿された出力画像信号Ｓ１（１２０Ｆ／ｓ）を表示パネル５１に出力して、表示パネル５１が出力画像信号Ｓ１を用いて映像を表示するようになっている。

補間フレーム作成装置１０は、フレームメモリ２０と、動きベクトル検出部３０と、補間画像作成部４０と、制御部５０とを有している。

フレームメモリ２０は、入力画像信号Ｓ０を画像フレーム毎に記憶する。動きベクトル検出部３０は、フレームメモリ２０を介さずに入力される画像フレームと、フレームメモリ２０に記憶された画像フレームについてのブロックマッチングを行って動きベクトルＶ０を検出し、検出された動きベクトルＶ０を補間画像作成部４０に出力する。なお、動きベクトル検出部３０の構成および動作内容については、後に詳述する。

補間画像作成部４０は、フレームメモリ２０を介さずに入力される画像フレームおよびフレームメモリ２０に記憶されている画像フレームと、検出された動きベクトルＶ０とに基づいて補間フレームＳＦを作成し、作成された補間フレームＳＦをフレームメモリ２０に記憶させる。この補間画像作成部４０の動作についても、後に詳述する。制御部５０は後述するブロックタイミング信号ＢＴを動きベクトル検出部３０に出力するなどして補間フレームの作成を制御する。

次に、動きベクトル検出部３０の構成について、図２を参照して説明する。図２は、動きベクトル検出部３０の一例としての構成を示すブロック図である。

動きベクトル検出部３０は、図２に示すように、小ブロック動きベクトル検出部３１と、大ブロック動きベクトル検出部３２と、ベクトル決定部３３とを有している。

小ブロック動きベクトル検出部３１と、大ブロック動きベクトル検出部３２とは、それぞれ入力画像信号Ｓ０と、フレームメモリ２０から入力される１フレーム遅延信号Ｓ１０とを入力する。そして、小ブロック動きベクトル検出部３１と、大ブロック動きベクトル検出部３２とは、それぞれ制御部５０から供給されるブロックタイミング信号ＢＴにしたがい、入力画像信号Ｓ０と、１フレーム遅延信号Ｓ１０とを構成する２つの画像フレームを対象としてブロックマッチングを行い、各ブロック間の相関を示す相関信号ＳＴ１、ＳＴ２を出力する。相関信号ＳＴ１、ＳＴ２は、ベクトル決定部３３に出力される。

小ブロック動きベクトル検出部３１は後述する第１の画像ブロックを対象とした第１のブロックマッチングを行い、大ブロック動きベクトル検出部３２は第１の画像ブロックよりも大きい第２の画像ブロックを対象とした第２のブロックマッチングを行う。

ベクトル決定部３３は、入力される相関信号ＳＴ１、ＳＴ２に基づいて、相関が最も高いブロック間の変位を示すベクトル値を検出し、その検出したベクトル値に基づいて、動きベクトルＶ０を出力する。

ここで、ベクトル決定部３３では、相関信号ＳＴ１、ＳＴ２として、候補となる動き方向の各ブロック間のＳＡＤ(Sum of Absolute Difference：画素差分絶対値の総和)を用いている。また、ベクトル決定部３３は、このＳＡＤの値が最小となるブロックが、相関が最も高いブロックと判定する（詳しくは後述する）。

（補間フレーム作成装置の動作内容）
次に、補間フレーム作成装置１０の動作内容について説明する。補間フレーム作成装置１０は、図４に示すフローチャートに沿って補間フレーム作成処理を行い、補間フレームを作成する。

補間フレーム作成装置１０は、補間フレーム作成処理を開始すると、処理をステップ１に進めて、動きベクトル検出を行い、続いて処理をステップ２に進めて補間フレーム作成を実行する。

動きベクトル検出では、動きベクトル検出部３０が２つの画像フレームのブロックマッチングを行い動きベクトルＶ０を検出する。

この場合、小ブロック動きベクトル検出部３１と、大ブロック動きベクトル検出部３２とにおいて、図３に示すように、１フレーム遅延信号Ｓ１０を構成する画像フレーム（前フレーム）１００と、入力画像信号Ｓ０を構成する画像フレーム（後フレーム）２００を対象として、ブロックマッチングが行われる。

このブロックマッチングでは、ブロックタイミング信号ＢＴの示すタイミングにしたがい、時間的に前に位置する前フレーム１００、時間的に後に位置する後フレーム２００のそれぞれが複数の画像ブロックに分割される。

本実施の形態では、前フレーム１００は第１の画像ブロック１００ａ，１００ｂを含む複数の画像ブロックに分割され、後フレーム２００は第１の画像ブロック２００ａ，２００ｂを含む複数の画像ブロックに分割される。その後、前フレーム１００と、後フレーム２００とについて、各画像ブロックの相関（例えば、第１の画像ブロック１００ａと第１の画像ブロック２００ａの相関）が検出され、相関信号ＳＴ１、ＳＴ２が出力される。

そして、補間フレーム作成装置１０では、小ブロック動きベクトル検出部３１と、大ブロック動きベクトル検出部３２とが次のようにしてブロックマッチングを行う。

小ブロック動きベクトル検出部３１では、第１のサイズで区画された画像ブロック（第１の画像ブロック）１００ａ，１００ｂなどを対象としてブロックマッチングを行う。小ブロック動きベクトル検出部３１が行うブロックマッチングを第１のブロックマッチングともいう。

ここで、図５は、物体画像８０を含む前フレーム１００における第１の画像ブロック１００ｂと最も相関の高い画像ブロックが後フレーム２００においては第１の画像ブロック２００ｂであり、第１の画像ブロック２００ｂが第１の画像ブロック１００ｂに対して水平方向に１０画素分移動していたことを示す図である。図６は、小ブロック動きベクトル検出部３１のブロックマッチング処理における画像ブロックのシフト量とＳＡＤとの関係（ＳＡＤ特性）を示すグラフである。以下の説明では、水平方向のブロックマッチング処理について説明する。

物体画像８０を含む第１の画像ブロック１００ｂを後フレーム２００において１画素単位でシフトしていくと、図６に示すように、１０画素分シフトしたところでＳＡＤは極小（ここでは最小）を示す。この極小点ＰＳ０のシフト量ｆ０及びその方向に基づいて動きベクトルが検出される。従って、ここでは、動きベクトルの検出対象となる第１の画像ブロック（対象ブロックともいう）１００ｂの動きベクトルは、水平方向１０画素と検出される。

ところで、動きベクトルの検出を精度良く行うための最適な画像ブロックの大きさ（ブロックサイズ）は、入力されるフレームの解像度やフレーム内に含まれる物体画像の動き方によって変わってくる。動いている物体画像のブロックマッチングを行うためには、ブロックサイズはその物体画像の形状を識別できる例えば水平方向画素の画素値変化が含まれる程度の大きさにする必要がある。しかしながら、ブロックサイズを大きくしすぎると、動く物体画像が画像ブロック内に複数含まれる可能性が大きくなるという課題がある。１つの画像ブロック内に物体画像が複数含まれていると、動きベクトルを特定することが困難となる。そのため、ブロックサイズはある程度の大きさに制限せざるを得ない。

ところが、例えば画像ブロックの水平方向のサイズよりも幅の広い周期的パターンが画像ブロック内に含まれているときは、物体画像の動きと周期的パターンを構成する各画像の繰り返しとが区別できず、したがって、正しい動きベクトルを検出することができなくなってしまう。

画像ブロックの中に周期的パターンが含まれていないときは、ＳＡＤの値は図６のように唯一の極小点を備えるものの、周期的パターンが含まれているときは、ＳＡＤの値は複数の極小点を備えるという特徴がある。この点を考慮して、大ブロック動きベクトル検出部３２は、画像ブロック１１０、２１０等の第２の画像ブロックを対象としてブロックマッチングを行う。大ブロック動きベクトル検出部３２が行うブロックマッチングを第２のブロックマッチングともいう。

ここで、図７は、周期的パターンを含む第２の画像ブロック１１０、２１０を示す図である。図７の上側の図は前フレーム１００における三角形パターン７０と、第２の画像ブロック１１０とを示す図である。第２の画像ブロック１１０は、縞模様のような周期的パターン７１を含んでいる。また、図７の下側の図は、後フレーム２００における三角形パターン７０と、第２の画像ブロック２１０とを示す図である。第２の画像ブロック２１０も周期的パターン７１を含んでいる。なお、図７では、第２の画像ブロック１１０と、最も相関の高い画像ブロックが後フレーム２００においては画像ブロック２１０であり、双方の位置が水平方向に１０画素分移動していた場合を想定している。また、第２の画像ブロック１１０，２１０は第１の画像ブロック１００ｂ、２００ｂよりも大きく、周期的パターン７１の全体が含まれる大きさに設定されている。

図８は、大ブロック動きベクトル検出部３２のブロックマッチングにおける画像ブロックの水平シフト量（垂直シフト量は０とする）とＳＡＤの関係を示すグラフである。

図７に示すような周期的パターン７１が存在すると、図８に示すＳＡＤ特性α１のように、複数の極小点ＰＳ１、ＰＳ２、ＰＳ３が動きベクトル候補として現れる。そのため、周期的パターンが画像ブロックよりも大きいときは、動きベクトルを特定することができない。

そこで、補間フレーム作成装置１０では、大ブロック動きベクトル検出部３２により、周期的パターン７１をすべて含む第２の画像ブロック１１０，２１０を対象として第２のブロックマッチングを行う。

この場合、第２の画像ブロック１１０，２１０を対象としてブロックマッチングを行うと、図８に示すＳＡＤ特性β１のように単一の極小点ＰＬ１が現れる。なお、図８に示すＳＡＤ特性において、ＳＡＤ特性α１とβ１の表示は縦軸（ＳＡＤ）のスケールは同一ではなく、正規化したものを重ねて表示している（以下、異なるブロックサイズの特性を表示している場合は同様である）。そこで、ベクトル決定部３３は、複数の極小点ＰＳ１、ＰＳ２、ＰＳ３のうち、第２の画像ブロック１１０，２１０を対象として検出したＳＡＤの極小点ＰＬ１に最も近い位置にある極小点（この例ではＰＳ１）に基づいて動きベクトルを決定する。なお、ブロックサイズは本実施形態で例示した２種類よりも多くしてもよい。様々なサイズの画像ブロックを用いることにより、動きベクトルの検出精度を向上させることができる。

そして、ベクトル決定部３３は、通常時には小ブロック動きベクトル検出部３１から出力される相関信号ＳＴ１にしたがい動きベクトルＶ０を出力するが、信頼し得る動きベクトル候補が複数見つかったとき（すなわち、複数の極小点ＰＳ１、ＰＳ２、ＰＳ３が現われたとき）は、大ブロック動きベクトル検出部３２から出力される相関信号ＳＴ２を参照する。ベクトル決定部３３は小ブロック動きベクトル検出部３１にて検出された確からしい動きベクトル候補（極小点）の中から、大ブロック動きベクトル検出部３２により検出された動きベクトル候補（最小点）に最も近い動きベクトル候補を選択し、その動きベクトル候補に基づき動きベクトルＶ０を決定して補間画像作成部４０に出力する。

図９は第１の画像ブロック１００ｂのサイズ及びその探索範囲の一例を示し、図１０は第２の画像ブロック１１０のサイズ及びその探索範囲の一例を示す。

図９において、ＳＢは第１の画像ブロック、ＳＳＲは第１の画像ブロックＳＢの探索範囲である。第１の画像ブロックＳＢのサイズは、例えば６４画素×２画素である。
第１のブロックマッチングでは、第１の画像ブロックＳＢを前フレーム１００上では水平方向に−１２画素〜＋１２画素、垂直方向に−２画素〜＋２画素シフトし、同時に第１の画像ブロックＳＢを後フレーム２００上で水平方向に＋１２画素〜−１２画素、垂直方向に＋２画素〜−２画素シフトする。

つまり、補間フレーム１５０に挿入される補間画像ブロック１５１を点対象の中心として、前フレーム１００上で第１の画像ブロックＳＢを例えば＋１２画素シフトした場合は、後フレーム２００上で第１の画像ブロックＳＢを−１２画素シフトする。両フレーム１００、２００で対応する画像ブロックどうし、対応する画素単位で画素値を比較してＳＡＤを算出する。したがって、第１のブロックマッチングの場合、前フレーム１００及び後フレーム２００における探索範囲ＳＳＲは、８８画素×６画素である。

また、図１０に示すように、第２の画像ブロックＬＢのサイズは、例えば６４０画素×４画素である。第２のブロックマッチングでは、第２の画像ブロックＬＢを第１の画像ブロックＳＢと同様に、前フレーム１００では水平方向に−１２画素〜＋１２画素、垂直方向に−２画素〜＋２画素シフトし、同時に第２の画像ブロックＬＢを後フレーム２００上で水平方向に＋１２画素〜−１２画素、垂直方向に＋２画素〜−２画素シフトする。

つまり、補間フレーム１５０に挿入される補間画像ブロック１５１を点対象の中心として、前フレーム１００上で第２の画像ブロックＬＢを例えば＋１２画素シフトした場合は、後フレーム２００上で第２の画像ブロックＬＢを−１２画素シフトして、両フレーム１００、２００で対応する画像ブロックどうし、対応する画素単位で画素値を比較してＳＡＤを算出する。従って、第２のブロックマッチングの場合、前フレーム１００及び後フレーム２００における探索範囲ＬＳＲは、６６４画素×８画素である。

ここで、図１１は、図９の第１の画像ブロック及び図１０の第２の画像ブロックを対象としてブロックマッチングを行ったときの画像ブロックのシフト量とＳＡＤとの関係（ＳＡＤ特性）を示すグラフである。

図１１において、横軸は画像ブロックの水平方向シフト量、縦軸はＳＡＤである。横軸のシフト量は、前フレーム１００上または後フレーム２００上の画像ブロックのシフト量を示している。また、横軸のシフト量は、９個の領域（領域１〜領域９）に分割されおり、領域５はシフト量が０の領域である。曲線α２は第１のブロックマッチングで得られたＳＡＤ特性を示し、曲線β２は第２のブロックマッチングで得られたＳＡＤ特性を示している。

図１３は、動きベクトル検出部３０がブロックマッチングを行い動きベクトルを検出するときの動作手順を示すフローチャートである。

動きベクトル検出部３０では、小ブロック動きベクトル検出部３１により、第１の画像ブロックを対象として動きベクトルの検出を行う（Ｓ１１）。

この場合、第１の画像ブロックＳＢを−１２画素から＋１２画素までシフトしたときに、曲線α２のように複数（ここでは４個）の極小点ＰＳ１０〜ＰＳ１３が現われる。ベクトル決定部３３は、小ブロック動きベクトル検出部３１から提供されるこれらの極小点からなる極小値群から、探索領域全体での第１の最小値ＳＡＤｍｉｎを求める。そして、この第１の最小値ＳＡＤｍｉｎから所定の閾値の範囲内に存在するＳＡＤ極小値（ＰＳ１０、ＰＳ１１、ＰＳ１２）、すなわち「│最小値−極小値│＜閾値」(以下この条件を「第１の条件」という)を満足する極小値を第１の動きベクトル候補として選択する。

そして、その第１の動きベクトル候補が１つのみであった場合（Ｓ１２のＮＯ）、ベクトル決定部３３は、そのＳＡＤ極小値にしたがい動きベクトルＶ０を決定して補間画像作成部４０に出力する（Ｓ１３）。

次に、第１の動きベクトル候補が複数存在したとき（Ｓ１２のＹＥＳ）、動きベクトル検出部３０は探索領域内に周期的パターンが存在するとみなし、大ブロック動きベクトル検出部３２による動きベクトルの検出を実行する（Ｓ１４）。続いて、ベクトル決定部３３は、大ブロック動きベクトル検出部３２から提供されるこれら極小点からなる極小値群から、さらに探索領域全体での第２の最小値ＳＡＤｍｉｎを求める。そして、第２の最小値ＳＡＤｍｉｎから所定の閾値の範囲内に存在するＳＡＤ極小値（ＰＬ１０、ＰＬ１１）、すなわち「│最小値−極小値│＜閾値」(以下この条件を「第２の条件」という)を満足する極小値を第２の動きベクトル候補として選択する。なお、前記第１の条件と、第２の条件とにおける閾値は同一の値である必要は無く、互いに異なっていて良い。

そして、その第２の動きベクトル候補が１つのみであった場合（Ｓ１５のＮＯ）、ベクトル決定部３３は、Ｓ１６に動作を進め、第１の条件を満たす複数の動きベクトル候補の中から、第２の画像ブロックＬＢを用いて検出した極小値ＰＬ２に最も近い極小値（本実施の形態では極小値ＰＳ１）を選択し、その極小値ＰＳ１にしたがい動きベクトルＶ０を決定して補間画像作成部４０に出力する（Ｓ１６）。

さらに、Ｓ１５からＳ１７に進む場合は、図１２に示すように、大ブロック動きベクトル検出部３２による動きベクトルの検出で極小点が複数見つかった場合であり、この場合は、次のようにする。すなわち、ベクトル決定部３３は、動きベクトルの検出対象となる画像ブロック（対象ブロック）に隣接している画像ブロック（隣接ブロック）を見つける。そして、ベクトル決定部３３は、Ｓ１２で見つかった複数の極小点（動きベクトル候補）のうち、隣接ブロックの中ですでに動きベクトルが決定されている画像ブロック（決定済みブロック）で検出されている動きベクトル候補に最も近い動きベクトル候補を最適動きベクトル候補とし、その最適動きベクトル候補に基づき、対象ブロックの動きベクトルＶ０を決定して補間画像作成部４０に出力する（Ｓ１７）。Ｓ１３，Ｓ１６、Ｓ１７を実行すると、動きベクトル検出部３０による動きベクトル検出が終了する。

第２の画像ブロック１１０，２１０のように、周期的パターン７１の全体が含まれているときは、図１１に示す曲線β２のように、第２のブロックマッチングで検出される極小値は１つだけになる（極小値自体は複数現れる場合もあるが、ベクトル候補として信頼し得る閾値の範囲にあるものは多くの場合１つだけになる）。

しかしながら、周期的パターンが画面全体にわたって存在している画像や、わずかに変形しながら移動しているような画像等では、第２のブロックマッチングを行っても、極小値が複数検出され動きベクトルを１つに絞り込めないことがある。この場合、図１２に示す曲線β３のように、極小点ＰＬ１０、ＰＬ１１が現われる。そうすると、誤った動きベクトルが検出されることがあるため、作成される補間フレームも不適切なものとなる。その補間フレームが挿入された映像信号を用いて映像を表示すると、その映像に不自然なつながりをもった部分が現れてしまい、映像の破綻を招いてしまう。

人が映像を視聴した際に感じる破綻は、同じ物体内であるにも関わらず、異なる動きベクトルが検出されたことによって、補間画像上で同じ物体の中に段差が生じてしまうことが主因であると考えられている。そのため、入力映像信号において、周期的パターンが広範囲に渡って含まれるなどして、正確な動きベクトルを検出できないときは、たとえ動きベクトルの検出が正しくできないとしても、同じ物体内で動きベクトルの方向が揃っていさえすれば、人が視聴した際の映像の破綻を小さく抑えられることが期待出来る。

本実施の形態では、この点に着目し、前述のＳ１５で第２の条件を満たす極小値が複数存在したときはＳ１７を実行するようにしている。

同じ物体に存在している周期的パターンの画像ブロックでは、画像ブロックごと最もマッチング度の高い動きベクトルはばらついてしまう場合もある（これが破綻を生じる原因である）が、信頼度が高いと判断される動きベクトル候補、すなわち極小値の分布は、ほぼ同等になるものと考えられる。

そこで、Ｓ１７では、Ｓ１２で見つかった複数の動きベクトル候補の中から、対象ブロックの隣接ブロックで検出されている動きベクトル候補に最も近い動きベクトル候補を最適動きベクトル候補として選び出し、その最適動きベクトル候補に基づき、対象ブロックの動きベクトルＶ０を決定している。こうすることにより、同じ物体に含まれる周期的パターン内で動きベクトルがばらついてしまうことを抑止することが可能となる。したがって、補間画像上に不自然な不連続点が生じず、映像の破綻を防止できるようになる。

この場合、例えば、図１４に示すように、第２の画像ブロック１１０ａ，１１０ｂ、１１０ｃ、１１０ｄ、１１０ｅ、１１０ｆ、１１０ｇ、１１０ｈ、１１０ｉがあり、第２の画像ブロック１１０ｅが対象ブロックであるとする。すると、動きベクトルの検出は例えば矢印Ｐに沿った順序で行われるため、対象ブロック１１０ｅに隣接している８つの画像ブロックのうち、第２の画像ブロック１１０ａ，１１０ｂ、１１０ｃ、１１０ｄでは、すでに動きベクトルが検出されているものの、それ以外の画像ブロック１１０ｆ，１１０ｇ、１１０ｈ、１１０ｉでは、動きベクトルが検出されていない。つまり、対象ブロック１１０ｅの左上側、上側、右上側または左側に配置されている画像ブロックが動きベクトルが決定されている決定済みブロックとなっている。

その場合、ベクトル決定部３３は、対象ブロック１１０ｅにおける第１のブロックマッチングで検出された複数の極小値（動きベクトル候補）のうち、第２の画像ブロック１１０ａ，１１０ｂ、１１０ｃ、１１０ｄの動きベクトル候補に最も近い動きベクトル候補を選択して対象ブロック１１０ｅの動きベクトルを決定する。ベクトル決定部３３は、対象ブロック１１０ｅにおけるブロックマッチングで検出された極小値のうち、第２の画像ブロック１１０ａ，１１０ｂ、１１０ｃ、１１０ｄにおけるブロックマッチングで検出された極小値と、出現した領域が同じでかつ大きさが最も近いものを選択する。こうすることにより、対象ブロック１１０ｅにおける動きベクトルを隣接ブロックの動きベクトルに合せた動きベクトルにすることができる。また、第２の画像ブロック１１０ａ，１１０ｂ、１１０ｃ、１１０ｄにおけるブロックマッチングで検出された極小値の平均値をとり、その平均値と最も近い極小値を選択してもよい。

そして、動きベクトルＶ０が出力されると、補間画像作成部４０が動きベクトル検出部３０から出力される動きベクトルＶ０に基づいて、フレームメモリ２０を介さずに入力される前フレーム（参照フレーム）１００と、フレームメモリ２０に記憶されている後フレーム（基準フレーム、検出対象フレーム）２００との間に補間される補間フレーム１５０を次のようにして作成する。

補間画像作成部４０は、前フレーム１００の各画素ブロックと、後フレーム２００の各画素ブロックとの時間的距離を割り出し、その割り出した時間的距離のうちの後フレーム２００から補間フレーム１５０までの時間的距離の割合で動きベクトルＶ０を縮小する。

そして、補間画像作成部４０は、その縮小された動きベクトルＶ０に基づいて、後フレーム２００の対応する画素ブロックを変位させて補間フレーム１５０を構成するブロックを生成する。補間画像作成部４０は、この手順を前フレーム１００の各画素ブロックと、後フレーム２００の各画素ブロックについて繰り返し、補間フレーム１５０を作成する。

（変形例）
動きベクトル検出部３０は図１３に示したフローチャートの代わりに、図１５に示すフローチャートに沿って動きベクトル検出を行うこともできる。図１５に示すフローチャートは、図１３に示すフローチャートと比較して、Ｓ１５からＳ１７までの間にＳ１８，Ｓ１９、Ｓ２０を実行する点が相違している。

前述の説明では、第１の動きベクトル候補が複数見つかり、第２の動きベクトル候補も複数見つかった場合にＳ１７の動作を実行して動きベクトルを決定していた。しかしながら、第２の画像ブロックよりもサイズの大きい第３の画像ブロックでブロックマッチングを行えば動きベクトル候補を１つに絞り込めることが可能な場合が考えられる（第３の画像ブロックであれば周期的パターンの全体が含まれる場合）。

そのため、ベクトル決定部３３は、図１５に示すようにＳ１５で第２の動きベクトル候補が複数存在したときはＳ１８に動作を進めて第２の画像ブロックよりもサイズの大きい第３の画像ブロックでブロックマッチングを行い、その結果、動きベクトル候補が複数見つかったときにＳ１７を実行することが好ましい。こうすることで、より精度の高い動きベクトル検出を行うことができる。Ｓ１９では、Ｓ１５と同様にして、第３の動きベクトル候補が複数存在するかどうかを判定し、第３の動きベクトル候補が複数存在すればＳ１７を実行し、そうでなければＳ２０に動作を進め、Ｓ１６と同様にして、動きベクトルＶ０を決定する。

なお、図示はしないが、第３の動きベクトル候補も複数見つかった場合に第３の画像ブロックよりもサイズの大きい第４の画像ブロックでブロックマッチングを行い、動きベクトル候補が複数存在したときにＳ１７を実行するようにしてもよい。

以上の説明は、本発明の実施の形態についての説明であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができる。又、各実施形態における構成要素、機能、特徴あるいは方法ステップを適宜組み合わせて構成される装置又は方法も本発明に含まれるものである。

本発明の実施の形態に係る映像信号処理装置の構成を示すブロック図である。 動きベクトル検出部の内部構成の一例を示すブロック図である。 本発明の実施の形態に係る動きベクトル検出手順が適用される２つの画像フレームおよび補間フレームを示す斜視図である。 映像信号処理装置における補間フレーム作成処理の動作手順を示すフローチャートである。 前フレームの画像ブロックと、後フレームにおける最も相関の高い画像ブロックとが水平方向に１０画素分移動していた場合を示す図である。 小ブロック動きベクトル検出部のブロックマッチング処理における画像ブロックのシフト量とＳＡＤとの関係（ＳＡＤ特性）を示すグラフである。 周期的パターンを含む第２の画像ブロックを示す図である。 ブロックマッチング処理における画像ブロックの水平シフト量とＳＡＤの関係を示すグラフである。 第１の画像ブロックおよびその探索範囲の一例を示す図である。 第２の画像ブロックおよびその探索範囲の一例を示す図である。 図９の第１の画像ブロックおよび図１０の第２の画像ブロックを用いてブロックマッチングを行ったときの画像ブロックのシフト量とＳＡＤの関係を示すグラフである。 図９の第１の画像ブロックおよび図１０の第２の画像ブロックを用いてブロックマッチングを行ったときの画像ブロックのシフト量とＳＡＤの関係を示す別のグラフである。 動きベクトル検出処理の動作手順を示すフローチャートである。 対象ブロックおよびその隣接ブロックの一例を示す図である。 動きベクトル検出処理の別の動作手順を示すフローチャートである。

符号の説明

１０…映像信号処理装置、２０…フレームメモリ、３０…動きベクトル検出部、３１…小ブロック動きベクトル検出部、３２…大ブロック動きベクトル検出部、３３…ベクトル決定部、４０…補間画像作成部、３２…ブロック相関演算部、１００…前フレーム、１００ｂ、２００ｂ…画像ブロック、１１０、２２０…画像ブロック、１５０…補間フレーム、２００…後フレーム。

Claims (6)

1. 複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出手段を備えた映像信号処理装置であって、
   前記動きベクトルを検出手段は、第１のサイズのブロックで行われた第１のブロックマッチングで動きベクトル候補が複数検出され、かつ前記第１のサイズよりも大きい第２のサイズのブロックで行われた第２のブロックマッチングで動きベクトル候補が複数検出されたときは、前記動きベクトルの検出対象となる対象ブロックに隣接する隣接ブロックのうち、すでに前記動きベクトルが決定されている決定済みブロックの前記動きベクトルに基づいて、前記対象ブロックの動きベクトルを決定するベクトル決定手段を有することを特徴とする映像信号処理装置。
2. 前記動きベクトルを検出手段は、前記隣接ブロックのうち、前記対象ブロックの左上側、上側、右上側または左側に配置されているブロックのいずれかを前記決定済みブロックとして前記対象ブロックの動きベクトルを決定することを特徴とする請求項１記載の映像信号処理装置。
3. 前記ベクトル決定手段は、前記第１のブロックマッチングで検出された前記複数の動きベクトル候補のうち、前記決定済みブロックで検出されている動きベクトルに最も近い最適動きベクトル候補に基づき、前記対象ブロックの動きベクトルを決定することを特徴とする請求項１記載の映像信号処理装置。
4. 複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出手段と、該動きベクトル検出手段により検出された前記動きベクトルに基づいて、前記各画像フレームの間に内挿される補間フレームを作成する補間フレーム作成手段とを備えた映像信号処理装置であって、
   前記動きベクトル検出手段は、第１のサイズのブロックで行われた第１のブロックマッチングで動きベクトル候補が複数検出され、かつ前記第１のサイズよりも大きい第２のサイズのブロックで行われた第２のブロックマッチングで動きベクトル候補が複数検出されたときは、前記動きベクトルの検出対象となる対象ブロックに隣接する隣接ブロックのうち、すでに前記動きベクトルが決定されている決定済みブロックの前記動きベクトルに基づいて、前記対象ブロックの動きベクトルを決定するベクトル決定手段を有することを特徴とする映像信号処理装置。
5. 前記補間フレーム作成手段から出力される出力画像信号を用いて映像を表示する映像表示手段を更に有する請求項４記載の映像信号処理装置。
6. 複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出手段を備えた映像信号処理装置における映像信号処理方法であって、
   前記動きベクトルを検出手段により、第１のサイズのブロックで行われた第１のブロックマッチングで動きベクトル候補が複数検出され、かつ前記第１のサイズよりも大きい第２のサイズのブロックで行われた第２のブロックマッチングで動きベクトル候補が複数検出されたときは、前記動きベクトルの検出対象となる対象ブロックに隣接する隣接ブロックのうち、すでに前記動きベクトルが決定されている決定済みブロックの前記動きベクトルに基づいて、前記対象ブロックの動きベクトルを決定することを特徴とする映像信号処理方法。

Images