JP5114290B2

JP5114290B2 - 信号処理装置

Info

Publication number: JP5114290B2
Application number: JP2008137810A
Authority: JP
Inventors: 義直平沼; 益孝井上; 智哉寺内
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2008-05-27
Filing date: 2008-05-27
Publication date: 2013-01-09
Anticipated expiration: 2028-05-27
Also published as: JP2009290277A; US20090296820A1

Description

本発明は、基準フレームと参照フレームとに基づいて、基準フレームを構成する複数のブロック毎に動きベクトルを検出する信号処理装置に関する。

基準フレーム及び参照フレームに基づいて、基準フレームと参照フレームとの間に挿入される補間フレームを生成する技術が知られている。補間フレームの生成では、基準フレーム及び参照フレームに基づいて、基準フレームの動きベクトルが検出される。

基準フレームの動きベクトルを検出する技術としては、ブロックマッチング技術が知られている。ブロックマッチング技術では、基準フレームは、複数のブロックによって構成されており、動きベクトルは、複数のブロック毎に検出される。以下において、複数のブロックのうち、動きベクトルを検出すべきブロックを対象ブロックと称する。

具体的には、ブロックマッチング技術では、第１に、基準フレーム内における対象ブロックの位置に基づいて、参照フレーム内における探索範囲が設定される。第２に、探索範囲内において、対象ブロックと同形状の探索ブロックを順にシフトして、対象ブロックと探索ブロックとの一致度を算出する。第３に、対象ブロックと一致度が最も高い探索ブロック、すなわち、一致ブロックが特定される。第４に、基準フレーム内における対象ブロックの位置と参照フレーム内における一致ブロックの位置とのずれ量によって、対象ブロックの動きベクトルが検出される。

ここで、一致ブロックの特定では、対象ブロックを構成する全画素と探索ブロックを構成する全画素とを比較する必要がある。従って、一致ブロックの特定に必要な処理負荷が大きい。

このような処理負荷を低減する技術として、探索範囲内において探索ブロックをシフトする際に、探索ブロックのシフト量を増大する技術が提案されている（例えば、特許文献１）。

具体的には、探索範囲内において探索ブロックをシフトする際に、探索ブロックを２画素毎にシフトすることによって、探索ブロックのシフト回数を低減する。これによって、一致度を算出する回数が低減し、処理負荷が低減する。
特開２００４−２３６７３号公報

しかしながら、探索ブロックを２画素毎にシフトすると、探索ブロックを１画素毎にシフトするケースに比べて、動きベクトルの検出精度が低下することは言うまでもない。

そこで、本発明は、上述した課題を解決するためになされたものであり、処理負荷の低減及び動きベクトルの検出精度の向上を両立することを可能とする信号処理装置を提供することを目的とする。

本発明に係る信号処理装置は、複数のブロックによって構成される基準フレームと、動きベクトルの検出で参照される参照フレームとに基づいて、前記複数のブロックのいずれかである対象ブロックの動きベクトルを検出する。信号処理装置は、前記対象ブロックを構成する複数の画素に基づいて、前記対象ブロックの一部である部分領域を特定する特定部（特定部４１）と、前記参照フレーム内において、前記部分領域と比較する探索領域を順にシフトする探索領域シフト部（探索領域シフト部４３）と、前記探索領域のシフト毎に、前記部分領域と前記探索領域との一致度を算出し、前記部分領域と一致度が最も高い前記探索領域である一致領域を特定する比較部（比較部４４）と、前記基準フレーム内における前記部分領域の位置と前記参照フレーム内における前記一致領域の位置とに基づいて、前記対象ブロックの動きベクトルを検出する検出部（４５）とを備え、前記基準フレーム内における前記対象ブロックの位置に基づいて、前記参照フレーム内において探索範囲を設定する設定部をさらに備え、前記探索領域シフト部は、前記探索範囲内において、前記探索領域を順にシフトし、前記特定部は、前記対象ブロック内において、前記部分領域の候補である候補領域を順にシフトする候補領域シフト部と、前記候補領域のシフト毎に、前記候補領域の４隅を構成する画素に基づいて、前記候補領域を前記部分領域として特定するか否かを判定する判定処理を行う判定部とを有し、前記判定部は、前記対象ブロックの動きベクトルの履歴に基づいて、前記候補領域の４隅を構成する画素から、前記判定処理で用いる画素を選択する。

かかる特徴によれば、比較部は、部分領域と一致度が最も高い探索領域である一致領域を特定する。検出部は、基準フレーム内における部分領域の位置と参照フレーム内における一致領域の位置とに基づいて、対象ブロックの動きベクトルを検出する。部分領域は、対象ブロックの一部である。

従って、対象ブロックを構成する全画素と探索ブロックを構成する全画素とを比較するケースに比べて、一致度の算出で比較する画素数が低減するため、処理負荷の低減を図ることができる。また、探索範囲内において探索領域をシフトする回数を低減しなくても、処理負荷の低減を図ることができる。

本発明によれば、処理負荷の低減及び動きベクトルの検出精度の向上を両立することを可能とする信号処理装置を提供することができる。

以下において、本発明の実施形態に係る信号処理装置について、図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。

ただし、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。従って、具体的な寸法などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。

［第１実施形態］
（信号処理装置の構成）
以下において、第１実施形態に係る信号処理装置の構成について、図面を参照しながら説明する。図１は、第１実施形態に係る信号処理装置１００を示すブロック図である。信号処理装置１００は、投写型映像表示装置などの表示装置に適用されることに留意すべきである。

図１に示すように、信号処理装置１００は、入力信号受付部１０と、基準フレーム取得部２０と、参照フレーム取得部３０と、動きベクトル検出部４０と、補間フレーム生成部５０と、出力部６０とを有する。

入力信号受付部１０は、オリジナルフレームを構成する複数の画素毎に映像入力信号を受け付ける。オリジナルフレームは、映像入力信号によって構成されるフレームである。映像入力信号は、例えば、赤成分信号、緑成分信号及び青成分信号を含む。入力信号受付部１０は、複数のオリジナルフレームのそれぞれを構成する映像入力信号を順に受け付ける。

基準フレーム取得部２０は、映像入力信号に基づいて基準フレームを取得する。基準フレームは、動きベクトルの検出対象のオリジナルフレームである。基準フレームは、複数のブロックによって構成される。基準フレームは、例えば、ｎ番目のオリジナルフレームである。

参照フレーム取得部３０は、映像入力信号に基づいて参照フレームを取得する。参照フレームは、動きベクトルの検出で参照されるオリジナルフレームである。参照フレームは、例えば、ｎ＋１番目のオリジナルフレームである。

なお、動きベクトルの検出方法に応じて、参照フレームを変更してもよいことは勿論である。動きベクトルが前方予測によって検出される場合には、基準フレームよりも時間的に前方のオリジナルフレームが参照フレームとして用いられる。動きベクトルが後方予測によって検出される場合には、基準フレームよりも時間的に後方のオリジナルフレームが参照フレームとして用いられる。動きベクトルが双方向予測によって検出される場合には、複数のオリジナルフレームが参照フレームとして用いられる。

動きベクトル検出部４０は、基準フレーム及び参照フレームに基づいて、基準フレームの動きベクトルを検出する。具体的には、動きベクトル検出部４０は、複数のブロックのいずれかである対象ブロックをセットした上で、対象ブロックの動きベクトルを検出する。動きベクトル検出部４０は、対象ブロックをブロック単位で順にシフトして、基準フレームを構成する全てのブロックについて、ブロック毎に動きベクトルを検出する。なお、動きベクトル検出部４０の詳細については後述する（図２を参照）。

補間フレーム生成部５０は、基準フレームと参照フレームとの間に挿入される補間フレームを生成する。具体的には、補間フレーム生成部５０は、基準フレームを構成する画素、参照フレームを構成する画素及び動きベクトルに基づいて、補間フレームを構成する画素を順に決定する。

出力部６０は、映像入力信号に応じて、映像出力信号を出力する。具体的には、出力部６０は、オリジナルフレームに対応する映像出力信号に加えて、オリジナルフレーム間に挿入される補間フレームに対応する映像出力信号を出力する。なお、出力部６０は、γ補正機能などを有していてもよい。

（動きベクトル検出部の構成）
以下において、第１実施形態に係る動きベクトル検出部の構成について、図面を参照しながら説明する。図２は、第１実施形態に係る動きベクトル検出部４０を示すブロック図である。

図２に示すように、動きベクトル検出部４０は、特定部４１と、設定部４２と、探索領域シフト部４３と、比較部４４と、検出部４５とを有する。

特定部４１は、対象ブロックの一部である部分領域を特定する。部分領域は、動きベクトルの検出において参照フレームと比較される。具体的には、特定部４１は、候補領域シフト部４１ａと、判定部４１ｂとを有する。

候補領域シフト部４１ａは、対象ブロック内において、部分領域の候補である候補領域を順にシフトする。候補領域シフト部４１ａは、１画素毎に候補領域をシフトすることが好ましい。部分領域は、上述したように、対象ブロックの一部である。

判定部４１ｂは、候補領域のシフト毎に、候補領域を部分領域として特定するか否かを判定する判定処理を行う。具体的には、判定部４１ｂは、候補領域を構成する画素に基づいて、候補領域のスコアを算出する。続いて、判定部４１ｂは、スコアが最も高い候補領域を部分領域として特定する。スコアの算出方法としては、以下に示す算出方法が考えられる。

（スコアの算出方法１）
判定部４１ｂは、候補領域を構成する４隅の画素に基づいて、候補領域のスコアを算出する。ここでは、候補領域の左上の画素を画素Ａ、候補領域の右上の画素を画素Ｂ、候補領域の左下の画素を画素Ｃ、候補領域の右下の画素を画素Ｄと称する。具体的には、判定部４１ｂは、画素Ａの輝度値（Ｙ_Ａ）、画素Ｂの輝度値（Ｙ_Ｂ）、画素Ｃの輝度値（Ｙ_Ｃ）、画素Ｄの輝度値（Ｙ_Ｄ）を取得する。続いて、判定部４１ｂは、Ｓ＝Ｙ_ｍａｘ−Ｙ_ｍｉｎによって、候補領域のスコア（Ｓ）を算出する。なお、Ｙ_ｍａｘは、ｍａｘ（Ｙ_Ａ、Ｙ_Ｂ、Ｙ_Ｃ、Ｙ_Ｄ）であり、Ｙ_ｍｉｎは、ｍｉｎ（Ｙ_Ａ、Ｙ_Ｂ、Ｙ_Ｃ、Ｙ_Ｄ）である。

（スコアの算出方法２）
判定部４１ｂは、候補領域を構成する４隅の画素から、判定処理で用いる画素（以下、選択画素）を選択する。判定部４１ｂは、選択画素に基づいて、候補領域のスコアを算出する。具体的には、判定部４１ｂは、対象ブロックの動きベクトルの履歴を取得する。例えば、基準フレームがｎ番目のオリジナルフレームであるケースでは、判定部４１ｂは、基準フレームがｎ−１番目のオリジナルフレームである場合に検出された対象ブロックの動きベクトルを対象ブロックの動きベクトルの履歴として取得する。続いて、判定部４１ｂは、対象ブロックの動きベクトルの履歴に基づいて、選択画素を選択する。

第１に、対象ブロックの動きベクトルの履歴が所定閾値以下である場合に、判定部４１ｂは、画素Ａ〜画素Ｄを選択画素として選択する。判定部４１ｂは、Ｓ＝Ｙ_ｍａｘ−Ｙ_ｍｉｎによって、候補領域のスコア（Ｓ）を算出する。

第２に、対象ブロックの動きベクトルの履歴が水平方向である場合に、判定部４１ｂは、画素Ａ〜画素Ｄを選択画素として選択する。判定部４１ｂは、Ｓ＝｜Ｙ_Ａ−Ｙ_Ｂ｜＋｜Ｙ_Ｃ−Ｙ_Ｄ｜によって、候補領域のスコア（Ｓ）を算出する。

第３に、対象ブロックの動きベクトルの履歴が垂直方向である場合に、判定部４１ｂは、画素Ａ〜画素Ｄを選択画素として選択する。判定部４１ｂは、Ｓ＝｜Ｙ_Ａ−Ｙ_Ｃ｜＋｜Ｙ_Ｂ−Ｙ_Ｄ｜によって、候補領域のスコア（Ｓ）を算出する。

第４に、対象ブロックの動きベクトルの履歴が斜め方向（左下がり又は右上がり）である場合に、判定部４１ｂは、画素Ｂ、画素Ｃを選択画素として選択する。判定部４１ｂは、Ｓ＝｜Ｙ_Ｂ−Ｙ_Ｃ｜によって、候補領域のスコア（Ｓ）を算出する。

第５に、対象ブロックの動きベクトルの履歴が斜め方向（左上がり又は右下がり）である場合に、判定部４１ｂは、画素Ａ、画素Ｄを選択画素として選択する。判定部４１ｂは、Ｓ＝｜Ｙ_Ａ−Ｙ_Ｄ｜によって、候補領域のスコア（Ｓ）を算出する。

（スコアの算出方法３）
判定部４１ｂは、候補領域を構成する全画素に基づいて、候補領域のスコアを算出する。具体的には、判定部４１ｂは、候補領域を構成する全画素の輝度値（Ｙ_{（１，１）}、Ｙ_{（１，２）}、・・・、Ｙ_{（ｍ，ｎ）}）を取得する。続いて、判定部４１ｂは、以下の式によって、全画素の輝度平均値（Ａ）を算出する。

さらに、判定部４１ｂは、以下の式によって、候補領域のスコア（Ｓ）を算出する。

すなわち、判定部４１ｂは、候補領域を構成する全画素の分散値を候補領域のスコア（Ｓ）として算出する。

設定部４２は、参照フレーム内において探索範囲を設定する。具体的には、設定部４２は、基準フレーム内における対象ブロックの位置に基づいて、参照フレーム内において対象ブロックに相当する位置（座標）を特定する。続いて、設定部４２は、参照フレーム内において対象ブロックに相当する位置（座標）の周辺領域を探索範囲として設定する。探索範囲は、対象ブロックよりも広い範囲である。

探索領域シフト部４３は、参照フレーム内において、部分領域と比較する探索領域を順にシフトする。具体的には、探索領域シフト部４３は、探索範囲内において、探索領域を順にシフトする。探索領域シフト部４３は、１画素毎に探索領域をシフトすることが好ましい。探索領域は、部分領域と略同形状であることが好ましい。

比較部４４は、探索領域のシフト毎に、部分領域と探索領域との一致度を算出する。比較部４４は、部分領域と一致度が最も高い探索領域を一致領域として特定する。具体的には、比較部４４は、部分領域を探索領域に重ね合わせた上で、部分領域の画素と、部分領域の画素と同位置（座標）を有する探索領域の画素との差分の絶対値を取得する。続いて、比較部４４は、部分領域を構成する全画素について、差分の絶対値の総和（差分絶対値和）を算出する。比較部４４は、差分絶対値和が最小である探索領域を一致領域として特定する。

検出部４５は、基準フレーム内における部分領域の位置（座標）と参照フレーム内における一致領域の位置（座標）とに基づいて、対象ブロックの動きベクトルを検出する。具体的には、検出部４５は、部分領域の位置（座標）と一致領域の位置（座標）とのずれ量に基づいて、対象ブロックの動きベクトルを検出する。

（補間フレームの生成）
以下において、第１実施形態に係る補間フレームの生成について、図面を参照しながら説明する。図３は、第１実施形態に係る補間フレームの生成を説明する図である。

図３に示すように、基準フレーム及び参照フレームに基づいて、基準フレームを構成する複数のブロック毎に動きベクトルが検出される。続いて、基準フレーム、参照フレーム及び動きベクトルに基づいて、補間フレームが生成される。

（候補領域のシフト）
以下において、第１実施形態に係る候補領域のシフトについて、図面を参照しながら説明する。図４は、第１実施形態に係る候補領域のシフトを説明する図である。

図４に示すように、対象ブロックは、垂直方向にＭ個の画素を有し、水平方向にＮ個の画素を有している。すなわち、対象ブロックは、Ｍ画素×Ｎ画素の矩形形状を有する。候補領域は、垂直方向にｍ個の画素を有し、水平方向にｎ個の画素を有している。すなわち、候補領域は、ｍ画素×ｎ画素の矩形形状を有する。なお、Ｍ＞ｍ、Ｎ＞ｎである。候補領域は、対象ブロック内において順にシフトされる。例えば、候補領域は、１画素毎にシフトされることが好ましい。

（部分領域の構成）
以下において、第１実施形態に係る部分領域の構成について、図面を参照しながら説明する。図５は、第１実施形態に係る部分領域の構成を説明する図である。

上述したように、部分領域は、スコア（Ｓ）が最も高い候補領域である。従って、図５に示すように、部分領域は、垂直方向にｍ個の画素を有し、水平方向にｎ個の画素を有している。すなわち、部分領域は、ｍ画素×ｎ画素の矩形形状を有する。

（対象ブロック及び部分領域の位置）
以下において、第１実施形態に係る対象ブロック及び部分領域の位置について、図面を参照しながら説明する。図６は、第１実施形態に係る対象ブロック及び部分領域の位置を示す図である。

図６に示すように、対象ブロックは、基準フレームを構成する複数のブロックのいずれかである。各ブロックの位置は、予め定められている。上述したように、対象ブロックは、基準フレーム内においてブロック単位で順にシフトされる。

部分領域は、上述したように、対象ブロックの一部である。対象ブロック内における部分領域の位置は、スコア（Ｓ）に応じて定められる。

（探索領域のシフト）
以下において、第１実施形態に係る探索領域のシフトについて、図面を参照しながら説明する。図７は、第１実施形態に係る探索領域のシフトを説明する図である。

図７に示すように、探索範囲は、参照フレーム内に設定される。探索領域は、探索範囲内を順にシフトされる。ここで、探索範囲は、１画素毎にシフトされることが好ましい。探索範囲のシフト範囲は、水平方向において幅Ｗであり、垂直方向において高さＨである。すなわち、探索範囲のシフト範囲は、左上の位置Ａの探索領域、右上の位置Ｂの探索領域、左下の位置Ｃの探索領域及び右下の位置Ｄの探索領域の中心を結ぶ範囲である。

（信号処理装置の動作）
以下において、第１実施形態に係る信号処理装置の動作について、図面を参照しながら説明する。図８は、第１実施形態に係る信号処理装置１００の動作を示すフロー図である。

図８に示すように、ステップ１０において、信号処理装置１００は、基準フレームを構成する複数のブロックのうち、いずれかのブロックを対象ブロックとしてセットする。例えば、信号処理装置１００は、左上のブロックを対象ブロックとしてセットする。

ステップ２０において、信号処理装置１００は、対象ブロックを構成する複数の画素に基づいて、対象ブロックの一部である部分領域を特定する。部分領域の特定の詳細については後述する（図９を参照）。

ステップ３０において、信号処理装置１００は、対象ブロックの動きベクトルを検出する。動きベクトルの検出については後述する（図１０を参照）。

ステップ４０において、信号処理装置１００は、基準フレームを構成する全ブロックを対象ブロックとしてセットしたか否かを判定する。信号処理装置１００は、全ブロックを対象ブロックとしてセットしていない場合には、ステップ５０の処理に移る。信号処理装置１００は、全ブロックを対象ブロックとしてセットした場合には、ステップ６０の処理に移る。

ステップ５０において、信号処理装置１００は、対象ブロックをブロック単位でシフトする。

ステップ６０において、信号処理装置１００は、基準フレーム、参照フレーム及び動きベクトルに基づいて、基準フレームと参照フレームとの間に挿入される補間フレームを生成する。補間フレームの生成については後述する（図１１を参照）。

（部分領域の特定）
以下において、上述した部分領域の特定の詳細について、図９を参照しながら説明する。図９は、上述した部分領域の特定の詳細を示すフロー図である。

図９に示すように、ステップ２１において、信号処理装置１００は、対象ブロック内において、候補領域をセットする。例えば、信号処理装置１００は、対象ブロックの左上の位置に候補領域をセットする。

ステップ２２において、信号処理装置１００は、候補領域のスコア（Ｓ）を算出する。上述したように、スコア（Ｓ）の算出方法としては、スコアの算出方法１〜スコアの算出方法３が考えられる。

ステップ２３において、信号処理装置１００は、候補領域のスコア（Ｓ）が最大であるか否かを判定する。なお、候補領域のスコア（Ｓ）の初期値は“０”である。信号処理装置１００は、候補領域のスコア（Ｓ）が最大である場合には、ステップ２４の処理に移る。信号処理装置１００は、候補領域のスコア（Ｓ）が最大でない場合には、ステップ２５の処理に移る。

ステップ２４において、信号処理装置１００は、候補領域の位置（座標）を部分領域の位置（座標）として更新する。

ステップ２５において、信号処理装置１００は、対象ブロックを構成する全領域において候補領域をシフトしたか否かを判定する。信号処理装置１００は、全領域において候補領域をシフトしていない場合には、ステップ２６の処理に移る。信号処理装置１００は、全領域において候補領域をシフトした場合には、ステップ２７の処理に移る。

ステップ２６において、信号処理装置１００は、対象ブロック内において、候補領域をシフトする。信号処理装置１００は、１画素毎に候補領域をシフトすることが好ましい。

ステップ２７において、信号処理装置１００は、スコア（Ｓ）が最大である候補領域を部分領域として特定する。すなわち、信号処理装置１００は、ステップ２４で最終的に更新された位置（座標）によって、対象ブロック内における部分領域の位置（座標）を特定する。

（動きベクトルの検出）
以下において、上述した動きベクトルの検出の詳細について、図１０を参照しながら説明する。図１０は、上述した動きベクトルの検出の詳細を示すフロー図である。

図１０に示すように、ステップ３１において、信号処理装置１００は、探索範囲内において、探索領域をセットする。例えば、信号処理装置１００は、探索範囲の左上の位置に探索領域をセットする。

ステップ３２において、信号処理装置１００は、部分領域を探索領域に重ね合わせた上で、部分領域の画素と探索領域の画素との差分の絶対値を取得する。続いて、信号処理装置１００は、部分領域を構成する全画素について、差分の絶対値の総和（差分絶対値和）を算出する。

ステップ３３において、信号処理装置１００は、差分絶対値和が最小であるか否かを判定する。なお、差分絶対値和の初期値は、差分絶対値和の最大値である。信号処理装置１００は、差分絶対値和が最小である場合には、ステップ３４の処理に移る。信号処理装置１００は、差分絶対値和が最小でない場合には、ステップ３５の処理に移る。

ステップ３４において、信号処理装置１００は、探索領域の位置（座標）を一致領域の位置（座標）として更新する。一致領域は、上述したように、動きベクトルの検出に用いられる。

ステップ３５において、信号処理装置１００は、探索範囲を構成する全領域において探索領域をシフトしたか否かを判定する。信号処理装置１００は、全領域において探索領域をシフトしていない場合には、ステップ３６の処理に移る。信号処理装置１００は、全領域において探索領域をシフトした場合には、ステップ３７の処理に移る。

ステップ３６において、信号処理装置１００は、探索領域内において、探索領域をシフトする。信号処理装置１００は、１画素毎に探索領域をシフトすることが好ましい。

ステップ３７において、信号処理装置１００は、差分絶対値和が最小である探索領域を一致領域として特定する。すなわち、信号処理装置１００は、ステップ３４で最終的に更新された位置（座標）によって、探索範囲（参照フレーム）内における一致領域の位置（座標）を特定する。

続いて、信号処理装置１００は、基準フレーム内における部分領域の位置（座標）と参照フレーム内における一致領域の位置（座標）とに基づいて、対象ブロックの動きベクトルを検出する。具体的には、信号処理装置１００は、部分領域の位置（座標）と一致領域の位置（座標）とのずれ量によって、対象ブロックの動きベクトルを検出する。

（補間フレームの生成）
以下において、上述した補間フレームの生成の詳細について、図１１を参照しながら説明する。図１１は、上述した補間フレームの生成の詳細を示すフロー図である。

図１１に示すように、ステップ６１において、信号処理装置１００は、補間フレームを構成する複数の画素のうち、いずれかの画素である対象画素をセットする。例えば、信号処理装置１００は、補間フレームの左上の画素を対象画素としてセットする。

ステップ６２において、第１に、信号処理装置１００は、基準フレーム内において対象画素と対応する位置（座標）を特定する。第２に、信号処理装置１００は、対象画素と対応する位置（座標）の周囲に設けられたブロック（以下、周辺ブロック）の動きベクトルを取得する。ここで、周辺ブロックは、対象画素と対応する位置（座標）を含むブロック、これに隣接するブロックを含む。第３に、信号処理装置１００は、周辺ブロックの動きベクトルに基づいて、対象画素に適用する動きベクトルを取得する。

対象画素に適用する動きベクトルの取得方法の一例について、図１２を参照しながら説明する。図１２では、各画素の位置は、座標（ｘ、ｙ）で表される。対象画素の位置は、座標（ｉ，ｊ）である。

周辺ブロックは、ブロックＡ、ブロックＢ、ブロックＣ、ブロックＤである。ブロックＡの中心画素の位置は、座標（ａ，ｂ）であり、ブロックＢの中心画素の位置は、座標（ｃ，ｄ）である。ブロックＣの中心画素の位置は、座標（ｅ，ｆ）であり、ブロックＤの中心画素の位置は、座標（ｇ，ｈ）である。ブロックＡの動きベクトルは、Ｖ_ａであり、ブロックＢの動きベクトルは、Ｖ_ｂである。ブロックＣの動きベクトルは、Ｖ_ｃであり、ブロックＤの動きベクトルは、Ｖ_ｄである。

面積Ｓは、座標（ａ，ｂ）、座標（ｃ，ｄ）、座標（ｅ，ｆ）及び座標（ｇ，ｈ）を頂点とする矩形領域の面積である。面積Ｓ_ａは、座標（ａ，ｂ）及び座標（ｉ，ｊ）を対角線として有する矩形領域の面積であり、面積Ｓ_ｂは、座標（ｃ，ｄ）及び座標（ｉ，ｊ）を対角線として有する矩形領域の面積である。面積Ｓ_ｃは、座標（ｅ，ｆ）及び座標（ｉ，ｊ）を対角線として有する矩形領域の面積であり、面積Ｓ_ｄは、座標（ｇ，ｈ）及び座標（ｉ，ｊ）を対角線として有する矩形領域の面積である。

このようなケースにおいて、対象画素に適用する動きベクトルは、周辺ブロックの動きベクトル及び周辺ブロックの中心画素と対象画素との距離に基づいて取得される。例えば、対象画素に適用する動きベクトル（Ｖ_ｐ）は、Ｖ_ｐ＝｛Ｖ_ａ×Ｓ_ｄ＋Ｖ_ｂ×Ｓ_ｃ＋Ｖ_ｃ×Ｓ_ｂ＋Ｖ_ｄ×Ｓ_ａ｝／Ｓによって算出される。

ステップ６３において、信号処理装置１００は、動きベクトル（Ｖ_ｐ）に基づいて、基準フレームから画素Ｐｂを取得する。具体的には、信号処理装置１００は、対象画素の座標（ｉ，ｊ）に対して“−Ｖ_ｐ／２”の座標を有する画素Ｐｂを基準フレームから取得する。

ステップ６３において、信号処理装置１００は、動きベクトル（Ｖ_ｐ）に基づいて、参照フレームから画素Ｐｒを取得する。具体的には、信号処理装置１００は、対象画素の座標（ｉ，ｊ）に対して“Ｖ_ｐ／２”の座標を有する画素Ｐｒを参照フレームから取得する。

ステップ６４において、信号処理装置１００は、対象画素Ｐを決定する。具体的には、信号処理装置１００は、Ｐ＝（Ｐｂ＋Ｐｒ）／２によって、対象画素Ｐを算出する。

ステップ６５において、信号処理装置１００は、補間フレームを構成する全画素を決定したか否かを判定する。信号処理装置１００は、全画素を決定していない場合には、ステップ６７の処理に移る。信号処理装置１００は、全画素を決定した場合には、ステップ６８の処理に移る。

ステップ６７において、信号処理装置１００は、補間フレーム内において、対象画素をシフトする。すなわち、信号処理装置１００は、１画素毎に対象画素を順にシフトする。

ステップ６８において、信号処理装置１００は、複数の画素によって構成される補間フレームを生成する。すなわち、信号処理装置１００は、ステップ６５で決定された画素によって構成される補間フレームを生成する。

（作用及び効果）
第１実施形態では、比較部４４は、部分領域と一致度が最も高い探索領域である一致領域を特定する。検出部４５は、基準フレーム内における部分領域の位置と参照フレーム内における一致領域の位置とに基づいて、対象ブロックの動きベクトルを検出する。部分領域は、対象ブロックの一部である。

第１実施形態では、特定部４１は、候補領域シフト部４１ａ及び判定部４１ｂを有する。候補領域シフト部４１ａは、対象ブロック内において、候補領域を順にシフトする。判定部４１ｂは、候補領域のシフト毎に、候補領域の４隅を構成する画素に基づいて、候補領域を部分領域として特定するか否かを判定する。

従って、特定部４１は、処理負荷の軽減を図りながら、輝度変化を有する特徴的な領域を部分領域として特定することができる。これによって、対象ブロックの動きベクトルの検出精度が向上する。

第１実施形態では、判定部４１ｂは、対象ブロックの動きベクトルの履歴に基づいて、候補領域の４隅を構成する画素から、判定処理で用いる画素を選択する。すなわち、映像に含まれる物体画像の動き量に応じて、部分領域の特定に用いる画素が選択される。

第１実施形態では、判定部４１ｂは、候補領域を構成する複数の画素の分散値に基づいて、候補領域を部分領域として特定するか否かを判定する。

従って、特定部４１は、輝度変化を有する特徴的な領域を部分領域として特定することができる。これによって、対象ブロックの動きベクトルの検出精度がさらに向上する。

［その他の実施形態］
本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

例えば、候補領域のスコア（Ｓ）の算出方法は、スコアの算出方法１〜スコアの算出方法３に限定されるものではない。具体的には、候補領域から任意の画素を選択して、任意の画素に基づいて、候補領域のスコア（Ｓ）が算出されてもよい。

上述した実施形態では、参照フレーム内において探索範囲を設定する設定部４２が設けられているが、探索範囲の設定は必須ではない。

上述した実施形態では、特定部４１は、候補領域シフト部４１ａ及び判定部４１ｂを有するが、特定部４１の構成は、これに限定されるものではない。特定部４１は、対象ブロックを構成する複数の画素を用いていれば、他の方法によって部分領域を特定してもよい。

第１実施形態に係る信号処理装置１００を示すブロック図である。第１実施形態に係る動きベクトル検出部４０を示すブロック図である。第１実施形態に係る補間フレームの生成を説明する図である。第１実施形態に係る候補領域のシフトを説明する図である。第１実施形態に係る部分領域の構成を説明する図である。第１実施形態に係る対象ブロック及び部分領域の位置を示す図である。第１実施形態に係る探索領域のシフトを説明する図である。第１実施形態に係る信号処理装置１００の動作を示すフロー図である。第１実施形態に係る信号処理装置１００の動作を示すフロー図である。第１実施形態に係る信号処理装置１００の動作を示すフロー図である。第１実施形態に係る信号処理装置１００の動作を示すフロー図である。第１実施形態に係る対象画素に適用する動きベクトルの取得方法を説明する図である。

符号の説明

１０・・・入力信号受付部、２０・・・基準フレーム取得部、３０・・・参照フレーム取得部、４０・・・動きベクトル検出部、４１・・・特定部、４１ａ・・・候補領域シフト部、４１ｂ・・・判定部、４２・・・設定部、４３・・・探索領域シフト部、４４・・・比較部、４５・・・検出部、５０・・・補間フレーム生成部、６０・・・出力部、１００・・・信号処理装置

Claims

複数のブロックによって構成される基準フレームと、動きベクトルの検出で参照される参照フレームとに基づいて、前記複数のブロックのいずれかである対象ブロックの動きベクトルを検出する信号処理装置であって、
前記対象ブロックを構成する複数の画素に基づいて、前記対象ブロックの一部である部分領域を特定する特定部と、
前記参照フレーム内において、前記部分領域と比較する探索領域を順にシフトする探索領域シフト部と、
前記探索領域のシフト毎に、前記部分領域と前記探索領域との一致度を算出し、前記部分領域と一致度が最も高い前記探索領域である一致領域を特定する比較部と、
前記基準フレーム内における前記部分領域の位置と前記参照フレーム内における前記一致領域の位置とに基づいて、前記対象ブロックの動きベクトルを検出する検出部とを備え、
前記基準フレーム内における前記対象ブロックの位置に基づいて、前記参照フレーム内において探索範囲を設定する設定部をさらに備え、
前記探索領域シフト部は、前記探索範囲内において、前記探索領域を順にシフトし、
前記特定部は、前記対象ブロック内において、前記部分領域の候補である候補領域を順にシフトする候補領域シフト部と、
前記候補領域のシフト毎に、前記候補領域の４隅を構成する画素に基づいて、前記候補領域を前記部分領域として特定するか否かを判定する判定処理を行う判定部とを有し、
前記判定部は、前記対象ブロックの動きベクトルの履歴に基づいて、前記候補領域の４隅を構成する画素から、前記判定処理で用いる画素を選択することを特徴とする信号処理装置。