JP4419069B2

JP4419069B2 - 画像処理装置および方法、記録媒体、並びにプログラム

Info

Publication number: JP4419069B2
Application number: JP2004285776A
Authority: JP
Inventors: 康昭高橋; 邦雄川口; 孝文森藤; 彰彦貝野; 悠太長木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-09-30
Filing date: 2004-09-30
Publication date: 2010-02-24
Anticipated expiration: 2024-09-30
Also published as: JP2006101267A

Description

本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、画素値の補間生成において、原画像および縮小画像のメモリから、動きベクトルの大きさにより用いる画像を選ぶようにすることにより、回路規模を小さくすることができるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。

画像のフレーム周波数を変換する場合、画像処理装置は、ブロックマッチング法、または、特許文献１に示されるような勾配法を用いて、入力される元フレーム上の動きベクトルを検出し、検出された動きベクトルを、新しく内挿される内挿フレーム上の着目画素に割り付けることにより、内挿フレームの画素値を補間生成している。

図１を参照して、この内挿フレームの画素値の生成処理を説明する。図１の例において、元フレームｔ０およびｔ１の間に生成される内挿フレームＦ１が示されている。なお、各フレーム上の仕切りは、各フレームにおける画素の位置を示している。

内挿フレームＦ１の画素値は、内挿フレームＦ１上の画素に割り付けられた動きベクトルｖで対応付けられる２つの元フレーム上の画素値が用いられて、補間などの処理により生成される。このとき、対応付けられる元フレーム上の位置Ｐ０およびＰ１は、画素以下の値になることがあるため、元フレーム上の位置の周囲の画素で構成されるブロックＢ０およびＢ１を用いての補間処理が行われる。

また、画像処理装置において、元フレームの画素値は、図２に示されるように、フレームメモリＡに格納されているが、フレームメモリＡとのアクセスにあまり時間がかけられない場合には、補間処理でアクセスされる可能性のあるラインを、そのままラインメモリＢに格納し、そこからデータを読み出す構成が用いられていた。

特開昭６０−１５８７８６公報

この場合、ラインメモリには、フレームにおける動きベクトルの垂直方向（図１においては、水平方向）の最大値分の画素値を格納する必要がある。したがって、この最大値が大きい場合には、ラインメモリの数も多くなり、回路規模が大きくなってしまう課題があった。

また、逆に、回路規模を大きくしないように、ラインメモリの数を減らしてしまうと、実現可能な動きベクトルの大きさが縮小することになり、生成される画像の品質が低下してしまう課題があった。

本発明は、このような状況に鑑みてなされたものであり、生成される画像の品質をあまり落とすことなく、回路規模を小さくすることができるようにするものである。

本発明の画像処理装置は、検出された動きベクトルを、第２のフレームの画素に割り付けるベクトル割付手段と、第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさ以上の動きベクトルに対応する範囲の第１のフレームの画素値を縮小した上で格納する第１のラインメモリと、第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさより小さい動きベクトルに対応する範囲の第１のフレームの画素値を格納する第２のラインメモリと、ベクトル割付手段により第２のフレームのライン上の画素に割り付けられた動きベクトルと第１のフレームとの交差位置に応じて、第１のラインメモリまたは第２のラインメモリから第１のフレームの画素値を選択する選択手段と、選択手段により選択された第１のフレームの画素値を用いて、第２のフレーム上の画素値を補間することにより生成する画素補間生成手段とを備える。

動きベクトルと第１のフレームとの交差位置の周辺画素で構成されるブロックの画素値が、第１のラインメモリと第２のラインメモリに跨って格納されているか否かを判定するメモリ判定手段と、メモリ判定手段によりブロックの画素値が、第１のラインメモリと第２のラインメモリに跨って格納されていると判定された場合、ブロックを、第１のラインメモリに画素値が格納されている画素のみ、または、第２のラインメモリに画素値が格納されている画素のみで構成されるように変更するブロック変更手段とをさらに備え、選択手段は、第１のラインメモリおよび第２のラインメモリのどちらか一方から、ブロック変更手段により変更されたブロックの第１のフレームの画素値を選択することができる。

メモリ判定手段によりブロックの画素値が、第１のラインメモリと第２のラインメモリに跨って格納されていると判定された場合、動きベクトルと第１のフレームとの交差位置の近傍に、第２のラインメモリに画素値が格納されている画素があるか否かを判定する画素判定手段とをさらに備え、画素判定手段により動きベクトルと第１のフレームとの交差位置の近傍に、第２のラインメモリに画素値が格納されている画素があると判定された場合、ブロック変更手段は、ブロックを、第２のラインメモリに画素値が格納されている画素のみで構成されるように変更し、選択手段は、第２のラインメモリから、ブロック変更手段により変更されたブロックの第１のフレームの画素値を選択することができる。

本発明の画像処理方法は、検出された動きベクトルを、第２のフレームの画素に割り付けるベクトル割付ステップと、ベクトル割付ステップの処理により第２のフレームのライン上の画素に割り付けられた動きベクトルと第１のフレームとの交差位置に応じて、第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさ以上の動きベクトルに対応する範囲の第１のフレームの画素値を縮小した上で格納する第１のラインメモリ、または、第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさより小さい動きベクトルに対応する範囲の第１のフレームの画素値を格納する第２のラインメモリから第１のフレームの画素値を選択する選択ステップと、選択ステップの処理により選択された第１のフレームの画素値を用いて、第２のフレーム上の画素値を補間することにより生成する画素補間生成ステップとを含む。

本発明の記録媒体に記録されているプログラムは、第１のフレーム上の動きベクトルを検出し、検出された動きベクトルに基づいて、第２のフレーム上の画素値を生成する画像処理装置のコンピュータに、検出された動きベクトルを、第２のフレームの画素に割り付けるベクトル割付ステップと、ベクトル割付ステップの処理により第２のフレームのライン上の画素に割り付けられた動きベクトルと第１のフレームとの交差位置に応じて、第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさ以上の動きベクトルに対応する範囲の第１のフレームの画素値を縮小した上で格納する第１のラインメモリ、または、第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさより小さい動きベクトルに対応する範囲の第１のフレームの画素値を格納する第２のラインメモリから第１のフレームの画素値を選択する選択ステップと、選択ステップの処理により選択された第１のフレームの画素値を用いて、第２のフレーム上の画素値を補間することにより生成する画素補間生成ステップとを含む処理を実行させる。

本発明のプログラムは、第１のフレーム上の動きベクトルを検出し、検出された動きベクトルに基づいて、第２のフレーム上の画素値を生成する画像処理装置のコンピュータに、検出された動きベクトルを、第２のフレームの画素に割り付けるベクトル割付ステップと、ベクトル割付ステップの処理により第２のフレームのライン上の画素に割り付けられた動きベクトルと第１のフレームとの交差位置に応じて、第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさ以上の動きベクトルに対応する範囲の第１のフレームの画素値を縮小した上で格納する第１のラインメモリ、または、第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさより小さい動きベクトルに対応する範囲の第１のフレームの画素値を格納する第２のラインメモリから第１のフレームの画素値を選択する選択ステップと、選択ステップの処理により選択された第１のフレームの画素値を用いて、第２のフレーム上の画素値を補間することにより生成する画素補間生成ステップとを含む処理を実行させる。

本発明においては、検出された動きベクトルが、第２のフレームの画素に割り付けられ、第２のフレームのライン上の画素に割り付けられた動きベクトルと第１のフレームとの交差位置に応じて、第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさ以上の動きベクトルに対応する範囲の第１のフレームの画素値を縮小した上で格納する第１のラインメモリ、または、第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさより小さい動きベクトルに対応する範囲の第１のフレームの画素値を格納する第２のラインメモリから第１のフレームの画素値が選択される。そして、選択された第１のフレームの画素値を用いて、第２のフレーム上の画素値が補間して生成される。

本発明によれば、生成される画像の品質をあまり落とすことなく、回路規模を小さくすることができる。本発明によれば、回路規模を大きくすることなく、より大きな動きを実現することができる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

請求項１に記載の画像処理装置は、検出された動きベクトルを、第２のフレームの画素に割り付けるベクトル割付手段（例えば、図４のベクトル割付部５４）と、第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさ以上の動きベクトルに対応する範囲の第１のフレームの画素値を縮小した上で格納する第１のラインメモリ（例えば、図８の縮小画ラインメモリ１０１−１）と、第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさより小さい動きベクトルに対応する範囲の第１のフレームの画素値を格納する第２のラインメモリ（例えば、図８の原画ラインメモリ１０２−１）と、ベクトル割付手段により第２のフレームのライン上の画素に割り付けられた動きベクトルと第１のフレームとの交差位置に応じて、第１のラインメモリまたは第２のラインメモリから第１のフレームの画素値を選択する選択手段（例えば、図８のセレクタ９６−１）と、選択手段により選択された第１のフレームの画素値を用いて、第２のフレーム上の画素値を補間することにより生成する画素補間生成手段（例えば、図８の加算器９８）とを備える。

請求項２に記載の画像処理装置は、動きベクトルと第１のフレームとの交差位置の周辺画素で構成されるブロックの画素値が、第１のラインメモリと第２のラインメモリに跨って納されているか否かを判定するメモリ判定手段（例えば、図９のブロック判定部１１１）と、メモリ判定手段によりブロックの画素値が、第１のラインメモリと第２のラインメモリに跨って格納されていると判定された場合、ブロックを、第１のラインメモリに画素値が格納されている画素のみ、または、第２のラインメモリに画素値が格納されている画素のみで構成されるように変更するブロック変更手段（例えば、図９のブロック変更部１１３）とをさらに備え、選択手段は、第１のラインメモリおよび第２のラインメモリのどちらか一方から、ブロック変更手段により変更されたブロックの第１のフレームの画素値を選択する。

請求項３に記載の画像処理装置は、メモリ判定手段によりブロックの画素値が、第１のラインメモリと第２のラインメモリに跨って格納されていると判定された場合、動きベクトルと第１のフレームとの交差位置の近傍に、第２のラインメモリに画素値が格納されている画素があるか否かを判定する画素判定手段（例えば、図９の画素判定部１１２）とをさらに備え、画素判定手段により動きベクトルと第１のフレームとの交差位置の近傍に、第２のラインメモリに画素値が格納されている画素があると判定された場合、ブロック変更手段は、ブロックを、第２のラインメモリに画素値が格納されている画素のみで構成されるように変更し、選択手段は、第２のラインメモリから、ブロック変更手段により変更されたブロックの第１のフレームの画素値を選択する。

請求項４に記載の画像処理方法は、検出された動きベクトルを、第２のフレームの画素に割り付けるベクトル割付ステップ（例えば、図７のステップＳ３）と、ベクトル割付ステップの処理により第２のフレームのライン上の画素に割り付けられた動きベクトルと第１のフレームとの交差位置に応じて、第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさ以上の動きベクトルに対応する範囲の第１のフレームの画素値を縮小した上で格納する第１のラインメモリ、または、第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさより小さい動きベクトルに対応する範囲の第１のフレームの画素値を格納する第２のラインメモリから第１のフレームの画素値を選択する選択ステップ（例えば、図１６のステップＳ５４）と、選択ステップの処理により選択された第１のフレームの画素値を用いて、第２のフレーム上の画素値を補間することにより生成する画素補間生成ステップ（例えば、図１６のステップＳ５７）とを含む。

なお、請求項５に記載の記録媒体および請求項６に記載のプログラムも、上述した請求項４に記載の画像処理方法と基本的に同様の処理であるため、繰り返しになるのでその説明は省略する。

以下、図を参照して本発明の実施の形態について説明する。

図３は、本発明を適用した信号処理装置１の構成例を表している。信号処理装置１は、例えば、パーソナルコンピュータなどで構成される。図３において、ＣＰＵ（Central Processing Unit）１１は、ＲＯＭ（Read Only Memory）１２、または記憶部１８に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）１３には、ＣＰＵ１１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ１１、ＲＯＭ１２、およびＲＡＭ１３は、バス１４により相互に接続されている。

ＣＰＵ１１にはまた、バス１４を介して入出力インタフェース１５が接続されている。入出力インタフェース１５には、キーボード、マウス、マイクロフォンなどよりなる入力部１６、ディスプレイ、スピーカなどよりなる出力部１７が接続されている。ＣＰＵ１１は、入力部１６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ１１は、処理の結果、得られた画像や音声等を出力部１７に出力する。

入出力インタフェース１５に接続されている記憶部１８は、例えばハードディスクなどで構成され、ＣＰＵ１１が実行するプログラムや各種のデータを記憶する。通信部１９は、インターネット、その他のネットワークを介して外部の装置と通信する。また、通信部１９を介してプログラムを取得し、記憶部１８に記憶してもよい。

入出力インタフェース１５に接続されているドライブ２０は、磁気ディスク３１、光ディスク３２、光磁気ディスク３３、或いは半導体メモリ３４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１８に転送され、記憶される。

なお、信号処理装置１は、例えば、テレビジョン受像機、光ディスクプレーヤなど、または、それらの信号処理部とすることもできる。

図４は、信号処理装置１を示すブロック図である。

なお、信号処理装置１の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えてもよい。

図４に構成を示す信号処理装置１においては、例えば、フレーム周波数２４Ｈｚのプログレッシブ画像信号（以下、２４Ｐ信号と称する）の画像が入力され、入力された画像（入力画像）が、フレーム周波数６０Ｈｚのプログレッシブ画像信号（以下、６０Ｐ信号と称する）の画像に変換されて、出力される。すなわち、図４は、画像処理装置である信号処理装置の構成を示す図である。

信号処理装置１に入力された２４Ｐ信号の入力画像は、フレームメモリ５１、ベクトル検出部５２、ベクトル割付部５４、割付補償部５７、および画像補間部５８に供給される。フレームメモリ５１は、入力画像をフレーム単位で記憶する。フレームメモリ５１は、時刻ｔ＋１の入力画像の１つ前の時刻ｔのフレームを記憶する。フレームメモリ５１に記憶される時刻ｔのフレームは、ベクトル検出部５２、ベクトル割付部５４、割付補償部５７、および画像補間部５８に供給される。

なお、実際には、フレームメモリ５１には、時刻ｔ＋１の入力画像のフレームも記憶され、信号処理装置１の各部には、時間をずらして、時刻ｔのフレーム、および時刻ｔ＋１のフレームが供給されている。以下、フレームメモリ５１上の時刻ｔのフレームをフレームｔと称し、時刻ｔ＋１の入力画像のフレームを、フレームｔ＋１と称する。また、これらの２４Ｐ信号のフレームは、６０Ｐ信号のフレームと区別するため、適宜、元フレームとも称する。

ベクトル検出部５２は、フレームメモリ５１上のフレームｔの着目ブロックと、入力画像のフレームｔ＋１の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ５３に記憶する。この２フレーム間の動きベクトルの検出方法には、勾配法またはブロックマッチング法などが用いられる。検出ベクトルメモリ５３は、フレームｔにおいて、ベクトル検出部５２により検出された動きベクトルを記憶する。

ベクトル割付部５４は、２４Ｐ信号のフレームｔ上において求められた動きベクトルを、割付ベクトルメモリ５５上の、補間する６０Ｐ信号のフレーム（以下、６０Ｐ信号のフレームは、２４Ｐ信号のフレームと区別するため、内挿フレームとも称する）上の画素に割り付け、動きベクトルが割り付けられた画素の割付フラグメモリ５６の割付フラグを１(True)に書き換える。

割付ベクトルメモリ５５は、ベクトル割付部５４により割り付けられた動きベクトルを、内挿フレームの各画素に対応させて記憶する。割付フラグメモリ５６は、内挿フレームの画素毎に、割り付けられる動きベクトルの有無を示す割付フラグを記憶している。例えば、True(1)である割付フラグは、対応する画素に動きベクトルが割り付けられていることを示し、False(0)である割付フラグは、対応する画素に動きベクトルが割り付けられていないことを示す。

割付補償部５７は、割付フラグメモリ５６の割付フラグを参照し、ベクトル割付部５４により動きベクトルが割り付けられなかった着目画素に対して、その着目画素の周辺画素の動きベクトルを補い、割付ベクトルメモリ５５の内挿フレーム上に割り付ける。このとき、割付補償部５７は、動きベクトルを割り付けた着目画素の割付フラグを１(True)に書き換える。

画像補間部５８は、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔおよび次のフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成する。そして、画像補間部５８は、生成された内挿フレームを出力し、その次に、必要に応じて、フレームｔ＋１を出力することにより、６０Ｐ信号の画像を、図示せぬ後段に出力する。画像補間部５８の構成の詳細は、図８を参照して後述する。なお、以下においては、画素値を、適宜、輝度値とも称する。

図５は、本発明に係る信号処理装置１における処理の原理を説明する図である。図５の例においては、点線が、信号処理装置１に入力される、時刻ｔ，ｔ＋１，およびｔ＋２における２４Ｐ信号の元フレームを表しており、実線が、入力された２４Ｐ信号から信号処理装置１により、生成される時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，ｔ＋１．６，およびｔ＋２における６０Ｐ信号の内挿フレームを表している。

一般に、２４Ｐ信号を、６０Ｐ信号に変換するためには、５／２倍のフレームが必要になる。すなわち、２枚の２４Ｐ信号の画像から５枚の６０Ｐ信号の画像が生成されなければならない。このとき、生成される６０Ｐ信号の内挿フレームは、そのフレーム間隔を等しくするために、２４Ｐ信号上での時間位相が０．０，０．４，０．８，１．２，および１．６となる位置に配置される。この中で、時間位相が０．０である時刻ｔの１フレームを除く４フレーム（ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６のフレーム）は、２４Ｐ信号上には存在しない画像である。したがって、信号処理装置１は、２４Ｐ信号の画像が入力されると、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚の元フレームから、４つの内挿フレームを生成する。したがって、信号処理装置１からは、時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６の５枚のフレームからなる６０Ｐ信号の画像が出力される。

以上のようにして、信号処理装置１は、２４Ｐ信号の画像から６０Ｐ信号の画像に、フレーム周波数を変換する処理を実行する。

なお、原理的には、上述したように、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚のフレームから、時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６の５枚の６０Ｐ信号のフレームが新しく生成されるが、実際には、図５の例の場合、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚のフレームに基づいて、ｔ，ｔ＋０．４，ｔ＋０．８の６０Ｐ信号のフレームが生成され、２４Ｐ信号の時刻ｔ＋１およびｔ＋２の２枚のフレームに基づいて、ｔ＋１．２，ｔ＋１．６，およびｔ＋２の６０Ｐ信号のフレームが生成される。

図６は、本発明の処理をより具体的に説明する図である。図６の例においては、太線矢印は、各状態への遷移を表しており、矢印Ｔは、状態８１乃至８５における時間の経過方向を表している。また、状態８１乃至８５は、信号処理装置１を構成する各部への入出力時の、２４Ｐ信号の時刻ｔのフレームｔ、時刻ｔの次の時刻ｔ＋１のフレームｔ＋１、または、フレームｔおよびフレームｔ＋１の間に生成される６０Ｐ信号の内挿フレームＦの状態を概念的に表している。すなわち、実際には、例えば、状態８２に示されるような動きベクトルが検出されたフレームは入力されず、フレームと動きベクトルは、別々に入力される。

状態８１は、ベクトル検出部５２に入力される、２４Ｐ信号のフレームｔおよびフレームｔ＋１の状態を表している。状態８１のフレームｔ上の黒点は、フレームｔ上の画素を表している。ベクトル検出部５２は、状態８１のフレームｔ上の画素が、次の時刻のフレームｔ＋１において、どの位置に移動するかを検出し、その動きを、状態８２のフレームｔ上に示されるように、各画素に対応する動きベクトルとして出力する。この２フレーム間の動きベクトルの検出方法には、ブロックマッチング法または勾配法などが用いられる。なお、このとき、画素に複数の動きベクトルが検出された場合、ベクトル検出部５２は、各動きベクトルについて、評価値を求め、その評価値に基づいて動きベクトルを選択する。

ここで、動きベクトルに対する評価値としては、例えば、２つのフレームの注目するベクトル量分ずらしたブロック（例えば、８×８画素）間の相関値を表す差分絶対値和（ＤＦＤ(Displaced Frame Difference)）などが用いられる。なお、この動きベクトルの評価値は、ベクトル割付部５４、および割付補償部５７でも動きベクトルを評価する際に用いられる。

状態８２は、ベクトル割付部５４に入力される、フレームｔおよびフレームｔ＋１の状態を表している。状態８２において、フレームｔの各画素の矢印は、ベクトル検出部５２により検出された動きベクトルを表している。

ベクトル割付部５４は、状態８２のフレームｔの各画素に対して検出された動きベクトルを、次のフレームｔ＋１まで延長させ、予め設定されている時間位相（例えば、図５のｔ＋０．４）にある内挿フレームＦ上のどの位置を通過するかを求める。これは、フレームｔおよびフレームｔ＋１の間が一定動きであると仮定すると、動きベクトルが内挿フレームＦを通過した点が、そのフレームでの画素位置となるためである。したがって、ベクトル割付部５４は、この通過する動きベクトルを、状態８３の内挿フレームＦ上の近傍４画素に割り付ける。また、このとき、内挿フレームの画素によっては、動きベクトルが存在しない場合、あるいは、複数の動きベクトルが、割付候補となりうる場合がある。後者のような場合には、ベクトル割付部５４は、ベクトル検出部５２と同様に、各動きベクトルについての評価値を求め、その評価値に基づいて割り付ける動きベクトルを選択する。

状態８３は、割付補償部５７に入力される、フレームｔおよびフレームｔ＋１、並びに動きベクトルが割り付けられた内挿フレームＦの状態を表している。状態８３の内挿フレームＦにおいては、ベクトル割付部５４により動きベクトルが割り付けられている画素と、動きベクトルが割り付けられなかった画素が示されている。

割付補償部５７は、状態８３の動きベクトルが割り付けられていない画素に対して、その画素の周辺画素に割り付けられている動きベクトルを用いて補う。これは、ある着目画素の近傍領域が同じ動きであるという仮定が成り立つならば、着目画素の周辺画素の動きベクトルと、その着目画素の動きベクトルは似たものであるからである。これにより、動きベクトルが割り付けられなかった画素にも、ある程度正確な動きベクトルが与えられ、状態８４の内挿フレームＦ上のすべての画素に動きベクトルが割り付けられる。なお、この場合にも、複数の周辺画素の動きベクトルが候補として存在するため、割付補償部５７は、ベクトル割付部５４と同様に、各動きベクトルについての評価値を求め、その評価値に基づいて割り付ける動きベクトルを選択する。

状態８４は、画像補間部５８に入力される、フレームｔおよびフレームｔ＋１、並びに、すべての画素に動きベクトルが割り付けられた内挿フレームＦの状態を表している。これらのすべての画素に割り付けられた動きベクトルにより、画像補間部５８は、内挿フレームＦ上の画素と、２枚のフレームｔおよびフレームｔ＋１の画素の位置関係を決定することができる。したがって、画像補間部５８は、内挿フレームＦ上に割り付けられた動きベクトルと、フレームｔおよびフレームｔ＋１の画素値を用いて、状態８５の内挿フレームＦの黒点に示されるように、内挿フレームＦ上の画素値を補間生成する。そして、画像補間部５８は、生成された内挿フレームを出力し、その次に、必要に応じて、フレームｔ＋１を出力することにより、６０Ｐ信号の画像を、図示せぬ後段に出力する。

次に、図７のフローチャートを参照して、信号処理装置１のフレーム周波数を変換する処理を説明する。

ステップＳ１において、ベクトル検出部５２は、時刻ｔ＋１の入力画像のフレームｔ＋１と、フレームメモリ５１の入力画像の１つ前の時刻ｔのフレームｔの画素値を入力し、ステップＳ２に進む。なお、このとき、ベクトル割付部５４、割付補償部５７および画像補間部５８は、時刻ｔ＋１の入力画像のフレームｔ＋１と、フレームメモリ５１の入力画像の１つ前の時刻ｔのフレームｔの画素値を入力する。

ステップＳ２において、ベクトル検出部５２は、動きベクトル検出処理を実行し、ステップＳ３に進む。すなわち、ベクトル検出部５２は、フレームメモリ５１上のフレームｔの着目ブロックと、入力画像である次のフレームｔ＋１の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ５３に記憶し、ステップＳ３に進む。

この２フレーム間の動きベクトルの検出方法には、勾配法またはブロックマッチング法などが用いられる。また、動きベクトルの候補が複数ある場合には、各動きベクトルに対して、評価値が求められ、求められた評価値に基づいた信頼度の高い動きベクトルが検出される。すなわち、この場合、動きベクトルを検出する着目ブロックにおいて、最も確からしい動きベクトルが選択され、検出される。

ステップＳ３において、ベクトル割付部５４は、ベクトル割付処理を実行し、ステップＳ４に進む。すなわち、ベクトル割付部５４は、ステップＳ３において、フレームｔ上において求められた動きベクトルを、割付ベクトルメモリ５５上の、補間する内挿フレーム上の着目画素に割り付け、動きベクトルが割り付けられた画素の割付フラグメモリ５６の割付フラグを１(True)に書き換える。例えば、Trueである割付フラグは、対応する画素に動きベクトルが割り付けられていることを示し、Falseである割付フラグは、対応する画素に動きベクトルが割り付けられていないことを示す。

なお、各画素において、動きベクトルの候補が複数ある場合には、各動きベクトルに対して、評価値が求められ、求められた評価値に基づいた信頼度の高い動きベクトルが割り付けられる。すなわち、この場合、動きベクトルを割り付ける着目画素において、最も確からしい動きベクトルが選択され、割り付けられる。

ステップＳ４において、割付補償部５７は、割付補償処理を実行し、ステップＳ５に進む。すなわち、割付補償部５７は、ステップＳ４において、割付フラグメモリ５６の割付フラグを参照し、ベクトル割付部５４により動きベクトルが割り付けられなかった着目画素に対して、その着目画素の周辺画素の動きベクトルを補い、割付ベクトルメモリ５５の内挿フレーム上に割り付ける。

このとき、割付補償部５７は、動きベクトルを補い、割付けた着目画素の割付フラグを１(True)に書き換える。なお、周辺画素の動きベクトルが複数ある場合には、各動きベクトルに対して、評価値が求められ、求められた評価値に基づいた、信頼度の高い動きベクトルが割り付けられる。すなわち、この場合、動きベクトルを割り付ける着目画素において、最も確からしい動きベクトルが選択され、割り付けられる。

ステップＳ５において、画像補間部５８は、画像補間処理を実行する。すなわち、画像補間部５８は、ステップＳ５において、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔおよびフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成し、ステップＳ６に進む。ステップＳ５における、画像補間処理の詳細は、図１６を参照して後述する。画像補間部５８は、ステップＳ６において、生成された内挿フレームを出力し、その次に、必要に応じて、フレームｔ＋１を出力することにより、６０Ｐ信号の画像を、図示せぬ後段に出力し、ステップＳ７に進む。

ステップＳ７において、ベクトル検出部５２は、すべてのフレームの処理が終了したか否かを判断し、すべてのフレームの処理が終了していないと判断した場合、ステップＳ１に戻り、それ以降の処理を繰り返す。一方、ベクトル検出部５２は、ステップＳ７において、すべてのフレームの処理が終了したと判断した場合、フレーム周波数を変換する処理を終了する。

以上のように、本発明に係る信号処理装置１は、２４Ｐ信号の入力画像のフレームから動きベクトルを検出し、検出した動きベクトルを、６０Ｐ信号のフレーム上の画素に割付け、割付けられた動きベクトルに基づいて、６０Ｐ信号のフレーム上の画素値を生成する。このとき、信号処理装置１は、各処理において、評価値（例えば、差分絶対値和（ＤＦＤ））に基づく、より信頼度の高い動きベクトルを選択し、後段に出力する。したがって、信号処理装置１においては、動きが破綻することなどが抑制され、より精度のよい画像を生成することができる。

次に、画像補間部５８の構成の詳細について説明する。

図８は、画像補間部５８の構成を示すブロック図である。図８に構成を示す画像補間部５８は、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームメモリ５１から入力される元フレーム（フレームｔおよびフレームｔ＋１）の画素値を用いて、内挿フレームの画素値を補間生成し、６０Ｐ信号の画像を出力する処理を行う。

図８の例において、時刻ｔの画像のフレームｔは、ラインメモリ９２−１に入力され、時刻ｔ＋１の画像のフレームｔ＋１は、ラインメモリ９２−２、およびバッファ９９に入力される。このとき、ラインメモリ９２−１に入力されるフレームｔの一部は、縮小フィルタ９１−１を介してラインメモリ９２−１に入力され、ラインメモリ９２−２に入力されるフレームｔ＋１の一部は、縮小フィルタ９１−２を介してラインメモリ９２−２に入力される。

縮小フィルタ９１−１は、フレームメモリ５１から入力されるフレームｔを間引き処理などで縮小し、縮小したフレームｔを、縮小画ラインメモリ１０１−１に格納する。縮小フィルタ９１−２は、フレームメモリ５１から入力されるフレームｔ＋１を間引き処理などで縮小し、縮小したフレームｔ＋１を、縮小画ラインメモリ１０１−２に格納する。以下、縮小フィルタ９１−１および９１−２を個々に区別する必要がない場合、単に、縮小フィルタ９１と称する。

ラインメモリ９２−１は、縮小画ラインメモリ１０１−１および原画ラインメモリ１０２−１により構成される。縮小画ラインメモリ１０１−１には、縮小フィルタ９１−１により縮小されたフレームｔ（縮小画像）の画素値が格納され、原画ラインメモリ１０２−１には、入力されたままのフレームｔ（原画像）の画素値が格納される。

同様に、ラインメモリ９２−２は、縮小画ラインメモリ１０１−２および原画ラインメモリ１０２−２により構成される。縮小画ラインメモリ１０１−２には、縮小フィルタ９１−２により縮小されたフレームｔ＋１（縮小画像）の画素値が格納され、原画ラインメモリ１０２−２には、入力されたままのフレームｔ＋１（原画像）の画素値が格納される。

以下、ラインメモリ９２−１および９２−２、縮小画ラインメモリ１０１−１および１０１−２、並びに、原画ラインメモリ１０２−１および１０２−２を個々に区別する必要がない場合、単に、ラインメモリ９２、縮小画ラインメモリ１０１、および原画ラインメモリ１０２と称する。

なお、画像処理装置１において、内挿フレームの各ラインの画素値を生成するのに必要な、そのラインにおける動きベクトルの垂直方向（元フレーム上）の最大の大きさと、最大の大きさよりも小さい所定の大きさが予め設定されている。そして、画素を生成する対象のラインの画素に割り付けられている、所定の大きさから最大の大きさの動きベクトルに対応付けられる範囲の元フレームは、縮小フィルタ９１により間引かれ、間引かれた元フレームの画素値が、縮小画ラインメモリ１０１に格納されるように予め設定されており、画素を生成する対象のラインの画素に割り付けられている、所定の大きさよりも小さい動きベクトルに対応付けられる範囲の元フレームの画素値は、原画ラインメモリ１０２に格納されるように予め設定されている。

したがって、縮小画ラインメモリ１０１には、画素を生成する対象のラインの画素に割り付けられている、所定の大きさから最大の大きさまでの動きベクトルに対応付けられる範囲の、縮小フィルタ９１により縮小された元フレームの画素値が格納され、原画ラインメモリ１０２には、画素を生成する対象のラインの画素に割り付けられている、所定の大きさよりも小さい動きベクトルに対応付けられる範囲の元フレームの画素値が格納される。

補間制御部９３は、割付ベクトルメモリ５５の内挿フレームの画素を選択し、選択した画素に割り付けられている動きベクトルに対応付けられる、２枚のフレームｔおよびフレームｔ＋１の位置（すなわち、動きベクトルと元フレームとの交点の位置（以下、交差位置とも称する））を求め、求められた２枚のフレームｔおよびフレームｔ＋１の交差位置を、データ選択部９５に供給するとともに、内挿フレーム上の画素と、求められた２枚のフレームｔおよびフレームｔ＋１の交差位置との位置関係（空間シフト量）を求める。

すなわち、補間制御部９３は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ上の交差位置と、内挿フレームの画素に対応するフレームｔ上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９４−１に供給する。同様に、補間制御部９３は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ＋１上の交差位置と、内挿フレームの画素に対応するフレームｔ＋１上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９４−２に供給する。

また、補間制御部９３は、予め設定されている内挿フレームの時間位相（時刻）に基づいて、フレームｔとフレームｔ＋１の間における補間重みを求め、求めた補間重みを、乗算器９７−１および９７−２に設定する。例えば、内挿フレームの時刻が、フレームｔ＋１の時刻ｔ＋１から「ｋ」離れた時刻で、かつ、フレームｔの時刻ｔから「１−ｋ」離れた時刻である場合（すなわち、内挿フレームが時刻ｔと時刻ｔ＋１を「１−ｋ」：「ｋ」に内分する時刻に生成される場合）、補間制御部９３は、乗算器９７−１に「１−ｋ」の補間重みを設定し、乗算器９７−２に「ｋ」の補間重みを設定する。

空間フィルタ９４−１および９４−２（以下、空間フィルタ９４−１および９４−２を個々に区別する必要がない場合、単に、空間フィルタ９４と称する）は、例えば、キュービックフィルタなどにより構成される。

空間フィルタ９４−１は、セレクタ９６−１を介して入力されるフレームｔの画素値と、補間制御部９３から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、フレームｔ上の画素値を求め、求めた画素値を、乗算器９７−１に出力する。空間フィルタ９４−２は、セレクタ９６−２を介して入力されるフレームｔ＋１の画素値と、補間制御部９３から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、フレームｔ＋１上の画素値を求め、求めた画素値を、乗算器９７−２に出力する。

なお、内挿フレームの画素を基準に、その動きベクトルで対応付けられる元フレーム上の交差位置（すなわち、動きベクトルとの交点の位置）は、元フレーム上の画素の位置と一致しない場合があるので、空間フィルタ９４−１および９４−２は、動きベクトルで対応付けられる元フレーム上の交差位置の周辺画素からなるブロック（例えば、周辺１６画素）の画素値を用いて、線形補間などで値を求めることにより、動きベクトルで対応付けられる元フレーム上の交差位置に対応する画素値を求め、それらに基づいて、内挿フレームの画素に対応する、元フレーム上の画素値を求める。

データ選択部９５は、補間制御部９３により求められた２枚のフレームｔおよびフレームｔ＋１の交差位置の周辺画素からなるブロックが、原画ラインメモリ１０２に画素値が格納されている原画像、または縮小画ラインメモリ１０１に画素値が格納されている縮小画像のみで構成されるか否かを判定し、判定結果に応じたラインメモリ９２から画素値を読み出すように、セレクタ９６−１およびセレクタ９６−２を制御する。

さらに、データ選択部９５は、そのブロックを構成する画素に、原画像と縮小画像が混在している場合、すなわち、ブロックに、原画ラインメモリ１０２に画素値が格納されている画素と、縮小画ラインメモリ１０１に画素値が格納されている画素が混在する場合、補間制御部９３により求められた元フレーム（フレームｔおよびフレームｔ＋１）の交差位置の近傍（周辺４画素）の画素に応じて、ブロックサイズを変更し、変更したブロックサイズに応じて、ラインメモリ９２から画素値を読み出すセレクタ９６−１およびセレクタ９６−２を制御する。

セレクタ９６−１は、データ選択部９５の制御のもと、縮小画ラインメモリ１０１−１または原画ラインメモリ１０２−１からフレームｔの画素値を読み出し、読み出した画素値を、空間フィルタ９４−１に供給する。セレクタ９６−２は、データ選択部９５の制御のもと、縮小画ラインメモリ１０１−２または原画ラインメモリ１０２−２からフレームｔ＋１の画素値を読み出し、読み出した画素値を、空間フィルタ９４−２に供給する。

乗算器９７−１は、空間フィルタ９４−１から入力されるフレームｔ上の画素値に、補間制御部９３により設定された補間重み「１−ｋ」を乗算し、重み付けされた画素値を、加算器９８に出力する。乗算器９７−２は、空間フィルタ９４−２から入力されるフレームｔ＋１上の画素値に、補間制御部９３により設定された補間重み「ｋ」を乗算し、重み付けされた画素値を、加算器９８に出力する。

加算器９８は、乗算器９７−１から入力される画素値と、乗算器９７−２から入力される画素値を加算することにより、内挿フレームの画素の画素値を生成し、生成された内挿フレームの画素値を、バッファ９９に出力する。バッファ９９は、入力されたフレームｔ＋１をバッファしている。バッファ９９は、生成された内挿フレームを出力し、その次に、予め設定されている６０Ｐフレームの時間位相（時刻）に基づいて、必要に応じて、バッファしているフレームｔ＋１を出力することにより、６０Ｐ信号の画像を、図示せぬ後段に出力する。

図９は、図８のデータ選択部９５の詳細な構成例を示している。

図９の例において、データ選択部９５は、ブロック判定部１１１、画素判定部１１２、およびブロック変更部１１３により構成されている。

ブロック判定部１１１は、補間制御部９３により求められた２枚のフレームｔおよびフレームｔ＋１の交差位置の周辺画素からなるブロックが、原画ラインメモリ１０２に画素値が格納されている原画像、または縮小画ラインメモリ１０１に画素値が格納されている縮小画像のみで構成されるか否かを判定し、判定結果に応じたラインメモリ９２から画素値を読み出すように、セレクタ９６−１およびセレクタ９６−２を制御する。

画素判定部１１２は、ブロック判定部１１１により、ブロックを構成する画素に、原画像と縮小画像が混在していると判定された場合、すなわち、原画ラインメモリ１０２に画素値が格納されている画素と、縮小画ラインメモリ１０１に画素値が格納されている画素が混在する場合、補間制御部９３により求められた元フレーム（フレームｔおよびフレームｔ＋１）の交差位置の近傍（周辺４画素）に、原画ラインメモリ１０２に画素値が格納されている画素があるか否かを判定し、判定結果に応じて、ブロック変更部１１３を制御し、ブロックサイズを変更させ、ブロック変更部１１３により変更されたブロックサイズに応じて、ラインメモリ９２から画素値を読み出すセレクタ９６−１およびセレクタ９６−２を制御する。

ブロック変更部１１３は、画素判定部１１２の制御のもと、ブロックサイズを変更し、変更したブロックサイズを、画素判定部１１２に供給する。

図１０は、元フレームの間に挿入される内挿フレーム上の画素に割り付けられる動きベクトルの例を１次元で示している。図１０の例においては、左から右に向かう矢印Ｔは、時間の経過方向を表しており、２つの２４Ｐ信号の時刻ｔのフレームｔおよび時刻ｔ＋１のフレームｔ＋１の間の時刻に、内挿フレームＦ１が挿入されている。

例えば、内挿フレームＦ１の画素Ｇにおいては、動きのあまり大きくない動きベクトルｖ１や、動きベクトルｖ１よりも動きが大きい動きベクトルｖ２などが割り付けられる可能性がある。

画像補間部５８においては、フレームメモリ５１とのアクセスにあまり時間がかけられない場合、一度処理でアクセスする可能性のあるラインをラインメモリ９２に格納し、そこから対応するデータを読み出す。すなわち、ラインメモリ９２には、内挿フレームＦ１の対象のラインに割り付けられる可能性のある動きベクトル（動きベクトルｖ１や動きベクトルｖ２）に対応付けられる範囲の元フレームの画素値が格納されている必要がある。したがって、ラインメモリ９２には、画素を生成する対象のラインに割り付けられる、最大の大きさの動きベクトルに対応付けられうる範囲Ｅ１までの元フレームの画素値が格納されるように予め設定されている。

ここで、動きベクトルが大きい部分というのは、動きぼけなどにより画素が周囲と混じったものになる傾向がある。これを踏まえて、画像補間部５８は、動きが所定のしきい値以上の動きベクトルに対応付けられる範囲Ｅ２から最大の大きさの動きベクトルに対応付けられる範囲Ｅ１までの元フレームを、縮小フィルタ９１により格納するデータを間引きなどで縮小し、データ量を減らして、その元フレームの画素値をラインメモリ９２（縮小画ラインメモリ１０１）に格納する。

一方、画像補間部５８は、動きが所定のしきい値までの動きベクトルに対応付けられる範囲Ｅ２までの元フレームの画素値を、そのままラインメモリ９２（原画ラインメモリ１０２）に格納する。

図１１を参照して、本発明のラインメモリへのデータの格納方法を詳しく説明する。図１１の例においては、フレームメモリ５１に格納されている元フレームのうち、一度の処理でアクセスする可能性のあるラインで構成されるデータ１５１が示されている。

データ１５１は、内挿フレームにおいて画素を生成する対象のライン（以下、画素値生成ラインとも称する）に対応する元フレームのラインＬ１、内挿フレームの画素値生成ラインに割り付けられる、所定の大きさまでの動きベクトルに対応付けられる範囲Ｅ２までの元フレームのラインＬ２−１およびＬ２−２、並びに、内挿フレームの画素値生成ラインに割り付けられる、所定の大きさから最大の大きさまでの動きベクトルに対応付けられる範囲Ｅ１までの元フレームのラインＬ３−１およびＬ３−２で構成されている。

例えば、従来のラインメモリ１６１に示されるように、従来においては、データ１５１は、すべてそのままの大きさで格納されていた。

これに対して、本発明のラインメモリ９２の場合には、データ１５１のうち、ラインＬ１並びにラインＬ２−１およびＬ２−２までのデータは、そのままの大きさで原画ラインメモリ１０２に格納され、ラインＬ３−１およびＬ３−２のデータは、縮小フィルタ９１により縮小され、例えば、垂直方向、水平方向ともに略半分の大きさに縮小されて、縮小画ラインメモリ１０１に格納される。

このように、ラインメモリ９２に格納するデータ容量を減らすことができるので、回路規模を小さくすることができる。換言すると、ラインメモリ９２に格納するデータの範囲を増やすこともできるので、従来の回路規模で、いままで実現不可能であった動きを実現することができる。

次に、図１２乃至図１５を参照して、ラインメモリ９２に格納されるデータの境界部について説明する。なお、図１２乃至図１５においては、ハッチングされている丸は、縮小画ラインメモリ１０１に画素値が格納されている画素を表し、白丸は、原画ラインメモリ１０２に画素値が格納されている画素を表している。

図８を参照して上述したように、内挿フレームの画素を基準に、その動きベクトルで対応付けられる元フレーム上の交差位置Ｇは、元フレーム上の画素の位置と一致しない場合があるので、空間フィルタ９４は、動きベクトルで対応付けられる元フレーム上の交差位置Ｇの周辺画素からなるブロックＢ（いまの場合、周辺１６画素）の画素値を用いて、線形補間で値を求めることにより、動きベクトルで対応付けられる元フレーム上の交差位置に対応する画素値を求める。

ここで、ブロックＢを構成する画素の画素値は、縮小画ラインメモリ１０１のみに格納されている場合、原画ラインメモリ１０２のみに格納されている場合、および、縮小画ラインメモリ１０１と原画ラインメモリ１０２の両方に混在して格納されている場合があり、データ選択部９５は、ブロックＢを構成する画素を判定することによりセレクタ９６を制御し、内挿フレームの画素値の生成に必要な元フレームの画素値を、縮小画ラインメモリ１０１または原画ラインメモリ１０２から読み出させる。

具体的に説明すると、図１２の例の場合、内挿フレームの画素を基準に、その動きベクトルで対応付けられる元フレーム上の交差位置Ｇは、原画ラインメモリ１０２に画素値が格納されている周辺１６画素からなるブロックＢの中央に位置する。すなわち、ブロックＢを構成する周辺１６画素の画素値は、すべて原画ラインメモリ１０２に格納されているので、データ選択部９５は、原画ラインメモリ１０２からブロックＢの画素値を読み出すようにセレクタ９６を制御する。

図１３の例の場合、内挿フレームの画素を基準に、その動きベクトルで対応付けられる元フレーム上の交差位置Ｇは、縮小画ラインメモリ１０１に画素値が格納されている４画素と、原画ラインメモリ１０２に画素値が格納されている１２画素からなるブロックＢ（点線）の中央に位置する。すなわち、ブロックＢを構成する周辺１６画素の画素値は、縮小画ラインメモリ１０１または原画ラインメモリ１０２に混在して格納されている。

このとき、データ選択部９５は、元フレーム上の交差位置Ｇと接する近傍（すなわち、周辺４画素）に、原画ラインメモリ１０２に画素値が格納されている画素があるか否かを判定する。図１３の例の場合、元フレーム上の交差位置Ｇと接する近傍に、原画ラインメモリ１０２に画素値が格納されている画素があるので、データ選択部９５は、１６画素からなるブロックＢを、原画ラインメモリ１０２に画素値が格納されている１２画素で構成されるブロックＣに変更して、原画ラインメモリ１０２からブロックＣの画素値を読み出すようにセレクタ９６を制御する。

図１４の例の場合、内挿フレームの画素を基準に、その動きベクトルで対応付けられる元フレーム上の交差位置Ｇは、縮小画ラインメモリ１０１に画素値が格納されている８画素と、原画ラインメモリ１０２に画素値が格納されている８画素からなるブロックＢ（点線の部分を含む）の中央に位置する。すなわち、ブロックＢを構成する周辺１６画素の画素値は、縮小画ラインメモリ１０１または原画ラインメモリ１０２に混在して格納されている。

このとき、データ選択部９５は、元フレーム上の交差位置Ｇと接する近傍（すなわち、周辺４画素）に、原画ラインメモリ１０２に画素値が格納されている画素があるか否かを判定する。図１４の例の場合、元フレーム上の交差位置Ｇと接する近傍に、原画ラインメモリ１０２に画素値が格納されている画素があるので、データ選択部９５は、１６画素からなるブロックＢを、原画ラインメモリ１０２に画素値が格納されている８画素で構成されるブロックＣに変更して、原画ラインメモリ１０２からブロックＣの画素値を読み出すようにセレクタ９６を制御する。

図１５の例の場合、内挿フレームの画素を基準に、その動きベクトルで対応付けられる元フレーム上の交差位置Ｇは、縮小画ラインメモリ１０１に画素値が格納されている１２画素と、原画ラインメモリ１０２に画素値が格納されている４画素からなるブロックＢ（点線の部分を含む）の中央に位置する。すなわち、ブロックＢを構成する周辺１６画素の画素値は、縮小画ラインメモリ１０１または原画ラインメモリ１０２に混在して格納されている。

このとき、データ選択部９５は、元フレーム上の交差位置Ｇと接する近傍（すなわち、周辺４画素）に、原画ラインメモリ１０２に画素値が格納されている画素があるか否かを判定する。図１５の例の場合、元フレーム上の交差位置Ｇと接する近傍に、原画ラインメモリ１０２に画素値が格納されている画素がないので、データ選択部９５は、１６画素からなるブロックＢを、縮小画ラインメモリ１０１に画素値が格納されている１２画素で構成されるブロックＣに変更して、縮小画ラインメモリ１０１からブロックＣの画素値を読み出すようにセレクタ９６を制御する。

以上のように、内挿フレームの画素値を求めるためのブロックＢに、縮小画像と原画像が混在し、かつ、元フレーム上の交差位置Ｇと接する近傍に、原画像の画素があれば、原画像を優先して、ブロックサイズを変更するようにしたので、画素値を求めるブロックＢに縮小画像が混在している場合よりも精度よく画素値を求めることができる。すなわち、これは、原画像のほうが縮小画像よりも、より画素値が正確であるためであり、また、ブロックで求めるものが、上述したように、ベクトル検出部５２などで用いられる比較のための評価値ではないので、ブロックサイズを変更しても問題がないためである。

次に、図１６のフローチャートを参照して、図８の画像補間部５８の画像補間処理の詳細を説明する。

縮小画ラインメモリ１０１−１には、フレームメモリ５１から、フレームｔにおいて、画素を生成する対象のラインの画素に割り付けられている、所定の大きさから最大の大きさまでの動きベクトルに対応付けられる範囲の、縮小フィルタ９１−１により縮小された元フレームｔの画素値が格納されており、原画ラインメモリ１０２−１には、フレームメモリ５１から、フレームｔにおいて、画素を生成する対象のラインの画素に割り付けられている、所定の大きさまでの動きベクトルに対応付けられる範囲の元フレームｔの画素値が格納されている。

同様に、縮小画ラインメモリ１０１−２には、フレームメモリ５１から、フレームｔ＋１において、画素を生成する対象のラインの画素に割り付けられている、所定の大きさから最大の大きさまでの動きベクトルに対応付けられる範囲の、縮小フィルタ９１−２により縮小された元フレームｔ＋１の画素値が格納されており、原画ラインメモリ１０２−２には、フレームメモリ５１から、フレームｔ＋１において、画素を生成する対象のラインの画素に割り付けられている、所定の大きさまでの動きベクトルに対応付けられる範囲の元フレームｔ＋１の画素値が格納されている。

補間制御部９３は、ステップＳ５１において、処理する内挿フレームの時間位相に基づいて、フレームｔとフレームｔ＋１の間における内挿フレームの補間重み（例えば、「ｋ」および「１−ｋ」）を求め、求められた補間重みを、乗算器９７−１および９７−２にそれぞれ設定し、ステップＳ５２に進む。補間制御部９３は、ステップＳ５２において、割付ベクトルメモリ５５の内挿フレームの画素を選択し、ステップＳ５３に進む。なお、内挿フレーム上の画素は、フレームの左上の画素からラスタスキャン順に選択される。

補間制御部９３は、ステップＳ５３において、選択した画素に割り付けられている動きベクトルに基づいて、その動きベクトルに対応付けられる、２枚のフレームｔおよびフレームｔ＋１との交差位置（すなわち、動きベクトルとの交点）を求め、求められた２枚のフレームｔおよびフレームｔ＋１の交差位置を、データ選択部９４に供給するとともに、内挿フレーム上の画素と、求められた２枚のフレームｔおよびフレームｔ＋１の交差位置との位置関係（空間シフト量）を求め、求められた空間シフト量を、それぞれ空間フィルタ９４−１および９４−２に供給し、ステップＳ５４に進む。

具体的には、補間制御部９３は、ステップＳ５３において、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ上の交差位置と、内挿フレームの画素に対応するフレームｔ上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９４−１に供給する。同様に、補間制御部９３は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ＋１上の交差位置と、内挿フレームの画素に対応するフレームｔ＋１上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９４−２に供給する。

データ選択部９５は、補間制御部９３から２枚のフレームｔおよびフレームｔ＋１の位置が入力されると、ステップＳ５４において、データ選択処理を実行し、ステップＳ５５に進む。このデータ選択処理は、図１７のフローチャートを参照して後述するが、ステップＳ５４の処理により、縮小画ラインメモリ１０１−１または原画ラインメモリ１０２−１から時刻ｔの画像のフレームｔのブロック（すなわち、補間制御部９３から入力されたフレームｔの交差位置と、その周辺画素からなるブロック）の画素値が、空間フィルタ９４−１に入力され、縮小画ラインメモリ１０１−２または原画ラインメモリ１０２−２から時刻ｔの画像のフレームｔ＋１のブロック（すなわち、補間制御部９３から入力されたフレームｔ＋１の交差位置と、その周辺画素からなるブロック）の画素値が、空間フィルタ９４−２に入力される。

ステップＳ５５において、空間フィルタ９４−１および９２−２は、入力されるフレームｔおよびｔ＋１上の画素（ブロック）の画素値と、補間制御部９３から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、各フレーム上の画素値を求め、求めた画素値を乗算器９７−１および９７−２にそれぞれ出力し、ステップＳ５６に進む。

乗算器９７−１および９７−２は、ステップＳ５６において、空間フィルタ９４−１または９４−２から入力される各フレーム上の画素値に、補間制御部９３により設定された補間重みを重み付けし、重み付けされた画素値を、加算器９８に出力し、ステップＳ５７に進む。すなわち、乗算器９７−１は、空間フィルタ９４−１から入力されるフレームｔ上の画素値に、補間制御部９３により設定された補間重み「１−ｋ」を乗算し、重み付けされた画素値を、加算器９８に出力する。乗算器９７−２は、空間フィルタ９４−２から入力されるフレームｔ＋１上の画素値に、補間制御部９３により設定された補間重み「ｋ」を乗算し、重み付けされた画素値を、加算器９８に出力する。

加算器９４は、ステップＳ５７において、乗算器９７−１により重み付けされた画素値と、乗算器９７−２により重み付けされた画素値を加算することにより、内挿フレームの画素の画素値を生成し、生成された画素値を、バッファ９９に出力し、ステップＳ５７に進む。補間制御部９３は、ステップＳ５８において、内挿フレーム上のすべての画素についての処理が終了したか否かを判断し、内挿フレーム上のすべての画素についての処理が終了していないと判断した場合、ステップＳ５２に戻り、それ以降の処理を繰り返す。補間制御部９３は、ステップＳ５８において、内挿フレーム上のすべての画素についての処理が終了したと判断した場合、画像補間処理を終了する。

以上のように、内挿フレームに割り付けられた動きベクトルに基づいて、内挿フレームの画素値が生成されるので、上述した図７のステップＳ６において、バッファ９５により、内挿フレームが出力され、その次に、必要に応じて、フレームｔ＋１が出力されることにより、６０Ｐ信号の画像が、後段に出力される。

次に、図１７のフローチャートを参照して、図１６のステップＳ５４のデータ選択処理を説明する。なお、図１７の例においては、元フレームとしてまとめて説明するが、図１７のデータ選択処理は、２枚の元フレームｔおよびｔ＋１の両方で実行される処理である。

データ選択部９５のブロック判定部１１１は、図１６のステップＳ５３において補間制御部９３により求められた、選択した画素に割り付けられている動きベクトルに対応付けられる元フレームの交差位置が入力されると、図１７のステップＳ７１において、元フレームの交差位置の周辺画素からなるブロックが、原画像または縮小画像のみで構成されているか否か、すなわち、ブロックを構成する周辺１６画素の画素値すべてが、原画ラインメモリ１０２または縮小画ラインメモリ１０１のどちらか一方のみに格納されているか否かを判定する。

ステップＳ７１において、元フレームとの交差位置の周辺画素からなるブロックが、原画像または縮小画像のみで構成されていると判定された場合、ブロック判定部１１１は、ステップＳ７２に進み、ブロックが原画像のみで構成されているか否かを判定し、ブロックが原画像のみで構成されていると判定した場合、ステップＳ７３に進む。

ブロック判定部１１１は、ステップＳ７３において、セレクタ９６を制御し、原画ラインメモリ１０２からデータ（そのブロックの画素値）を読み出させ、空間フィルタ９４に供給させ、データ選択処理を終了し、図１６のステップＳ５４に戻り、ステップＳ５５に進む。

すなわち、セレクタ９６は、ステップＳ７３において、ブロック判定部１１１の制御のもと、原画ラインメモリ１０２からブロックの画素値を読み出し、読み出したブロックの画素値を空間フィルタ９４に出力する。

また、ブロック判定部１１１は、ステップＳ７２において、ブロックが原画像のみで構成されているか否かを判定し、ブロックが原画像のみで構成されていない、すなわち、縮小画像のみで構成されていると判定した場合、ステップＳ７４に進む。

ブロック判定部１１１は、ステップＳ７４において、セレクタ９６を制御し、縮小画ラインメモリ１０１からデータ（そのブロックの画素値）を読み出させ、空間フィルタ９４に供給させ、データ選択処理を終了し、図１６のステップＳ５４に戻り、ステップＳ５５に進む。

すなわち、セレクタ９６は、ステップＳ７４において、ブロック判定部１１１の制御のもと、縮小画ラインメモリ１０１からブロックの画素値を読み出し、読み出したブロックの画素値を空間フィルタ９４に出力する。

一方、ステップＳ７１において、元フレームとの交差位置の周辺画素からなるブロックが、原画像または縮小画像のみで構成されていない、すなわち、ブロックには、原画像または縮小画像が混在していると判定された場合、画素判定部１１２は、ステップＳ７５に進み、元フレームとの交差位置の近傍（交点に近接する画素）に原画像の画素があるか否かを判定し、元フレームとの交差位置の近傍に原画像の画素があると判定した場合、ステップＳ７６に進む。

画素判定部１１２は、ステップＳ７６において、ブロック変更部１１３を制御し、例えば、図１３または図１４を参照して上述したように、ブロックを構成する画素が原画像のみになるようにブロックサイズを変更させ、ステップＳ７７に進み、セレクタ９６を制御し、原画ラインメモリ１０２からデータ（変更したブロックの画素値）を読み出させ、空間フィルタ９４に供給させ、データ選択処理を終了し、図１６のステップＳ５４に戻り、ステップＳ５５に進む。

すなわち、セレクタ９６は、ステップＳ７７において、ブロック判定部１１１の制御のもと、原画ラインメモリ１０２から、ブロック変更部１１３により変更されたブロックの画素値を読み出し、読み出したブロックの画素値を空間フィルタ９４に出力する。

また、画素判定部１１２は、ステップＳ７５において、元フレームとの交差位置の近傍に原画像の画素がないと判定した場合、ステップＳ７８に進み、ブロック変更部１１３を制御し、例えば、図１５を参照して上述したように、ブロックを構成する画素が縮小画像のみになるようにブロックサイズを変更させ、ステップＳ７９に進む。

データ選択部９５は、ステップＳ７９において、セレクタ９６を制御し、縮小画ラインメモリ１０１からデータ（変更したブロックの画素値）を読み出させ、空間フィルタ９４に供給させ、データ選択処理を終了し、図１６のステップＳ５４に戻り、ステップＳ５５に進む。

すなわち、セレクタ９６は、ステップＳ７９において、ブロック判定部１１１の制御のもと、縮小画ラインメモリ１０１から、ブロック変更部１１３により変更されたブロックの画素値を読み出し、読み出したブロックの画素値を空間フィルタ９４に出力する。

以上のように、動きベクトルの大きい部分というのは、動きぼけなどにより画素が周囲と混じったものになる傾向があることを踏まえて、動きが所定の大きさ（しきい値）以上になる場合には、縮小フィルタなどにより格納するデータを間引きなどで縮小し、データ量を減らして縮小画ラインメモリに格納し、画素を生成する対象のラインの動きベクトルが所定の大きさより小さい場合には、そのままの大きさで、原画ラインメモリに格納するようにしたので、生成される画像の品質をあまり下げることなく、ラインメモリに格納するデータ容量を減らすことができる。これにより、回路規模を小さくすることができる。

また、ラインメモリに格納するデータ容量を減らすことができるということは、換言すると、ラインメモリに格納するデータの範囲を増やすこともできる。したがって、従来の回路規模で、いままで実現不可能であった動きを実現することができる。

さらに、画素値を求めるブロックに、縮小画像と原画像が混在し、かつ、元フレーム上の交点の位置と接する近傍に、原画像の画素があれば、原画像を優先して、ブロックサイズを変更するようにしたので、画素値を求めるブロックに縮小画像が混在している場合よりも精度よく画素値を求めることができる。

以上により、内挿フレームの画素に、最も確からしい動きベクトルが割り付くので、精度のよい内挿フレームを生成することができる。

なお、上記説明においては、１つのラインメモリ９２を縮小画ラインメモリ１０１と原画ラインメモリ１０２で構成するようにしたが、縮小画ラインメモリ１０１と原画ラインメモリ１０２は、別々に構成するようにしてもよい。また、複数の縮小画ラインメモリ１０１と原画ラインメモリ１０２で構成するようにしてもよい。

本実施の形態においては、動きベクトルを選択する際の評価値として、差分絶対値和である評価値ＤＦＤを用いて説明したが、評価値ＤＦＤに限定されず、動きベクトルの信頼度を評価するものであれば、他のものを用いるようにしてもよい。

また、本実施の形態においては、各処理を行うブロックを、例えば、８画素×８画素や４画素×４画素などにより構成するようにして説明したが、これらは、一例であり、各処理を行うブロックを構成する画素は、上記画素数に限定されない。

さらに、本実施の形態においては、２４Ｐ信号から６０Ｐ信号への信号変換を例に、説明を行ったが、本発明は、例えば、動画像のフレーム周波数変換として、インターレース信号や、他のフレームレート変換にも適用することができる。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図１に示されるように、磁気ディスク３１（フレキシブルディスクを含む）、光ディスク３２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク３３（MD(Mini-Disc)（商標）を含む）、もしくは半導体メモリ３４などよりなるリムーバブル記録媒体（パッケージメディア）、または、プログラムが一時的もしくは永続的に格納されるＲＯＭ１２などにより構成される。

なお、本明細書において、フローチャートに示されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

内挿フレームの画素値の生成処理を説明する図である。従来のラインメモリへのデータの格納方法を説明する図である。本発明の信号処理装置の構成例を示すブロック図である。信号処理装置の構成を示すブロック図である。本発明の処理の原理を説明する図である。本発明の処理を具体的に説明する図である。信号処理装置のフレーム周波数変換処理を説明するフローチャートである。画像補間部の構成を示すブロック図である。図８のデータ選択部の詳細な構成を示すブロック図である。内挿フレーム上の画素に割り付けられる動きベクトルの例を示す図である。図８のラインメモリへのデータの格納方法を説明する図である。図８のラインメモリに格納されるデータの境界部を説明する図である。図８のラインメモリに格納されるデータの境界部を説明する図である。図８のラインメモリに格納されるデータの境界部を説明する図である。図８のラインメモリに格納されるデータの境界部を説明する図である。図８の画像補間部の画像補間処理を説明するフローチャートである。図１６のステップＳ５４のデータ選択処理を説明するフローチャートである。

符号の説明

１信号処理装置，１１ＣＰＵ，１２ＲＯＭ，１３ＲＡＭ，３１磁気ディスク，３２光ディスク，３３光磁気ディスク，３４半導体メモリ，５１フレームメモリ，５２ベクトル検出部，５３検出ベクトルメモリ，５４ベクトル割付部，５５割付ベクトルメモリ，５６割付フラグメモリ，５７割付補償部，５８画像補間部，９１−１，９１−２縮小フィルタ，９２−１，９２−２ラインメモリ，９３補間制御部，９４−１，９４−２空間フィルタ，９５データ選択部，９６−１，９６−２セレクタ，９７−１，９７−２乗算器，９８加算器，９９バッファ，１０１−１，１０１−２縮小画ラインメモリ，１０２−１，１０２−２原画ラインメモリ，１１１ブロック判定部，１１２画素判定部，１１３ブロック変更部

Claims

第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第２のフレーム上の画素値を生成する画像処理装置において、
検出された前記動きベクトルを、前記第２のフレームの画素に割り付けるベクトル割付手段と、
前記第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさ以上の動きベクトルに対応する範囲の前記第１のフレームの画素値を縮小した上で格納する第１のラインメモリと、
前記第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさより小さい動きベクトルに対応する範囲の前記第１のフレームの画素値を格納する第２のラインメモリと、
前記ベクトル割付手段により前記第２のフレームの前記ライン上の画素に割り付けられた前記動きベクトルと前記第１のフレームとの交差位置に応じて、前記第１のラインメモリまたは前記第２のラインメモリから前記第１のフレームの画素値を選択する選択手段と、
前記選択手段により選択された前記第１のフレームの画素値を用いて、前記第２のフレーム上の前記画素値を補間することにより生成する画素補間生成手段と
を備える画像処理装置。
前記動きベクトルと前記第１のフレームとの交差位置の周辺画素で構成されるブロックの画素値が、前記第１のラインメモリと前記第２のラインメモリに跨って格納されているか否かを判定するメモリ判定手段と、
前記メモリ判定手段により前記ブロックの画素値が、前記第１のラインメモリと前記第２のラインメモリに跨って格納されていると判定された場合、前記ブロックを、前記第１のラインメモリに画素値が格納されている画素のみ、または、前記第２のラインメモリに画素値が格納されている画素のみで構成されるように変更するブロック変更手段とをさらに備え、
前記選択手段は、前記第１のラインメモリおよび前記第２のラインメモリのどちらか一方から、前記ブロック変更手段により変更された前記ブロックの前記第１のフレームの画素値を選択する
請求項１に記載の画像処理装置。
前記メモリ判定手段により前記ブロックの画素値が、前記第１のラインメモリと前記第２のラインメモリに跨って格納されていると判定された場合、前記動きベクトルと前記第１のフレームとの交差位置の近傍に、前記第２のラインメモリに画素値が格納されている画素があるか否かを判定する画素判定手段とをさらに備え、
前記画素判定手段により前記動きベクトルと前記第１のフレームとの交差位置の近傍に、前記第２のラインメモリに画素値が格納されている画素があると判定された場合、前記ブロック変更手段は、前記ブロックを、前記第２のラインメモリに画素値が格納されている画素のみで構成されるように変更し、
前記選択手段は、前記第２のラインメモリから、前記ブロック変更手段により変更された前記ブロックの前記第１のフレームの画素値を選択する
請求項２に記載の画像処理装置。
第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第２のフレーム上の画素値を生成する画像処理方法であって、
検出された前記動きベクトルを、前記第２のフレームの画素に割り付けるベクトル割付ステップと、
前記ベクトル割付ステップの処理により前記第２のフレームの前記ライン上の画素に割り付けられた前記動きベクトルと前記第１のフレームとの交差位置に応じて、前記第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさ以上の動きベクトルに対応する範囲の前記第１のフレームの画素値を縮小した上で格納する第１のラインメモリ、または、前記第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさより小さい動きベクトルに対応する範囲の前記第１のフレームの画素値を格納する第２のラインメモリから前記第１のフレームの画素値を選択する選択ステップと、
前記選択ステップの処理により選択された前記第１のフレームの画素値を用いて、前記第２のフレーム上の前記画素値を補間することにより生成する画素補間生成ステップと
を含む画像処理方法。
第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第２のフレーム上の画素値を生成する画像処理装置のコンピュータに、
検出された前記動きベクトルを、前記第２のフレームの画素に割り付けるベクトル割付ステップと、
前記ベクトル割付ステップの処理により前記第２のフレームの前記ライン上の画素に割り付けられた前記動きベクトルと前記第１のフレームとの交差位置に応じて、前記第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさ以上の動きベクトルに対応する範囲の前記第１のフレームの画素値を縮小した上で格納する第１のラインメモリ、または、前記第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさより小さい動きベクトルに対応する範囲の前記第１のフレームの画素値を格納する第２のラインメモリから前記第１のフレームの画素値を選択する選択ステップと、
前記選択ステップの処理により選択された前記第１のフレームの画素値を用いて、前記第２のフレーム上の前記画素値を補間することにより生成する画素補間生成ステップと
を含む処理を実行させるためのプログラムが記録されている記録媒体。
第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第２のフレーム上の画素値を生成する画像処理装置のコンピュータに、
検出された前記動きベクトルを、前記第２のフレームの画素に割り付けるベクトル割付ステップと、
前記ベクトル割付ステップの処理により前記第２のフレームの前記ライン上の画素に割り付けられた前記動きベクトルと前記第１のフレームとの交差位置に応じて、前記第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさ以上の動きベクトルに対応する範囲の前記第１のフレームの画素値を縮小した上で格納する第１のラインメモリ、または、前記第２のフレームのライン上の画素に割り付けられうる動きベクトルのうち、所定の大きさより小さい動きベクトルに対応する範囲の前記第１のフレームの画素値を格納する第２のラインメモリから前記第１のフレームの画素値を選択する選択ステップと、
前記選択ステップの処理により選択された前記第１のフレームの画素値を用いて、前記第２のフレーム上の前記画素値を補間することにより生成する画素補間生成ステップと
を含む処理を実行させるためのプログラム。