JP5067061B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に、補間フレームの画像をより精度よく生成することができるようにした画像処理装置および方法、並びにプログラムに関する。

動きベクトルを用いた動き補償により、入力画像の所定のフレームと、他のフレームとの間に新たな補間フレームを補間する方法として、補間フレームの前後のフレームの入力画像を用いる双方向動き補償が知られている。

そのような方法においては、補間フレームよりも時間的に前のフレームが用いられて動き補償により生成された補間画像の画素と、補間フレームよりも時間的に後のフレームが用いられて動き補償により生成された補間画像の画素との平均値が、補間フレームの入力画像の画素の画素値とされる。

また、動き補償により補間フレームを生成する技術として、シーンチェンジを検出する機能を設け、検出されたシーンチェンジに対応して動き補償処理を実行させるようにすることで、画像の破綻を抑制する技術が提案されている（例えば、特許文献１参照）。

特開２００７−６０１９２号公報

しかしながら、上述した方法では、補間フレームの入力画像が破綻してしまったり、暗くなってしまったりして、入力画像を精度よく生成することができない場合があった。

例えば、補間フレームや、そのフレームよりも後のフレームの入力画像上にある物体が、補間フレームよりも前のフレームの入力画像上にないことがある。そのような場合、補間フレームの物体の部分の画素を求めるために、前のフレームの入力画像における物体とは関係のない部分の画素が用いられるため、入力画像が破綻してしまうことがあった。このような入力画像の破綻は、特に補間フレームの入力画像の端の部分において生じ易い。

また、例えば入力画像の端に、有効な画像の表示されない黒い領域、すなわちいわゆる黒帯がある場合、補間フレームにおける、前のフレームにない物体の部分の画素を求めるために、前のフレームの黒帯の部分の画素が用いられることがある。そのような場合、補間フレームの画素は暗くなってしまう。

本発明は、このような状況に鑑みてなされたものであり、より精度よく補間フレームの入力画像を生成することができるようにするものである。

本発明の一側面の画像処理装置は、入力画像の所定のフレームとは時間的に異なる新たなフレームである補間フレームの補間画像を生成する画像処理装置であって、前記補間フレームに対して時間的に直前にある前フレームの入力画像および動きベクトルを用いて動き補償を行い、前記補間フレームの画像として前補間画像を生成する前動き補償手段と、前記補間フレームに対して時間的に直後にある後フレームの入力画像および動きベクトルを用いて動き補償を行い、前記補間フレームの画像として後補間画像を生成する後動き補償手段と、これから生成しようとしている前記補間画像上の注目している注目画素を動きベクトルにより示される移動量だけ移動させた位置の前記前フレームの入力画像の前参照画素が、前記入力画像上の有効な画像が表示される有効領域内にあり、かつ前記注目画素を動きベクトルにより示される移動量だけ移動させた位置の前記後フレームの入力画像の後参照画素が前記有効領域内にない場合、前記前参照画素と同じ画素値の前補間画素であって、前記注目画素と同じ位置にある前記前補間画像の前補間画素の画素値を、前記注目画素の画素値として出力し、前記前参照画素が前記有効領域内になく、かつ前記後参照画素が前記有効領域内にある場合、前記後参照画素と同じ画素値の後補間画素であって、前記注目画素と同じ位置にある前記後補間画像の後補間画素の画素値を、前記注目画素の画素値として出力し、前記前参照画素が前記有効領域内になく、かつ前記後参照画素が前記有効領域内にない場合、前記前フレームの入力画像の前記注目画素と同じ位置の画素の画素値と、前記後フレームの入力画像の前記注目画素と同じ位置の画素の画素値との平均値を、前記注目画素の画素値として出力する画像生成手段とを備える。

前記画像生成手段には、前記前参照画素が前記有効領域内にあり、かつ前記後参照画素が前記有効領域内にある場合、前記前補間画素の画素値と、前記後補間画素の画素値とを用いて前記注目画素の画素値を求めさせることができる。

画像処理装置には、前記入力画像から、前記有効な画像が表示されない黒い領域である黒帯を検出する黒帯検出手段をさらに設け、前記入力画像上の前記黒帯に囲まれる領域が前記有効領域とされるようにすることができる。

本発明の一側面の画像処理方法またはプログラムは、入力画像の所定のフレームとは時間的に異なる新たなフレームである補間フレームの補間画像を生成する画像処理方法またはプログラムであって、前記補間フレームに対して時間的に直前にある前フレームの入力画像および動きベクトルを用いて動き補償を行い、前記補間フレームの画像として前補間画像を生成する前動き補償ステップと、前記補間フレームに対して時間的に直後にある後フレームの入力画像および動きベクトルを用いて動き補償を行い、前記補間フレームの画像として後補間画像を生成する後動き補償ステップと、これから生成しようとしている前記補間画像上の注目している注目画素を動きベクトルにより示される移動量だけ移動させた位置の前記前フレームの入力画像の前参照画素が、前記入力画像上の有効な画像が表示される有効領域内にあり、かつ前記注目画素を動きベクトルにより示される移動量だけ移動させた位置の前記後フレームの入力画像の後参照画素が前記有効領域内にない場合、前記前参照画素と同じ画素値の前補間画素であって、前記注目画素と同じ位置にある前記前補間画像の前補間画素の画素値を、前記注目画素の画素値として出力し、前記前参照画素が前記有効領域内になく、かつ前記後参照画素が前記有効領域内にある場合、前記後参照画素と同じ画素値の後補間画素であって、前記注目画素と同じ位置にある前記後補間画像の後補間画素の画素値を、前記注目画素の画素値として出力し、前記前参照画素が前記有効領域内になく、かつ前記後参照画素が前記有効領域内にない場合、前記前フレームの入力画像の前記注目画素と同じ位置の画素の画素値と、前記後フレームの入力画像の前記注目画素と同じ位置の画素の画素値との平均値を、前記注目画素の画素値として出力する画像生成ステップとを含む。

本発明の一側面によれば、補間フレームの入力画像を生成することができる。特に、本発明の一側面によれば、より精度よく補間フレームの入力画像を生成することができる。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。

この画像処理装置１１は、供給された入力画像を用いて、入力画像の所定のフレームと、そのフレームの時間的に次のフレームとの間のフレームの入力画像である補間画像を新たに生成して出力する。これにより、例えばフレームレートが30Hzである入力画像の画像信号から、60Hzの画像信号を得ることができる。

画像処理装置１１は、動きベクトル検出部２１、黒帯検出部２２、動き補償部２３、動き補償部２４、および画像生成部２５から構成される。

動きベクトル検出部２１は、供給された入力画像から動きベクトルを検出し、その検出結果を動き補償部２３および動き補償部２４に供給する。黒帯検出部２２は、供給された入力画像から黒帯を検出し、その検出結果を動き補償部２３および動き補償部２４に供給する。

ここで黒帯とは、アスペクト比の調整等の理由で入力画像上に設けられた、コンテンツの画像などの有効な画像である有効画像の表示されない領域をいう。この黒帯は、入力画像上の有効画像の外側に隣接して設けられ、画素値の低い黒い画素からなる。

動き補償部２３は、供給された入力画像であって、これから生成しようとする補間フレームよりも時間的に前のフレームである前フレームの入力画像と、動きベクトル検出部２１から供給された動きベクトルとを用いて動き補償を行い、補間フレームの画像である前補間画像を生成する。

また、動き補償部２３は、生成した前補間画像を画像生成部２５に供給するとともに、黒帯検出部２２からの黒帯の検出結果に基づいて、補間画像を生成するために前補間画像を用いるか否かを示す前フレーム制御信号を画像生成部２５に供給する。

例えば、これから生成しようとする補間画像上の注目している画素を注目画素と呼ぶこととすると、動き補償部２３は、補間画像上の画素を順次注目画素とし、注目画素に対応する前フレームの入力画像上の画素が、有効画像が表示される有効領域内にある場合、前フレーム制御信号を画像生成部２５に供給する。

より具体的には、注目画素に対応する前フレームの入力画像上の画素が有効領域内にある場合、前フレーム制御信号がオンされ、注目画素に対応する前フレームの入力画像上の画素が有効領域内にない場合、前フレーム制御信号がオフされる。そして、前フレーム制御信号がオンされた場合、前補間画像の画素は補間画像の生成に用いられ、前フレーム制御信号がオフされた場合、前補間画像の画素は補間画像の生成には用いられない。

ここで、注目画素に対応する画素とは、前フレームの入力画像上における注目画素と同じ位置の画素から、動きベクトル検出部２１により検出された動きベクトルの動きの分だけ移動した位置の画素をいう。すなわち、注目画素に対応する画素は、注目画素を動きベクトルにより示される移動量だけ移動させた位置にある前フレームの入力画像上の画素であり、画像上の注目画素により表示される部分と同じ部分が表示される前フレームの画素をいう。

動き補償部２４は、供給された入力画像であって、これから生成しようとする補間フレームよりも時間的に後のフレームである後フレームの入力画像と、動きベクトル検出部２１から供給された動きベクトルとを用いて動き補償を行い、補間フレームの画像である後補間画像を生成する。

また、動き補償部２４は、生成した後補間画像を画像生成部２５に供給するとともに、黒帯検出部２２からの黒帯の検出結果に基づいて、補間画像を生成するために後補間画像を用いるか否かを示す後フレーム制御信号を画像生成部２５に供給する。

例えば、動き補償部２４は、補間画像上の画素を順次注目画素とし、注目画素に対応する後フレームの入力画像上の画素が有効領域内にある場合、後フレーム制御信号を画像生成部２５に供給する。より具体的には、注目画素に対応する後フレームの入力画像上の画素が有効領域内にある場合、後フレーム制御信号がオンされ、注目画素に対応する後フレームの入力画像上の画素が有効領域内にない場合、後フレーム制御信号がオフされる。そして、後フレーム制御信号がオンされた場合、後補間画像の画素は補間画像の生成に用いられ、後フレーム制御信号がオフされた場合、後補間画像の画素は補間画像の生成には用いられない。

ここで、注目画素に対応する画素とは、後フレームの入力画像上における注目画素と同じ位置の画素から、動きベクトル検出部２１により検出された動きベクトルの動きの分だけ移動した位置の画素をいう。すなわち、注目画素に対応する画素は、注目画素を動きベクトルにより示される移動量だけ移動させた位置にある後フレームの入力画像上の画素であり、画像上の注目画素により表示される部分と同じ部分が表示される後フレームの画素をいう。

画像生成部２５は、動き補償部２３からの前フレーム制御信号、および動き補償部２４からの後フレーム制御信号に基づいて、動き補償部２３からの前補間画像、動き補償部２４からの後補間画像、および供給された入力画像を用い、補間画像を生成して出力する。

ところで、画像処理装置１１に入力画像が供給されると、画像処理装置１１は、これから生成しようとする補間フレームの補間画像の画素を、順次注目画素とし、各注目画素について補間処理を行うことにより、注目画素の画素値を求める。そして、画像処理装置１１は、求めた注目画素の画素値を順次出力していくことにより、補間画像を出力する。

以下、図２のフローチャートを参照して、画像処理装置１１による補間処理について説明する。

ステップＳ１１において、動きベクトル検出部２１は、供給された入力画像を用いて動きベクトルを検出し、検出された動きベクトルを動き補償部２３および動き補償部２４に供給する。例えば、動きベクトル検出部２１は、前フレームおよび後フレームの入力画像を用いてブロックマッチングを行い、注目画素の動きベクトルを求める。

これにより、例えば、図３に示すように、注目画素の動きベクトルが求められる。なお、図３において、矢印Ａ１１および矢印Ａ１２は動きベクトルを表しており、入力画像５１乃至入力画像５３のそれぞれは、前フレーム、後フレーム、および補間フレームの入力画像のそれぞれを表している。

例えば、動きベクトル検出部２１は、前フレームの入力画像５１上のいくつかの画素からなるブロックと、後フレームの入力画像５２上のいくつかの画素からなるブロックとのブロックマッチングを行う。その結果、前フレームの入力画像５１上の画素５４を中心とするブロックと、後フレームの入力画像５２上の画素５５を中心とするブロックとが一致し、画素５４に対応する入力画像５２上の画素、つまり画素５４の移動先が画素５５とされたとする。

そして、画素５４の移動先である補間フレームの入力画像５３（補間画像）上の画素が注目画素５６である場合、入力画像５１上の画素５４は、補間フレームにおいて注目画素５６の位置に移動し、さらに後フレームにおいて画素５５の位置に移動する。つまり、前フレームにおいて、画素５４の位置に表示されていた物体（の一部）は、補間フレームでは注目画素５６の位置に表示され、後フレームでは画素５５の位置に表示されることになる。そのような場合、矢印Ａ１１に示す注目画素５６から画素５４への動きと、矢印Ａ１２に示す注目画素５６から画素５５への動きとを表すベクトルが注目画素５６の動きベクトルとされる。

したがって、注目画素５６を矢印Ａ１１により示される動きベクトルの移動量だけ移動させた位置の入力画像５１上の画素は画素５４となり、注目画素５６を矢印Ａ１２により示される動きベクトルの移動量だけ移動させた位置の入力画像５２上の画素は画素５５となる。

図２のフローチャートの説明に戻り、注目画素の動きベクトルが求められると、ステップＳ１２において、黒帯検出部２２は、供給された入力画像から黒帯を検出し、検出した黒帯の位置を示す情報を動き補償部２３および動き補償部２４に供給する。

例えば、入力画像には、図４に示すように有効画像の周囲に黒帯が設けられている。図４では、入力画像の中央の領域に、コンテンツの画像である有効画像が表示され、その有効画像を囲む領域、つまり入力画像の端に、コンテンツの画像の表示されない黒い領域が設けられている。

すなわち、入力画像の図中、上側の端には長方形の領域８１−１が設けられており、入力画像の下側の端には長方形の領域８１−２が設けられている。また、入力画像の左側の端、および右側の端にも、それぞれ長方形の領域８２−１および領域８２−２が設けられている。そして、これらの領域８１−１乃至領域８２−２内の画素は、画素値が予め定められた閾値よりも低い黒い画素となっており、この黒い画素からなる領域が黒帯と呼ばれている。

黒帯検出部２２は、入力画像から黒帯とされるこれらの領域８１−１乃至領域８２−２を検出し、その位置を示す情報を出力する。

例えば、図中、左から右に向かう方向をｘ方向とし、上から下に向かう方向をｙ方向とする。また、入力画像の図中、左上の頂点を原点（基準）として、ｘ方向と平行な直線をｘ軸、ｙ方向と平行な直線をｙ軸とする。この場合、黒帯検出部２２は、ｘ方向に並べられた画素からなるラインのうち、画素値が閾値以下である黒い画素である黒画素が所定の数以上含まれるラインを黒ラインとし、ｙ方向に連続して並んでいる黒ラインの列の端を検出する。

そして、黒帯検出部２２は、検出された黒ラインの列の端を示す位置、つまりｘｙ座標系における領域８１−１と有効画像との境界のｙ座標である座標Ｙｕ、および領域８１−２と有効画像との境界のｙ座標である座標Ｙｄを求める。

次に、黒帯検出部２２は、入力画像のラインごとに、入力画像の端から連続して並んでいる黒画素の列の端、つまり領域８２−１および領域８２−２と、有効画像との境界の位置を検出する。さらに、黒帯検出部２２は、ラインごとに検出された境界の位置のうちの最も多い位置を、領域８２−１と有効画像との境界のｘ座標である座標Ｘｌ、および領域８２−２と有効画像との境界のｘ座標である座標Ｘｒとする。

黒帯検出部２２は、求めたこれらの座標Ｙｕ、座標Ｙｄ、座標Ｘｌ、および座標Ｘｒを示す情報を、黒帯の検出結果として動き補償部２３および動き補償部２４に供給する。

図２のフローチャートの説明に戻り、黒帯が検出されると、ステップＳ１３において、動き補償部２３は、供給された前フレームの入力画像と、動きベクトル検出部２１からの動きベクトルとを用いて動き補償を行い、前補間画像を生成する。

より詳細には、動き補償部２３は、前フレームを用いて動き補償により求められる補間フレームの前補間画像上の注目画素と同じ位置の画素の画素値を求める。以下、注目画素と同じ位置にある前補間画像上の画素を前補間画素と呼ぶこととすると、例えば動き補償部２３は、動きベクトルに基づいて、図３の画素５４を取得し、その画素５４の画素値を注目画素５６に対する前補間画素の画素値とする。つまり、注目画素に対する前補間画素は、注目画素と同じ位置にある前補間画像上の画素であって、注目画素を動きベクトルの動きの分だけ移動させた位置にある前フレームの入力画像上の画素の画素値と同じ画素値を有する画素とされる。

なお、以下、注目画素を動きベクトルの動きの分だけ移動させた位置にある前フレームの画素、つまり注目画素に表示される画像上の部分が表示される前フレームの入力画像上または入力画像外における画素を前参照画素と称する。ここで、注目画素において表示される画像上の部分が前フレームにおいて入力画像外に位置する場合、入力画像外には画素は存在しないが、注目画素で表示される部分の位置が前参照画素とされる。

ステップＳ１４において、動き補償部２３は、黒帯検出部２２から供給された黒帯の検出結果に基づいて、前参照画素が前フレームの入力画像上の有効領域内の画素であるか否かを判定する。例えば、前フレームの入力画像から、黒帯の検出結果により示される黒帯を除去した領域が有効領域とされ、前参照画素が有効領域内の画素であるか否かが判定される。ステップＳ１４において、有効領域内の画素であると判定された場合、処理はステップＳ１５に進む。

ステップＳ１５において、動き補償部２３は、前フレーム制御信号をオンし、その後、処理はステップＳ１７に進む。つまり、動き補償部２３は、画像生成部２５に前フレーム制御信号を供給する。

一方、ステップＳ１４において、有効領域内の画素ではないと判定された場合、処理はステップＳ１６に進む。ステップＳ１６において、動き補償部２３は、前フレーム制御信号をオフし、処理はステップＳ１７に進む。つまり、動き補償部２３は、画像生成部２５に前フレーム制御信号を供給しない。

例えば、図５に示すように、前フレームの入力画像１１１内には表示されていなかった物体１１２が、後フレームの入力画像１１３内のほぼ中央の位置に表示され、補間フレームの補間画像１１４では、図中、左側の端付近に表示されるとする。

この場合、補間画像１１４上における物体１１２を表示する画素が注目画素とされたときに、その注目画素に対する前参照画素は入力画像１１１外に位置することになる。つまり前参照画素は実際には存在しないことになる。

そのような場合、従来においては、前フレームの入力画像１１１上のなるべく物体１１２に近い位置の画素、例えば入力画像１１１の図中、左端の画素が前参照画素とされ、注目画素の画素値を求めるために用いられていた。

しかしながら、前参照画素とされる画素は、画像上の物体１１２とは全く無関係な部分が表示される画素であるため、その画素の画素値を用いて注目画素の画素値を求めると、不整合が生じ、補間画像１１４が破綻してしまう。つまり、前参照画素を用いて注目画素の画素値を求めても、確からしい画素値を得ることはできず、補間画像１１４の左端、すなわち物体１１２付近の領域は、精細感のない崩れた画像となってしまう。

また、例えば図６に示すように、入力画像の図中、上下の端に黒帯が設けられているとする。さらに、前フレームの入力画像１４１の有効領域内には表示されていなかった物体１４２が、後フレームの入力画像１４３内のほぼ中央の位置に表示され、補間フレームの補間画像１４４では、図中、上側の端付近に表示されるとする。

この場合、前フレームにおける物体１４２の位置が、入力画像１４１の黒帯上の位置であるとすると、補間画像１４４上における物体１４２を表示する画素が注目画素とされたときに、その注目画素に対する前参照画素は入力画像１４１の黒帯上に位置することになる。つまり前参照画素の画素値は、黒を表現する低い画素値となる。

そのような場合、従来においては、前参照画素の画素値がそのまま用いられ、例えば前参照画素の画素値と、注目画素に表示される物体１４２の部分が表示されている入力画像１４３上の画素（以下、後参照画素と称する）の画素値との平均値が注目画素の画素値とされていた。

しかしながら、前参照画素とされる画素は、黒帯上の黒い画素であるため、その画素の画素値を用いて注目画素の画素値を求めると、不整合が生じる。つまり、前参照画素を用いて注目画素の画素値を求めると、確からしい画素値を得ることはできず、注目画素は暗い画素となってしまう。したがって、補間画像１４４の上側、すなわち物体１４２付近の領域は暗い画像となってしまう。

このように、前参照画素が有効領域内にない場合、例えば前参照画素が入力画像の外や黒帯上に位置する場合には、前参照画素の画素値、すなわち注目画素と同じ位置にある前補間画像上の前補間画素の画素値を用いても確からしい注目画素の画素値を得ることはできない。そこで、動き補償部２３は、前参照画素が有効領域内にない場合、前フレーム制御信号をオフし、前補間画像が補間画像を生成するのに用いられないようにする。

これに対して、前参照画素が有効領域内にあれば、その前参照画素の画素値、すなわち注目画素と同じ位置にある前補間画像上の前補間画素の画素値を用いて、より確からしい注目画素の画素値を得ることができる。そこで、動き補償部２３は、前参照画素が有効領域内にある場合には、前フレーム制御信号をオンし、前補間画像が補間画像を生成するのに用いられるようにする。

図２のフローチャートの説明に戻り、ステップＳ１５またはステップＳ１６において、前フレーム制御信号がオンまたはオフされると、処理はステップＳ１７に進む。

ステップＳ１７において、動き補償部２４は、供給された後フレームの入力画像と、動きベクトル検出部２１からの動きベクトルとを用いて動き補償を行い、後補間画像を生成する。

より詳細には、動き補償部２４は、後フレームを用いて動き補償により求められる補間フレームの後補間画像上の注目画素と同じ位置の画素の画素値を求める。以下、注目画素と同じ位置にある後補間画像上の画素を後補間画素と呼ぶこととすると、例えば動き補償部２４は、動きベクトルに基づいて、図３の画素５５を取得し、その画素５５の画素値を注目画素５６に対する後補間画素の画素値とする。つまり、注目画素に対する後補間画素は、注目画素と同じ位置にある後補間画像上の画素であって、注目画素を動きベクトルの動きの分だけ移動させた位置にある後フレームの入力画像上の画素の画素値と同じ画素値を有する画素とされる。

なお、以下、注目画素を動きベクトルの動きの分だけ移動させた位置にある後フレームの画素、つまり注目画素に表示される画像上の部分が表示される後フレームの入力画像上または入力画像外における画素を後参照画素と称する。

ステップＳ１８において、動き補償部２４は、黒帯検出部２２から供給された黒帯の検出結果に基づいて、後参照画素が後フレームの入力画像上の有効領域内の画素であるか否かを判定する。ステップＳ１８において、有効領域内の画素であると判定された場合、処理はステップＳ１９に進む。

ステップＳ１９において、動き補償部２４は、後フレーム制御信号をオンし、その後、処理はステップＳ２１に進む。つまり、動き補償部２４は、画像生成部２５に後フレーム制御信号を供給する。

一方、ステップＳ１８において、有効領域内の画素ではないと判定された場合、処理はステップＳ２０に進む。ステップＳ２０において、動き補償部２４は、後フレーム制御信号をオフし、処理はステップＳ２１に進む。つまり、動き補償部２４は、画像生成部２５に後フレーム制御信号を供給しない。

ここで、後参照画素が有効領域内にない場合、例えば後参照画素が入力画像の外や黒帯上に位置する場合には、後参照画素の画素値、すなわち注目画素と同じ位置にある後補間画像上の後補間画素の画素値を用いても確からしい注目画素の画素値を得ることはできない。そこで、動き補償部２４は、後参照画素が有効領域内にない場合、後フレーム制御信号をオフし、後補間画像が補間画像を生成するのに用いられないようにする。

これに対して、後参照画素が有効領域内にあれば、その後参照画素の画素値、すなわち注目画素と同じ位置にある後補間画像上の後補間画素の画素値を用いて、より確からしい注目画素の画素値を得ることができる。そこで、動き補償部２４は、後参照画素が有効領域内にある場合には、後フレーム制御信号をオンし、後補間画像が補間画像を生成するのに用いられるようにする。

ステップＳ２１において、画像生成部２５は、注目画素生成処理を行い、補間処理は終了する。なお、注目画素生成処理の詳細は後述するが、この注目画素生成処理において、画像生成部２５は、前フレーム制御信号および後フレーム制御信号に基づいて、前補間画素、後補間画素、および供給された入力画像を用い、注目画素を生成して出力する。

このようにして、画像処理装置１１は、前フレームおよび後フレームの入力画像を用いて双方向動き補償を行い、前補間画素および後補間画素の画素値を求める。そして、画像処理装置１１は、前参照画素および後参照画素が有効領域内にあるか否かに応じて、適宜、前補間画素および後補間画素を用い、注目画素を生成する。

このように、前参照画素および後参照画素の位置に応じて、適宜、前補間画素および後補間画素が注目画素の生成に用いられるようにしたり、用いられないようにしたりすることで、より確からしい注目画素を得ることができる。つまり、補間画像が破綻したり、暗くなったりすることを防止し、補間画像をより精度よく生成することができる。

特に、前参照画素または後参照画素が、入力画像の黒帯上に位置する場合であっても、前補間画素または後補間画素が、注目画素の生成に用いられないようにすることで、より精度よく補間画像を生成することができる。

次に、図７のフローチャートを参照して、図２のステップＳ２１の処理に対応する注目画素生成処理について説明する。

ステップＳ５１において、画像生成部２５は、動き補償部２３から供給された前フレーム制御信号がオンであるか否か、つまり前フレーム制御信号が供給されたか否かを判定する。

ステップＳ５１において、前フレーム制御信号がオンであると判定された場合、ステップＳ５２において、画像生成部２５は、動き補償部２４から供給された後フレーム制御信号がオンであるか否か、つまり後フレーム制御信号が供給されたか否かを判定する。

ステップＳ５２において、後フレーム制御信号がオンであると判定された場合、前参照画素も後参照画素も有効領域内の画素であるので、ステップＳ５３において、画像生成部２５は、前補間画素および後補間画素を用いて注目画素を生成する。

例えば、画像生成部２５は、前補間画素の画素値および後補間画素の画素値の平均値を求め、求められた平均値を注目画素の画素値として出力する。画像生成部２５から注目画素の画素値が出力されると処理は終了する。

これに対して、ステップＳ５２において、後フレーム制御信号がオンでないと判定された場合、つまり後フレーム制御信号がオフである場合、ステップＳ５４において、画像生成部２５は、前補間画素を注目画素として出力する。すなわち、前フレーム制御信号がオンであり、後フレーム制御信号がオフである場合、前参照画素は有効領域内の画素であるが、後参照画素は有効領域内の画素ではないので、画像生成部２５は、前補間画素の画素値を注目画素の画素値として出力し、処理は終了する。

また、ステップＳ５１において、前フレーム制御信号がオンでない、つまり前フレーム制御信号がオフであると判定された場合、ステップＳ５５において、画像生成部２５は、後フレーム制御信号がオンであるか否かを判定する。

ステップＳ５５において、後フレーム制御信号がオンであると判定された場合、ステップＳ５６において、画像生成部２５は、後補間画素を注目画素として出力する。すなわち、前フレーム制御信号がオフであり、後フレーム制御信号がオンである場合、前参照画素は有効領域内の画素ではなく、後参照画素は有効領域内の画素であるので、画像生成部２５は、後補間画素の画素値を注目画素の画素値として出力し、処理は終了する。

一方、ステップＳ５５において、後フレーム制御信号がオンでないと判定された場合、つまり後フレーム制御信号がオフである場合、ステップＳ５７において、画像生成部２５は、入力画像を用いて注目画素を生成する。

前フレーム制御信号も後フレーム制御信号もオフである場合、前参照画素も後参照画素も有効領域内の画素ではない。そこで、例えば画像生成部２５は、供給された前フレームの入力画像上の注目画素と同じ位置の画素の画素値と、後フレームの入力画像上の注目画素と同じ位置の画素の画素値との平均値を求め、その値を注目画素の画素値とする。そして、画像生成部２５は、求めた平均値を注目画素の画素値として出力し、処理は終了する。

このように、画像生成部２５は、前フレーム制御信号および後フレーム制御信号のオン、オフの状態に応じて、注目画素を生成する。

例えば、図８に示すように、注目画素が補間画像のどの位置であるかによって前制御信号および後制御信号のオン、オフは変化する。なお、図８において、横方向は入力画像（補間画像も含む）上の位置を示しており、縦方向は時間を示している。また、曲線１７１乃至曲線１７５のそれぞれは、前フレームの入力画像、補間フレームの補間画像、後フレームの入力画像、前フレーム制御信号、および後フレーム制御信号のそれぞれを示している。さらに、入力画像の図中、横方向の所定の範囲の有効領域Ｒ１１は、有効画像が表示される有効領域を示している。

図８では、曲線１７４および曲線１７５の各位置における図中、上下方向の高さは、前フレーム制御信号および後フレーム制御信号のオン、オフを示している。すなわち、曲線１７４および曲線１７５の図中、左端の位置の高さは、前フレーム制御信号および後フレーム制御信号がオフされていることを示しており、曲線１７４および曲線１７５の高さが、オフとされる左端の位置の高さよりも高い場合、前フレーム制御信号および後フレーム制御信号はオンされていることを示している。

例えば、補間画像上の曲線１７２の左端の位置の画素が注目画素とされた場合、前参照画素も後参照画素も有効領域Ｒ１１内の画素ではないので、前フレーム制御信号および後フレーム制御信号はともにオフされる。

そして、曲線１７２上において、これまで注目画素とされていた画素の図中、右側に隣接する画素が順次、注目画素とされて注目画素の画素値が求められていき、矢印Ｇ１１により示される画素が注目画素とされたとする。

すると、曲線１７１上における前参照画素は、有効領域Ｒ１１内の画素ではないが、曲線１７３上における後参照画素は、有効領域Ｒ１１内の画素となる。なお、図８において、矢印Ｇ１１乃至矢印Ｇ１４のそれぞれにより示される補間画像上の画素の位置にある矢印は、前参照画素の位置および後参照画素の位置を示している。すなわち、それらの補間画像上の画素の位置にある矢印により示される曲線１７１上の位置、および曲線１７３上の位置は、注目画素に対する前参照画素および後参照画素の位置を示している。

矢印Ｇ１１に示す位置の画素が注目画素とされる場合、前参照画素は有効領域Ｒ１１内の画素ではないので、前フレーム制御信号はオフのままとされ、後参照画素は有効領域Ｒ１１内の画素となるので、後フレーム制御信号はオンされる。

したがって、この場合、後参照画素の画素値、つまり後補間画素の画素値が注目画素の画素値として出力される。

また、矢印Ｇ１２により示される画素が注目画素とされると、前参照画素も後参照画素も有効領域Ｒ１１内の画素となり、前フレーム制御信号も後フレーム制御信号もオンされる。したがって、この場合、前参照画素、つまり前補間画素の画素値と、後補間画素の画素値とが用いられて注目画素の画素値が求められる。

さらに、矢印Ｇ１３により示される画素が注目画素とされると、前参照画素は有効領域Ｒ１１内の画素とされるが、後参照画素は有効領域Ｒ１１外の画素となる。したがって、前フレーム制御信号はオンのままとされるが、後フレーム制御信号はオフされる。そして、この場合、前参照画素の画素値が注目画素の画素値として出力される。

さらに、また、矢印Ｇ１４により示される画素が注目画素とされると、前参照画素も後参照画素も有効領域Ｒ１１外の画素となり、前フレーム制御信号も後フレーム制御信号もオフされる。したがって、この場合、前フレームおよび後フレームの入力画像の注目画素と同じ位置の画素の画素値が用いられて注目画素の画素値が求められる。

このように、画像処理装置１１では、補間画像のどの画素が注目画素とされるかによって、前フレーム制御信号および後フレーム制御信号のそれぞれがオン、オフされ、これらの信号のオン、オフの状態に応じて注目画素が生成される。つまり、前参照画素および後参照画素が有効領域内の画素であるか否かに応じて、適宜、前補間画素、後補間画素、および入力画像の画素の少なくとも何れかが用いられて注目画素が生成される。

したがって、前補間画素、後補間画素、および入力画像の画素のうち、適切な画素を用いてより確からしい注目画素を生成することができる。すなわち、補間画像が破綻したり、暗くなったりすることを防止し、補間画像をより精度よく生成することができる。

なお、以上においては、前補間画素および後補間画素の両方の画素が用いられて注目画素が生成される場合や、前フレームおよび後フレームの入力画像の画素が用いられて注目画素が生成される場合に、それらの２つの画素の画素値の平均値を注目画素の画素値とすると説明したが、それらの画素値に所定の重みが乗算されて注目画素が生成されるようにしてもよい。

また、補間フレームを生成するために用いるフレームは、補間フレームの直前および直後のフレームに限らず、時間的に何フレームか前または後のフレームであってもよい。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。 補間処理を説明するフローチャートである。 動きベクトルについて説明する図である。 黒帯について説明する図である。 前フレーム制御信号のオン、オフについて説明する図である。 前フレーム制御信号のオン、オフについて説明する図である。 注目画素生成処理を説明するフローチャートである。 注目画素の生成について説明する図である。 コンピュータの構成例を示すブロック図である。

符号の説明

１１ 画像処理装置， ２１ 動きベクトル検出部， ２２ 黒帯検出部， ２３ 動き補償部， ２４ 動き補償部， ２５ 画像生成部

Claims (5)

1. 入力画像の所定のフレームとは時間的に異なる新たなフレームである補間フレームの補間画像を生成する画像処理装置であって、
   前記補間フレームに対して時間的に直前にある前フレームの入力画像および動きベクトルを用いて動き補償を行い、前記補間フレームの画像として前補間画像を生成する前動き補償手段と、
   前記補間フレームに対して時間的に直後にある後フレームの入力画像および動きベクトルを用いて動き補償を行い、前記補間フレームの画像として後補間画像を生成する後動き補償手段と、
   これから生成しようとしている前記補間画像上の注目している注目画素を動きベクトルにより示される移動量だけ移動させた位置の前記前フレームの入力画像の前参照画素が、前記入力画像上の有効な画像が表示される有効領域内にあり、かつ前記注目画素を動きベクトルにより示される移動量だけ移動させた位置の前記後フレームの入力画像の後参照画素が前記有効領域内にない場合、前記前参照画素と同じ画素値の前補間画素であって、前記注目画素と同じ位置にある前記前補間画像の前補間画素の画素値を、前記注目画素の画素値として出力し、
   前記前参照画素が前記有効領域内になく、かつ前記後参照画素が前記有効領域内にある場合、前記後参照画素と同じ画素値の後補間画素であって、前記注目画素と同じ位置にある前記後補間画像の後補間画素の画素値を、前記注目画素の画素値として出力し、
   前記前参照画素が前記有効領域内になく、かつ前記後参照画素が前記有効領域内にない場合、前記前フレームの入力画像の前記注目画素と同じ位置の画素の画素値と、前記後フレームの入力画像の前記注目画素と同じ位置の画素の画素値との平均値を、前記注目画素の画素値として出力する
   画像生成手段と
   を備える画像処理装置。
2. 前記画像生成手段は、前記前参照画素が前記有効領域内にあり、かつ前記後参照画素が前記有効領域内にある場合、前記前補間画素の画素値と、前記後補間画素の画素値とを用いて前記注目画素の画素値を求める
   請求項１に記載の画像処理装置。
3. 前記入力画像から、前記有効な画像が表示されない黒い領域である黒帯を検出する黒帯検出手段をさらに備え、
   前記入力画像上の前記黒帯に囲まれる領域が前記有効領域とされる
   請求項１に記載の画像処理装置。
4. 入力画像の所定のフレームとは時間的に異なる新たなフレームである補間フレームの補間画像を生成する画像処理方法であって、
   前記補間フレームに対して時間的に直前にある前フレームの入力画像および動きベクトルを用いて動き補償を行い、前記補間フレームの画像として前補間画像を生成する前動き補償ステップと、
   前記補間フレームに対して時間的に直後にある後フレームの入力画像および動きベクトルを用いて動き補償を行い、前記補間フレームの画像として後補間画像を生成する後動き補償ステップと、
   これから生成しようとしている前記補間画像上の注目している注目画素を動きベクトルにより示される移動量だけ移動させた位置の前記前フレームの入力画像の前参照画素が、前記入力画像上の有効な画像が表示される有効領域内にあり、かつ前記注目画素を動きベクトルにより示される移動量だけ移動させた位置の前記後フレームの入力画像の後参照画素が前記有効領域内にない場合、前記前参照画素と同じ画素値の前補間画素であって、前記注目画素と同じ位置にある前記前補間画像の前補間画素の画素値を、前記注目画素の画素値として出力し、
   前記前参照画素が前記有効領域内になく、かつ前記後参照画素が前記有効領域内にある場合、前記後参照画素と同じ画素値の後補間画素であって、前記注目画素と同じ位置にある前記後補間画像の後補間画素の画素値を、前記注目画素の画素値として出力し、
   前記前参照画素が前記有効領域内になく、かつ前記後参照画素が前記有効領域内にない場合、前記前フレームの入力画像の前記注目画素と同じ位置の画素の画素値と、前記後フレームの入力画像の前記注目画素と同じ位置の画素の画素値との平均値を、前記注目画素の画素値として出力する
   画像生成ステップと
   を含む画像処理方法。
5. 入力画像の所定のフレームとは時間的に異なる新たなフレームである補間フレームの補間画像を生成する画像処理をコンピュータに行わせるプログラムであって、
   前記補間フレームに対して時間的に直前にある前フレームの入力画像および動きベクトルを用いて動き補償を行い、前記補間フレームの画像として前補間画像を生成する前動き補償ステップと、
   前記補間フレームに対して時間的に直後にある後フレームの入力画像および動きベクトルを用いて動き補償を行い、前記補間フレームの画像として後補間画像を生成する後動き補償ステップと、
   これから生成しようとしている前記補間画像上の注目している注目画素を動きベクトルにより示される移動量だけ移動させた位置の前記前フレームの入力画像の前参照画素が、前記入力画像上の有効な画像が表示される有効領域内にあり、かつ前記注目画素を動きベクトルにより示される移動量だけ移動させた位置の前記後フレームの入力画像の後参照画素が前記有効領域内にない場合、前記前参照画素と同じ画素値の前補間画素であって、前記注目画素と同じ位置にある前記前補間画像の前補間画素の画素値を、前記注目画素の画素値として出力し、
   前記前参照画素が前記有効領域内になく、かつ前記後参照画素が前記有効領域内にある場合、前記後参照画素と同じ画素値の後補間画素であって、前記注目画素と同じ位置にある前記後補間画像の後補間画素の画素値を、前記注目画素の画素値として出力し、
   前記前参照画素が前記有効領域内になく、かつ前記後参照画素が前記有効領域内にない場合、前記前フレームの入力画像の前記注目画素と同じ位置の画素の画素値と、前記後フレームの入力画像の前記注目画素と同じ位置の画素の画素値との平均値を、前記注目画素の画素値として出力する
   画像生成ステップと
   を含むプログラム。

Images