JP4656391B2

JP4656391B2 - 画像処理装置と画像処理方法およびプログラム

Info

Publication number: JP4656391B2
Application number: JP2005034674A
Authority: JP
Inventors: 哲二郎近藤; 昌憲金丸
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-02-13
Filing date: 2005-02-10
Publication date: 2011-03-23
Anticipated expiration: 2025-02-10
Also published as: JP2005260928A

Description

この発明は、画像処理装置と画像処理方法およびプログラムに関する。詳しくは、時間積分効果を有する画像センサにより取得された複数画素からなる画像を用いて動きベクトルの検出を行い、検出された動きベクトルと複数画素からなる画像を用いて、この画像よりも時間解像度の高い画像を生成する。また、検出された動きベクトルを用いて画像内の動きオブジェクトに生じた動きボケを軽減させるものである。

従来のフレームレート変換、例えばテレシネ変換における２−３プルダウン方式では、フィルムの１コマの画像を２回繰り返す処理と３回繰り返す処理の組を周期的に実施して、フレームレートを変換することが行われている。また、特許文献１に示されているように、変換後フレームレートの教師画像信号と、それに対応し、変換前フレームレートの生徒画像信号との間の関係を、変換前フレームレートの生徒画像信号についての性質の分類毎に学習して、この学習の結果得られる予測係数を用いて変換前フレームレートの画像信号を変換後フレームレートの画像信号へ変換することにより、時間解像度が高精細で動きの自然な画像信号を得ることが行われている。

特開２００２−１９９３４９号公報

ところで、フレームレート変換と異なる画像処理を行う場合、この異なる画像処理で動きベクトルが必要とされる場合があり、画像処理毎に動きベクトルを検出して、検出した動きベクトルを用いるものとすると、構成が複雑となってしまう。また、画像処理で用いる動きベクトルが正しく検出されないと、画像処理によって所望の画像例えば高精細で動きの自然な画像を得ることができなくなってしまう。

そこで、この発明では、動きベクトルを用いた画像処理を効率良く行うことができ、また画像処理によって所望の画像を得ることができる画像処理装置と画像処理方法およびプログラムを提供するものである。

この発明に係る画像処理装置は、時間積分効果を有する画像センサにより取得された複数画素からなる画像を用いて動きベクトルの検出を行い、検出した動きベクトルに基づき、時間解像度の高い画像に対する第１の動きベクトルを生成するとともに、検出した動きベクトルを露光期間に応じて補正した第２の動きベクトルを生成する動きベクトル検出手段と、動きベクトル検出手段で生成された第１の動きベクトルと複数画素からなる画像を用いて、画像よりも時間解像度の高い画像を生成する時間解像度創造手段と、画像内の動きオブジェクトの画素の画素値は、動きオブジェクトに対応する動きボケが生じていない各画素の画素値を移動しながら時間方向に積分した値であるとして、動きベクトル検出手段で生成された第２の動きベクトルを用いて動きオブジェクトの動きボケが軽減されている動きボケ軽減画像を生成する動きボケ軽減画像生成手段とを有するものである。

この発明に係る画像処理方法は、時間積分効果を有する画像センサにより取得された複数画素からなる画像を用いて動きベクトルの検出を行い、検出した動きベクトルに基づき、時間解像度の高い画像に対する第１の動きベクトルを生成するとともに、検出した動きベクトルを露光期間に応じて補正した第２の動きベクトルを生成する動きベクトル検出ステップと、動きベクトル検出ステップの処理で生成された第１の動きベクトルと複数画素からなる画像を用いて、画像よりも時間解像度の高い画像を生成する時間解像度創造ステップと、画像内の動きオブジェクトの画素の画素値は、動きオブジェクトに対応する動きボケが生じていない各画素の画素値を移動しながら時間方向に積分した値であるとして、動きベクトル検出ステップの処理で生成された第２の動きベクトルを用いて動きオブジェクトの動きボケが軽減されている動きボケ軽減画像を生成する動きボケ軽減画像生成ステップとを有するものである。

この発明に係るプログラムは、コンピュータに、時間積分効果を有する画像センサにより取得された複数画素からなる画像を用いて動きベクトルの検出を行い、検出した動きベクトルに基づき、時間解像度の高い画像に対する第１の動きベクトルを生成するとともに、検出した動きベクトルを露光期間に応じて補正した第２の動きベクトルを生成する動きベクトル検出ステップと、動きベクトル検出ステップの処理で生成された第１の動きベクトルと複数画素からなる画像を用いて、画像よりも時間解像度の高い画像を生成する時間解像度創造ステップと、画像内の動きオブジェクトの画素の画素値は、動きオブジェクトに対応する動きボケが生じていない各画素の画素値を移動しながら時間方向に積分した値であるとして、動きベクトル検出ステップの処理で生成された第２の動きベクトルを用いて動きオブジェクトの動きボケが軽減されている動きボケ軽減画像を生成する動きボケ軽減画像生成ステップとを実行させるものである。

この発明においては、時間積分効果を有する画像センサにより取得された複数画素からなる画像を用いて動きベクトルの検出が行われて、時間解像度の高い画像に対する第１の動きベクトルが生成される。この生成された第１の動きベクトルと複数画素からなる画像を用いて、この画像よりも時間解像度の高い画像が生成される。また、動きオブジェクトの画素値は、動きオブジェクトに対応する動きボケが生じていない各画素の画素値が移動しながら時間方向に積分された値であるとして、動きオブジェクトに生じた動きボケが露光期間に応じて補正された第２の動きベクトルを用いて軽減される。また、複数画素からなる画像として動きボケが軽減されている動きボケ軽減画像を用いて、時間解像度の高い画像が生成される。

この発明によれば、時間積分効果を有する画像センサにより取得された複数画素からなる画像を用いて動きベクトルの検出が行われて、検出された動きベクトルと複数画素からなる画像を用いて、この画像よりも時間解像度の高い画像が生成される。また、画像内の動きオブジェクトの画素値は、動きオブジェクトに対応する動きボケが生じていない各画素の画素値が移動しながら時間方向に積分された値であるとして、検出された動きベクトルに基づき動きオブジェクトに生じた動きボケが軽減される。このため、時間解像度の高い画像の生成と動きボケの軽減のそれぞれで動きベクトルの検出を個々に行う必要がなく、時間解像度の高い画像の生成と動きボケの軽減を簡単な構成で行うことができる。

また、時間解像度の高い画像の生成は、動きボケが軽減されている動きボケ軽減画像を用いて行われるので、時間解像度の高い画像の動きボケを少なくできる。

さらに、画像センサにより取得された複数画素からなる画像を複数用いて動きベクトルが検出されて、この検出した動きベクトルを用いて割り付けを行い、時間解像度の高い画像に対する第１の動きベクトルが生成されるので、時間解像度の高い画像を正しく生成できる。また、検出された動きベクトルが露光期間に応じて補正され、第２の動きベクトルが生成されるので、シャッター動作等を行った場合でも、正しく動きボケを軽減できる。

さらに、動きベクトル検出手段で生成された第１の動きベクトルを用いて、生成する時間解像度の高い画像内の注目画素の動きベクトルを決定し、画像センサにより取得された画像から注目画素に対応する複数画素をクラスタップとして抽出し、このクラスタップの画素値から注目画素に対応するクラスが決定される。また、画像センサにより取得された画像に対応する時間解像度の第１の画像と、この第１の画像よりも時間解像度の高い第２の画像との間で、第２の画像内の注目画素に対応する第１の画像内の複数画素から注目画素を予測する予測係数を決定されたクラスに応じて用いるものとして、画像センサにより取得された画像から、生成する画像内の注目画素に対する複数画素を予測タップとして抽出し、予測係数と予測タップとの線形一次結合により注目画素に対応する予測値を生成することで、時間解像度の高い画像が生成される。このため、高精細で動きの自然な時間解像度の高い画像を得ることができる。

以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、本発明を適用するシステムの構成を示すブロック図である。画像センサ１０は、例えば、固体撮像素子であるＣＣＤ（Charge-Coupled Device）エリアセンサやＣＭＯＳエリアセンサを備えたビデオカメラなどで構成されており、実世界を撮像する。例えば、図２に示すように、画像センサ１０と背景に対応するオブジェクトＯＢbとの間を、前景に対応する動きオブジェクトＯＢfが矢印Ａ方向に移動するとき、画像センサ１０は、前景に対応する動きオブジェクトＯＢfを背景に対応するオブジェクトＯＢbと共に撮像する。

この画像センサ１０は、それぞれが時間積分効果を有する複数の検出素子からなるものであり、入力される光に応じて発生された電荷を検出素子毎に露光期間積分する。すなわち、画像センサ１０で光電変換を行い、入力された光を画素単位で電荷に変換して例えば１フレーム期間単位で蓄積を行う。この蓄積された電荷量に応じて画素データを生成して、この画素データを用いて所望のフレームレートの画像データＤＶaを生成して図１に示す画像処理装置２０に供給する。また、画像センサ１０にシャッター機能が設けられており、シャッター速度に応じて露光期間を調整して画像データＤＶaの生成が行われる場合には、露光期間を示す露光期間パラメータＨＥを画像処理装置２０に供給する。この露光期間パラメータＨＥは、１フレーム期間におけるシャッター開期間を例えば「０〜１．０」の値で示したものであり、シャッター機能を使用しないときの値は「１．０」、シャッター期間が１／２フレーム期間であるときの値は「０．５」とされるものである。

画像処理装置２０は、画像センサ１０により取得された複数画素からなる画像データＤＶaを用いて動きベクトルの検出を行い、検出された動きベクトルと複数画素からなる画像を用いて、時間解像度創造前後におけるフレームレートを示す周波数情報ＨＦに基づき、画像センサ１０により取得された画像よりも時間解像度の高い画像データＤＶftを生成する。また、検出された動きベクトルを用いて、動きオブジェクトに生じた動きボケを軽減させた画像データＤＶctを生成する。

図３は、画像データＤＶaで示される撮像画像を説明するための図である。図３Ａは、動いている前景に対応する動きオブジェクトＯＢfと、静止している背景に対応するオブジェクトＯＢbとを撮像して得られる画像を示している。なお、前景に対応する動きオブジェクトＯＢfは、矢印Ａ方向に水平移動しているものとする。

図３Ｂは、図３Ａの破線で示すラインＬにおける画像と時間の関係を示している。動きオブジェクトＯＢfのラインＬにおける移動方向の長さが例えば９画素分であり、１露光期間中に５画素移動する場合、フレーム期間開始時に画素位置Ｐ21にあった前端と画素位置Ｐ13にあった後端は、それぞれ画素位置Ｐ25，Ｐ17で露光期間の終了となる。また、シャッター機能が用いられていないとき、１フレームにおける露光期間は１フレーム期間と等しいものとなり、次のフレーム期間開始時に前端が画素位置Ｐ26、後端が画素位置Ｐ18となる。なお、説明を簡単とするため、特に記載が無い場合はシャッター機能が用いられていないものとして説明を行う。

このため、ラインＬのフレーム期間において、画素位置Ｐ12までと画素位置Ｐ26からは、背景成分のみの背景領域となる。また、画素位置Ｐ17〜Ｐ21は、前景成分のみの前景領域となる。画素位置Ｐ13〜Ｐ16と画素位置Ｐ22〜Ｐ25は、背景成分と前景成分が混合された混合領域となる。混合領域は、時間の経過に対応して背景成分が前景に覆い隠されるカバードバックグランド領域と、時間の経過に対応して背景成分が現れるアンカバードバックグランド領域に分類される。なお、図３Ｂでは、前景のオブジェクトの進行方向前端側に位置する混合領域がカバードバックグランド領域、後端側に位置する混合領域がアンカバードバックグランド領域となる。このように、画像データＤＶaには、前景領域、背景領域、またはカバードバックグランド領域若しくはアンカバードバックグランド領域を含む画像が含まれることとなる。

ここで、１フレームは短時間であり、前景に対応する動きオブジェクトＯＢfは剛体であって等速に移動していると仮定して、図４に示すように、１露光期間における画素値の時間方向分割動作を行い、画素値を仮想分割数で等時間間隔に分割する。

仮想分割数は、前景に対応する動きオブジェクトの１フレーム期間内での動き量ｖなどに対応して設定する。例えば、１フレーム期間内の動き量ｖが上述のように５画素であるときは、動き量ｖに対応して仮想分割数を「５」に設定して、１フレーム期間を等時間間隔で５分割する。

また、背景に対応するオブジェクトＯＢbを撮像したときに得られる画素位置Ｐxの１フレーム期間の画素値をＢx、ラインＬにおける長さが９画素分である前景に対応する動きオブジェクトＯＢfを静止させて撮像したときに各画素で得られる画素値をＦ09（前端側）〜Ｆ01（後端側）とする。

この場合、例えば画素位置Ｐ15の画素値ＤＰ15は、式（１）で表される。
ＤＰ15＝Ｂ15/ｖ+Ｂ15/ｖ+Ｆ01/ｖ+Ｆ02/ｖ+Ｆ03/ｖ・・・（１）

この画素位置Ｐ15では、背景の成分を２仮想分割時間（フレーム期間/ｖ）含み、前景成分を３仮想分割時間含むものとなる。同様に、例えば画素位置Ｐ22では、背景の成分を１仮想分割時間含み、前景成分を４仮想分割時間含むものとなる。

また、前景に対応する動きオブジェクトが剛体であり、前景の画像が次のフレームにおいて５画素右側に表示されるように等速で移動すると仮定しているので、例えば、画素位置Ｐ13の最初の仮想分割時間における前景の成分（F01/v）は、画素位置Ｐ14における２番目の仮想分割時間における前景の成分、画素位置Ｐ15における３番目の仮想分割時間における前景の成分、画素位置Ｐ16における４番目の仮想分割時間における前景の成分、画素位置Ｐ17における５番目の仮想分割時間における前景の成分と等しくなる。また、画素位置Ｐ14の最初の仮想分割時間における前景の成分（F02/v）から画素位置Ｐ21の最初の仮想分割時間における前景の成分（F09/v）についても、前景の成分（Ｆ01/v）と同様である。

このように、前景の成分が移動することから、１フレーム期間では、異なる前景の成分が加算されるので、動きオブジェクトに対応する前景の領域は、動きボケを含むものとなる。

図５は、画像処理装置２０の構成を示すブロック図である。画像処理装置２０に供給された画像データＤＶaは、動きベクトル検出部３０と動きボケ軽減画像生成部４０と時間解像度創造部５０に供給される。また、露光期間パラメータＨＥと周波数情報ＨＦは、動きベクトル検出部３０に供給される。

動きベクトル検出部３０は、画像データＤＶaに基づき、画素毎の動きベクトルＭＶを算出する。また、画素毎の動きベクトルＭＶに対して露光期間パラメータＨＥに応じた補正を行い、補正後の動きベクトルＭＶＢを動きボケ軽減画像生成部４０に供給する。さらに、算出した動きベクトルＭＶと周波数情報ＨＦを用いて、新たに生成するフレーム画像の画素に対して動きベクトルの割り付けを行い、割り付け後の動きベクトルＭＶＣを時間解像度創造部５０に供給する。

動きボケ軽減画像生成部４０は、動きベクトルＭＶＢと画像データＤＶaに基づいて動きボケ軽減処理を行い、動きボケ軽減画像の画像データＤＶctを生成する。また生成した画像データＤＶctをメモリ４５に記憶させる。

時間解像度創造部５０は、割り付けた動きベクトルＭＶＣとメモリ４５から読み出した動きボケ軽減画像の画像データＤＶmを用いて周波数情報ＨＦに基づいた時間解像度創造を行い、変換後フレームレートの画像データＤＶftを生成する。

図６は、動きベクトル検出部３０の構成を示すブロック図である。画像データＤＶaは、検出部３１に供給される。また、露光期間パラメータＨＥは動きベクトル補正部３２，周波数情報ＨＦは動きベクトル割付部３３にそれぞれ供給される。

検出部３１は、例えば、ブロックマッチング法、勾配法、位相相関法、或いはペルリカーシブ法などの手法により、動きベクトルを算出して、算出した動きベクトルＭＶを動きベクトル補正部３２と動きベクトル割付部３３に供給する。

ここで、検出部３１が出力する動きベクトルＭＶは、動き量（ノルム）と動き方向（角度）に対応する情報が含まれている。動き量は、動きのある画像の位置の変化を表す値である。例えば、オブジェクトＯＢfが、あるフレームを基準として次のフレームにおいて水平方向にmove-x，垂直方向にmove-yだけ移動したとき、動き量は式（２）によって求めることができる。また、動き方向は式（３）によって求めることができる。

動きベクトル補正部３２は、露光期間パラメータＨＥを用いて動きベクトルＭＶの補正を行う。検出部３１から供給された動きベクトルＭＶは、上述のようにフレーム間の動きベクトルである。しかし、後述する動きボケ軽減画像生成部４０で用いる動きベクトルは、フレーム内の動きベクトルを用いて処理を行う。このため、シャッター機能が用いられて露光期間が１フレーム期間よりも短いときに、フレーム間の動きベクトルを用いてしまうと動きボケの軽減を正しく行うことができない。このため、フレーム間の動きベクトルである動きベクトルＭＶを１フレーム期間に対する露光期間の割合で補正して、動きベクトルＭＶＣとして動きボケ軽減画像生成部４０に供給する。なお、説明を簡単とするため、特に記載しない場合は、シャッター機能が用いられていないものとする。

動きベクトル割付部３３は、供給された周波数情報ＨＦに基づき、新たに生成するフレーム画像の動きベクトルＭＶＣを、動きベクトルＭＶに基づいて生成する。例えば、新たに生成するフレーム画像の画素に対して動きベクトルＭＶを用いて動きベクトルの割り付けを行い、割り付け後の動きベクトルＭＶＣを時間解像度創造部５０に供給する。

周波数情報ＨＦは、フレーム周波数変換のレートを示す情報であり、例えば倍速変換や２．５倍速変換あるいは２４Ｐ画像から６０Ｐ画像に変換するいわゆる２４−６０変換などを示す情報である。

ここで、動きベクトル割り付け処理について、例えば周波数情報ＨＦがフレーム倍速変換を示す情報である場合を説明する。この場合、図７に示すように画像データＤＶａの２フレームＲＦa，ＲＦb間に新たに２フレームＲＦn0，ＲＦn1の画像を生成する。この新たに生成する２フレームの画像を注目フレームとする。動きベクトル割り付け部８０は、動きベクトル検出部３０から供給された画像データＤＶａの動きベクトルＭＶから、注目フレームの各画素について、交差する動きベクトルを検出して、検出した動きベクトルを注目フレームの画像の動きベクトルＭＶＣとして割り付ける。例えば注目フレームＲＦn0の画素ＰＧn0xにおいて、この画素ＰＧn0xに対する画素領域ＰＷを動きベクトルＭＶ-jが交差するとき、この動きベクトルＭＶ-jを画素ＰＧn0xの動きベクトルＭＶＣ-n0xとして割り付ける。また、交差する動きベクトルが複数であるときは、交差する複数の動きベクトルを平均化して割り付ける。さらに、交差する動きベクトルが検出できないときは、周辺画素や近距離の画素に割り付けられた動きベクトルを平均化したり、重み付けしたのち平均化して割り付ける。このようにして、注目フレームの全ての画素に動きベクトルを割り付ける。

図８は、動きボケ軽減画像生成部４０の構成を示している。動きボケ軽減画像生成部４０の処理領域設定部４１は、動きボケを軽減させる画像上の注目画素に対して、この注目画素に対する動きベクトルの動き方向に合わせて処理領域を設定して演算部４２に通知する。また、注目画素の位置を出力部４３に供給する。図９は処理領域を示しており、注目画素を中心として動き方向に（２Ｎ＋１）画素分の処理領域を設定する。図１０は処理領域の設定例を示しており、動きボケを軽減させる動きオブジェクトＯＢfの画素に対して動きベクトルの方向が例えば矢印Ｂで示すように水平方向である場合は、図１０Ａに示すように水平方向に処理領域ＷＡを設定する。また、動きベクトルの方向が斜め方向である場合は、図１０Ｂに示したように、該当する角度方向に処理領域ＷＡを設定する。ただし、斜め方向に処理領域を設定する際には、処理領域の画素位置に相当する画素値を、補間等によって求める。

ここで、処理領域内では、図１１に示すように、実世界変数(Ｙ_-8，・・・,Ｙ₀，・・・，Ｙ₈) が時間混合されている。なお、図１１は、動き量ｖが「ｖ＝５」であって処理領域を１３画素（Ｎ＝６：Ｎは注目画素に対する処理幅の画素数）とした場合である。

演算部４９は、この処理領域に対して実世界推定を行い、推定した実世界の中心画素変数Ｙ₀のみを、動きボケ除去がなされた注目画素の画素値として出力する。

ここで、処理領域を構成する画素の画素値をＸ_-N，Ｘ_-N+1，・・・，Ｘ₀，・・・，Ｘ_N-1，Ｘ_N とすると、式（４）に示すような（２Ｎ＋１）個の混合式が成立する。なお、定数ｈは、動き量ｖを１／２倍したときの整数部分の値（小数点以下を切り捨てた値）を示している。

しかし、求めたい実世界変数（Ｙ_-N-h，・・・，Ｙ₀，・・・，Ｙ_N+h）は、（２Ｎ＋ｖ）個ある。すなわち、変数の数よりも式の数が少ないので、式（４）に基づき実世界変数（Ｙ_-N-h，・・・，Ｙ₀，・・・，Ｙ_N+h）を求めることができない。

そこで、空間相関を用いた拘束式である式（５）を用いることで、実世界変数よりも式の数を増やし、最小自乗法を用いて、実世界変数の値を求める。
Ｙ_t−Ｙ_t+1＝０（ｔ＝-N-h,・・・,０,・・・,N+h-1）・・・（５）

すなわち、式（４）で表される（２Ｎ＋１）個の混合式と式（５）で表される（２Ｎ＋ｖ−1）個の拘束式を合わせた（４Ｎ＋ｖ）個の式を用いて、（２Ｎ＋ｖ）個の未知変数である実世界変数（Ｙ_-N-h，・・・，Ｙ₀，・・・，Ｙ_N+h）を求める。

ここで、各式において発生する誤差の二乗和が最小となるような推定を行うことで、動きボケ軽減画像生成処理を行いながら、実世界での画素値の変動を小さくできる。

式（６）は、図１１に示すように処理領域を設定した場合を示しており、式（４）と式（５）にそれぞれの式で発生する誤差を加えたものである。

この式（６）は式（７）として示すことができ、式（８）に示す誤差の二乗和Ｅを最小とするようなＹ（＝Ｙ_i）は式（９）として求まる。なお、式（９）において、Ｔは転置行列であることを示している。

ここで、誤差の二乗和は式（１０）で示すものとなり、この誤差の二乗和を偏微分して、式（１１）に示すように偏微分値が０となるようにすれば、誤差の二乗和が最小となる式（９）を求めることができる。

この式（９）の線形結合を行うことで、実世界変数（Ｙ_-N-h，・・・，Ｙ₀，・・・，Ｙ_N+h）をそれぞれ求めることができ、中心画素変数Ｙ₀の画素値を注目画素の画素値として出力する。例えば、演算部４９は、動き量毎に予め求めておいた行列（Ａ^TＡ）^-1Ａ^Tを記憶しておき、動き量に応じた行列と処理領域内の画素の画素値に基づき、中心画素変換Ｙ０の画素値を注目画素の画素値として出力する。このような処理を処理領域内の全画素に対して行うことで、動きボケが軽減されている実世界変数を全画面、或いは、ユーザが指定した領域について求めることができる。

上述では、ＡＹ＝Ｘ＋ｅにおける誤差の二乗和Ｅを最小とするように、最小自乗法で実世界変数（Ｙ_-N-h，・・・，Ｙ₀，・・・，Ｙ_N+h）を求めているが、式の数＝変数の数が一致するように式（１２）を作ることも可能である。この式をＡＹ＝Ｘとおき、Ｙ＝Ａ^-1Ｘと変形することにより、実世界変数（Ｙ_-N-h，・・・，Ｙ₀，・・・，Ｙ_N+h）を求めることも可能である。

出力部４３では、演算部４２で求めた中心画素変数Ｙ0の画素値を、動きベクトル検出部３０から供給された処理領域情報ＨＺで示された領域内に設定した注目画素の画素値とする。また、背景領域や混合領域であるため中心画素変数Ｙ0を求めることができないときには、動きボケ軽減画像生成処理前の注目画素の画素値を用いて、画像データＤＶoutを生成する。

図１２は、時間解像度創造部の構成を示している。時間解像度創造部５０は、画像データＤＶmの注目画素をクラス分類するクラス分類部５１、クラス分類部５１でのクラス分類結果に応じた予測係数を出力する予測係数メモリ５２、予測係数メモリ５２から出力された予測係数と画像データＤＶmとを用いて予測演算を行い、フレーム補間画素データを生成する予測演算部５３を有している。

画像データＤＶmは、クラス分類部５１のクラス画素群切り出し部５１３と予測演算部５３の予測画素群切り出し部５３１に供給される。周波数情報ＨＦは、時間モード値決定部５１１に供給される。また、生成するフレーム上の注目画素に割り付けられた動きベクトルＭＶＣは、タップ中心位置決定部５１２と位置モード値決定部５１５に供給される。

時間モード値決定部５１１は、供給された周波数情報ＨＦに基づいて生成するフレームの時間位置を示す時間モード値ＴＭを決定して、タップ中心位置決定部５１２と位置モード値決定部５１５および予測係数メモリ５２に供給する。図１３は、時間モード値決定部５１１の動作を説明するための図である。時間モード値決定部５１１は、変換前後の周波数から生成する注目フレームの時間位置に関する時間モード値を決定する。

図１３Ａは、フレーム倍速変換する場合を示す。この場合では、上述のように画像データＤＶａの２フレームＲＦa，ＲＦb間に注目フレームである２フレームＲＦn0，ＲＦn1を生成する。そして、２フレームＲＦn0，ＲＦn1のどちらを生成するかによって、モード０およびモード１が規定される。例えば２フレーム間で、より時間的に前の注目フレームＲＦn0上の画素値を生成する場合には、時間モード値が０とされ、他方の注目フレームＲＦn1上の画素値を生成する場合には、時間モード値が１とされる。また、図１３Ｂは、フレーム周波数を２．５倍にする変換する場合を示しており、４種類の時間的位置の注目フレーム上の画素値を生成することになるので、どのフレーム位置の係数を生成するかによって、時間モード値が０から３までの何れかの値をとる。

タップ中心位置決定部５１２は、動きベクトルＭＶＣを用いて、時間モード値ＴＭで示された注目フレーム上における注目画素の動きベクトルを決定する。すなわち、動きベクトル割付部３３によって、新たに生成するフレーム画像の画素に対して動きベクトルの割り付けが行われているときは、注目画素に対応する動きベクトルを選択する。この決定された動きベクトルに基づき、注目フレーム上の注目画素に対応する画像データＤＶmの前後２フレーム上の位置を検出し、タップ中心位置ＴＣとして設定する。

クラス画素群切り出し部５１３は、このタップ中心位置ＴＣを基準として、注目フレームに対する画像データＤＶmの前後２フレームから、動きの程度を表わすためのクラス分類の為に必要な画素を切り出してクラス値決定部５１４に供給する。

図１４は、上述したタップ中心位置ＴＣに基づいて、クラス画素群切り出し部５１３によって切り出されるクラス画素群のいくつかの例を示している。なお、図ではタップ中心位置ＴＣの画素を黒丸、タップ中心位置ＴＣの周辺に位置しておりクラス画素として使用される画素を×が記載された丸印で示している。このようなクラス画素群を注目フレームに対する画像データＤＶmの前後の２フレームから切り出す。

クラス値決定部５１４は、クラス画素群切り出し部５１３で切り出した画素群の画素データに対してフレーム間差分を算出し、例えばこのフレーム間差分の絶対値の平均値を、予め設定した複数の閾値と比較することでクラス分けを行い、クラス値ＣＭを決定する。

図１５は、クラス値の決定処理を説明するための図である。クラス値決定部５１４は、切り出したクラス画素群の画素値を例えば１ビットＡＤＲＣ（Adaptive Dynamic Range Coding)によって符号化し、符号化の結果（ビット列）を整数としてみた値をクラス値とする。

ここで、画素値が８ビットで表現されている時には、画素値として０から２５５までの値を取りうる。図１５では、注目フレームに対する画像データＤＶmの前後２フレームから、それぞれ５個の画素を切り出し、合計１０画素によってクラス画素群が構成されているものとする。この１０画素のクラス画素値の最大値と最小値の差がダイナミックレンジＤＲである。１ビットＡＤＲＣであるので、ダイナミックレンジＤＲが１／２とされた値が中値ＣＬＶとされ、この中値ＣＬＶに対するクラス画素値の大小関係が調べられる。クラス画素値が中値ＣＬＶより小であれば、"0" と符号化され、クラス画素値が中値ＣＬＶ以上であれば、"1"と符号化される。図１５の例では、１ビットＡＤＲＣの結果の符号化値のビット列が（００００１００００１）となる。このビット列を整数としてみた値（＝３３）がクラス値とされる。

クラス数を削減するために、符号化結果のビット列をビット毎に反転させた値をクラス値としても良い。この場合は、クラス数は半分となる。また、タップ配置が左右／上下に対称な場合、画素値を並び替えて同様の計算を行なって、クラス数をそれぞれ半分としても良い。

位置モード値決定部５１５は、タップ中心位置ＴＣ，動きベクトルＭＶＣおよび時間モード値ＴＭに基づいて位置モード値ＨＭを決定して、予測係数メモリ５２に供給する。タップ中心位置ＴＣは、上述のように注目フレーム上の注目画素と交差する動きベクトルと注目画素の位置に基づいて設定されるものであり、各画素の中心を示す位置を整数格子点位置とするとき、タップ中心位置ＴＣは整数格子点位置に対して小数以下（画素間距離以下）のずれを有する場合が生ずる。従って、位置モード値決定部５１５は、この小数以下のずれに基づいたクラス分けを行って位置モード値ＨＭを決定する。ここで、例えばフレーム周波数を５倍とし、注目画素と交差する動きベクトルは１つであるとした場合、整数格子点位置に対して小数以下のずれは、０，０．２，０．４，０．６，０．８の５通りのパターンとなる。この小数以下のずれ量を水平方向および垂直方向毎に考えると、５×５＝２５通りの組み合わせが考えられることから、小数以下のずれがいずれの組み合わせに該当するかによって２５通りの位置モード値ＨＭを決定する。

予測係数メモリ５２は、供給された時間モード値ＴＭ、位置モード値ＨＭ、クラス値ＣＭの組合せに対応する予測係数ＫＦを読み出して予測演算部５３の演算処理部５３２に供給する。

予測演算部５３の予測画素群切り出し部５３１は、タップ中心位置決定部５１２で決定されたタップ中心位置ＴＣを基準として、予測演算に使用する予測タップＴＦを変換前の画像データから切り出して、演算処理部５３２に供給する。演算処理部５３２は、予測係数メモリ５２から供給された予測係数ＫＦと予測タップＴＦとを用いて、それぞれ線形一次演算を行うことにより、変換後の画像データＤＶftを生成する。

予測係数メモリ５２に記憶されている予測係数は、図１６に示す学習装置を用いて作成できる。なお図において、図１２と対応する部分については同一符号を付している。

まず、教師画像（注目フレームの画像に相当）の画像データＧＴを用いてフレームレート変換を行い生徒画像（画像データＤＶmの画像に相当）の画像データＧＳを生成し、生徒画像の画像データＧＳをクラス分類部５４と係数算出部５５に供給する。

クラス分類部５４の動きベクトル検出部５４１は、所定数のフレーム間での動きベクトルを検出して、タップ中心位置決定部５１２と位置モード値決定部５１５に供給する。タップ中心位置決定部５１２は、上述のようにタップ中心位置を決定して、クラス画素群切り出し部５１３と生徒画素群切り出し部５５１に供給する。

生徒画素群切り出し部５５１は、タップ中心位置に基づいて、複数の生徒画素からなる生徒画素群を画像データＧＳから切り出す。切り出された生徒画素群は、予測係数学習部５５２に供給される。

クラス画素群切り出し部５１３は、タップ中心位置に基づいて、複数の生徒画素からなるクラス画素群を切り出す。切り出されたクラス画素群はクラス値決定部５１４に供給される。クラス値決定部５１４は、上述のようにクラス画素群からクラス値を決定する。この決定されたクラス値は、予測係数学習部５５２に供給される。

位置モード値決定部５１５は、上述のようにタップ中心位置、動きベクトルおよび時間モード値に基づいて位置モード値を決定して予測係数学習部５５２に供給する。さらに、時間モード値に基づいて教師画素切り出し部５４２が教師画素を切り出す。切り出された教師画素は予測係数学習部５５２に供給される。

予測係数学習部５５２は、供給された時間モード値、位置モード値、クラス値、生徒画素群、教師画素を使用して、生徒画素群から教師画素を予測するための予測係数を学習する。予測係数の学習では、複数の予測係数と生徒画素との線型１次演算によって予測値を推定した時に、予測値と教師画像中の真値との誤差の二乗和を最小とするように、予測係数を定める。実際的な計算方法としては、誤差の二乗和に関する式を偏微分し、偏微分値が０となるように予測係数が定められる。その場合に、上述のように正規方程式がたてられ、正規方程式が掃き出し法等の一般的な行列解法にしたがって解かれ、予測係数が算出される。この算出された予測係数を予測係数メモリ５２に格納する。

このように、動きベクトル検出部３０で検出された動きベクトルＭＶＢを用いて動きボケ軽減画像生成部４０は、動きボケ軽減画像の画像データＤＶctを生成する。また、動きベクトル検出部３０で検出された動きベクトルＭＶＣと画像データＤＶctを用いて時間解像度創造部５０は、フレームレート変換を行い変換後フレームレートの画像データＤＶftを生成する。

ところで、時間解像度創造と動きボケの軽減は、ソフトウェアを用いても実現できる。図１７は、ソフトウェアで動きボケ軽減処理や時間解像度創造処理を行う場合の構成を示している。ＣＰＵ（Central Processing Unit）６１は、ＲＯＭ（Read Only Memory）６２、または記憶部６３に記憶されているプログラムに従って各種の処理を実行する。この記憶部６３は、例えばハードディスクなどで構成され、ＣＰＵ６１が実行するプログラムや各種のデータを記憶する。ＲＡＭ（Random Access Memory）６４には、ＣＰＵ６１が実行するプログラムや各種の処理を行う際に用いられるデータ等が適宜記憶される。これらのＣＰＵ６１、ＲＯＭ６２、記憶部６３およびＲＡＭ６４は、バス６５により相互に接続されている。

ＣＰＵ６１には、バス６５を介して、入力インタフェース部６６や出力インタフェース部６７，通信部６８，ドライブ６９が接続されている。入力インタフェース部６６には、キーボードやポインティングデバイス（例えばマウス等），マイクロホンなどの入力装置が接続される。また、出力インタフェース部６７には、ディスプレイ、スピーカなどの出力装置が接続されている。ＣＰＵ６１は、入力インタフェース部６６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ６１は、処理の結果得られた画像や音声等を出力インタフェース部６７から出力する。通信部６８は、インターネット、その他のネットワークを介して外部の装置と通信する。この通信部６８は画像センサ１０から出力された画像データＤＶaの取り込みや、プログラムの取得等に用いられる。ドライブ６９は、磁気ディスク，光ディスク，光磁気ディスク，半導体メモリなどが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部６３に転送され、記憶される。

次に、図１８のフローチャートを参照して、画像処理装置の動作について説明する。ステップＳＴ１において、ＣＰＵ６１は、画像センサ１０によって生成された画像データＤＶaを、入力部や通信部等を介して取得し、この取得した画像データＤＶaを記憶部６３に記憶させる。

ステップＳＴ２でＣＰＵ６１は、各画素の動きベクトルＭＶを検出してステップＳＴ３に進む。
ステップＳＴ３でＣＰＵ６１は、露光期間パラメータＨＥを取得してステップＳＴ４に進み、ステップＳＴ４では、露光期間パラメータＨＥに基づき、ステップＳＴ２で検出した動きベクトルＭＶの補正を行い動きベクトルＭＶＢを生成する。

ステップＳＴ５でＣＰＵ６１は、動きボケ軽減画像生成処理を行い、ステップＳＴ４で得られた動きベクトルＭＶＢを用いて、注目画素に対する処理領域を設定して、この処理領域の画像データを画像データＤＶaから用いて演算処理を行い、動きボケ軽減画像の画像データＤＶctを生成してステップＳＴ６に進む。

ステップＳＴ６でＣＰＵ６１は、動きボケ軽減画像の画像データＤＶctが時間解像度創造を行えるフレーム数分記憶されているか否かを判別する。ここで、記憶されていないときにはステップＳＴ２に戻り、記憶されているときにはステップＳＴ７に進む。

ステップＳＴ７でＣＰＵ６１は、周波数情報ＨＦに基づき、ステップＳＴ２で検出した動きベクトルＭＶを用いて、生成するフレームの画素に対する動きベクトルの割り付けを行い動きベクトルＭＶＣを生成する。

ステップＳＴ８でＣＰＵ６１は、時間解像度創造処理を行い、周波数情報ＨＦと動きボケ軽減画像の画像データＤＶctおよび割り付けられた動きベクトルＭＶＣを用いて、新たに生成するフレームの画像データＤＶftを生成する。

図１９は、時間解像度創造処理をソフトウェアで実現する場合のフローチャートである。ステップＳＴ１１でＣＰＵ６１は、周波数情報ＨＦに基づき時間モード値ＴＭを決定する。ステップＳＴ１２でＣＰＵ６１は、タップ中心位置決定処理を行う。

図２０は、タップ中心位置決定処理を示すフローチャートである。ステップＳＴ１２１でＣＰＵ６１は、注目フレーム上の注目画素位置を決定する。ステップＳＴ１２２でＣＰＵ６１は、注目画素に対応する位置の算出を行う。すなわち、時間モード値ＴＭで示される注目フレーム上に設定した注目画素の動きベクトルに基づき、動きボケ軽減画像の前後２フレーム上の注目画素に対応する位置を小数精度で算出する。ステップＳＴ１２３は、算出した注目画素に対応する位置に最も近接した画素位置をタップ中心位置ＴＣとして決定する。

タップ中心位置決定処理が終了してステップＳＴ１３に進むと、ステップＳＴ１３でＣＰＵ６１は、位置モード値ＨＭを決定する。この位置モード値ＨＭの決定では、上述のステップＳＴ１２２で注目画素に対応する位置の算出を小数精度で算出して、この位置と最も近接した画素位置との差分を位置モード値ＨＭに変換する。

ステップＳＴ１４でＣＰＵ６１は、ステップＳＴ１２で決定したタップ中心位置ＴＣに基づいてクラス画素群の切り出しを行い、ステップＳＴ１５でＣＰＵ６１は、切り出したクラス画素群に基づいてクラス値ＣＭを決定する。

ステップＳＴ１６でＣＰＵ６１は、ステップＳＴ１２で決定したタップ中心位置ＴＣに基づき予測画素群の切り出しを行う。ステップＳＴ１７でＣＰＵ６１は、クラス値ＣＭと位置モード値ＨＭと時間モード値ＴＭに基づいた予測係数を読み出す。ステップＳＴ１８でＣＰＵ６１は、予測画素群の複数の画素と予測係数の線型１次結合（予測演算）によって、注目フレームの注目画素のデータを生成する。ステップＳＴ１９でＣＰＵ６１は、生成した注目画素のデータを画像データＤＶftとして出力する。

ステップＳＴ２０でＣＰＵ６１は、注目フレーム内全画素を処理したか否かが決定される。処理が終了していないならば、ステップＳＴ１２に戻る。フレーム内全画素を処理したと判断されると、ステップＳＴ９に進む。

ステップＳＴ９でＣＰＵ６１は、処理を終了するか否か判別する。ここで、画像データＤＶaが終了していないとき、あるいは終了操作が行われていないときは、ステップＳＴ２に戻る。また画像データＤＶaが終了したときや終了操作が行われたときは、処理を終了させる。

また、動きボケの処理を行う画像領域を示す領域選択情報ＨＡが画像処理装置２０に供給されるとき、動きボケ軽減画像生成部４０では、この領域選択情報ＨＡで選択された領域に対して動きボケの軽減を行うようにする。また、動きベクトル検出部３０で検出された動きベクトルＭＶに応じて処理領域を順次移動させる。すなわち、動きベクトル検出部３０は動きオブジェクトをトラッキングすることができる。このようにすれば、動きオブジェクトに合わせて領域を最初に設定するだけで、動きオブジェクトの動きに合わせて処理を行う画像領域を移動させることができ、動きオブジェクトが含まれた領域に対してのみ動きボケの軽減が行われるので、効率よく動きボケの軽減を行うことができる。

図２１は動きボケの軽減を行う領域の選択を可能としたときの動作を示すフローチャートである。
ステップＳＴ３１において、ＣＰＵ６１は、画像センサ１０によって生成された画像データＤＶaを、入力部や通信部等を介して取得し、この取得した画像データＤＶaを記憶部６３に記憶させる。

ステップＳＴ３２でＣＰＵ６１は、各画素の動きベクトルＭＶを検出してステップＳＴ３３に進む。
ステップＳＴ３３でＣＰＵ６１は、露光期間パラメータＨＥを取得してステップＳＴ３４に進み、ステップＳＴ３４では、露光期間パラメータＨＥに基づき、ステップＳＴ３２で検出した動きベクトルＭＶの補正を行い動きベクトルＭＶＢを生成する。

ステップＳＴ３５でＣＰＵ６１は、動きボケの軽減を行う画像領域の領域選択が行われたか否かを判別する。ここで、領域選択が行われていないときにはステップＳＴ３６に進み、全画面に対して動きボケ軽減画像生成処理を行い、画像データＤＶctを生成してステップＳＴ３９に進む。また、領域選択が行われたときにはステップＳＴ３７に進み、このステップＳＴ３７で選択領域の更新を行う。例えば、選択された領域内の動きオブジェクトの動きに合わせて、選択領域を順次移動させることで、動きボケの軽減を行う選択領域を動きオブジェクトに追従させる。ステップＳＴ３８では、動きオブジェクトの動きに合わせて移動される選択領域に対して動きボケ軽減画像生成処理を行い、画像データＤＶctを生成してステップＳＴ３９に進む。

ステップＳＴ３９でＣＰＵ６１は、動きボケ軽減画像の画像データＤＶctが時間解像度創造を行えるフレーム数分記憶されているか否かを判別する。ここで、記憶されていないときにはステップＳＴ３２に戻り、記憶されているときにはステップＳＴ４０に進む。

ステップＳＴ４０でＣＰＵ６１は、周波数情報ＨＦに基づき、ステップＳＴ３２で検出した動きベクトルＭＶを用いて、生成するフレームの画素に対する動きベクトルの割り付けを行い動きベクトルＭＶＣを生成する。

ステップＳＴ４１でＣＰＵ６１は、時間解像度創造処理を行い、周波数情報ＨＦと動きボケ軽減画像の画像データＤＶctおよび割り付けられた動きベクトルＭＶＣを用いて、新たに生成するフレームの画像データＤＶftを生成する。

ステップＳＴ４２でＣＰＵ６１は、処理を終了するか否か判別する。ここで、画像データＤＶaが終了していないとき、あるいは終了操作が行われていないときは、ステップＳＴ３２に戻る。また、画像データＤＶaが終了したときや終了操作が行われたときは、処理を終了する。

図２２は、図１７に示す構成を用いて予測係数の学習処理をソフトウェアで行う場合のフローチャートを示している。ステップＳＴ５１でＣＰＵ６１は、教師画像の画像データを用いてフレームレート変換を行い生徒画像の画像データを生成する。ステップＳＴ５２でＣＰＵ６１は、周波数情報に基づいて時間モード値を決定する。

ステップＳＴ５３でＣＰＵ６１は、教師画像の動きベクトルを検出し、ステップＳＴ５４でＣＰＵ６１は、時間モード値と動きベクトルに基づいてタップ中心位置を決定する。

ステップＳＴ５５でＣＰＵ６１は、動きベクトルやタップ中心位置および時間モード値から位置モード値を決定する。

ステップＳＴ５６でＣＰＵ６１は、タップ中心位置の情報に基づいて生徒画像からクラス画素群を切り出す。ステップＳＴ５７でＣＰＵ６１は、クラス画素群に基づいてクラス値を決定する。ステップＳＴ５８でＣＰＵ６１は、タップ中心位置の情報に基づいて生徒画像から生徒画素群を切り出す。ステップＳＴ５９でＣＰＵ６１は、教師画像から教師画素を切り出す。

ステップＳＴ６０からステップＳＴ６５までの処理は、最小二乗法に基づく予測係数学習処理である。すなわち、複数の予測係数と生徒画素との線型１次結合によって予測値を推定した時に、予測値と教師画像中の真値との誤差の二乗和を最小とするように、予測係数を定める。実際的な計算方法としては、誤差の二乗和に関する式を偏微分し、偏微分値が０となるように予測係数が定められる。その場合に正規方程式がたてられ、正規方程式が掃き出し法等の一般的な行列解法にしたがって解かれ、予測係数が算出される。

ステップＳＴ６０でＣＰＵ６１は、各クラス毎の正規方程式にデータを足し込む処理を行う。ステップＳＴ６１でＣＰＵ６１は、フレーム内全画素を処理したか否かを判別する。ここで処理が終了していないならば、ステップＳＴ５４（タップ中心位置決定）に戻る。フレーム内全画素を処理したと判断されると、ステップＳＴ６２に進む。ステップＳＴ６２でＣＰＵ６１は、画像内の全フレームの処理を終了したか否かを判別する。ここで、処理が終了していないと判別したときはステップＳＴ５２に戻り、処理が終了していると判別したときはステップＳＴ６３に進む。ステップＳＴ６３でＣＰＵ６１は、入力全画像を処理したか否かを判別する。ここで、処理が終了していないと判別したときはステップＳＴ５１に戻る。また、全画像の処理が完了したと判別したときはステップＳＴ６４に進む。ステップＳＴ６４でＣＰＵ６１は、掃き出し法によって正規方程式を解き、求められた予測係数をステップＳＴ６５で出力して予測係数メモリ５２に格納させる。

このように、時間解像度創造処理で用いる動きベクトルと、動きボケ軽減処理で用いる動きベクトルが動きベクトル検出部で生成されることから、それぞれの処理で動きベクトルの検出を行う必要がなく、構成を簡単とすることができる。また、動きボケ軽減画像の画像データＤＶctを用いて時間解像度創造が行われるので、変換後フレームレートの画像データＤＶftにおける動きボケを軽減させることができる。

以上のように、本発明にかかる画像処理装置と画像処理方法およびプログラムは、時間解像度創造を含む画像処理を行う際に有用であり、動きのあるオブジェクトが含まれている画像の時間解像度創造等に適している。

本発明を適用するシステムの構成を示すブロック図である。画像センサによる撮像を示す図である。撮像画像を説明するための図である。画素値の時間方向分割動作を説明するための図である。画像処理装置の構成を示すブロック図である。動きベクトル検出部の構成を示すブロック図である。動きベクトルの割り付け処理を説明するため図である。動きボケ軽減画像生成部の構成を示すブロック図である。処理領域を示す図である。処理領域の設定例を示す図である。処理領域における実世界変数の時間混合を説明するための図である。時間解像度創造部の構成を示す図である。時間モード値決定部の動作を説明するため図である。クラス画素群を示す図である。クラス値の決定処理を示す図である。学習装置の構成を示すブロック図である。画像処理装置の他の構成を示す図である。画像処理装置の動作を示すフローチャートである。時間解像度創造処理を示すフローチャートである。タップ中心位置決定処理を示すフローチャートである。領域選択を可能としたときの動作を示すフローチャートである。予測係数の学習処理を示すフローチャートである。

符号の説明

１０・・・画像センサ、２０・・・画像処理装置、３０，５４１・・・動きベクトル検出部、３１・・・検出部、３２・・・動きベクトル補正部、３３・・・動きベクトル割付部、４０・・・動きボケ軽減画像生成部、４１・・・処理領域設定部、４２・・・演算部、４５・・・メモリ、５０・・・時間解像度創造部、５１・・・クラス分類部、５２・・・予測係数メモリ、５３・・・予測演算部、５４・・・クラス分類部、５５・・・係数算出部、６１・・・ＣＰＵ（Central Processing Unit）、６２・・・ＲＯＭ（Read Only Memory）、６３・・・記憶部、６４・・・ＲＡＭ（Random Access Memory）、６５・・・バス、６６・・・入力インタフェース部、６７・・・出力インタフェース部、６８・・・通信部、６９・・・ドライブ、５１１・・・時間モード値決定部、５１２・・・タップ中心位置決定部、５１３・・・クラス画素群切り出し部、５１４・・・クラス値決定部、５１５・・・位置モード値決定部、５３１・・・予測画素群切り出し部、５３２・・・演算処理部、５４２・・・教師画像切り出し部、５５１・・・生徒画素群切り出し部、５５２・・・予測係数学習部

Claims

時間積分効果を有する画像センサにより取得された複数画素からなる画像を用いて動きベクトルの検出を行い、検出した前記動きベクトルに基づき、時間解像度の高い画像に対する第１の動きベクトルを生成するとともに、検出した前記動きベクトルを露光期間に応じて補正した第２の動きベクトルを生成する動きベクトル検出手段と、
前記動きベクトル検出手段で生成された前記第１の動きベクトルと前記複数画素からなる画像を用いて、前記画像よりも時間解像度の高い画像を生成する時間解像度創造手段と、
前記画像内の動きオブジェクトの画素の画素値は、前記動きオブジェクトに対応する動きボケが生じていない各画素の画素値を移動しながら時間方向に積分した値であるとして、前記動きベクトル検出手段で生成された前記第２の動きベクトルを用いて前記動きオブジェクトの動きボケが軽減されている動きボケ軽減画像を生成する動きボケ軽減画像生成手段と
を有することを特徴とする画像処理装置。
前記時間解像度創造手段は、前記動きボケ軽減画像を用いて、前記動きボケ軽減画像より時間解像度の高い画像を生成する
ことを特徴とする請求項１記載の画像処理装置。
前記時間解像度創造手段は、
前記動きベクトル検出手段で生成された前記第１の動きベクトルを用いて、生成する前記時間解像度の高い画像内の注目画素の前記動きベクトルを決定し、前記動きボケ軽減画像から前記注目画素に対応する複数画素をクラスタップとして抽出し、前記クラスタップの画素値から前記注目画素に対応するクラスを決定するクラス決定手段と、
前記動きボケ軽減画像に対応する時間解像度の第１の画像と、前記第１の画像よりも時間解像度の高い第２の画像との間で、前記第２の画像内の前記注目画素に対応する前記第１の画像内の複数画素に基づき前記注目画素を予測する予測係数を前記クラス毎に学習し生成された予測係数をクラス毎に記憶する記憶手段と、
前記クラス決定手段により決定されたクラスに対応する予測係数を前記記憶手段から検出し、前記動きボケ軽減画像から、前記生成する画像内の注目画素に対する複数画素を予測タップとして抽出し、前記記憶手段から検出した前記予測係数と前記予測タップとの線形一次結合により前記注目画素に対応する予測値を生成する予測値生成手段と
を備えることを特徴とする請求項２記載の画像処理装置。
時間積分効果を有する画像センサにより取得された複数画素からなる画像を用いて動きベクトルの検出を行い、検出した前記動きベクトルに基づき、時間解像度の高い画像に対する第１の動きベクトルを生成するとともに、検出した前記動きベクトルを露光期間に応じて補正した第２の動きベクトルを生成する動きベクトル検出ステップと、
前記動きベクトル検出ステップの処理で生成された前記第１の動きベクトルと前記複数画素からなる画像を用いて、前記画像よりも時間解像度の高い画像を生成する時間解像度創造ステップと、
前記画像内の動きオブジェクトの画素の画素値は、前記動きオブジェクトに対応する動きボケが生じていない各画素の画素値を移動しながら時間方向に積分した値であるとして、前記動きベクトル検出ステップの処理で生成された前記第２の動きベクトルを用いて前記動きオブジェクトの動きボケが軽減されている動きボケ軽減画像を生成する動きボケ軽減画像生成ステップと
を有することを特徴とする画像処理方法。
前記時間解像度創造ステップの処理は、前記動きボケ軽減画像を用いて、前記画像より時間解像度の高い画像を生成する
ことを特徴とする請求項４記載の画像処理方法。
前記時間解像度創造ステップの処理は、
前記動きベクトル検出ステップの処理で生成された前記第１の動きベクトルを用いて、生成する前記時間解像度の高い画像内の注目画素の前記動きベクトルを決定し、前記動きボケ軽減画像から前記注目画素に対応する複数画素をクラスタップとして抽出し、前記クラスタップの画素値から前記注目画素に対応するクラスを決定するクラス決定ステップと、
前記動きボケ軽減画像に対応する時間解像度の第１の画像と、前記第１の画像よりも時間解像度の高い第２の画像との間で、前記第２の画像内の前記注目画素に対応する前記第１の画像内の複数画素に基づき、前記注目画素を予測する予測係数を前記クラス毎に学習し生成された予測係数をクラス毎に記憶する記憶ステップと、
前記クラス決定ステップの処理により決定されたクラスに対応する予測係数を前記記憶ステップの処理から検出し、前記動きボケ軽減画像から、前記生成する画像内の注目画素に対する複数画素を予測タップとして抽出し、前記記憶ステップの処理から検出した前記予測係数と前記予測タップとの線形一次結合により前記注目画素に対応する予測値を生成する予測値生成ステップと
を備えることを特徴とする請求項５記載の画像処理方法。
コンピュータに、
時間積分効果を有する画像センサにより取得された複数画素からなる画像を用いて動きベクトルの検出を行い、検出した前記動きベクトルに基づき、時間解像度の高い画像に対する第１の動きベクトルを生成するとともに、検出した前記動きベクトルを露光期間に応じて補正した第２の動きベクトルを生成する動きベクトル検出ステップと、
前記動きベクトル検出ステップの処理で生成された前記第１の動きベクトルと前記複数画素からなる画像を用いて、前記画像よりも時間解像度の高い画像を生成する時間解像度創造ステップと、
前記画像内の動きオブジェクトの画素の画素値は、前記動きオブジェクトに対応する動きボケが生じていない各画素の画素値を移動しながら時間方向に積分した値であるとして、前記動きベクトル検出ステップの処理で生成された前記第２の動きベクトルを用いて前記動きオブジェクトの動きボケが軽減されている動きボケ軽減画像を生成する動きボケ軽減画像生成ステップと
を実行させるプログラム。