JP5083086B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP5083086B2 JP5083086B2 JP2008188528A JP2008188528A JP5083086B2 JP 5083086 B2 JP5083086 B2 JP 5083086B2 JP 2008188528 A JP2008188528 A JP 2008188528A JP 2008188528 A JP2008188528 A JP 2008188528A JP 5083086 B2 JP5083086 B2 JP 5083086B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- processing
- motion vector
- reduced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
Description
このような動きの不自然さによる動画像の劣化は、一般的にモーションジャーキネス(Motion Jerkiness)と呼ばれる(参考文献:ANSI T1.801.02-1996)。
動画像撮像装置500は、動画像を撮像してMPEG(Moving Picture Experts Group)などの規格で符号化し、この符号化された画像データをDVD(Digital Versatile Disc)などの記録媒体700に記録するものであり、具体的には次のような構成を有している。
また動画像撮像装置500は、符号化処理部530により符号化された画像データを所定の伝送路を介して外部へ送信する送信処理部540と、符号化処理部530により符号化された画像データをDVDなどの記録媒体700に記録する記録処理部550を備える。
即ち動画像再生装置600は、所定の伝送路を介して伝送されてくる符号化された画像データを受信する受信処理部610と、記録媒体700から符号化された画像データを読み出す読出処理部620を有する。
また動画像再生装置600は、受信処理部610及び読出処理部620から出力される符号化された画像データを復号する復号処理部630と、復号処理部630によって復号された画像信号を表示するディスプレイなどの表示出力部640とを備える。
しかしながら、通常、絞り機構511を絞りすぎると回折現象により像がぼやけてしまう。このため、動画像撮像装置500では、絞り機構511によって光量を調節するのに加えて、シャッタ速度を短くすることで適切な露光制御を行っている。
また、絞り機構が設けられていない動画像撮像装置では、シャッタ速度を変更することで露光制御を行っている。
すなわち、従来の動画像撮像装置500では、シャッタ速度を短くしすぎると、人間の視覚特性によって画像の動きに滑らかさを欠いた現象となって現れてしまう。
上記非特許文献1には、CGにおけるモーションブラー効果について開示されている。
また、上記画素合成処理手段は、上記注目画素および1つ以上の上記抽出画素に応じた重みの値を、上記画像に関する動きを示す動き情報を基に変更する。
また、上記画素合成処理手段は、上記注目画素に応じて各縮小画像から抽出する画素について、注目画素と各縮小画像中に存在する画素との位置関係に応じて、各縮小画像中に存在する複数画素の重み付け加算処理によって抽出する。
また、上記縮小画像生成手段は、上記処理対象画像に対し縮小フィルタ処理を行って、方向別の縮小画像をそれぞれ生成する。そして上記画素合成処理手段は、上記各方向別に生成された各縮小画像から、方向を選択することで縮小画像を選択し、上記処理対象画像の注目画素に位置的に対応する画素を上記選択した縮小画像から抽出し、上記動き情報を基に、上記注目画素および上記選択した縮小画像から抽出した1つ以上の抽出画素について重み付け加算処理を行う。
また、上記縮小画像生成手段は、上記処理対象画像に対し縮小フィルタ処理を行って、方向別の縮小画像をそれぞれ生成する。そして上記画素合成処理手段は、上記処理対象画像の注目画素に位置的に対応する画素を上記各方向別に生成された各縮小画像からそれぞれ抽出し、上記動き情報を基に、上記注目画素および上記各縮小画像からそれぞれ抽出した抽出画素について、それぞれに第1の重み付け加算処理を行い、上記第1の重み付け加算処理の結果の各画素について、上記動き情報に応じた第2の重み付け加算処理を行う。
また上記動き情報補正手段は、撮像装置により撮像された際のシャッタ速度情報と上記最適シャッタ速度情報を用いて上記動き情報を補正する。
また、上記動き情報として動きベクトルを生成する動きベクトル生成手段を更に備え、上記動き情報補正手段は、上記動きベクトル生成手段により生成された動きベクトルを補正し、上記画素合成処理手段は、上記動き情報補正手段により補正された動きベクトルを用いて、上記処理対象画像の注目画素に位置的に対応する画素を上記縮小画像から抽出し、上記注目画素および上記縮小画像から抽出した1つ以上の抽出画素について、重み付け加算処理を行う。
また上記動きベクトル生成手段は、処理対象画像となる単位画像の動きベクトルを検出する動きベクトル検出手段と、上記動きベクトル検出手段が検出した処理対象画像の動きベクトルと、該処理対象画像以前の処理対象画像の動きベクトルを画素ブロック単位で比較して、相関が高い画素ブロックを特定する画素ブロック特定手段と、上記画素ブロック特定手段により特定された画素ブロックの動きベクトルから、該特定された画素ブロック以外の画素ブロックの動きベクトルを推定する動きベクトル推定手段とを有する。
また上記動きベクトル生成手段は、処理対象画像となる単位画像の動きベクトルを検出する動きベクトル検出手段と、上記動きベクトル検出手段が検出した処理対象画像の動きベクトルを平滑化する動きベクトル平滑化手段とを有する。
本発明のプログラムは、上記縮小画像生成ステップと、上記画素合成処理ステップとを演算処理装置に実行させるプログラムである。
また、本発明で実現される動きぼけ付加処理は、主に空間的なフィルタリング処理によって実現され、中間フレームを生成することがないため、処理過程で画像データを記憶するためのメモリを少なくすることができる。
さらに、空間フィルタ処理は、階層的なフィルタリングを実行した結果得られる、各階層の画素値を重み付け加算して出力する。そのため、各階層において行うフィルタは、少ないタップ数で実現可能である。また、そのフィルタのタップ数は、付加する動きぼけの量に依存せず、固定タップ数で行うことが可能である。このような再帰的な処理による実現は、特にハードウェアによる処理実装に適している。
説明は次の順序で行う。
[1.第1の実施の形態]
[1−1:画像処理装置1の全体構成]
[1−2:縮小画像生成処理部2]
[1−3:動きぼけレンダリング処理部3]
[1−4:まとめ]
[2.第2の実施の形態]
[3.プログラム]
[1−1:画像処理装置1の全体構成]
図1は、第1の実施の形態の画像処理装置1の構成例を示している。
この画像処理装置1は、入力画像データDD、および入力画像データDDの各画素または各分割領域の動きの情報である動きベクトルVD、を入力とし、動きぼけの付加によりジャーキネス劣化が低減した出力画像ODを出力する。
入力画像データDDは、画像撮像や記録媒体からの再生等により供給される動画像データであり、画像処理装置1は、例えば動画像を構成する1フレーム毎の入力画像データDDを処置対象画像として動きぼけの付加処理を行う。
動きベクトルVDとは、入力画像データDDの各フレームにおける、各画素または各分割領域の動きの情報である。なお分割領域とは、例えば1フレーム内の水平・垂直方向にのN×M個の画素で構成されるような複数画素で形成する画素ブロック単位をいう。
動きベクトルVDは、入力されてくる入力画像データDDにおいてメタデータ等の形式で付加されている場合もあるし、入力画像データDDについて動きベクトル検出処理を行って検出する場合もある。
この第1の実施の形態の画像処理装置1は、入力画像データDDの取込方式や、動きベクトルVDの取込方式は限定せず、これらは画像処理装置1に入力されるものとして説明する。
また、動きベクトルを基に、処理対象フレーム中の対応画素および縮小画像生成処理部2において生成された縮小面中の対応画素から、出力画像を構成する各画素の画素値を算出し出力する動きぼけレンダリング処理部3を備える。
画像処理装置1は、縮小画像生成処理部2と動きぼけレンダリング処理部3により各画素に適切な量の動きぼけを付加し、ジャーキネス劣化を低減した画像を出力する。
図2は、画像処理装置1における動きぼけ付加処理の概要を示すものである。特に、図1中の縮小画像生成処理部2と動きぼけレンダリング処理部3において行われる処理内容の概要を説明するためのものである。
縮小画像生成処理部2では、処理対象フレームである元画像に対し、詳しくは後述する空間フィルタリング処理を実行し、その結果として第1縮小面を作成する。
第1縮小面は、元画像よりも一定の比率だけ縮小され、画素数が減少した画像である。
さらに縮小画像生成処理部2は、得られた第1縮小面に対し、同様の空間フィルタリング処理を実行し、結果として得られる第2縮小面を作成する。
このような要領で縮小画像生成処理部2は、再帰的にフィルタ処理を用いることで、所定の階層数の縮小画像(第1縮小面〜第n縮小面)の生成を行う。
動きぼけレンダリング処理部3は、例えば図2中に示す元画像の各画素について、元画像である基底面、第1縮小面、および第2縮小面から、動きぼけ付加対象の画素に対応する位置の画素値を各面から抽出し、レンダリング方式に重み付け加算を実行する。
各面が有する画素数はそれぞれ異なるため、動きぼけ付加対象の画素に対応する位置の画素が各縮小面に存在しない場合、詳しくは後述する周辺の画素からの補間処理を行い、画素値を抽出する。
基底面及び各縮小面から抽出したそれぞれの画素値に対する重み係数(w0、w1、w2)は、図1に示した動きベクトルVD中の、動きぼけ付加対象の画素に対応する位置の動きベクトルの大きさに依存して決める。例えば、動きベクトルが大きい値の場合、つまり付加する動きぼけの量が大きい場合ほど、高階層の縮小面から抽出した画素の重み係数を大きくする。図2の例においては第2縮小面から抽出した画素の重み係数を大きくすることになる。
一方、動きベクトルが小さい値の場合、つまり付加する動きぼけの量が少ない場合ほど、低階層の縮小面から抽出した画素の重み係数を大きくする。例えば図2の例においては基底面から抽出した画素の重み係数を大きくする。
このような重み付け加算の結果として、ジャーキネス劣化を低減した画像が生成される。
縮小画像生成処理部2の具体的な処理について説明する。
縮小画像生成処理部2で行われる処理は、入力画像データDDに対し空間フィルタリング処理を実行する。また、その結果として得られる縮小画像に対し(または画像として構成されなくても、前段のフィルタリング処理の結果として得られる複数の画素を用いて)、さらに同様の空間フィルタリング処理を繰り返す。これにより階層的な縮小画像データRSDを生成する。
上記空間フィルタリング処理は、フィルタリング処理前の画像中において複数画素を有する領域の画素情報を用いて行われ、処理の前後にて一定の比率だけ縮小され、画素数が減少した画像を生成する。そのためフィルタリング処理後の各画素は、フィルタリング処理前の画像中における当該領域をぼかした画素、として出力されるわけである。
図3は、縮小画像生成を行うフィルタ処理の具体例における、縮小前後の画素の対応関係について示すものである。
図3の例では、縮小前の画像において、分割領域R11として示した4×4画素を用いたフィルタリングを実行し、縮小後の画像における画素P11を出力することを表現している。分割領域R12,R21についても同様に画素P12,P21を示している。
結果として、縮小後の画像は、縮小前の画像と比べ、垂直・水平方向にそれぞれ1/4の画素数となっている。
なお4×4画素ブロックを用いるのは、あくまで一例であり、N×Nの画素ブロックを用いて同様の処理を行えば、垂直・水平方向にそれぞれ1/Nの画素数を有する縮小画像が生成できる。
この場合、第1縮小面に4×4画素の分割領域を用いたフィルタリングを実行することにより、第2縮小面の各画素は、元画像における16×16画素の領域の画素値を平均化したぼけ画素として生成されることになる。
必要に応じて、第2縮小面の生成後に第3縮小面以降を同じ要領で生成することも可能であり、階層数を増やしても処理の内容は変わらない。
図3では分割領域として4×4画素の方形領域の例を示したが、フィルタリングを実行する分割領域は、方形でなくても構わない。
むしろ図3に示した4×4画素を用いたフィルタのような等方型フィルタでは、後段の動きぼけレンダリング処理で動きぼけを付加した場合、画質上の問題が発生してしまう場合もあり得る。それは、付加したい所望の動きぼけのみでなく、動きと直交する方向に低解像度化した結果生じるぼけが支配的になってしまう現象である。
例えば、水平方向の動きに応じた動きぼけを付加したい場合、動きぼけの方向である水平のみでなく、垂直方向にもローパスフィルタリングされた縮小画像を用いるため、垂直方向の解像度が低下した画像になってしまう。
つまり画像内容としての動き方向に応じてぼけを付加することでジャーキネスを低減するときに、動き方向とは直交方向にもぼけが付加され、それが視覚上適切な画像とならない場合がある。
図4においては、まず、入力画像データDD(基底面)に4×1タップの長方形フィルタ処理を実行し、水平方向の画素数が1/4、垂直方向の画素数は変化しない、水平方向1/4縮小画像を生成している。
例えば基底面における領域R011、R012、R021についてのそれぞれのフィルタ処理で得られた画素は、水平方向1/4縮小画像における画素P111、P112、P121となる。
なお4×1画素領域を用いたのは、あくまで一例であり、所望の縮小率に応じて変更できる。
フィルタの内容は、例えばボックスフィルタなどのローパスフィルタである。
例えば水平方向1/4縮小画像における領域R111についてのフィルタ処理で得られた画素は、水平方向1/16縮小画像における画素P211となる。
このように、水平方向の動きぼけ付加用として、垂直方向の解像度低下を防ぐため、水平方向のみ多階層の縮小画像を生成する。
図5においても、図4の場合と同様に、まず、入力画像データDDに1×4タップの長方形フィルタ処理を実行し、水平方向の画素数が変化せず、垂直方向の画素数が1/4となった、垂直方向1/4縮小画像を生成している。フィルタの内容は、例えばボックスフィルタなどのローパスフィルタである。
例えば基底面における領域R011、R012、R021についてのそれぞれのフィルタ処理で得られた画素は、垂直方向1/4縮小画像における画素P111、P112、P121となる。
例えば垂直方向1/4縮小画像における領域R111についてのフィルタ処理で得られた画素は、垂直方向1/16縮小画像における画素P211となる。
このように、垂直方向の動きぼけ付加用として、水平方向の解像度低下を防ぐため、垂直方向のみ多階層の縮小画像を生成する。
図6においても、これまでと同様に4タップのローパスフィルタを実行するが、図中に示すとおり、左斜め下方向に向かって抽出していった画素を用いてフィルタリングを行っている。
例えば、領域R014は、画素P014、P023、P032、P041の4つの画素による処理領域を示すが、領域R014については、この4つの画素についてフィルタ処理を行う。図示する他の領域R015、R024等も同様である。
例えば基底面における領域R014、R015、R024についてのそれぞれのフィルタ処理で得られた画素は、斜め45度方向1/4縮小画像における画素P114、P115、P124となる。
このように、斜め方向の動きぼけ付加用として、適用した方向に直交する斜め方向の解像度低下を防ぐため、適用方向のみ多階層の縮小画像を生成する。
図7においても、これまでと同様に4タップのローパスフィルタを実行するが、図中に示すとおり、右斜め下方向に向かって抽出していった画素を用いてフィルタリングを行っている。例えば、領域R014は、画素P014、P025、P036、P047の4つの画素による処理領域を示すが、領域R014については、この4つの画素についてフィルタ処理を行う。図示する他の領域R015、R024等も同様である。
例えば基底面における領域R014、R015、R024についてのそれぞれのフィルタ処理で得られた画素は、斜め135度方向1/4縮小画像における画素P114、P115、P124となる。
このように、斜め方向の動きぼけ付加用として、適用した方向に直交する斜め方向の解像度低下を防ぐため、適用方向のみ多階層の縮小画像を生成する。
上記までに説明する方法は、各方向の動きぼけ付加用として独立に縮小画像を生成するため、後段の動きぼけレンダリング処理において、各画素に付加する動きぼけの方向に応じて、適応的に各方向の縮小画像から画素を選択または合成する必要が生じる。この方法については、動きぼけレンダリング処理部3の説明において詳しく後述する。
下記の<具体例:条件1>をその例として用いる。
縮小画像生成方向:水平・垂直
縮小画像階層数:水平および垂直に各3層(第3縮小面まで)
動きぼけ生成方向:動きぼけレンダリング時に水平・垂直から移動速度の絶対値が大きい方を選択(詳細は後述)
フィルタ前後の縮小率
第1縮小面:1/4
第2縮小面:1/16
第3縮小面:1/64
図8は、<具体例:条件1>の設定における、縮小画像生成処理部2の構成例を示すものである。
上記の水平・垂直の各方向に1次元フィルタを用いて縮小面生成処理を実行する場合の処理フローを示しており、生成された各縮小面は縮小画像データRSDとして出力される。
即ち入力画像データDDに対して、1次元フィルタ処理21−1で水平方向1/4縮小画像を生成する。さらに1次元フィルタ処理21−1の結果について1次元フィルタ処理21−2で水平方向1/16縮小画像を生成する。さらに1次元フィルタ処理21−2の結果について1次元フィルタ処理21−3で水平方向1/64縮小画像を生成する。
また、入力画像データDDに対して、1次元フィルタ処理22−1で垂直方向1/4縮小画像を生成する。さらに1次元フィルタ処理22−1の結果について1次元フィルタ処理22−2で垂直方向1/16縮小画像を生成する。さらに1次元フィルタ処理22−2の結果について1次元フィルタ処理22−3で垂直方向1/64縮小画像を生成する。
これらの結果として得られた6個の縮小画像データRSDが出力されることになる。
上記の<具体例:条件1>の設定においては、生成する水平・垂直方向の階層数は3と決めていたが、図9はこれを限定せず、水平方向の縮小面階層数をMx、垂直方向の縮小面階層数をMyと表現して一般化している処理フローである。
1次元フィルタ処理21−1・・・21−Mxにより、Mx階層の水平方向縮小画像が生成され、また1次元フィルタ処理22−1・・・22−Myにより、My階層の垂直方向縮小画像が生成される。これらが縮小画像データRSDとして出力される。
上記図8から図9は縮小画像の階層数を拡張した例であるが、図10は、さらに図9における縮小画像生成方向について、水平・垂直方向のみから斜め方向も含めた構成へと拡張している。
即ち1次元フィルタ処理21−1・・・21−Mxにより、Mx階層の水平方向縮小画像が生成され、また1次元フィルタ処理22−1・・・22−Myにより、My階層の垂直方向縮小画像が生成される。
さらに1次元フィルタ処理23−1・・・23−Mxyにより、Mxy階層の斜め45°方向縮小画像が生成され、また1次元フィルタ処理24−1・・・24−Myxにより、Myx階層の斜め135°方向縮小画像が生成される。
そしてこれらが縮小画像データRSDとして出力される。
上記<具体例:条件1>の設定にて、水平・垂直のいずれかの方向に1/4縮小するフィルタを想定し、横軸は4画素ごとを1ブロックと考えた場合の座標を示しており、縦軸はフィルタとして各画素に乗ずる加重である。
4タップのボックスフィルタの他、7タップのテントフィルタ、10タップの階段フィルタ、13タップのガウシアンフィルタを例として図示しており、所謂FIRローパスフィルタであれば採用可能であることを示している。
これは、タップ数が小さいほど発生する恐れが高まる、折り返し現象に起因する画質劣化を低減できるためである。
また、フィルタタップ数の増加に伴い、隣接する分割領域に属する画素を重複してフィルタ処理を行うことになるが、それは問題とならない。
いま、水平方向の縮小画像を生成しているものとして、各縮小画像からの画素をどのように重み付け加算することで、出力画素の画素値を算出するかを、この図を用いて説明する。フィルタタップ数は7の場合を例として用いている。なお、垂直方向もこれに準じて行えばよいため、図は省略する。
このように、各縮小画像においてフィルタを4画素シフトしつつ実行することにより、用いる画素が隣接するフィルタと重複しても問題なく、フィルタの前後で1/4だけ縮小された、次層の縮小面が作成される。当然、縮小率が異なる場合も同様の方法で実現可能である。
続いて動きぼけレンダリング処理部3の具体的な処理について説明する。
動きぼけレンダリング処理部3は、入力画像データDDと、縮小画像生成処理部2で生成された階層的な縮小画像を用いて、動きぼけを含んだ出力画像の各画素値を算出する。
動きぼけレンダリング処理部3には、入力画像データDD、縮小画像データRSDおよび動きベクトルVDが入力し、各画素に適切な量の動きぼけが付加された出力画像データODを出力する。
レンダリングパラメータとは、言い換えれば、後段のレンダリング処理において、入力画像データDDおよび縮小画像データRSD中の当該画素の各々に、どれだけの重みを乗じて加算処理を実行するか、を示すデータである。後に具体的な例を用いてより明確に説明する。
縮小画像データRSDには、入力画像データDD中の各縮小画像において、当該画素に位置的に対応する画素の画素値を、補間処理によって生成する、合成画素算出処理が行われる(S2)。
この処理が必要な理由および具体的な処理内容の例については、詳しくは後述する。
最後に、入力画像データDDの当該画素、および、縮小画像データRSDから生成された各合成画素、のそれぞれに重みを付けて加算処理することにより、当該画素に対応する出力画素の画素値を算出する、レンダリング処理が行われる。重みの情報は、入力されるレンダリングパラメータ中にあるものとする。
縮小画像データRSDが示す縮小画像は、縮小画像生成処理部2において、水平および垂直に各3層作成されている(図8参照)。
合成画素算出処理部31(31−1〜31−3)には、入力画像データDDから処理対象の当該画素が入力されるのとタイミングを合わせて、3層の水平縮小画像から各々に画素が入力され、後述する合成画素値の算出処理が行われる。
また合成画素算出処理部32(32−1〜32−3)には、入力画像データDDから処理対象の当該画素が入力されるのとタイミングを合わせて、3層の垂直縮小画像から各々に画素が入力され、後述する合成画素値の算出処理が行われる。
これら合成画素算出処理部31−1〜31−3、32−1〜32−3で算出された各縮小画像に対する合成画素は、セレクタ34へと入力される。
上記<具体例:条件1>は、各画素に水平および垂直方向のいずれか一方の動きぼけを選択的に付加する条件である。そのため、ベクトル変換処理部35では、動きベクトルVDを基に、動きを付加する方向が水平と垂直のいずれであるかを示す選択情報と、付加する動きぼけの方向に対する各合成画素値に乗ずる重みを示す重み情報、を生成する。
そして選択情報は、セレクタ34へ供給され、重み情報は、重み付け画素加算処理部36へ供給される。
重み付け画素加算処理部36には、既に入力画像データDDから処理対象の当該画素が入力されている。
さらに、上記の通り、合成画素値のうち方向選択された各画素値が入力される。
また、ベクトル変換処理部35から各画素値に対する重み情報が入力している。
この重み付け画素加算処理部36では、重み情報を基に、入力した各画素値に対し、詳しくは後述する重み付け画素加算処理を実行し、出力する画素値を算出する。
図15は、合成画素算出処理および重み付け画素加算処理の内容について、具体例を示して説明するための図である。入力画像データDDと縮小画像データRSDについて、上記図12と同様に、各画素を示している。
後段の重み付け画素加算処理部36の処理では、前記の通り、入力画像データDDの当該画素、および、縮小画像データRSDから生成された各合成画素、のそれぞれに重みを付けて加算処理することにより、当該画素に対応する出力画素の画素値を算出するわけである。
しかし、各縮小画像には常に、入力画像データDD中の当該画素に対応する画素が存在するわけではないため、各縮小画像における対応画素を補間処理により算出しなくてはならない。
例えば、図15中の入力画像データDDで「20」の番号を振られている画素L0(20)に位置的に対応する、各縮小画像中における画素は存在しない。これは、入力画像データDDにフィルタリングを実行して、第1の縮小画像である1/4縮小画像を生成する際、L0(20)がフィルタの位相中心ではない画素であるためであり、1/4縮小面以降、位置的に対応する画素は存在しないわけである。
ここでは、例として線形補間法を用いて、L1(20)’、L2(20)’、L3(20)’を算出する場合を考える。
なお、ここでは線形補間による合成画素値算出の方法を示したが、補間の方式は、スプライン補間など、より高次な計算法を用いて算出することも可能である。
各画素に水平および垂直方向のいずれか一方の動きぼけを選択的に付加する、上記<具体例:条件1>に準じたベクトル変換処理部35では、既に入力されている動きベクトルVDを基に、動きを付加する方向が水平と垂直のいずれであるかを示す選択情報と、付加する動きぼけの方向に対する各合成画素値に乗ずる重みを示す重み情報、を生成する。
|Vx|≧|Vy|のとき:水平方向のぼけ付加
|Vx|<|Vy|のとき:垂直方向のぼけ付加
これを基に、動きぼけを付加する方向についての選択情報を、セレクタ34へと出力する。この例の場合、セレクタ34へ送る情報量は、1画素の動きぼけ付加に対して1ビットでよい。
重み付け画素加算処理部36には、入力画像データDDの当該画素L0(N)、およびセレクタ34で選択された、水平・垂直方向のどちらか一方について、各縮小画像から生成された合成画素が各々入力される。
以下では、<具体例:条件1>の水平・垂直方向用に3層の縮小画像が生成されている場合であるとし、さらに付加する動きベクトル方向がセレクタ34において、水平方向に決定されているものとする。
このとき、各水平縮小画像中の画素から生成された合成画素をL1(N)’、L2(N)’、L3(N)’と表現する。
各画素値に与える重みを生成する手段であるが、<具体例:条件1>の場合を想定し、重みw0〜w3を決定する方法の例を示す。
当該画素の位置的に対応する動きベクトル(Vx,Vy)のうち、絶対値が大である成分の絶対値をVと記す。そして以下の重み決定ルールに基づいて、順に分け与えていく。
V≦1であればw1=0,w2=0,w3=0とし、手順5へ。
手順2:V−w0>4−1であればw1=3。
そうでない場合、w1=V− w0,w2=0,w3=0とし、手順5へ。
手順3:V−(w0+w1)>16−4であればw2=12。
そうでない場合、w2=V−(w0+w1),w3=0とし、手順5へ。
手順4:w3=V−(w0+ w1+w2)。
手順5:w0〜w3の各値をVで除算して規格化。
図中のテーブルの1列目は、選択された方向のベクトル絶対値を示しており、2〜5列目は、各縮小面から抽出した各画素に乗ずる重みの値を示している。
数値はあくまで一例であり、限定するものではないが、ベクトル絶対値が小さいほど、各縮小面の重みの値は、小さい階層(基底面や第1縮小面)の重みの値を大とし、逆にベクトル絶対値が大きいほど、大きい階層(第3縮小面や第2縮小面)の重みの値を大とすべきである。
図17は、上記<具体例:条件1>における動きぼけレンダリング処理部3の処理ブロックであった図17を一般化し、水平・垂直方向の各縮小画像を3層ずつに限定しない構成例である。
即ち合成画素算出処理部31は、合成画素算出処理部31−1〜31−MxによるMx階層に対応する構成とされる。
また合成画素算出処理部32は、合成画素算出処理部32−1〜32−MyによるMy階層に対応する構成とされる。
このように図17では、水平方向に縮小面をMx層、垂直方向に縮小面をMy層、各々生成している点のみが図14と異なる。
図18は、図17の処理ブロックを変更した例である。
図17の処理ブロックでは、処理の順として、重み付け画素加算処理部36に用いる画素を水平・垂直のうちから選択してから、重み付け画素加算を実行する方法であったが、重み付け画素加算処理を水平・垂直の各々に実行してから方向の選択を行う方法も考えられる。図18はその場合の処理を実行するためのものである。
また、重み付け画素加算処理部36Bで、垂直方向についての合成画素算出処理部32(32−1〜32−My)からの画素値と、入力画像データDDの画素値について重み付け画素加算を実行する。
重み付け画素加算処理部36A、36Bにはベクトル変換処理部35から重み情報が供給される。
上記図17、図18に示す処理ブロック、および、これまでの説明で述べてきた処理においては、画素毎に水平または垂直のいずれか一方の方向を選択して動きぼけを付加する、方法であった。それに対し、図19に示す処理ブロックにおいては、水平と垂直の縮小画像の双方からの重み付け画素加算後の処理結果を、動きぼけを付加する方向に応じて、さらに合成した画素値を算出して出力する方式である。
即ち、重み付け画素加算処理部36C、36Dは、水平及び垂直の方向別に生成された各縮小画像について、それぞれ第1の重み付け加算を行う。また重み付け画素加算処理部36Eは、重み付け画素加算処理部36C、36Dの各第1の重み付け加算の結果の画素について、動きベクトルに基づき、第2の重み付け加算を行う。
また、重み付け画素加算処理部36Dは、垂直方向についての合成画素算出処理部32(32−1〜32−My)からの画素値と、入力画像データDDの画素値についてMyタップの重み付け画素加算を実行する。ベクトル変換処理部35からは垂直方向用の重み情報が供給されている。
さらに重み付け画素加算処理部36Eにおいては、重み付け画素加算処理部36C、36Dの出力について2タップの重み付け画素加算を実行し、これを出力とする。重み付け画素加算処理部36Eには、ベクトル変換処理部35からは、動きベクトルの方向に基づいた方向合成用の重み情報が供給されている。
入力した動きベクトルVDにおける当該画素の対応ベクトル(Vx,Vy)とすると、水平方向ベクトルの絶対値|Vx|に対し、前記の重み決定ルールを適用することで、各水平方向縮小画像からの合成画素に乗ずる、水平方向用重み情報wxkを算出する。
垂直方向ベクトルの絶対値|Vy|からも同様に、垂直方向用重み情報wykを算出する。
さらに、ベクトル変換処理部35では、各重み付け画素加算後の画素を合成するために必要な、方向合成用重み情報wdを生成する必要がある。
このwdの算出方法の例としては、例えば、各方向のベクトル絶対値の大きさに準じた画素合成方法をとる場合、wd=|Vx|/(|Vx|+|Vy|)として算出する。
縮小画像の生成方向として、水平・垂直方向の他に、斜め方向も含めて拡張し、縮小画像を生成する場合を示している。
また合成画素算出処理部32(32−1〜32−My)には、入力画像データDDから処理対象の当該画素が入力されるのとタイミングを合わせて、My層の垂直縮小画像から各々に画素が入力され、合成画素値の算出処理が行われる。
合成画素算出処理部37(37−1〜37−Mxy)には、入力画像データDDから処理対象の当該画素が入力されるのとタイミングを合わせて、Mxy層の斜め45°方向縮小画像から各々に画素が入力され、合成画素値の算出処理が行われる。
合成画素算出処理部38(38−1〜38−Myx)には、入力画像データDDから処理対象の当該画素が入力されるのとタイミングを合わせて、Myx層の垂直縮小画像から各々に画素が入力され、合成画素値の算出処理が行われる。
この例の場合、ベクトル変換処理部35がセレクタ34へ送る選択情報は、1フレームの動きぼけ付加に対して2ビットとする。
以上、第1の実施の形態の画像処理装置1について説明してきたが、この実施の形態によれば、人間の視覚特性上、より自然にジャーキネス劣化が低減された動画像を出力することができる。
そして動きぼけ付加処理は、主に空間的なフィルタリング処理によって実現され、中間フレームを生成することがないため、処理過程で画像データを記憶するためのメモリを少なくすることができる。
さらに、空間フィルタ処理は、階層的なフィルタリングを実行した結果得られる、各階層の画素値を重み付け加算して出力する。そのため、各階層において行うフィルタは、少ないタップ数で実現可能である。また、そのフィルタのタップ数は、付加する動きぼけの量に依存せず、固定タップ数で行うことが可能である。
このような再帰的な処理による実現は、特にハードウェアによる処理実装に適している。当然に、ソフトウェア、また組合せによる実現も可能である。
第2の実施の形態としての画像処理装置100について説明する。
図21は、画像処理装置100の構成例を示している。
画像処理装置100は、動きベクトル生成処理部40と、動きベクトルマスク処理部50と、最適シャッタ速度算出/判別部60と、動きベクトル補正部70と、縮小画像生成処理部80と、動きぼけレンダリング処理部90とから構成されている。
動きベクトルマスク処理部50は、動きぼけを付加する画像領域を特定する動きベクトルマスク情報を生成する。
最適シャッタ速度算出/判別部60は、実際に動画像が撮像されたときのシャッタ速度情報に応じて、当該領域の動きベクトルに応じて適したシャッタ速度(以下、最適シャッタ速度情報という)を算出する。
動きベクトル補正部70は、最適シャッタ速度情報に応じて、動きベクトルを補正する。
縮小画像生成処理部80は、フィルタリング処理などにより処理対象フレーム中から選択された画素に動きぼけを付加し、その結果得られた画素から構成される1つ以上の縮小面を生成する。
動きぼけレンダリング処理部90は、動きベクトル補正部70において補正された動きベクトルを基に、処理対象フレーム中の対応画素および縮小画像生成処理部80において生成された縮小面中の対応画素から、出力画像を構成する各画素の画素値を算出し出力する。
動きベクトル生成処理部40は、上述したように画素ブロック単位で動きベクトルを精度良く生成する部位である。具体的には図22に示すように、動きベクトル検出部141、画素ブロック特定処理部142、動きベクトル推定処理部143、動きベクトル平滑化処理部144、及び遅延部141a,142aを有する。
画素ブロック特定処理部142は、処理対象フレームの動きベクトルと直前フレームの動きベクトルとを画素ブロック毎に比較して、相関の高い画素ブロックを特定する。
動きベクトル推定処理部143は、画素ブロック特定処理部142により特定された画素ブロックの動きベクトルから、それ以外の画素ブロックの動きベクトルを推定する。
動きベクトル平滑化処理部144は、動きベクトルに対して平滑化処理を施す。
動きベクトル検出部141は、入力された入力画像データDDを処理対象フレームとする。そして当該処理対象フレームと、遅延部141aにより1フレーム分遅延された直前フレームとから、処理対象フレームの動きベクトルを、画素ブロック単位で検出する。
なお、動きベクトル検出部141に係る処理をソフトウェアによって実装する場合には、一般的なブロックマッチング法を用いて画素ブロック単位で動きベクトルを検出すればよい。
画素ブロック特定処理部142は、動きベクトル検出部141から供給される処理対象フレームの動きベクトルと、遅延部142aにより遅延された直前フレームの動きベクトルとを、次に示すように画素ブロック単位で比較して、この比較結果から相関の高い画素ブロックを特定する。
すなわち、動きベクトル推定処理部143は、前段の画素ブロック特定処理部142で、ベクトル相関係数σの値が1とされた画素ブロックが有効な動きベクトルを有しているものとして、それ以外の画素ブロック、すなわち、ベクトル相関係数σの値が0とされ有効ではない動きベクトルを有している画素ブロックの動きベクトルを更新する。
ステップS1において、動きベクトル推定処理部143は、処理対象フレームにおける現在の処理対象の画素ブロック(以下、注目画素ブロックという)のベクトル相関係数σが1か0であるかを判断する。すなわち、動きベクトル推定処理部143は、この画素ブロックの動きベクトルが有効であるか否かを判断する。そして、動きベクトル推定処理部143は、この画素ブロックの動きベクトルが有効であるとき動きベクトルの値を更新せずに本処理工程を終了し、この画素ブロックの動きベクトルが有効でないときステップS2に進む。
第1の理由としては、より広範囲に位置する画素ブロックを用いて推定処理を行うことは可能であるが、仮に実現したとしても、固定時間処理で本処理工程を終了するためには、周辺画素ブロックとして扱われる画像データを一時的に記憶するための記憶領域が増大してしまうからである。
第2の理由としては、本処理工程の後段で、上述した隣接する合計8つの画素ブロックよりも広範囲の周辺画素ブロックを用いて注目画素ブロックの動きベクトルに対して平滑化処理を施すことにより、有効ではない動きベクトルを適切に補正することができるからである。
動きベクトル推定処理部143では、推定処理の一例として、有効な動きベクトルを有する周辺画素ブロックの動きベクトルのみを入力としたメディアンフィルタにより注目画素ブロックの動きベクトルを出力して平滑化する。
動きベクトル推定処理部143は、以上のようにして、処理対象フレームの動きベクトルを画素ブロック単位で推定する。そして、動きベクトル推定処理部143は、画素ブロック特定処理部142で特定された動きベクトルを含めた動きベクトルを、動きベクトル平滑化処理部144に供給する。
なお、動きベクトル生成処理部40では、動きベクトル検出部141により検出した動きベクトルを、画素ブロック特定処理部142及び動きベクトル推定処理部143を介さずに、直接動きベクトル平滑化処理部144に供給して平滑化処理を施してもよい。このような処理を行った場合にも、上述した符号化情報として動きベクトルに比べて、実際の動体の動きに応じた精度の良い動きベクトルを生成することができる。
動きベクトルマスク処理部50は、処理対象フレームのうち、動きぼけを付加する画像領域を特定するため、動きベクトル生成処理部40から供給される画素ブロック単位の動きベクトルVDに対して、図24に示すようなマスク処理を施す。そしてマスク処理後の画素ブロック単位の動きベクトルを最適シャッタ速度算出/判別部60及び動きベクトル補正部70に供給する。
よって、動きベクトルマスク処理部50では、図24に示す処理により、ジャーキネスが発生しやすい、空間コントラストの高いエッジ周辺の画素ブロックの動きベクトルだけ有効な値として出力する。
すなわち、ステップS11において、動きベクトルマスク処理部50は、入力画像データDDに対し、画素ブロック単位で、処理対象フレーム内の空間コントラストの高い領域を特定するための処理として画像のエッジを検出する。
また、ステップS11の処理と並列して、ステップS12において、動きベクトルマスク処理部50は、処理対象フレーム内の動体領域を特定するための処理として、フレーム間での差分を画素ブロック単位で算出することによって動体画像領域を検出する。
そして、ジャーキネス劣化が発生しやすい領域と判断した画素ブロックに対して、動きベクトルマスク処理部50は、マスク処理用のフラグを「1」に設定する。また、ジャーキネスが発生しやすい領域と判断されなかった画素ブロックに対して、マスク処理用のフラグを「0」に設定する。
動きベクトルマスク処理部50は、フラグが「1」に設定されている画素ブロックの動きベクトルに対しては、その値を変えずに、後段の最適シャッタ速度算出/判別部60及び動きベクトル補正部70に出力する(S16)。
また、動きベクトルマスク処理部50は、フラグが「0」に設定されている画素ブロックの動きベクトルに対しては、ステップS15において、動きベクトルの値を0又は無効にするマスク処理を施して、後段の最適シャッタ速度算出/判別部60及び動きベクトル補正部70に出力する。
ステップS31として、最適シャッタ速度算出/判別部60は、例えば図26に示すような評価指標に基づいて処理対象フレームの各画素ブロックの動きベクトルに応じた最適シャッタ速度を算出する。
ここで、図26は、動きベクトルとして検出される動体の移動速度を示す被写体速度と、この被写体速度に応じた最適シャッタ速度曲線を表した図である。また、最適シャッタ速度とは、被写体の移動速度に応じた、視覚特性上、ジャーキネス劣化が知覚されにくく、且つ、動きぼけが過度に付加されることによって被写体のディテールが欠損したり不鮮明になるぼけ劣化も知覚されにくいシャッタ速度である。
すなわち、この最適シャッタ速度よりも速いシャッタ速度で被写体を撮像すると、撮像画像には、ジャーキネス劣化が生じていると判断できる。一方、この最適シャッタ速度よりも遅いシャッタ速度で被写体を撮像すると、撮像画像には、ぼけ劣化が生じていると判断することができる。
なお、図26の実線で示されている最適シャッタ速度曲線SS0は、任意の被写体速度と最適なシャッタ速度との対応関係を示した一例であって、具体的には心理実験に基づいて得られた実験結果値を結んだ曲線である。
ここで、図26に示す動きぼけ領域A1は、最適シャッタ速度曲線SS0に基づいて、被写体の動きによる動きぼけが過度に含まれると判別される領域である。同様にして、ジャーキネス領域A2は、最適シャッタ速度曲線SS0に基づいて、被写体の動きによる動きぼけが含まれず、視覚特性上ジャーキネス劣化が生じていると判別される領域である。
なお、動きベクトル補正部70は、関数fs(SSD)に代えて、動きベクトルVDを変数としたfs(VD)又は、シャッタ速度SSDと動きベクトルVDとを2変数としたfs(SSD,VD)を用いて乗算処理を行うようにしてもよい。
そして動きベクトル補正部70は、補正結果としての動きベクトルVDを、動きぼけレンダリング処理部90に出力する。
つまり、縮小画像生成処理部80は、入力画像データDDの処理対象フレームから1つ以上の解像度の異なる縮小画像を生成する。動きぼけレンダリング処理部90は、入力画像データDDの処理対象フレームの注目画素に位置的に対応する画素を、縮小画像生成処理部80で形成された縮小画像から抽出する。そして動きベクトル補正部70から供給される、処理対象フレームに関する動き情報VDを基に、上記注目画素および上記縮小画像から抽出した1つ以上の抽出画素について、重み付け加算処理を行って、処理対象フレームに動きぼけを付加する処理を行う。
また動きベクトルVDも安定して生成され、より適切な動きぼけレンダリング処理を実現させることになる。
したがって、動きベクトル補正部70では、絞り値Fが大きくなるのに伴って増加して値が1に収束する関数を動きベクトルVDの値に乗じる補正処理をすればよい。
ジャイロスコープによって検出される角速度が大きい撮像条件で撮像された画像データで示される画像は、画面内の動きが大きく、ジャーキネス劣化が目立ちやすいという特徴がある。したがって、動きベクトル補正部70では、ジャイロスコープによって検出される角速度が大きくなるのに伴って増加して値が1に収束する関数を動きベクトルの値に乗じる補正処理をすればよい。
拡大率が大きい撮像条件で撮像された画像データで示される画像は、画面内の動きが大きく、ジャーキネス劣化が目立ちやすいという特徴がある。したがって、動きベクトル補正部70では、拡大率が大きくなるのに伴って増加して値が1に収束する関数を動きベクトルの値に乗じる補正処理をすればよい。
また、撮像情報は、上述したシャッタ速度情報、絞り値情報、角速度情報、及びズーム情報に限定されるものではなく、画像データで示される画像の動きぼけの度合いを変化させる撮像条件を示す情報であれば、他の情報を用いて動きベクトルの補正処理をしてもよい。
また上記各例の画像処理装置1,100の構成は、複数の処理部の論理的集合構成であり、各構成として示した処理部が同一筐体内にあるものには限らない。
以上の実施の形態は、画像処理装置1,100として説明したが、これらの画像処理装置は画像処理を行う各種機器に適用できる。例えば画像再生装置、撮像装置、通信装置、画像記録装置、ゲーム機器、ビデオ編集機、などが想定される。
即ち、上述した画像処理装置1,100を構成する各処理部は、例えばFPGA等によって設計されるハードウェアによって実現されることもできるが、各処理部によって実現される画像処理をコンピュータ等の情報処理機器に実行させるようにしても良い。
例えば上述の縮小画像生成処理部2(80)、動きぼけレンダリング処理部3(90)の動作を演算処理装置に実行させるプログラムを画像処理アプリケーションソフトウエアとして提供することで、パーソナルコンピュータ等において、適切な画像処理を実現できる。
まず縮小画像生成処理部2(80)の処理に相当する、入力された動画像データに対し、動画像を構成する各単位画像を処理対象画像とし、その処理対象画像から1つ以上の解像度の異なる縮小画像を生成する縮小画像生成ステップを演算処理装置に実行させる。
また動きぼけレンダリング処理部3(90)の処理に相当する、処理対象画像の注目画素に位置的に対応する画素を上記縮小画像から抽出し、処理対象画像に関する動きを示す動き情報を基に、注目画素および縮小画像から抽出した1つ以上の抽出画素について、重み付け加算処理を行って、処理対象画像に動きぼけを付加する画素合成処理ステップを演算処理装置に実行させる。
また、動きベクトルマスク処理部50の処理に相当する、動きぼけを付加する画像領域を特定する動きベクトルマスク情報を生成する処理を演算処理装置に実行させてもよい。
また、最適シャッタ速度算出/判定部60の処理に相当する、動き情報に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度情報を、処理対象画像中の各画素または分割領域ごとに取得する処理を演算処理装置に実行させてもよい。
また、動きベクトル補正部70の処理に相当する、最適シャッタ速度情報等を用いて動き情報を補正する処理を演算処理装置に実行させてもよい。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
Claims (13)
- 動画像を構成する各単位画像を処理対象画像とし、上記処理対象画像から1つ以上の解像度の異なる縮小画像を生成する縮小画像生成手段と、
上記処理対象画像の注目画素に位置的に対応する画素を上記縮小画像から抽出し、上記処理対象画像に関する動きを示す動き情報を基に、上記注目画素および上記縮小画像から抽出した1つ以上の抽出画素について、重み付け加算処理を行って、上記処理対象画像に動きぼけを付加する画素合成処理手段と、
を備える画像処理装置。 - 上記縮小画像生成手段は、
上記処理対象画像に対し、再帰的な縮小フィルタ処理を用いることで上記縮小画像を生成する請求項1に記載の画像処理装置。 - 上記画素合成処理手段は、
上記注目画素および1つ以上の上記抽出画素に応じた重みの値を、上記画像に関する動きを示す動き情報を基に変更する請求項1に記載の画像処理装置。 - 上記画素合成処理手段は、
上記注目画素に応じて各縮小画像から抽出する画素について、
注目画素と各縮小画像中に存在する画素との位置関係に応じて、各縮小画像中に存在する複数画素の重み付け加算処理によって抽出する請求項1に記載の画像処理装置。 - 上記縮小画像生成手段は、
上記処理対象画像に対し縮小フィルタ処理を行って、方向別の縮小画像をそれぞれ生成し、
上記画素合成処理手段は、
上記各方向別に生成された各縮小画像から、方向を選択することで縮小画像を選択し、
上記処理対象画像の注目画素に位置的に対応する画素を上記選択した縮小画像から抽出し、
上記動き情報を基に、上記注目画素および上記選択した縮小画像から抽出した1つ以上の抽出画素について、重み付け加算処理を行う請求項1に記載の画像処理装置。 - 上記縮小画像生成手段は、上記処理対象画像に対し縮小フィルタ処理を行って、方向別の縮小画像をそれぞれ生成し、
上記画素合成処理手段は、
上記処理対象画像の注目画素に位置的に対応する画素を上記各方向別に生成された各縮小画像からそれぞれ抽出し、
上記動き情報を基に、上記注目画素および上記各縮小画像からそれぞれ抽出した抽出画素について、それぞれに第1の重み付け加算処理を行い、
上記第1の重み付け加算処理の結果の各画素について、上記動き情報に応じた第2の重み付け加算処理を行う請求項1に記載の画像処理装置。 - 上記動き情報に対応する最適な撮像シャッタ速度として、出力画像の画像劣化が低減される最適シャッタ速度情報を、処理対象画像中の各画素または分割領域ごとに取得し、上記最適シャッタ速度情報を用いて動き情報を補正する動き情報補正手段をさらに有し、
上記画素合成処理手段は、上記動き情報補正手段が補正した動き情報を用いて上記処理対象画像に動きぼけを付加する請求項1に記載の画像処理装置。 - 上記動き情報補正手段は、撮像装置により撮像された際のシャッタ速度情報及び上記最適シャッタ速度情報を用いて、上記動き情報を補正する請求項7に記載の画像処理装置。
- 上記動き情報として動きベクトルを生成する動きベクトル生成手段を更に備え、
上記動き情報補正手段は、上記動きベクトル生成手段により生成された動きベクトルを補正し、
上記画素合成処理手段は、上記動き情報補正手段により補正された動きベクトルを用いて、上記処理対象画像の注目画素に位置的に対応する画素を上記縮小画像から抽出し、上記注目画素および上記縮小画像から抽出した1つ以上の抽出画素について、重み付け加算処理を行う請求項7に記載の画像処理装置。 - 上記動きベクトル生成手段は、
処理対象画像となる単位画像の動きベクトルを検出する動きベクトル検出手段と、
上記動きベクトル検出手段が検出した処理対象画像の動きベクトルと、該処理対象画像以前の処理対象画像の動きベクトルを画素ブロック単位で比較して、相関が高い画素ブロックを特定する画素ブロック特定手段と、
上記画素ブロック特定手段により特定された画素ブロックの動きベクトルから、該特定された画素ブロック以外の画素ブロックの動きベクトルを推定する動きベクトル推定手段と、
を有する請求項9に記載の画像処理装置。 - 上記動きベクトル生成手段は、
処理対象画像となる単位画像の動きベクトルを検出する動きベクトル検出手段と、
上記動きベクトル検出手段が検出した処理対象画像の動きベクトルを平滑化する動きベクトル平滑化手段と、
を有する請求項9に記載の画像処理装置。 - 動画像を構成する各単位画像を処理対象画像とし、上記処理対象画像から1つ以上の解像度の異なる縮小画像を生成する縮小画像生成ステップと、
上記処理対象画像の注目画素に位置的に対応する画素を上記縮小画像から抽出し、上記処理対象画像に関する動きを示す動き情報を基に、上記注目画素および上記縮小画像から抽出した1つ以上の抽出画素について、重み付け加算処理を行って、上記処理対象画像に動きぼけを付加する画素合成処理ステップと、
を有する画像処理方法。 - 動画像を構成する各単位画像を処理対象画像とし、上記処理対象画像から1つ以上の解像度の異なる縮小画像を生成する縮小画像生成ステップと、
上記処理対象画像の注目画素に位置的に対応する画素を上記縮小画像から抽出し、上記処理対象画像に関する動きを示す動き情報を基に、上記注目画素および上記縮小画像から抽出した1つ以上の抽出画素について、重み付け加算処理を行って、上記処理対象画像に動きぼけを付加する画素合成処理ステップと、
を演算処理装置に実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008188528A JP5083086B2 (ja) | 2008-07-22 | 2008-07-22 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008188528A JP5083086B2 (ja) | 2008-07-22 | 2008-07-22 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010028524A JP2010028524A (ja) | 2010-02-04 |
JP5083086B2 true JP5083086B2 (ja) | 2012-11-28 |
Family
ID=41733914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008188528A Expired - Fee Related JP5083086B2 (ja) | 2008-07-22 | 2008-07-22 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5083086B2 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3022977B2 (ja) * | 1990-05-09 | 2000-03-21 | 沖電気工業株式会社 | テレビジョン信号内挿方式 |
JPH0730861A (ja) * | 1993-07-13 | 1995-01-31 | Oki Electric Ind Co Ltd | 映像信号変換装置、映像信号内挿装置及び飛越し走査変換装置 |
JP3816151B2 (ja) * | 1995-09-29 | 2006-08-30 | 富士写真フイルム株式会社 | 画像処理方法および装置 |
JP3861309B2 (ja) * | 1996-02-01 | 2006-12-20 | ソニー株式会社 | 信号変換装置および信号変換方法 |
US6611627B1 (en) * | 2000-04-24 | 2003-08-26 | Eastman Kodak Company | Digital image processing method for edge shaping |
JP4961800B2 (ja) * | 2006-03-31 | 2012-06-27 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
-
2008
- 2008-07-22 JP JP2008188528A patent/JP5083086B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010028524A (ja) | 2010-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4674620B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN110324664B (zh) | 一种基于神经网络的视频补帧方法及其模型的训练方法 | |
JP6016061B2 (ja) | 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム | |
EP1577836B1 (en) | Image deformation estimating method and apparatus | |
JP5385969B2 (ja) | 画像の超解像のための方法及び装置 | |
JP5045674B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
TWI455588B (zh) | 以雙向、局部及全域移動評估為基礎之框率轉換 | |
TWI387935B (zh) | 影像生成方法、及其程式與記錄有程式的記錄媒體 | |
JP2010004329A (ja) | 画像処理装置、画像処理方法、プログラム | |
JP2010041064A (ja) | 画像処理装置、画像処理方法、プログラム | |
JP2008146643A (ja) | 動きでぶれた画像における動きのぶれを低減する方法、動きでぶれた画像における動きのぶれを低減するための装置、および動きでぶれた画像における動きのぶれを低減するコンピュータ・プログラムを具現するコンピュータ読み取り可能な媒体 | |
CN109191506B (zh) | 深度图的处理方法、系统及计算机可读存储介质 | |
JP2008091979A (ja) | 画像高画質化装置、及びその方法、並びに画像表示装置 | |
JP2009081574A (ja) | 画像処理装置、方法およびプログラム | |
US8213736B2 (en) | Image processing device and image processing method | |
JP5492223B2 (ja) | 動きベクトル検出装置及び方法 | |
JP6270413B2 (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
JP5566199B2 (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
JP2017050731A (ja) | 動画像フレーム補間装置、動画像フレーム補間方法及び動画像フレーム補間プログラム | |
JP5289540B2 (ja) | 画像処理装置、及び画像処理方法 | |
JP5083086B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5566196B2 (ja) | 画像処理装置及びその制御方法 | |
Zhang et al. | Video superresolution reconstruction using iterative back projection with critical-point filters based image matching | |
JPWO2011004427A1 (ja) | 画像処理装置 | |
JP2007179211A (ja) | 画像処理装置、画像処理方法、およびそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110428 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120807 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120820 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150914 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |