JP5284446B2 - 画像処理装置、及び画像処理方法 - Google Patents

画像処理装置、及び画像処理方法 Download PDF

Info

Publication number
JP5284446B2
JP5284446B2 JP2011249176A JP2011249176A JP5284446B2 JP 5284446 B2 JP5284446 B2 JP 5284446B2 JP 2011249176 A JP2011249176 A JP 2011249176A JP 2011249176 A JP2011249176 A JP 2011249176A JP 5284446 B2 JP5284446 B2 JP 5284446B2
Authority
JP
Japan
Prior art keywords
image information
frame image
image data
frame
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011249176A
Other languages
English (en)
Other versions
JP2013106214A (ja
Inventor
敬 今田
幸恵 高橋
隆二 境
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011249176A priority Critical patent/JP5284446B2/ja
Priority to US13/543,114 priority patent/US20130121605A1/en
Publication of JP2013106214A publication Critical patent/JP2013106214A/ja
Application granted granted Critical
Publication of JP5284446B2 publication Critical patent/JP5284446B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Picture Signal Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明の実施形態は、画像処理装置、及び画像処理方法に関する。
従来、カメラやテレビジョン受信装置等では、画像の解像度や画質を向上させるために様々な画像処理が施されている。画像処理の一つの様態として、フレーム画像にテクスチャ等高周波画像成分を付与する技術がある。当該従来技術では、例えば、フレーム画像毎にテクスチャ画像を生成した上で、当該テクスチャ画像をフレーム画像に付与することで、質感を向上させることができる。
特開2008−310117号公報
しかしながら、従来技術においては、フレーム画像毎にテクスチャ等の高周波画像を生成するために解析等を行うと、処理負担が大きいという問題がある。
本発明は、上記に鑑みてなされたものであって、画質を向上しつつ処理負担を軽減できる画像処理装置、及び画像処理方法を提供する。
実施形態の画像処理装置は、特徴算出手段と、探索手段と、推定手段と、生成手段と、重畳手段と、を備える。特徴算出手段は、動画像情報に含まれる所定の数のフレーム画像情報毎に、当該所定の数のフレーム画像情報に含まれているいずれか一つの第1のフレーム画像情報について、所定の表示領域単位で、当該表示領域に含まれる画素値の変動度合いを示した特徴情報を算出する。探索手段は、第1のフレーム画像情報と、第1のフレーム画像情報より後の第2のフレーム画像情報と、の間の、画素の動きを探索する。推定手段は、探索手段で探索された画素の動きと、第1のフレーム画像情報の表示領域単位の特徴情報と、に基づいて、第2のフレーム画像情報の表示領域単位の特徴情報を推定する。生成手段は、第2のフレーム画像情報の表示領域単位で、当該表示領域の特徴情報に従って、第2のフレーム画像情報に付与すべき高周波成分の度合いを異ならせた高周波画像情報を生成する。重畳手段は、第2のフレーム画像情報に高周波画像情報を重畳する。
図1は、第1の実施形態にかかる画像処理装置の構成例を示すブロック図である。 図2は、第1の実施形態にかかる分布算出部を示した図である。 図3は、第1の実施形態にかかる確率分布について説明する図である。 図4は、第1の実施形態にかかる画像処理装置における、フレーム画像データにテクスチャ画像データを重畳するまでの処理手順を示すフローチャートである。 図5は、第1の実施形態にかかる特徴量算出部における、特徴量算出の処理フローを示した図である。 図6は、定数m=3の場合における、第1の実施形態にかかる画像処理装置が行う各処理のタイミングチャートを示した図である。 図7は、第1の実施形態にかかるフレーム画像データの表示領域に含まれている動き探索ブロックの例を示した図である。 図8は、m=3の場合における、第1の実施形態にかかる動き探索部により動きの探索が行われるフレームの組を示した図である。 図9は、定数m=3の場合における、変形例にかかる画像処理装置が行う各処理のタイミングチャートを示した図である。 図10は、第1の実施形態にかかる特徴量推定部及び信頼度算出部における、特徴量推定及び信頼度算出の処理フローを示した図である。 図11は、参照フレーム画像データ(フレーム番号i−m)に含まれている、対応ブロック(動き探索ブロックが移動する前のブロック)と近傍の信頼度ブロックとの対応位置を示した図である。 図12は、第1の実施形態にかかる生成部におけるテクスチャ画像データの生成処理の手順を示すフローチャートである。 図13は、第2の実施形態にかかる画像処理装置の構成例を示すブロック図である。 図14は、第2の実施形態にかかる画像処理装置における、フレーム画像データにテクスチャ画像データを重畳するまでの処理の手順を示すフローチャートである。 図15は、第2の実施形態にかかる特徴量算出部及び信頼度算出部における、信頼度算出の処理フローを示した図である。 図16は、第2の実施形態にかかる信頼度推定部における信頼度推定の処理フローを示した図である。
(第1の実施形態)
図1は、第1の実施形態にかかる画像処理装置の構成例を示すブロック図である。例えば、図1に示すように、画像処理装置100は、フレームバッファ101と、特徴量算出部102と、特徴量記憶部103と、動き探索部104と、信頼度算出部105と、特徴量推定部106と、勾配特徴算出部107と、生成部108と、確率分布記憶部109と、重畳部110と、を備える。
本実施形態にかかる画像処理装置100は、動画像データに時系列順に含まれているフレーム画像データ単位で処理を行う。例えば、画像処理装置100は、カメラやテレビジョン受信装置等に含まれるものであり、フレーム画像データに各種画像処理を施した後、画像処理後のフレーム画像データを出力する。
フレームバッファ101は、入力されたフレーム画像データを一時的に格納する。
特徴量算出部102は、動画像データに含まれるフレーム画像データについて、所定の表示領域単位で、表示領域に含まれる特徴を示した特徴量を算出する。本実施形態では所定の表示領域の表示サイズを16×16ドット(以下、信頼度を求めるための信頼度ブロックとも称す)とするが、表示サイズを制限するものではない。また、特徴量算出部102が算出する特徴量としては、例えば、アクティビティ等とする。アクティビティは、16×16ドットの表示領域(信頼度ブロック)内の輝度の変動度合とする。アクティビティの算出手法としては、例えば、特開2008−310117号公報に記載された手法など様々な手法を用いて良い。
また、特徴量としては、動き探索を行って求めた動きベクトルを用いても良い。動きベクトルの場合、特徴量算出部102は、動きの大きさに基づいた強度を、特徴量として決定してもよい(例えば、特開2011−35450の図5説明等)。
なお、特徴量は、アクティビティ及び動きベクトルに制限するものではなく、様々なパラメータを用いて良い。また、特徴量は、複数種類のパラメータであっても良い。複数種類のパラメータの場合、例えば、個々の特徴量により求めた信頼度を乗算して、最終的な信頼度を決定することができる。
本実施形態にかかる画像処理装置100では、フレーム画像データに対して、テクスチャ画像データを重畳する。このテクスチャ画像データを生成するために、特徴量算出部102は、信頼度ブロック(16×16ドット)毎に特徴量を算出する。
特開2008−310117号公報に記載された手法等では、画像の質感を高めるために生成した微細テクスチャをフレーム画像データに重畳する際、アクティビティを求めた後、当該アクティビティに基づいて画素値の変動が一定に近いと判定した場合、微細テクスチャの重畳比率を高める制御を行っている。このアクティビティの算出では、開示されている手段を含め、近傍のある程度の範囲の信号を解析する必要があるため、処理負荷が大きい。このように特徴量の算出は処理負担が大きいため、本実施形態では、全てのフレーム画像データに対して特徴量を算出するのではなく、特徴量算出部102は、動画像データに含まれるフレーム画像データのうち、所定の画像数m毎に、特徴量を算出することとした。
特徴量記憶部103は、特徴量算出部102により算出された特徴量を記憶する。
特徴量算出部102による特徴量の算出は、所定の画像数m毎に行うこととしたが、テクスチャ画像データは、フレーム画像データ毎に生成する必要がある。このため、全フレーム画像データの特徴量を求める必要がある。そこで、本実施形態にかかる画像処理装置100では、複数のフレーム画像データ間で動き探索を行い、当該探索結果と、1のフレーム画像データで求められた特徴量と、に基づいて、他のフレーム画像データの特徴量を求めることとした。
動き探索部104は、動画像データに含まれるフレーム画像データのうち、任意のフレーム画像データと、当該任意のフレーム画像データより前のフレーム画像データと、の間の、画素の動きベクトルを探索する。本実施形態にかかる動き探索部104は、任意のフレーム画像データの信頼度ブロック(16×16ドット)を分割した8×8ドットのブロック単位(以下、動き探索ブロックとも称す)で、画素の動きベクトルを探索する。なお、本実施形態にかかる動き探索部104は、8×8ドットのブロック単位で動きベクトルを算出するが、他の表示領域サイズでも良い。また、動き探索は、1画素単位の精度で算出してもよいし、1画素よりも細かいサブピクセル精度で算出しても良い。
特徴量推定部106は、動き探索部104で探索された複数フレーム間の画素の動きベクトルと、フレーム画像データの表示領域単位の特徴量と、に基づいて、他のフレーム画像データについて、表示領域単位で特徴量を推定する。なお、動き探索部104は、1のフレーム画像データと、他のフレーム画像データと、の間の画素の動きを探索したものとする。
つまり、動き探索部104が、フレーム画像データ間の動き探索を行う一方、特徴量算出部102が、フレーム画像データnで信号解析により特徴量を高精度に算出する。その後、特徴量推定部106が、当該フレーム画像データn+1とフレーム画像データnと間の動きベクトルを用いて、フレーム画像データnの特徴量から、当該フレーム画像データn+1の特徴量を推定する。当該推定により、フレーム画像データ毎に、特徴量を算出する必要がなくなるため、処理負荷を軽減できる。
信頼度算出部105は、各フレーム画像データの表示領域(信頼度ブロック)毎に、算出又は推定された特徴量に基づいて、信頼度を算出する。本実施形態にかかる信頼度は、テクスチャ成分を付与すべき度合いであり、例えば、0.0〜1.0の間の値をとる。特徴量がアクティビティの場合、例えば、信頼度算出部105は、アクティビティの値に対して、非線形な変換を施し、信頼度に変換することが考えられる。
勾配特徴算出部107は、フレーム画像データに含まれる画素毎に、勾配特徴データを算出する。勾配特徴データとは、フレーム画像データに含まれる画素毎に、当該画素の周辺の所定の表示領域内の画素値の変化を、傾きとして表した変化量とする。例えば、勾配特徴算出部107は、微分フィルタ等を用いて、フレーム画像データに含まれる画素毎の勾配特徴データを算出する。本実施形態では、勾配特徴算出部107は、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、画素毎に、水平方向の勾配特徴データと、垂直方向の勾配特徴データと、を算出する。算出に用いるフィルタのサイズは、例えば、3×3〜5×5程度とするが、サイズに制限を設けるものではない。なお、下記では、水平方向の勾配特徴を「Fx」、垂直方向の勾配特徴を「Fy」と記載する場合がある。また、本実施形態は、画素毎の勾配特徴データを用いる例について説明するが、勾配特徴データに制限するものではなく、所定の表示領域内での画素値の変化を表す変化量を示したデータであればよい。
生成部108は、学習用画像データに含まれる画素毎の勾配特徴データに対する、当該学習用画像情報に含まれる画素毎の高周波成分の勾配特徴データの相対的な値の分布を表す確率分布と、算出されたフレーム画像データに含まれる画素毎の勾配特徴データ(Fx,Fy)と、に基づいて、フレーム画像データに含まれる画素毎の高周波成分に関する重みである、局所勾配パターンの勾配強度を算出する。本実施形態にかかる学習用画像データは、フレーム画像データと解像度(表示領域のサイズ)が同一とする。
本実施形態にかかる局所勾配パターンは、予め定められた画素値(例えば、輝度値)の変化のパターンを表した所定画像パターンとする。勾配強度は、勾配特徴に基づいて算出される、フレーム画像データに含まれる画素毎の高周波成分に関する重みであり、フレーム画像データの高周波成分の生成に用いる。
そして、生成部108は、当該局所勾配パターンを勾配強度で重み付けした上で、表示領域毎に算出された信頼度に基づいて、フレーム画像データに対する高周波成分を示したテクスチャ画像データを生成する。なお、局所勾配パターン及び勾配強度の詳細は、後述する。
その際、本実施形態にかかる生成部108は、信頼度に従ってテクスチャ画像データを生成することで、フレーム画像データの信頼度ブロック(16×16ドット)単位の特徴量に従ってテクスチャ成分を異ならせたテクスチャ画像データが生成できる。
本実施形態にかかる確率分布は、上述した相対的な値の分布として、学習用画像データの画素毎の勾配に対する学習用高周波成分画像データの画素毎の勾配の相対的な角度及び大きさの分布とする。ここで、確率分布について説明する。図2は、第1の実施形態にかかる分布算出部125を示した図である。なお、分布算出部125は、画像処理装置100内部に備えても良い。また、分布算出部125を画像処理装置100の外部に備え、分布算出部125により算出された確率分布を画像処理装置100内部に記憶してもよい。
図2に示すように、分布算出部125は、学習用画像データと、学習用高周波成分画像データと、を入力し、確率分布データを出力する。出力された確率分布データは、確率分布記憶部109に記憶される。
図3は、第1の実施形態にかかる確率分布について説明する図である。分布算出部125は、学習用画像データと学習用高周波成分画像データとの同じ位置の画素における勾配をそれぞれ算出する。この勾配算出に利用する微分フィルタは、勾配特徴算出部107で利用されたフィルタと同一のものとする。学習用高周波成分画像データは、学習用画像データの高周波成分の画像データとする。なお、学習用画像データは、フレーム画像データと同様に、画質が劣化している場合がある。
図3に示すように、分布算出部125は、2次元の平面の領域上に確率分布を算出する。当該平面領域のx軸を、学習用画像データの各画素の勾配方向とし、y軸を該勾配方向と垂直の方向とする。分布算出部125は、学習用画像データに含まれる各画素の勾配を(1,0)のベクトルに変換する。任意の画素の勾配を、(1,0)のベクトルに変換した変換行列を「変換φ」とする。そして、分布算出部125は、当該任意の画素と同じ位置の、学習用高周波成分画像データの画素の勾配を、当該変換φを用いて変換する。これにより、学習用画像データの各画素の勾配を基準に相対的に変換された、学習用高周波成分画像データの各画素の勾配のベクトルが求められる。
分布算出部125が、画素毎に、上述した高周波成分の勾配のベクトルの算出を行うことで、学習用高周波成分画像データの勾配のばらつきを表した、図3に示す破線で囲まれた確率分布を算出する。図3に示すように、確率分布は、2次元正規分布「正規分布N1」、「正規分布N2」で表される。
本実施形態にかかる画像処理装置100では、上述した処理で算出された確率分布が、確率分布記憶部109に予め記憶されている。
そして、生成部108は、当該確率分布と、勾配特徴データと、を用いて、勾配強度を算出する。「正規分布N1」の平均を「μ1」とし、標準偏差を「σ1」とする。また、「正規分布N2」の平均を「μ2」とし、標準偏差を「σ2」とする。生成部108は、「正規分布N1」から、確率変数“α”を取得し、「正規分布N2」から確率変数“β”を取得する。そして、生成部108は、確率変数“α”、確率変数“β”、及び勾配特徴データ(Fx,Fy)を、以下に示す式(1)に代入して、高周波成分の勾配強度を算出する。
fx=αFx+βFy,fy=αFy−βFx…(1)
なお、式(1)において、“fx”を水平方向の勾配強度を示し、“fy”を垂直方向の勾配強度を示している。
続いて、生成部108は、高周波成分の勾配強度(水平方向:fx,垂直方向:fy)と、局所勾配パターン(水平方向:Gx,垂直方向:Gy)と、に基づいて、入力画像データに対する高周波成分を生成する。「Gx」及び「Gy」は、予め定められた画素値の変化のパターンを表した所定画像パターンであって、本実施形態では、分布算出部125によって学習用高周波成分画像の勾配の算出に用いられたフィルタと同一の輝度変化を有する基底パターンである。
つまり、生成部108は、勾配強度(水平方向:fx,垂直方向:fy)と局所勾配パターン(水平方向:Gx,垂直方向:Gy)を、式(2)に代入して、フレーム画像データに含まれる画素毎に高周波成分「T」を算出する。
T=fx・Gx+fy・Gy…(2)
その後、生成部108は、信頼度に基づいて、高周波成分「T」を変化させる。例えば、信頼度αが0.0〜1.0の値を取る場合、以下の式(3)を用いた処理を行うことが考えられる
T’=αT…(3)
これにより信頼度、換言すれば特徴量に従って、フレーム画像データに対して付与する高周波成分を異ならせることができる。
そして、生成部108が画素毎に算出した高周波成分「T’」で構成された高周波成分画像データを、本実施形態ではテクスチャ画像データとする。なお、本実施形態では、テクスチャ画像データは、フレーム画像データと同一の表示領域サイズとする。
そして、重畳部110は、フレーム画像データ毎に、当該フレーム画像データに対応するテクスチャ画像データを重畳する。これにより、質感が向上し、高画質化を図ることができる。
次に、本実施形態にかかる画像処理装置100における、フレーム画像データにテクスチャ画像データを重畳するまでの処理について説明する。図4は、本実施形態にかかる画像処理装置100における上述した処理の手順を示すフローチャートである。
まず、画像処理装置100は、外部からフレーム画像データ(フレーム番号i)を読み込む(ステップS601)。iはフレーム画像データ毎にユニークに割り当てられた任意の整数とする。画像処理装置100は、フレーム画像データ(フレーム番号i)を、フレームバッファ101に蓄積する(ステップS602)。
その後、特徴量算出部102が、フレーム番号iが定数mの倍数であるか否かを判定する(ステップS603)。つまり、本処理フローでは、フレーム番号iが定数mの倍数の場合に限って、特徴量の算出を行う。
そして、特徴量算出部102が、フレーム番号iが定数mの倍数であると判定した場合(ステップS603:Yes)、mフレームの期間前に算出が開始された、特徴量算出部102による信頼度ブロック毎の信号解析による特徴量chai-mの算出が終了する(ステップS604)。そして、算出された特徴量chai-mは、特徴量記憶部103に記憶される。本実施形態にかかる特徴量を求める処理は、別スレッドとしてmフレーム以下の複数のフレームの入力期間内に分散して行う。これにより、各フレーム区間での処理負荷を平滑化することができる。
図5は、本実施形態にかかる特徴量算出部102における、特徴量算出の処理フローを示した図である。図5に示すように、本実施形態にかかる特徴量算出部102は、フレーム画像データに含まれている信頼度ブロック毎(ループ処理850)に、特徴量の算出を行う(ステップS801)。本実施形態にかかる信頼度ブロックとは、信頼度の算出単位となるブロックを示し、フレーム画像データを16×16ドット毎に分割したブロックとする。
図6は、定数m=3の場合における、本実施形態にかかる画像処理装置100が行う各処理のタイミングチャートを示した図である。図6に示すように、フレーム画像の読み込み、信号解析による特徴量算出、動き探索、信頼度予測、テクスチャの生成の順に処理が行われる。
定数m=3の場合、図6に示すように、特徴量算出部102の信号解析による特徴量算出は、3フレームの入力期間内に行えばよい。図6に示すように、特徴量算出を3フレームに一回だけ行ったうえで、当該一回の特徴量算出を3フレームの入力期間内に分散することで、処理負荷の分散軽減を図ることができる。
図6に示す例では、各フレーム区間で、各処理について、下方から上方への矢印により、フレーム内の処理進捗(通常は画像左上からのラスタ順)を示す。そして、本実施形態にかかる画像処理装置100では、図6の上方の処理から順に、当該処理の開始後、当該処理の結果を利用する次の処理が必要とする情報が生成されることをトリガーとして開始される。例えば動き探索においては、フレーム読み込みにより、探索範囲分の画素値が読み込まれることをトリガーとして、処理が開始される。このため、図6に示すように、各処理が下方に移るにつれて遅延が生じる。このように、遅延が生じた場合でも、次のフレームの処理に影響を与えるものではないため、フレーム単位で並列処理が可能となる。以降は特に断らなければ、このような処理を前提として説明を行う。
次に、動き探索部104は、フレームバッファ101に格納されていたフレーム画像データ(フレーム番号i−m)と、フレーム画像データ(フレーム番号i)と、の間で、動き探索を行う(ステップS605)。当該動き探索部104による動き探索では、フレーム画像データ(フレーム番号i)の8×8ドットの動き探索ブロック毎に、フレーム画像データ(フレーム番号i−m)の対応ブロックを求める。この結果を、動きベクトルmvi-m,iとする。
図7は、本実施形態にかかるフレーム画像データの表示領域に含まれている動き探索ブロックの例を示した図である。図7に示す例では、信頼度ブロック901(16×16ドット)に、動き探索ブロック(8×8ドット)P、Q、R、Sが含まれている。このように、本実施形態では、1つの信頼度ブロックに4個の動き探索ブロックが含まれている。
そして、動き探索部104は、フレーム画像データ(例えばフレーム番号iとフレーム番号i−mとのフレーム画像データ)の組に基づいて、動き探索ブロックP、Q、R、Sに、画素のパターンが近い対応ブロックP’、Q’、R’、S’の位置を探索する。なお、本実施形態では、動き探索ブロックP、Q、R、Sはフレーム画像データ(フレーム番号i(i=mの倍数))に含まれ、対応ブロックP’、Q’、R’、S’は、フレーム画像データ(フレーム番号i―m)に含まれている。そして、図7に示す矢印ベクトルは、動き探索部104により探索された、各動き探索ブロックの動きベクトルを示している。なお、動き探索ブロックと信頼度ブロックとの間で、アラインメントがずれていても、対応位置について適切な重みづけ等をすることで対応することができる。
なお、iがmより小さい段階ではフレーム画像データ(フレームi−m)がフレームバッファ101にバッファリングされていないため、以降の処理をスキップし、特徴量が求まらなかったものとして、テクスチャ画像データを生成してもよいし、自フレーム画像データを参照先のフレーム画像データとして用いて特徴量を求め、テクスチャ画像データを生成しても良い。
図8は、m=3の場合における、動き探索部104により動きの探索が行われるフレームの組を示した図である。図8に示すように、フレーム番号iが3の倍数の場合、図4のステップS605により、動き探索部104は、フレーム番号iのフレーム画像データと、3つ前(フレーム番号i−3)のフレーム画像データと、の間で動き探索を行う。
つまり、フレーム番号n−3のフレーム画像データは、フレーム番号n−6のフレーム画像データが組となり、フレーム番号nのフレーム画像データは、フレーム番号n−3のフレーム画像データが組となり、フレーム番号n+3のフレーム画像データは、フレーム番号nのフレーム画像データが組となる。
これは、図6で示したように、特徴量算出部102による特徴量の算出では、3フレーム分の処理時間を要するからである。つまり、本実施形態にかかる画像処理装置100では、動き探索部104は、特徴量が算出された直後のフレーム画像データ(フレーム番号n−3)と、フレーム画像データ(フレーム番号n)と、の間の動き検索を行うことで、フレーム画像データ(フレーム番号n)に含まれている特徴量、及び信頼度の推定が可能となる。
しかしながら、フレーム番号iのフレーム画像データと、m個前のフレーム画像データと、の間で動き探索を行う場合、m個前のためにあまり精度がでないことも考えられる。これを抑止する手法としては、特徴量算出部102による信号解析による特徴量算出を、1フレームの期間で行うことが考えられる。図9は、定数m=3の場合における、変形例にかかる画像処理装置が行う各処理のタイミングチャートを示した図である。図9に示す例では、信号解析による特徴量算出が、1フレームの期間で終了している。このように、1フレームで特徴量算出を行う場合に、mの倍数のフレームでの処理負荷は一時的に上昇するが、他のフレームでの処理負荷を下げることが期待できる。この処理負荷が下がっているときに、別の処理を行えば、計算機資源を有効活用することも可能である。
図9に示す例では、1フレームの期間で特徴量算出が終了するため、次のフレーム画像データとの間で動き探索を行う際に利用できる。これにより精度を向上させることができる。
図4に戻り、特徴量推定部106及び動き探索部104は、ステップS604で算出された特徴量chai-m及びステップS605で算出された動きベクトルmvi-m,iから、特徴量chaiを推定すると共に、信頼度reliを算出する(ステップS606)。なお、ステップS606の処理を行う時点で、フレームi−mにおける特徴量chai-mは、すでに算出されているものとする。
図10は、本実施形態にかかる特徴量推定部106及び信頼度算出部105における、特徴量推定及び信頼度算出の処理フローを示した図である。図10に示すように、本実施形態にかかる信頼度算出部105は、フレーム番号iのフレーム画像データに含まれている信頼度ブロック(16×16ドット)毎に、ループ処理1051を繰り返す。
その際、特徴量推定部106は、信頼度ブロックに含まれる全ての動き探索ブロック(8×8ドット)毎に、ステップS1001〜S1002のループ処理1052を繰り返す。
つまり、特徴量推定部106は、動き探索ブロック毎に、動き探索の参照フレームj上で、動きベクトルmvj,iで特定される対応ブロック(移動する前のブロック)の近傍の信頼度ブロックの特徴量chajを読み込む(ステップS1001)。なお、図4のステップS606の場合、jは、i−mとする。なお、図4のステップS611で図10に示す処理を行う場合、jは、i−1となる。
図7に示す例では、動き探索ブロックPの特徴量chajを推定したい場合、特徴量推定部106は、当該動き探索ブロックPと移動する前の位置に対応する対応ブロックP’の近傍の信頼度ブロックの特徴量chai-mを、特徴量記憶部103から読み出す。
図11は、参照フレーム画像データ(フレーム番号i−m)に含まれている、対応ブロック(動き探索ブロックが移動する前のブロック)と近傍の信頼度ブロックとの対応位置を示した図である。図11に示す例では、特徴量推定部106は、対応ブロック1101の近接の信頼度ブロックとして、当該対応ブロック1101と一部でも重なった信頼度ブロックA、B、C、Dの特徴量chai-m,a、chai-m,b、chai-m,c、chai-m,dを読み出す。
その後、特徴量推定部106は、動き探索ブロック(例えば動き探索ブロックP)と動きベクトルが移動する前の位置に対応する対応ブロック(例えば対応ブロックP’)と、近傍の信頼度ブロックと、の間の距離により、近傍の信頼度ブロックの特徴量を加重平均して、動き探索ベクトル(動き探索ブロックP)の特徴量を算出する(ステップS1002)。
図11に示す例では、特徴量推定部106は、対応ブロックP’と各信頼度ブロックと、の距離に基づく基準として、重なった面積(a,b,c,d)を重みとして用いて特徴量を加算平均する。信頼度ブロックA、B、C、Dのそれぞれの信頼度を、chai-m,a、chai-m,b、chai-m,c、chai-m,dとする。この場合、特徴量推定部106は、以下の式(4)により、対応ブロックP’の特徴量を求める。
chai-m,P'=(a*chai-m,a+b*chai-m,b+c*chai-m,c+d*chai-m,d)/(a+b+c+d)…(4)
そして、特徴量推定部106は、算出された対応ブロックP’の特徴量chai-m,P'を、移動した後の位置である動き探索ブロックPの特徴量と推定する。
図10に戻り、特徴量推定部106は、信頼度ブロックに含まれる動き探索ブロック毎に算出された特徴量を平均化して、信頼度ブロックの特徴量chaiを生成する(ステップS1003)。
その後、信頼度算出部105は、特徴量chaiを、信頼度reliに変換する(ステップS1004)。特徴量chaiを、信頼度reliに変換する手法は、様々な手法を用いることが可能であるが、例えば、特開2008−310117号公報におけるアクティビティを特徴量として用いる場合は、信頼度算出部105は、特徴量chaiが小さいほど、信頼度reliが1.0に近づくよう変換し、特徴量chaiが大きいほど、信頼度reliが0.0に近づくよう変換することが考えられる。
信頼度算出部105は、上述した処理手順により、フレーム画像データに含まれる全ての信頼度ブロック毎に、信頼度reliを求める。図10に示す処理が全て終了した後、信頼度ブロックごとの特徴量chaiと信頼度reliとが出力される。
図4に戻り、特徴量推定部106が、フレーム番号i−mのフレーム画像データを、フレームバッファ101から削除する(ステップS607)。
一方、ステップS603で、特徴量算出部102が、フレーム番号iが定数mの倍数ではないと判定した場合(ステップS603:No)、動き探索部104は、フレームバッファ101に格納されていたフレーム番号i−1のフレーム画像データと、フレーム番号iのフレーム画像データと、の間で、動き探索を行う(ステップS610)。なお、動き探索の手順は、参照フレームの番号がi−1になった以外、ステップS605と同様とする。
そして、特徴量推定部106及び動き探索部104は、特徴量記憶部103に記憶された特徴量chai-1及びステップS610で算出された動きベクトルmvi-1,iから、特徴量chaiを推定すると共に、信頼度reliを算出する(ステップS611)。そして、算出された特徴量chaiは、特徴量記憶部103に記憶される。つまり、図8で示したフレーム画像データの組に従って、特徴量推定部106は、1つ前のフレーム画像データ(フレーム番号i−1)の特徴量chai-1から、フレーム画像データ(フレーム番号i)の特徴量chaiを推定する。なお、i<mでは、この時点で、フレーム番号i−1における特徴量chai-1は求められていないため、信頼度reliが求まらなかったものとして、テクスチャ画像データの生成、及び生成したテクスチャ画像データのフレーム画像データへの重畳を行うものとする。
その後、特徴量推定部106が、フレーム番号i−1のフレーム画像データを、フレームバッファ101から削除する(ステップS612)。
ステップS607及びステップS612の後、生成部108が、信頼度reliによる制御で、テクスチャ画像データを生成する(ステップS608)。
次に、本実施形態にかかる生成部108における、テクスチャ画像データの生成処理について説明する。図12は、本実施形態にかかる生成部108における上述した処理の手順を示すフローチャートである。
まず、勾配特徴算出部107は、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、フレーム画像データの各画素における水平方向の勾配特徴と垂直方向の勾配特徴とを算出する(ステップS1201)。
次に、生成部108は、学習用画像情報に含まれる画素毎の勾配特徴に対する、当該学習用画像情報の高周波成分に含まれる画素毎の勾配特徴の、相対的な大きさ及び角度であるベクトルの分布を表す確率分布に基づく確率変数と、勾配特徴算出部107によって算出された勾配特徴と、に基づいて、フレーム画像データの画素毎の勾配強度を求める(ステップS1202)。
続いて、生成部108は、フレーム画像データの画素毎の高周波成分に関する勾配強度と、局所勾配パターンと、フレーム画像データの信頼度ブロック毎に算出された信頼度と、に基づいて、フレーム画像データに対する高周波成分を表したテクスチャ画像データを生成する(ステップS1203)。
上述した処理手順により、信頼度ブロック毎の信頼度に従って付与されるテクスチャ成分が異なるテクスチャ画像データが生成される。
図4に戻り、重畳部110が、生成されたテクスチャ画像データを、フレーム画像データに重畳する(ステップS609)。
上述した処理手順により、信頼度ブロック毎の特徴量に応じて付与するテクスチャ成分を信頼度ブロック毎に異ならせたテクスチャ画像データを生成することができる。そして、当該テクスチャ画像データをフレーム画像データに付与することができる。これにより、質感の向上を図ることができる。
(第2の実施形態)
第1の実施形態にかかる画像処理装置では、処理負担を軽減するために所定のフレーム画像数毎に算出された特徴量を記憶し、フレーム画像データ毎の信頼度を算出する際に用いる例について説明した。しかしながら、第1の実施形態は、処理負担を軽減するために記憶するパラメータを特徴量に制限するものではない。そこで第2の実施形態にかかる画像処理装置では、信頼度を記憶する例について説明する。
図13は、第2の実施形態にかかる画像処理装置の構成例を示すブロック図である。例えば、図13に示すように、画像処理装置1300は、フレームバッファ101と、特徴量算出部1301と、動き探索部1302と、信頼度算出部1303と、信頼度記憶部1304と、信頼度推定部1305と、勾配特徴算出部107と、生成部108と、確率分布記憶部109と、重畳部110と、を備える。以下の説明では、上述した第1の実施形態と同一の構成要素には同一の符号を付してその説明を省略している。
特徴量算出部1301は、所定の個数毎のフレーム画像データに対して、信頼度ブロック単位で特徴量を算出する。
動き探索部1302は、フレーム画像データが読み出される毎に、複数のフレーム画像データの間の画素の動きベクトルを探索する。本実施形態にかかる動き探索部1302は、第1の実施形態と同様、信頼度ブロックを分割した動き探索ブロック毎に、動きベクトルを探索する。
信頼度算出部1303は、各フレーム画像データの信頼度ブロック毎に、特徴量算出部1301により算出された特徴量に基づいて、信頼度を算出する。
信頼度記憶部1304は、信頼度算出部1303により算出された信頼度を記憶する。
信頼度推定部1305は、信頼度記憶部1304に記憶された任意のフレーム画像データの信頼度ブロック毎の信頼度と、動き探索部1302により探索された動きベクトルと、から、任意のフレーム画像データの後に読み込まれたフレーム画像データの信頼度ブロック毎の信頼度を推定する。
そして、生成部108が、フレーム画像データ毎に、信頼度推定部1305により推定された信頼度を用いて、テクスチャ画像データを生成する。
次に、本実施形態にかかる画像処理装置1300における、フレーム画像データにテクスチャ画像データを重畳するまでの処理について説明する。図14は、本実施形態にかかる画像処理装置1300における上述した処理の手順を示すフローチャートである。
まず、図4で示した第1の実施形態のステップS601〜603と同様の手順で、特徴量算出部1301が、フレーム番号iが定数mの倍数であるか否かを判定する(ステップS1403)。つまり、本実施形態では、フレーム番号iが定数mの倍数の場合に限って、特徴量の算出を行う。
そして、特徴量算出部1301が、フレーム番号iが定数mの倍数であると判定した場合(ステップS1403:Yes)、特徴量算出部1301による特徴量chai-mの算出から信頼度算出部1303による信頼度reli-mの算出まで行われる(ステップS1404)。
そして、算出された信頼度reli-mは、信頼度記憶部1304に記憶される。なお、特徴量chai-mを求める処理は、別スレッドとしてmフレーム以下の複数のフレームの入力期間内に分散して行う。これにより、各フレーム区間での処理負荷を平滑化することができる。
図15は、本実施形態にかかる特徴量算出部1301及び信頼度算出部1303における、信頼度算出の処理フローを示した図である。
図15に示すように、本実施形態にかかる特徴量算出部1301は、フレーム画像データに含まれている信頼度ブロック毎(ループ処理1550)に、特徴量chai-mを算出する(ステップS1501)。第1の実施形態と同様、フレーム番号iのフレーム画像データの信頼度reliを算出処理する際に、mフレーム前(フレーム番号i−m)のフレーム画像データの信頼度ブロック毎の特徴量chai-mの算出が終了している。
そして、信頼度算出部1303が、算出された特徴量chai-mを、信頼度reli-mに変換する(ステップS1502)。
上述した処理手順を行うことで、フレーム番号i−mのフレーム画像データ毎の信頼度reli-mの算出が行われる。
図14に戻り、動き探索部1302は、フレームバッファ101に格納されていたフレーム番号i−mのフレーム画像データと、フレーム番号iのフレーム画像データと、の間で、動き探索を行う(ステップS1405)。
次に、信頼度推定部1305は、ステップS1404で算出された信頼度reli-m及びステップS1405で算出された動きベクトルmvi-m,iから、信頼度reliを推定する(ステップS1406)。
図16は、本実施形態にかかる信頼度推定部1305における信頼度推定の処理フローを示した図である。図16に示すように、本実施形態にかかる信頼度推定部1305は、フレーム番号iのフレーム画像データに含まれている信頼度ブロック毎に、ループ処理1651を繰り返す。
また、信頼度推定部1305は、信頼度ブロックに含まれる全ての動き探索ブロック毎に、ステップS1601〜S1602のループ処理1652を繰り返す。
つまり、信頼度推定部1305は、動き探索ブロック毎に、動き探索の参照フレームj上で、動きベクトルmvj,iで特定される対応ブロック(移動する前のブロック)の近傍の信頼度ブロックの信頼度reljを読み込む(ステップS1601)。なお、図14のステップS1406の場合、jは、i−mとする。なお、図14のステップS1411で図16に示す処理を行う場合、jは、i−1となる。
図7に示す例では、動き探索ブロックPの信頼度reljを推定したい場合、信頼度推定部1305は、当該動き探索ブロックPと移動する前の位置に対応する対応ブロックP’の近傍の信頼度ブロックの信頼度reljを、信頼度記憶部1304から読み出す。
その後、信頼度推定部1305は、動き探索ブロック(例えば動き探索ブロックP)と動きベクトルが移動する前の位置に対応する対応ブロック(例えば対応ブロックP’)と、近傍の信頼度ブロックと、の間の距離により、近傍の信頼度ブロックの信頼度を加算平均して、動き探索ベクトル(動き探索ブロックP)の信頼度を算出する(ステップS1602)。
そして、信頼度推定部1305は、信頼度ブロックに含まれる動き探索ブロック毎に算出された信頼度を平均化して、信頼度ブロックの信頼度reliを生成する(ステップS1603)。
信頼度推定部1305は、上述した処理手順により、フレーム画像データに含まれる全ての信頼度ブロックについて、信頼度reliを求める。そして、図16に示す処理フローにより、信頼度ブロック毎の信頼度reliが出力される。
図14に戻り、信頼度推定部1305が、フレーム番号i−mのフレーム画像データを、フレームバッファ101から削除する(ステップS1407)。
一方、ステップS1403で、特徴量算出部1301が、フレーム番号iが定数mの倍数ではないと判定した場合(ステップS1403:No)、動き探索部1302は、フレームバッファ101に格納されていたフレーム番号i−1のフレーム画像データと、フレーム番号iのフレーム画像データと、の間で、動き探索を行う(ステップS1410)。なお、動き探索の手順は、参照フレームの番号がi−1になった以外、ステップS1405と同様とする。
次に、信頼度推定部1305は、信頼度記憶部1304に記憶された信頼度reli-1及びステップS1410で算出された動きベクトルmvi-1,iから、信頼度reliを推定する(ステップS1411)。そして、算出された信頼度reliは、信頼度記憶部1304に記憶される。
その後、特徴量算出部1301が、フレーム番号i−1のフレーム画像データを、フレームバッファ101から削除する(ステップS1412)。
ステップS1407及びステップS1412の後、生成部108が、信頼度reliによる制御で、テクスチャ画像データを生成する(ステップS1408)。
その後、重畳部110が、生成されたテクスチャ画像データを、フレーム画像データに重畳する(ステップS1409)。
上述した実施形態にかかる画像処理装置では、動き探索を用いて特徴量又は信頼度を推定することで、全てのフレーム画像データについて、特徴量を算出するための信号解析を行う必要がなくなるため、処理負荷を低下させることができる。特に、そもそもフレーム間の動き探索を行っている画像処理装置では、動き探索結果を共有することで特に有効となる。
上述した実施形態にかかる画像処理装置では、テクスチャ画像データ等に対する高画質化処理で、テクスチャ成分を付与する度合いを信頼度を用いて制御する。その際に信号解析による特徴量の算出は、数フレーム毎に行い、他のフレームでは、別途求めたフレーム間の動き探索結果を用いて特徴量又は信頼度を推定することとした。これにより、上述した実施形態にかかる画像処理装置では、テクスチャ画像データの生成に関する全体の負荷を下げつつ、画質への影響を軽微にできる。
本実施例では、高画質化処理としてテクスチャ生成処理を例示しているが、鮮鋭度を増すための超解像処理やエッジ強調処理等について適用してもよい。
また、上述してきた実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、各実施形態は、内容を矛盾させない範囲で適宜組み合わせることが可能である。また、各実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
また、各実施形態で説明した画像処理装置の上述した各機能は、カメラやテレビジョン受信装置等に構成として含まれるものであっても良いし、予め用意された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現してもよい。
コンピュータで実行される画像処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この画像処理プログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
100、1300…画像処理装置、101…フレームバッファ、102、1301…特徴量算出部、103…特徴量記憶部、104、1302…動き探索部、105、1303…信頼度算出部、106…特徴量推定部、107…勾配特徴算出部、108…生成部、109…確率分布記憶部、110…重畳部、125…分布算出部、1304…信頼度記憶部、1305…信頼度推定部

Claims (7)

  1. 動画像情報に含まれる所定の数のフレーム画像情報毎に、当該所定の数のフレーム画像情報に含まれているいずれか一つの第1のフレーム画像情報について、所定の表示領域単位で、当該表示領域に含まれる画素値の変動度合いを示した特徴情報を算出する特徴算出手段と、
    前記第1のフレーム画像情報と、前記動画像情報に含まれる、前記第1のフレーム画像情報より後の第2のフレーム画像情報と、の間の、画素の動きを探索する探索手段と、
    前記探索手段で探索された前記画素の動きと、前記第1のフレーム画像情報の前記表示領域単位の前記特徴情報と、に基づいて、前記第2のフレーム画像情報の前記表示領域単位の特徴情報を推定する推定手段と、
    前記第2のフレーム画像情報の前記表示領域単位で、当該表示領域の前記特徴情報に従って、前記第2のフレーム画像情報に付与すべき高周波成分の度合いを異ならせた高周波画像情報を生成する生成手段と、
    前記第2のフレーム画像情報に前記高周波画像情報を重畳する重畳手段と、
    を備える画像処理装置。
  2. 前記探索手段は、さらに、前記第2のフレーム画像情報と、前記第2のフレーム画像情報より後の第3のフレーム画像情報と、の間の、画素の動きを探索し、
    記推定手段は、さらに、前記探索手段で探索された前記第2のフレーム画像情報と前記第3のフレーム画像情報との間の画素の動きと、前記第2のフレーム画像情報の前記表示領域単位の前記特徴情報と、に基づいて、前記第3のフレーム画像情報の前記表示領域単位の特徴情報を推定し、
    前記生成手段は、さらに、前記第3のフレーム画像情報の前記表示領域単位で、当該表示領域の前記特徴情報に従って、前記第3のフレーム画像情報に付与すべき高周波画像情報を生成し、
    前記重畳手段は、さらに、前記第3のフレーム画像情報に、前記第3のフレーム画像情報に付与すべき前記高周波画像情報を重畳する、
    請求項1に記載の画像処理装置。
  3. 前記高周波成分は、テクスチャであり、
    前記高周波画像情報は、テクスチャ画像情報である、
    請求項1又は2に記載の画像処理装置。
  4. 第2のフレーム画像情報に含まれる画素毎に、当該画素を含んだ所定の表示領域内での画素値の変化を表す変化量を算出する変化量算出手段をさらに備え、
    前記生成手段は、学習用画像情報に含まれる画素毎の変化量に対する、当該学習用画像情報の高周波成分に含まれる画素毎の変化量の、相対的な値の分布を表す確率分布に基づく確率変数と、算出された前記変化量と、に基づいて、第2のフレーム画像情報に含まれる画素毎の高周波成分に関する重みを求め、画素値の変化のパターンを表した所定画像パターンを当該重みで重み付けし且つ前記特徴情報に従って付与する高周波数成分を異ならせた前記第2のテクスチャ画像情報を生成する、
    請求項に記載の画像処理装置。
  5. 前記探索手段は、前記第2のフレーム画像情報の前記表示領域単位を分割したブロック単位で、画素の動きを探索し、
    前記推定手段は、前記第2のフレーム画像情報に含まれる任意の表示領域を分割するブロックが移動する前の位置に対応する、前記第1のフレーム画像情報に含まれているブロックの特徴情報に基づいて、前記任意の表示領域の特徴情報を推定する、
    請求項1乃至4のいずれか一つに記載の画像処理装置。
  6. 画像処理装置で実行される画像処理方法であって、
    特徴算出手段が、動画像情報に含まれる所定の数のフレーム画像情報毎に、当該所定の数のフレーム画像情報に含まれているいずれか一つの第1のフレーム画像情報について、所定の表示領域単位で、当該表示領域に含まれる、画素値の変動度合いを示した特徴情報を算出する特徴算出ステップと、
    探索手段が、前記第1のフレーム画像情報と、前記動画像情報に含まれる、前記第1のフレーム画像情報より後の第2のフレーム画像情報と、の間の、画素の動きを探索する探索ステップと、
    推定手段が、前記探索ステップで探索された前記画素の動きと、前記第1のフレーム画像情報の前記表示領域単位の前記特徴情報と、に基づいて、前記第2のフレーム画像情報の前記表示領域単位の特徴情報を推定する推定ステップと、
    生成手段が、前記第2のフレーム画像情報の前記表示領域単位で、当該表示領域の前記特徴情報に従って、前記第2のフレーム画像情報に付与すべき高周波成分の度合いを異ならせた高周波画像情報を生成する生成ステップと、
    重畳手段が、前記第2のフレーム画像情報に前記高周波画像情報を重畳する重畳ステップと、を含む画像処理方法。
  7. 前記高周波成分は、テクスチャであり、
    前記高周波画像情報は、テクスチャ画像情報である、
    請求項に記載の画像処理方法。
JP2011249176A 2011-11-14 2011-11-14 画像処理装置、及び画像処理方法 Expired - Fee Related JP5284446B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011249176A JP5284446B2 (ja) 2011-11-14 2011-11-14 画像処理装置、及び画像処理方法
US13/543,114 US20130121605A1 (en) 2011-11-14 2012-07-06 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011249176A JP5284446B2 (ja) 2011-11-14 2011-11-14 画像処理装置、及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2013106214A JP2013106214A (ja) 2013-05-30
JP5284446B2 true JP5284446B2 (ja) 2013-09-11

Family

ID=48280725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011249176A Expired - Fee Related JP5284446B2 (ja) 2011-11-14 2011-11-14 画像処理装置、及び画像処理方法

Country Status (2)

Country Link
US (1) US20130121605A1 (ja)
JP (1) JP5284446B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6609098B2 (ja) * 2014-10-30 2019-11-20 キヤノン株式会社 表示制御装置、表示制御方法、及びコンピュータプログラム
CN105046677B (zh) * 2015-08-27 2017-12-08 安徽超远信息技术有限公司 一种用于交通视频图像的增强处理方法和装置
JP6750847B2 (ja) * 2016-03-18 2020-09-02 キヤノン株式会社 画像処理装置およびその制御方法並びにプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7606435B1 (en) * 2002-02-21 2009-10-20 At&T Intellectual Property Ii, L.P. System and method for encoding and decoding using texture replacement
JP2004112473A (ja) * 2002-09-19 2004-04-08 Matsushita Electric Ind Co Ltd 階調補正装置
JP4071800B2 (ja) * 2006-02-13 2008-04-02 シャープ株式会社 動画像再生装置および階調補正装置
JP4893489B2 (ja) * 2007-06-15 2012-03-07 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4996554B2 (ja) * 2008-06-30 2012-08-08 株式会社東芝 画像高画質化装置、方法およびプログラム
JP5044518B2 (ja) * 2008-09-17 2012-10-10 株式会社東芝 画像処理装置及びコンピュータ端末
JP4776705B2 (ja) * 2009-03-06 2011-09-21 株式会社東芝 画像処理装置および方法
WO2010149913A1 (fr) * 2009-06-23 2010-12-29 France Telecom Codage et décodage d'une séquence d'images vidéo par zones d'image
JP5302867B2 (ja) * 2009-12-07 2013-10-02 ホシデン株式会社 マイクロホン
JP5085762B2 (ja) * 2011-04-25 2012-11-28 株式会社東芝 画像処理装置および画像処理方法
JP5289540B2 (ja) * 2011-11-14 2013-09-11 株式会社東芝 画像処理装置、及び画像処理方法

Also Published As

Publication number Publication date
JP2013106214A (ja) 2013-05-30
US20130121605A1 (en) 2013-05-16

Similar Documents

Publication Publication Date Title
JP5974250B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
US7738556B2 (en) Apparatus and method for estimating motion vector with gradient method
JP4968259B2 (ja) 画像高解像度化装置及び画像高解像度化方法並びにプログラム
US7667778B2 (en) Image processing apparatus and method, and recording medium and program used therewith
JP5687553B2 (ja) 画像合成装置、画像合成方法及び画像合成プログラム
JP5452116B2 (ja) 高解像度映像取得装置およびその方法
JP2008078818A (ja) 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム
JP5159844B2 (ja) 画像処理装置
JP5284446B2 (ja) 画像処理装置、及び画像処理方法
JP2010068102A (ja) 映像信号処理装置、映像信号処理方法および映像信号処理プログラム
JP6017279B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5289540B2 (ja) 画像処理装置、及び画像処理方法
JP2012222510A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
JP2016164709A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5705391B1 (ja) 画像処理装置及び画像処理方法
JP2015197818A (ja) 画像処理装置およびその方法
US8977058B2 (en) Image processing apparatus and method
JP2018180964A (ja) 画像処理装置及び画像処理方法
JP6854629B2 (ja) 画像処理装置、画像処理方法
JP5400655B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、電子機器
JP5659126B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法
US8712178B2 (en) Image processing apparatus and image processing method
JP5701816B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法
JP5824937B2 (ja) 動きベクトル導出装置および方法
JP2014045398A (ja) 画像処理装置、および画像処理方法、並びにプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130529

LAPS Cancellation because of no payment of annual fees